一般社団法人 電子情報通信学会 信学技報

THE INSTITUTE OF ELECTRONICS, IEICE Technical Report

INFORMATION AND COMMUNICATION ENGINEERS

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©20●● by IEICE

エージェントマイグレーションによる

低遅延保証型自動運転プラットフォーム

青木 佳紀† 山本 剛毅‡ 谷口 優也† 窪川 拓紀† 岡本 聡† 山中 直明†

†慶應義塾大学 大学院理工学研究科 〒223-8522 神奈川県横浜市港北区日吉 3-14-1

‡慶應義塾大学 理工学部 〒223-8522 神奈川県横浜市港北区日吉 3-14-1

E-mail: yoshiki.aoki@yamanaka.ics.keio.ac.jp

あらまし 完全な公道での自動運転の実現のためには，車載のセンサーだけでは，複雑な判断を行うことが出来な

いため，自動車をネットワークに接続してより多く情報を共有する必要がある．そこでCyber physical system(CPS)

の考え方を用いてネットワーク上の計算資源を活用して車車間協調などの高度な車両制御サービスを提供可能なネ

ットワークアシスト型自動運転プラットフォームの実現を目指す．本プラットフォームでは高いQoS要求に対応す

るためにエッジコンピューティングを活用する．車両にもっとも近いエッジサーバを用いることで低遅延でのサー

ビス提供が可能になるが，車両の移動とともに最も近いエッジサーバが変化してしまう問題が発生する．そこで車

両を制御するエージェントと呼ばれるアプリケーションが車両に追従してマイグレーションすることでエッジでの

低遅延を保証したサービスの継続を実現する．この低遅延保証型自動運転プラットフォームを慶應義塾大学 新川崎

タウンキャンパス内にてテストベッドを構築して実証実験を行ったのでその結果を示す．また新川崎のテストベッ

ドでは単純なネットワーク構成を用いたが，日米間をつなぐ大規模ネットワーク実験も行ったので報告する.

キーワード 自動運転，Cyber physical system(CPS)， エッジコンピューティング

Low Latency Guaranteed Network-assisted

Autonomous Driving Platform by Agent Migration

Yoshiki AOKI† Goki YAMAMOTO‡ Yuya TANIGUCHI† Hiroki KUBOKAWA†

Satoru OKAMOTO† and Naoaki YAMANAKA†

†Keio University 3-14-1 Hiyoshi, Kohoku-ku, Yokohama-shi， Kanagawa, 223-8522 Japan

‡Keio University 3-14-1 Hiyoshi, Kohoku-ku, Yokohama-shi， Kanagawa, 223-8522 Japan

E-mail: yoshiki.aoki@yamanaka.ics.keio.ac.jp

Abstract In order to realize complete autonomous driving on public roads, it is impossible to make complicated judgment

only with the sensor information installed in the vehicle, so connecting the vehicle to the network and collect more information

becomes important. Therefore, this paper aim to realize a network-assisted autonomous driving platform that can provide

advanced vehicle control services such as inter-vehicle cooperation by utilizing the computing resources on the network using

the concept of Cyber physical system (CPS). This platform utilizes edge computing to handle high QoS requirements. Using

the edge server closest to the vehicle makes it possible to provide the service with a low delay, but there is a problem that the

closest edge server changes as the vehicle moves. Therefore, an application called agents to control vehicles live migrates

following the vehicle and realizes continuation of services guaranteeing low delay at the edge. The test bed of low latency

guaranteed autonomous driving platform was constructed in KEIO University Shinkawasaki Town Campus and the result of

test is shown in this paper. In the testbed, a simple network configuration was used, but also conducted a large-scale network

experiment connecting the Japan and the US using the same application.

Keywords Autonomous driving，Cyber physical system(CPS)，Edge computing

1. 背景

自動運転技術の発達とともに現在では一般道での

完全な自動運転の実現が次のターゲットになっている

[1]．一般道では他の車両の車線変更や右左折，または

歩行者の横断などの多様な環境に応じた走行が必要に

なるため車両がネットワークにつながり情報を共有し

ながら走行することが必要になる．ネットワーク上の

資源を活用して実世界を制御する考え方として Cyber

physical system(CPS)が挙げられる [2]．CPS は実空

間に存在する多様なデータをセンサーネットワ

ーク等で収集して，サイバー空間上でデータ処理

を行い，計算結果から物理空間にフィードバック

を行う考え方である．この考え方を自動運転に適

応させることで，車車間協調などの高度な制御が

可能になる．そこで CPS の考え方を取り入れたネ

ットワークアシスト型自動運転プラットフォー

ムのアーキテクチャを構築した．本プラットフォ

ームではエッジコンピューティングを取り入れ

ている．エッジコンピューティングにより高い

Quality of Service(QoS)要求にも対応可能である

[3]が，車両の移動に伴い近傍のエッジサーバが変

化してしまう．この問題に対応するためにサービ

スをライブマイグレーションさせることでエッ

ジでの継続したサービス提供を可能させたプラ

ットフォームの実証実験を行ったのでその結果

を示す．

2. ネットワークアシスト型

自動運転プラットフォーム

2.1. CPS による自動運転

CPS は物理空間の情報をセンサーネットワークによ

り収集してネットワーク上のサーバのサイバー空間で

知識化を行うことで物理空間にフィードバックかけな

がら制御を行う考え方である．この考え方を自動運転

に適応させることで一般道での高度な自動運転制御が

可能になる．図 1 は CPS を自動運転に適応させた例で

ある．

図 1．CPS による自動運転

各車両に対してエージェントと呼ばれるアプリケ

ーションがネットワーク上のサイバー空間に一つ存在

しており，エージェントが自身の担当する車両に対し

て制御命令を通達する．エージェントが存在するサイ

バー空間上には Internet of Things(IoT)センサーや他の

車両が発見した障害物の情報がアップロードされてい

るため，車載センサーでは感知できない場所の障害物

の情報を得ることができる．これにより予め障害物の

ある経路を迂回し，障害物のある車線を前もって変更

しておくことが可能になる．また交差点に複数の車両

が進入しようとした際にはエージェント間でネゴシエ

ーションを行うことで最初に進入する車両を決定する．

CPS を用いることでランダムな順番や交互に進入させ

るのではなく，一番長い車列ができている車線の車両

は後続の車両もネゴシエーションに協力するため進入

権を勝ち取りやすく，結果として合計待機時間を最小

化することにつながる．このような Social welfare を最

大化するような車車間協調が可能になる [4]．またデー

タセンターに集約された情報を基に機械学習等を行う

ことでエージェントが混雑を緩和するような経路選択

をさせることも可能である [5]．CPS を活用するために

はネットワーク上の計算資源を活用することが重要に

なる．ネットワーク上の計算資源としてはクラウドサ

ーバとエッジサーバの二種類が挙げられる． 2.2.では

二種類のネットワーク計算資源での自動運転機能配分

について議論する．

2.2. 自動運転機能配分

CPS を実現するためにはネットワーク上計算資源を

活用する必要がある．ネットワーク上の計算資源には

クラウドサーバとエッジサーバが挙げられる．この二

つの計算資源に加えて各車両に搭載されている車載計

算資源の三つに自動運転の機能を配分する必要がある．

各計算資源の特徴を紹介する．クラウドサーバはデー

タセンターのような巨大な計算資源を持つ．従ってビ

ッグデータ解析といった処理が可能である．しかしな

がらほかの計算資源と比べて物理的・ネットワーク的

な距離が遠いため通信遅延時間が最大となる．エッジ

サーバはクラウドサーバと同様にネットワーク上に設

置されている計算資源である．エッジサーバは地理的

に分散して配置されており，ユーザは一番近いエッジ

サーバに接続することで低遅延での通信が可能になる．

またエッジサーバは地域性のある情報配布に適してい

るという特徴が存在する．地域性のある情報の例とし

ては，東京の道路状況は東京を走行している車両しか

必要としていないといったことが挙げられる．このよ

うな情報はクラウドで管理する必要がないためエッジ

内で処理を完結させれば無駄なトラフィックの発生を

抑制することが可能になる．しかしクラウドサーバと

異なり計算資源に限りがあるため膨大な処理を行うこ

とはできない．車載計算資源はネットワークを介さな

いため通信遅延やパケットロス等は最小である．従っ

て急停車などの緊急処理を行うのに適している．しか

しながらネットワーク上の計算資源ではないため CPS

のサイバー空間には属していない．また車載計算資源

はその車両が動いているときしか使用されていないた

め，車載計算資源の処理を少なくしてリソース量を減

らしたほうが，エッジやクラウドのリソース共有が可

能になり効率が良い．以上の観点から自動運転機能の

配分を行った結果を図 2 に示す．

図 2.自動運転プラットフォームの概要

クラウドサーバでは走行経路探索の際に複数のエ

ッジを跨った経路検索，ビッグデータ解析，機械学習

のような高負荷な処理を行う．エッジサーバにおいて

は CPSの考え方に基づいてエージェントが周囲のエー

ジェントとネゴシエーションし，周囲の環境情報を基

に走行ポリシーを決定する．決定した走行ポリシーを

基づいて細かい走行ルートと走行速度を計算して車両

に通達する．本プラットフォームでは点列方式の車両

制御を採用している．エッジでは 20 cm 間隔の目標地

点の点列を生成する．各点列には緯度と経度の情報に

加えて，その点を走行する際の最大速度と先の点列の

湾曲率が格納されている．車載計算資源は受信した点

列に向かって走行するためのハンドルの操舵角やアク

セル値などの計算を行う．前方に障害物を発見した際

にはその距離に応じて点列の速度の値をオーバーライ

ドして減速を行う．以上が機能配分の概要である．本

プラットフォームではエッジサーバを使用することで

通信削減や遅延制約の厳しいをネットワーク上で実行

することを可能にしている．しかしながらエッジコン

ピューティングを自動運転に適応させる際には車両の

移動に伴い最も近いエッジサーバが変化する問題が発

生する． 2.3.ではこの問題を解決するためにエージェ

ントマイグレーションの議論を行う．

2.3. エージェントマイグレーション

車両の移動に伴い近傍のエッジサーバが変化して

しまう問題を解決するためにエージェントアプリケー

ションが車両の移動に応じてライブマイグレーション

を行うプラットフォームを提案する．図 3 はエージェ

ントマイグレーションの概要図である．

図 3．エージェントマイグレーション

車 両 は 常 に エ ッ ジ 上 の エ ー ジ ェ ン ト に 対 し て

GPS(Global Positioning System)で計測された現在の位

置情報を送信している．この位置情報が現在，エージ

ェントが所属しているエッジサーバのカバー範囲から

別のエッジサーバのカバー範囲に移動しようとしてい

る場合に，エージェントが移動先のエッジサーバへラ

イブマイグレーションを行うことで車両を追従する．

これにより常にエージェントが車両の近傍のエッジサ

ーバに存在し，エッジでの継続したサービス提供が可

能となる．本プラットフォームではエージェントマイ

グレーションの管理をマネージャと呼ぶアプリケーシ

ョンで行う．マネージャは各エッジサーバ上に一つ実

行されているアプリケーションである．マネージャに

は所属するエッジサーバのカバー範囲と近傍に存在す

るエッジサーバのカバー範囲が事前にインプットされ

ている．マネージャはこの事前情報に基づいてマイグ

レーション先とタイミングの判断とを行いマイグレー

ションを実行する．以上がプラットフォームの概要で

ある．本プラットフォーム実現のために各種実証実験

を行ったので結果を後の章で紹介する．

3. 新川崎タウンキャンパスでの実証実験

3.1. 実験環境

エージェントマイグレーションによる低遅延保証

型自動運転プラットフォームの実現のために慶應義塾

大学 新川崎タウンキャンパス内にて実証実験を行っ

た．本実証実験には慶應義塾大学 SFC の大前研究室が

開発した自動運転車両 [6][7]をベースにアプリケーシ

ョンをネットワーク上から制御できるように改変して

行った．図 4 は今回使用した自動運転車両である．

図 4．自動運転車両

本車両には地上の基地局を使用することで通常の GPS

よ り 高 精 度 の 計 測 が 可 能 な RTK-GPS(Real Time

Kinematic GPS)が搭載されており 2cm 程度の誤差で車

両位置情報を得ることが出来る．またミリ波レーダー

と LIDAR(Light Detection and Ranging)が搭載されてお

り障害物を測定可能になっている．センサーで計測さ

れた情報はエッジに存在するエージェントアプリケー

ションに送信される．エージェントアプリケーション

は受信した情報から次に車両が目指すべき点列を車載

計算資源に送信する．車載計算資源ではエッジから受

信した点列から操舵角のような制御値を計算して車両

に書き込む．今回の実験で走行する車両は一台であり

車車間協調は未実施となっている．図 5 は今回構築し

た環境の概念図である．

図 5．新川崎タウンキャンパス実験環境

新川崎タウンキャンパス内の四つの棟に WiFi アク

セスポイントを設置した．今回の実験では三つのアク

セスポイントを使用し，駐車場を三つカバー範囲に切

り分けた．各アクセスポイントは Virtual Local Area

Network(VLAN)で対応するエッジサーバに接続されて

いる．また，エッジサーバ間はエージェントマイグレ

ーション用の別の VLAN で接続した．今回の実験では

VLAN でネットワークを切り分けることで車両が接続

しているアクセスポイントとエージェントの位置が対

応していないと通信が継続できないようにした．また

本実験ではクラウドに相当するサーバやアプリケーシ

ョンは使用していない．またエージェントアプリケー

ションは VM(Virtual Machine)上で実行されており

KVM のライブマイグレーション機能で車両を追従さ

せた．本来は軽量のコンテナ等を使用するべきではあ

るが実験の簡単化のため VM上に軽量の Linux OSであ

る Alpine Linux をインストールして実行した．表 1 が

今回の実験条件である．

表 1 シミュレーション環境

今回の走行経路は新川崎タウンキャンパス内の駐

車場の外回りと内回りを一周ずつ走行する経路を設定

した．比較対象はあらかじめ走行経路等の情報が入力

されている通信を行わないスタンドアロン型のものを

使用した．

3.2. 実験結果

まずはエージェント型自動運転車両の走行結果を

示す．図 6 は時速 5km，図 7 は時速 10km での走行結

果である．

図 6．走行結果 (時速 5km)

図 7．走行結果 (時速 10km)

図中の円で囲われている点で減速が確認された．こ

のうち時速 5km で走行時には一か所，時速 10km での

走行時は二か所で点列の送信が遅れていることによる

減速がみられた．これは VM のライブマイグレーショ

ンが遅れており車両の接続しているアクセスポイント

と VM の存在するエッジサーバが対応していない時間

が発生したためである．表 2 がエージェント型の車両

とスタンドアロン型の車両の走行時間の比較である．

表 2．走行時間の比較

時速 5km で走行時には 2.3 秒程度，時速 10km で走

行時には 24.5 秒程度のマイグレーション遅れによる

走行時間の増加が確認された．しかしながらライブマ

イグレーション実行時の通信断絶時間は 1 秒以下であ

るので，マイグレーションにかかる時間を予測してそ

の分早めにマイグレーショントリガーを発生させるこ

とでマイグレーション遅れによる影響を小さくするこ

とが可能である．それでもわずかに通信断絶は発生し

てしまうため，複数地点でエージェントを実行して必

ずどこかのエージェントとは接続を保つような取り組

みが将来的に必要になる．

4. 日米間接続ネットワークでの実験

新川崎タウンキャンパスでの実験ではエッジサー

バ間の接続はレイヤ 2 スイッチが一台入っているのみ

の非常に単純な構成であり，クラウドに相当するサー

バも存在していなかった．次にダラス大学 (UTD)と共

同で，2018 年 11 月に米国ダラスで開催された国際会

議 SC18 に置いて大規模なリソースプール型ネットワ

ークを構築し，自動運転プラットフォームの実験を行

った．使用した自動運転アプリケーションは，3 で使

用したものに，クラウド対応化等の改変を行ったもの

である．図 8 に構築したネットワークの概要図を示す．

図 8．日米間接続ネットワーク

日米間は JGN(Japan Gigabit Network)により 100Gbps

で接続されており，日本 (慶應義塾大学及び NICT 小金

井 )に設置されているサーバをクラウドとして使用し

た．リソースプールの技術にはアラクサラネットワー

ク ス 社 の 再 構 成 可 能 通 信 処 理 プ ロ セ ッ サ

(Reconfigurable Communication Processor: RCP)のプロ

トタイプを用いた [8]．RCP はルーティング・スイッチ

ング等のパケット処理機能に加えて，ネットワークプ

ロセッサや CPU を用いた汎用プロセッシング機能も

提供可能な通信処理ノードである．RCP は，各ノード

の処理機能やプロセッシング機能をリソースプール化

し，ネットワークを巨大な計算機資源として利用する

ことが出来る．今回の実験では RCP 内の CPU 上に

Linux OS(Ubuntu16.04)を導入し，エージェント用の

VM を OpenStack を用いて制御した．OpenStack は UTD

が開発した PROnet オーケストレータによって管理さ

れる．PROnet オーケストレータは VM に加えて光ネッ

トワークとイーサネットのレイヤのマルチレイヤを制

御可能である [9].PROnet オーケストレータからの指示

によってエージェントアプリケーションが実行されて

いる VM の位置が変更されていく．図 9 と図 10 に SC18

での実験会場での様子を示す．

図 9．実験会場 (SC18 NICT ブース )

図 10．実験会場 (SC18Dallas ブース )

今回の実験ではクラウドサービスとしてエッジの

保有するデフォルトの走行点列をクラウドが保有する

車両の走行ログから機械学習により現在の道路状況に

適したものに変更するサービスを実装した．実験期間

中に全てのサーバ間でのライブマイグレーションを成

功させることはできなかったが，各ブース内ではライ

ブマイグレーションによる継続したエッジでのサービ

ス提供を成功させることが出来た．今後の展望として

はレイヤ 3 ネットワーク上でどのようにアドレスを割

り当てながらライブマイグレーション等の課題に取り

組んでいく．

5. 結論

一般道での完全な自動運転実現にむけて CPSの考え

方を取り入れた自動運転プラットフォームのプロトタ

イプを新川崎タウンキャンパス内に構築した．本プラ

ットにはエージェントマイグレーションの機能があり

車両の位置に応じてエージェントが対応するエッジへ

マイグレーションを繰り返しながら，車両を制御する

ことに成功した．また国際会議の SC18 では巨大なリ

ソースプール型ネットワークでの自動車プラットフォ

ームの実証実験を行った．今後の展望としてはエージ

ェントの多重化させて通信断絶を最小にすることやレ

イヤ 3 でのアドレス割り当てなどに取り組んでいく．

6. 謝辞

実験に協力いただいた，アラクサラネットワー

クス株式会社，テキサス大学，竹下英俊氏に感謝

致します．自動運転プログラムを提供いただいた

慶應義塾大学大前研究室に感謝致します．本研究

の一部は，NICT 委託研究「光トランスポート NW

における用途・性能に適応した通信処理合成技術

の研究開発」，科研費 JP17H03269，JGN-A18002

の成果です．

文 献 [1] A. Broggi, S. Debattisti, P. Grisleri, and M.

Panciroli,“ The deeva autonomous vehicle platform,”2015 IEEE Intelligent Vehicles Symposium (IV), June-1 July.

[2] Kazunori Sakurama, “ Control of Large-Scale Cyber-Physical Systems with Agents via a Representative Model,”2016 IEEE 4th International Conference on Cyber-Physical Systems, Networks, and Applications (CPSNA) 6-7 Oct. 2016.

[3] Fatemeh Jalali, Safieh Khodadustan, Chrispin Gray, Kerry Hinton, and Frank Suits,“Greening IoT with Fog: A Survey,”2017 IEEE International Conference on Edge Computing (EDGE), 25-30 June 2017 .

[4] Naoaki Yamanaka, Satoru Okamoto, Kodai Yarita, Takayuki Muranaka, Andrea Fumagalli, ``Edge/Cloud co-operative Autonomous Driving Vehicular (ADV) control technologies,'' 21st Annual Conference Net-Centric, No. Mon2_3, October 2018.

[5] Guillaume Habault, Yuya Taniguchi, Naoaki Yamanaka, ``Delivery Management System based on Vehicles Monitoring and a Machine-learning Mechanism,'' 2018 IEEE 88th Vehicular Technology Conference: VTC2018-Fall, Chicago, USA, No. 9H3, August 2018.

[6] 大前学 , 藤岡健彦“DGP を利用した絶対値情報に基づく自動車の自動運転システムに関する研究 ,” 日本機械学会論文集 1999-6

[7] 大前学 , 橋本尚久 , 藤岡健彦 , 清水浩“RTK-GPSを用いた自動車の自動運転” , 計測と制御 第 44 巻 第 4 号 2005 年 4 月 号 .

[8] Ken-ichi Kitayama, Atsushi Hiramatsu, Masaki Fukui, Takehiro Tsuritani, Naoaki Yamanaka, Satoru Okamoto, Masahiko Jinno, and Masafumi Koga, “ Photonic Network Vision 2020―Toward Smart Photonic Cloud, ”Journal of Lightwave Technology ( Volume: 32 , Issue: 16 , Aug.15, 15 2014 ).

[9] Behzad Mirkhanzadeh, Chencheng Shao, Miguel Razo, Marco Tacca, Andrea Fumagalli, Gabriele Maria Galimberti, “Demonstration of an SDN Orchestrator for Both Flow Provisioning and Fault Handling in an Ethernet-over-WDM Network,” 2017 19 t h International Conference on Transparent Optical Networks(ICTON), Girona, 2017, pp.1-4