Download - モビリティ、ロボティクス、AI開発におけるデータ収集、 解析か …€¦ · ROS パッケージ群 Turtlesim PR2 … ライブラリ群 OpevCV PCL … ツール群
モビリティ、ロボティクス、AI開発におけるデータ収集、
解析から処理実装までをカバーするフレームワーク
株式会社 アプトポッド
代表取締役 坂元淳一
© aptpod Inc. All Rights Reserved. 1
株式会社アプトポッド
• 設立14期目
• 従業員55名 (常勤役員含む)
• 自動車分野、ロボット分野などの産業分野に特化した
高速IoTプラットフォームを提供
製品概要高速IoTプラットフォームのためのサーバサイドフレームワーク
データ収集と解析 リアルタイム監視
遠隔制御
AI開発・機械学習
分析処理
自動車・重機・建機・農機・ロボット ・ドローンetc...
• 高いリアルタイム性
• 双方向データ通信
• データの欠損補完
モバイルネットワークによる遠隔データ送受信のための独自プロトコル
データの可視化
データ可視化Webダッシュボード
産業IoTに必要とされる様々な機能の実現
データ送受信ターミナル
モバイル通信
• 様々なデータ種への対応
• タイムスタンプ処理
EDGE
Amazon EC2
• 高いリアルタイム性
• 双方向データ通信
• データの完全回収
モバイル、インターネット、クラウドを活用した高度なデータ伝送要件
• 様々なデータ種への対応
• タイムスタンプ処理
独自のプロトコル開発z
intdash Streaming Control Protocol (iSCP)
ApplicationLayer
TransportLayer
リアルタイム性能とデータ回収性能を同時実現する独自のソフトウェアプロトコル
✓ 送信欠損データの再送処理
✓ リアルタイム伝送処理コストの最適化
✓ 輻輳回避のためのフラッシュコントロール
Patent Pending
✓ フレキシブルなデータ長
✓ 様々なデータタイプへの対応
✓ 相対時刻によるタイムスタンプ
iSCP works on TCP(WS) and UDP (QUIC*) Data Format
ストリーム内で同時実現
*To be released in 2019
intdash/ Visual M2M 全体ブロック構成
CAN
MAVLIK
J1939
KWP/CCP
Various Binary
Various Message Data….
Video Data
Audio Data
LIDAR
Key T
echnolo
gie
s
製品・サービスのご提供形態
✓ エッジハードウェア
✓ クラウドサブスクリプション (PaaS)
‒ IoTサーバープラットフォーム
‒ 可視化Webアプリケーション
✓ 各種コンサルティング、インテグレーションサービス
コネクテッドカー
AI開発・機械学習・ディープラーニング
産業製品のコネクテッド化とデータを活用した様々なテーマ
リモートデータ収集・解析
リアルタイム監視
データ分析の自動化
遠隔制御
ユースケース
✓ 部品メーカーにおける海外顧客サポート用の遠隔診断基盤
✓ 自動車メーカーにおける開発用データ収集基盤
✓ ドローン管制基盤
✓ ロボット・無人搬送車両などの遠隔制御基盤
✓ AI開発・機械学習・ディープラーニング基盤
✓ 次世代コネクテッドカーの機能実証基盤
✓ 重機・農機・荷役車両のリアルタイムモニタリング・データ収集
Vehicle Data Acquisition / Real-time Monitoring
Use for✓ Data Acquisition✓ Real-time Monitoring
Data from Vehicle✓ Vehicle CAN (60IDs) ✓ GPS✓ Video✓ Acceleration Sensor✓ Gyro SensorU
se C
ase
s
Disaster situation monitoring platform by drone
Use for✓ Data Acquisition✓ Real-time Monitoring✓ Remote Control by iPad App
On-board LTE Gateway
Drone Data ✓ Video✓ GPS✓ Drone Control Signal
Controler Data ✓ Control Commands
Use
Case
s
Tele-operation of Robot
Use for✓ Remote Control✓ Data Acquisition
Data from Controler✓ Degree of fingers (5400 units/sec)
Data from Robot✓ H.264 Video (720P 30fps)✓ Robot Feedback (2000 units/sec)
Use
Case
s
intdashとAmazon SageMakerに
よる機械学習・ディープラーニング
© aptpod Inc. All Rights Reserved. 1 3
intdashによるRAWデータの遠隔収集環境
intdash Edge
API
時系列データベース
センサーネットワーク 制御ネットワーク
intdash Cloud System
モバイル/インターネット
intdash Edge System
RAW データ
• データ欠損時の再回収処理
• 統合されたタイムスタンプ処理
• 高いリアルタイム性
• 様々なデータに対応
✓ 制御信号
✓ センサー信号
✓ メディアデータ(動画・画像・音声)
Python実行基盤 Intdash Analytics Services
intdash Edge
API
時系列データベース
センサーネットワーク 制御ネットワーク
intdash Cloud System
モバイル/インターネット
intdash Edge System
RAW データ
Intdash Analytics Service
• Pythonの実行基盤
• 時系列データの計算処理、分析処理が可能
Python SDK
intdashAnalytics Services
Python Phthon
• Jupyter Notebookによるコーディング、データアクセスが可能
学習から推論までの流れと全体像
intdash Edge
モデル
API
時系列データベース
リモート配置
リアルタイム推論
センサーネットワーク・動画像 制御ネットワーク
intdash Cloud System
モバイル/インターネット
intdash Edge System
エッジでの推論
アノテーション結果
RAW データ推論データ
サーバーサイドでの学習・推論
モデル
Python SDK Analytics Services Amazon SageMaker
Amazon SageMaker Ground Truth
学習・推論などのデータパイプラインオーケストレーション
Jupyter Notebookによるパイプラインコーディング
学習用データ
アノテーション取得モデル保管
Amazon S3
運用Operation
データ管理Manage Data
学習Learning
データ収集RAW Data Acquisition
アノテーションAnnotation
モデルの生成Create models
サーバーサイド又はエッジサイドエンドポイントへのデプロイDeploy intoServer Side or Edge Side End Points
機械学習/ディープラーニングワークフロー
教師データの準備Provide Teacher Data
Work with
Amazon SageMaker Ground Truth
Amazon SageMaker
運用Operation
データ管理Manage Data
学習Learning
データ収集RAW Data Acquisition
アノテーションAnnotation
モデルの生成Create models
サーバーサイド又はエッジサイドエンドポイントへのデプロイDeploy intoServer Side or Edge Side End Points
教師データの準備Provide Teacher Data
アプトポッドの強み
Work with
Amazon SageMaker Ground Truth
Amazon SageMaker
機械学習/ディープラーニングワークフロー
運用Operation
データ管理Manage Data
学習Learning
データ収集RAW Data Acquisition
アノテーションAnnotation
モデルの生成Create models
Improvement Process
サーバーサイド又はエッジサイドエンドポイントへのデプロイDeploy intoServer Side or Edge Side End Points
教師データの準備Provide Teacher Data
Work with
Amazon SageMaker Ground Truth
Amazon SageMaker
機械学習/ディープラーニングワークフロー
サーバー推論とエッジ推論環境
© aptpod Inc. All Rights Reserved. 2 0
• サーバーでの推論の課題とメリット• 課題
• 推論実行環境のランニングコスト
• エッジからサーバーへのデータ通信コストが高い
• メリット
• 複数のノードから一気に学習用データ収集が可能
• 全RAWデータを収集できるため、モデル検証がしやすい
• エッジでの推論の課題とメリット• 課題
• エッジデバイスに処理能力が必要 = デバイス単価が高い
• 処理結果の総合評価が難しい
• メリット
• エッジからサーバーへのデータ通信コストが低い
• 共通の課題• モデル開発にはデータが必要
ハイブリッドな実行環境の例
© aptpod Inc. All Rights Reserved. 2 1
1. 学習時~モデル検証時はサーバーサイドで• ノードからの学習用データを一気に収集
• 教師データを準備し、モデル開発
• 完成したモデル検証を複数ノードからのデータで検証
2. モデル確立後はエッジサイドで本運用• 検証したモデルをエッジへデプロイし、推論データだけを収集
3. 追加学習時は再びサーバーサイドで• 環境変化、新要素の検出などに追随するための追加学習時は1へ
サーバーサイドでの推論事例
API
時系列データベース
リアルタイム推論intdash Cloud System
モバイル/インターネット
アノテーション結果
サーバーサイドでの学習・サーバーエンドポイント運用
モデル
Python SDK Analytics Services Amazon SageMaker
Amazon SageMaker Ground Truth
学習・推論などのデータパイプラインオーケストレーション
Jupyter Notebookによるパイプラインコーディング
学習用データ
アノテーション取得モデル保管
モバイル/インターネット 5fps VGA Motion JPEG
走行車両にてVisual M2M Motionで撮像しクラウドへリアルタイム伝送
Amazon S3
デモンストレーション:画像による危険箇所の自動発見
推論データ
Rawデータ
推論データのマッピング
まとめ
アプトポッド基盤上での機械学習環境メリット
• 強力なデータ収集機能により永続的に進化するモデル開発が可能
• 高いリアルタイム性による鮮度の高い推論データ生成が可能
• RAWデータ、推論データによる統合的なアプリケーション活用が可能
• Python SDK, Jupyter Notebookによるデータパイプライン開発環境
目的に合わせてOSSや外部ツールを活用
• 汎用的なライブラリの活用 – TensorFlowなど
• モデル管理基盤、実行基盤の活用 – Amazon SageMaker
• AWSアセットとの連携によるワークフロー構築
Amazon SageMaker Ground TruthAmazon SageMaker
intdashとAWS RoboMakerによる
遠隔操縦ロボットの開発ケーススタディ
株式会社アプトポッド
アドバンストエンジニアリングG リードアーキテクト
岩田 亮介
© aptpod Inc. All Rights Reserved. 2 5
AWS RoboMakerとは?
© aptpod Inc. All Rights Reserved. 2 6
• AWSの提供するROSのフルマネージド環境
• AWS Cloud9やAWS IoTと連携し、ロボットアプリケーションを大規模かつ簡単に開発・テスト・デプロイできるサービス
Cloud9によるコーディング環境
Gazeboによる物理シミュレーション
AWS IoTによるデプロイ・機体管理
ROSとは?
© aptpod Inc. All Rights Reserved. 2 7
• Robot Operating System
• 開発ツール、ライブラリ、通信プロトコルなどを含むオープンソースソフトウェア、エコシステム
• ロボット開発におけるデファクトスタンダード
コンピュータ
OS (Ubuntu)
ROS
パッケージ群Turtlesim
PR2 …
ライブラリ群OpevCVPCL …
ツール群TF
Rviz、Rqt …
AWS RoboMakerで何ができるか?
© aptpod Inc. All Rights Reserved. 2 8
• 面倒なROS環境の構築が不要
• ハイスペックが要求されがちな開発環境も容易に構築→ Webブラウザからすぐにロボット開発をはじめられる
環境構築などの低レイヤで面倒な作業からロボットエンジニアを開放!
コンピュータ
OS (Ubuntu)
ROS
パッケージ群Turtlesim
PR2 …
ライブラリ群OpevCVPCL …
ツール群TF
Rviz、Rqt …
AWSのクラウド環境
OS (Ubuntu)
ROS
パッケージ群Turtlesim
PR2 …
ライブラリ群OpevCVPCL …
ツール群TF
Rviz、Rqt …
AWS RoboMakerで何ができるか?
© aptpod Inc. All Rights Reserved. 2 9
• Gazebo(物理シミュレータ)のフルマネージド環境がすぐに手に入る
• AWS IoTと連携した実機へのデプロイ、実機の管理→開発したアプリケーションを簡単にテストすることができる
さまざまな機能で、開発だけでなくテスト〜運用フェーズまで支援
コーディング シミュレーション 実機デプロイ
AWS Cloud9 AWS IoTGreengrass
intdash/VisualM2Mで何ができるか?
© aptpod Inc. All Rights Reserved. 3 0
• 低レイテンシかつセキュアな双方向伝送で、遠隔地にあるロボットでも状態監視や遠隔制御が行える
→ インターネットを介したリアルタイムデータ伝送により機能実現をサポート
EDGE
制御対象
EDGE
コントローラリアルタイムデータモニタリング・可視化
Webアプリケーション
インターネット
intdashとAWS RoboMakerの補完関係
© aptpod Inc. All Rights Reserved. 3 1
• intdash/VisualM2M• データ伝送・管理・可視化の統合アプリケーションとして、
開発〜運用までお客様をサポート
• コーディング環境・シミュレーションなどの開発環境の提供や開発物のデプロイについては、自社アセットがない
• AWS RoboMaker• ロボット開発におけるコーディング環境・シミュレーション・デプロイなどの
効率化によって開発者をサポート
• データの管理や可視化アプリケーションについては、AWSのアセットを利用して利用者側で開発する必要がある
ROS開発環境ROSシミュレーション/3D可視化ツール
(Rviz, Rqt, Gazebo)
intdashとAWS RoboMakerによるロボット開発データパイプライン
© aptpod Inc. All Rights Reserved. 3 2
Real-time API
Analytics Services Media Services
Server Assets
EDGE
Amazon EC2
TSDB
AWS RoboMaker
Controlee実機環境
ROS開発・シミュレーション環境
EDGE
EDGE
Controller実機環境リアルタイムデータモニタリング・可視化
Webアプリケーション
遠隔操縦ロボットの開発とシミュレーション
© aptpod Inc. All Rights Reserved. 3 3
Real-time API
Analytics Services Media Services
Server Assets
EDGE
Amazon EC2
TSDB
AWS RoboMaker
Controlee実機環境
ROS開発・シミュレーション環境
EDGE
EDGE
Controller実機環境リアルタイムデータモニタリング・可視化
Webアプリケーション
ROS開発環境ROSシミュレーション/3D可視化ツール
(Rviz, Rqt, Gazebo)
制御指示データ
データ可視化、解析用のCSVダウンロード
ROSメッセージ収集
制御指示データ
ROS開発・シミュレーション
物理コントローラーの指示による動作をシミュレーション上で確認しながら開発
AWS IoT Greengrassによる実機へのデプロイ
© aptpod Inc. All Rights Reserved. 3 4
Real-time API
Analytics Services Media Services
Server Assets
EDGE
Amazon EC2
TSDB
AWS RoboMaker
Controlee実機環境
ROS開発・シミュレーション環境
EDGE
EDGE
Controller実機環境リアルタイムデータモニタリング・可視化
Webアプリケーション
ROS開発環境ROSシミュレーション/3D可視化ツール
(Rviz, Rqt, Gazebo)
AWS Robomaker上で開発したROSパッケージの配布
シミュレーション環境上で開発したROSパッケージの実機へのデプロイ
実機による動作確認
© aptpod Inc. All Rights Reserved. 3 5
Real-time API
Analytics Services Media Services
Server Assets
EDGE
Amazon EC2
TSDB
AWS RoboMaker
Controlee実機環境
ROS開発・シミュレーション環境
EDGE
EDGE
Controller実機環境リアルタイムデータモニタリング・可視化
Webアプリケーション
制御指示データ データ可視化、解析用のCSVダウンロード
ROSメッセージ収集
制御指示データ
実機により動作確認を行い、シミュレーション環境との差分を調整
ROS開発環境ROSシミュレーション/3D可視化ツール
(Rviz, Rqt, Gazebo)
DEMO
© aptpod Inc. All Rights Reserved. 3 6
運用時における制御ハブ、統合モニタリング環境
© aptpod Inc. All Rights Reserved. 3 7
Real-time API
Analytics Services Media Services
Server Assets
Amazon EC2
TSDB
リアルタイムデータモニタリング・可視化Webアプリケーション
リアルタイム統合監視
実運用フェーズにおける遠隔制御とデータモニタリングのバックエンドシステムとして稼働
Amazon SageMakerとの連携によるML/DLデータパイプライン
© aptpod Inc. All Rights Reserved. 3 8
Real-time API
Analytics Services Media Services
Server Assets
EDGE
Amazon EC2
TSDB
AWS RoboMaker
Controlee実機環境
ROS開発・シミュレーション環境
EDGE
EDGE
Controller実機環境リアルタイムデータモニタリング・可視化
WebアプリケーションROSシミュレーション/3D可視化ツール
(Rviz, RQT, Gazebo)
Amazon SageMaker
機械学習・DL環境
シミュレーション・実環境で収集したデータを活用したAI開発
まとめ
• Autonomousの開発に加え、遠隔操縦機能の開発環境を提供
• シミュレーションと実環境をまたがった開発が可能
• ROS開発における、シミュレーション、デプロイ、実運用環境などのフェーズを横断した統合ワークフローを構築
• 操作データ、制御データなど、データパイプラインを流れるすべてのデータをストアし、動体解析などの二次活用が可能
• ストアデータをもとに機械学習、ディープラーニングによる自動化開発などが可能
コネクテッドカー
AI開発・機械学習・ディープラーニング
産業製品のコネクテッド化とデータを活用した様々なテーマ
リモートデータ収集・解析
リアルタイム監視
データ分析の自動化
遠隔制御
ブース展示のご案内
intdash + Amazon SageMaker連携デモ
intdash + AWS RoboMaker連携デモ
ご清聴ありがとうございました