![Page 1: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/1.jpg)
1
モバイルAR技術の最先端Google Tangoを活用してバーチャル案内スタッフを実現
してみた
![Page 2: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/2.jpg)
2
目次
1. 背景&モチベーション
2. Google Tango についての紹介
3. 解決すべき課題
4. 課題解決方法とTangoの強みの活用
5. まとめ
6. デモ案内
![Page 3: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/3.jpg)
3
背景&モティベーション
突然ですが空港で国際線の乗り継ぎ時
道が迷ったことがありますか?
![Page 4: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/4.jpg)
4
背景&モティベーション
展示会、博物館内で
旅館内で地下町、駅内で
大きなショッピングモール内で
![Page 5: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/5.jpg)
5
背景&モティベーション
言葉の壁案内スタッフがいても案内してくれても言葉を通じない
手不足&対応が苦労人間スタッフの限られた人数ですべてのお客さんに対応ができません
![Page 6: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/6.jpg)
6
背景&モティベーション
人間案内スタッフがいなくても
モバイルAR技術の最先端Google Tangoで
バーチャル案内スタッフを作れないのか?
![Page 7: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/7.jpg)
7
研究の目的
• モバイルAR技術の最先端 Google Tangoプラットフォームを調査する
• 調査を踏まえて、Tango が提供した技術の実証実験およびバーチャル案内スタッフの実現にTangoの強みを活用する方法の検討
![Page 8: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/8.jpg)
8
Google Tangoとは
マーカーレスAR/MRフラットーフォーム
奥行き知覚、モーショントラッキング、領域学習の3つコア技術
屋内ナビゲーション向けトータルソリューション
![Page 9: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/9.jpg)
9
屋内面白いゲーム
![Page 10: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/10.jpg)
10
Google Tangoの3つのコア技術
• 奥行き知覚(赤外線センサーなどを使用して物体までの距離奥行きを把握することができる機能)
![Page 11: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/11.jpg)
11
Google Tangoの3つのコア技術
• モーショントラッキング(Tango搭載デバイスを持って移動するとデバイスがその動を追跡し理解することができる機能)
![Page 12: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/12.jpg)
12
Google Tangoの3つのコア技術
• 領域学習(Tango搭載デバイスに空間の重要な視覚的徴を覚えさせて、再びその領域を認識することができる機能)
![Page 13: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/13.jpg)
13
LENOVO PHAB 2 PRO
光の飛行時間で距離を計測するToF
(Time of Flight)カメラ
IRプロジェクター
魚眼カメラ
RGBカメラ
LED
![Page 14: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/14.jpg)
14
解決すべき課題 (1/2)
1. バーチャル案内スタッフを地面上に立つようにする(現実と高度融合精度)
2. バーチャル案内スタッフを動かす
3. バーチャル案内スタッフをしゃべらせる
![Page 15: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/15.jpg)
15
解決すべき課題 (2/2)
4. 実空間で実物と閉塞問題を処理する
5. デバイスの動き、位置及び向きを把握し、バーチャル空間への反映(同期)
6. 案内先まで道と方向を覚えさせ、道案内ができるようにする
![Page 16: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/16.jpg)
16
デモビデオ
![Page 17: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/17.jpg)
17
開発環境
• Tango UnitySDK Caporales
• Unity 5.4.4 f1 Personal
• Android Studio 2.2.3
• Unity chan 3DModel
• MMD4Mecanim-LipSync-Plugin
• AITalk
![Page 18: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/18.jpg)
18
バーチャル案内スタッフを地面上に立つようにする
画面にタッチして、バーチャル案内スタッフを地面上に現れる
![Page 19: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/19.jpg)
19
奥行き知覚
光の飛行時間で距離を計測する方法
赤外線(IR)カメラIRプロジェクター
ポイントクラウド(x, y, z z:奥行き情報)
![Page 20: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/20.jpg)
20
奥行き情報を活用
タッチポジション情報
ポイントクラウド逆投影
最近隣補間法
①
② ③
![Page 21: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/21.jpg)
21
バーチャル案内スタッフを動かす
![Page 22: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/22.jpg)
22
バーチャル案内スタッフを動かす
• MecanimというUnity4からサポートしたアニメーションシステムを利用
• GameObjectにAnimatorコンポーネントを追加
• AnimatorにはAvatarと状態遷移を扱うワークフロー
• 各状態にアニメーションクリップ(Animation Clip)を付ける
• パラメータ値の変更で状態遷移を制御
![Page 23: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/23.jpg)
23
Unityでの設定
![Page 24: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/24.jpg)
24
Animator (状態遷移を扱うワークフロー)
状態
パラメーター
状態遷移
![Page 25: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/25.jpg)
25
バーチャル案内スタッフをしゃべらせる
![Page 26: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/26.jpg)
26
バーチャル案内スタッフをしゃべらせる
• 音声合成(Text To Speech: テキスト読み上げ)
• 音声と同期して口を動かす(リップシンク)
![Page 27: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/27.jpg)
27
音声合成手段の選択
音声合成(Text To Speech: テキスト読み上げ)
IBM Watson
AITalk
比較
AITalkの方がノイズが少ない
綺麗な職人の自然な音声合成ができる
![Page 28: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/28.jpg)
28
音声と同期して口を動かす(リップシンク)
WAVE データの音声に同期したリップシンク
入力した日本語をテキスト読み上げながら、リップシンク
マイク入力に合わせたリップシンク
![Page 29: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/29.jpg)
29
Unity上の設定
挨拶、会社の紹介、到着するときにの音声ファイル
![Page 30: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/30.jpg)
30
実空間で実物と閉塞問題
![Page 31: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/31.jpg)
31
奥行き情報を活用、閉塞問題を解決
Z2
Z1
• Z-Buffering(深度バッファリング)
2次元配列
![Page 32: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/32.jpg)
32
デバイスの動きをバーチャル空間への反映(同期)
![Page 33: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/33.jpg)
33
モーショントラッキング
魚眼カメラ 慣性計測ユニット
• 魚眼カメラと慣性計測ユニット(IMU)からデータを収集
![Page 34: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/34.jpg)
34
モーショントラッキング
• カメラからの画像フレームの視覚的特徴を識別それに基づき画像フレーム間の移動距離を計算(領域特徴ベーストレッキング)
• Tangoサービスが開始できた時の画像フレームをスタートフレームとする
![Page 35: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/35.jpg)
35
モーショントラッキング
• IMUは、加速度センサー + ジャイロスコープ
• デバイスがどれだけ速く加速されるか、どの方向に回転するかをトレッキング
![Page 36: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/36.jpg)
36
モーショントラッキング
平行移動ベクトル(Vector3)及び回転情報ベクトル(Vector4)
• アウトプット:
魚眼カメラ 慣性計測ユニット
GOOGLE TANGO API
![Page 37: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/37.jpg)
37
案内先まで道と方向を覚えさせて、案内を行う
![Page 38: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/38.jpg)
38
Tangoの領域学習
• 人間の空間認識と空間学習の仕組みと同じ• カメラから見える特徴的な物体(ランドマーク)をいくつか記憶する• ランドマークの位置情報• ランドマークの特徴(数学的記述で記憶)• カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい• 領域記述ファイル(ADF)に保存する• 再び同じ空間に行くと保存されたADFを読み込み、ランドマークの特徴を検索、マッチングし、以前の空間として認識する
![Page 39: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/39.jpg)
39
Tangoの領域学習機能を活用
タッチでマーカーを追加(マーカーの位置と向き情報
を保存)
マーカーの座標に基づきバーチャルスタッフを動かす
![Page 40: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/40.jpg)
40
まとめ (1/2)
• Tangoの3つのコアテクノロジー(奥行き知覚、モーショントラッキング、領域習)を活用して、バーチャル道案内スタッフを実現してみた
• 学習速度及び空間認識の速度が速い
• モーショントラッキング及び屋内ナビゲーション精度が高い
• GPSがうまく行かない環境(ショッピングモール、展示会、空港内、駅内などのうな場所)のナビゲーションに役に立つ
![Page 41: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/41.jpg)
41
まとめ(2/2)
• Tangoをサポートするコンシューマー端末はまだ少ないが(現時点でLenovo PhabPro2) これから他のメーカーもTangoサポート端末を作り出すと(ASUSZenFone AR)Tango技術またTangoアプリがもっと普及になるだろう
![Page 42: モバイルAR技術の最先端 Google Tangoを活用してバーチャル案内スタッフを実現してみた](https://reader033.vdocuments.net/reader033/viewer/2022042707/5a65518f7f8b9a5b558b6967/html5/thumbnails/42.jpg)
42
以上になります。
ご清聴いただきありがとうございました