モバイルar技術の最先端 google...

1

モバイルAR技術の最先端Google Tangoを活用してバーチャル案内スタッフを実現

してみた

2

目次

1. 背景＆モチベーション

2. Google Tango についての紹介

3. 解決すべき課題

4. 課題解決方法とTangoの強みの活用

5. まとめ

6. デモ案内

3

背景＆モティベーション

突然ですが空港で国際線の乗り継ぎ時

道が迷ったことがありますか？

4

背景＆モティベーション

展示会、博物館内で

旅館内で地下町、駅内で

大きなショッピングモール内で

5

背景＆モティベーション

言葉の壁案内スタッフがいても案内してくれても言葉を通じない

手不足＆対応が苦労人間スタッフの限られた人数ですべてのお客さんに対応ができません

6

背景＆モティベーション

人間案内スタッフがいなくても

モバイルAR技術の最先端Google Tangoで

バーチャル案内スタッフを作れないのか？

7

研究の目的

• モバイルAR技術の最先端 Google Tangoプラットフォームを調査する

• 調査を踏まえて、Tango が提供した技術の実証実験およびバーチャル案内スタッフの実現にTangoの強みを活用する方法の検討

8

Google Tangoとは

マーカーレスAR/MRフラットーフォーム

奥行き知覚、モーショントラッキング、領域学習の３つコア技術

屋内ナビゲーション向けトータルソリューション

9

屋内面白いゲーム

10

Google Tangoの3つのコア技術

• 奥行き知覚（赤外線センサーなどを使用して物体までの距離奥行きを把握することができる機能)

11

Google Tangoの3つのコア技術

• モーショントラッキング（Tango搭載デバイスを持って移動するとデバイスがその動を追跡し理解することができる機能)

12

Google Tangoの3つのコア技術

• 領域学習（Tango搭載デバイスに空間の重要な視覚的徴を覚えさせて、再びその領域を認識することができる機能）

13

LENOVO PHAB 2 PRO

光の飛行時間で距離を計測するToF

（Time of Flight）カメラ

IRプロジェクター

魚眼カメラ

RGBカメラ

LED

14

解決すべき課題 (1/2)

1. バーチャル案内スタッフを地面上に立つようにする（現実と高度融合精度）

2. バーチャル案内スタッフを動かす

3. バーチャル案内スタッフをしゃべらせる

15

解決すべき課題 (2/2)

4. 実空間で実物と閉塞問題を処理する

5. デバイスの動き、位置及び向きを把握し、バーチャル空間への反映（同期）

6. 案内先まで道と方向を覚えさせ、道案内ができるようにする

16

デモビデオ

17

開発環境

• Tango UnitySDK Caporales

• Unity 5.4.4 f1 Personal

• Android Studio 2.2.3

• Unity chan 3DModel

• MMD4Mecanim-LipSync-Plugin

• AITalk

18

バーチャル案内スタッフを地面上に立つようにする

画面にタッチして、バーチャル案内スタッフを地面上に現れる

19

奥行き知覚

光の飛行時間で距離を計測する方法

赤外線（IR)カメラIRプロジェクター

ポイントクラウド(x, y, z z：奥行き情報）

20

奥行き情報を活用

タッチポジション情報

ポイントクラウド逆投影

最近隣補間法

①

② ③

21

バーチャル案内スタッフを動かす

22

バーチャル案内スタッフを動かす

• MecanimというUnity4からサポートしたアニメーションシステムを利用

• GameObjectにAnimatorコンポーネントを追加

• AnimatorにはAvatarと状態遷移を扱うワークフロー

• 各状態にアニメーションクリップ（Animation Clip)を付ける

• パラメータ値の変更で状態遷移を制御

23

Unityでの設定

24

Animator (状態遷移を扱うワークフロー)

状態

パラメーター

状態遷移

25

バーチャル案内スタッフをしゃべらせる

26

バーチャル案内スタッフをしゃべらせる

• 音声合成（Text To Speech: テキスト読み上げ)

• 音声と同期して口を動かす（リップシンク）

27

音声合成手段の選択

音声合成（Text To Speech: テキスト読み上げ)

IBM Watson

AITalk

比較

AITalkの方がノイズが少ない

綺麗な職人の自然な音声合成ができる

28

音声と同期して口を動かす（リップシンク）

WAVE データの音声に同期したリップシンク

入力した日本語をテキスト読み上げながら、リップシンク

マイク入力に合わせたリップシンク

29

Unity上の設定

挨拶、会社の紹介、到着するときにの音声ファイル

30

実空間で実物と閉塞問題

31

奥行き情報を活用、閉塞問題を解決

Z2

Z1

• Z-Buffering（深度バッファリング）

２次元配列

32

デバイスの動きをバーチャル空間への反映（同期）

33

モーショントラッキング

魚眼カメラ 慣性計測ユニット

• 魚眼カメラと慣性計測ユニット(IMU)からデータを収集

34

モーショントラッキング

• カメラからの画像フレームの視覚的特徴を識別それに基づき画像フレーム間の移動距離を計算（領域特徴ベーストレッキング）

• Tangoサービスが開始できた時の画像フレームをスタートフレームとする

35

モーショントラッキング

• IMUは、加速度センサー + ジャイロスコープ

• デバイスがどれだけ速く加速されるか、どの方向に回転するかをトレッキング

36

モーショントラッキング

平行移動ベクトル(Vector3)及び回転情報ベクトル（Vector4)

• アウトプット：

魚眼カメラ 慣性計測ユニット

GOOGLE TANGO API

37

案内先まで道と方向を覚えさせて、案内を行う

38

Tangoの領域学習

• 人間の空間認識と空間学習の仕組みと同じ• カメラから見える特徴的な物体（ランドマーク）をいくつか記憶する• ランドマークの位置情報• ランドマークの特徴（数学的記述で記憶）• カメラの視野が広ければ広いほどランドマークの特徴を取り込みやすい• 領域記述ファイル(ADF)に保存する• 再び同じ空間に行くと保存されたADFを読み込み、ランドマークの特徴を検索、マッチングし、以前の空間として認識する

39

Tangoの領域学習機能を活用

タッチでマーカーを追加（マーカーの位置と向き情報

を保存）

マーカーの座標に基づきバーチャルスタッフを動かす

40

まとめ (1/2)

• Tangoの3つのコアテクノロジー（奥行き知覚、モーショントラッキング、領域習）を活用して、バーチャル道案内スタッフを実現してみた

• 学習速度及び空間認識の速度が速い

• モーショントラッキング及び屋内ナビゲーション精度が高い

• GPSがうまく行かない環境（ショッピングモール、展示会、空港内、駅内などのうな場所）のナビゲーションに役に立つ

41

まとめ（2/2)

• Tangoをサポートするコンシューマー端末はまだ少ないが（現時点でLenovo PhabPro2) これから他のメーカーもTangoサポート端末を作り出すと（ASUSZenFone AR）Tango技術またTangoアプリがもっと普及になるだろう

42

以上になります。

ご清聴いただきありがとうございました