利用者の画像からの目的地指示に基づく自律移動車...

38
ICS11M937 利用者の画像からの目的地指示に基づく自律移動車 椅子 指導教員 久野義徳教授 平成23 8 5 日提出 理工学研究科数理電子情報系専攻 情報システム工学コース 09MM337 埼玉大学理工学研究科・工学部 久野研究室 埼玉県さいたま市桜区下大久保 255

Upload: others

Post on 08-Sep-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

ICS11M937

利用者の画像からの目的地指示に基づく自律移動車

椅子

指導教員 久野義徳教授

平成23 年8 月5 日提出

理工学研究科数理電子情報系専攻

情報システム工学コース

09MM337

朱 嶸

埼玉大学理工学研究科・工学部

久野研究室

埼玉県さいたま市桜区下大久保 255

Page 2: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

2

概要

本論文では、全方位カメラで撮影した周辺画像を,タッチパネルディスプレイにパノ

ラマ表示し,利用者が目的地をタッチすれば,後は目的地まで自律的に移動できる車

椅子を提案した.ただし、パノラマ画像から目的地をタッチして指示するのは対象が小

さくて難しいので、ユーザーが見ている方向を認識し、その周辺だけを拡大して表示

するインタフェースを検討する。

本システムでは,タッチされた箇所の周辺の特徴を目的地の特徴として記憶し,パノ

ラマ画像上でその特徴点を追跡し,その場所に向かって進むことで,自律移動を実現

した.特徴点の検出には,SURF[1](Speed-Up Robust Features)を使用する.しかし、

パノラマ画像から目的地点をタッチで指示するのは難かし。そこで、本システムでは,

タッチパネルディスプレイに,全方位カメラ画像から作成したパノラマ画像からユ

ーザーの注視した方向周辺だけを切り出して表示することで,目的地の指定を

容易にした。ユーザーの注視方向の計測には,USBカメラを用いて利用者を撮影し,

得られた画像から,顔追跡ライブラリ FaceAPI[2]を用いて注視方向を推定する.

本論文では、実験を行い、利用者が目的地をタッチすることで,目的地まで移動で

きる自律移動車椅子の有用性を確認した。

Page 3: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

3

目次

第 1章 序論 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・1

1.1 背景と関連研究 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・1

1.2 問題点と研究目的・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・4

1.3 本論文の構成・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・6

第 2章 システム概要・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・7

2.1 ハードウェア構成・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・7

第3章 ロボット車椅子の操作方法・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・15

3.1 目的地の推定・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・15

3.1.1 特徴点の検出・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・15

3.1.2 face トラッキング・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・16

3.2 ロボット車椅子の操作方法・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・17

第4章 実験・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・22

4.1 ロボット車椅子の走行実験・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・22

4.2 目的地の認識実験・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・24

4.2.1 「C」ボーダンで目的地の認識・・・・・・・・・・・・・・・・・・・・・・・・24

4.2.2 リアルタイム視線追跡実験・・・・・・・・・・・・・・・・・・・・・・・・・・・26

第5章 結論・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・29

5.1 まとめ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・29

5.2 今後の課題・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・30

謝辞・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・31

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・32

発表文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・34

Page 4: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

4

図表目次

図 1.1 筑波大学距離による学習型ジェスチャインタフェ―ス車椅子・・・・・・2

図2.1: タウニィジョイX・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・7

図2.2: USB Computer ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・9

図2.3 回路の追加・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・9

図2.4 コントローラ変更前・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・10

図2.5 コントローラ変更後・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・10

図2.6: 全方位カメラ(Vstone 製VS-C42U-200-TK)・・・・・・・・・・・・・・・・・・・11

図2.7 全方位カメラ展開画像・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・11

図2.8 USBカメラQcam Pro for Notebooks の外観・・・・・・・・・・・・・・・・・・・・・13

図2.9 ロボット車椅子の外観・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・14

図 3.1. SURF特徴抽出サンプル・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・16

図 3.2(ァ) 座標系・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・17

図 3.2(ィ) 注視した方向のパノラマ画像・・・・・・・・・・・・・・・・・・・・・・・・・・・・17

図 3.3 ロボット車椅子の操作概要・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・18

図 3.4 (ァ)あらかじめ定めたキー押す前の画像・・・・・・・・・・・・・・・・・・・・・・19

図 3.4 (イ)あらかじめ定めたキー押す後の画像・・・・・・・・・・・・・・・・・・・・・・20

図 3.5 視線による変化の画像・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・21

図 4.1 ロボット車椅子の走行実験・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・23

図 4.2あらかじめ定めたキーで目的地の認識実験・・・・・・・・・・・・・・・・・・・・・26

図 4.3 リアルタイム視線追跡実験・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・28

表2.1: タウニィジョイX 仕様・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・8

表2.2: 出力電力と車椅子の挙動の関係・・・・・・・・・・・・・・・・・・・・・・・・・・・・・10

表2.3: 全方位カメラの仕様・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・12

表2.4 USBカメラQcam Pro for Notebooks の仕様・・・・・・・・・・・・・・・・・・・・13

Page 5: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

5

序論

1.1 背景と関連研究

近年、高齢化や少子化の進行に伴い、高齢者や障害者支援を行う人材の不足が

懸念されている。四肢に障害のある脳性麻痺者は,両輪に取り付けられたハンドリムを

手で回すなどの自走型車いすや.手や足でジョイスティックなどを操作する電動車い

すを操作することは困難である.そのため、ある程度自律移動を行う知的車椅子の開

発が進められている。

知的車椅子に関しては、自律移動ロボットと同じく目的地を指定すれば自動的にそ

こに向かうもの[3]、ジョイスティックの代わりに視線、顔の向き、音声[4]などで操作指

示を行うが研究されている。例えば、学習型のジェスチャ認識手法[5]を用い,電

動車いす操作のための非接触・非拘束型の頭部ジェスチャインタフェースを開

発し,実ユーザーによる実環境での利用を目指した研究がある.

筑波大学坂上勝彦研究室ではステレオカメラからの相対的な位置姿勢を教師信号

として利用する低コストの学習手法を提案した。すなわち,確率論的組合せ最適化を

利用した同時位置合わせおよび姿勢推定の問題を解決する新しいアルゴリズム,

PC-SCO[6] を提案し,少数のランドマーク(顔に貼り付けたマーカ)とステレオ動画像

を用いてモデルベースの姿勢トラッキングを行うことでカメラから見た相対的な頭部姿

勢情報を取得した。取得した姿勢情報と頭部領域の距離情報を用いて教師付き学習

を行うことで,ビジョンベースの電動車いす操作のための非接触・非拘束型の頭部ジェ

スチャインタフェース[7]を実現した。

Page 6: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

6

図 1.1

筑波大学距離による学習型ジェスチャインタフェ―ス車椅子

(a) ステレオカメラ(カラーQVGA, 20fps)

(b) Set top box (CPU: Pentium M 1.6GHz, RAM: 1GB)

(c) スピーカー

先に述べた目的地を指定すれば自動的にそこに行くというのは、決まった地

点に行くにはよいが、スーパーなどでの買い物のときなど、行くところを、そ

のときどきで決めていくものには適さない。

また、操縦しやすいインタフェースといっても、常に操作しているのは、負担

が大きい。そこで、目的地をその場で容易に指定できるインタフェースを用意

し、それで目的地を指示したら、後は目的地までは自律的に動く知的車椅子を

提案する。

先に述べたように、視線や顔の向きで車椅子を操縦する研究があるが、行き

たいところを見るのは自然なので、視線や顔の向きの利用は有望である。ここ

では、行きたいところを見たら、その後は、操縦せずにそこに自律的に動く車

椅子の実現を目指して研究を行っている。

今回は、その第一段階として、顔の向きとタッチパネルへのタッチを組み合

わせた方法を検討した。顔が向いている方向のどこに行きたいのかを自動認識

するのは難しいので、それは次の課題として、顔が向いている方向の画像をタ

ッチパネルディスプレイに表示し、その中で行きたいところをタッチすれば、

後は自動的にそこへ動く方法を提案する。タッチ操作がしやすいように、全方

Page 7: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

7

位カメラの画像から、別のカメラで搭乗者が見ている方向を求め、その方向付

近だけを拡大して表示する方法を検討した。

Page 8: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

8

1.2 問題点と研究目的

ジョイスティックは一本のレバーでもしくは自由度のパラメータを同時に制御できるイ

ンタフェースとして様々な機器に用いられている。電動車椅子の操作も,そのほとんど

がジョイスティックによって直進,旋回の制御を行うようになっている。しかし、筋ジストロ

フィのように筋力が非常に弱いなどの理由でジョイスティックが操作できないために,

電動車椅子の使用をあきらめる者も多い。

以下にこれらから考えられる課題を挙げてみる

ジョイスティックに代わりに、インタフェ―スで操作を指示

目的地の正しい指定

高齢者でも指示しやすい

そのため、スーパーマーケットなどで車椅子を使用することを考えると、これまでの

自律移動を行う知的車椅子のように視線によって、あらかじめ定められた目的地に行

くというより、その時点で行きたいと思ったら、すぐにそこに行けるようにするのが望まし

い。また、その際、利用者にとっては、操縦の操作の必要のないことが望ましい。

例えば、視線を利用したコマンド型インタフェースとしては,画面上に配置された特

定のオブジェクト(アイコン,メニューなど)[8] を選択するというものが一般的である.視

線をコマンド型インタフェースとして利用する場合,重要な問題の一つにどのように選

択を決定するかという点がある.見たものが片端から選択されると,操作は極めて困難

になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9] 王に

ちなん"Midas Touch Problem" と呼ぶ.

このような視線を利用して車椅子を操作する,いわゆる視線インタフェースに関する

研究は視線測定技術の進歩と共に進んできた。これまで電動車椅子を使うには,熟練

者にとっては極めて簡単な操作でも非熟練者には使いこなすのに苦労する場合が多

かった。視線を利用した新しいインタフェースは,このような問題を解決する可能性を

持つ。そして将来は視線を利用して簡単に車椅子や家電機器を操作する時代が来る

であろう。また視線で機器を操作するだけでなく,人と人とのコミュニケーションにおい

ておこなわれているのと同様,相手の意図を視線から理解する時代も来ると考えられ

る。

このような現状をふまえ,本研究ではジョイスティックによる電動車椅子の操作が難

Page 9: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

9

しい患者に対し,新たに操作性の高いインタフェースを提供するため,ユーザーの画

像からの目的地指示に基づく自律移動車椅子を提案する。

Page 10: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

10

1.3 本論文の構成

本論文の構成は以下の通りである.

第1章 序論

第2章 システムの概要

第3章 ロボット車椅子の操作方法

第4章 実験

第5章 結論

Page 11: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

11

第1章 システム概要

本章では用いるロボット車椅子について述べる.

2.1 ハードウェア構成

ロボット車椅子を構成するハードウェアは以下のとおりである.

電動車椅子: タウニィジョイX (ヤマハ発動機)

PC : Let’s note CF-S8 (Intel(R) Core(TM)2 Duo CPU/ P8800

@2.66GHz)(Panasonic)

マイクロコンピュータ: USBComputer (H8-3048) (ネプラス)

タッチパネルディスプレイ: MIMO UM-740 (磁気研究所)

全方位カメラ(Vstone 製VS-C42U-200-TK)

USBカメラ(QCAM-200)

本システムは電動車椅子(松永製作所TT-JOY 図2.1 表2.1)をベースに開発した。

ロボット車椅子には,全方位カメラ(ヴィストンVS-C14U),タッチパネルディスプレイ(ハ

ンファ・ジャパンUM-730)を取付けた.これらのセンサと,制御用マイコン(ネプラス

USB-Computer) を用いて,ノートPCで車椅子を制御する.

図2.1 に示すヤマハ発動機製の電動車椅子タウニィジョイX をロボット車椅子のベ

ースに使用する。

Page 12: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

12

図2.1: タウニィジョイX

表2.1: タウニィジョイX 仕様

ロボット車椅子の制御は,USB ポート[10]からマイクロコンピュータ(図2.2 2.3 2.4

2.5)を介してD/A 変換して電圧を出力することで行う.ジョイスティックコントローラによ

る前後方向,左右回転の出力をメインコンピュータからの出力に切り替えることで制御

を行う.出力信号は,表2.2 に示すように前後方向と左右の回転の2 系統の電圧から

る。

Page 13: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

13

図2.2: USB Computer

図2.3 回路の追加

図2.4 コントローラ変更前 図2.5 コントローラ変更後

表2.2: 出力電力と車椅子の挙動の関係

Page 14: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

14

前後方向の信号は,2.5V で停止する.2.5V から5V へと電圧が上がるにつれて

前進速度が上がる。一方,2.5V から0V へと電圧が下がるにつれて後退する速度が

上がる。

同様に,左右回転の信号は,2.5V で回転しない。2.5V より高い電圧では左方向

へと回転する。2.5V から5V まで電圧が上がるにつれて左方向への回転速度が上が

る。2.5V よりも低い電圧では右方向へと回転する。2.5V から5V まで電圧が下がるに

つれて右方向への回転速度が上がる。

周辺環境の取得は全方位カメラ(Vstone 製VS-C42U-200-TK:図2.6 2.7)を撮

る。

図2.6: 全方位カメラ(Vstone 製VS-C42U-200-TK)

図2.7 全方位カメラ展開画像

Page 15: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

15

表2.3: 全方位カメラの仕様

Page 16: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

16

本研究では、ユーザーの注視方向の計測には,USBカメラ(QCAM-200V 図2.8

表2.4)を用いて利用者を撮影する。

Page 17: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

17

図2.8 USBカメラQcam Pro for Notebooks の外観

表2.4 USBカメラQcam Pro for Notebooks の仕様

本研究で試着したロボット車椅子の外観は図2. 2に示す。

Page 18: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

18

図2.9 ロボット車椅子の外観

Page 19: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

19

第2章 ロボット車椅子の操作方法

本章では、ロボット車椅子の操作方法について述べる。利用者が注視した周辺環

境はタッチパネルディスプレイに表示される。利用者はタッチパネルで目的地をタッチ

する。するとタッチされた箇所周辺の SURFが記憶され,車椅子はその場で旋回し,目

的地が車椅子の正面に来たら停止する。

3.1 目的地の推定

本システムでは,タッチされた箇所の周辺の特徴を目的地の特徴として記憶し,パノ

ラマ画像上でその特徴点を追跡し,その場所に向かって進むことで,自律移動を実現

する.

3.1.1 特徴点の検出

本システムでは、特徴点の検出には,SURF[5](Speed-Up Robust Features)を使用

する。SURFは SIFT (Scale-Invariant Feature Transform)[11]のように,Interest point

の検出, Dominant rotationの検出,Feature vectorの抽出の三つの手順により,特徴

量を抽出するが, SIFTよりも計算処理を単純化し,Integral imageを採用することで高

速化している。

SURFは、イメージ interest pointsが Hessianマトリックスに基づくのを見つける。スケ

ール σ の点 x’ = (x, y)のイメージ Iで、Hessian マトリックス H(x’, σ)は、以下の

通りに定められる:

),'(),'(

),'(),'(),'(

xLxL

xLxLxH

yyxy

xyxx

(3.1)

その中 Lxx(x’, σ) = ),(*22 yxIgx , 222 2/)(221 yxeg 、Lxy(x’, σ) 、 Lyy(x’, σ)が

同じようになる。上記のプロセスは integral image を通して box filterによって

実行される。そして、interest pointsは 3x3x3 地域で non-maximum suppression

による localization される.SURF記述は 2D Haar wavelet 応答の合計に基づいて、

各々の interest points のまわりで 4x4 サブ地域で計算される。SURF 抽出プロセス

Page 20: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

20

のサンプル画像は図 3.1に示される。円は SURF特徴点である。制限用ボックス

はパノラマ画像の中の標準パターン位置をハイライトする。本システムでは,この

SURF を用いてタッチされた箇所周辺の特徴点を抽出[13]し,目的地の特徴として記

憶する.

(ァ) パノラマ画像

(ィ)ゴールイメージ

図 3.1. SURF特徴抽出サンプル

3.1.2 face トラッキング

パノラマ画像はすべてタッチパネルディスプレイに反映する際に、サイズが小さくて、

高齢者や視力がよくない人にパノラマ画像から目的地点をタッチで指示するのは難か

し。そこで、本システムでは,タッチパネルディスプレイに,全方位カメラ画像から作

成したパノラマ画像[12]からユーザーの注視した方向周辺だけを切り出して表

示することで,目的地の指定を容易にする。

ユーザーの注視方向の計測には,USBカメラを用いて利用者を撮影し,得られた

画像から,顔追跡ライブラリ FaceAPIを用いて注視方向を推定する.FaceAPIは顔とキ

ーポイントの部位データ、即ち位置データ、回転データ、表情などが取得できる 3次元

face トラッキングツールである。本システムでは、ユーザーの視線の方向をとして、ロー

ル角度 β とピッチ角度 αを利用する。図 3.2(ァ)にシステムで用いる座標系を示す。パ

ノラマ画像からユーザーが注視している周辺の領域を図 3.2(ィ)のように切り出し

てタッチパネルディスプレイに表示する。

Page 21: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

21

図 3.2(ァ) 座標系

図 3.2(ィ) 注視した方向のパノラマ画像

Page 22: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

22

3.2 ロボット車椅子の操作方法

本システムでは、図 3.3 の通りに、利用者が注視した周辺環境はタッチパネルディス

プレイに表示される。利用者はタッチパネルで目的地をタッチする。するとタッチされた

箇所周辺の SURF が記憶され,車椅子はその場で旋回し,目的地が車椅子の正面に

来たら停止する.そして,追跡している目的地領域のサイズが小さければ,車椅子は

少し前進する。領域がある程度大きければ,車椅子は停止し,目的地に到着したことと

する。

図 3.3 ロボット車椅子の操作概要

ただし、目的地の認識には、二つの方法で実験した。

Page 23: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

23

一つ目は、ユーザーが周辺環境を観察し、目的地を決まったら、視線を変えないうち

に、PCキーボードであらかじめ定めたキーを押し、タッチパネルディスプレイ上の表

示がホールドされる。もし、今の目的地を変更される場合には、新しい方向に目線[14]

を変えないうちに、もう一回あらかじめ定めたキーを押し、タッチパネルディスプレイ上

の表示が新しい目的地になり、ホールドされる。構築したシステムの概観を、図 3.4に

示す。

図 3.4 (ァ)あらかじめ定めたキー押す前の画像

Page 24: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

24

図 3.4 (イ)あらかじめ定めたキー押す後の画像

以上述べた目的地認識方法は、ユーザー毎回目的地をタッチする前に、あらかじ

め定めたキーを押さなければ、ならない。今度はあらかじめ定めたキーを押さなく、視

線方向の変化が少しなかったら、注目場所を保存され、リアルタイム視線追跡と呼ぶ

システム。構築したシステムの概観を、図 3.5に示す。

Page 25: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

25

図 3.5 視線による変化の画像

Page 26: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

26

第3章 実験

本章では、ロボット車椅子の実験について述べる。

4.1 ロボット車椅子の走行実験

ロボット車椅子の走行実験(図 4.1)では、利用者が注視した周辺環境はタッチパネ

ルディスプレイに表示される。利用者はタッチパネルで目的地をタッチする。するとタッ

チされた箇所周辺の SURF が記憶され,車椅子はその場で旋回し,目的地が車椅子

の正面に来たら停止する。そして,追跡している目的地領域のサイズが小さければ,

車椅子は少し前進する。領域がある程度大きければ,車椅子は停止し,目的地に到

着したこととする。

ロボット車椅子の走行実験を通して、パノラマ画像はすべてタッチパネルディスプレ

イに反映する際に、サイズが小さくて、高齢者や視力がよくない人にパノラマ画像から

目的地点をタッチで指示するのは難かいことが認識される。

(a) (b)

Page 27: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

27

(c) (d)

(e) (f)

図 4.1 ロボット車椅子の走行実験

Page 28: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

28

4.2 目的地の認識実験

4.2.1 視線固定法で目的地の認識

視線固定法で目的地の認識実験は図 4.2に示す。まず、ユーザーは目的地を確定、

決まったら、視線が変わらないうちに、キーボールドであらかじめ定めたキーを押し

て、タッチパネルディスプレイ上の表示がホールドされる。でも、やはり他のところに行

きたいときに、新しい方向に目線を変えないうちに、もう一回あらかじめ定めたキー

を押し、タッチパネルディスプレイ上の表示が新しい目的地になり、ホールドされる。

視線固定法は、毎回新しい目的地を決まった時に、目的地がタッチパネルディスプレ

イ上にちゃんとホールドされる。しかし、ユーザー毎回目的地をタッチする前に、あら

かじめ定めたキーを押さなければ、ならない。

(a)

Page 29: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

29

(b)

(c)

(d)

Page 30: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

30

(e)

図 4.2あらかじめ定めたキー

で目的地の認識実験

4.2.2 リアルタイム視線追跡実験

リアルタイム視線追跡実験は図 4.3 に示す。リアルタイム視線追跡[15]実験では、初

めての認識が顕著である。二回目以上は、ユーザーが何秒間目的地を注視しないと、

目的地がタッチパネルディスプレイに表示されないことである。ある程度改善が必要で

ある。

(a)

Page 31: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

31

(b)

(c)

(d)

Page 32: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

32

(e)

図 4.3 リアルタイム視線追跡実験

Page 33: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

33

第4章 結論

5.1 まとめ

本論文では利用者が目的地をタッチすることで,目的地まで移動できる自律移動車

椅子を提案した。

本研究のロボット車椅子は普通の電動車椅子より、ある程度使いやすいことを認識さ

れた。ジョイスティックに代わりにインタフェースを開発し、ユーザーがタッチパネルで

目的地を一度タッチし、ロボット車椅子はその場で旋回し,目的地が車椅子の正面に

来たら前進し、目的地は着いたら、自動的に停止が可能とした。

そして、高齢者や視力弱い人々に、目的地を指定しやすいシステムを開発され、実

証実験を行い,有効性を確かめた。

Page 34: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

34

5.2 今後の課題

今後は以下についてさらに研究することが必要である

リアルタイム視線追跡実験では、初めての認識が顕著である。二回目以上は、

ユーザーが何秒間目的地を注視しないと、目的地がタッチパネルディスプレイに

表示されないことである。そこで、今後はユーザーがタッチパネルディスプレイを

見ているかどうかを画像から判定し,ディスプレイを見ている間は,静止した画像

が続き,ユーザーがタッチ操作できるように改良する。または、撮影された周辺

環境の特徴明らかな部分をタッチパネルディスプレイに表示され、ユーザーが行

きたいところを並べる手法もう考えられている。

現在は,ゴールまでの途中に障害物がないと仮定して,ゴールの方に回転した

後は,直進している。今後は経路上に障害物がある場合でも,回避[16]しながら

目的地に向かうことを検討する。

Page 35: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

35

謝辞

外国人としての私に修士課程に進学する機会を与えて頂き、この三年間研究も生活

もご指導を賜りました久野義徳先生に心より厚く御礼申し上げます。また、プログラミン

グゼロ基礎の私に、助教小林先生から様々なお世話になり、深く感謝申し上げます。

また、研究の遂行にご協力いただきました,教養学部山崎敬一教授,東京工科大学

山崎晶子准教授に感謝申し上げます。最後に、研究室の皆様におかけて、留学生活

は豊かであり、忘れられなくなり、深く感謝いたします。

Page 36: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

36

参考文献

[1] H. Bay et al, “SURF: Speeded Up Robust Features,” ECCV2006, pp.346-359, 2006.

[2] http://www.seeingmachines.com

[3] 自律移動ロボット用人検出方法, 中原智治・ 山根剛志.

[4] 距離情報による電動車いす操作のための学習型ジェスチャインタフェースに関す

る研究, 木村雄介.

[5] 「ノーマライゼーション 障害者の福祉」 2004年 9月号, 渡邊啓二.

[6] Hansen, J. P., Anderson, A. W. and Roed, P.: EyeGaze Control of

Multimedia Systems, Symbosis of Human and Artifact (Anzai, Y., Ogawa, K.

and Mori, H.(eds.)), Vol. 20A, Elsevier Science, pp. 37 42 (1995).

[7] 視線インタフェースから視線コミュニケーションへ - 視線のある環境を目指して

-大野健彦.

[8] 非言語メッセージ利用インタフェース¥Gaze To Talk" システム, 信学技

報 HIP98-26, pp. 31{38 (1998).

[9] Ebisawa, Y.: Improved Video-Based Eye-Gaze Detection Method,

IEEE Transaction on Instrumentation and Measurement, Vol. 47, No. 4, pp.

948-955(1998).

[10] 視線方向検出におけるセルフキャリブレーションに関する研究, 電子情報

通信学会論文誌, Vol. J84-D-II, No. 8, pp. 1580{1588 (2001).

[11] Zhai, S., Morimoto, C. and Ihde, S.: Manual andGaze Input Cascaded

(MAGIC) Pointing, Proceed-ings of CHI'99, pp. 246{253 (1999).

Page 37: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

37

[12] 藤吉, “Gradientベースの特徴抽出-SIFTと HOG-,” 信学技報, 107(206),

pp.211-224, 2007.

[13] 小林貴訓, 金原悠貴, 久野義徳, “複合センサを用いた人物の行動計測に基づ

く自律移動車椅子,” 画像センシング技術研究会第15回画像センシングシンポ

ジウム(SSII09) 2009.

[14] 渋澤朋央, 小林貴訓, 久野義徳“鑑賞行動を支援するロボット車椅子システ

ム,” 電子情報通信学会2008 年総合大会情報・システム講演論文集Vol.2,

p.169, 2008.

[15] Y. Kuno, N. Shimada, and Y. Shirai, “Look where you’re going: A robotic

wheelchair based on the integration of human and environmental observations,”

Robotics and Automation, vol.10, no.1, pp.26-34, 2003.

[16] J. Min, K. Lee, S. Lim, and D. Kwon, “Human-friendly interfaces of

wheelchairrobotic system for handicapped persons,” IROS2002, vol.2,

pp.1505-1510, 2002.

Page 38: 利用者の画像からの目的地指示に基づく自律移動車 椅子yankee.cv.ics.saitama-u.ac.jp/~kunolab/research/thesis/... · 2016. 6. 28. · になる.この問題を,見たものをすべて金に変えてしまったフリギア国のMidas[9]

38

発表文献

Razali Tomari

1, 2, Zhu Rong

1, Yoshinori Kobayashi

1 and Yoshinori Kuno

1 , Smart

Wheelchair Navigation Based on User’s Gaze on Destination. Advanced Intelligent Computing Theories and Applications - 6th International Conference on Intelligent Computing, ICIC 2010, Changsha, China, August 18-21, 2010. Proceedings 2010

朱エイ,小林貴訓,久野義徳,‘‘利用者の目的地推定に基づく自律移動車椅子の

提案’’電子情報通信学会 2010総合大会 2010.