指によるコマンド&コントロール コンデンサマイクの評価レポート 20150207
TRANSCRIPT
背景
• 指+キーボード・マウス・タッチは、デスクトップという環境に限定されているか、手や目を占有するという欠点を持つ。しかし、指の器用さを、環境に限定されず、目と手を占有せずに、生かしたい。
• 指+キーボード・マウス・タッチパネルは、指の機械動作だけに頼っている。しかし、テキスト指示は音声が速い。位置指示は、視線が速い。指の器用さを、それらとともに生かしたい。
• 健常者の場合、指は、音声や視線が機能しない状況でのバックアップや、音声・視線による指示を補うフォールバックとなる。また、障碍者の場合、目+指(手書き文字)で発声・聴覚の代替、音+指(指でコントロールされた音声インタラクション)で視覚の代替となりうる。
明らかにしたいこと
• 指をコマンド&コントロールの手段として使うために、• 指のジェスチャーを、マイクロフォーンで検出できるか?
• センサー装着場所の影響:手首。• ジェスチャーの種類:普及したデバイスの基本動作であるタップ ( クリッ
ク)とスワイプ(スクロール)。• マイクと加速度センサーを併用することで、指先の動きが見える
か?
• スコープ外のこと• ほかの一部製品と異なり、指先の 3D の動きの捕捉をターゲット
にしていない。• 指輪型デバイスは狙わない。• 空中でのジェスチャーはターゲットにしない。• ほかの多くの研究と異なり、人体の行動などの日常の動作のクラ
ス分けをターゲットにはしていない。
設定• Aruduino Duemilanova
• Serial transmission: 115200 baud per sec
• AnalogRead 1set の間に 1ms delay
• コンデンサーマイクロフォーン C9767• 増幅にアンプ LM386 を使用• 回路 http://
arms22.blog91.fc2.com/blog-entry-284.html
• 手首の内側(下側)に装着
• 加速度センサー KXR94-2050• 回路 http://
jkoba.net/prototyping/arduino/accel_practice.html
• 手首の外側(上側)に装着
わかったこと
• マイク出力は、ノイズ(環境、生体、回路)が、おびただしい。• コンデンサーマイク 2 個も試したが、単純な差や比ではノイズ
対策にならない。
• しかし、異なる波長に注目することで、手首のマイクで指先のジェスチャーを捕捉できそうである。• 指先の動きからくる振動は、ノイズと異なる波長のものとして
観察できる。• Tap と Swipe は、異なる波長やピークとして観察できる。
• 手首でも、柔らかい部分と固い部分とで、捕捉できる振動は異なるようだ。詳細は、周波数成分分析が必要だ。• 加速度センサーと併用することで、指+手のジェス
チャーが捕捉できるかもしれない。詳細は、要検討。