手首凹凸の計測による手形状識別回内角度変化による手首凹凸への影響の把握

福井類 ∗1, 渡邉匡彦 ∗1, 下坂正倫 ∗1, 佐藤知正 ∗1

Hand Shape Classification with a Wrist Contour SensorAnalysis of Correlation between Wrist Contour and Pronation Angle

Rui FUKUI∗1 and Masahiko WATANABE∗1 and Masamichi SHIMOSAKA∗1 andTomomasa SATO∗1

∗1 Department of Mechano-informatics, School of Engineering, the University of Tokyo7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japan

Gesture recognition is getting popular, however, there are few applications utilizingsmall motions like hand shape. This is because existing hand shape recognition methodshave some problems (limited environment, disturbing haptic sense, precision, etc...) to beintroduced into households. To overcome these problems, we focus on wrist contour andtry to recognize hand shape with only a wrist-watch-type device. In our previous work, wemade a hand shape recognition system where a user must fix his/her arm posture (pronationangle). This is because wrist contour varies not only with hand shape but also with pronationangle considerably. In this paper, to overcome the problem of pronation angle, we developa new wrist contour measuring device that can estimate pronation angle by a pair of inertialsensors. Utilizing the new device, wrist contour data have been collected from several subjectsin various pronation angles. Through the experiment, relationships between the hand shapes,the pronation angles and variances of the wrist contour data are analyzed and revealed.

Key Words : Hand shape recognition, Sensor, Wrist contour

1. 緒 論

近年，ジェスチャインタフェースが広まりを見せている．現在実用化されている多くのジェスチャインタフェースは，腕全体の動作等の大きな動きを利用しているが，その一方で小さなジェスチャとして手形状は，人が最も器用に動かすことが出来，小さな動作で多彩なことを表現できる優良なジェスチャである．我々はその手形状によるジェスチャをインタフェースとして利用し，身の回りの様々な機器の操作やゲームインタフェースとして利用したいと考えている．手形状の認識は古くから多くの研究がなされている(1)．画像認識(2) (3)・手袋型装置(4) (5)・筋電位計測(6) (7)等の手法が存在するが，環境の限定・手指動作の阻害・精度・セットアップ手順の多さ等の問題が有る．我々はそれらを解決する手法として，手首の凹凸形状に注目している．関連研究として，暦本(8)は静電容量式距離計測センサを用いて手首凹凸を計測し，握り状態と指さし状態の2つの手形状を認識した．我々は，赤外光による距離

∗1 東京大学大学院情報理工学系研究科（〒 113-8656東京都文京区本郷 7-3-1）fukui, masahiko, simosaka@ics.u-tokyo.ac.jp,tomomasasato@jcom.home.ne.jp

センサを用いて手首凹凸をより精確に計測できるデバイスを開発し，手形状を認識する研究をしてきた(9)．手指動作への影響を最小限に抑え，日常で簡易的に利用可能な手形状認識デバイスの開発を目指している．本論文において，これまでの取り組みでは解決できなかった手首回内角度変化の問題に取り組むため，慣性センサにより回内角度を推定可能なデバイスを開発し，手首凹凸データを取得し問題の把握を行った．

2. 手首凹凸の計測による手形状識別

2·1 手形状と手首凹凸の関係 指動作に関わる筋腱は肘から指先にかけて前腕部に存在する．個々の指の筋腱は肘付近では密集しているが，手首部分では比較的分かれており，各指の屈伸によって筋腱は収縮・弛緩するため，その太さ・位置の変化によって手首凹凸は変化する (Fig. 1)．従って，手首凹凸を詳細に計測することにより，手形状を推定することが可能である．

2·2 回内動作と手首凹凸の関係 前述の筋腱は片端は各指に，もう片端は肘に接続しているため，前腕を回転させる (回内・回外) 動作をした場合に，そ

RSJ2013RS3D3 ©2013 RSJ

― 337 ―

3D3

Wrist contourWrist cross sectionHand shape

Flexor and extensor carpi

Flexor and extensor pollicis

Flexor and extensor digitorum

0 X

Y Y

X0

Fig. 1 Wrist contour variation principle.

れに対応して手首における腱の位置が変化する．例えば，前腕部を内側に捻る動作 (回内)をした場合，指の屈筋は肘付近では肘の内側に位置し，指先近くでは小指方向に引っ張られ肘の外側へと位置が変化する．そのため，手首部分においても筋腱位置の変化により手首凹凸の形状が変化する．この回内・回外動作による手首凹凸の形状変化を把握するのが，本論文の目的である．2·3 前腕部回転量の差異による回内角度推定 回内角度の参照値を取得するために，回内角度を慣性センサから取得するというアプローチをとった．なお，慣性センサの利用は回内角度推定のみでなく，将来的には他の腕動作の取得への利用も想定している．Zhang(10)

らは，2個の慣性センサを上腕と前腕に装着し腕全体の姿勢を推定した．我々は推定する対象を回内角度のみに限定し，2つの慣性センサ前腕の手首部のみに配置し推定を試みる．回内動作による前腕部の回転量は，肘からの距離が大きいほど (手先に近いほど) 大きくなるため，肘からの距離が異なる 2点に慣性センサを配置し，それらの出力を比較することで手首回内角度を推定する．

3. 手首凹凸計測デバイス

手首凹凸の計測と回内角度を推定するための腕時計型デバイスを開発した (Fig. 2)．先行研究のプロトタイプでは重量・サイズの影響から計測部とバッテリ・制御部を分割し，それらを有線で接続していたが，今回開発したデバイスは回路の小型化，バッテリの縮小，小型通信デバイスの採用により，全ての部品が手首部分に集約された．回内動作における前腕部の変位の差に追従するため，デバイスは物理的に 2 つのパーツ(制御部・手先部)に分かれケーブルで接続されている．それぞれのパーツは 2つのバンド (計測バンドと固定バンド)によって手首部分に固定される (Fig. 3)．バッテリは 850mAhのリチウムイオン充電池を用い，通信

には Bluetooth無線モジュールを採用した．デバイスは機能の観点から．手首凹凸計測部と回内状態推定部に分けることが出来る．ブロック図を Fig. 4に示す．

Fig. 2 Wrist-watch type wrist contour measuringdevice. (Upper right: circuit in the control part.Lower right: circuit in the end part.)

Control part End part

Measurement bandFixing band Relative angle changeswith pronation.

Fig. 3 The device consists of two separated parts. Itcan follow wrist pronation movement.

CONTROL PART

Micro controler

ATmega1284P

Wireless module

Zeal C01

IMU unit

Accelerometer

ADXL345

Gyroscope

MPU-3050

Computer

Java program

BATTERY PART

Li-ion battery

3.7V

LDO regulator

3.3V

LED(4)

Dual

amplifier

END PART

Wrist contour

measurement band

IMU unit

Accelerometer

ADXL345

Gyroscope

MPU-3050

Debug LEDDebug LED

TX

RX

SCL

SDA

CLOCK, CONTROL

OUTPUT(2)

Bluetooth

communication

INT_A

INT_G

Fig. 4 Block diagram of the developed device.

3·1 手首凹凸計測部 計測バンドに取り付けた多数の距離センサによって手首凹凸を計測する．距離センサには新日本無線社製のNJL5901-AR1を用いた．センサ列は 2 列 (手先側，肘側) 有り，それぞれの列の 75個フォトリフレクタによって，2.5mmピッチで

RSJ2013RS3D3 ©2013 RSJ

― 338 ―

手首全周の詳細な凹凸形状を計測することが可能である．また，センサ出力切り替えをシフトレジスタを用いて時系列に制御することにより，出力線を各列 1本にすることが出来，細いバンド幅を実現した．計測バンドの詳細については，文献(9)を参照されたい．3·2 回内角度推定部 2 つのパーツは腕の長手方向で 40mm 離れ，それぞれに角速度計と加速度計がそれぞれ 1つずつ搭載されている．角速度計としてInvenSense社のMPU-3050を，加速度計としてアナログ・デバイセズ社の ADXL345を採用した．それぞれの慣性センサは後述する回内角度推定手法のため，出来るだけ近くに配置し Y軸が平行になるように配置した (Fig. 5)．

XY

ZMPU-3050ADXL345

Fig. 5 Layouts of IMU sensors.

4. 回 内 角 度 推 定

4·1 回内角度推定手法 1つの慣性センサから姿勢を求める手法として，カルマンフィルタを用いた手法(11)や，相補フィルタを用いた手法(12)等様々な手法が存在する．しかしながら，計測点の姿勢が同一でも回内角度が異なることが有りうるため (Fig. 6)，腕の1点の姿勢のみからでは回内角度を特定することは出来ない．従って，手首部分の異なる位置に 2つの慣性センサを配置することにより，回内角度の推定を試みる．本研究では回内角度 (Y軸の回転角度)のみが必要となるため，単純なアプローチをとる (Alg. 1)．具体的には，2つの慣性センサの出力値をベクトルとして扱い，その 2つのベクトルの角度から 2つのパーツの相対回転角度を算出し，回内角度に変換する．まず，慣性センサのY軸が平行でありほぼ一直線上にあると仮定し，相対回転角度算出時は Y軸成分を無視する．各パーツの角速度計の x軸と z軸の出力からなるベクトルを w′

1,w′2，加速度計の x軸と z軸の出力からなる

ベクトルを a′1,a′2とする．角速度，加速度のそれぞれの 2つのベクトルの角度を θyw,θya とし，それぞれのベクトルの大きさの和に比例した重み付けをして足し合わせ，角速度のY軸成分を追加したものが相対回転

角度となる．相対回転角度を，装着時に取得するキャリブレーションデータ (回内 0°，90°，180°の慣性センサデータ)から回内角度に変換する．

Pronation 0° Pronation 90°

Fig. 6 Pronation angle differs even in the same armposture.

Algorithm 1 Estimate roll angle θr

w′1 ⇐ [w1x,w1z], w′

2 ⇐ [w2x,w2z]

a′1 ⇐ [a1x,a1z], a′2 ⇐ [a2x,a2z]

θyw ⇐ angle(w′1,w′

2)

θya ⇐ angle(a′1,a′2)nw = norm(w′

1) + norm(w′2)

na = norm(a′1) + norm(a′2)Require: 0≤ rw0 ≤ 1

ra0 = 1− rw0

rw =rw0 ∗nw

rw0 ∗nw + ra0 ∗nara = 1− rw

θy ⇐ rw ×θyw + ra ×θya + (w2y −w1y)×Δt

4·2 回内角度推定事前実験 提案手法の精度を検証するためモックアップを製作し，回内角度推定の事前実験を行った．製作したモックアップを Fig. 7に示す．モックアップは 2つの部品から成り，それぞれについた板のネジ止めの位置により，Y軸の相対角度を0∼30°の間で 13段階に調整することが出来る．このモックアップを手に持ち，5種類 (静止，鉛直上下動作，Y軸回転，前腕のみの無作為動作，腕全体を使った無作為動作)の動きを行い，それぞれの相対角度における精度を確認した．実験結果を Fig. 8に示す．概ね全ての動きについて 2∼3°の精度が出ているが，Motion3(Y軸の回転動作の繰り返し)の場合に精度が悪くなっている．これは，回転を切り返した際に瞬間的に大きな加速度の変動が起こり，かつY軸以外の角速度が殆ど無いためと考えられる．また，回転速度が微速である場合には他の動きと同程度の精度が発揮されることを確認している．

RSJ2013RS3D3 ©2013 RSJ

― 339 ―

40mm

Fig. 7 Mock-up for pre-experiment of pronation angleestimation.

A1(0°)A2(2.5°)A3(5°)A4(7.5°)A5(10°)

A6(12.5°)A7(15°)A8(17.5°)A9(20°)A10(22.5°)

A11(25°)A12(27.5°)A13(30°)

-5

0

5

10

15

20

25

30

35

40

45

motion 1“stay”

motion 2“swing

verticaly”

motion 3“roll”

motion 4“randomsmall”

motion 5“random

large”

[°]

Each bar indicates the average estimated angle, andeach error bar indicates the variance. There are somedifferences between the objective angles (in brackets) andthe actual angles because the mock-up is made by hand. The dashed lines are the average angles of motion 1

Fig. 8 Result of pre-experiment of pronation angleestimation.

5. 手首凹凸データの取得と観察

開発した腕時計型デバイスを用いて，手首凹凸データを取得し，回内角度推定値と合わせてデータの観察を行った．5·1 データ取得設定 被験者は 20代男性 5名であり，以下の項目に従ってデータを取得した．

• 手形状: Fig. 9に示す 6クラス• 装着状態：6状態 (下記のデータ取得手順を 6度繰り返す)

• キャリブレーションデータ: 手形状 2クラス (グー・

パー)，及び回内角度 3種 (0°，90°，180°)の慣性センサデータ

• 回内角度: 0°∼180°を 22.5°毎に分割した 8段階データを取得する手順は以下の通りである．1. デバイスを装着する．2. キャリブレーションデータを取得する．3. 被験者に手形状と回内角度毎のデータ量を示す画面 (Fig. 10)を提示し，回内角度を少しずつ変化させながら全ての回内角度のデータ量が一定値を満たすまで継続する．(回内角度変化は微速で行い，急激な変化のあるデータは除外する．)

4. 別の手形状を提示し，3を繰り返す．5. デバイスを取り外し，1から繰り返す．合計 5×6×6×8 = 1440個のデータを取得した．

Fist Index Index and middle Open handThumbs up Little finger

Fig. 9 6 hand shapes for the experiment.

Fig. 10 Display for data collection.

5·2 回内角度による手首凹凸の変化 取得したデータの例を Fig. 11∼ Fig. 13に示す．Fig. 11は，被験者 1名の同一装着状態・同一回内角度の，手形状 6クラスそれぞれの手首凹凸データであり，Fig. 12， Fig.13は同じ被験者の同一装着状態・同一手形状 (“Fist”,“Index and middle”)の，回内角度 8分割それぞれの手首凹凸データである．同一回内角度内での手首凹凸の変化の傾向として，凹凸の位置はあまり変化せず，凹凸の大きさ・形状が主に変化していることが挙げられる．これは，指の屈伸による筋腱の変化が主に太さの変化であり，位置の変化が小さいことが要因と考えられる．一方，回内角度の変化による手首凹凸の変化の傾向として，凹凸の位置・大きさ・形状すべてにおい

RSJ2013RS3D3 ©2013 RSJ

― 340 ―

て変化していることが確認できる．前述の通り筋腱は回内動作によって，大きく位置が変化するため，凹凸形状が大きく変化すると考えられる．また，回内動作時には指の屈伸に関わる筋腱のみではなく，回内動作に関わる筋腱も伸縮・弛緩するため，その影響が手首凹凸に現れることも考えられる．

0 10 20 30 40 50 60 7001234567

FistThumbs upLittleIndexIndex and middleOpen hand

0 10 20 30 40 50 60 7001234567

FistThumbs upLittleIndexIndex and middleOpen hand

[mm]

[mm] sensor number

sensor number

[Thumb side] [Little side]

X-axis indicates the sensor number, and Y-axis indicatesthe distance between the measurement band and wrist surface.The Upper graph shows the data of hand-side sensor arrayand the lower graph shows the data of elbow-side sensor array.

Fig. 11 Wrist contour data of 6 hand shape class.

0 10 20 30 40 50 60 7001234567

0 10 20 30 40 50 60 7001234567

0°~22.5°22.5°~45°45°~67.5°67.5°~90°90°~112.5°112.5°~135°135°~157.5°157.5°~180°

[mm]

[mm]

0°~22.5°22.5°~45°45°~67.5°67.5°~90°90°~112.5°112.5°~135°135°~157.5°157.5°~180°

sensor number

sensor number

When the upper arm are pressed to the bodyand the elbow angle is 90[deg],

the state ``palm up'' is pronation angle 0[deg].

Fig. 12 Wrist contour data of “Fist” in variouspronation angles.

5·3 特徴量変換時の回内角度の影響 取得したデータから，先行研究(9)で用いた特徴量 (統計量)を算出し，回内角度との関係を観察した．Fig. 14の左のグラフは特徴量「Open handヒストグラム差分和 (肘側)」の，全てのデータの散布図である．この特徴量においては，回内角度に関わらず手形状によって分布が

0 10 20 30 40 50 60 7001234567

0 10 20 30 40 50 60 7001234567

[mm]

[mm]sensor number

sensor number

0°~22.5°22.5°~45°45°~67.5°67.5°~90°90°~112.5°112.5°~135°135°~157.5°157.5°~180°

0°~22.5°22.5°~45°45°~67.5°67.5°~90°90°~112.5°112.5°~135°135°~157.5°157.5°~180°

Fig. 13 Wrist contour data of “Index and middle” invarious pronation angles.

ある程度分かれていることが確認できる．Fig. 14の中央のグラフは特徴量「隣接差分の和 (肘側)」の，全てのデータの散布図である．この特徴量においては，手形状による分布は回内角度とある一定の関係を持って変化していることが確認できる．「隣接差分の和 (肘側)」のそれぞれのデータを (回内角度+270)で割った値の散布図を Fig. 14の右のグラフに示す．変換された特徴量において，回内角度の差による変化が吸収されていることが確認できる．特徴量の識別性能への貢献を定量的に確認するために，ReliefF(13)の重み (k=5)を算出すると，変換前は 0.0332，変換後は 0.0460となり，回内角度情報が手形状識別に有用であることが確認できる．5·4 手首凹凸と回内角度の関係の考察 手形状による手首凹凸の差異と回内角度による手首凹凸の差異には異なる傾向が有ることが確認できた．このことから，手首凹凸から手形状と回内角度を独立に推定できる可能性が有ると考えられる．また前研究の特徴量において，手形状によって変化するが回内角度の影響を受けにくい特徴量や，回内角度とある一定の関係を持って変化しする特徴量の存在が確認できた．したがって，前者の特徴量は回内角度に依らず手形状識別に有用であり，後者の特徴量は回内角度情報との組み合わせによって有用な特徴量となると想定される．以上から，特徴量を手形状識別に使用するにあたり，回内角度の変化に対応した識別の枠組み及び新たな特徴量の設計が必要であると考えられる．

6. 結 論

本論文では，手首凹凸と回内角度との関係を観察するため，慣性センサによる回内角度推定が可能な腕時

RSJ2013RS3D3 ©2013 RSJ

― 341 ―

FistThumbs upLittle

IndexIndex and middleOpen hand

Pronation angle [degree]

Nor

mal

ized

val

ue 10.80.60.40.2

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]

Nor

mal

ized

val

ue 10.80.60.40.2

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]

Nor

mal

ized

val

ue 10.80.60.40.2

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]

Nor

mal

ized

val

ue

10.80.60.40.2

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]N

orm

aliz

ed v

alue 1

0.80.60.40.2

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]

Nor

mal

ized

val

ue 10.80.60.40.2

00 20 40 60 80 100 120 140 160 180

Sum of differnces (elbow side)Open hand histogram value (elbow side)

Pronation angle [degree]

Div

ided

val

ue

2.52.01.51.00.5

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]

Div

ided

val

ue

2.52.01.51.00.5

00 20 40 60 80 100 120 140 160 180

Pronation angle [degree]

Div

ided

val

ue

2.52.01.51.00.5

00 20 40 60 80 100 120 140 160 180

Sum of differnces (elbow side)divided by pronation angle×10-3

×10-3

×10-3

To ensure the visibility, the data of six hand shapes areseparated into three graphs,

and each graph contains the data of two hand shapes

Fig. 14 Scatter plot of features.

計型デバイスを開発した．また，開発したデバイスを用いて手首凹凸データと回内角度推定値を取得し，手首凹凸と回内角度の関係性について明らかにした．従来研究で用いていた特徴量のうち，回内状態に依らず手形状のみに依存するものと，回内状態によってシフトしていくものがあることを明らかになり，その影響を考慮した特徴量及び識別手法の設計が必要であることを示した．今後の研究課題として，回内角度変化に対応した新たな特徴量の設計と，その特徴量を使用した手形状識別が挙げられる．また，手首凹凸と慣性センサ情報を組み合わせ，手形状のみでなく腕全体の姿勢を推定することが考えられる．

参 考 文 献

(1) Thomas S. Huang, et al. Hand gesture modeling,analysis, and synthesis. In Proc. of IEEE-FG, pp.73–79, 1995.

(2) Ali Erol, et al. Vision-based hand pose estimation:A review. CVIU., Vol. 108, No. 1-2, pp. 52–73,2007.

(3) Kiyoshi Hoshino, et al. Copycat hand robot handimitating human motions at high speed and withhigh accuracy. Advanced Robotics, Vol. 21, pp.1743–1761, 2007.

(4) CyberGloveSystems.http://www.cyberglovesystems.com/.

(5) Matthias Deller, et al. Flexible gesture recognitionfor immersive virtual environments. In Proc. of IV.,pp. 563–568, 2006.

(6) Kentaro Nagata, et al. A classification method ofhand movements using multi channel electrode. InProc. of IEEE-EMBS., pp. 2375–2378, 2005.

(7) Masahiro Yoshikawa, et al. Real-time hand motionestimation using EMG signals with support vectormachines. In Proc. of SICE-ICASE., pp. 593–598,2006.

(8) Jun Rekimoto. GestureWrist and GesturePad:Unobtrusive wearable interaction devices. In Proc.of ISWC., pp. 21–27, 2001.

(9) Rui Fukui, et al. Hand shape classification with awrist contour sensor: Comparison of feature typesand observation of resemblance among subjects. InProc. of ISER., 2012.

(10) Zhi-Qiang Zhang, et al. A novel hierarchicalinformation fusion method for three-dimensionalupper limb motion estimation. IEEE Trans. on IM,Vol. 60, No. 11, pp. 3709 –3719, 2011.

(11) Xiaoping Yun, et al. Design, implementation, andexperimental results of a quaternion-based kalmanfilter for human body motion tracking. IEEE Trans.on Robotics, Vol. 22, No. 6, pp. 1216 –1227, 2006.

(12) Robert Mahony, et al. Nonlinear complementaryfilters on the special orthogonal group. IEEE Trans.on AC., Vol. 53, No. 5, pp. 1203 –1218, 2008.

(13) Marko Robnik-Sikonja, et al. Theoretical andempirical analysis of ReliefF and RReliefF. Mach.Learn., Vol. 53, No. 1-2, pp. 23–69, 2003.

RSJ2013RS3D3 ©2013 RSJ

― 342 ―