Move B3 rossi親　 takahiro

インターネットの高速化によるビデオチャットの誕生

視線不一致問題の発生 ?

Web カメラを使用したビデオ通話の際に発生する、お互いの視線が一致しない問題（視線不一致問題）を解決する事

マジックミラーの半透過性を利用する手法

複数のカメラからの画像を合成する手法

Ruigang Yang Zhengyou Zhang

「 Eye Gaze Correction With StereoVision for Video-Teleconferencing 」

Bodelin technology製「 See Eye 2 Eye 」

問題意識 既存の研究では特別な装置が必要であった． → 普及に至らなかった

Lookie の目的 特別な装置なしで視線不一致問題を解決する▪ 導入コストを低くして普及しやすくする

補正前 補正後

１ 顔領域の検出 顔の位置と大きさを検出

２ 俯角の判定 俯角（顔の上下方向）を判定

３ 映像の補正 目の引き延ばしと写真の台形補正

顔領域の検出

俯角の判定

画像の補正

camera

monitor

映像

顔領域の座標、大きさ

顔の映像

Lookie system

俯角情報

補正後の映像

顔領域の検出

俯角の判定

画像の補正

camera

monitor

映像

顔領域の座標、大きさ

顔の映像

Lookie system

俯角情報

補正後の映像

顔の上下の角度　（見下ろす視線の方向と水平面がなす角度）

補正にあたって重要な要素

カメラ

５度

俯角（ふかく）

補正には必ず正確な俯角（上下方向の顔の角度）が必要

カメラ（例）

５度

５度

１０度

静的に１５度補正すると・・・

カメラ

俯角判定機能

顔領域認識機能

俯角判定機能

顔までの距離

補正機構

顔の俯角

補正映像

ウィンドウの位置情報

距離判定機能ウィンドウ位置

取得機能

顔領域の大きさ

monitor

camera映像

画面の情報

Lookie

①ユーザーがカメラの前で上下に頭をふる

②顔の縦幅 (y) が最大になった時の顔を正面顔と判定

③正面顔の縦幅 (y) と変化後の縦幅 (y’) を比較 ・同じ場所にいる限り、横幅 (x) は変わらないため

x

yx

y’

カメラ

正面顔 下を向いた顔（横幅は変わらない）

openCVの仕様上、正確な縦横比は取得できず

５ cm

①

②

camera

　　　　

③

同じ大きさの物体は、見える大きさが 距離に反比例する

カメラから見える大きさ

カメラ

ウィンドウの位置（相手の目の位置）

aθ

b

俯角

俯角＝ 90-atan(b/a)

a=カメラから画面上のウィンドウまでの距離b=カメラから画面上のユーザーまでの距離

本手法による俯角の精度を評価

横から撮影した頭部写真の俯角と比較

俯角の少ない画面上方は２〜７度程の誤差が発生 俯角の多い画面下方は１０度程に広がる （平均値）

俯角判定アルゴリズムの改良 俯角判定精度の向上

算出した俯角を用いた画像補正の評価 画像補正手法の評価

画像補正の動画対応

視線不一致問題を解決する手法、 lookie の提案を行った

視線補正する上で必要となる、俯角判定の精度に重点を置いて実装・評価を行った

平均して 8 度程の誤差が見られた

今後は俯角判定の精度向上と提案した画像補正法の実装・評価を行う予定である