聞き手の非言語的反応と 協調的アノテーションに基づく...
DESCRIPTION
聞き手の非言語的反応と 協調的アノテーションに基づく ミーティングキャプチャシステム. 京都大学大学院情報学研究科 勝木弘,角康之,西田豊明. はじめに. ミーティング 知識交流や新たな知を創造する重要な場 記録・構造化による知的活動支援 参加者への負担、制限が厳しい 話し手の発話内容や振る舞いに注目. 参加者の非言語インタラクションと、メモや書き込み といった聞き手の行う協調的アノテーションをもとに、 ミーティングの知識コンテンツ化をおこなう. システムの流れ. 実世界会話場. 提示・支援. 会話記録. ミーティング. DB. 支援システム. - PowerPoint PPT PresentationTRANSCRIPT
聞き手の非言語的反応と協調的アノテーションに基づ
くミーティングキャプチャシス
テム京都大学大学院情報学研究科勝木弘,角康之,西田豊明
はじめに
ミーティング–知識交流や新たな知を創造する重要な場–記録・構造化による知的活動支援
• 参加者への負担、制限が厳しい• 話し手の発話内容や振る舞いに注目
参加者の非言語インタラクションと、メモや書き込み
といった聞き手の行う協調的アノテーションをもとに、
ミーティングの知識コンテンツ化をおこなう
実世界会話場
DB 支援システム
会話記録
知識コンテンツ化
・会話シーン認識・インデクス付与
提示・支援
3
ミーティング
システムの流れ
獲得する非言語行動
• 視線検出、顔認識– 全方位カメラ or カメラ +顔認識ソフトウェア OKAO VISION
• 音声検出 -環境マイク
• うなずき検出 -加速度センサを利用
• 本棚,ホワイトボードの利用 • 協調的アノテーション– Photochat で行われる写真撮影や書き込み
4
Photochat による協調的アノテーション
• 写真撮影・手書きメモ機能• リアルタイム共有• 写真上での仮想的な会話
[ 角 et al. 08]
⇒ 参加者の興味や感心を反映
◯◯◯について
・ xxxxxxx・ vvvvvvv・ tttttttttt
スクリーン俯瞰映像用
参加者撮影用
本棚監視用
ホワイトボード
ホワイトボード監視用
・・・・・・
加速度センサ
PhotoChat
全方位カメラ・マイク
本棚
俯瞰映像用
俯瞰映像用
俯瞰映像用
ネットワークカメラ
視線 うなずき 発話
カメラアレイ
全方位カメラ 加速度センサ マイク Photochat
マスク処理
顔認識
顔追跡
3 次元ベクトル化
正規化
首振り検出
ノイズ除去動作検出
非言語インタラクションパターン検出
同期処理
操作抽出 文字認識
キーワード抽出パターン分類
知識コンテンツ化
会話シーン認識
フレーム補完
システム構成図
発話区間検出
映像圧縮
協調的アノテーション
非言語行動の検出-視線-
• 全方位カメラ Ladybug2• OKAO Vision による顔認識・視線方向認識• 顔追跡とエラー訂正処理• 2 次元情報→ 3 次元上の顔の位置と視線方
向
1024( ピクセル )
2048 ( ピクセル )
Ladybug2
全方位カメラ
非言語行動の検出-うなずき-頭部につけた加速度センサからうなずき動作を検出
する
9
加速度の二乗和
分散
1. 加速度センサの傾きを補正2. 鉛直方向の動きを窓幅 600 ミリ秒で分散をとり,抽
出する3. 首振り動作以外の動きを除去する
-顔方向を変える動作
首振り動作区間
顔方向を変える動作
垂直方向の動作区間
[斎賀 et al. 10]
非言語行動の検出-その他-
• 発話テーブル中心に設置した環境マイクの音声から発話
区間検出
• 協調的アノテーション撮影、書き込み、閲覧といった操作操作パターンなどによる仮想会話の分類
• 本棚、ホワイトボードの利用カメラ映像の差分による行動検出
知識コンテンツ化:会話シーン認識• 再利用性の高い重要シーンの獲得
– 再利用性の高いシーンを得るには参加者の意図に沿うことが重要
– 非言語情報から会話の状況や参加者の意図を掴む– 意味情報までは踏み込まない(キーワード単語の利用程度)
・参加者間の非言語インタラクション– 発話交替、視線集中,うなずきの同期,…
・参加者のつける意味的アノテーション– メモ・写真情報+それを書き込む(撮る)という行為
特徴的な会話シーンの獲得11
知識コンテンツ化:インデクス付与
会話シーンのもつ情報インデクススライドやメモから得たシーンに出てきたキーワード会話状況
– 話題転換や盛り上がり、注目が集まっているなどの特徴的な会話状況
非言語インタラクション協調的アノテーションミーティング・参加者情報
これらのインデクスを利用してミーティングの構造化や、現在の状況と照らし合わせた提示を行う
まとめと今後
参加者の非言語インタラクションと、メモや書き込みといった協調的アノテーションをもとに、知識コンテンツ化をおこなうミーティングキャプチャシステムの提案
• 記録したミーティングを分析して会話シーン認識のモデルを構築し知識コンテンツ化を行う
• 日常的に運用し、有用性を確認する
まとめ
• グループ内の知識流通サイクルを実現する– ミーティング,立ち話,本棚周辺における会話の獲得– 非言語情報を用いた重要シーン切り出し– 会話シーンの関連付けによるメタ構造の導入– 有益な会話の促進や知識共有のための提示システム
• 研究室内において日常的に運用することで,グループ内における知識流通が促進される ことを確認する
19