prmu 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか?...
TRANSCRIPT
![Page 1: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/1.jpg)
【サーベイ論文】 人間の視覚的注意の計算モデル
木村昭悟(1) 米谷竜(2) 平山高嗣(3)
(1) 日本電信電話(株) コミュニケーション科学基礎研究所
(2) 京都大学 大学院情報学研究科
(3) 名古屋大学 大学院情報科学研究科
![Page 2: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/2.jpg)
全ての始まりは
サーベイ: 人間の視覚的注意の計算モデル 2
• こんなふとした思いつきからだった
![Page 3: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/3.jpg)
そして1時間半後…
サーベイ: 人間の視覚的注意の計算モデル 3
• 釣れた!!
![Page 4: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/4.jpg)
そして30時間後…
サーベイ: 人間の視覚的注意の計算モデル 4
• 引き返せなくなりました…
![Page 5: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/5.jpg)
何を目指すのか?
サーベイ: 人間の視覚的注意の計算モデル 5
• 聴講においでの皆様へ
• 「人間の視覚的注意の計算モデル」は,
PRMUとHIPの境界領域にあるテーマ.
• 相互理解を図る上で一つの切り口になれば.
• (主に)我々自身にとって
• 関連研究成果を外部に発信する際に,
既存研究の系統だった深い調査分析が必須.
![Page 6: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/6.jpg)
おしながき
サーベイ: 人間の視覚的注意の計算モデル 6
1. 視覚的注意,って何ですか?
2. 人間の視覚的注意,って,
どこまで解明されているんだろう?
3. 人間の視覚的注意を真似する方法
a. 画像しか使わないで真似をする
b. 画像以外の情報も用いて真似をする
4. これから何をすると面白いか?
![Page 7: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/7.jpg)
視覚的注意とは何か?
![Page 8: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/8.jpg)
視覚的注意を体感してみよう
サーベイ: 人間の視覚的注意の計算モデル 8
•目立つものに
目が向きやすい
•人間の顔には
目が向きやすい
•真ん中(最初の
視線位置)の近くに
目が向きやすい
•判断はほぼ瞬時
![Page 9: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/9.jpg)
視覚的注意とは?
サーベイ: 人間の視覚的注意の計算モデル 9
• 目から入力されてくる信号の中から
重要と思われる情報を瞬時に判断し,
選択的に情報を獲得するための機構
• 画像中のどの部分が重要か瞬時に判断?
→ 計算機に実装できたらすごいかも?!
• 「人間の視覚的注意の計算モデル」
研究の発想と動機はここにあり
![Page 10: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/10.jpg)
そうか,重要な領域を取れば…
サーベイ: 人間の視覚的注意の計算モデル 10
• 視覚的注意を実装できた……ではない !!
• 重要領域の抽出と,視覚特性のモデル化を,
混同してはいけない!
• 人間の視覚特性のモデル化が重要なのか,
重要領域の抽出が重要なのか,
その区別ができていない研究が散見される.
• この状況を何とか是正しないと! (実は,今回のサーベイの最初の動機はここ.)
![Page 11: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/11.jpg)
サーベイ: 人間の視覚的注意の計算モデル 11
ボトムアップ (画像だけを使う)
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
重要領域抽出 トップダウン
(画像以外も使う)
人間の視覚特性を 忠実にモデル化
Main issue in this survey
重要領域抽出の方法を分類してみる
![Page 12: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/12.jpg)
とある計算モデルを使ってみると
サーベイ: 人間の視覚的注意の計算モデル 12
•比較的直感に合う
結果が出ている.
•でも何か違うのも…
(ボトムアップ)
![Page 13: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/13.jpg)
視覚的注意について
どこまで解明されているか?
![Page 14: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/14.jpg)
視覚探索 という課題があります
サーベイ: 人間の視覚的注意の計算モデル 14
• 目標刺激(見つけたいもの)を
多数の 妨害刺激(不要なもの)から
被験者に見つけてもらう課題.
(Cf. http://www.l.u-tokyo.ac.jp/AandC/HLV/DataBase/VS/intro.html)
簡単 難しい
![Page 15: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/15.jpg)
視覚探索が解明の鍵を握る
サーベイ: 人間の視覚的注意の計算モデル 15
• 目標刺激と妨害刺激の関係を適切に操作
→ 視覚処理の構造が見えてくる
(Cf. http://www.l.u-tokyo.ac.jp/AandC/HLV/DataBase/VS/intro.html)
簡単 難しい
特徴探索 (色) 特徴探索(向き) 結合探索
![Page 16: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/16.jpg)
特徴統合理論 [Treisman+ 1980]
サーベイ: 人間の視覚的注意の計算モデル 16
視覚刺激
位置のマップ (Master map of locations)
注意の
スポットライト
時刻
……
名称
……
位置関係
……
一時的な物体表現の記憶
![Page 17: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/17.jpg)
特徴統合理論 で大事なこと
サーベイ: 人間の視覚的注意の計算モデル 17
• 特徴探索条件では,並列処理が可能.
• 結合探索条件では,必然的に逐次処理.
並列処理
逐次処理
![Page 18: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/18.jpg)
特徴統合理論を軸に研究が進む
サーベイ: 人間の視覚的注意の計算モデル 18
• 特徴統合理論では説明できない事象を
どのように説明するか? が研究の種.
• 同じ視覚刺激でも課題の与え方一つで
処理時間が大きく変わる. [Nakayama 1990] [Bravo+ 1992]
→ トップダウン制御が関わる問題.
• 視覚刺激間の類似性が探索の難易度に影響. [Duncan+ 1989,1989,1992]
→ あとで出てきます.
![Page 19: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/19.jpg)
誘導探索 [Wolfe 1989]
サーベイ: 人間の視覚的注意の計算モデル 19
視覚刺激
Color
Orientation
特徴マップ
活性化マップ
Bottom-up Top-down
トップダウン制御 {Black, Vertical}
![Page 20: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/20.jpg)
誘導探索 で重要なこと
サーベイ: 人間の視覚的注意の計算モデル 20
• 結合探索条件の視覚探索において,
探索対象の特性を陽に組み込んでいる.
![Page 21: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/21.jpg)
意図や認知心理状態との関係 1
サーベイ: 人間の視覚的注意の計算モデル 21
• 与えられたタスクによる変動 [Yarbus 1967]
(Cf. www.ilyarepin.org,
i-perception.perceptionweb.com/fulltext/i01/i0382.pdf)
![Page 22: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/22.jpg)
意図や認知心理状態との関係 1
サーベイ: 人間の視覚的注意の計算モデル 22
• 与えられたタスクによる変動 [Yarbus 1967]
(Cf. www.ilyarepin.org,
i-perception.perceptionweb.com/fulltext/i01/i0382.pdf)
絵画中の人間の衣服を
覚えて下さい.
![Page 23: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/23.jpg)
意図や認知心理状態との関係 1
サーベイ: 人間の視覚的注意の計算モデル 23
• 与えられたタスクによる変動 [Yarbus 1967]
(Cf. www.ilyarepin.org,
i-perception.perceptionweb.com/fulltext/i01/i0382.pdf)
絵画中の物体の配置を
覚えて下さい.
![Page 24: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/24.jpg)
意図や認知心理状態との関係 1
サーベイ: 人間の視覚的注意の計算モデル 24
• 与えられたタスクによる変動 [Yarbus 1967]
(Cf. www.ilyarepin.org,
i-perception.perceptionweb.com/fulltext/i01/i0382.pdf)
自由に観察して下さい.
![Page 25: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/25.jpg)
意図や認知心理状態との関係 2
サーベイ: 人間の視覚的注意の計算モデル 25
• 同一画像に対する視線運動は
必ずしも同一ではない [Yarbus 1967]
(Cf. www.ilyarepin.org,
i-perception.perceptionweb.com/fulltext/i01/i0382.pdf)
心理状態などに起因する
不確定性の可能性
純粋な確率的な揺らぎ?
![Page 26: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/26.jpg)
まとめると
サーベイ: 人間の視覚的注意の計算モデル 26
• 単一特徴での処理は並列処理.
• 複数特徴での処理の多くは逐次処理.
• 探索対象の特性が既知の場合,
その特性を強調する処理が行われる.
• 意図や認知心理状態だけでなく,
いくつかの要因で注意位置が変動する.
![Page 27: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/27.jpg)
ボトムアップ計算モデル (画像だけを使うモデル)
![Page 28: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/28.jpg)
Saliency Map model [Itti+ 1998]
サーベイ: 人間の視覚的注意の計算モデル 28
• 特徴統合理論の流れを汲む計算モデル
• 多重解像度モデル [Koch+Ullman 1985] を
計算機に実装可能な形としたモデル
• 実質的なdefacto-standard
![Page 29: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/29.jpg)
Saliency Map modelの実装
サーベイ: 人間の視覚的注意の計算モデル 29
多重解像度モデルを考慮
特徴探索条件での
並列処理
結合探索条件での
逐次処理は,出力後の
Inhibition of Returnで実現
![Page 30: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/30.jpg)
Saliency Map modelの発展 1
サーベイ: 人間の視覚的注意の計算モデル 30
• Gradual depletion model [Leung+ 2007]
• Neural adaptation [Hartline 1940] を実装
![Page 31: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/31.jpg)
Saliency Map modelの発展 2
サーベイ: 人間の視覚的注意の計算モデル 31
• Stereo saliency map [Jeong+ 2008]
左側
右側
左右の顕著性を比べて
特徴処理にfeedback
奥行き知覚
![Page 32: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/32.jpg)
そういえば
サーベイ: 人間の視覚的注意の計算モデル 32
• 特徴統合理論では説明できない事象を
どのように説明するか? が研究の種.
• 同じ刺激を見せても,課題の与え方一つで
処理時間が大きく変わる.[13][14]
→ トップダウンの影響
• 目標刺激と妨害刺激の類似性,
妨害刺激間の類似性が探索の難易度に影響.
→ あとで出てきます.
まだ解決していない!!!
![Page 33: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/33.jpg)
信号検出理論 [Eckstein+ 2000]
サーベイ: 人間の視覚的注意の計算モデル 33
• 特徴統合理論に確率的なゆらぎを追加
特徴への反応 特徴への反応
生起確率
生起確率
![Page 34: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/34.jpg)
信号検出理論を導入したモデル 1
サーベイ: 人間の視覚的注意の計算モデル 34
• 確率的誘導探索モデル [Koike+ 2002,2006]
顕著性
T=目標, D=妨害
顕著性の高さに応じて
神経細胞が反応する
確率が変動する
顕著性が低い刺激に
注意が向くこともある
![Page 35: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/35.jpg)
信号検出理論を導入したモデル 1
サーベイ: 人間の視覚的注意の計算モデル 35
• 動的ベイジアンネットワーク [Pang+ 2008]
![Page 36: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/36.jpg)
時間的顕著性の考慮
サーベイ: 人間の視覚的注意の計算モデル 36
• Bayesian surprise [Itti+ 2009] [Baldi+ 2010]
Not very surprising
事後確率変動!
次に起こりそうな
イベントを予測,
事前確率として保持
Very surprising
事後確率変わらず
(Cf. http://ilab.usc.edu/surprise/)
ここが詳しいです:pooneilの脳科学論文コメント
http://pooneil.sakura.ne.jp/archives/permalink/000964.php
![Page 37: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/37.jpg)
人間の視覚特性と関係ないモデル
サーベイ: 人間の視覚的注意の計算モデル 37
• 信号処理・CV・MLでの主流
• 信号の非正規性・非定常性に立脚
• Spectral residual
• 平滑化差分
• 対象非依存の事前知識を利用
• 基底との自己情報量
• Ad-hocなマルチモーダル特徴量の組合せ
![Page 38: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/38.jpg)
信号の非定常性に基づくモデル 1
サーベイ: 人間の視覚的注意の計算モデル 38
• Spectral residual [Hou+ 2007]
• 自然界に幅広く見られる1/f ゆらぎに着目.
(Cf. http://www.klab.caltech.edu/~xhou/papers/cvpr07poster.pdf)
IF 1/f ゆらぎ を肯定 →
対数スペクトル強度の期待値は概ね周波数に対して線形
![Page 39: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/39.jpg)
信号の非定常性に基づくモデル 2
サーベイ: 人間の視覚的注意の計算モデル 39
• 平滑化差分方式 [Achanta+ 2008,2009]
• Itti modelをLab表色系版 → さらに簡略化
(Cf. http://ivrgwww.epfl.ch/supplementary_material/RK_CVPR09/index.html)
![Page 40: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/40.jpg)
事前知識に基づくモデル 1
サーベイ: 人間の視覚的注意の計算モデル 40
• ICA基底との自己情報量 [Bruce+ 2006]
部分領域基底の事前学習
部分領域と基底との畳み込み
部分領域の自己情報量=顕著性
![Page 41: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/41.jpg)
事前知識に基づくモデル 2
サーベイ: 人間の視覚的注意の計算モデル 41
• 使えるものは何でも使う [Ma+ 2003,2005]
![Page 42: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/42.jpg)
事前知識に基づくモデル 2
サーベイ: 人間の視覚的注意の計算モデル 42
• 使えるものは何でも使う [Ma+ 2003,2005]
![Page 43: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/43.jpg)
トップダウン計算モデル (画像以外も使うモデル)
![Page 44: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/44.jpg)
トップダウン型計算モデルの分類
トップダウン要素による分類
(1)探索目標の事前学習型
(2)文脈依存型(視覚探索以外のタスク,状態/状況依存)
技術要素による分類
(a)基礎特徴間ゲイン調整型
(b)ボトムアップ–トップダウン間結合型
![Page 45: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/45.jpg)
トップダウン型計算モデルの分類
視覚探索タスク 運転タスク
トップダウン要素による分類
(1)探索目標の事前学習型
(2)文脈依存型(視覚探索以外のタスク,状態/状況依存)
![Page 46: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/46.jpg)
トップダウン型計算モデルの分類
トップダウン要素による分類
(1)探索目標の事前学習型
(2)文脈依存型(視覚探索以外のタスク,状態/状況依存)
技術要素による分類
(a)基礎特徴間ゲイン調整型
(b)ボトムアップ–トップダウン間結合型
![Page 47: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/47.jpg)
ボトムアップ型とトップダウン型
w2
入力画像
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN w2
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
+
wB wT
ボトムアップ 顕著度
トップダウン 顕著度(a)
類似度 など
知識/文脈
顕著性 マップ(b)
![Page 48: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/48.jpg)
技術要素による分類 (A)ゲイン調整型 (B)BU-TD結合型
w2
入力画像
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN w2
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
+
wB wT
ボトムアップ 顕著度
トップダウン 顕著度(a)
類似度 など
知識/文脈
顕著性 マップ(b)
![Page 49: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/49.jpg)
トップダウン型計算モデルの分類
トップダウン要素による分類
(1)探索目標の事前学習型
(2)文脈依存型(視覚探索以外のタスク,状態/状況依存)
技術要素による分類
(a)基礎特徴間ゲイン調整型
(b)ボトムアップ–トップダウン間結合型
![Page 50: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/50.jpg)
(1)目標学習型 (a)ゲイン調整型
探索目標
w2
入力画像
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN w2
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
+
wB wT
ボトムアップ 顕著度
トップダウン 顕著度(a)
類似度 など
知識/文脈
顕著性 マップ(b)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
![Page 51: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/51.jpg)
視覚刺激
Color
Orientation
特徴マップ
活性化マップ
Bottom-up Top-down weight
トップダウン制御 {Black, Vertical}
誘導探索2.0 Wolfe, 1994
ゲイン調整 BU-TD間結合
目標探索
文脈依存
妨害刺激の事前知識
目標刺激の事前知識
×
![Page 52: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/52.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
SNRの導入 Navalpakkam+, 2006
入力画像
特徴θ
gj
SNRj
1
NSNR
kk 1
N
SNRj
E |T
[ EC
[ E
[ sjT
( A )]]]
E | D
[ EC
[ E
[ sjD
( A )]]]
方向
色
![Page 53: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/53.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
SNRの導入 Navalpakkam+, 2006
入力画像
特徴θ
gj
SNRj
1
NSNR
kk 1
N
SNRj
E |T
[ EC
[ E
[ sjT
( A )]]]
E | D
[ EC
[ E
[ sjD
( A )]]]
方向
色 ・妨害刺激をも学習に加える効果は不明 ・妨害刺激は十分に学習可能?
![Page 54: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/54.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
SalBayes Elazary+, 2010
ゲインは基礎特徴が取り得るあらゆる値にバイアス=表現力が高くない
表現力の向上と不確定性の考慮のため基礎特徴の尤度分布を事前学習
基礎特徴の尤度分布
基礎特徴が既知刺激に属する事後確率 顕著性マップ
注意位置 (最大顕著領域)
p i
| F arg maxi
p p Fj
| ij
j 1
n
![Page 55: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/55.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
SalBayes Elazary+, 2010
ゲインは基礎特徴が取り得るあらゆる値にバイアス=表現力が高くない
表現力の向上と不確定性の考慮のため基礎特徴の尤度分布を事前学習
基礎特徴の尤度分布
基礎特徴が既知刺激に属する事後確率 顕著性マップ
注意位置 (最大顕著領域)
p i
| F arg maxi
p p Fj
| ij
j 1
n
We name our algorithm SalBayes which denotes our system’s marriage of both saliency and Bayesian modeling (by L.Itti).
不確定性を導入し,物体認識と視覚探索を 連携した新しいアプローチとして波及が期待
![Page 56: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/56.jpg)
(1)目標学習型 (b)BU-TD結合型
探索目標
w2
入力画像
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
w2
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
+
wB wT
ボトムアップ
顕著度
トップダウン顕著度(a)
類似度
など
知識/文脈
顕著性マップ(b)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
![Page 57: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/57.jpg)
視覚刺激
Color
Orientation
特徴マップ
活性化マップ
Bottom-up Top-down
トップダウン制御 {Black, Vertical}
妨害刺激の事前知識
目標刺激の事前知識
ゲイン調整 BU-TD間結合
目標探索
文脈依存
誘導探索2.0 Wolfe, 1994
+W×
タスク
![Page 58: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/58.jpg)
視覚刺激
Color
Orientation
特徴マップ
活性化マップ
Bottom-up Top-down
トップダウン制御 {Black, Vertical}
妨害刺激の事前知識
目標刺激の事前知識
ゲイン調整 BU-TD間結合
目標探索
文脈依存
誘導探索2.0 Wolfe, 1994
+W×
タスク
・人間の視覚特性に近いモデル
・単純刺激以外に適用可能?
![Page 59: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/59.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
顕著度+顔領域 Cerf+, 2007
+ ボトムアップ型 顕著性マップ
顔領域 (Viola & Jones)
bottom-up salinecy GBVS + Viola & Jones
S 1
4N I N C N O N F
![Page 60: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/60.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
顕著度+顔領域 Cerf+, 2007
+ ボトムアップ型 顕著性マップ
顔領域 (Viola & Jones)
bottom-up salinecy GBVS + Viola & Jones
S 1
4N I N C N O N F
・顔の過検出が人間っぽさを演出 ・等荷重で良いかはタスク/文脈次第?
![Page 61: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/61.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
Contextual Guidance Torralba+, 2006
p O , X | L , G 1
p L | G p L | O , X , G p X | O , G p O | G
O: 目標刺激のクラスラベル,X: 目標刺激の位置,L: 局所特徴,G: 大域特
徴
![Page 62: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/62.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
Contextual Guidance Torralba+, 2006
p O , X | L , G 1
p L | G p L | O , X , G p X | O , G p O | G
O: 目標刺激のクラスラベル,X: 目標刺激の位置,L: 局所特徴,G: 大域特
徴
実装では第2項と第4項を省略
![Page 63: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/63.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
SUN (Saliency using natural statistics)
Zhang+, 2008
p O | L , X 1
p L p L | O p O | X
log p O | L , X log p L log p L | O
logp L , O
p L p O log p O | L log p O
Contextual guidance SUN
Bottom-up saliency Contextual modulation
Subject consistency Target: mugs
![Page 64: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/64.jpg)
log p O | L , X log p L log p L | O
ゲイン調整 BU-TD間結合
目標探索
文脈依存
SUN (Saliency using natural statistics)
Zhang+, 2008
p O | L , X 1
p L p L | O p O | X
logp L , O
p L p O log p O | L log p O
Contextual guidance SUN
Bottom-up saliency Contextual modulation
Subject consistency Target: mugs
・探索非対称性を模擬? ・第3項の評価が今後の課題
![Page 65: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/65.jpg)
探索非対称性(search asymmetries)
親和性が高い妨害刺激の中から新規性が高い目標刺激を 探索するのに要する時間は,その逆の場合より… 小さい
![Page 66: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/66.jpg)
探索非対称性(search asymmetries)
当てはまらない??ケースも多々ある
![Page 67: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/67.jpg)
(1)文脈依存型 (a)ゲイン調整型
タスク
w2
入力画像
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
w2
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
+
wB wT
ボトムアップ
顕著度
トップダウン顕著度(a)
類似度
など
知識/文脈
顕著性マップ(b)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
![Page 68: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/68.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
画像記憶 Judd+, 2009
低次(31次元局所特徴)
中間(地平線情報)
高次(顔,人物,車領域特徴)
+
+
他人モデル
提案モデル
中央のみ
中央抜き
![Page 69: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/69.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
画像記憶 Judd+, 2009
低次(31次元局所特徴)
中間(地平線情報)
高次(顔,人物,車領域特徴)
+
+
他人モデル
提案モデル
中央のみ
中央抜き
視野中央に重みをかけることが効果大
![Page 70: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/70.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
協調行動,共同注意 Ozeki+, 2011
パーティクルフィルタの導入
「対話者と共同注意しよう」
「右にある赤に注意して」
意図 右 赤
![Page 71: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/71.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
協調行動,共同注意 Ozeki+, 2011
パーティクルフィルタの導入
「対話者と共同注意しよう」
「右にある赤に注意して」
意図
心理物理学的知見の応用ではなく あくまで工学的表現の一つ
右 赤
![Page 72: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/72.jpg)
(1)文脈依存型 (b)BU-TD結合型
タスク
w2
入力画像
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
w2
基礎特徴
1
基礎特徴
2
基礎特徴
N
+
w1
wN
+
wB wT
ボトムアップ
顕著度
トップダウン顕著度(a)
類似度
など
知識/文脈
顕著性マップ(b)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
![Page 73: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/73.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
ビデオゲーム操作 Peters+, 2007
W F P
p f W
Input image BU Center BU*Center TD BU*TD
![Page 74: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/74.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
ビデオゲーム操作 Peters+, 2007
W F P
p f W
Input image BU Center BU*Center TD BU*TD
個人差や慣れの影響を学習可能?
![Page 75: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/75.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
一人称視点(自己運動) Yamada+, 2011
動的な基礎特徴 (動き,明滅)より 回転運動に基づく 顕著性マップが◎
![Page 76: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/76.jpg)
ゲイン調整 BU-TD間結合
目標探索
文脈依存
一人称視点(自己運動) Yamada+, 2011
動的な基礎特徴 (動き,明滅)より 回転運動に基づく 顕著性マップが◎
今後の中心的トピックとして期待
![Page 77: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/77.jpg)
計算モデルの評価
![Page 78: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/78.jpg)
計算モデルの評価尺度
◆ Normalized scanpath saliency (NSS)
◆ 注視点分布と顕著性マップの相関
◆ 高顕著度領域への注視滞留頻度
◆ 生成された注視点の目標捕捉率
◆ Kullbach-Liebler (KL) distance
ex. 注視点の顕著度と画像内の平均顕著度の差
ex. 複数人注視点の顕著度分布v.s.ランダムサンプリングされた顕著度分布
ex. 注視点分布=複数人の注視点分布へのガウシアンの畳み込み
ex. 高顕著度領域を抽出するための閾値と注視滞留頻度との関係を評価
ex. 注視点の移動回数と目標刺激の捕捉率との関係を評価
![Page 79: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/79.jpg)
モデル評価のためのデータセット ◆ CRCNS eye-1
映像 :50シーン,640×480, 60.27Hz, 0:06-1:30, 風景,TVニュース,スポーツ,CM,ビデオゲーム
タスク :主役への注意(事後タスクとしてインタビュー)
被験者 :8名,23-32歳,女性3名,男性5名
視線 :ISCAN RK-464 eye-tracker, 240Hz
![Page 80: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/80.jpg)
モデル評価のためのデータセット ◆ MSR Cambridge Object Recognition Image Database
![Page 81: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/81.jpg)
モデル評価のためのデータセット ◆ LabelMe(open image labeling tool)
![Page 82: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/82.jpg)
ソースコード
◆ iLab Neuromorphic Vision C++ Toolkit
◆ Graph-based visual saliency (GBVS)
◆ Esaliency
◆ Spectral residual
◆ Frequency-tuned salient region detection
◆ Saliency Toolbox
◆ The bottom-up visual saliency of Itti+ to run on the Nokia N810 internet tablet
◆ Saliency mapをOpenCVで実装する
![Page 83: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/83.jpg)
今後の展望
![Page 84: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/84.jpg)
今後の展望
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
![Page 85: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/85.jpg)
今後の展望
砂漠化
動画像への拡張,不確定性の導入,様々な画像特徴を評価する段階
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
![Page 86: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/86.jpg)
心理物理学的な特徴分析に関するReview Wolfe, 2004
Undoubted attributes
- Color - Motion - Orientation - Size
Probable attributes
- Flicker - Luminance polarity - Vernier offset - Stereo depth & tilt - Pictorial depth cues
- Shape - Line termination - Closure - Topological status - Curvature
Possible attributes
- Shading - Glossiness - Expansion - Number - Aspect ratio
Doubtful cases
- Novelty - Letter identity - Alphanumeric category
Probable non-attributes
- Intersection - Optic flow - Color change - 3D volumes - Faces - Your name - Semantic category
![Page 87: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/87.jpg)
今後の展望
激戦
グラフカットによる実装など,多くが物体領域抽出への応用→激戦区
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
砂漠化
![Page 88: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/88.jpg)
今後の展望
再注目
近年の機械学習手法の進展→適用・転用による発展の可能性
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
砂漠化 激戦
![Page 89: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/89.jpg)
今後の展望
人間の複雑で曖昧な内的状態を学習するためには革新が必要
要革新
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
砂漠化 激戦 再注目
![Page 90: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/90.jpg)
今後の展望
活発化
CVPR分野における特定物体・シーン認識と相性が良い→活発化
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
砂漠化 激戦 再注目
要革新
![Page 91: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/91.jpg)
今後の展望
続・挑戦
多くの心理物理学的知見,概念モデルはあるが,計算モデルは希少
人間の視覚特性を 忠実にモデル化
まず重要なのは 目立つかどうか?
先見知識を使って 何とかする
Top
-do
wn
B
ott
om
-up
砂漠化 激戦 再注目
要革新 活発化
![Page 92: PRMU 2012年3月研究会 サーベイ論文 構成案 + 行 …...何を目指すのか? サーベイ: 人間の視覚的注意の計算モデル 5 •聴講においでの皆様へ](https://reader033.vdocuments.net/reader033/viewer/2022053019/5f27ab232791070ebc591176/html5/thumbnails/92.jpg)
本発表は,予稿ページ数や発表時間について 過分なご配慮を賜りました. パターン認識・メディア理解研究会(PRMU) ヒューマン情報処理研究会(HIP)の 幹事の皆様に感謝致します. 本発表について,ご助言いただきました 柴田智広先生(奈良先端大)に感謝致します.