質感知覚：心理物理実験...
TRANSCRIPT
1
質感知覚：心理物理実験によるアプローチ
西田眞也NTTコミュニケーション科学基礎研究所
2010年9月28日火曜日
Photo or CG?
PhotorealisticなCGはどうしてリアルに見えるのか
とはいえ、CGと写真は人間には区別が簡単なものも多い 画像特徴である程度機械分類可能 人間の区別も画像特徴ベースのはず
2
Farid & Bravo Vision Sciences (VSS), Sarasota, FL, 2007http://www.cs.dartmouth.edu/farid/publications/vss07.htmlLyu & Farid IEEE Transactions on Signal Processing 2005Ng and Chang. Classifying photographic and photorealistic computer graphic images using natural image statistics. (2004)
2010年9月28日火曜日
疑問
どうして、物理的な光学シミュレーションを精緻にすると、本物の写真のようにリアルに見える（質感が正しく再現される）CGができるのか？
脳が画像生成の物理的正しさをチェックできるから？
脳にリアリティを感じさせる画像特徴が画像中にうまく再現されるようになるから？
2010年9月28日火曜日
波長スペクトルと色
波長スペクトルを再現すると正しい色
心理物理研究が色を生み出す画像情報を特定
知覚的な色再現には３次元で十分であることが分かる
2010年9月28日火曜日
質感の心理物理：視覚基本的な質感知覚属性（光沢感、半透明感）、 表面状態（ほこり）、 材質感（布らしさ）、画像の自然さ、などを判断するのに人間の脳が用いる画像特徴と計算アルゴリズムの特定
画像分析 ＆ 心理実験
画像技術へのフィードバック（表現・圧縮・表示・認識・評価・操作技術）
神経科学研究への方針提供
2010年9月28日火曜日
明るさの知覚は表面反射率の知覚
例えばLightness illusions
Adelson. Perceptual organization and the judgment of brightness. Science (1993)
Checkershadow illusion http://persci.mit.edu/gallery/checkershadow
2010年9月28日火曜日
表面反射
照明 反射光
表面
拡散反射→ 明度
鏡面反射→ 光沢
表面下散乱→ 半透明感
2010年9月28日火曜日
表面反射率の推定
• 表面画像 <= F(照明, 反射特性, 形状, 環境)• G(表面画像, 照明, 形状, 環境) => 反射特性• しかしこの逆計算は不可能なほど複雑
2010年9月28日火曜日
明るさの知覚メカニズムも「手抜き」
Adelsonの lightness illusionsでも、人間は照明の効果を正しく考慮しているわけではない
Todorović. Lightness, illumination, and gradients. Spatial vision (2006) vol. 19 (2-4) pp. 219-61
2010年9月28日火曜日
同じ反射特性
同じ輝度ヒストグラム知覚的にはこちらの方が近いNishida & Shinya (1998, JOSAA)
表面反射特性の知覚（光沢感や明度）：形状の影響
2010年9月28日火曜日
照明環境の影響自然な照明なら画像の大きな変化に関わらずそれなりに同じ質感が得られるが、不自然な画像統計量をもつ照明はダメ
Fleming, Dror & Adelson. Real-world illumination and the perception of surface reflectance properties. J Vis (2003) vol. 3 (5) pp. 347-68.
2010年9月28日火曜日
光沢感の手がかり：画像統計量
光沢のない明るい表面 光沢のある暗い表面
Motoyoshi, Nishida, Sharan, Adelson (2007), Nature, 447, 206-209
平均輝度は同じ
2010年9月28日火曜日
光沢感の手がかり：画像統計量
光沢のない明るい表面 光沢のある暗い表面
Motoyoshi, Nishida, Sharan, Adelson (2007), Nature, 447, 206-209
平均輝度は同じ画素頻度
0 0.5 1 0.5 1輝度
0
輝度ヒストグラム
輝度
2010年9月28日火曜日
光沢感の手がかり：画像統計量
光沢のない明るい表面
輝度ヒストグラムが負の方向に歪む
光沢のある暗い表面
Motoyoshi, Nishida, Sharan, Adelson (2007), Nature, 447, 206-209
平均輝度は同じ画素頻度
0 0.5 1 0.5 1輝度
0
輝度ヒストグラム
輝度
2010年9月28日火曜日
光沢感の手がかり：画像統計量
光沢のない明るい表面
輝度ヒストグラムが負の方向に歪む
光沢のある暗い表面
輝度ヒストグラムが正の方向に歪む
Motoyoshi, Nishida, Sharan, Adelson (2007), Nature, 447, 206-209
平均輝度は同じ画素頻度
0 0.5 1 0.5 1輝度
0
輝度ヒストグラム
輝度
2010年9月28日火曜日
輝度ヒストグラムを人工的にゆがめると，見かけの光沢や明るさが変化する．
# pixels
- 1.5 1.50
luminance
歪度
輝度ヒストグラムによる光沢感の操作
2010年9月28日火曜日
オン
オフ空間的統合
比較
輝度ヒストグラムの歪みを検出する神経メカニズムモデル
輝度ヒストグラムの歪みは低次の視覚メカニズムで抽出できる
オン・ニューロンが強く応答
オフ・ニューロンが強く応答
2010年9月28日火曜日
質感残効錯視: 低次メカニズムの証拠ヒストグラムが正(あるいは負)
の方向に歪んだ画像を長時間観察する
検査刺激
順応刺激
あとで見た表面の見かけの光
沢感は弱く(強く)なり、明るさは増す(減る)
低次のメカニズムに基づくこ
とを示す強い証拠2010年9月28日火曜日
光沢感：３次元形状知覚の影響
16
“Elusive Arch” by Dejan Todorovic (2005)http://illusioncontest.neuralcorrelate.com/2005/elusive-arch/
表面の輝度分布が同じでも遮蔽輪郭の違いで奥行きが変わると質感も変わるデモ
2010年9月28日火曜日
光沢感：テクスチャの変形情報
17
Fleming, Torralba & Adelson. Specular reflections and the perception of shape. J Vis (2004) vol. 4 (9) pp. 798-820
Figure 17
鏡面反射の映り込み特有の画像の歪みを与えるだけで金属反射のように見える
2010年9月28日火曜日
光沢覚：色情報
テキスト2010年9月28日火曜日
光沢覚：色情報
物理的におかしい
正しく見えないテキスト
2010年9月28日火曜日
光沢覚：色情報
テキスト
Do colored highlights look like highlights?Shin'ya Nishida, Isamu Motoyoshi, Lisa Nakano, Yuanzhen Li, Lavanya Sharan, and Edward AdelsonJ Vis May 10, 2008 8(6): 339; doi:10.1167/8.6.339http://www.journalofvision.org/content/8/6/339.abstract?sid=2c7d4e1b-5cb6-406a-8087-fcf01568da28
2010年9月28日火曜日
光沢覚：色情報
物理的におかしい
正しく見えないテキスト
Do colored highlights look like highlights?Shin'ya Nishida, Isamu Motoyoshi, Lisa Nakano, Yuanzhen Li, Lavanya Sharan, and Edward AdelsonJ Vis May 10, 2008 8(6): 339; doi:10.1167/8.6.339http://www.journalofvision.org/content/8/6/339.abstract?sid=2c7d4e1b-5cb6-406a-8087-fcf01568da28
2010年9月28日火曜日
光沢感：運動情報
Hartung & Kersten (2002 VSS)http://vision.psych.umn.edu/users/kersten/kersten-lab/demos/MatteOrShiny.html
対象の運動にともなう鏡面反射パタンの動きが光沢知覚に重要
2010年9月28日火曜日
Pellacini, Ferwerda & Greenberg. Toward a psychophysically-based light reflection model for image synthesis. Proceedings of the 27th annual conference on Computer graphics and interactive techniques (2000) pp. 55-64
光沢の知覚空間を求めて
21
2010年9月28日火曜日
半透明感の画像操作法 Motoyoshi I., Nishida S., Adelson E. H.(2005). Luminance re-mapping for the control of apparent material. Proceedings of APGV 2005 (p. 165).
Highlight–shading relationship as a cue for the perception of translucent and transparent materials. Isamu Motoyoshi, J Vis September 13, 2010 10(9): 6; doi:10.1167/10.9.6
2010年9月28日火曜日
金属感・ウェット感の画像操作法
23
(Motoyoshi et al., 2005)
2010年9月28日火曜日
自然な色・不自然な色
24
(Nakano et al. 2009 VSS)
2010年9月28日火曜日
自然な色・不自然な色
25
Lisa Nakano, Tatsuto Takeuchi, Isamu Motoyoshi, Yuanzhen Li, Edward Adelson, and Shin'ya NishidaJ Vis August 5, 2009 9(8): 1040; doi:10.1167/9.8.1040http://www.journalofvision.org/content/9/8/1040.abstract?sid=4be362b4-e1b2-4159-a3c6-20294d5a7461
2010年9月28日火曜日
材質カテゴリー判断
高速提示（40 ms/image）でもチャンスレベル以上で正答
Object recognition: Recognition processesA computational model for material recognition. Lavanya Sharan, Ce Liu, Ruth Rosenholtz, and Edward Adelson, J Vis August 2, 2010 10(7): 987; doi:10.1167/10.7.987
Sharan, 2009, Ph.D thesis
2010年9月28日火曜日
本物／偽物判断
高速提示（40 ms/image）でもチャンスレベル以上で正答
(Sharan, 2009, Ph.D thesis)
2010年9月28日火曜日
Perception of Light field
Koenderink, Pont, van Doorn, Kappers & Todd, The visual light field. PERCEPTION, 36, 1595-1610 (2007)
人間が知覚するLight fieldをprobe法を使って推定
2010年9月28日火曜日
Shape from shading
Khang, Koenderink & Kappers, Shape from shading from images rendered with various surface types and light fields. PERCEPTION, 36, 1191-1213 (2007)
様々な表面反射特性、様々な照明条件における人間のshape from shadingの特性検討
2010年9月28日火曜日
色: 赤・緑・青のセンサーの出力の組み合わせで表せる．>> 三つの光の組み合わせで任意の色を合成
テクスチャ: 方位・空間周波数のセンサーの出力の組み合わせで表せる．>> 各成分の組み合わせで任意のテクスチャを合成>> 質感研究でさらなるパフォーマンス向上＆パラメータ減少を目指す
テクスチャ合成
Portilla and Simoncelli. Texture modeling and synthesis using joint statistics of complex wavelet coefficients. IEEE Workshop on Statistical and Computational Theories of Vision, Fort Collins, Colorado (1999)
http://www.cns.nyu.edu/lcv/texture/
2010年9月28日火曜日
視覚特性を活かした評価技術• Visible Difference Predictor (Daly, 1993)
– 初期視覚特性の限界で区別できない
• Visual Equivalence Predictor (Ramanarayanan et al, 2007)
– 画像の違いは認識できても形や質感は同じ
Daly. The visible differences predictor: An algorithm for the assessment of image fidelity. Digital images and human vision (1993) vol. 11Ramanarayanan, Ferwerda, Walter & Bala. Visual equivalence: towards a new standard for image fidelity. ACM Transactions on Graphics (TOG) (2007)
2010年9月28日火曜日
質感の心理物理：視覚基本的な質感知覚属性（光沢感、半透明感）、 表面状態（ほこり）、 材質感（布らしさ）、画像の自然さ、などを判断するのに人間の脳が用いる画像特徴と計算アルゴリズムの特定
画像分析 ＆ 心理実験
画像技術へのフィードバック（表現・圧縮・表示・認識・評価・操作技術）
神経科学研究への方針提供
2010年9月28日火曜日
質感の心理物理：多感覚
聴覚
触覚
温感
多感覚統合
2010年9月28日火曜日
B01-1 質感認知に関わる視聴触覚情報の心理物理的分析
氏名 所属 役割
西田眞也 NTT 研究代表者 研究の総括と視覚的質感情報の分析
内川惠二 東工大 研究分担者 視覚的質感知覚の分析・新カラーディスプレイ開発
本吉勇 NTT 研究分担者 視覚的質感知覚の分析
藤崎和香 産総研 研究分担者 マルチモーダル質感知覚の分析
三橋俊文 トプコン 研究協力者 新カラーディスプレイ開発
渡邊淳司 NTT 研究協力者 触覚的質感知覚の分析
丸谷和史 NTT 研究協力者 視覚的質感知覚の分析
何 昕霓 NTT 研究協力者 温度による質感知覚の分析
2010年9月28日火曜日