ヒューマンメディア工学 human media engineering …kato/hm07/hm-9.pdfmr = vr + ar mixed...

ヒューマンメディア工学ヒューマンメディア工学Human Media EngineeringHuman Media Engineering

ヒューマンインタフェースとヒューマンインタフェースと体感メディア技術体感メディア技術

加藤　俊一加藤　俊一

Toshi KATOToshi KATO

最初にクイズ最初にクイズ

「情報環境」って何だ？

人間と情報環境とのインタラクション人間と情報環境とのインタラクション

情報環境情報の創造・処理加工・伝達・蓄積を行う過程で、それを実現するための情報メディア・ソフトウエア・データベースなどの利用可能な環境をいう。（三省堂「大辞林 第二版」）

情報を取り巻く環境のことである。環境情報ということもあるが若干意味合いが異なる場合が多い。情報に対してアクセス（収集・発信）する環境と情報を加工する環境があるとされている。情報環境の要素としては、一般的にネットワークやコンピュータといったものが連想されやすいが、図書館や書店、テレビやラジオといったものも情報に関わっているので、これらも要素といえる。（Wikipedia 2006年６月18日）

Wikipediaの説明は、ちょっとヘンだな。。。

人間と情報環境とのインタラクション人間と情報環境とのインタラクション

cf. 環境　 （三省堂「大辞林 第二版」）

取り囲んでいる周りの世界。人間や生物の周囲にあって、意識や行動の面でそれらと何らかの相互作用を及ぼし合うもの。また、その外界の状態。自然環境の他に社会的、文化的な環境もある。「―が良い」「―に左右される」「家庭―」「―破壊」

周囲の境界。まわり。

人間と情報環境とのインタラクション人間と情報環境とのインタラクション

人間（あるいは人間の集まり）

　　　↓↑　接点で相互作用(interaction)情報環境

人間の知的活動や身体的行動を支援するための様々な情報サービスを実現するための環境。マルチメディアコンテンツ・データベース・知識ベース・情報処理・ネットワーク・センサー・表示装置などから構成される。

人間と情報環境とのインタラクション人間と情報環境とのインタラクション

interact (vi)相互に作用する, （～と）互いに影響しあう [with]

interaction (n)相互作用 [with]; 相互連関 [between].

interactive (adj)相互に作用する; 【コンピュータ】対話式の, インタラクティブな.

人間と情報環境とのインタラクション人間と情報環境とのインタラクション

interface (n)（異なる物の）境界面, 中間共通面; 共有領域; 【コンピュータ】インタフェース

interface (vi, vt)連結する [with]; 調和（整）する［させる］; 【コンピュータ】インタフェースをとる.

（復習）ヒューマンインタフェース（復習）ヒューマンインタフェース

人が

「機器」と接する部分

「サービス」と接する部分

「人・社会」と接する部分

（復習）ヒューマンインタフェース（復習）ヒューマンインタフェース

人に優しいヒューマンインタフェース

（例）使いやすい、見やすい、押しやすい、、、わかりやすい、練習いらず、失敗なし、、、満足感、楽しい、ストレスなし、、、

（復習）ヒューマンインタフェースの視点（復習）ヒューマンインタフェースの視点

身体的側面

機器と身体的な特性との整合性

形状

運動能力（操作性）

知覚能力（視認性）

情報の表現方法の自然性

マルチメディア

マルチモーダル

（復習）ヒューマンインタフェースの視点（復習）ヒューマンインタフェースの視点

知識的側面

操作方法の明快さ

類推可能性

操作ミス（エラー）からの回復

機能の体系の明快さ

提供する機能の粒度・規模・過不足

常識、要求される背景知識

類推可能性

（復習）ヒューマンインタフェースの視点（復習）ヒューマンインタフェースの視点

感性的側面

主観的な特性との整合性

嗜好・価値観・目的意識

カスタマイズ可能な範囲

目的との整合性表層的 vs 深層的

個人情報

再利用・高度利用

セキュリティ

GUI GUI (Graphical User Interface)(Graphical User Interface)

計算機のユーザインタフェース

40年代：　電気配線＋ランプ

50年代：　紙テープ ＋ プリンタ

60年代：　キーボード ＋ キャラクタディスプレイ入出力装置の「電子」化

70年代：　キーボード ＋ グラフィックディスプレイ航空管制データのグラフ化・マップ化

GUI GUI (Graphical User Interface)(Graphical User Interface)

計算機のユーザインタフェース

80年代：　キーボード ＋ マウス ＋ ビットマップデスクトップメタファ「実世界」のモデル化と投影

90？ 00？ 10年代？：　ビジュアルエージェント執事メタファ

00？ 10年代？：　実世界インタフェース実世界メタファ

Scientific VisualizationScientific Visualizationコンピュータシミュレーションと可視化技術

70年代：　データの２次元グラフ化計測・記録されたデータの把握

80年代：　コンピュータグラフィックス物理法則に基づくシミュレーション忠実に可視化（２次元）

90年代：　ステレオ表示可視化（２次元→３次元）人為的ルール

00年代：　どこに向かう？　現実世界の中で？

Scientific VisualizationScientific Visualization可視化技術

物理現象：物理化学法則のシミュレーション（分子運動CG）

物理化学的な計測値（AMEDAS）

論理・ルール：アルゴリズム（フローチャート、アニメ）

法律上の制約（建築基準法）

感性：感性モデル（相関関係、モデルの対比）

［［課題１］課題１］ Scientific VisualizationScientific Visualization

（ビデオ資料を見ながら）

不可視情報を可視化することによって、大幅に理解が容易になり、便利になると考えられるものを、列挙してみよう。

その理由は？

VR: Virtual Reality VR: Virtual Reality （（仮想現実）仮想現実）

virtual (adj)〔限定〕（名目上はそうではないが）実質上の、事実上の、実際上のvirtual memory（仮想記憶）

〔光学〕虚の、仮の

注意：　vain (adj) 〔「カラの、実質のない」が原義〕　むなしい、中身のない；つまらない、価値のない；　虚栄心の強い、うぬぼれの強い Vanity Fair（虚栄の市）

VR: Virtual Reality VR: Virtual Reality （（仮想現実）仮想現実）

Virtual Reality人間の五感（視覚、聴覚、触覚＋味覚、嗅覚）である感覚器官に知覚させるための技術

物理法則やルールに基づいた「世界」の構築× Animated cartoon physics計算機内に現実世界を「模擬｣ 「投影｣

参考：　CG: Computer Graphics主として視覚情報

次世代のＣＧをＶＲだと言う人もいる。

Virtual RealityVirtual Realityの基本的な要件（１）の基本的な要件（１）

没入感 immersion, immersive：

全感覚（現状は視聴覚）で感じる外界が、すべて計算機制御された空間

Cf. 計算機制御された空間を、全感覚（現状は視聴覚）を通して知覚

質感e.g. 高精細・高品位

Virtual RealityVirtual Realityの基本的な要件（２）の基本的な要件（２）

インタラクティブ性 interactivity：

人間が対象・状況に働きかけられるCf. 特定の対象を選び出して

Cf. 対象群のおかれている状況に対して

対象・状況が人間に働きかけられるCf. 常時モニタ可能

Virtual RealityVirtual Realityの基本的な要件（３）の基本的な要件（３）

リアルタイム性 real-time：

（相互）作用した結果を直ちに反映Cf. （相互）作用の高速な計算

Cf. 計算結果の高速な可視化（可感化）

現実の世界と同じ時間スケールで再現Cf. 現実の世界と同じ空間スケールで再現

Cf. 現実の世界と同じ刺激スケールで再現

初期の初期のVRVRシステムシステム ((VPL)VPL)

データグローブ

ヘッドマウントディスプレイ

立体視立体視

奥行きの知覚

筋肉：　水晶体（レンズ厚）、両眼の輻輳角

画像：　両眼視差、運動視差

画像：　陰影、テクスチャなど

ランダムドットステレオグラム

遠近法

ネッカーのキューブ

立体視立体視

両眼視差（人間）

立体視立体視

視差をつけた撮影（機械）

立体視立体視

視差をつけた画像の計算・生成（ＣＧ）

右目画像左目画像

立体視立体視

運動視差による奥行きの知覚

奥行きと遠近感奥行きと遠近感

ポンゾの錯視

奥行き知覚は「視差」だけではない

立体視立体視

コンピュータビジョン

カメラの輻輳角

対応点マッチング

テクスチャ解析

立体視立体視

バーチャルリアリティ

両眼交互刺激

刺激の限界提示時間（上限）と解像度（密）

両眼同時刺激

解像度（粗）

バーチャルリアリティバーチャルリアリティ

両眼交互刺激

限界提示時間（上限）解像度（密）

液晶シャッター

偏光メガネ

赤青メガネ（モノクロ）

Head Mounted DisplayHead Mounted Display

時分割表示＋液晶シャッターメガネ時分割表示＋液晶シャッターメガネ

偏光スクリーン＋偏光メガネ偏光スクリーン＋偏光メガネ

CAVECAVE（（多面ディスプレイ）多面ディスプレイ） WALLWALL（（大画面）大画面）

＋＋Head TrackingHead Tracking

バーチャルリアリティバーチャルリアリティ

レンティキュラーレンズによる両眼同時刺激

空間解像度（粗）

裸眼立体ディスプレイ裸眼立体ディスプレイ((SynthagramSynthagram))

球状裸眼立体視ディスプレイ球状裸眼立体視ディスプレイ((prospectaprospecta))

力覚ディスプレイ（力覚ディスプレイ（PhantomPhantom））

嗅覚ディスプレイ嗅覚ディスプレイ

バーチャルリアリティバーチャルリアリティ

「視差」

自分の体（位置・大きさ）を基準とした量→　立体に見える＆　対象の「絶対的な大きさ」も知覚

→　コンテンツ制作上の課題

VR: Virtual Reality VR: Virtual Reality （（仮想現実）仮想現実）

Virtual Realityを利用した入力・操作

利用者→システム

計算機内部に構成された仮想世界に「働きかけ｣

視覚：　アイカメラ（視線）聴覚：　音声触覚：　力の向き・強さ、　　　　　位置（Data Glove, Data Suit, 磁気センサ）、　　　　　速度（加速度）

データグローブ＆データスーツデータグローブ＆データスーツ

Motion CaptureMotion Capture（１）（１）

Motion CaptureMotion Capture（２）（２）

VR: Virtual Reality VR: Virtual Reality （（仮想現実）仮想現実）

インタフェースの多様化：人間の五感（視覚、聴覚、触覚＋味覚、嗅覚）を通してインタラクションするための技術

物理法則やルールに基づいた「世界」の構築計算機内に現実世界を「模擬｣ 「投影｣

システム→利用者計算機内部に構成された仮想世界を「体験｣

利用者→システム計算機内部に構成された仮想世界に「働きかけ｣

VR: Virtual Reality VR: Virtual Reality （（仮想現実）仮想現実）

Virtual Realityを利用した出力・提示

システム→利用者

計算機内部に構成された仮想世界を「体験｣

視覚：　Head Mount Display、液晶シャッター、　　　　　広視野角聴覚：　ステレオ音源、触覚：　力覚ディスプレイ、　　　　　位置、　　　　　速度（加速度）

VR: Virtual Reality VR: Virtual Reality （（仮想現実）仮想現実）

Virtual Realityを利用した入力・操作

利用者→システム

計算機内部に構成された仮想世界に「働きかけ｣

視覚：　アイカメラ（視線）聴覚：　音声触覚：　力の向き・強さ、　　　　　位置（Data Glove, Data Suit, 磁気センサ）、　　　　　速度（加速度）

［［宿題宿題11］］ Virtual RealityVirtual Realityの基本要件の基本要件

世間的に「ＶＲ」と思われているシステムをいくつか取り上げて、ＶＲの基本要件から批評してみよう。

没入感

インタラクティブ性

リアルタイム性

（例）アーケードゲーム、運転シミュレータ、ミクロアドベンチャー、など

AR: Augmented RealityAR: Augmented Reality （（強化現実）強化現実）

Virtual Reality　

計算機内部に現実世界を投影（＝仮想空間）

仮想空間を「可感化」

Augmented Reality計算機内部の情報を現実世界に投影

現実空間を情報で「強化｣

［課題［課題２］２］ ARAR、、MRMR技術と応用可能性技術と応用可能性

（ビデオ資料を見ながら）

各AR、MRシステムの技術的ポイント

利点と制約

応用可能性

などを整理してみよう。

AR: Augmented Reality AR: Augmented Reality （（強化現実）強化現実）

Augmented Realityを利用した出力・提示

システム→利用者

計算機内部の情報を現実世界に「投影｣

視覚：　See-through型Head Mount Display、　　　　　Digital Desk聴覚：　？触覚：　？

AR: Augmented Reality AR: Augmented Reality （（強化現実）強化現実）

Augmented Realityを利用した入力・操作

利用者→システム

現実世界での「普通の動作」

視覚：　アイカメラ（視線）、指差し聴覚：　音声触覚：　位置（磁気センサ）

MR = VR + AR

Mixed Reality仮想世界と現実世界の密な融合

現実世界のオブジェクト→ モデル化して仮想世界に取り込む

仮想世界のリアリティ

仮想世界の情報→ 可感化して現実世界に重畳する

現実世界の情報化・高機能化

体感メディア（仮想メディア）体感メディア（仮想メディア）

五感を通して体で感じるメディア技術

物理的実在

論理的情報

感性的評価

「これらの情報を五感を通して知覚し、また、操作するためのメディア」を提供する。

［宿題［宿題２］２］　　Virtual RealityVirtual Reality技術の応用技術の応用

Human InterfaceにVR技術を導入すれば、機器の操作性やサービスの使い勝手・品質が改善されると期待できるものをいくつか例示して

「機器・サービス」

「現状」

「VRによる改善点」

「期待される効果」

「技術的な課題」　を説明してみよう。

［宿題［宿題３］３］ Augmented RealityAugmented Reality技術の応用技術の応用

生活空間などにAR技術を導入すれば、格段にその空間での活動や状態が改善されると期待できるものをいくつか例示し、

「空間・場所」

「現状」

「VRによる改善点」

「期待される効果」

「技術的な課題」　を説明してみよう。

体感メディア（仮想メディア）体感メディア（仮想メディア）

五感を通して体で感じるメディア技術

物理的実在

論理的情報

感性的評価

「これらの情報を五感を通して知覚し、また、操作するためのメディア」を提供する。

参考図書参考図書

情報処理学会編「エンサイクロペディア情報処理2000-2001」第4章マルチメディアとバーチャルリアリティ

野村、澤田「バーチャルリアリティ」朝倉書店、1997年。