東京大学　落合陽一 (@ochya i / Yo ich i Och ia i : f acebook )Phys ica l i za t ion o f Compu te r Graph ics

感想は#devsumiかFBでつぶやいてください, よろしくです．

みなさん，電子工作は好きですか？ちなみに、僕は人生をかけて愛しています．

落合陽一

宿命　☞　命名されたときから電気が好きです

↘ ↙ + ‒　　

落合陽一(プラスマイナス)

メディアアーティスト

IPA認定スーパークリエータ

ジセカイ株式会社を経営

東京大学にてCG研究

研究者メディアアーティスト

親父の影響で国際政治に興味をもって

育ちました．

手っ取り早く落合を知るには

Googleで検索する．TED.comで調べる．

twitter(@ochyai)をみてみる．

．

http://www.youtube.com/watch?v=V87zdzSk4ls http://www.youtube.com/watch?v=IiQVYz4VNzs

http://www.bbc.co.uk/news/technology-18671061

2014年1月1日の世界でもっとも伸びが大きかった動画．初日1万，二日目10万，三日目100万，七日目で200万

今どきの電子工作

ブレッドボード回路

回路図（Web）

電気が見えないこと．

回路を直接コンピュータから出力できないこと

ここには２つの問題がある．

１．配線が生成される ２．電圧が可視化される

部品

http://96ochiai.ws/vrsjVB.pdf

2008年の問題意識：電子回路をみんなが作る世の中が来る． センシングの本質→見ない電圧を見えるようにする コラボレーションの本質→物理世界を配線でどう変更したか？ →そもそもコンピュータが介在して物理状態を改変すればそれ自体を共有できる．（入力と出力を同時に存在させる）

http://www.youtube.com/watch?v=T2G7A1W6uic

あらまし：「物理から計算へ」→「計算から物理的描画へ」

1940：リレーに論理を対応させる 2009：リレーで回路を描く

= 情報処理を行うことで、実世界の物体で描く

これ以来ずっと物理変化が可能になって生まれる表現を研究

1940

物理世界仮想世界（計算機データ）

図書館

情報量のシーソー

シャノン修論を書き終える

（アナログ記録）

物理世界仮想世界

1982 -2000年代

情報量のシーソー

インターネットプロトコル誕生-普及

Web PC マルチメディアカメラ/デバイスディスプレイ

物理世界仮想世界

現在～未来仮想世界に情報があふれている．

動画スパコン

ブログ

染み出した情報が

物理世界を書き換えていく

物理世界は常に書き代わりたがっている。

Malleability of Computer Graphics

物理世界になく，仮想世界にあったものコンピュータグラフィクスの原理が染み出す

Phys ica l i za t ion o f Compu te r Graph ics東京大学　落合陽一 (@ochya i / Yo ich i Och ia i )

2D display texture display 2.5D display 3D displayTextu re P resen t De fo rma t ion 3D

Man ipu la t ion

2D display texture display 2.5D display 3D displayTextu re P resen t De fo rma t ion 3D

Man ipu la t ion

今のディスプレイは色を変えられる。それから先、何を変えてゆくだろう？

2D display texture display 2.5D display 3D displayTextu re

http://www.youtube.com/watch?v=tvxJs_4m0ZE

2D display texture display 2.5D display 3D displayDefo rma t ion

http://www.youtube.com/watch?v=Blj4pVsjHwo&t=1m43s

2D display texture display 2.5D display 3D display3D

Man ipu la t ion

http://www.youtube.com/watch?v=odJxJRAxdFU&t=1m40s

U = g(x, y)2 A2

ρ0c2 −B + (B +1− γ )cos2(2π z

λ)⎧

⎨⎩

⎫⎬⎭

空間ポテンシャルのコントロールによって物体を駆動する

I n R a s c ow , BC . 1 3 0 0 0我々は描いてきた。

世界の様子をどうやって記録するのか？イメージをどうやって表現するのか？

１８世紀

写真の発明で我々は，

正確に世界を写しとった．

イメージから，時間と空間を映し出す．

１８－１９世紀

映像を作り出した。２０世紀

仮想世界を計算する。２０世紀後半

Computer Graphicsの夜明け

計算によって物象的実体の変化を描き出す。２１世紀前半

”コンピュータグラフィクスの現実化”“メディアアート”の世紀

2D display texture display 2.5D display 3D displayTextu re

Compu ta t iona l Po ten t i a l F i e l d : Cap i l l a ry waves

物体にはざらざらやつるつるがある．テクスチャが存在する．

コンピュータの世界では一瞬で変えることが出来る現実ではほぼ不可能だ．

情報処理学会研究報告IPSJ SIG Technical Report

2. リフレクタンスフィールド

2.1 リフレクタンスフィールドの定義視点や照明を変えると物体の見え方は変化する．この変化を表現するためには，シーンを通過する光線そのものの強度を記録すればよい．照明が一定とすれば，シーン中の光線は，図 1(a)のようにある点 (x, y, z)を通り (θ,φ)方向に進む光線の強度として５個のパラメータで記述できる．ここで，光線の強度は空間中を進む間に変化しないと仮定すれば，図 1(b)

に示すようにシーンを挟み込む２枚の平面を考え，その交差点 (s, t), (u, v)で記述できる．しかし，このような表現では２枚の平面に平行な光線は記述できないため，本研究では，図 1(c) に示すようにシーンを中心とする半球面上で光線空間を定義する．シーンを中心とする単位球面を仮定すれば，シーンから放射される光線は必ずこの単位球面上の１点と交差する．その交差点をDR = (θR,φR)とし，通過方向を CR = (uR, vR)とする．ここで，球の中心と球面上の交差点DR を通る直線に直交する平面を考えると，CR はこの平面上の２次元座標を示す．シーンから放射される光線は，FR(DR,CR)として４次元の光線空間で記述できる．さらに，照明が変化する場合にも同様に考えることができる．図 1(d)のように，シーンに対して入射する光線は，単位球面上のDL = (θL,φL) をCL = (uL, vL)の方向に通過する．従って，照明についても FL(DL,CL)として４次元の光線空間で記述できる．シーンに対して，ある照明 FL を与えた場合の反射光 FR の関係を記述したものはリフレクタンスフィールドと呼ばれる．リフレクタンスフィールドは，４次元の照明の光線空間に対する４次元の反射の光線空間を表しており， ８次元の関数として

F (DL,CL,DR,CR) (1)

と記述できる．この８次元リフレクタンスフィールド（以後 8DRFと呼ぶ）は，その定義から，可能なあらゆる照明条件下において，シーンで反射するあらゆる光線の強度が得られるため，視点や照明を変えたときに変化するシーンの見え方を表現できる．2.2 リフレクタンスフィールドの低次元断面8DRFは，照明と反射に関するあらゆる情報を含む．そのため，8DRFをスライスした低次元の断面は，物体表面の反射特性や散乱特性を示す．本節では，8DRF と，BSSRDF,

BTF, BRDFの関係について順に述べる．2.2.1 BSSRDF

半透明物体では，物体表面上のある点に入射した光は物体の内部で散乱し，物体表面上の

),,( zyx),( φθ

),( ts

),( vu

(a) (b)

),( RRR φθ=D

v

u),( RRR vu=C

),,( zyx

),( RRR φθ=D

v

u),( RRR vu=C

),( LLL φθ=D),( LLL vu=Cv

u

),,( zyx

(c) (d)

図 1 空間中の光線の記述．

別の点から出射する．この物体内部の散乱は表面下散乱と呼ばれ，双方向散乱面反射率分布関数（Bidirectional Scattering Surface Reflectance Distribution Function: BSSRDF）で表現される．物体表面上の照明光の入射点を SL = (xL, yL, zL) とし，反射光の出射点を SR =

(xR, yR, zR)とする．点 SL を照明する光線が半球面上の点 DL を通過する際の方向は，射影変換 PL によって CL = PL(DL,SL)と計算できる．同様に，点 SR から出射する光線が半球面上の点 DR を通過する際の方向は，射影変換 PR によって CR = PR(DR,SR)と計算できる．すなわち，DL から入射した光線が SL を照明し，その散乱光が DR から出射して SL を通過する際の強度は，次式のように BSSRDFで記述できる．

BSSRDF (DL,SL,DR,SR) = F (DL, PL(DL,SL),DR, PR(DR,SR)). (2)

すなわち，BSSRDFは，8DRFそのものに他ならない．2.2.2 BTF

不透明な物体では，入射した光は物体内部には到達せず，表面で反射する．そのため，入射点と出射点は一致し，物体表面上のある点における反射特性のみを考慮すればよい．この反射特性の物体表面上での分布は，双方向テクスチャ関数（Bidirectional Texture Function:

2 c⃝ 2010 Information Processing Society of Japan

9RO������&9,0�����1R�������������

M. Hullin et al. / State of the Art in Computational Fabrication and Display of Material Appearance

������ ��������� �������������� ��������������������� �����

������������������� �������������

����

�����������������

�����������������

�����������������

����������� ������� ����

������� ��!��"��

��#������ �������#�������� �������

#�#������ �������

����������� ������� ����

������� ��!��"��

������������ ������� ����

�$�

�����%�������!����������� �������%�"������� �

&�������'�$� ���� #����������������

������(�������� ��������

)������%�*���� ������%�!����

������(�������� ��������

+������������ ,����������������

������������� �������������

-�����

������� ��������� ����

�������%�"������� � ���������� ����������

������� ��������� ����

(����������

������� ��!��"��

.��-�� ������� ��� ������!��"����������

Figure 3: A taxonomy of visual appearance representations, extended from [Fuchs 2008], [Lensch 2003], and [Rusinkiewicz andMarschner 2000]: methods for fabrication of material appearance and its interactive display are tightly related to methods fordescribing material appearance in computer graphics contexts, and follow the same patterns. Simplifying the material types toreduce the parameter space (blue) maintains full interactivity with viewer and light, while restricting the interactions betweenviewer, material, and illumination maintains a full material gamut (yellow). For reference, illumination-invariant representationsare in white.

dimensions. Color adds an additional dimension if treatedas a separable effect in individual color channels, as is thecase with current fabrication techniques. Adding control overfluorescence and/or phosphorescence would require introduc-ing additional dimensions. to the interaction space. Generallyspeaking, a higher dimensional interaction space can capturemore physical properties of an object, and therefore producesa more realistic experience.

On the other hand, we may look at how many parame-ters a technique can (or even must) control, and consider thecontrollable parameter dimensionality, the number of dimen-sions of the variable space (such as surface color, opticaldensity, ...) which must be independently controlled by thetechnique. As every additional parameter space dimensionenlarges the problem size (data structures, manufacturing /computation time, etc.), a low-dimensional parameter spacedimensionality is paramount for the feasibility of a practicalimplementation.

This creates conflicting goals for which a compromisemust be found, and, as Figure 3 illustrates, the same problemis addressed by the classical computer graphics methods fordescribing appearance. Most generally (on the very top ofthe figure), the Bi-Directional Scattering-Surface ReflectanceDistribution Function [Nicodemus et al. 1977] and the re-flectance field [Debevec et al. 2000] both provide for generalviewer, general illumination interaction with arbitrary ma-terials. (As we will look at specific simplifications of thegeneral reflectance field, we label the general reflectance field“4 ! 4”, as it describes the transformation of a 4D incident

light field [Levoy and Hanrahan 1996] to a 4D outgoing lightfield). BSSRDF and reflectance field differ only in that theBSSRDF is defined relative to a scene surface, while thereflectance field is defined relative to some more arbitrarygeometry; both require an 8D parameter space when stored intabulated form, and the re-creation of the appearance of arbi-trary materials in arbitrary ways of interaction hence requiresthe control of eight dimensions of variables.

2.1. Reducing Dimensions to Enable Feasibility

Reducing the unwieldy number of parameter dimensions in-volves two basic strategies: reducing the expressivity of therepresentation to simpler materials (blue) maintains full in-teractivity, and lends itself to a fabrication process, whichmay shape the synthesized surface into desired geometry. Forinstance, one may consider only materials which do not trans-port light below the surface; then, only light that enters andleaves the surface at the same point in space must be mod-eled – and a 6D spatially varying bi-directional reflectancedistribution function (SVBRDF) is sufficient. If the surfacemay be assumed to appear the same in every point, two moredimensions are lost and a BRDF is sufficient, and so forth.

Reducing the possible interaction (yellow) either with theviewer (varying view points) or the illumination motivatesa construction of a display-type material appearance repro-duction technique; for instance, if all illumination may beassumed to be distant from the scene, it may be modeledas a 2D environment map, a 2 ! 4 reflectance field modelsthe material appearance exhaustively, and the incident illu-

c� The Eurographics Association 2013.

コロイド膜の表面に超音波で キャピラリー波を立てることが出来る．

i1

i2

o1

o1’

o1’’

o2’

o2’’

o2

eyelight source

pointimage

perspective

Control the distribution of ωo -> Control View angle

narrow

wide

http://www.youtube.com/watch?v=Blj4pVsjHwo&t=2m16s

SIGGRAPH 2013

our approach decompose the components

BRDF

swich these states in time division

reflectionof surface texture

reflectionof light source

light source

surface texture in real world

reflectionof light source

x % y %

mirror

screen image

projectorimage source

projector aslight source

= =

diffuse

texture + reflection texture

θ

反射質感は反射状態の時間変調で見せることが出来る．

http://www.youtube.com/watch?v=IOqp3LQNMvE&t=0m54s

���39

2D display texture display 2.5D display 3D displayDefo rma t ion

Compu ta t iona l Po ten t i a l F i e l d : Acous t i c P ressu re

Reflection control Deformation

Image projection

Mirror Weak diffuse

No ultrasound Weak ultrasond Strong ultrasund

Strong diffuse+ deformation

Colloidalscreen

Image reflection

Vibration Viewangle

(a) (b) (c)

Methods: two principle ( Diffusion and Deformation )

Diffusion

Deformation

http://www.youtube.com/watch?v=IOqp3LQNMvE&t=0m54s

http://www.youtube.com/watch?v=IOqp3LQNMvE&t=0m54s

Application: Popping Image EffectSplashed water

Normal imaget = 0.0s t = 0.2s t = 0.5s

Warped image Popped image

Splashed water

Splashed water

Normal imaget = 0.0s t = 0.2s t = 0.5s

Warped image Popped image

Splashed water

Splashed water

Normal imaget = 0.0s t = 0.2s t = 0.5s

Warped image Popped image

Splashed water

When the ultrasonic focal points hits the membrane, image on the bubble screen is warped

and membrane splashes the water. After that, bubble screen pops in 0.3-2 seconds.

http://www.youtube.com/watch?v=IOqp3LQNMvE&t=0m54s

2D display texture display 2.5D display 3D display3D

Man ipu la t ion

http://www.youtube.com/watch?v=odJxJRAxdFU

Phased Array

Phased Array

Focal Point

Object

w

λ

R

DStanding waves

Phased ArrayTransducer

w

R

D

D Focal Point

in 1967, at MIT

コンピュータに描く

in 2013, at 東大コンピュータに描くと

実物体が飛んで動く

Malleability of Computer Graphics

コンピュータグラフィクスの原理を実現していく

Fabrication Display

ファブリケーションもディスプレイも．

「ファブリケーションもディスプレイも世界の構築法」

「書き換え速度(フレームレート)の違い」

「速く再描画可能な物理世界の書き換えを行う」

“looking-glass time”

Yoichi Ochiai, Fuchu Art Museum,2012

フィルムや記録メディア

を使った世界の切り取り方

実物を直接映像に変換する

装置を並べることで表現する

メディア装置の制作自体がコンテンツになりうる．

今は，物理世界にメディア装置を作っていく時代だ．

この物理世界の時間と空間をコントロールしていく．

http://www.youtube.com/watch?v=c3orYwyuRz4

2D display texture display 2.5D display 3D displayTextu re P resen t De fo rma t ion 3D

Man ipu la t ion

Phys ica l i za t ion o f Compu te r Graph ics東京大学　落合陽一 (@ochya i / Yo ich i Och ia i )