モデルを用いたアニメーショ -デジタル画像と定量化-...1 吉澤信...

1

吉澤信[email protected], 非常勤講師

-デジタル画像と定量化-その７：画像合成

九州大学大学院

生命情報学特別講義

第７回講義

2011年8月3日～4日

伊都新キャンパス

Shin Yoshizawa: [email protected]

2D人顔・人体画像の３D形状モデルを用いたアニメーション・モーフィング：

©V. Blanz et al., EG 2003.

復習：３次元形状を用いた画像合成

©S. Zhou et al., SIGGRAPH 2010.


画像合成(Image Synthesis)

複数(又は局所画像)画像から新しい画像を生成する事.- 本講義では３D形状は使わない画像合成を扱う.- Alpha-Blending.- Dissolve.- Image Morphing.- Inpainting.- Pixel Transfer.- Image Analogy.- etc.

次回以降：Poisson Image Editing.

©CG-ARTS協会

©Perez et al. SIGGRAPH 2003.


単純な合成

色の平均：

Alpha-Blending：透明度を画素の位置により線形補間.©CG-ARTS協会

2/))()(()( 21new xxx III


時間変化の合成：ディゾルブ(Dissolve)

透明度(Alpha)を時間的に変化(線形補間0.0～1.0)：

©CG-ARTS協会

.10),()1()()( 21new tAttAA xxx


モーフィング(Morphing)

物体(注：画像ではない)の平均・補間. ©www.prodigitaltips.com

©Greg Eden, CMU, 2008.

©D. Hoiem, Univ. Illinois.

2


モーフィング(Morphing)2

単純な画素値のディゾルブの結果では物体の平均・補間にはならない！

©D. Hoiem, Univ. Illinois. 好ましいモーフィング

単純Alpha-Blending

単純Alpha-Blending


モーフィング(Morphing)2

1. 対応点の作成：特徴点作成＋対応付け.2. 局所変形(Local Warping): 位置合わせ.3. クロスディゾルブ(Cross-Dissolve).


対応点作成

変形変形クロスディゾルブ

©www.mukimuki.fr


特徴点作成

マニュアル、特徴抽出、メッシュ生成(Voronoi図/Delaunay三角形分割)等: Delaunay三角形分割はVoronoi図の双対.


©www.mukimuki.fr

©Stanford Univ.


局所変形(Local Warping)1

変形・補間法を用いる：アフィン変換、スプライン補間、重心座標、一般化重心座標、RBF (Radial Basis Function)等.


123

1321

322

321

133

321

21

area

)(area

area

)(area

area

)(area

wQvQuQ

Q)QQ(Q

PQQQ

)QQ(Q

PQQQ

)QQ(Q

PQQP

P

1Q

2Q

3Q

1V

2V

3V

f

ii VQf :

321: wVvVuVX 321: wVvVuVX

Mapping

X

©www.mukimuki.fr

©T. Igarashi et al., SIGGRAPH 2005.




©Jean-Baptiste Fiot.

©T. Ju et al., SIGGRAPH 2005.

©K. Hormann




©Y. Choi and S. Lee, Graphical Models 2000.

©T. Kanai.

©W.-C. Li et al. SGP’06.

©Wikipedia

3




RBF（沢山の亜種あり）は最もよく用

いられているデータ補間法、スプライン補間や重心座標系と比べて格子やメッシュがいらない. 写像の裏返りの制御が難しい.

©N. Arad , D. Reisfeld , CGF 1995.

©R. Duraiswami.


クロスディゾルブ(Cross-Dissolve)1

複数画像に対する変形結果のディゾルブを計算する事.

©G. Wolberg, CGI’96.


©www.mukimuki.fr


クロスディゾルブ(Cross-Dissolve)2

©G. Wolberg, CGI’96.


モーフィング(Morphing)3D

©T. Michikawa et al. PG’01.

©Gr.Turk and J. F. O'Brien, SIGGRAPH’99..

©yu. Ohtake et al. SIGGRAPH’03.

3D形状のモーフィングもCGではある.


フィルタ等の複数の処理を組み合わせる事も

例えばエンボス画像生成：- エンボス（Emboss）：板金や紙などに文字や絵柄などを浮き彫

りにする加工.

©CG-ARTS協会

©wikipedia.


マスク(領域抽出)画像と画像合成

マスク(領域抽出)画像を用いて対象領域だけ合成する事が主流.- マスクの境界からの距離等を用いる方法もある.- 領域抽出の応用.

©CG-ARTS協会

4


マスク(領域抽出)画像生成1

マスク画像は自動領域抽出、クロマキー、マニュアル、半自動(Interactive)等で生成.- 復習：自動領域抽出：大津の二値化法, Snake (Active Contour),

Graph Cuts, Mean Shift, Water Shed (Region Growing)等.

©www.cs.bris.ac.uk

©bigwww.epfl.ch/jacob

©D. Comaniciu and P. Meer, IEEE.©V. Boykov, IJCV’06.

©T. Ijiri, RIKEN



マスク画像は自動領域抽出、クロマキー、マニュアル、半自動(Interactive)等で生成.- クロマキー(Chromakey)：特定の色からマスクを生成する事.- テレビ、映画等の背景合成.- 光学式、回路式、デジタル式.

©pchansblog.exblog.jp©wikipedia.

©harue.cocolog-nifty.com

©CG-ARTS協会



マスク画像は自動領域抽出、クロマキー、マニュアル、半自動(Interactive)等で生成.- 半自動：最小限のユーザーインタラクションでマスクを生成.- 基本的アルゴリズムは全自動の領域抽出法だが、抽出法のパ

ラメータや拘束条件等をユーザーが与える方法.

©CG-ARTS協会

©C. Rother et al. SIGGRAPH, 2004.

©T. Iiri and H. Yokota PG’10.


Inpainting・Hole Filling

マスク内部の画像を自動生成する事.- 周りの画素値を使った補間.- Texture合成: Pixel/Texture Transfer, Image Completion.

©H. Yamauchi et al.,CGI 2003.



補間によるInpainting

©H. Yamauchi et al., CGI 2003.

補間によるInpaintingは、(ほとんどの補間法が滑らかな関数で値を繋ぐため)細い領域に有効だが、大きなマスクでは不自然な結果.

通常は補間＋Texture合成.

補間のみ

+Texture合成


Texture合成

与えられた画像を敷き詰める事：- 境界を出来るだけ意識させない.- Textureの繋がり(パターン)を保持.


5


Pixel TransferによるInpainting

画像から似ている画素・Textureを持ってくる.- 局所Windowで類似パターンを検索：Windowサイズに依存.- 低周波画像は補間で生成しておくと影等の効果を反映出来る.- 穴(マスク)を埋める順番が重要！

p

類似検索


©H. Yamauchi et al., CGI 2003.


Pixel TransferによるInpainting２



Pixel TransferによるInpainting3©D. Hoiem, Univ. Illinois.


Pixel TransferによるInpainting４

補外(Extrapolation)も同じ原理で可能.



Pixel TransferによるInpainting５

©I. Drori et al., SIGGRAOH 2003.

?


Shape Completion

©V. Kraevoy and A. Sheffer, SGP’05

©A. Sharf et al. SIGGRAPH’04.

CG: 3D形状への応用.

6


Image Analogy/Example-based

例題や類推による画像編集・合成:原理は同じ類似検索.

©A. Hertzmann et al., SIGGRAPH 2001.

?


Image Analogy2

例題や類推による画像編集・合成:原理は同じ類似検索.



?+


Image Analogy3

様々なフィルタ処理が可能！ ©A. Hertzmann et al., SIGGRAPH 2001.

?

?


Image Analogy4


?

?


Image Analogy5


?

?


Image Analogy6


? ?

7


Example-based Painting:


データ入力画像とその領域の分類

出力：合成画像

Userの入力Painting

Image Analogy7Shin Yoshizawa: [email protected]

Image Analogyアルゴリズム©A. Hertzmann et al., SIGGRAPH 2001.

?パラメータ(Windowサイズ): r>=2.


Image Analogyアルゴリズム2


検索はANN (Approximate Nearest Neighbor)ライブラリを使う.

ANNはエラー(誤差)を許して高速にn次元空間の近傍をサーチ.

パラメータ(ANNError): E>=1.0.


Image Analogyアルゴリズム3

パラメータ(Texture度): k>=0.

Best Approximate MatchはWindowの半径2のとき55次元ベクトルのガウス相関.- ガウス相関：中心の画素からガウ

ス関数で重みを付けて対応する画素を要素とするベクトルの距離.

Best Coherence MatchはTextureの整合性を加味して既に合成された画素の対応する画素でサーチ.- Textureの整合性を重視する場合

はパラメータkを大きくする.- 大きくしすぎるとAとA’だけしか結

果に反映されないので注意.



Texture Transfer

A A’ B B’


Texture Transfers

8


Texture Transfers テクスチャー度の違い.


カモフラージュ画像合成

©H.-K. Chu、SIGGRAPH 2010.©New York Times

Camouflage Art: ©S Gardner ©J. Straalen


カモフラージュ画像合成

©H.-K. Chu、SIGGRAPH 2010.


Texture by Numbers

A A’

B B’


Texture by Numbers

A A’

B B’


Texture by Numbers

A A’ B B’

9


Smoothing & Sharpningフィルタ

A1 A1’

B B1’

A2 A2’

B2’

Gaussianフィルタでの平滑化の場合



A1 A1’

B B1’

A2 A2’

B2’

エッジ保存フィルタでの平滑化の場合



入力

エッジ保存

Gaussian


Artistic Filter


テクスチャー度の違い：６種類実行.

Artistic Filter Shin Yoshizawa: [email protected]

Window半径の違い：２種類実行. 注意点：ANN誤差は全て1000.0で実行、1.0に近け

れば綺麗な結果だが、計算時間が大: 数十分～数十時間かかる可能性あり!

Artistic Filter

10


Artistic Filterに細線化やエッジ強度を使った結果.


Artistic Filter



Artistic Filter



Artistic Filter

11


油絵的フィルタ効果

入力→


水彩画的フィルタ効果

入力→

Artistic Filter

A A’ B B’Shin Yoshizawa: [email protected]

数百万のExampleがあると…

データベースからの類似検索＋画像合成. ©D. Hoiem, Univ. Illinois.

2 Million Flickr Images





12





Image2GPS

©Hays & Efros, CVPR 2008.

画像データベースに位置情報が付いている(撮影場所)と画像検索→類似画像の多さを地図にマップ=GPS.


Image2Real

画像データベースからCGの類似画像検索＋部分合成でより写実的(Photorealistic)なCGの生成.

©MIT-CSAIL-TR-2009-034.


復習：単純な合成

色の平均：

Alpha-Blending：透明度を画素の位置により線形補間.©CG-ARTS協会

2/))()(()( 21new xxx III


高度なBlendingについて


単純なカット&ペースト

カット(領域抽出)に気合を入れた場合

境界領域が自然に見える合成が好ましい！

領域抽出のエラーが見える.

Source Image

Target Image


領域抽出だけで頑張るのは難しい…

髪の毛や繊維質、森の木々等の複雑な境界を自動的 or マニュアルで抽出しマスクを作成するのは困難.

©J. Sun et al. SIGGRAPH 2004.

13


Feathering

マスク境界からの距離に応じて透明度を決定(ぼかす).



Blendingの方法がKey!

最適な幅や量は画像中の特徴サイズに依存=特徴サイズが低周波～高周波まで広く分布→難しい.

＝シャープなエッジと滑らかな輝度変化を含む画像.

©D. Hoiem, Univ. Illinois. 01

01

+ =


イメージモザイキング/パノラマ画像生成

1. 特徴点・対応点抽出.

2. 幾何学的変換の推定.

3. 幾何変換&色補正.

4. Blending.

©CG-ARTS協会


2-bands Blending

低周波は滑らかにAlphaを変化＋高周波はAlpha定数.

©Brown & Lowe, 2003

低周波成分画像高周波成分画像

Linear Blending


2-bands Blending


14


Pyramid Blending

Multi-bands Blending: 周波数毎に異なる幅でBlending. Pyramid Blending: ピラミッドの各階層(周波数)で低周波

はゆっくり(長い幅)、高周波は速く(短い幅)Blendさせる.- Gaussian/Laplacian Pyramid: 画像を平滑化して半分のサイズ

に再サンプルリングする操作を繰り返して作成.

©IIPImage

©S. Yoshizawa, RIKEN

低周波成分

高周波成分

©Burt and Adelson 1983.


Pyramid Blending

©Burt and Adelson 1983. © Chris Cameron


重要：Poisson Image Editing

Idea:良いBlendingはSource画像の勾配(Gradient=エッジ)を可能な限り保持する事が重要.



重要：勾配：Gradient

勾配(Gradient): スカラー場の各点で変化が最大の方向と変化率を大きさに持つベクトル場.

勾配作用素:

).,()),(

,),(

(

),(),(

yx IIy

yxI

x

yxI

y

I

x

IyxII

),(yx

勾配の大きさ：

22yx III

勾配ベクトルの表記：

©wikipedia.

©www.mathworks.co.jp.


重要：画像の勾配：Gradient Image

画像の勾配: 画像を高さ関数と考えたときの勾配ベクトル場、画像のエッジ部分で大きい勾配ベクトルをもつ画像.

入力エッジ強度画像

勾配ベクトルの大きさ=エッジ強度:

22yx III

),( yxI ),( yxI

©wikipedia.

勾配ベクトルの方向: 画像エッジと垂直な方向.

),( yxI xI yIx方向微分 y方向微分©wikipedia.


Laplace方程式・Poisson方程式

ラプラス作用素(Laplacian): 滑らかさを記述.

発散、湧き出し(Divergence): 注:ベクトルに対する作用素.

Laplace方程式：自然科学の多くの分野で重要. Poisson方程式: Laplace方程式の右辺が関数. 解くには境界条件（境界での値や微分値）が必要. 重要：DivergenceのGradientはLaplacian:

2

2

2

22

yx

yx

div

0 I

gI

div

)),(),,((),(

,div

yxqyxpyx

y

q

x

p

v

vv

2

2

2

2

y

I

x

II

II div

15

Mask

TargetI

hGradients


重要：Poisson Image Editingの原理

Source画像のGradient（マスク内）をTargetにコピーしマスク内だけTargetの境界条件で新しい輝度値I を解く.


gv

Source画像

Target画像

Poisson方程式を

解く！

Idea:良いBlendingはSource画像の勾配(Gradient=エッジ)を可能な限り保持する事が重要.

),( yxhh

gI div


Mixing Gradients

Target画像のテクスチャーを混ぜたい場合はSourceとTargetでGradientの強度が大きな方をPoisson方程式の右辺に使う.

elsediv

ifdiv

h

hggI

Mask

TargetI

hGradients


顔の合成などTargetに特徴的な形状がある場合はダメ！


Poisson方程式の差分近似

微分方程式(Poisson方程式など)の数値解法で一番用いられているのは差分法(Finite Difference Scheme):- 差分近似：テイラー展開の高次の項を打ち切る→１次近似

(Eulerの前進一次差分)は微分の定義からも得られる：

- 両辺で微分の差分近似を行い多元連立方程式を解く、特にPoisson Image Editingの場合は線形連立方程式になり疎な逆行列計算になる.

h

xIhxI

h

xIhxI

dx

dIh

)()()()(lim

0

bAxbAx 1div gI

),(4)1,()1,(),1(),1( yxIyxIyxIyxIyxIIII yyxx

),(4)1,()1,(),1(),1(div yxgyxgyxgyxgyxggg

画像では…


Poisson方程式の差分近似２

bAxbAx 1

div

gI

),( yxI

)1,( yxI

)1,( yxI

),1( yxI ),1( yxI

),(4)1,()1,(),1(),1( yxIyxIyxIyxIyxIIII yyxx

),(4)1,()1,(),1(),1(div yxgyxgyxgyxgyxggg

疎な線形連立方程式の数値解法は沢山ある：- 直接法：LU分解などTAUCS,

UMFPACK, SuperLU, etc.- 繰り返し法：ガウスザイデル

法、PCBCG等→Numerical Recipe in C.


Poisson Image Editingの実装・アルゴリズム

超簡単！

PoissonIE.h内solve()関数:

elsediv

ifdiv

h

hggI

Mixing Gradientsの計算：方向毎


Poisson Image Editingの実装・アルゴリズム２

超簡単！


PoissonIE.h内solve()関数:

ガウスザイデル法によりPoisson方程式を解く計算.

bAxbAx 1

div

gI

16


Poisson Image Editing


Source画像

Target画像

),( yxhh

勾配Mixあり→←なし


Poisson Matting

Matte: 合成の為の透明度のマスク. Matting=Alpha-Blending: Poisson Matting: Poisson Image Editingと同じ原理で

MatteをPoisson方程式を解いて生成→非常に複雑な形状でもOK.


BFI )1(

'')'()1()( fggffgBFBFI

IBF

1 )1

(div IBF


Poisson Matting２



Poisson Matting３



Poisson Matting4


De-Fogging: 同じ原理でAlpha値の代わりにFoggのエフェクトをPoisson方程式を解く事で見積もる.


Poisson Mesh Editing

3次元形状・メッシュに拡張されてLaplacian-Poisson Mesh 変形・Editingと呼ばれる一大研究分野に発展.


©S. Yoshizawa et al. EUROGRAPHICS 2007.

©X. Hung et al. ACM SPM ‘07.

17


Deformation Transfer

同じ原理で変形のTransferも可能.

©K.Zhou et al. SIGGRAPH 2005.

©R. W. Sumner and J. Popovic, SIGGRAPH 2004.


Content-Aware Resizing/Retargeting

©S. Avidan & A. Shamir, SIGGRAPH, 2007

画像中の特徴的/象徴的オブジェクトのサイズやAspect Ratioを変えずに画像のサイズやAspect Ratioを変える事.

©R. Gal et al., EGSR’06.

©Y.-S.. Wang et al., SIGGRAPH Asia 2008.


Content-Aware Resizing/Retargeting２


.)(1 y

I

x

IIIE

L

).,(y

I

x

II

Seam Carving: 勾配の強度エネルギーが最小になる曲線群を計算して複製・削除によりサイズ変更.


Content-Aware Resizing３


Seam Carving: ビデオへも拡張＆マスクと組み合わせてオブジェクトの削除も.

©M. Rubinstein, SIGGRAPH, 2008


Content-Aware Resizing/Retargeting４

©Y.-S.. Wang et al., SIGGRAPH Asia 2008.

勾配強度やマスクと他の画像特徴を組み合わせて局所変形(Warping)をする方法もある.

©R. Gal et al., EGSR’06.


Poisson Image Editingの問題点

Source Mask Target 合成結果

18


Image Harmonization

Multi-band Blendingの一種：ヒストグラムマッチングにて全体の色を合成し、ソース画像の高周波ノイズを多重解像度解析でBlending.

©K. Sunkavalli et al. SIGGRAPH’10.


Image Harmonization２

ヒストグラムマッチング：ヒストグラム平坦化の一種.

©D. Heeger & J. Bergeny, SIGGRAPH’95.

合成:(Orientation Pyramidの)ヒストグラムを類似検索.


Image Harmonization２

Smoothヒストグラムマッチング:周波数毎に適度な平滑化.

ハイパスフィルタにより高周波をノイズとして作成しノイズマッチングしPyramid合成.




Image Harmonization３





Image Harmonization４





Image Analogy+PIEでリアルな合成

エッジ保存フィルタリング画像にPIEで合成後、Image Analogyで細部を復元.

19


Source Mask Target 合成結果

Image Analogy+PIEでリアルな合成Shin Yoshizawa: [email protected]

A A’ B B’

?

Image Analogy+PIEでリアルな合成

エッジ保存フィルタリング画像にPIEで合成後、Image Analogyで細部を復元：Aはエッジ保存フィルタリング画像、A’は元画像、BがPIEによる合成画像.


演習：Image Analogy+PIEでリアルな合成Shin Yoshizawa: [email protected]

PIE vs Image Analogy+PIE


まとめ

画像合成とは複数(又は局所画像)画像から新しい画像を生成する事.- Alpha-Blending & Dissolve & Bandwise Blending.- Image Morphing: 対応点作成・抽出&マッチング→局所

変形(位置合わせ)→クロスディゾルブ.- Inpainting: 補間、補間＋Texture合成.

- Pixel/Texture Transfer & Image Analogy: 類推・類似検索による合成.

- Poisson Image Editing & Poisson Matting: 画像のエッジ(勾配＝Gradient)を補間=Poisson方程式を解く.

- Image Harmonization: ノイズの生成＆合成.- Content-Aware Retargeting: 特徴別に非線形変形.- 3D形状を用いた合成もある.

モデルを用いたアニメーショ -デジタル画像と定量化-...1 吉澤信...

Documents