chapter - cg-arts...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, ku v hu v hu v 1 hu v w...

15
chapter 3 062 ける画素値平均 , uv n ^ h標準偏差 , uv v ^ hめることができるこの 平均 , uv n ^ hする標準偏差 , uv v ^ hをプロットすればノイズレベルることができるちなみに,平均 , uv n ^ h位置 , uv ^ hしてればノイズをまない画像になる図 3.4 このようにして測定した 3種類のカメラのノイズレベル関数 。同図[a],[b] ,同じカメラでなるISO感度設定した ときのノイズレベル関数であるこの場合には,ISO感度高感度設定 すると,低感度場合よりもノイズが約3倍増加しているがノイズレベ 関数形状はあまりわらないなお,2-4-4 図 2.37 したノイズ レベル関数,[a] わせて式( 2.31 ) のパラメータを調整したも のである[c],[d] ガンマ補正1 設定したなるカメラのノイズレベル 関数であるこれらのノイズレベル関数,光ショットノイズの影響画素値平均値きくなるにってノイズの標準偏差きくなって いるどのようなカメラで撮影したのか不明画像があるときにその画像 だけから画像まれるノイズを推定する手法提案されている *1 1 ノイズを推定 する手法については, 7-2-1を参照のこと。 1- 1 0.01 0.008 0.006 0.004 0.002 0 0.2 0.4 0.6 0.8 1 0 0 0.2 0.4 0.6 0.8 1 0.03 0.02 0.01 0 τ n画素値の平均値 n 0.01 0.008 0.006 0.004 0.002 0 0.2 0.4 0.6 0.8 1 0 τ n画素値の平均値 n 0.01 0.008 0.006 0.004 0.002 0 0.2 0.4 0.6 0.8 1 0 画素値の平均値 n 画素値の平均値 n a ]G1Xのノイズレベル関数(ISO100b ]G1Xのノイズレベル関数(ISO6400c ]Dragonfly Expressのノイズレベル関数(γ =1.0d ]Flea2のノイズレベル関数(γ =1.0■図3.4 ――キヤノンG1XとPoint Grey Research社の 2 種類のカメラのノイズレベル関数の測定結果例 画素値の平均値nは,0 から1に正規化されている。ノイズレベルは,画素値の最大値が 1のときの大きさである。それぞれ, 100 枚の画像から求めている。

Upload: others

Post on 25-May-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

3

062

画像の性質を表す諸量

ける画素値の平均 ,u vn^ hと標準偏差 ,u vv^ hを求めることができる。この平均 ,u vn^ hに対する標準偏差 ,u vv^ hをプロットすれば,ノイズレベル関数を得ることができる。ちなみに,平均 ,u vn^ hを位置 ,u v^ hに対して並べれば,ノイズを含まない画像になる。

図3.4に,このようにして測定した3種類のカメラのノイズレベル関数の例を示す。同図[a],[b]は,同じカメラで異なるISO感度に設定したときのノイズレベル関数である。この場合には,ISO感度を高感度に設定すると,低感度の場合よりもノイズが約3倍増加しているが,ノイズレベル関数の形状はあまり変わらない。なお,2-4-4で図2.37に示したノイズレベル関数の例は,[a]に合わせて式(2.31)のパラメータを調整したものである。[c],[d]は,ガンマ補正を1に設定した異なるカメラのノイズレベル

関数である。これらのノイズレベル関数は,光ショットノイズの影響で,画素値の平均値が大きくなるに従ってノイズの標準偏差が大きくなっている。どのようなカメラで撮影したのか不明な画像があるときに,その画像だけから画像に含まれるノイズを推定する手法も提案されている

*1

。*1 ノイズを推定する手法については,7-2-1を参照のこと。

1-1

0.01

0.008

0.006

0.004

0.002

0 0.2 0.4 0.6 0.8 10

ノイズレベル

0 0.2 0.4 0.6 0.8 1

0.03

0.02

0.01

0

τ(n)

画素値の平均値 n

0.01

0.008

0.006

0.004

0.002

0 0.2 0.4 0.6 0.8 10

ノイズレベルτ(n)

画素値の平均値 n

0.01

0.008

0.006

0.004

0.002

0 0.2 0.4 0.6 0.8 10

画素値の平均値 n

画素値の平均値 n[a]G1Xのノイズレベル関数(ISO100) [b]G1Xのノイズレベル関数(ISO6400)

[c]Dragonfly Expressのノイズレベル関数(γ=1.0) [d]Flea2のノイズレベル関数(γ=1.0)

■図3.4――キヤノンG1XとPointGreyResearch社の2種類のカメラのノイズレベル関数の測定結果例画素値の平均値nは,0から1に正規化されている。ノイズレベルは,画素値の最大値が1のときの大きさである。それぞれ,100枚の画像から求めている。

Page 2: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

4

084

明るさ・コントラストの変換

入力

出力

0 255画素値

頻度

0 255画素値

頻度

[a]入力画像 [b]出力画像

入力

出力

0 255画素値

頻度

0 255画素値

頻度

[a]入力画像 [b]出力画像

■図4.3――折れ線型トーンカーブによる変換(2)

4-1-3 累乗型トーンカーブ

折れ線型のトーンカーブでは,トーンカーブの折れ曲がっている点の前後で変換の性質が急激に変わることになる。また,トーンカーブが水平な部分では,出力画像の画素値がすべて一定になるため,入力画像のその範囲の濃淡変化は完全に失われる。これらの欠点を補うために,図4.5[a]のような曲線のトーンカーブを用いることがある。入力画像の画素値をx,出力画像の画素値をyとするとき,このトーンカーブは以下で表される。

=y x₂₅₅ ₂₅₅₂₁

a k ――――(4.1)

1-3

■図4.4――折れ線型トーンカーブによる変換(3)

Page 3: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

5

116

鮮鋭化

[a]入力画像 [b]k=6 [c]k=18

■図5.35――鮮鋭化フィルタの結果(カラー画像)

[a]入力画像

[a]k=9

[b]k=4

[b]k=18

■図5.34――鮮鋭化フィルタの結果

4

Page 4: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

y

x

空間領域

v

u

周波数領域

フーリエ変換

フーリエ逆変換

OO

f ^x, yh F ^u, vh

u

v

BABAO

uO

F ^u, vh

ch

ap

te

r

6

127

画像のフーリエ変換

ワースペクトル(power spectrum)とよばれている。ここでは,連続関数のフーリエ変換を示したが,ディジタル画像を変換する場合には,離散的フーリエ変換(discrete Fourier transform)および離散的フーリエ逆変換( inverse discrete Fourier transform)が用いられる。さらに,その計算を高速に実行する高速フーリエ変換(Fast Fourier Transform:FFT)があ

り,実用的によく用いられている。

6-1-2 画像のフーリエ変換

図6.2,図6.3に,画像に対しフーリエ変換を施した例を示す。図6.2は,フーリエ変換の性質がよくわかるように,模擬的に作成した画像の結果

1-2

■図6.1――空間領域と周波数領域

■図6.2――画像のフーリエ変換(合成画像)

[a]画像(正弦波)

[d]画像(方形波)

[b][a]の振幅スペクトル

[e][d]の振幅スペクトル

[c][b]の説明図(ピーク位置)

[ f]v=0における[e]の断面

Page 5: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

7

147

ぼけ・ぶれ画像の復元

1-3

+, , ,

,K u v H u v H u v

H u v1w 2

2

C=^

^ ^

^h

h h

h ――――(7.19)

図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメラぶれによる劣化画像からの画像復元例を,それぞれ示す。なお, 式(7.19)のウィーナフィルタを用いて,定数 Cを変化させたときの結果を示している。焦点ぼけカメラぶれの点拡がり分布関数のフーリエ変換は,ゼロ点を含んでいるため,逆フィルタにより画像復元例では画素値が発散していることが確認できる。一方,ウィーナフィルタによる復元例では,画素値が発散せず,復元画像が得られている。また,定数Cが小さい場合,鮮鋭に復元されるものの,ノイズも増幅され,定数Cが大きい場合,ノイズは増幅されないものの,ぼけやぶれの復元もあまり行われないことが確認される。

■図7.4――焦点ぼけによる劣化画像からの画像復元

■図7.5――カメラぶれによる劣化画像からの画像復元

Γ:小逆フィルタによる復元画像 Γ:中ウィーナフィルタによる復元画像

Γ:大

劣化画像 g ^x, yh 点拡がり関数 h ^x, yh

Γ:小逆フィルタによる復元画像 Γ:中ウィーナフィルタによる復元画像

Γ:大

劣化画像 g^x, yh 点拡がり関数 h^x, yh

Page 6: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

[a]単純につなぎ合わせた結果

[b]重み付き平均をして合成した結果

ch

ap

te

r

8

176

イメージモザイキング

4-4

8-4-4 画像の幾何学的変換と合成

8-4-3で求めた射影変換を用いて,実際に画像を変換し,画像をつなぎ合わせて1枚の大きな画像を生成する。そのためには,8-3で説明したように,出力画像(モザイキング後の画像)の各画素位置の逆変換を行って入力画像上の位置を求め,その位置の画像の値を補間処理により求める。このようにして画像をつなぎ合せたとき,画像の周辺光量の低下

*21

や,画像間での明るさや色の違いなどにより,画像のつなぎ目が目立ってしまうことがよくある。そこで,画像をつなぎ合せる際に,つなぎ目を目立たなくするような処理が必要になる。そのための方法としては,画像のつなぎ目の位置を適切に選ぶ方法や,画像が重なった部分で,両方の画像の画素値を混ぜ合わせる方法がある。後者の例として,両方の画像の重なった部分で,4-4-1のアルファブレンディングの考え方を利用し,

■図8.23――画像の合成結果

*21周辺光量の低下については,2-2-3[4]を参照。

Page 7: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

進入方向

進入方向

[7][6]

[5]

[4] [3] [2]

[1]

[2][1]

[7] [6] [5]

[4]

[3]

ch

ap

te

r

9

184

222222222222

1つの背景,1つの穴で構成される(同図[b])。8連結で対象の連結性を定義した場合,画像は1つの対象,1つの背景,3つの穴で構成される

([c])。

9-2-2 輪郭追跡

連結成分の境界を求めることを,輪郭追跡(contour tracking)とよぶ。ここでは,8連結の場合の輪郭追跡について解説する。4連結の場合も,探索する黒画素が4連結成分になるだけで,処理手順は同じである。

①  まず,ラスタスキャン( raster scan)によって,白画素から黒画素に変わる画素を探索する。ラスタスキャンとは,画像の左上を起点に,左端から右に画素を調べ,右端に着いたら,行を1つ下がって左端から右に画素を調べる走査である。探索した方向を進入方向とする。

②  図9.7に示す例のように,その進入方向を基点に番号順に右回りに黒画素を探索する。

③  見つかった黒画素に移動する。黒画素が開始点で,かつ,つぎの移動点が追跡ずみの場合は,処理を終了し,追跡結果を登録する。そうでない場合は,②の処理を繰り返す。

ここで,追跡の終了条件が,単に追跡ずみの画素へ移動したときだけ2-2

■図9.7――黒画素の探索

■図9.9――内輪郭の追跡■図9.8――外輪郭の追跡

Page 8: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

イメージ

特徴 1ガボールフィルタ 1

フィルタバンク texton

特徴 2ガボールフィルタ 2

特徴 n-1ガボールフィルタ n-1

特徴 nガボールフィルタ n

■図10.5――画像にさまざまなフィルタで処理を施し,その処理結果の特徴群をtextonとする

ch

ap

te

r

10

201

領域処理のための特徴量

以下に,2次元ガボールフィルタの式を示す。

++= -, , , exp exp cos sing x y

x yi x y₂ ₂₂

₂ ₂

m {v

rm { {^ d ^_h n hi ―――(10.3)

ここで,mは周波数で{は回転を表す。この関数は,実数部と虚数部の成分をもち,以下となる。

++

++

-

-

, , ,

, , ,

exp cos cos sin

exp sin cos sin

g x yx y

x y

g x yx y

x y

₂ ₂

₂ ₂

₂ ₂

₂ ₂

m {v

rm { {

m {v

rm { {

=

=

実数部

虚数部

^ d ^_

^ d ^_

h n hi

h n hi

――――(10.4)

入力された画像に対してガボールフィルタをたたみ込んで,特徴量, , ,G x y m {^ hを表す式は以下となる。

)= - -, , , , , , ,G x y I x y g x u y vvu

m { m {^ ^ ^h h h!! ――――(10.5)

ここで, ,I x y^ hは入力画像である。{のパラメータを変えて作成したガボールフィルタバンクの例を図10.6,

図10.7に示す。また,ガボールフィルタの出力結果の例を図10.8に示す。

1-3

■図10.7――周波数を2倍にした8方向のガボールフィルタ例■図10.6――8方向に向きを変えたガボールフィルタ例

Page 9: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

11

230

特徴点検出

11-3-2 DoG 画像を用いた特徴点とスケールの検出

画像中に拡大縮小があると,画像間の特徴点領域の濃淡パターンが変化するため,特徴点

*22

の対応づけができない。そこで,特徴点とその領域の大きさを表すスケールを検出する必要があり,複数のDoG

*23(Difference-of-

Gaussian)画像を用いて計算することができる。DoGはLoG*24

(Laplacian-of-

Gaussian)を近似したものであり,スケールの異なるガウス関数G v^ hと入力画像 Iをたたみ込んだ平滑化画像Lの差分により,DoG画像D v^ hを求める。

= -

= -

D G k G IL k L

)v v v

v v  

^ ^^ ^

^ ^

h h hh

h h ――――(11.21)

=L G I)v v^ ^h h ――――(11.22)

ここで,kはvの増加率であり,スケールを少しずつ大きくして複数のDoG画像を求める。図11.13のように隣接する3枚のDoG画像において,注目画素を中心とした26近傍を比較し,注目画素が極値となる画素を特徴点候補およびスケールとして検出する。このように検出した特徴点候補には,エッジ上の点が含まれることがある。エッジ上の画素は,開口問題*25

の影響を受けやすいため削除する。そして,特徴点のサブピクセル位置推定により,特徴点の正しい位置とスケールを求める。さらに,サブピクセル位置でのDoG出力値を再度計算する。サブピクセル位置でのDoG出力の絶対値がしきい値以下の場合(模様に特徴がなく画素値の変化がない平坦な部分)は,ノイズに影響されやすいため削除する。このような

3-2

*25 局所領域において一意に対応づけができない問題。一般に直線エッジ上での対応づけに開口問題が発生する。

*23 D o G による特徴点検出は,11-4-1のSIFTの前処理として使用される。

*24 LoGについては5-3-3を参照のこと。

16 1

p

2

10 9 8

3

7

15

11

456

141312

明るい(Brighter)類似(Similar)暗い(Darker)

1

102 1314

5

9 12

15

153 11

12

コーナー判定

観測する周囲の画素

コーナー 非コーナー

■図11.12――決定木によるコーナー検出

*22 キーポイントともよばれている。

Page 10: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

12

257

教教教教教教教教教教教教教識教

x入力データ 出力

弱識別器 1

弱識別器 2

弱識別器 T

強識別器

h1 x^ h

h2 x^ h

hT^ h

a1

a2

aT・・・・・・

x

+ + =

[a]学習前 [b]t =1 [c]t =2 [d]t =3 [e]強識別器

■図12.10――アダブーストの重み付き多数決による識別

まず学習サンプルに対して均一の重みを与える。学習が始まり,1つの弱識別器が選択されると,正しく識別できるサンプルは重みが小さく,誤識別したサンプルの重みは大きくなる。図12.11に2次元の特徴空間における学習サンプルの重みの遷移のようすを示す。同図の円は学習サンプルを表し,円の大きさは重みの値を表す。つぎの弱識別器の学習では,学習サンプルの重みを考慮して,誤識別した学習サンプルを正しく識別する弱識別器が選択される。この処理を繰り返して複数の弱識別器が選択される。アダブーストの具体的な手順を以下に示す。事前にN個のクラスラベル付きの学習サンプル , , , , , , ,x y x y x yn n N Ng g^ hを用意する。ここで,x nは学習サンプルの特徴量, +- ,yn!" ,1 1 はクラスラベルを表す。

①  まず,学習サンプルの重みD ,t nを以下のように初期化する。

=,D Nn1 ――――(12.7)

②  各弱識別器候補に対して,以下の式を用いてエラー率 tf を算出し,エラー率 tf が最も小さい弱識別器h t ^xhを選択する。弱識別器h t ^xhは,+1または-1を出力する。詳細については後述する。

= ,D:

t t nn h x y

N

t n n

f!^ h

! ――――(12.8)

③  エラー率 tf から弱識別器の重み ta を計算する。エラー率 tf が小さいほど弱識別器の重み ta は大きくなる。

=-lnt

t

taff

c m1 12 ――――(12.9)

■図12.11――学習サンプルの重みの遷移

2-2

Page 11: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

13

299

移動体追跡

■図13.15――ミーンシフトトラッキングによる探索位置の変化徐々に重なりが大きくなる方向,すなわち真の物体位置へと近づいていく。

探索開始位置近傍(黒枠内)のヒストグラム:p(y0)

重ならない部分

対象物体のヒストグラム:q

wi= 300 =0

重なり部分

wi= 232 =4

u u

頻度(確率)

頻度(確率)

■図13.14――ミーンシフトトラッキングにおける画素の重みの変化重なり領域の画素では重みが大きくなり,重なりのない領域の画素は重みが小さくなる。

3-4

kの範囲と,物体領域は一部重なり合っていることが前提である。たとえば,移動体が速く動いており,1フレーム期間に大きく移動し,重なり領域が存在しない場合は追跡できなくなる。

13-3-4 ベイジアンフィルタ

時系列画像中の移動体の状態を推定する問題は,状態空間モデルに基づく方法が有効である。時刻 tにおけるシステム

*12

の状態を x t ,観測を y t

とする。このような状態空間モデルにおいて,時刻 tまでに観測された時系列画像 = , ,y y y: t t₁ ₁ g" ,から,移動体の状態 x tを推定する方法として,ベイジアンフィルタ(Bayesian filter)がある。ベイジアンフィルタは,1時刻前の分布 p x y :t t₁ ₁ ₁- -_ iに対し,以下のように予測と観測を繰り返す逐次的な解法である。グラフィカルモデルで表現すると,図13.16となり,各時刻の状態は直前の時刻の状態にのみ依存し,各時刻における観測は同じ時刻の状態にのみ依存する。まず,以下により,予測分布 p x y :t t-_ i

を求める。

=p p p dxx y x x x y ::t t t t t t t-- - - -_ _ _i i i# ――――(13.27)

つぎに,この予測分布と現在時刻における観測から,以下を計算する。

=p p px y y x x y: :t t t t t t₁ ₁ ₁-_ _ _i i i� ――――(13.28)

これを繰り返すことで移動体の状態に関する条件付き分布 p x y :t t₁_ iを

観測

状態 x0 x1 x tx t-1

y1 ytyt-1

■図13.16――状態空間モデルのグラフィカルモデル表現

*12 ここでは,一般にシステムという用語を使用し,移動体を含む時系列画像を観測することを指している。

Page 12: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

Yw

Zw

Xw

u

v

■図14.6――キャリブレーションターゲットを撮影した画像

ch

ap

te

r

14

315

カメラキャリブレーション

式(14.7)では,空間の位置と画像上の位置が,カメラの内部パラメータと外部パラメータを用いて関係づけられている。また,式(14.14)では,透視投影行列の各要素をパラメータとして,関係づけられている

*12

。これらのパラメータは,用いるカメラやその位置・姿勢により決まるものであるが,通常,具体的な値がはじめからわかっていることはない。そこで,あらかじめ位置がわかっている空間点と,その画像上への投影点を用いて,それらのパラメータを求めておく必要がある。これをカメラキャリブレーション(camera calibration)とよぶ。そのために,撮影された画像から,空間点の座標が容易に判別できるような,キャリブレーションターゲット(calibration target)とよばれるものが

用いられる。図14.6はその一例であるが,図に示すようにワールド座標系を定め,格子の間隔は既知であるとすれば,赤い点で示されているような格子点に対するワールド座標 , ,X Y Zw w w^ hと,その画像中の座標 ,u v^ h

を得ることができ,それらを用いてカメラキャリブレーションを行う。カメラキャリブレーションの計算手法は,さまざまなものが提案され

14-2カメラキャリブレーション14-1では,空間と画像の幾何学的な関係を記述する式を示した。ここでは,それらの式のなかに現れるパラメータを実際に求める方法について解説する。

*12 カメラの内部・外部パラメータを合わせてカメラパラメータ(camera parameter)

とよぶ。一方,透視投影行列の各要素のことをカメラパラメータとよぶことがある。

2

Page 13: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

ch

ap

te

r

15

339

光学的解析

15-3-1 反射の種類

物体表面の明るさは,一般に,物体を照らす光源の方向と物体を観察する視線の方向の両方に依存する。石膏やセラミックスなどの不透明物体では,物体表面上のある点に入射した光は,同じ点から出射するとみなすことができる(図15.9[a])。したがって,不透明物体の反射特性は,物体表面上のある点への入射光の方向

*7

,i ii z^ hとその点からの出射光の方向 ,o oi z^ hの4つの角度の関数として記述される(図15.10)。定義は次項で述べるが,不 透 明 物 体の反 射 特 性を記 述する 4 次 元の関 数

, ,f BRDF i ii z^ ,o oi z hは,双方向反射率分布関数(Bidirect ional Ref lectance

Distribution Function:BRDF)とよばれる。私たちの身の回りにあるほとんどの物体は,完全な不透明物体ではないが,コンピュータビジョンでは,不透明物体として近似的に扱われることが多い。

均質な物体の反射特性が単一のBRDFで記述されるのに対して,不均質な物体では,物体表面上の位置 ,x y^ hに依存してBRDFが変化する。したがって,不均質な不透明物体の反射特性は,空間的に変化するBRDF

(spatially-varying BRDF*8

)とよばれる6次元の関数 , , , , ,f x ysvBRDF i i o oi z i z^ hで

記述される。一方,皮膚や大理石などの半透明物体では,物体表面のある点に入射した光は,物体内部に深く浸透して散乱を繰り返したのち,入射した点とは異なる点から出射する(図15.9[b])。したがって,半透明物体の反射

15-3反射光源から放たれて物体に入射する光は物体表面で反射される。この反射光をカメラでとらえたものが画像である。ここでは,光学的解析の基礎となる反射の性質と表現を解説する。

■図15.9――不透明物体と半透明物体の反射 ■図15.10――BRDFの座標系

[a]不透明物体 [b]半透明物体

z

iiio

zozi yx

*7 法線の方向を天頂とする球座標を考え,天頂角をi,方位角をzとする。

*8 相互反射や入射光・反射光の遮へいなどの非局所的な影響も含めて,双方向テクスチャ関数(BTF:BidirectionalTexture Function)ともよばれる。

3-1

Page 14: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

0

0

0

0

0

0

01

1

1

1

1

1

1

F:0.55

B:0.13

A:0.07

6:0.06

0:0.04

7:0.03

4:0.28

5:0.14

D:0.27

E:0.45 2:0.12

1:0.08

3:0.25

C:0.20

G:1.00

画素値 0 1 2 3 4 5 6 7

01100 111 110 10 00 010 0111 01101符号

■図16.3――ハフマン木

■表16.5――符号化テーブル

ch

ap

te

r

16

368

エントロピー符号化

16-3-1 ハフマン符号化

ハフマン符号化(Huffman coding)は,以下の手順によって処理される。① 出現確率の最も小さい2つのシンボルを選択する。②  出現確率の大きいほうに符号0,小さいほうに符号1を割り当て,

部分木を作成する。③  2つのシンボルにおける出現確率の和を出現確率とする新たなシンボル

*16

に統合する。④ ①~③を繰り返す。表16.2の例ではシンボルの数は8であり,この手順を7回繰り返した結

果,すべてのシンボルが統合され,図16.3に示すようなハフマン木とよばれる木構造がつくられる。各節点に,統合された新たなシンボル名と出現確率を示す。ハフマン木をたどることで,シンボル(画素値)に割り当てられた符号

を知ることができる。これを表にしたものが表16.5である。この表を用

16-3エントロピー符号化ここでは,画素値の出現確率を利用した一般的な符号化法である,ハフマン符号化と算術符号化について解説する。どちらも出現確率が大きい画素値に短い符号を割り当て,出現確率が小さい画素値に長い符号を割り当てて,平均符号長を短くしようとするものである。2)

*16 図16.3では,統合の結果得られた新たなシンボルを順にA,B,C,…と表している。

3-1

Page 15: chapter - CG-ARTS...chapter 7 147 ぼけ・ぶれ画像の復元 1-3 +,, ,, Ku v Hu v Hu v 1 Hu v w 2 2 C ^ = ^ ^ h h h ――――(7.19) 図7.4に,焦点ぼけによる劣化画像からの画像復元例を,図7.5に,カメ

413

appendix画像出力●

0 8 2 1012 4 14 63 11 1 915 7 13 5

ディザパターン(Bayer型)

比較

① 画像を4#4画素の ブロックに分割する。

② ブロック内の各画素が,ディザパターン内の対応画素の値#16+8以上ならば白,そうでなければ黒に置き換える。

③ ②の変換をすべての ブロックについて行う。

■図a.30――ディザ法の処理の流れ

画像の左上の画素から順に,白(画素値255)か黒(画素値0)に置き換える処理を行うものとする。

① 処理対象画素の画素値を fとするとき,f >127 白(255)に置き換える。(g=255)f E127 黒(0)に置き換える。(g=0)そして,置き換えたあとの誤差をeとする。

② 未処理画素領域(図のグレーの領域)のうち,処理対象画素周辺の数画素(図の濃いグレーで示した4画素)に誤差 eを分散させて画素値を変更する。

③ ①と②の処理をすべての画素について順に行う。

誤差eを分散させる式の例 f1' = f1+(5/16)e f2' = f2+(3/16)e f3' = f3+(5/16)e f4' = f4+(3/16)e

誤差 e = f-g

f

g f1'f4'f3'f2'

f1f4f3f2

■図a.31――誤差拡散法の処理の流れ

原画像

各画素について,近い濃度パターンを選択

10 2 3

4 5 6 7

8 9 10 11

12 13 14 15

16

■図a.29――濃度パターン法の処理の流れ

濃度パターン法画素値に対応した2値パターンを割り当てて,グ

レースケール画像の階調を表現する方法を,濃度パターン法(density pattern method)とよぶ。図a.29に,濃度パターン法の処理の流れを示す。画像の1画素に対応する2値パターンを4#4画素とすると,2値パターン中の黒領域の密度で17階調が表現できる。この場合,画像サイズがN#N画素のとき,プリンタが出力する2値画像のサイズは4N#4N画素となる。

ディザ法画像サイズとプリンタが出力する2値画像のサ

イズが同じハーフトーニングの方法として,ディザ法と誤差拡散法がある。

ディザ法(dither method)のなかの組織的ディザ法では,図a.30に示すようなディザパターン(通常は4×4画素)を用意し,ディザパターンの値と画像の画素値を比較して,どちらが大きいかによってその画素を白にするか黒にするかを決定する。組織的ディザ法では,周期的な偽パターンが発生しやすい。この偽パターンを防ぐために,ディザパターンをランダムに変更するランダムディザ法とよばれる方法もある。

誤差拡散法誤差拡散法(error diffusion method)では,図a.31に

示すように,処理対象画素値 fと,2値化した値gと

の誤差 = -e f gを周辺画素に分散させ,誤差eをキャンセルするように未処理画素の画素値を補正しながら,画像全体の画素を白にするか黒にするかを決定する。

図a.32に,濃度パターン法,組織的ディザ法,誤差拡散法を用いてハーフトーニングした例を示す。濃度パターン法では,グレースケール画像の1画素に対して16画素の2値パターンが割り当てられているので,ほかの2つの方式に比べてプリンタが出力する2値画像のサイズが大きくなる。組織的ディザ法では,画素値が同じ領域で周期的なパターンが目立つが,誤差拡散法では軽減されている。