画像工学における典型的な処理段階 · 2003-06-09 · 画像の復元...

画像工学における典型的な処理段階1. 画像信号の獲得（常にカメラによる）

2. 画像信号のディジタル化（フレームグラッバー・ボードによる）

3. 画像の復元

4. 画像の変換、画像のフィルタリング

5. 画像の分割、エッジ点の抽出、角点の抽出、など

6. 特徴の抽出、特徴のグルーピング

7. 特徴の分類化、特徴とモデルの照合、対象の認識、シーンの解釈

8. 結果の出力・保存

OECU Michael Hild c©2003 1

画像の復元画像センサ、カメラというものは理想的ではない。出力される画像には色々な歪みおよび欠陥が含まれている。⇒そういう画像には補正処理が必要です。主に、次の二つの現象を取り上げる。

• CCD素子のダークカレント。

• CCD素子の雑音。


ダークカレントの補正

• ダークカレントの現象：画像を真っ黒の部屋の中で撮影される時、CCDセンサの出力が零にならない。

40 60 80 100 120 140 1600

2

4

6

8

10

x (Image space axis)

Brig

htne

ss L

(x)


• ダークカレントの原因：

外からの光がなくても、CCDセンサ要素の中の電子のランダムな運動において、弱い漏れ電流が流れる。

• この電流は「ダークカレント」と呼ばれている。• ダークカレントの強さはセンサの温度による。高い温度 ⇒ 強い電流低い温度 ⇒ 弱い電流

I_dc (dark current due to electron motion)

T (temperature) [degree C] -271 0


ダークカレント補正の手続き

1. レンズのキャップを付けた状態で、複数の画像を撮影する（真っ黒な画像）。

2. 各々の画素の明度平均を複数の画像から計算し、その結果を「ダークフレーム」として保存する。

3. 後に撮影する画像の各々の画素の明度から、その「ダークフレーム」の明度を画素ごとに引く。


センサ雑音（ノイズ）

• 雑音とは何か⇒ 信号の値にはランダムな変動がある。

• 雑音の原因–センサに当たる光粒子の数の統計学的な変動

–増幅器、抵抗器、ケーブルなどにおける電子的変動

–光源における不安定

–センサ素子における電子的な不安定

• センサ雑音の二つの側面1.ある特定の画像の点（ピクセル）を観察する時、センサ出力のランダムで時間的な変動を確認できる。

2.ある特定の時刻において、センサ出力のランダムで空間的な変動を確認できる。


• 雑音を含まれているセンサー出力信号は、理想的な画像信号およびランダムな変動（雑音）の二つの部分からなる。

• 殆どのCCDセンサーの場合には、出力信号のこれらの二つの部分が加法的に（即ち、足し算で）組み合わせられている。

Figure 1: Test chart.

R-component of ColorChecker grayscaleR

X

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

160.00

180.00

200.00

220.00

240.00

260.00

0.00 100.00 200.00 300.00 400.00 500.00 600.00

Figure 2: Signal.


• センサー雑音の、ランダムで空間的変動である場合：R(x, y; t0) = r(x, y; t0) + n(x, y; t0) (1)

r(x, y; t0)：時刻 t0 における信号の理想的な部分n(x, y; t0)：信号の時刻 t0 における空間的な変動

t(time)

n( t; x0 )


• センサー雑音のランダムで時間的変動の場合：R(t; x0, y0) = r(x0, y0) + n(t; x0, y0) (2)

r(t; x0, y0)：画像の位置 (x0, y0) における信号の理想的な部分n(t; x0, y0)：信号の位置 (x0, y0)における時間的な変動の部分

x(space axis)

n( x; t0 )


• 雑音による信号変動はランダムに起こるため、センサー雑音は確率変数の特性を持ち。

• この確率変数の値の分布は多くの場合に正規分布をなしている。

• このことを下記の確率密度関数により表す：

f (n) =1√2πσ

e

(− n2

2σ2

)(3)

• この関数はガウス確率密度関数としても知られている。• この関数の値の平均は零である。

E[n(t; (x0, y0))] = 0 (4)

• 関数の値の分散は下記のとおりである：E[n2] = σ2 (5)


−10 −5 0 5 100.0

0.2

0.4

0.6

0.8

Figure 3: Gauss function.

−10 −5 0 5 100.0

0.2

0.4

0.6

0.8

1.0

Figure 4: Gauss function without normaliza-tion.


• 正規確率密度関数の特徴を思い出してもらいたい：–確率変数nが −∞ と +∞ の間のある値を取る確率:

P (−∞ < n < +∞) =∫ +∞−∞ f (n)dn = 1 (6)

–確率変数nが n1 と n2 の間のある値を取る確率:

P (n1 < n < n2) =∫ n2

n1f (n)dn (7)

–ガウス確率密度関数の「幅」は標準偏差 σ の値に依存する。


画像雑音のヒストグラム

Figure 5: Test chart. Figure 6: Signal.


画質の尺度：信号対雑音の比

• CCDセンサーは出力信号に加えている雑音が低いほど、得られる画像の質がよい．

• 雑音と信号の間のこの関係はいわゆる「信号対雑音比 (SNR)」である。

• SNRの定義：

SNR =E[R(x, y; t0)]

σ(8)

• 標準偏差 σ が信号の強さに依存しないである。

• SNRが信号の強さ（即ち、信号の絶対値）に比例している。

• 従って、画像のある領域の中の明度が高いほど、SNRの値が高い。


信号対雑音比の例

Standard Deviation vs. Meanstddev

R

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00

5.50

6.00

6.50

7.00

7.50

8.00

8.50

9.00

9.50

10.00

0.00 50.00 100.00 150.00 200.00 250.00

Figure 7: Variance of image noise as a functionof local average brightness.

SNRSNR

R

0.00

2.00

4.00

6.00

8.00

10.00

12.00

14.00

16.00

18.00

20.00

22.00

24.00

26.00

28.00

0.00 50.00 100.00 150.00 200.00 250.00

Figure 8: SNR as a function of local averagebrightness.


空間的フィルタリングによる雑音の抑制

• 雑音の一つの側面としては局所的な画像領域内のランダムな変動がある。

• その局所領域の中心において雑音を含まない信号の復元できる。⇒その領域内のセンサ信号の平均を求めることが必要。

• この局所的な平均計算を画像のすべてのピクセルにおいて行う。• この計算を「空間的フィルタリング」、あるいは、「近傍平均処理」と呼ぶ。


雑音を抑制するためのボックスフィルタ

• フィルタマスク（3x3 ピクセルの場合）

A(x, y) =1

9

1 1 1

1 1 1

1 1 1

(9)

• フィルタリング処理：

IA(x, y) =1

9

1∑i=−1

1∑j=−1

I(x + i, y + j) · A(i + 1, j + 1) (10)

0 x

y

i

j Filter mask A(i,j)

Image I(x,y)

0


• 雑音の抑制の数学的な意味1.画像における高い空間周波数が抑制される。

f [Hz]spatial frequency

N(f)

frequency spectrum of an image

before filteringafter filtering

0

2.画像の細かい（低い）明度変動が押えられる。⇒このフィルタは画像の平滑処理を行う。




X

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

160.00

180.00

200.00

220.00

240.00

260.00

0.00 100.00 200.00 300.00 400.00 500.00 600.00

Figure 10: Signal.


0 100 200 300 400 500 600 7000

50

100

150

200

250

x (image space axis)

R(x

)

Figure 12: Signal.


• ボックスフィルタの欠点：

–ボックスフィルタは平滑処理を正確に行えない⇒もとの画像になかった「さざ波 (ripple)」という明度構造（明度特徴）が現れる。

–急に上がる／下がる明度（すなわち、明度のステップエッジ）のところの一次微分が低くなる(すなわち、そこの明度関数の接線の傾きは浅くなる)

⇒画像がぼけてしまう。


•空間的ガウスフィルタを用いた雑音の抑制• ガウスフィルタのマスク：フィルタマスクを作成するために、2次元のガウス関数を用いる。

G(x, y) =1

2πσe

(−x2+y2

2σ2

)(11)

x

y

G(x,y)

"g2d.dat"

-10-5

05

10 -10

-5

0

5

10

0

0.2

0.4

0.6

0.8

1


• ガウス関数の幅はパラメーター σ に依存する。

• 例：σ2 = 1

2の場合のガウスフィルタマスク（すなわち、3x3画素に

限定した場合）の係数：

G(x, y) =

G(−1, 1) G(0, 1) G(1, 1)

G(−1.0) G(0, 0) G(1, 0)

G(−1,−1) G(0,−1) G(1,−1)

=

0.030 0.083 0.030

0.083 0.225 0.083

0.030 0.083 0.030

(12)

• フィルタリング処理：

IG(x, y) =1

S

1∑i=−1

1∑j=−1

I(x + i, y + j) · G(i + 1, j + 1) (13)

S: すべての係数の和

• ガウスフィルタの伝達関数：ローパスフィルタ画像構造の高い空間周波数が抑制され、低い空間周波数が残る。


• ガウスフィルタの欠点：フィルタマスクの係数は実数である⇒フィルタリング処理の速度は遅い。


ガウスフィルタリングの整数近似：二項分布型フィルタ(Binomial Filter)

• ガウス確率密度関数を二項確率密度関数により近似できる。• 二項確率密度関数は、離散の値（数字）のための確率密度関数である。

• その 2 項係数をPascal の三角形で表現できる（一次元の場合）：

1

1 1

1 2 1

1 3 3 1

1 4 6 4 1

1 5 10 10 5 1

1 6 15 20 15 6 1

n

0

1

2

3

4

5

6


• 二項分布型フィルタの２次元的フィルタマスク(n = 2の場合)：

B2(i, j) =(

1 2 1)

1

2

1

=

1 2 1

2 4 2

1 2 1

(14)

• 二項分布型フィルタマスクの画像への応用：

IB(x, y) =1

S

1∑i=−1

1∑j=−1

I(x + i, y + j) · B2(i + 1, j + 1) (15)

S: すべての係数の和⇒ S = 16


• (n = 6 の場合)：

B6(i, j) =(

1 6 15 20 15 6 1)

1

5

15

20

15

5

1

(16)

B6(i, j) =

1 6 15 20 15 6 1

6 36 90 120 90 36 6

15 90 225 300 225 90 15

20 120 300 400 300 120 20

15 90 225 300 225 90 15

6 36 90 120 90 36 6

1 6 15 20 15 6 1

(17)


• n=6 の二項分布型フィルタマスクの画像への応用：

IB(x, y) =1

S

3∑i=−3

3∑j=−3

I(x + i, y + j) · B6(i + 3, j + 3) (18)

S: すべての係数の和⇒ S = 4096



0 100 200 300 400 500 600 7000

50

100

150

200

250


R(x

)

Figure 14: 3x3 Binomial filtermask.


X

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

160.00

180.00

200.00

220.00

240.00

260.00

0.00 100.00 200.00 300.00 400.00 500.00 600.00

Figure 15: Raw signal.


0 100 200 300 400 500 600 7000

50

100

150

200

250


R(x

)

Figure 17: 7x7 Binomial filtermask.


X

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

160.00

180.00

200.00

220.00

240.00

260.00

0.00 100.00 200.00 300.00 400.00 500.00 600.00

Figure 18: Raw signal.


時間的平均を計算することによる雑音抑制

• センサによる画像雑音の抑制を下記の手続きにより行う：1.（静止している）シーンの複数の画像を撮影する。

2.それらの画像の中で対応するピクセルの明度の平均を計算する。(「対応する」の意味：「同じ座標を持つ」ということ)

3.その平均値を結果画像の明度値にする。

∀x, y : I(x, y) =1

K

K∑k=1

Ik(x, y) (19)

Ik(x, y): k 番目の画像

I(x, y): すべての K 枚の画像の（ピクセルことの）平均


時間平均フィルタリング

^

(x,y)

1 2 3 4 5 K

I (x,y) I (x,y)1 K

I (x,y)


• 雑音が抑制された画像の雑音標準偏差 σ はその明度平均値を計算するために用いた画像の枚数による。

σ(N) = σ(1) · Nb, −1.0 < b < 0.0 (20)

b: パラメーター（-0.5 に近い値）σ(N): N枚の画像を平均した後の雑音標準偏差σ(1): 1 枚の画像の雑音標準偏差

ColorChecker averaged (50x) R

R

R

X

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

160.00

180.00

200.00

220.00

240.00

0.00 100.00 200.00 300.00 400.00 500.00 600.00

Standard Deviation of image noiseSigma

N

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00

5.50

6.00

6.50

7.00

7.50

8.00

8.50

9.00

9.50

10.00

0.00 10.00 20.00 30.00 40.00 50.00


X

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

160.00

180.00

200.00

220.00

240.00

260.00

0.00 100.00 200.00 300.00 400.00 500.00 600.00


雑音抑制のための空間フィルタ法と時間フィルタ法の比較

空間フィルタ法時間フィルタ法ステップエッジのぼけ yes no

静止物体に適切 yes yes

動物体に適切 yes no

• 静止物体の場合には、時間フィルタ法がより適切である。• 動止物体の場合には、空間フィルタ法がより適切であるが、ステップエッジがぼけることは避けられない。


画像工学における典型的な処理段階 · 2003-06-09 · 画像の復元...

Documents