영상부호화이론multinet.ivyro.net/recruit/lecture/1-5/chapter-4.pdf · y e y y e xx λ λ λ...

1 인하대학교 정보통신대학원Prof. Sang-Jo Yoo

3 장

영상 부호화 이론


목 차

예측 부호화

변환 부호화

변환 부호화 방법

움직임 추정과 화면간 부호화

분할 기반 및 모형기반 부호화


3.3 예측 부호화 (Predictive Coding)

개요연속적인 화소들 사이의 중복성을 제거하고 새로운 정보만을 부호화 하기 위하여 예측 사용

부호화된 데이터 양의 감소

nnn XXe~−= nnn XXe

~ˆˆ −=

양자화기Q

+

nX~

nenX ne +

+

nX~

nX

Prediction value Reconstruction value


예측 부호화

예측 부호화 장점다음의 식 성립

q재생신호 을 가지고 을 재생할 때의 MSE는 예측 오차을 양자화 할때 발생하는 양자화 오차의 MSE와 동일

화소간의 상관성이 높은 일반적인 영상에서는

q 의 분산이 의 분산보다 작다.

같은 수의 양자화 레벨로써 (같은 비트) 해상도 증가

같은 해상도에 대해서는 양자화 레벨 감소

q동일한 SNR에 대해 부호화된 데이터량이 감소됨

])ˆ([])ˆ([ 22nnnn eeEXXE −=−

nX̂ nX ne

ne nX


예측 부호화(Cont.)

궤환 예측송신측과 수신측이 똑같은 예측값 를 얻는 방법

수신단에서 얻어진 재생신호 를 기초로 예측 수행

q예측기 계수:

과거의 입력 을 이용하여 예측을 수행하면 어떠한가?

)ˆ,...ˆ,ˆ(~

,21 mnnnn XXXfX −−−=

∑=

−=m

iinin XaX

1

ˆ~

nX~

nX̂

{ }ia

mnnn XXX −−− ,,, 21 L



궤환 예측 부호화(Feedback Prediction Coding) 시스템의 예



예측기전체 예측: 모든 영상에 대해 예측계수 고정

국부예측: 영상마다 예측계수 바뀔 수 있음

적응예측: 영상 내에서도 예측계수 바뀔 수 있음

1차원 예측: 현재 주사선의 화소 만을 사용하여 예측

2차원 예측: 이전 주사선의 화소들도 사용

고차 예측기: 예측에 사용되는 화소의 수가 많음.



예측기의 최적화전체/국부/적응 예측기

1차원/2차원 예측기

최적의 국부 예측기 고찰 ~ 평균 자승 오차 최소화

∑=

−−=m

iininn XaXEE

1

22 ])([][ε

miXaXEa

m

inin

i

,,2,1,02

11 L==

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎥⎦

⎤

⎢⎢⎣

⎡⎟⎠⎞

⎜⎝⎛ −

∂∂ ∑

=−

X1

X γRa −=

( ) ( ) ( )( ) ( ) ( )

( ) ( ) ( )

( )( )

( )

( ) ∑∞

=−−=

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

=

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

=

0

,

0,

0,2

0,1

,

,2,1,

,22,21,2

,12,11,1

nknlnx

x

x

x

xxx

xxx

xxx

XXlkr

mr

r

r

mmrmrmr

mrrr

mrrr

M

L

MMMM

L

L

xx rR



최적의 전체 예측기 고찰 ~ Markov 모델

q : k=l=1일 때의 수직 방향 자기상관 계수 (0.9 이상)

q : k=l=1일 때의 수평 방향 자기상관 계수 (0.9 이상)

CBAX vvhhn ρρρρ +−=~

vρhρ

( ) [ ] lh

kvxnx XElkr ρρσ 22, +=

[ ] 0=XE 라고 가정하면



DPCM (differential pulse code modulation)의 성능 분석

예측 오차의 모델링

pixelbitsRRe

xDPCMPCM /)(log

2

12

2

2 σσ

=−

2

2

10log10e

xPCMDPCM SNRSNR

σσ

=−

⎟⎟⎠

⎞⎜⎜⎝

⎛ −−

= εσε

σε

||2

2

1)( ef

e

e

484032241680-8-16-24-32-40-48-56



적응 기법들적응 이득 제어

적응 분류

q공간적 상세도, 활동도에 따른 영역 분할 및 차별 양자화기 적용


3.4 변환 부호화

개요입력 벡터에 적절한 선형 변환을 가함으로써, 흔히 변환계수라고 불리는, 원래의 계수들보다도 훨씬 낮은 상관성을 갖는특징을 나타내는 새로운 벡터를 얻음

이때, 신호의 에너지가 단지 몇 개의 변환 계수로 집중되는energy compaction 효과를 얻을 수 있고,

부호화 효율을 높일 수 있다.

원 영상의 신호 값들은 서로 높은 상관도를 가지고 있어 이를 각각 양자화 또는 부호화 하는 것은 비 효율적 방법


변환 부호화

변환계수 는 일반적으로 서로 다른 통계 특성을 갖으므로, 별도의 양자화기 사용.

]ˆ[])ˆ[(2

1

2 xx −=−=∑=

ExxEDk

iiitc

{ }ky


변환 부호화(Cont.)

직교 변환

양자화 잡음을 증폭시키지 않는 행렬들 중에서 선택될 수 있는 직교 행렬은 무한히 많이 존재할 수 있기 때문에, 변환 계수들간의 상관성을 제거하는 변환을 구함

상관성을 제거함으로써 벡터 구성 요소들의 분산들의 곱을줄이는 것이며, 주어진 비트 할당량에 대해 도달할 수 있는평균 왜곡을 감소시키는 것

xTy =

2y 2x

1y

1x

⎥⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡−

=⎥⎦

⎤⎢⎣

⎡

2

1

2

1

11

11

2

1

x

x

y

y

변환계수(Transform Coefficient)


변환 부호화(Cont.)

Karhunen-Loeve 변환

xy A=

021 ≥≥≥≥ kλλλ L⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢

⎣

⎡

====

1

2

1

**

.0..0.

.

...

...

.

.

.

.0...0

0...0

][][

k

xtttt

y xxEyyER

λ

λλ

ΦRΦΦΦ

10, −≤≤= Nkkkk ΦΦR X λ ][ t

x xxE=R

ttN

**1,1,0 ][ ΦΦΦΦA == −L

yx 1−= Aenergy compaction


변환 부호화

K-L 변환에너지 집중은 K-L 변환이 최적

입력 데이터의 통계적 분석이 필요

qRx를 사전에 알아야 한다.

q영상의 경우 실시간 처리가 불가능

따라서, 입력 데이터의 통계적 특성과 무관한 실용적 직교변환이 사용됨.


변환 부호화

다른 직교 변환들DFT (discrete Fourier transform)

qN*N 영상의 경우

q복소수 계산이 필요

qFFT 알고리즘

})(2

exp{),(1

),(1

0

1

0 N

nlkminmx

Nlky

N

n

N

m

+−= ∑∑

−

=

−

=

π

})(2

exp{),(1

),(1

0

1

0 N

nlkmilky

Nnmx

N

l

N

k

+−= ∑∑

−

=

−

=

π


DFT

image Lena 512512 a of DFT 2D ×

(a) Original Image (b) Magnitude (c) Phase


변환 부호화

다른 직교 변환들DCT (discrete cosine transform)

],2

)12(cos[]

2

)12(cos[),()()(),(

1

0

1

0 N

ln

N

kmnmxlCkClky

N

n

N

m

ππ ++= ∑∑

−

=

−

=

],2

)12(cos[]

2

)12(cos[),()()(),(

1

0

1

0 N

ln

N

kmlkylCkCnmx

N

l

N

k

ππ ++= ∑∑

−

=

−

=

⎪⎪⎩

⎪⎪⎨

⎧

−=

==

1,,2,12

01

)(

NwforN

wforNwc

L


DCT

Energycompaction


Practices

20 20 2020 20 2020 20 20

15 15 1515 15 1580 80 80


변환 부호화

DFT에 대한 DCT의 장점가짜 고주파 성분이 적음

적은 계산량 ~ 실수 계산만이 필요함

그림 3.4.5 참조



블록단위의 변환 부호화전체 영상을 한꺼번에 변환하는 것은 비 현실적

화면을 정방형 블록으로 (16*16, 8*8, 4*4, …) 분할

각 블록에 대하여 DCT 수행

부호화 효율은 블록의 크기가 작아 질수록 나빠짐.



변환 부호화기의 구현 ~ JPEG 베이스라인 시스템

영상을 8x8 블록화 및 DCT를 사용하여 독립적으로 변환

변환 계수를 정규화 및 균일 양자화

DC 계수 무손실 DPCM 방식 부호화

AC 계수 지그재그 (zigzag) 순으로 1차원 벡터화

연속길이 부호화

Huffman 부호화



8*8 DCT 후 일정한 정규화 행렬을 적용하여 정규화휘도 신호용 행렬과 색도 신호의 행렬이 존재

영상 헤더 정보에 실려 수신측에 전달

인간의 시각 시스템 (HVS: human visual system)에서 주파수에따른 명암 인지도의 차등 특성등이 정규화 행령을 만드는 기본이 됨

DCT변환

정규화(양자화)

ㄹ주사

DC 계수부호화

AC 계수부호화

8*8영상블록

부호화비트열



균일 양자화정규화된 변환 계수들을 가장 가까운 정수로 반올림

DC 부호화평균 밝기에 비례

무손실 DPCM

⎥⎥⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

=

9910311011298959272

10112012110387786449

921131048164553524

771031096856372218

6280875129221714

5669574024161314

5560582619141212

6151402416101116

),( vuQ

⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

=

9999999999999999

9999999999999999

9999999999999999

9999999999999999

9999999999996647

9999999956261324

9999999966262118

9999999947241817

),( vuQC

(휘도신호) (색도신호)



AC 계수 부호화AC 계수는 양자화 후에 0이 많이 발생

qDCT 변환은 저주파 쪽에 많은 에너지가 모이도록 함

ㄹ 주사방식 (zig-zag scanning)q연속되는 0의 값이 길어지도록 재배열 시킴

q(run/범주)로 심볼화 시킴

• 10 0 0 0 3 0 0 0 0 –9 : 양자화 계수

• (0/4) (3/2) (4/4) : 심볼화

» 범주 2 (-3,-2,2,3 값을 갖는 경우)

» 범주 4 (-15, …, -8, 8,…, 15 값을 갖는 경우)

q미리 정의된 심볼에 대한 통계 특성을 이용한 허프만 부호화

q허프만 부호화 뒤에 범주내 실제값 구별을 위한 추가 비트 할당

• 10111011 11111011111 11111111100110000111


3.7 움직임 추정 및 화면간 부호화

프레임간 예측 부호화 (interframe predictive coding)시간적으로 이웃한 화면을 이용하여 예측 부호화의 성능을 높이는 방법

현재 프레임의 부호화할 화소의 예측치를 이전 프레임으로부터 취하고, 예측 오차를 부호화

움직임 추정(motion compensation)현재 화소 (블록)이 이전화면의 어느 위치에 대응되는 지를 구하여 예측 오차를 최대한 줄임

움직임 보상 예측 (motion compensated prediction)추정한 움직임으로 부터 예측치를 구해 예측 오차를 구하는일련의 과정


움직임 추정 및 화면간 부호화

움직임 보상시각 위치 (x, y)에서의 밝기를

이전화면의 재생 영상을 라 하면

예측치

움직임 벡터

예측 오차

재생영상

t ),,( tyxX

),,(ˆ ttyxX ∆−

),,(ˆ),,(~

ttyyxxXtyxX ∆−∆−∆−=TyxD ),( ∆∆=

),,(~

),,(),,( tyxXtyxXtyxe −=

( ) ( ) ( )tyxXtyxetyxX ,,~

,,ˆ,,ˆ +=


움직임 보상 방법 (RPA)

화소 반복법 (PRA: pel recursive algorithm)화소 단위로 각기 다른 움직임 벡터를 추정

움직임 추정은 재생된 이전 이웃 화소를 이용

예측 오차는 즉시 부호화

움직임 정보를 부호화 할

필요 없음

복잡한 구현

현재 화면

움직임 추정이 수행되는 이전 화소

추정된 움직임 벡터로부터

보상되는 현재 화소



반복적 방법에 위치한 이전 화소의 움직임 보상에 사용된 움직임 벡터 :

에 위치한 현재 화소를 위하여 추정할 움직임 벡터 :

를 갱신 벡터라 하면

움직임 벡터가 일때의 예측 오차를 라 하면

는 의 제곱을 감소시키는 방향으로 결정

Steepest descent 방법

),( yx 1−iD

),1( yx +iD

iUiii UDD += −1

D ),,,( DtyxDFD

),,(ˆ),,(),,,( ttyyxxXtyxXDtyxDFD ∆−∆−∆−−=

iU ),,,( 1−iDtyxDFD

),,,(),,,(

)],,,([)2/(

111

211

1

1

−−−

−−

−

−

∇−=

∇−=

iDii

iDii

DtyxDFDDtyxDFDD

DtyxDFDDD

i

i

ε

ε



반복적 방법(계속)Steepest descent 방법(계속)

여러 개의 화소들을 이용한 움직임 추정

),,(ˆ),,,( 1111 ttyyxxXDtyxDFDDD iiiii ∆−∆−∆−∇−= −−−− ε

움직임 추정이 수행되는 이전 화소들

현재 화소

∑∈

−Pyx

iyx DtyxDFDW),(

21),( ),,,(

1),(

),( =∑∈Pyx

yxW

),,(ˆ),,,( 111),(

),(1 ttyyxxXDtyxDFDWDD iiiPyx

yxii ∆−∆−∆−∇−= −−−∈

− ∑ε


움직임 보상 방법 (BM)

블록정합법 (Block Matching)일정한 크기의 블록들로 분할하고 한 블록내의 모든 화소들을하나의 직교 움직임으로 표현

움직임 정보는 부호화

동영상 표준에서 널리 사용

수평/수직 방향의 최대 움직임

크기를 p화소로 가정

q탐색영역

(2p+M)*(2p+N)이전 화면

현재 화면

움직임 벡터

탐색 영역

2p+M

2p+N

N

M

(x,y)

(x,y)



정합기준현재 블록과 탐색영역의 임의 블록과의 유사성 측정

평균 제곱 오차(MSE : mean squared error): 가장 작은 블록

평균 절대값 오차(MAE : mean absolute error): 가장 작은 블록

정규화된 교차상관함수(NCCF : normalized cross-correlation function ): 가장 큰 블록

∑∈

∆−−−−=Byx

ttjyixXtyxXMN

jiMSE),(

2)],,(ˆ),,([1

),(

∑∈

∆−−−−=Byx

ttjyixXtyxXMN

jiMAE),(

|),,(ˆ),,(|1

),(

2

1

),(

2

1

),(

),(

),,(ˆ),,(

),,(ˆ),,(

),(

⎥⎥⎦

⎤

⎢⎢⎣

⎡∆−−−

⎥⎥⎦

⎤

⎢⎢⎣

⎡

∆−−−

=

∑∑

∑

∈∈

∈

ByxByx

Byx

ttjyixXtyxX

ttjyixXtyxX

jiNCCF



정합을 수행하는 방법전탐색 방법(full-search method)

q탐색영역 내의 모든 블록에 대하여 정합 비교

q블록영역(또는 탐색영역)이 커질수록 복잡도 급속히 증가

2차원 로그형 탐색(2-D logarithmic search)

x x+6x-6

y-6

y+6

y

1

111

12

2 3

2 344

4 44

44 4

-초기 위치 (x,y) 및 상하 좌우로 각각 n 만큼떨어진 4개의 위치에 대해 정합수행

- 5개 위치 중 가장 잘된 위치를 중심으로 위 과정수행만약 가운데가 가장 잘되면, n=n/2

- 만약 n=1이면, 중심과 주변 8개에 대해 정합수행-가장 잘된 위치가 최종 움직임 벡터가 됨

⎣ ⎦{ }1log22,2max −= pn



정합을 수행하는 방법3단계 탐색(3-step search)

탐색 범위 자체를 줄이는 방법

블록내의 정합되는 화소수를 줄이는 방법 (낮은 해상도의 영상 사용)

x x+6x-6

y-6

y+6

y

1 1

11

1

2

2

3

2

1

1

11

2

2 2 2

2

3

3

3

3

3

3-중심위치를 포함하여 9개 위치고려- 매 단계마다 n을 줄여나감- n 값 및 줄임 정도는 탐색범위에따라 달라짐


화면간 움직임 보상 예측 부호화

H.261, H.263, MPEG-1,2,4

DCT 양자화

역양자화

역DCT

재생영상메모리

움직임추정기 움직임

벡터

양자화된예측오차신호

입력 영상

화면간 예측부분

변환 부호화 부분(화면내 부호화)

재생영상


3.8 분할 기반 및 모델 기반 부호화

기존의 파형기반 부호화시간방향의 중복성 제거 : 움직임 보상

공간방향의 중복성 : 변환 부호화

분할기반 부호화 (segmentation-based coding)

모형기반 부호화 (model-based coding)

특징영상 신호의 통계적 특성만을 고려하지 않음

인간의 시각 특성에 바탕을 두고 주관적 화질을 중요시

전송 데이터량의 대폭적인 감축을 도모하는 기법

MPEG-4


분할기반 부호화

개요인간 시각이 경계에 민감

영상을 물체 위주로 분할하여 부호화 하는 방법

q고 압축률에서도 블록킹 및 경계 흐림 현상을 줄임

영상 분할

q입력 영상을 유사성 척도에 따라 몇 개의 영역으로 분할

q분할된 영역은

• 움직임 (motion)

• 윤곽선 (contour)

• 색상 (color) 정보로 표현된다.



일반적 구조

영상 분할기 움직임 추정기 움직임 보상기

윤곽선부호기

움직임부호기

색상부호기

예측오차부호기

현재 영상

재생된 이전 영상

+

−



영상 분할기시스템의 효율을 결정하는 중요한 요소

척도에 의한 분류

q움직임 기반 분할 기법

q밝기 기반 분할 기법

• 3차원에 근거한 분할 기법

• 시간 재귀적 분할 방법

q시-공간 분할 기법

영 상 단 순 화 균 일 영 역 추 출 경 계 결정3차원영상열

분할된영상열



색상정보 부호기임의의 모양을 갖는 영역의 색상 정보를 직교 변환

영역에 근거한 기법

q임의의 모양을 갖는 영역에 최적의 직교변환을 매번 구함

q일반직교변환(Generalized orthogonal transform)

• 복호기에서도 기저함수를 구하여야 함

• 많은 계산량 요구

블록에 근거한 기법

q윤곽선을 포함하지 않는 블록은 기존 블록 변환기 사용

q윤관선을 포함하는 블록은 부가처리

• 채워 넣기 방법

• 모양 적응 이산여현변환 (SA-DCT)



기존 블럭기반 DCT

채워넣기 후 DCT또는 SA-DCT



(나) 0값 채워 넣기

(라) 대칭값 채워 넣기

(바) 확장 보간 기법

(가) 임의의 색상 영역

(다) 평균값 채워 넣기

(마) 매크로블럭 확장 기법

물체 영역배경 영역

블럭 길이

DC

T-4

DC

T-6

DC

T-4

DC

T-3

DC

T-2

DCT-5DCT-5DCT-4DCT-3DCT-3DCT-1DCT-1

(가) (나) (다)

(라) (마)

색상정보 부호기(계속)

채워넣기 기법들 모양적응 이산여현변환



윤곽선정보 부호기무손실 부호화 기법

q체인코드 (chain code)

• 윤관선을 방향 벡터들의 순열로 표시

» 8방향 사슬부호

» 4방향 사슬부호

q차분 체인코드

• 방향성의 변화를 부호화

• 5가지 가능한 방향성 존재

• 체인부호화 보다 효율이 좋다.



윤곽선정보 부호기(계속)

A

(가) 8 방향성 체인코드의 방향벡터 (나) 4 방향성 체인코드의 방향벡터

0

1

5

6

7

4

3

2

0

1

3

2

윤곽선 화소

A 초기 좌표

체인코드결과 : 007766544432221

(다) 8 방향성 체인코드의 예

A

(가) 차분 체인코드의 방향벡터 (나) 발생하지 않는 윤곽선 형태

0

-1

2

1

이전 진행 방향

-2

윤곽선 화소

A 초기 좌표

체인코드결과 : 001010100010001

(다) 차분 체인코드의 예

0

2

2

- 2

- 2

0

0

2

2

체인 코드 차분 체인 코드


Practices

Differential Chain Code

0

1

2

-1

-2



윤곽선정보 부호기손실 부호화 기법

q전체적 묘사 방법

• 푸리에 묘사기

q국부적 근사화 방법

• 다각형 (polygonal) 근사화 기법

q국부적 근사화와 그 오차의 부호화 결합 가능

윤 곽선

근 사 화 정 점 (vertex)

다각형 근사화

근사화 정점(vertex)

윤곽선


모델 기반 부호화

모델 기반 부호화영상에 구조적 모델을 적용한 후 영상 분석과 컴퓨터 그래픽스를 접목시켜 영상을 부호화 하는 방법

구조적인 특징들로 영상을 모형화

일정 수준 이상의 화질을 매우 낮은 비트율로도 만족

영 상 분 석 기

영 상 모델

부호기

입력영상

영 상 분 석 기

영 상 모델

복호기

재생영상분석 데이터

모델기반 부호를 위한 시스템의 일반적인 구성도

영상분석기

영상모형

영상합성기

영상모형



얼굴 영상 모델기반 부호화

얼굴 모형

q3차원 철선 구조 모델과 원영상의 질감

q64개의 기본 안면 근육으로 인간의 표정 표현

q삼각형 철선틀 100 – 500 개로 모델 정의

움 직 임 추 정

얼 굴 표 정 분 석

모델 적 응

3차 원 얼 굴 모델

부호기

입력영상

복호기

재생영상

분석 계수

영 상 합 성

영 상 생성( 배경 등 )

3차 원 얼 굴 모델

움직임추정얼굴표정

분석모형적응

영상합성

영상생성(배경등)

3차원얼굴모형 3차원얼굴모형



모델 기반 부호화기의 문제점 및 응용

문제점

q고려되지 않은 물체는 처리 불능

q분석 에러 존재

응용

q실시간 영상통신은 좋은 응용 분야가 아님

q데이터 베이스에서의 응용

q단방향 통신

q영상압축 보다는 영상의 구조적 표현으로 영상의 조작(manipulation)에 더 많이 응용

영상부호화이론multinet.ivyro.net/recruit/lecture/1-5/chapter-4.pdf · y e y y e xx λ λ λ...

Documents