2 영상신호의표현과특성 - inha...

1 인하대학교 정보통신대학원Prof. Sang-Jo Yoo

2장. 영상 신호의 표현과 특성


구 성

주요 내용영상 정보의 수학적 표현

인간의 시각 시스템

Contents1. 2차원 신호와 시스템의 표현2. 영상의 인지 특성3. 색과 색 좌표계3. 표본화 원리와 TV 신호


1. 2차원 신호와 시스템의 표현

1.1. 영상 정보

1.2. 공간 표본 (spatial sample)

X

Yy

x

f (x, y)

x

y

y) (x, f =f빛의 휘도(Luminance)

y)} (x, f y), (x, f y), (x,{f greenblue red=f t)y, (x, f =f

X

Y

X

Y

여파기 통과

표본 추출 및 양자화(sampling and quantization)

∫ ∫+

−

+

−

−

−−=δ

δ

δ

δ

y

y

x

x cdwdzzywxhyxfyxf ),(),(),(

},...,1,,...1),,({ yxii NjNiyxf ==∧

TV신호는 2차원 영상신호를 주사선을 이용해 1차원 신호로 바꿔줌.

pixel (picture element)


2차원 신호와 시스템의 표현

x

y

Origin

f (x, y)

(Gray level)


2차원 신호와 시스템의 표현

( )( ) ( ) ( )( ) ( ) ( )

( ) ( ) ( )

f x y

f f f Mf f f M

f N f N f N M

,

, , ,, , ,

, , ,

=

⋅ ⋅ ⋅ −⋅ ⋅ ⋅ −

⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅− − ⋅ ⋅ ⋅ − −

⎡

⎣

⎢⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥⎥

0 0 0 1 0 11 0 1 1 1 1

1 0 1 1 1 1


공간 해상도

256x256 128x128 64x64

32x32 16x16 8x8


Gray 해상도

256

248

1632



여파기 (Filter)대역 겹침을 피하기 위해 필요이상의 고주파 성분 (예: 잡음)을제거하기 위해 인접 부분과 가중치 평균을 취함

표본화 (Sampling)공간적으로 연속적인 영상의 정보 값을 한정된 점으로 표현

공간 표본화 (spatial sample) : 표본점을 화소 (pixel)이라 한다.

양자화 (Quantization)입력 신호의 연속적인 값을 이산적인 값으로 대응시킴

양자화기의 입력을 L 구간으로 나누고, 출력은 각 구간에 해당하는 대표값을 사용



q균일 양자화기

t1 t4t3t2

l1

tL-1···

l2

l3

l4

lL-1

lL

···

출력

입력

양자화잡음



공간 영상 신호를 주파수 영역으로 변환함으로써 영상처리, 부호화 처리 과정 등에서 좀 더 편리한 표현이 가능

영상 정보의 주파수 영역 표현에 대한 설명

2.1 푸리에 변환1차원 푸리에 변환 과 역변환

2차원 변환 과 역변환

∫∞

∞−

−=≡ dxexfxfFuF uxj π2)()]([)( ∫∞

∞−

− =≡ dueuFuFFxf uj τπ21 )()]([)(

∫ ∫∞

∞−

∞

∞−

+−= dxdyeyxfvuF yx yuxuyx)(2),(),( π

∫ ∫∞

∞−

∞

∞−

+= yxyuxuj

yxyx dudueuuFuuf yx)(2),(),( π



이산신호의 푸리에 변환

이산 푸리에 변환(DTF: discrete Fourier transform)이산적인 신호를 이산적인 푸리에 신호로 바꿈 (DSP)

πωωπωω ωω


2. 영상의 인지특성

물체의 밝기 정도의 반응 모형

q물체로부터 받은 빛의 세기

q물체의 (x,y)점으로 부터 나온 빛으로 눈이 느끼는 휘도(luminance)

)()()( λλρλ LI =입사 에너지 분포 )(λL

물체의 반사율 )(λρ

∫∞

=0

)(),,(),( λλλ dVyxIyxf

시각계의 상대 휘도 효율 함수)(λV

0

1.0

380 460 540 620 700 780

0.8

0.4

0.6

0.2

파 장(nm)



광색소 반응 모형

q추체에 440nm, 535nm, 570nm 의 광색소 존재• 가 눈으로 들어오면, 세 종류의 광색소가 흡수한 빛의 양은,)(λC

3,2,1 ,)()( == ∫ idCSii λλλα

)( ),( ),( 321 λλλ SSS : 파장에 따른 광색소 흡수도

∫ S1(λ)C(λ)dλ

∫ S2(λ)C(λ)dλ

∫ S3(λ)C(λ)dλ

α1(C)

α2(C)

α3(C)

C(λ)

0

20

40

60

80

100

400 450 500 550 600 650 파 장(nm)

%

)(1 λS)( 2 λS

)( 3 λS

추체의 색 반응 모형


영상의 인지특성

색의 3가지 속성- 영상데이터는 빛의 파장에 의해 정의되는 색도, 빛의 양인 휘도 등과

같은 물리량이다.- 감광신경은 이들의 자극을 뇌에 전달하고 뇌는 색상(Hue)이나 명도

(brightness), 채도(saturation)와 같은 속성으로 감지한다.

① 명도(brightness) : 색의 밝기, 휘도② 색상(hue) : 색의 종류③ 채도(saturation) : 색의 선명도, 포화도(백색광의 포함정도)

%(percent)로 나타냄

380 460 510 530 600 780

적외선자외선색상

파장(nm)



동시 대비 효과 (Simultaneous Contrast Effect)q물체의 밝기가 그 물체를 둘러싼 배경의 휘도에 의하여 다르게

느껴지는 형상, 휘도대비 (constrast)에 더 민감

같은 휘도 다른 휘도

fffs ∆+=

f 0.02

flog

ff∆

f∆ Just noticeable difference (JND)

JND 는 f 에 비례

와 f의 비는 일정(Weber 법칙)

f∆



마하 (Mach band) 효과q물체와 배경 휘도의 공간적 상호 작용으로 나타나는 현상

휘도

밝기강도

거리

강도

D B

거리

밝기

휘 도



공간 주파수 응답

• 휘도가 정현파 형태로 변화하는 줄 무늬 영상에 대하여 대비 감도를공간 주파수의 함수로 표현한 것을 MTF(Modulation Transfer Function)

0

50

0.5 1 5 10 50

40

20

30

10

공간 주 파 수cycles/degree

대비강도[dB]



시각의 시간 특성

• 빛이 천천히 켜짐과 꺼짐을 반복하면 깜박임(flickering)을 느낀다.• 반복하는 주파수를 증가 시키면, 어느 주파수 이상부터 빛이 항상

켜져 있는 것으로 느끼게 된다.• 깜박임을 느끼지 못하는 최소 주파수를 임계 융합 주파수 (CCF:

critical fusion frequency) 라 함.

1 2 3 4 5 6 7 8 910 20 30 40 50 60 7080901

10

100

Mod

ulat

ion

Sen

sitiv

ity (m

-1)

9300 td 850 td 77 td 7.1 td 0.65 td 0.06 td

Mod

ulat

ion

Thr

esho

ld (m

)

Frequency (Hz)

td: 망막 조도 단위 =빛의 밝기 단위(troland)

m: 변조도 주파수의 단위


3. 색과 색 좌표계

3.1 색정합과 색도 도표(Chromaticity Diagram)색정합 (color matching)q원하는 색의 재현 목적

q선택된 삼원색의 적절한 혼합을 통한 임의의 색 구현

q색정합 삼원색

• 435.8nm Blue, 546.1nm Green, 700nm Red (CIE-국제 조명 위원회 정의)

시험색

B

G

R

반사면

관찰자

감광 조절기3원색 광원

)(λC



색정합 함수

q시험색 과 같게 느끼는 색을 만들기 위하여 필요한 RGB 의 혼합된 양

• 초록과 빨강의 색정합 함수 값이 음이 되는 부분이 존재• 이것은 삼원색을 조합하여 주어진 시험색을 만들 수 없는 경우에 해당• 이때는 삼원색중 하나 또는 두개의 원색을 주어진 시험색에 더함으로써 구현

)(λC



삼자극치 (tristimulus value)q시험색 를 기준 백색(reference white)로 놓고 색정합이 이루어

진 경우, 삼원색 각각이 혼합된 양을q원하는 시험색에 대하여 색정합이 된 경우, 삼원색의 혼합된 양

을

q이때, 시험색 의 삼자극치

)(λC

1,2,3 , =kwk

1,2,3 , =kkβ

)(λC

3,2,1 )( == kw

CTk

kk

β



정규화된 색도 좌표 (Chromaticity Coordinate)q삼자극치 R,G,B 는 아래의 변환을 통해 정규화된 색도 좌표로 표현

BGRRr++

=BGR

Gg++

=BGR

Bb++

=

1=++ bgr 이므로, 2좌표만 있으면 가능

CIE 의 (r,g)에 대한 색도 도표

경계선: 순색 궤적 (spectral locus)

삼자극치로표현 가능한 범위

점선 삼각형: 좌표의 선형 변환, 새로운 삼원색 X, Y, Z 를 정의



3.2 색좌표계qR,G,B 가 가장 대표적, 그러나 여러 이유로 다른 색 좌표계의 필요성 대두

• 3원색 값이 양수가 되도록 하기위한 XYZ• 방송과 텔레비전 시스템을 위한 YIQ, YUV 등

RGB 색 좌표계

q실제에 있어서 영상 표현에 효과적이지 못함

• RGB 의 화소 깊이와 해상도가 동일해야함• 시각은 색보다 휘도에 더 민감함

White

Yellow

Magenta

Black

Blue

Cyan

Red

Green



XYZ 색 좌표계q가상의 3원색을 설정하여 색정함 함수가 항상 양의 값을 갖도록 개발qY 신호는 휘도값을 의미함

YUV 색 좌표계qNTSC, PAL, SECAM 컬러 텔레비전에서 사용하는 기본적인 색 형식qY 회도, UV 색 정보

q 는 감마 보정된 RGB 신호

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

BGR

ZYX

990.0010.0000.0011.0813.0177.0200.0310.0490.0

BGRY ′+′+′= 114.0587.0299.0

)(492.0436.0289.0147.0 YBBGRU −′=′+′−′−=

)(877.0100.0515.0615.0 YRBGRV −′=′−′−′=

BGR ′′′ ,,



감마 보정 (Gamma Correction)• 모니터를 통한 색상 표현시, 색 요소는 순간적인 전압 파형과 같음• CRT 의 전달함수는 빛의 세기 I 를 출력할때, 신호 전압 V 에 대해

• 여기서 를 디스플레이 감마라 하며, 2.0 에서 3.0 사이에 범위를 가짐• 즉, 디스플레이시 발생하는 비선형적 처리에 대한 보상

VI receineddisplayγ ∝

γ

0.2 0.4 0.6 0.8 100

0.2

0.4

0.6

0.8

1

감마 보정

재현 특성

전압 V

세기

I



U*V*W* 색 좌표계q원점 이 u, v 색도 평면의 기준 백색 위치로 옮겨진 수정된

USC (Uniform Chromaticity Scale) 좌표계q색차를 양적으로 측정하는데 유용

• 색입체에서 회색 근처에 위치한 색들에 대해 두 색의 색차는 두 색을 연결하는 직선의 길이에 비례

YIQ 색 좌표계qNTSC 에서 사용

• Y: 휘도, I: 색상, Q: 채도

),( 00 vu

)(13 0** uuWU −=

)(13 0** vvWV −=

1001001 ,17)100(25 31

* ≤≤−= YYW

BGRY ′+′+′= 114.0587.0299.0BGRI ′−′−′= 322.0274.0596.0BGRQ ′+′−′= 312.0523.0211.0



YCbCr 색 좌표계• NTSC, PAL, SECAM 에서 서로 호환되는 디지털 신호의 개발을 위

한 시도로 ITU-R BT.601 에서 표준으로 채택

SMPTE 240M 색 좌표계• 미국내의 HDTV 제품을 표준화 하기 위해 개발

BGRY ′+′+′= 114.0587.0299.0

BGRCb ′+′−′−= 500.0331.0169.0

BGRCr ′−′−′= 081.0419.0500.0

BGRY ′+′+′= 087.0701.0212.0

826.1/)(500.0384.0116.0 YBBGRPb −′=′+′−′−=

576.1/)(055.0445.0500.0 YRBGRPr −′=′−′−′=



CMYek 색 좌표계qCMYek (청록, 진홍, 노랑, 검정) 색 형식은 컬러 인쇄에서 사용q잉크를 빼면서 생기는 특성에 기초

표 2.3.1 HDTV 시스템용 신호 계수미국 유럽

프레임당 총 주사선 1125 1250프레임당 유효선 1035 1152필드율( Hz ) 60 50종횡비 16:9 16:9주사 형태 2:1 비월 주사 2:1 비월 주사대역폭 30 30선당 유효 화소:

휘도 1920 1920 색도 960 960

표본화 주파수( Mhz ): 휘도 74.025 72 색도 37.125 36

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡−

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

BGR

YMC

e 111


4. 표본화 원리와 TV 신호

대역제한 신호의 표본화 정리Nyquist 표본화 정리에 의한 표본화 및 신호 복원

uB

x

s(x)

u u-B

x

f(x)s(x)

x

f(x)

F(u) S(u)

(가)

(나)

(다 )

(바 )

(마)

(라 )x1

x1

2x1



대역겹침 (aliasing)q표본화 율이 Nyquist 표본화율 보다 낮으면, 출력에서 원 신호에

해당하는 F(u)만을 분리해 낼 수 없다.qLPF의 대역폭이 원 신호에는 없었던 고주파 성분을 포함하게 되

는 경우 발생.

B

Fs(u)

(a)

u1x

B

Fs(u)

(b)

1x

u



표본화 정리의 2차원 확장

0)],([),( == yxfFuuF yx yyxx BuBu ≥≥ ,

대역 제한된 2차원 신호

ux

uy

ux

uy

By

Bx-Bx

-By

대역제한 신호의 푸리에 변환 x,y 평면에서 위치한 영역



표본화 함수

∑ ∑∞

−∞=

∞

−∞=

∆−∆−=k l

ynyxmxyxs ),(),( δ ∑ ∑∞

−∞=

∞

−∞= ∆−

∆−

∆∆=

k lyxyx y

lux

kuyx

uuS )1,1(11),( δ

s(x,y)

x

y

y

x

s(ux,uy)

uy

uxy1

x1

(가) (나)



표본화된 함수의 푸리에 변환

∑ ∑∞

−∞=

∞

−∞= ∆−

∆−

∆∆=

∗=

k lyx

yxyxyx

ylu

xkuF

yx

uuSuuFuuF

)1,1(11

),(),(),(

ux

uy

By

Bx

x1

y1


4. 표본화 원리와 TV 신호순차 주사(Progressive Scan)와 비월 주사(Interlace Scan)

2차원 영상을 공간 표본화 하여 1차원 파형으로 바꾸는 방법가로선 주사(raster scan)

),()( tt yxftf−−

=

LL iTtTi



컬러 텔레비전의 국제 표준NTSC (National Television System Committee): 한국, 미국, 일본

• 1952년에 만들어짐• YUV 또는 YIQ 색 좌표계 이용• 4.2 MHz 대역폭내 한 화면을 525개의 주사선으로 구성• 1초에 30화면을 전송, 2:1 비월 주사로 60필드(field) 전송

)](cos[)2sin(),,( )](cos[)2cos(),,(),,(),,(

yftfxftyxQyftfxftyxItyxYtyxf

rsc

rsc

l

l

−++−++=

πφππφπ


표본화 원리와 TV 신호

TV 신호 레벨

흑색레벨

Blanking level(pedestal level)

동기첨단레벨

수평귀선시간0.714V

0.286V

Setup Level

0.05V



PAL (Phase Alternation by Line): 독일, 영국, 중국 등• YUV 색 좌표계• 5MHz 또는 5.5MHz 의 대역내에서 한 화면을 625개의 주사선으로

구성, 1초에 25장의 화면, 2:1 비월 주사로 50필드 전송• 추가적 BW 증가 없이 컬러 신호 전송을 위해, NTSC 와 같이 부반송

파 주파수 선택

)()()(2sin)1(2cos)(

tctYtftfVtfUtc c

mc

+=−+= ππ



SECAM (Sequentiel Couleur Avec Meroire)q프랑스, 동유럽, 러시아

• 프랑스에 의해 만들어짐• 6MHz 대역폭에서 한 화면을 626개의 주사선으로 구성• 1초에 25개의 화면 전송, 2:1 비월 주사로 50 필드를 전송• 휘도 신호 Y 와 매 선마다 색차신호 U 또는 V를 번갈아 전송• 색차 신호는 주파수 변조 방식으로 전송표 2.3.2 컬러 텔레비전의 국제 표준

NTSC PAL SECAM

초당 화면수 (Hz) 59.94 50 50한 화면당 주사선 수 525 625 625초당 주사선 수 15734 15625 15625오디오 반송파 (MHz) 4.5 5.5, 6.0 6.5

컬러 부반송파 (Hz) 3579545 44336184250000 (+U)4406500 (-V)

컬러 변조 QAM QAM FM휘도 대역폭 4.2 5.0, 5.5 6.0

색차신호 대역폭1.3 (I)0.6 (Q)

1.3 (Ut)1.3 (Vt)

> 1.0 (Ut)> 1.0 (Vt)


4. 표본화 원리와 TV 신호CCIR 601

• NTSC, PAL, SECAM 에서 서로 호환되는 디지털 신호를 개발 목적• ITU-T BT.601 에서 표준으로 채택

• 표본화 형식: 4:4:4, 4:2:2, 4:1:1 (4:2:0)

16219 += YYd

128886.0

)(112+

−′=

YBCb 128701.0)(112+

−′=

YRCr

값의 범위: 16 ~ 235

값의 범위: 16 ~ 235, 중앙값 128

2 영상신호의표현과특성 - inha...

Documents