111028 ch 3_the digital representation of visual information

The Art and Science of Digital Compositing

김정근

2

Agenda

Image Generation

Pixels, Components, and Channels

Spatial Resolution

Bit Depth

Normalized Values

Beyond Black and White

Floating-point and High Dynamic Range Imagery (HDRI)

3

Image Generation

디지털 합성요소는 어떻게 만들어지는가 ?

4

Image Generation

사람에 의해 생성된 요소– 매트 페인팅

컴퓨터에 의해 생성된 요소– 2D, 3D 컴퓨터 애니메이션 패키지

외부소스로부터 컴퓨터로 디지털화 된 이미지

5


Pixels

– 디지털 이미지를 이루는 사각형

6


Components

– R, G, B Channel : Pixel 의 대표적 Component

7


Channels

– 여러 가지 정보가 들어 왔을 때 원하는 신호만 통과시키는 일종의 필터

8

Spatial Resolution

해상도 : 이미지의 픽셀 개수– 가로 500 pixel 세로 500 pixel 으로 된 사각형 이미지 = 250,000 해상도의 픽셀

미디어에 따른 해상도– 웹페이지 : 몇 백 Pixel

– 표준 규격 방송용 비디오 : 700 X 500 Pixel

– 극장 영화 : 가로 2000 Pixel

– 인쇄 산업 : 가장 높은 해상도

• 내셔널 지오그래픽 : 적어도 4000 X 3000 Pixel

– Full HD 1080P : 1920X1080

9

Bit Depth

Bit 수로 데이터의 정밀도를 판단

24bit 이미지 : 일반적인 이미지 (R, G, B : 채널 당 8 Bit)

– 채널당 8 Bit : 1 Components = 256 (28)

– 256 X 256 X 256 = 16,777,216 컬러 표현 가능

– 극장영화 : 채널당 16Bit

10

Bit Depth

“Banding” , “Contouring”, “ Posterization”

“Quantization Artifact”

“ 디지털 합성을 하여도 Visual Artifact 가 일어나지 않게 충분한 데이터가 필요”

채널당 8bit 채널당 4Bit 채널당 3bit

11

Normalized Values

서로 다른 Bit Depth 를 가진 이미지를 0 과 1 사이의 범위에서 부동소수점의 수로 평균화 한 것

8 bit 이미지의 픽셀 1 개RGB(255,100,0)

(1.0, 0.39, 0) Normalize

12

Normalized Values

Normalize?

» 서로 다른 bitdepth 들을 하나의 공통된 스펙으로 변경

» 이미 합성공식은 0~1 사이의 픽셀 값을 가지고 연산

13


두 개의 같은 라이트

14


두 개의 같은 라이트

15


100 와트 전구 ( 좌 ) 와 25 와트 전구 ( 우 )

16


노출 감소

17


“ 흰색”이란 용어와 “검정색” 이란

용어는 매우 임의적인 개념

18


19


20


“ 출력과정중 정보가 손실되었기 때문에 포스트이펙트를 줘봐야 이미 손상된 결과”

21


넓은 조명범위 값을 가진 장면

22


붉은색은 과다 노출 ( 밝은 부분 ) 초록색은 적은 노출 ( 어두운 부분 )

23


어두운 부분의 디테일을 살리기 위해 Expose ( 기존 라이트의 4 배 )

24


밝은 부분의 디테일을 살리기 위해 Expose

25


다리 노출을 위한 소스 이미지

26


하늘 노출을 위한 소스 이미지

27


노출을 나누어서 사용하여 만들어진 이미지 (exposure split)

28


“ 흰색”이란 용어와 “검정색” 이란

용어는 매우 임의적인 개념Overexpose 된 영역에서 “흰색”은 없다

이것은 “ Superwhite” 라고 언급된다

29


30


BUT

“Blur 는 주변 픽셀의 평균값”

Non HDR 이미지는 최대 White 값은 = 1.0인근 픽셀 평균값은 <=1.0 이므로 화이트 영역이 줄어듬

HDR 이미지는 최대 White 값 >= 1.0

White 세기가 강할수록 픽셀 평균값이 1.0 보다 크거나 같은 영역이 늘어남

Bloom

!

31


32


Floating-point image

33


½ Floating-point image : Fixed point im-age

34


½ Fixed point image

35


HDRI

– 일반적으로 허용하는 것보다 훨씬 높은 다이나믹 레인지를 가진 32 비트 부동소수점 이미지

다이나믹 레인지 = 컨트라스트 비

36


HDRI

– 일반적으로 여러 가지 노출조건으로 촬영한 32 bit 이미지를 10 여 개 정도 조합하여 만듬

–4 stops –2 stops +2 stops +4 stops

Simple contrast re-duction

Local tone mapping

Chapter 3 Part : 2

The Digital Representation of Visual Information

시각적 정보에 대한 디지털 표현

38

Agenda

The HSV Color Representation

The YUV Color Representation

Digital Image File Formats

File Format Features

Vendor-specific File Format Implementations

Compression

Choosing a File Format

Nonlinear Color Encoding

39


Hue( 색상 )

Saturation( 채도 )

Brightness/Value( 명도 )

40


Hue And Saturation

41


Hue And Saturation With Value

42


Hue Component Saturation Component Brightness / ValueComponent

43


Hue Component

44


Saturation Component

45


Brightness / ValueComponent

46


Luminance( 휘도 )

47


Chrominance( 색차 )

48


YUV Color Representation

49


50


ChrominanceLuminance

51


Chrominance

Luminance

4 2

2

52


“ 색상에는 둔감하고 밝기에는 민감한 사람의

눈의 특성을 이용”

53


RGB <–> YUV 변환

주로 TV(PAL 방식 ) 에 사용되는 색 표현방식 ( 압축에 용이 )

NTSC = YIQ

Y = 0.3R + 0.59G + 0.11BU = (B-Y) x 0.493V = (R-Y) x 0.877

R = Y + 0.956U + 0.621VG = Y + 0.272U + 0.647VB = Y + 1.1061U + 1.703V

54

Image Input Devices

Flatbed Scanners

Film Scanner

Video Camera 등

데이터 양의 증가로 압축이 필요함

데이터를 잘라내어 여러 공간에 나누어 담아야함

원본 소스 보관에 유의해야함

55

File Format Features

Variable Bit Depth

Different Spatial Resolutions

Compression

Comment Information in a Header

Additional Image Channels

호환성 문제등으로 보편적인 포맷을 사용예 ) 서로 호환되지 않는 여러 TIFF 포맷

56

Compression

57

Compression

= lossy

58

Compression

RLERun-Length Encoding

( 무손실압축 )

59

Compression

0 00 00 00 00 00

00 00 00 00 00 00

00 00 10 01 00 00

00 00 10 01 00 00

00 00 10 01 00 00

00 11 11 11 11 00

00 11 11 11 11 00

00 00 10 01 00 00

00 00 10 01 00 00

00 00 10 01 00 00

00 00 00 00 00 00

00 00 00 00 00 00

60

Compression

00 00 00 00 00 00

00 00 00 00 00 00

00 00 10 01 00 00

00 00 10 01 00 00

00 00 10 01 00 00

00 11 11 11 11 00

00 11 11 11 11 00

00 00 10 01 00 00

00 00 10 01 00 00

00 00 10 01 00 00

00 00 00 00 00 00

00 00 00 00 00 00

61

Compression

12:0

12:0

5:0, 2:1, 5:0

5:0, 2:1, 5:0

5:0, 2:1, 5:0

2:0, 8:1, 2:0

2:0, 8:1, 2:0

5:0, 2:1, 5:0

5:0, 2:1, 5:0

5:0, 2:1, 5:0

12:0

12:0

144 Symbol = 104 Symbol

30% 감소

62

Compression

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

0 00 00 00 00 00

63

Compression

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

10 10

1 10 0

64

Compression

1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1,

1:0, 1:1

1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0,

1:1, 1:0

1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1,

1:0, 1:1

1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0,

1:1, 1:0

1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1,

1:0, 1:1

1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0,

1:1, 1:0

1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1,

1:0, 1:1

1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0,

1:1, 1:0

1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1,

1:0, 1:1

1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0,

1:1, 1:0

1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1,

1:0, 1:1

1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0, 1:1, 1:0,

1:1, 1:0

144 Symbol = 562 Symbol

65

Compression

아날로그 소스를 가진 이미지를 저장하는데

매우 비효율적

66

Compression

LossyCompression

67

Compression

90% Jpeg Quality

68

Compression

20% Jpeg Quality

69

Compression

90% Jpeg Quality원본대비 디스크 용량 1/10

70

Compression

20% Jpeg Quality원본대비 디스크 용량 1/150

71

Compression

JPEG 압축은 사람 눈에 민감한밝기와 콘트라스 정보를 다룸

모든 이미지를 위한 이상적인 형식은 아님

JPEG 압축에 의한 아티팩트들이 많음

72

Compression

JPEG 로 압축

73

Compression

PNG 로 압축

74

Compression

PNG 압축은 제한된 칼라 팔레트를 사용할 수 있고 ,

이미지타입에 적합한 압축 형식으로

연결된 Bit depth 를 가지고 있음

75

Compression

ChromaSubsampling

비디오 압축 (YUV 등 )

76

Compression

“ 색상에는 둔감하고 밝기에는 민감한 사람의

눈의 특성을 이용”

Y 는 칼라 component 의 밝기 (luminance),

U 와 V 채널은 chrominance( 색차 ) 값을 표현

77

Compression

4:1:1 compression– 통상 비디오 신호가 콤포넌트 디지털화 할때의 샘플링은 휘도신호 (Luminance Signal -> Y) 와

두 개의 색도신호 (Chrominance Signal -> R-Y, B-Y) 를 대상으로 하는데 , 4:1:1 이란 값은 휘도 (Y) 의 값이 4 번 샘플링 될 때 색도의 값 (R-Y, B-Y) 두가지가 각각 1 번씩 샘플링되는 것의 비율을 용어화 한 것입니다 .

4:2:2 compression – 4:2:2 란 값은 휘도 (Y) 의 값이 4 번 샘플링될 때 색도의 값 (R-Y, B-Y) 두 가지가 각각 2 번씩

샘플링되는 것의 비율을 용어화 한 것입니다 . 색도의 해상도 또는 색도의 데이터 양이 위의 4:1:1 이나 4:2:0 보다 2 배가 됩니다 . 이것은 크로마키와 같은 다양한 종류의 키 작업이나 많은 레이어를 이용한 합성과정이 존재하는 포스트 프로덕션 ( 전문 합성 편집실 ) 에서는 매우 중요한 요소입니다 . JVC 의 D9 나 Sony 의 Digital Betacam, Panasonic 의 DVCPRO 50 또는 MPEG2 422 P@ML 등의 포맷이 4:2:2

4:4:4 compression – 4:4:4 란 값은 휘도 (Y) 의 값과 두 가지 색도의 값 (R-Y, B-Y) 이 동일한 비율로 샘플링된 것을

의미합니다 . 아주 고급의 특별한 합성장비에서나 쓰이는 포맷입니다

78

Compression

Image Sequence Compression

모든 싱글 프레임을 같은 방식으로 저장하지 않고 특정 마스터 프레임을 이용하여 서브시퀀스 프레임들이

마스터 프레임과 다른 위치에 기록되는 방식

79

Compression( 결론 )

압축률퀄리티

결정적인 가이드 라인은 없으나 상황에 맞게 결정단 퀄리티 손실을 막기 위해 파이프라인 각 스텝에서 압축을 피하고

불필요하게 포맷간 컨버팅을 피함

80

Nonlinear Color Encoding

“Gamma”

이미지가 저장되기 전에 bit depth 를 보다 효율적으로 사용하기 위해 ,

특정한 color correction( 교정 ) 과정

81

Nonlinear Color Encoding(Gamma)

Vout = Vin

γ

Vout 은 리시브 밸류 Vin 은 오리지널 밸류이고 , Y 는 감마원하는 것을 얻기 위해서 오리지널 밸류를 얼마만큼 올려야 하는가의 강함의 정도

82


Gamma 2.2 decoding power function graph nonlinearity

83


“Gamma 의 유래”

19 세기의 오래된 사진사들은 받아들인 이미지의 광학 밀도 (optical den-

sity) 가 필름의 노출 정도와는 비례하지 않는다는 것을 발견했다 .

반면에 , 노출 정도를 더블링 하면 , 두 배만큼은 어두워지지 ( 혹은 밝아지지 ) 않는 다는 것을 발견했다 .

받는 광학 노출에 비해서 그림으로 보이는 부분이 논리니어한 파워 관계에 있는 것을 사진사들은 감마라고 불렀다 . 감마 밸류가 1.0 값에서 달라질수록 , 더욱 현상은 논리니어해진다 .

따라서 , 사진사들의 감마는 받는 빛의 밀도와 노출 정도간의 논리니어한 파워 관계이다 .

84


CRT 시스템에서 논리니어하게 균형을 잡거나 ,

인식 영역 안의 그래픽 정보를 감마 - 인코딩 하는데 필요

두 개의 역 논리니어 커브는 리니어 아웃풋을 만들고 ,

결과적으로 스크린 디스플레이에 정확한 그라데이션을 표현

85


CRT 만을 위한 것 ?

감마 보정은 한정된 칼라스페이스로 좋은 퀄리티의 이미지를 얻기 위해서 여전히 유용

86


http://maxattivo.blogspot.com/2011/07/what-is-gamma-correction-in-image.html

http://maxattivo.blogspot.com/2011/07/what-is-gamma-correction-in-image.html

감사합니다

111028 ch 3_the digital representation of visual information

Documents