멀티미디어 데이터 압축 / 복원

멀티미디어 데이터 압축멀티미디어 데이터 압축 // 복원복원

2

목 차목 차목 차목 차

압축의 개념 무손실 압축 손실 압축 이미지 압축 비디오 압축

3

멀티미디어 데이터는 일반적으로 크기가 매우 큼 .

효율적인 저장이나 전송 등을 위해 데이터 압축은 필수적임 .

멀티미디어 응용분야 비대칭형 (asymmetric) 분야 대칭형 (symmetric) 분야

압축의 개념압축의 개념압축의 개념압축의 개념

4

압축원리압축원리압축원리압축원리

무손실 압축 (lossless compression)

손실 압축 (lossy compression)

정보의 압축을 위해 활용되는 정보의 성질 공간적 상관 관계 시간적 상관 관계 정보 구성 심볼 (symbol) 의 발생 확률

5

압축시스템의 평가압축시스템의 평가압축시스템의 평가압축시스템의 평가 압축시스템의 평가 기준

압축률 (compression ratio) 복원 데이터의 품질 (quality) 압축 및 복원 속도

압축 기법의 분류

6

무손실 압축무손실 압축무손실 압축무손실 압축

정보의 손실 없이 복원을 가능하게 함

압축률이 높지 않음

텍스트 데이터의 압축 같은 경우 필수적

압축기법의 예로서 Run-Length 부호화 , Huffman 부호화 , Lempel-Ziv 부호화 등이 있음

7

Run Length Run Length 부호화부호화Run Length Run Length 부호화부호화

반복되어 나타나는 블록 정보들을 그 반복 횟수를 이용하여 표현하는 부호화

ABBBBBBBBBBBBBBC AB@14C

(a) 압축이전의 데이터 (b) 부호화된 데이터

Run-length 부호화

8

Huffman Huffman 부호화부호화Huffman Huffman 부호화부호화

Huffman 부호화의 기본 개념은 각 단위 정보를 표현하는 비트 수를 단위 정보 들의 출현 빈도를 기반으로 할당하는 것임

빈도가 높은 정보는 적은 비트 수를 사용하여 표현하고 , 빈도가 낮은 정보는 비트 수를 많이 사용하여 표현해서 전체 데이터의 표현에 필요한 비트의 양을 줄임

대표적인 가변 길이 코드이며 , 영상 압축에 많이 사용됨

9

aa_bb_cccc_dddd_eeeeeeee 부호화 이전의 코드

문자의 출현 빈도수e

dc_

b 허프만 트리

e 1 _ 001

d 011 b 0001

c 010 a 0000

허프만 코드

0

0

0

0

1

1

1

e d c _ b a

8 4 4 4 2 2 1

a

01

A

B C

D

E

Huffman Huffman 부호화부호화Huffman Huffman 부호화부호화

10

Lempel-Ziv Lempel-Ziv 부호화부호화Lempel-Ziv Lempel-Ziv 부호화부호화 동일한 어구가 반복적으로 나타나는 경우 맨 처음 그 어구가 나타난

문서상의 위치 정보를 이용하여 그 이후에 나타난 어구들을 부호화 하는 것이 Lempel-Ziv(LZ) 부호화의 기본 개념임

시작

새로운 어구를가져온다

끝

등록된어구인가 ?

등록하고어구를 출력한다

사전상의어구 위치를

출력한다

YesNo

No

LZ 부호화의 개념

11

DCT DCT 변환변환DCT DCT 변환변환

JPEG, MPEG, H.261 등의 부호화 과정에 이용

2 차원 행렬로 정의된 영상 데이터를 공간영역 (spatial domain) 에서 주파수 영역 (frequency domain) 으로 변환하는 방법

다양한 종류의 영상 데이의 변환에 적용되며 , 변환 후 양자화 과정을 거쳐 무손실 압축 기법으로 압축하였을 때 높은 압축률을 얻을 수 있어 많이 이용함

12

양자화 기법양자화 기법양자화 기법양자화 기법

양자화 양자 (quantum) 로 불리는 미리 정의된 정보들을 이용하여

데이터를 부호화하는 방법임 양자로 이용되는 정보들이 스칼라 (scalar) 값이면 스칼라

양자화 , 벡터 (vector) 값이면 벡터 양자화라고 함

200115 49 70 81 83 88 75

50 29 12 17 20 21 22 19

- 양자화 전의 데이터

- 4 의 배수로 양자화한 데이터

4 의 배수를 이용한 수열의 양자화

13

예측 기법예측 기법예측 기법예측 기법

예측 기법 (predictive technique) 은 전 ( 과거 ) 정보를 바탕으로 다음 정보를 예측하고 예측 값과 원래 값 간의 오차를 보정함으로써 원래 정보를 복원

PCM PCM 변환은 가장 기본적인 변환 기법으로 아날로그 신호로

들어오는 데이터를 표본화 (Sampling), 양자화(quantization) 를 거쳐 디지털 신호로 변형하는 기법

14


DPCM 인접한 픽셀들의 값을 비교하여 그 차이만을 전송하며 복원할

때는 차이 정보를 이용하여 이 전 값으로부터 새로운 픽셀 값을 계산함

모든 픽셀들의 값을 바로 전송하는 것 보다 연속된 픽셀 값들의 차이만을 전송하는 것이 훨씬 효율적임

기울기 과부하 (slope overload) 현상이 발생 할 수 있음

15


ADPCM 기울기 과부하에 의한 왜곡을 많이 줄일 수 있음

ADPCM(Adaptive DPCM) 의 구현 방법은 값의 차이를 나타내는 비트 수를 적절하게 변화 시키는 것임

ADPCM 의 구현을 위해서는 추가적인 데이터 연산 필요

16

이미지 압축이미지 압축이미지 압축이미지 압축 GIF 압축

GIF 는 LZW(Lempel Ziv Welch) 알고리즘을 사용하여 이미지를 압축함

LZW 는 연속되는 픽셀의 컬러 값의 변화가 없을 경우 Run Length 부호화 방식을 기본으로 사용

수평방향에서 같은 색이 반복되는 경우 더욱 큰 압축 효과를 얻을 수 있음

GIF 는 그림 특성에 따라 압축률이 일정하지 않음

잘못 적용하면 원래 파일 크기보다 더 커질 수 있음

17

JPEG JPEG 압축압축JPEG JPEG 압축압축

JPEG(Joint Photographic Experts Group) 은 ISO 에서 정지 영상을 위한 단일 부호화 표준의 개발을 위해 시작한 표준화 작업

여러 제안된 기법들에 대한 검토를 거쳐 DCT 기반의 부호화 방식이 표준안으로 채택

JPEG 표준은 네 가지 부호화 방식을 제공

18

Fourrier Fourrier 변환변환 (Fourrier Transform)(Fourrier Transform)Fourrier Fourrier 변환변환 (Fourrier Transform)(Fourrier Transform)

어떤 비주기적 신호도 무한개의 주기적 신호로 나뉠 수 있다 .

19

정현파정현파 (Sine Wave)(Sine Wave)정현파정현파 (Sine Wave)(Sine Wave)

20


JPEG 의 부호화 방식

21


영상을 블록으로 나눔

DCT 양자화

허프만 코드테이블

차이 정보로부호화

지그재그로나열

AC 계수 DC 계수

AC 허프만 코드화

DC 허프만 코드화

JPEG 표준의 순차적 모드

22

JPEG JPEG 포맷포맷JPEG JPEG 포맷포맷

23

WaveletWaveletWaveletWavelet

Wavelet 변환은 연속되는 서로 다른 주파수 데이터를 특정 기저함수의 집합으로 분리하는 과정

일반적으로 다른 방식의 압축보다 그 효율이 높다

24

JPEG 2000JPEG 2000JPEG 2000JPEG 2000 기존 DCT 기반 JPEG 을 지원하는 새로운 형태의 정지영상 압축

표준 제정의 필요 Wavelet 부호화 (Short Time Fourrier Transform 과 유사 ) 기법을

DCT 와 함께 표준에 포함 시킴

JPEG2000 인코더가 갖추어야 할 내용

25

비디오 압축비디오 압축비디오 압축비디오 압축 비디오 압축은 공간적 차원의 압축과 시간적 차원의 압축

모두를 사용해야 함 MPEG

MPEG(Moving Picture Experts Group) 은 동영상 표준 부호 방식의 제정을 위해 출범한 단체

비디오 전화용과 디지털 저장매체용 압축방식으로 구분됨 시간적 중복 및 공간적 중복을 제거하는 기법에 그 기반을 두고 있음

원 본 영 상 전 처 리 변 환 양 자 화 코 드

할 당 비 트

스 트 림

MPEG 의 동영상 압축 절차

26

MPEGMPEGMPEGMPEG

MPEG 의 기본 압축 기술은 화면을 세 가지 Picture 로 나누어 부호화를 수행 I(Intra coded) Picture P(Predictive coded) Picture B(Bidirectional coded) Picture

I, P, B Picture 의 시퀀스

B picture

I picture

P picture

P3P2

P1

B1B2I1

B3B4B5B6

B7B8

: B1, B2, I1, B3, B4, P1, B5, B6, P2, B7, B8, P3상영 순서 : I1, B1, B2, P1, B3, B4, P2, B5, B6, P3, B7, B8복호화 순서

27

MPEGMPEGMPEGMPEG

MPEG-1 VHS 수준의 영상을 CD-ROM 에 저장할 목적으로 제정

되었음 시스템 부문 , 비디오 부문 , 오디오 부문 , 적합성 검사

(compliance testing) 부문으로 구성

MPEG-2 디지털 TV 와 DVD 수준의 영상을 목적으로 제정 순차주사 (noninterlace) 와 격행주사 (interlace) 방식

모두를 지원 MPEG-3 는 HDTV 를 목표로 출발하였으나 , 후에

MPEG-2 로 통합됨

28

MPEG-4 음성과 비디오 합성을 목표로 출발한 영상 압축 표준

멀티미디어 통신 서비스를 고려하여 기존 방식과 새로운 기능을 지원하기 위한 부호화를 목표로 함

양방향성 , 높은 압축률 및 다양한 액세스가 가능한 비디오 /오디오의 표준 부호화를 위해 새로운 기술들에 대한 융통성과 확장성의 제공을 제안하고 있음

객체 기반 부호화 (object-based coding) 방법에 대한 연구를 포함하고 있음

MPEGMPEGMPEGMPEG

29

MPEGMPEGMPEGMPEG

MPEG-7 여러 유형의 멀티미디어 정보에 대한 빠르고 효율적인 검색의

필요에 따라 개발됨 여러 가지 멀티미디어 정보를 기술하기 위한 표준화 실시간 , 비실시간 구현이 모두 가능

MPEG-7 처리 과정의 표준

31

MPEG(Moving Picture Experts Group)MPEG(Moving Picture Experts Group)MPEG(Moving Picture Experts Group)MPEG(Moving Picture Experts Group)

MPEG-1 1993년 표준화 완료 (ISO/IEC 11172)1.5Mbps 이하 , VTR 화질 (SIF 영상 )Video CD 용 , 2 채널 stereo

MPEG-2 1995년 표준화 완료 (ISO/IEC 13818)Laser Disc급 이상의 화질 , 5.1 채널 입체 음향4Mbps 이상 , 방송용 , DVD, digital, DBS, HDTV, VOD 에 활용

MPEG-4 1999 년 표준화 완료 ( 버젼 1)고 압축율 , 저 전송용 , 24Kbps ～ 2Mbps객체 지향부호기법 , 비디오 전화 (Video Phone), 멀티미디어 데이터베이스 ( 인터넷 )

MPEG-7 2001 년 표준화 완료내용기반 검색을 필요로 하는 분야에 응용설명기법과 색인기술 집합의 표준화 ,색인정의언어 표준화 , 색인의 코딩방식 표준화현재 연구 진행중

MPEG-21 표준화 진행 중다양한 네트워크 및 장치와 멀티미디어 자원의 효율적 이용 프레임워크들의 구성 요소 연결과 통합프레임워크 표준 정의

MPEG 시스템의 분류

32

H.261/H.263H.261/H.263H.261/H.263H.261/H.263

화상회의를 위해 1990년 ITU 에 의해 제정된 동영상 부호화 표준

ISDN 라인에서 사용하기에 적합 CIF(Common Intermediate Format) 와

QCIF(Quarter-CIF) 의 두 가지 해상도를 지원

H.261 의 CIF 와 QCIF

33

H.323H.323H.323H.323

멀티미디어 화상회의 테이터를 TCP/IP 와 같은 패킷 교환 방식의 네트워크를 통한 전송하기 위한 ITU-T 의 표준

( 음성 압 )축G.711G.722G.729

등.

( 비디오 압 )축H.261H.263

.등

RTPRTCP

RAS채널

H.225

CallSignaling

채널Q.931

CallControl

채널H.245

UDP TCP

IP

H.323

Internet

Protocol

(Applications) - , , 각종 응용 오디오 응용 비디오 응용 시스템 제어

H.323 구조

34

DivXDivXDivXDivX

DVD 를 대체할 목적으로 서킷시티라는 미국 유통업체의 주도로 나타남 .

사용료 지불 방침에 대한 DVD 업체와 시민단체들의 반대로 시장에서 실패 .

Gej 또는 MazMorice 라는 가명을 쓰는 사람이 MicroSoft의 비디오기술 (Mpeg4) 를 조작 , 변경하고 사운드트랙을 최소화 하기 위해 MP3 포맷을 사용한 DivX 코덱을 만들어 전 세계에 퍼짐 .

오픈소스로서 세계 각지의 프로그래머들의 도움을 받아 지속적으로 발전 하고 있다 .

멀티미디어 데이터 압축 / 복원

Documents