제 5 장 . mpeg

67
© 김김김 김김김김김 김김김 © Kim, Lee and Chung, 2005. All rights are reserved. 제 5 제 . MPEG

Upload: xiujuan-ye

Post on 01-Jan-2016

118 views

Category:

Documents


2 download

DESCRIPTION

제 5 장 . MPEG. 목차. MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21. MPEG-1. MPEG-1 표준화 표준화 경위 1980 년대 후반 : CD-ROM 을 기반으로 한 DV-I (Digital Video Interactive). 1988 년 : ISO 산하 영상압축표준화위원회 설립 MPEG (Moving Picture Coding Experts Group) 목표 약 1.5Mbps 의 데이터 전송률 내에 동영상을 인코딩하는 방법 특징 - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: 제  5 장 . MPEG

© 김명호멀티미디어 시스템 © Kim, Lee and Chung, 2005. All rights are reserved.

제 5 장 . MPEG

Page 2: 제  5 장 . MPEG

5 장 – MPEG

2/67

멀티미디어 시스템 개론

목차 MPEG-1

MPEG-2

MPEG-4

MPEG-7

MPEG-21

Page 3: 제  5 장 . MPEG

5 장 – MPEG

3/67

멀티미디어 시스템 개론

MPEG-1

MPEG-1 표준화– 표준화 경위

» 1980 년대 후반 : CD-ROM 을 기반으로 한 DV-I (Digital Vi

deo Interactive).

» 1988 년 : ISO 산하 영상압축표준화위원회 설립MPEG (Moving Picture Coding Experts Group)

– 목표» 약 1.5Mbps 의 데이터 전송률 내에 동영상을 인코딩하는

방법

– 특징» 허용하는 비트 스트림의 구조와 디코더의 구성만을 정의

» 인코더의 기술 구현에는 자유허용

Page 4: 제  5 장 . MPEG

5 장 – MPEG

4/67

멀티미디어 시스템 개론

MPEG-1

파라미터 제한 범위

가로방향 프레임 크기 최대 768 픽셀

세로방향 프레임 크기 최대 576 라인

프레임당 매크로 블록 수 최대 396

초당 매크로 블록 수 최대 396 × 25 ( 초당 25 프레임 ) = 9900 매크로 블록

프레임 전송률 최대 초당 30 프레임 ( 일반적으로 25 프레임 )

데이터 전송률 최대 1,856,000 bits/s

MPEG-1 의 제한 범위

Page 5: 제  5 장 . MPEG

5 장 – MPEG

5/67

멀티미디어 시스템 개론

MPEG-1

MPEG-1 의 특징– 인코딩 단위 : 매크로 블록 (Macroblock)

» 16 X 16 화소의 휘도 블록

» 시간적 화면 상관을 이용하여 정보 압축

– 매크로 블록을 블록으로 세분» 8 X 8 화소의 블록 (4 개의 휘도 블록 , 2 개의 색차 블록 )

» DCT 이용하여 공간정보압축

– GOP(Group of Picture)

» 프레임 내 코딩 정보를 포함하는 인트라 프레임 (I frame) 을 적어도 하나 이상 포함하는 프레임 군

» 임의 접근을 허용

Page 6: 제  5 장 . MPEG

5 장 – MPEG

6/67

멀티미디어 시스템 개론

MPEG-1

– 인코딩처리 시간 허용 / 실시간 디코딩» CD-ROM 등의 읽기 전용 매체 대상

– 상호 비대칭 인코더 / 디코더» MPEG-1 인코더

MPEG 표준에서 정의하고 있지 않다 .

MPEG-1 디코더에서 디코딩 가능한 비트 스트림을 생산하기만 하면 된다 .

» MPEG-1 디코더MPEG-1 표준에서 정의하고 있는 모든 비트 스트림을

디코딩할 수 있어야 한다 .

» 인코더의 복잡도가 디코더 보다 높기 때문에 상호 비대칭 형태가 더 효율적이다 .

Page 7: 제  5 장 . MPEG

5 장 – MPEG

7/67

멀티미디어 시스템 개론

MPEG-1

H.261 과 MPEG-1

H.261 Mpeg 1

주요 대상 통신 미디어 저장 미디어

비트율 p x 64kbps(p = 1~30) ~ 1.5Mbps

디코딩 시작 시점 통신개시 GOP 와 시퀀스 해더

영상 종류 한 가지 (P) 세 가지 ( I / P / B )

예측구조 순방향 예측 양방향 예측

공간상의 코딩 DCT DCT

H.261 과 MPEG-1 의 비교

Page 8: 제  5 장 . MPEG

5 장 – MPEG

8/67

멀티미디어 시스템 개론

MPEG-1

MPEG-1 의 구조– 픽쳐 시퀀스

» MPEG-1 영상 구조의 최상위 단위

» 임의 길이의 동영상

– 픽쳐 그룹 (GOP)

» 일반적으로 10 ~ 30 개의 픽쳐들로 구성

시퀀스 헤더

GOP시퀀스 헤더

GOP …시퀀스 헤더

GOP시퀀스 종료 코드

I B B B P B ... P

Page 9: 제  5 장 . MPEG

5 장 – MPEG

9/67

멀티미디어 시스템 개론

MPEG-1

– 픽쳐

» 인코딩된 개별 이미지

I B B B P B ... P

I

슬라이스

Page 10: 제  5 장 . MPEG

5 장 – MPEG

10/67

멀티미디어 시스템 개론

MPEG-1

» MPEG-1 에서 영상의 전체 이미지인 프레임은 프레임 전체를 인코딩한 픽쳐로 구성된다 .

MPEG-2 이후 부터는 프레임 외의 구조로 인코딩된 픽쳐도 사용된다 .

» MPEG-1 은 비월 (interlace) 개념을 포함하고 있지 않다 .

» 인트라 프레임 vs 비 - 인트라 프레임인트라 프레임 (intra: within, inside): 해당 프레임 내의

정보만으로 인코딩되어 있는 프레임 I- 프레임

비 - 인트라 프레임 : 해당 프레임이외의 다른 프레임의 정보를 함께 참조 하여 인코딩되어 있는 프레임

P- 프레임 , B- 프레임

Page 11: 제  5 장 . MPEG

5 장 – MPEG

11/67

멀티미디어 시스템 개론

MPEG-1

– 슬라이스

» 연속된 매크로 블록들

» 독립된 인코딩 / 디코딩 단위한 슬라이스 내의 임의 데이터의 손상이 있을 경우 , 해당

슬라이스는 디코딩되지 못한다 .

– 매크로 블록» 16 X 16 구역의 픽셀 정보에 해당하는 구조

– 블록» 매크로 블록 내의 8 X 8 정보에 해당하는 구조

» DCT 변환의 대상

MB MB MB MB MB ... ... ...

Page 12: 제  5 장 . MPEG

5 장 – MPEG

12/67

멀티미디어 시스템 개론

MPEG-1

프레임– 인트라 프레임

» I- 프레임 : 프레임 내 인코딩 영상GOP 의 독립성 확보동영상의 프레임 순서로 인코딩영상 이미지 내의 모든 정보로 구성

– 비 - 인트라 프레임» P(Predictive)- 프레임 : 프레임간 (inter) 순방향 예측

인코딩 영상 I, P- 프레임으로부터 예측 수행에 의해 생성동영상의 프레임 순서로 인코딩영상 이미지 내의 정보와 순방향 예측 정보로 구성

Page 13: 제  5 장 . MPEG

5 장 – MPEG

13/67

멀티미디어 시스템 개론

MPEG-1

» B(Bidirectionally predictive)- 프레임 : 양방향 예측 인코딩 영상

I, P- 프레임을 처리한 후 동영상의 프레임 순서로 그 사이의 B- 프레임을 인코딩

영상 이미지 내의 정보 , 순방향 예측 정보 , 그리고 역방향 예측정보 및 양방향 예측 정보 (interpolative) 로 인코딩

Page 14: 제  5 장 . MPEG

5 장 – MPEG

14/67

멀티미디어 시스템 개론

MPEG-1

픽쳐 그룹 (GOP: Group Of Pictures)– 원 영상 순서 별 GOP

I

P

B

1 2 3 4 5 6 7 8 9 10 11 12 13

픽쳐 그룹 (GOP)

시간축

Page 15: 제  5 장 . MPEG

5 장 – MPEG

15/67

멀티미디어 시스템 개론

MPEG-1

– 코딩 순서 별 GOP

I

P

B

1 5 2 3 4 9 6 7 8 13 10 11 12

픽쳐 그룹 (GOP)

코딩 순서

Page 16: 제  5 장 . MPEG

5 장 – MPEG

16/67

멀티미디어 시스템 개론

MPEG-1

매크로 블록

1

43

2

16

16

8

8

Y

Cb

Cr

Y

Cb Cr1 2

3 4

5 6

Page 17: 제  5 장 . MPEG

5 장 – MPEG

17/67

멀티미디어 시스템 개론

MPEG-1

– 16 X 16 구역의 휘도 정보와 색상 정보로 구성

– Y:Cb:Cr (4:2:0 색 비율 포맷 )

» 휘도 : 영상 밝기 (Y)

» 색차 : 영상 색차 정보 (Cb, Cr)휘도 정보에 비해 ½ 만큼 샘플링

X X

X X

X 휘도 샘플

색차(Cb) 샘플

X X

X X

X X

X X

X X

X X

색차(Cr) 샘플

가로축

세로축

Cb, Cr이 영향을 미치는 범위

프레임

Page 18: 제  5 장 . MPEG

5 장 – MPEG

18/67

멀티미디어 시스템 개론

MPEG-1

– DCT (Discrete Cosine Transform)

» 8 X 8 블록 대상

» 영상 인코딩 과정① 한 프레임의 영상을 8 X 8 블록으로 분할한다 .

② 각 블록마다 DCT 를 수행한다 .

③ 변환된 계수들을 양자화 스텝 (Quantization step) 으로 나눈다 .- 양자화

» 영상 디코딩 과정① 8 X 8 계수 블록의 각 값에 양자화 스텝을 곱한다 .-

역양자화

② 각 블록마다 IDCT (Inverse DCT) 를 수행한다 .

Page 19: 제  5 장 . MPEG

5 장 – MPEG

19/67

멀티미디어 시스템 개론

MPEG-1

– 양자화» 정보의 값을 특정 수로 나누어 작은 수로 표현하는 것

DCT 변환 계수의 양자화 값은 정수로 표현양자화를 통해 0 값을 갖게 된 계수들은 이후 압축 코딩 된다 .

기본 양자화표 : (a) 인트라 코딩의 경우 , (b) 인터 코딩의 경우

8 2726221916 29 34

16 2927242216 34 37

22 3532292726 40 48

16 3429272622 34 28

22 3429272622 37 40

26 4035322927 48 58

26 4638342927 56 69

27 5646383529 69 83

16 16161616161616

16 16161616161616

16 16161616161616

16 16161616161616

16 16161616161616

16 16161616161616

16 16161616161616

16 16161616161616

(a) (b)

Page 20: 제  5 장 . MPEG

5 장 – MPEG

20/67

멀티미디어 시스템 개론

MPEG-1

MPEG-1 코덱– MPEG-1 인코더

프레임 레코더

움직임 예측기

참조 프레임

DCT 양자화

역 양자화

역DCT

예측 인코더

가변 길이

인코더

전송 버퍼

코딩 제어기

움직임 벡터

영상 입력

전송/저장

Page 21: 제  5 장 . MPEG

5 장 – MPEG

21/67

멀티미디어 시스템 개론

MPEG-1

– MPEG-1 디코더

가변 길이

디코더

움직임 예측기

참조 프레임

역 양자화

IDCT

예측 디코더

코딩 데이터 입력

출력 영상

프레임 레코더

움직임 벡터

DC 계수

Page 22: 제  5 장 . MPEG

5 장 – MPEG

22/67

멀티미디어 시스템 개론

MPEG-2

MPEG-2 의 표준화– 표준화 경위

» 1991 년 MPEG-1 표준화 완료

» 1993 년 MPEG-2 발표

– 목표» 5~10 Mbps 정도로 현행 TV 품질 실현

» HDTV 품질 실현을 위한 Mpeg 3 의 전 작업으로 시작최종적으로 Mpeg 3 탈락 (Mpeg 2 스펙에 포함 )

1993 년 미국의 차세대 TV 방송 방식으로 채택

Page 23: 제  5 장 . MPEG

5 장 – MPEG

23/67

멀티미디어 시스템 개론

MPEG-2

– 특징» 저장 미디어 뿐만 아니라 방송 미디어의 적용 고려

» HDTV 품질까지 확장 가능

» 점진적 주사 및 비월 주사 영상 취급 가능

» 확장 적응성 (Scalability, 스케일러빌러티 ) 지원공간해상도의 일부 비트열을 가지고 작은 해상도의 display

를 가능하게 한다 .

» 역방향 호환성 (backward compatibility) 을 갖는다 .MPEG-2 디코더는 MPEG-1 영상의 디코딩도 가능하다 .

Page 24: 제  5 장 . MPEG

5 장 – MPEG

24/67

멀티미디어 시스템 개론

MPEG-2

MPEG-2 목표– 상호 운용성 (Interoperability)

» 통신 , 방송 , 저장 기기 등 다른 미디어사의의 호환성 및 정보 교환 가능

– 확장 적응성 (Scalability)

» 코딩된 일부의 비트열을 통해 하위 해상도의 영상 재생 가능

– 확장성 (Extensibility)

» 어떤 비트율로 전송되는 영상에 부가 정보만을 추가하여 전체 해상도를 쉽게 높일 수 있다 .

» 5Mbps ( 일반 TV 품질 ) + 10Mbps ( 부가 정보 ) = 15Mbps (HDTV 품질 )

Page 25: 제  5 장 . MPEG

5 장 – MPEG

25/67

멀티미디어 시스템 개론

MPEG-2

분야 응용

방송 CATV, 위성방송 , 일반 전파를 이용한 디지털영상예 ) TV 방송 , 영화 등

통신 통신망을 통한 고품질 디지털 영상예 ) 영상회의 , 영상전화 , 감시 시스템 등

컴퓨터 디지털 저장 매체 (CD-ROM, HDD) 를 이용한 고화질 디지털 영상예 ) 영화 , 멀티미디어 시스템 , 가요반주기 등

MPEG-2 의 분야별 응용

Page 26: 제  5 장 . MPEG

5 장 – MPEG

26/67

멀티미디어 시스템 개론

MPEG-2

MPEG-1 과 MPEG-2– 색 공간 (color space)

» 4:2:0 및 4:2:2, 4:4:4 코딩 지원

– 슬라이스 구조» 연속된 매크로 블록의 모임

» 독립된 코딩 단위

» MPEG-2 에서 슬라이스의 최대 크기는 영상의 한 행 크기이다 .

– 양자화» MPEG-1 DC 계수의 양자화 정밀도 : 8-bit

» MPEG-2: 픽쳐별 8, 9, 10-bit 양자화 정밀도 허용

Page 27: 제  5 장 . MPEG

5 장 – MPEG

27/67

멀티미디어 시스템 개론

MPEG-2

– 은닉 움직임 벡터» 데이터 손실 상황에 대비해 I- 프레임에 자신의 프레임을

참조 대상으로 하는 움직임 벡터를 부여하는 것» 데이터 손실 발생시 참조 대상인 주변 블록으로부터 해당

정보를 대체

– 픽쳐 구조» 프레임 구성

MPEG-1: 프레임 픽쳐로만 구성MPEG-2: 프레임 픽쳐 또는 필드 픽쳐로 구성

– 유연성» 인코더와 디코더의 다양한 응용및 호환을 가능하게 함» 프로화일 (profile) : 기능상의 분류» 레벨 (level): 데이터 양의 분류

Page 28: 제  5 장 . MPEG

5 장 – MPEG

28/67

멀티미디어 시스템 개론

MPEG-2

색 공간

7

3 4

1 2 5 6

Y Cb Cr

4:2:0

3 4

1 2 54:2:2

3 4

1 24:4:4

8

6

7 11

5 9

8 12

6 10

Y 샘플Cb 샘플Cr 샘플

MPEG-2 의 색 비율과 그에 따른 코딩순서 및 샘플링

Page 29: 제  5 장 . MPEG

5 장 – MPEG

29/67

멀티미디어 시스템 개론

MPEG-2

비월 주사 (interlaced scan) 기술

1/30 초

프레임

프레임

프레임

1/60 초 1/30 초

프레임

상위 필드

하위 필드

프레임

상위 필드

하위 필드

시간

점진적 주사 (progressive scan) 비월 주사 (interlaced scan)

Page 30: 제  5 장 . MPEG

5 장 – MPEG

30/67

멀티미디어 시스템 개론

MPEG-2

– 픽쳐 구조» 프레임 픽쳐

전체 프레임이 하나의 픽쳐로 구성

» 필드 픽쳐전체 프레임이 여러 개의 필드 픽쳐들로 구성상위 (upper) 필드와 하위 (lower) 필드로 각각 이루어진

픽쳐가 하나의 프레임을 구성

상위 필드

하위 필드

상위 필드

하위 필드

Y 샘플Cb 샘플Cr 샘플

Page 31: 제  5 장 . MPEG

5 장 – MPEG

31/67

멀티미디어 시스템 개론

MPEG-2

– 프레임 DCT

» 매크로 블록은 8 X 8 크기의 블록으로 나뉘어 순서대로 DCT

변환된다 .

2라인

1

3 4

1 2

3 4매크로블록(휘도정보)

블록

Page 32: 제  5 장 . MPEG

5 장 – MPEG

32/67

멀티미디어 시스템 개론

MPEG-2

– 필드 DCT

» 상위 / 하위 필드의 8 개 라인을 취하여 DCT 의 대상이 되는 8 X

8 크기의 상위 / 하위 블록을 구성

좌측 우측

매크로블록(휘도정보)

라인

Page 33: 제  5 장 . MPEG

5 장 – MPEG

33/67

멀티미디어 시스템 개론

MPEG-2

– DCT 계수의 스캔 패턴 (pattern)

» DCT 계수 스캔양자화된 DCT 계수들을 0 인 값과 0 이 아닌 값들로

구분하여 1 차원의 열로 나열하는 것구분되어진 DCT 계수들은 가변 길이 코딩의 방법으로 압축

» 45o 지그재그 스캔MPEG-1 부터 사용되는

일반적인 스캔방법프레임 픽쳐 구조에 적합

Page 34: 제  5 장 . MPEG

5 장 – MPEG

34/67

멀티미디어 시스템 개론

MPEG-2

» 67.5o 지그재그 스캔MPEG-2 에서 소개된

스캔방법필드 픽쳐 구조에 적합

Page 35: 제  5 장 . MPEG

5 장 – MPEG

35/67

멀티미디어 시스템 개론

MPEG-2

확장 적응성 (scalability, 스케일러빌러티 )– 데이터 스트림의 계층 구조

» 기본 계층 (basic layer)데이터 스트림 내 반드시 디코딩되어야 하는 계층

» 향상 계층 (enhancement layer)필요에 따라 추가적으로 디코딩되어 영상을 향상시키기 위한

계층

– 공간적 스케일러빌러티» 저해상도의 기본 계층과 고해상도 구성을 위한 추가 정보를

가진 향상 계층으로 구성

Page 36: 제  5 장 . MPEG

5 장 – MPEG

36/67

멀티미디어 시스템 개론

MPEG-2

– 시간적 스케일러빌러티» 동일한 해상도의 영상에 대해 서로 다른 데이터 전송량을

지원

» 기본 계층보다 초당 프레임 수가 높은 향상 계층 구성

예 ) 30Hz 와 60Hz 의 점진적 주사 영상을 단일 데이터 스트림에서 함께 구성

– SNR (Signal to Noise Ratio) 스케일러빌러티» 신호 대 잡음비 (SNR) 가 클 경우에 대한 고화질 영상과

반대의 경우에 대한 저화질 영상을 향상 계층 과 기본 계층으로 함께 구성

Page 37: 제  5 장 . MPEG

5 장 – MPEG

37/67

멀티미디어 시스템 개론

MPEG-2

레벨과 프로화일– MMPEG-2 의 다양한 기술들간의 상호 호환성을 위한

분류 기준

– 프로화일 : 툴과 구성 요소 등의 기능별 분류» 단순 , 메인 , SNR, Spatial, 하이 , 4:2:2

– 레벨 : 각 profile 분류에 대해 비트 스트림내의 데이터 양을 기준으로 분류» 하이 , 하이 1440, 메인 , 로우

– 표기법» 프로화일 @ 레벨

예 ) 메인 프로화일의 메인 레벨 : MP@ML

Page 38: 제  5 장 . MPEG

5 장 – MPEG

38/67

멀티미디어 시스템 개론

MPEG-2

레벨프로화일

단순 메인 SNR Spatial 하이 4:2:2향상계층 기본계층 향상계층 기본계층

하이1920H1152V60 Hz

1920H1152V60Hz

960H576V30 Hz

1920H1152V60Hz

하이 14401440H1152V60 Hz

1440H1152V60 Hz

720H576V30 Hz

1440H1152V60 Hz

720H576V30 Hz

메인720H576V30 Hz

720H756V30 Hz

720H576V30 Hz

720H576V30 Hz

352H288V30 Hz

720H512/608

V30 Hz

로우352H288V30 Hz

352H288V30 Hz

Page 39: 제  5 장 . MPEG

5 장 – MPEG

39/67

멀티미디어 시스템 개론

MPEG-4

MPEG-4 표준화– 1993 년 MPEG-4 표준화 시작

» MPEG-3 표준안 취소 : MPEG-2 에 포함

– 목표» 초기 낮은 데이터 전송률 환경에도 적합한 동영상 인코딩

방법의 목표에서 다양한 환경에서의 멀티미디어 데이터를 위한 범용 코딩 표준으로 확장

– 특징» 다양한 데이터 전송률 환경에서의 비디오 및 음성 코딩

성능 향상 목표64 kbps 이하64 kbps ~ 384 kbps

384 kbps ~ 4 Mbps

Page 40: 제  5 장 . MPEG

5 장 – MPEG

40/67

멀티미디어 시스템 개론

MPEG-4

– 객체 개념 도입» 비디오 객체와 오디오 객체가 개별적 혹은 복합적으로

인코딩되고 전송되어 최종 장면 (scene) 을 구성할 수 있다 .

» 디코더 단말 측에서 장면 구성을 위한 다양한 조작이 가능

» 구성텍스쳐 (texture) 정보와 형태 (shape) 정보

Page 41: 제  5 장 . MPEG

5 장 – MPEG

41/67

멀티미디어 시스템 개론

MPEG-4

MPEG-4 시스템

장면 디스크립션(Scene Description)

비디오(Natural and Synthetic Video)

오디오(Natural and Synthetic Audo)

동기화(Synchronization Layer)

전송매체와의 인터페이스(DMIF: Delivery Layer)

다중화(TransMux layer)

Page 42: 제  5 장 . MPEG

5 장 – MPEG

42/67

멀티미디어 시스템 개론

MPEG-4

– MPEG-4 시스템의 동영상 처리 과정

카메라 장면

장면을 객체들로 분할추가 객체

다중화기

객체 인코딩

객체 인코딩

객체 인코딩

객체 인코딩

객체 인코딩

추가 객체

역다중화기

객체 디스크립터

객체 디코딩

객체 디코딩

객체 디코딩

객체 디코딩

객체 디코딩

디스플레이

장면 합성

Page 43: 제  5 장 . MPEG

5 장 – MPEG

43/67

멀티미디어 시스템 개론

MPEG-4 MPEG-4 의 동영상 구조

– 객체» 비디오 객체 : 시간에 따라 변하는 동영상 내 일반 객체» 정지 텍스트 객체 : 시간과 무관하게 변하지 않는 객체» 구성

텍스쳐 정보 휘도 및 색차 정보

형태 정보 : 알파 데이터 객체의 형태를 나타내는 정보 객체가 차지하는 부분과 나머지 여백 부분에 서로 다른 이진

값을 대응시킨 , 객체를 포함하는 사각형으로 표현

– VOP (Video Object Plane) » 해당 객체에 대해 일정한 시간 간격으로 샘플링된 일련의

정보들» 인트라 코딩 또는 인터 코딩 적용

Page 44: 제  5 장 . MPEG

5 장 – MPEG

44/67

멀티미디어 시스템 개론

MPEG-4

– GOV (Group Of VOPs)

» GOP 와 유사한 개념으로 VOP 들의 그룹

» GOV 단위로 임의 접근 가능

» GOV 의 구조는 선택 사항

– VOL (Video Object Layer)

» 스케일러빌러티를 제공하기 위한 구조

» 기본 계층과 향상 계층으로 구성

Page 45: 제  5 장 . MPEG

5 장 – MPEG

45/67

멀티미디어 시스템 개론

MPEG-4

– MPEG 의 영상 처리 과정» MPEG-1, MPEG-2

» MPEG-4

MPEG-2 인코더영상 입력

비트 스트림 MPEG-2 디코더영상 출력

MPEG-2 인코더

영상 입력

비트 스트림객체 랜더링

영상 출력

객체 데이터합성 데이터

객체 혼합

MPEG-4 디코더

Page 46: 제  5 장 . MPEG

5 장 – MPEG

46/67

멀티미디어 시스템 개론

MPEG-4

MPEG-4 의 기능– 영상의 해상도 및 주사 (scan) 방법

» sub-QCIF (128 X 96) 에서 초고해상도 (4k X 4k)

정도까지로 매우 광범위

» 점진적 주사 및 비월 주사

– 전송률에 따른 다양한 객체별 코딩 방법 제공» 형태 코딩 , 텍스쳐 코딩 , 메시 코딩 및 애니메이션 변수

코딩 등

– 내용 기반 (content-based) 코딩» 임의 형태 (arbitrary shape) 코딩

» 비디오 객체 단위로 독립적 인코딩 및 디코딩 가능

Page 47: 제  5 장 . MPEG

5 장 – MPEG

47/67

멀티미디어 시스템 개론

MPEG-4

– 확장 적응성 (scalability, 스케일러빌러티 )

» 공간적으로 최대 11 단계 지원

» 시간적으로 최대 3 단계 지원

» FGS (Fine Grain Scalability) 프로화일응용 시스템의 컴퓨팅 파워와 전송 대역폭이 매우 급변해서

예측이 불가능한 스트리밍에 적합한 스케일러빌러티를 정의

– 고장 감내성» 오류 발생이 빈번하거나 데이터 전송률이 매우 낮은 (64kbp

s 이하 ) 환경에 사용 가능한 코딩 알고리즘 제공

– 애니메이션» 인조 합성 객체 구성 및 코딩에 대한 기능 제공

» 얼굴과 몸 애니메이션

Page 48: 제  5 장 . MPEG

5 장 – MPEG

48/67

멀티미디어 시스템 개론

MPEG-4

MPEG-4 코딩– 형태 코딩

» 이진 알파 (binary alpha) 데이터0 과 1 로 형태 표현

» 그레이 형태 마스크 (gray shape mask)그레이 값을 통해 객체 이미지의 투명 정도를 세밀하게 표현픽셀당 8-bit 정규화 값

256 단계 : 0(객체 밖 ) ~ 255(불투명 객체 내 )

– 텍스쳐 코딩» 인트라 코딩 및 인터 코딩

I, B, P-VOP

» 경계 사각형 (boundary rectangle) 을 매크로 블록으로 분할

Page 49: 제  5 장 . MPEG

5 장 – MPEG

49/67

멀티미디어 시스템 개론

MPEG-4

– 경계선 코딩» 임의 형태 객체에서 경계 사각형 내의 객체 밖 픽셀 정보는

비효율적인 DCT 변환의 요인

» 패딩 (padding) 을 통한 효율적인 코딩 기법 제공

(a) 경계 블록 (b) 수평 방향 패딩 (c) 수직 방향 패딩

Page 50: 제  5 장 . MPEG

5 장 – MPEG

50/67

멀티미디어 시스템 개론

MPEG-4

– 스프라이트 (sprite) 코딩

스프라이트(배경 장면)

디스플레이 화면

Page 51: 제  5 장 . MPEG

5 장 – MPEG

51/67

멀티미디어 시스템 개론

MPEG-4

MPEG-4 의 확장 적응성– 객체 수준의 시간 및 공간 스케일러빌러티 제공

다운 컨버터

다중화기

향상 계층

인코더

기본 계층

디코더

기본 계층

인코더

입력 VOP -

업 컨버터

다중화 출력

향상 계층 VOL

기본 계층 VOL

공간 스케일러빌러티 인코더

Page 52: 제  5 장 . MPEG

5 장 – MPEG

52/67

멀티미디어 시스템 개론

MPEG-4

MPEG-4 프로화일– 자연 영상 프로화일

» 단순 (simple) 영상 프로화일모바일 네트워크 응용 , 강한 고장 감내성

» 단순 스케일러빌러티 영상 프로화일객체의 시공간적 스케일러빌러티를 지원인터넷 등의 가변 전송률 환경에 적합

» 코어 (core) 영상 프로화일단순 스케일러빌러티 영상 프로화일에 임의 형태 객체 지원내용의 상호작용이 필요한 인터넷 멀티미디어 응용 시스템에

적합

Page 53: 제  5 장 . MPEG

5 장 – MPEG

53/67

멀티미디어 시스템 개론

MPEG-4

» 메인 (main) 영상 프로화일코어 영상 프로화일에 비월 주사 , 스프라이트 객체 및 반투명

기술 ( 그레이 형태 마스크 ) 을 추가DVD 응용 시스템에 적합

» N- 비트 영상 프로화일코어 영상 프로화일에서 픽셀 정보의 다양한 깊이 지원

4 ~ 12 bits (MPEG-2 에서는 8 bits 만 사용 )

감시 시스템 등에 적합

– 인조 합성 및 자연 / 인조 합성 혼합 영상 프로화일» 단순 얼굴 애니메이션 영상 프로화일

AV 프리젠케이션 시스템 등에 적합한 얼굴 모델 애니메이션 관련 프로화일

Page 54: 제  5 장 . MPEG

5 장 – MPEG

54/67

멀티미디어 시스템 개론

MPEG-4

» 스케일러블 텍스쳐 영상 프로화일정지 텍스쳐 객체의 공간 스케일러빌러티 지원고해상도 디지털 카메라나 게임 메시 객체의 텍스쳐 매핑

등의 응용에 적합

» 기본 (basic) 2 차원 애니메이션 영상 프로화일공간 , SNR 스케일러빌러티 및 정지 영상에 대한 메시 기반 애니메이션과 단순 얼굴 객체 애니메이션 지원

» 혼합 (hybrid) 영상 프로화일자연 영상 비디오 객체 및 인조 합성 영상 객체의 혼합 디코딩

지원다양한 멀티미디어 응용시스템에 적합

Page 55: 제  5 장 . MPEG

5 장 – MPEG

55/67

멀티미디어 시스템 개론

MPEG-7

MPEG-7 의 소개– 일반 멀티미디어 내용 디스크립션 표준

– 2002 년부터 2004 년 ( 현재 ) 에 걸쳐 표준 발표

– Why 7? (not 5, 6)

» MPEG-1, MPEG-2, MPEG-4, MPEG-7

– MPEG-7 은 멀티미디어 메타데이터에 대한 구문법 (synt

ax) 을 정의

특징 추출 검색 엔진표준 디스크립션

MPEG-7 의 영역

Page 56: 제  5 장 . MPEG

5 장 – MPEG

56/67

멀티미디어 시스템 개론

MPEG-7

예 ) 비디오 영상 검색 시스템

입력 비디오

특징 추출/ 디스크립션

생성

유사도 매칭

필터링

디스크립션 생성기

질의 텍스트디스크립션 Database

사용자 권한 제어

관리자

매칭 변수

데이터 서버

사용자

질의 비디오

Page 57: 제  5 장 . MPEG

5 장 – MPEG

57/67

멀티미디어 시스템 개론

MPEG-7

MPEG-7 의 구조– 기본 개념

» 피쳐 (feature)멀티미디어 데이터의 특징적 요소디스크립션의 대상

» 디스크립터 (descriptor)피쳐의 표현구문법 (syntax) 과 의미 (semantics) 를 포함

예 ) 피쳐 : 제목

디스크립터 : 문자열

디스크립터 값 : “멀티미디어”

Page 58: 제  5 장 . MPEG

5 장 – MPEG

58/67

멀티미디어 시스템 개론

MPEG-7

» 디스크립션 스킴 (scheme)메타데이터의 구조디스크립션 정의 언어로 기술

» 디스크립션 정의 언어 (DDL: Description Definition Langua

ge)XML 포맷으로 정의

– MPEG-7 표준 파트» 시스템 / 디스크립션 정의 언어 / 비주얼 / 오디오 /

멀티미디어 디스크립션 스킴 / 참조 소프트웨어 / 적합성 테스트 / 디스크립션 추출 및 사용 정보

Page 59: 제  5 장 . MPEG

5 장 – MPEG

59/67

멀티미디어 시스템 개론

MPEG-21

MPEG-21 의 소개– 멀티미디어 전달과 사용을 위한 기본 체계에 대한 표준– Why 21?

» 21 세기 멀티미디어 사용의 확장을 대상으로 하는 의미– 2000 년 표준화 시작 이후 2004 년까지 MPEG-21 의 많은

부분이 표준으로 발표– 목표

» 네트워크의 다양성과 디바이스간의 차이와 무관하게 멀티미디어 데이터를 배포 사용할 수 있는 체계 구성

Page 60: 제  5 장 . MPEG

5 장 – MPEG

60/67

멀티미디어 시스템 개론

MPEG-21

– 기본 개념» 디지털 아이템

MPEG 표준에 의해 표현되고 구조화된 디지털 객체멀티미디어 데이터 + 메타데이터

» 사용자데이터의 생성 , 소비 , 관리 , 및 배포 역할을 수행하는 모든

대상

– 주요 파트 (2004 년 11 월 현재 )

» Vision, Technology and StrategyMPEG-21 의 목표 및 기술 전략멀티미디어 프레임워크와 구성요소 및 스펙

Page 61: 제  5 장 . MPEG

5 장 – MPEG

61/67

멀티미디어 시스템 개론

MPEG-21

» Digital Item Declaration 디지털 아이템 정의를 위한 추상화 도구 및 스키마의 표준

» Digital Item Identification모든 형태의 디지털 아이템 표현을 위한 체계 기술

» Intellectual Property Management and Protection

Components지적 재산권

» Rights Expression Language (REL)권리 및 승인 정보를 기술하기 위한 기계 처리 언어

» Rights Data DictionaryREL 을 구성하기 위해 필요한 용어 (term) 정의

Page 62: 제  5 장 . MPEG

5 장 – MPEG

62/67

멀티미디어 시스템 개론

MPEG-21

» Digital Item Adaptation멀티미디어 환경에서 다양한 데이터 포맷 및 코덱 사이의

호환 기술

» Reference SoftwareMPEG-21 의 내용을 실제 구현한 응용 소프트웨어들

» File Format각 디지털 아이템들이 코딩된 파일 포맷들에 대한 분류 및

처리 방법

» Event Reporting모든 이벤트 발생 처리에 대한 인터페이스와 표준 체계

Page 63: 제  5 장 . MPEG

5 장 – MPEG

63/67

멀티미디어 시스템 개론

요약 1980 년대 후반부터 디지털 데이터의 코딩연구 진행

– MPEG 표준의 등장 MPEG-1

– CD- 오디오의 데이터 전송률에 적합한 영상 및 오디오 압축 기술을 통해 CD-ROM 에 동영상 저장을 목표

MPEG-2– 5 ~ 10 Mbps 정도에서 TV 품질 실현을 목표– HDTV 기술을 포함하면서 통신 , 가전 , 컴퓨터 및 방송에

이르는 광범위 분야에 적합한 표준으로 발전

Page 64: 제  5 장 . MPEG

5 장 – MPEG

64/67

멀티미디어 시스템 개론

요약 MPEG-4

– 개인용 휴대기기 등의 매우 낮은 데이터 전송률 환경 지원을 목표로 표준화 시작

– 객체 개념 도입을 통해 자연 영상 뿐만 아니라 인조 합성 영상과 오디오까지 다루는 인터넷 시대의 멀티미디어 코딩의 표준으로 발전

MPEG-7– 멀티미디어의 검색 및 관리를 위한 내용 기술

MPEG-21– 멀티미디어 데이터의 배포 및 사용에 관한 표준

Page 65: 제  5 장 . MPEG

5 장 – MPEG

65/67

멀티미디어 시스템 개론

요약 디지털 기술의 발전과 더불어 변화되는 사용자들의

요구에 발맞추어 MPEG 표준은 지속적으로 변화할 것이다 .

Page 66: 제  5 장 . MPEG

5 장 – MPEG

66/67

멀티미디어 시스템 개론

참고 문헌 Poynton, C., Digital Video and HDTV, John Wiley & Sons, 2001

Mitchell, J., Pennebaker, W., Fogg, C., and LeGall, D., MPEG Vide

o Compression Standard, Chapman & Hall, 1997

Multifunctional Ad hoc Group, "Core experiments Description", ISO

/IEC JTC1/SC29/WG11 N1266, March 1996

Symes, P., Video Compression Demystified, McGraw-Hill, 2001

후지와라 히로시 , 정제창 역 , 그림으로 보는 최신 MPEG,

교보문고 , 1995

미키 스케이치 , 고성제 역 , MPEG-4 의 세계 , 영풍문고 , 1999

Richardson, Iain E. G., “H.264 and MPEG-4”, John Wiley&Sons Lt

d., 2003

Page 67: 제  5 장 . MPEG

5 장 – MPEG

67/67

멀티미디어 시스템 개론

참고문헌 Manjunath, B. S., Salembier, P, and Sikora, T., Introduction to MPE

G-7: Multimedia Content Description Interface, John Wiley & Sons, 2002

Koenen, R., “Overview of the MPEG-4 Standard”, ISO/IEC JTC1/SC29/WG11 N1909, Oct 1997

Liu, P., “MPEG-7: The Generic Multimedia Content Description Standard, part 1”, IEEE, 2002

Burnett, I., Walle, R., Hill, K., Bormans, J., and Pereira, F., “MPEG-21: Goals and Achievements”, IEEE, 2003

Watkinson, John, “The MPEG Handbook”, Focal Press, 2004 “ISO MPEG standard”,

http://www.iso.ch/iso/en/prods-services/popstds/mpeg.html “MPEG Pointers and Resources”, http://www.mpeg.org/MPEG/inde

x.html