ROI를 이용한 H.264 SVC 에서의 다중 채널 네트워크 비디오 전송

기법

이정환 O, 류은석, 유혁

고려대학교 컴퓨터학과

Multi Channel Adaptive SVC Video Streaming with ROI

Jung-Hwan LeeO, Eun-Seok Ryu, Hyuck Yoo

Department of Computer Science and Engineering, Korea University

{jhlee, esryu, hxy}@korea.ac.kr

요 약

H.264 의 ScalabilityExtention 기법은 한번의 인코딩으로 사용자의 기기와 네트워크 환경에 적응

적으로 대응 할 수 있도록 설계되었다. 이를 활용하여 단일 채널에서 뿐만 아니라 다중채널에

서 비디오 전송을 한다면 화질 개선 효과뿐만 아니라 에러내성도 높아질 것이다. 또한 전체 영

상에서 ROI 영상을 추출하여 전송 시 우선순위를 두어 주관적인 화질을 개선 할 수 있다.

본 논문은 다중채널 네트워크 환경에서의 ROI 기법을 응용한 H.264/SVC 를 이용하여 사용자의

네트워크 환경을 최대한 활용하며, 비디오 정보에 우선순위를 두어 객관적, 주관적 화질 개선

이 가능하다.

1. 서 론

Wibro, EVDO, HSDPA, WLAN 등 무선 네트워크 서

비스는 네트워크 기술의 발달과 서비스 지역의 확

대로 인해 점차 보편화 되어 가고 있다.

그 예로 수도권을 중심으로 본격적인 서비스를 준

비하고 있는 Wibro 와 802.11a/b/g 기반의 AP(Access

Point) 가 전국에 걸쳐 설치되어 있다.

이런 다양한 무선 네트워크 환경을 이용하는 연구

로는 MIMO(Multi Input Multi Output) 기술과 경로 다

변화(Path Diversity)기법이 있다[2,3].

이런 기법들은 하나의 네트워크 인터페이스의 대역

폭을 증가시키지는 않지만, 다중 네트워크 인터페이

스의 사용과 경로 다중화를 이용하여 전송 성능을

향상 시킬 수 있다. 하지만 무선 네트워크 상황이란

지터(Jitter)와 그에 따른 패킷 에러가 발생하는 불안

한 상황이다.

이런 상황에서 비디오를 효과적으로 전송하기 위해

서 비디오 코덱에 Scalability 기법이 적용되었으며,

그 중에서도 최근에 표준안이 완성된 H.264/SVC 는

레이어별 선택적인 전송이 가능하다.

본 논문에서는 다중 네트워크 인터페이스를 지원하

는 기기에 다중 채널 기법을 적용하여 사용자에게

더 높은 화질의 비디오를 전송하는데 그 의의가 있

다. 또한 Scalable Extension 기법에 적응적 ROI(region

of interest)를 적용하여 그림 1 과 같이 비디오 데이

터의 우선순위를 선정한 후 전송 함으로써 일부 네

트워크 채널에 혼잡(Congestion)이 발생한 상황에서

도 최소한의 대역폭만 보장한다면 중요 영역을 끊

김 없이 볼 수 있다.

그림 1. ROI 기법을 이용한 멀티 채널 전송 시스템

2. 관련 연구

2.1. H.264 Scalable Extension(SVC) H.264/SVC 란 H.264/AVC 를 기반으로 하는 비디오

전송방법으로써 다양한 전송 네트워크와 다양한 수

신 기기에 적응적 서비스가 가능 하도록 한 비디오

부호화 방법이다. SVC 는 Spatial, Temporal, Quality

세가지 종류의 Scalability 를 지원하고, Base Layer 와

Enhancement Layer 로 구분한다. 이를 활용하여 본

논문에서는 각 레이어를 선택적으로 전송함으로써

한번의 인코딩만으로도 적응적 비디오 전송이 가능

하다.

2.2. Adative ROI ROI 기법은 MPEG-4 와 H.263+ 에도 지원되었던 기

법으로 기본적은 개념은 전체 화면의 영역에서 특

정한 영역을 추출한다는 것이다. 하지만 채널 선택

적인 비디오 전송을 하기 위해서는 해결 해야 할

과제가 있다. SVC 는 Inter/Intra 프레임간의 참조로

인해 영상이 복원되기 때문에 ROI 영역의 독립적인

레이어를 설정해야 한다. 화면의 움직임 영역별 우

선순위를 고려하여 화면에 적응적 ROI 기법을 적용

한다.[6]

2.3. Multihomming 멀티호밍은 하나의 노드(Node)가 다수의 네트워크

에 동시에 접속하여 네트워크 서비스를 받을 수 있

도록 하는 기술이다. 이를 위해서 노드는 복수의 네

트워크 인터페이스를 사용하며, 이를 동시에 사용하

여 서로 다른 네트워크에 접속할 수 있다. 멀티호밍

의 장점은 네트워크 접근성의 증가, 패킷 흐름의 분

산, 다중 네트워크의 사용으로 인한 대역폭의 확대

이다. 본 논문에서는 멀티호밍 환경을 응용하여

SVC+ROI 기법을 적용한 비디오를 전송 한다.[4,5]

3. 시스템 구조 본 논문에서 제안하는 시스템은 그림 2 와 같다.

채널 선택기(Channel Selector)는 부호화 과정에서 얻

은 정보와 비트스트림 추출기(Bitstream Extractor)에서

얻은 정보를 이용하여 채널 특성에 따라 나누어 전

송한다.

3.1.채널별 적응적 비디오 스트림 추출기법 비트스트림 추출기(Bitstream Extractor)를 통해 얻은

패킷타입은 스트림 헤더, 파라미터 셋, 슬라이스 데

이터로 나뉘며 각 정보는 중요도에 따라 분류 된다.

제안하는 방식은 패킷의 중요도 및 손실 가능 여부

에 따라 채널을 할당한다. 사용자 디바이스 채널 별

오류 방생 여부는 사전에 인지된 특성 정보와 스트

리밍 상황에서의 분석 정보를 이용한다.

비디오 전송의 특성 및 채널 상황을 고려한 비트스

트림 추출 알고리즘은 두 단계로 나뉜다. 첫째는

SVC 로 인코딩 된 데이터 중에서 어떤 계층의 정보

를 추출할지를 결정하는 레이어 선택 단계이다. 둘

째는 선택된 레이어를 어떻게 나누어 채널 별로 할

당 할지를 결정하는 채널선택 단계이다[1].

Extracted Bitstreams

1. Bitstream Analyzation

Undiscardable Packet Discardable Packet Redundant Data (FEC)

2. Needed BW Calculation

Error-prone

Channel

Reliable

Channel

(a) (d)

(e)

EC1

EC2

ECm

...

RC1

RCn

...

3. Channel Selection

(b)(c)

(f)

그림 2. 비디오 정보 추출 및 채널 선택 방법

표 1. 알고리즘 변수 의미 Symbol Meanig

Bw Bandwidth

RC Reliable Channel

EC Error-prone Channel

SizeD Size of Discardable Data

NeededBwUD

Needed Bandwidth for Undiscardable

Data to Transmit it over Error-prone

Channel

n Number of Reliable Channels

그림 2 의 (a)는 채널 EC1 으로 전송하며 FEC 를 적

용한다. 이므로

이다. 만약 중요한 정보가 남아 있다면

그리고

이다. 의 값이 측정 가능함으로

, 이다.

최종적으로

이다

3.2. ROI 를 적용한 다중 경로 네트워크 스

트리밍 연구 다중 경로 네트워크 환경에서 3.1 은 채널 선택적인

비트스트림 추출 방법을 제시하였고, 채널을 에러

있는 채널과 그렇지 않은 채널로 구분하였다. 이를

활용하여 전체 화면을 대상으로 ROI 기법을 적용하

여 중요 영역과 중요 영역을 제외한 부분으로 나누

어 3.1 절에서 구분한 채널을 이용하여 전송한다.

ROI 기법은 이미 다중 채널 상황에서 중요 영역에

대한 화질 개선과 그 밖의 영역에 화질 열화를 통

해 전체 화면에 대한 주관적인 화질 개선이 가능하

다. 이 기법은 에러가 있는 채널의 에러율이 증가

할수록 큰 효과를 나타낸다.

그림 3 은 전체 화면과 ROI 부분으로 구분하여 각

영역의 레이어 수를 조절하여 채널 별로 전송되는

과정을 보여준다.

그림 3. ROI 기법 적용 시 채널 선택 방법

4. 실험 및 결과 본 논문의 실험은 네트워크 환경을 다중 채널과 단

일 채널로 구분하였으며, 다중 채널 상황에서도

ROI 기법을 적용한 유무에 따라 실험을 진행 하였

다.

4.1. 실험 환경 비디오 전송을 위한 네트워크 실험환경은 사용자

디바이스의 네트워크 인터페이스들의 대역폭에 맞

추어 설정하였다. 각 네트워크 인터페이스의 평균

대역폭은 표 2 이다.

표 2. 네트워크 인터페이스 별 평균 대역폭 Network Interface Throughput

EVDO 600kbps

WLAN(MAX/802.11b) 11Mbps

실험 컨텐츠는 Foreman 가로 352, 세로 288 Pixel

이며 초당 30 프레임 이다.

표 3. 실험 부호화 옵션 Attribute Value

GOPSize 8

FrmaesToBeEncoded 100

Quantization Parameter (1) 28

Quantization Parameter (2) 22

NumberReferenceFrames 1

표 3 의 양자화 계수는 Quality Scalability 를 적용하

기 위해 두 개의 계수로 정하였다.

표 4. 비디오 컨텐츠 레이어별 속성 Layer Framerate Bitrate

0 3.75 219.00

1 7.5 290.76

2 15 354.76

3 30 423.76

4 3.75 600.00

5 7.5 787.00

6 15 960.00

7 30 1147.00

표 4 는 표 3 의 옵션으로 인코딩된 컨텐츠의 레이

어별 정보이다.

4.2. 시뮬레이션 방법 및 결과 실험은 두 부분으로 나누어 진행 하였다.

첫 번째 실험은 단일 채널과 다중 채널의 비디오

전송 시 패킷 에러율에 따른 PSNR 값을 측정하였다.

이 때, 단일 채널은 WLAN 으로 다중 채널은

EVDO 와 WLAN 을 이용하여 전송함을 가정하였다.

실험은 JSVM8.7 버전을 이용하였으며, Trace 파일의

Packetloss 율을 적용하여 시뮬레이션 하였다.

두 번째 실험은 단일 채널과 다중채널에 ROI 기법

을 적용한 비디오 전송 시 PSNR 값을 측정하였다.

이 실험은 첫 번째 실험과 같은 과정으로 진행하였

으며, ROI 영역에 우선순위를 두어 전송함을 가정하

였다.

4.2.1. 단일/다중 채널의 비디오 전송시 패

킷 에러율

표 5. 전송 방법 및 PSNR 값

에러율 (PER)

단일 채널 다중 채널 차이 값(dB) 측정 PSNR 값(dB)

3% 37.03 37.54 0.50

5% 36.43 37.32 0.89

7% 34.85 36.18 1.32

10% 33.53 35.54 2.01

그림 4. 단일/다중채널 프레임 별 PSNR 측정결과(PER 7%)

표 5 의 PSNR 값은 에러율이 높을수록 단일 채널과

다중 채널간의 차이가 큼을 알 수 있다.

이는 다중 채널로 비디오 전송을 하였을 경우 채널

에러특성 및 대역폭에 따라 레이어를 선택적으로

추출하여 전송함으로 네트워크 상황이 악화될 수록

더 높은 성능을 보임을 알 수 있다.

그림 4 의 동그란 점선은 다중 채널과 단일 채널의

PSNR 값의 차이를 알 수 있다.

4.2.2 다중 채널에서의 ROI 기법 적용시

패킷 에러율

(A)단일 채널

(B)다중채널

(C)다중채널 + ROI

그림 5. 단일채널/다중채널/ROI 기법별 디코딩 결과

그림 6. 기존 영상과 실험 영상의 ROI 에 대한

프레임 별 PSNR 측정 결과

그림 5(C) 는 ROI 영역을 설정하고, 화면 전체에 대

한 패킷 에러율은 같게 적용 하였다. 하지만 ROI

영역을 신뢰성 있는 채널로 전송하여 ROI 영역내의

화질이 개선됨을 그림 5(B)(C)를 비교하여 확인 할

수 있다.

그림 6 은 다중채널로 보낸 일반 영상과 다중채널

에 ROI 기법을 적용한 영상을 프레임 별로 화질비

교한 것이다. 타원형 점선 부분은 ROI 적용 부분의

화질이 개선됨을 알 수 있다.

5. 결 론 본 논문에서 제안하는 다중채널 비디오 전송 기법

은 4 절 실험결과와 같이 단일채널 방식보다 더 나

은 화질을 보여 주고 있다. 이를 위해서는 다중채널

에 적합한 비디오 추출 모델과 채널 별로 선별하는

과정이 필수적이다.[1] 다중 채널 방법은 단순히

더 많은 대역폭으로 비디오를 전송하는 것이 아닌,

네트워크 인터페이스 별로 신뢰도를 설정한 후

SVC 로 인코딩된 비디오 영상을 전송하는 것이다.

또한 전체 화면 중에서 중요 영역을 설정 하여, 채

널의 신뢰도에 따라 선별적인 비디오 전송을 함으

로 네트워크가 혼잡한 상황에서도 ROI 영역은 그

밖의 영역에 비해 화질 개선이 가능하다.

추후 다중채널간 스케줄 문제와 채널 환경에 적응

적인 클라이언트의 버퍼 관리가 연구과제로 남아

있다.

6. 참고 문헌

[1] 류은석, 이정환, 유혁, “다중경로 네트워크에서

의 H.264 SVC 에 기반한 비디오 스트림 추출 및

전송 기법”, 한국컴퓨터종합학술대회 논문집, 제

34권, 제 1호(A), pp. 175-176, 2007 년 6월.

[2] Jacob Chakareski, Pascal Frossard, “Adaptive

Systems for Improved Media Streaming Experience”,

IEEE Communications Magazine, vol. 45, no 1, pp.77-

83, Jan. 2007.

[3] Jiancong Chen, Gray Chan, Victor O. K.

Li,”Multipath routing for video delivery over

bandwidth-limited networks”, IEEE Journal on

Selectedd Areas in Communications, Vol.22, No. 10,

pp. 1920-1932, Dec. 2004

[4] John G. Aposolopoulos, Mitchell D. Trott, “Path

diversity for enhanced media streaming”, IEEE

Communications Magazine, Vol. 42, No. 8,pp. 80-87,

Aug. 2004 [5]Maria G. Martini, Matteo Mazzotti, Catherine Lamy

Bergot, Jyrki Huusko, Peter Amon, “Content adaptive

network aware joint optimization of wireless video

transmission”, IEEE Communcations Magazine, Vol.

45, no 1, pp.84-90, Jan. 2007

[6]Truong Cong Thang, Tae Meon Bae, “Spatial

Scalability of Multiple ROIs in Surveillance Video”,

ISO/IEC JTC1/SC29/WG11 M12010, April. 2005