510 정보과학회논문지 : 정보통신제 35 권제 6 호 (2008.12) 다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 (Extracting and Transmitting Video Streams based on H.264 SVC in a Multi-Path Network) 류은석 이정환 유혁 (Eun-Seok Ryu) (Jung-Hwan Lee) (Hyuck Yoo) 요약오늘날모바일디바이스 (Mobile Device) 는하나이상의네트워크인터페이스를가지고있으며, 이를효과적으로활용하기위한네트워크융합 (Network Convergence) 기술이활발히연구되고있다. 하지만, 이러한네트워크융합환경을효과적으로활용하기위해서는물리적네트워크인터페이스의특성뿐아니라비디오부호화기술에대한이해를바탕으로한전송이필수적이다. 따라서, 본논문은전송하려는비디오데이타의특성및채널환경을이해하고이에따라서로다른네트워크경로로전송하는최적의방법론을밝힌다. 본연구는스케일러블부호화 (Scalable Coded) 된비디오를계층적중요성, 스트림정보의중요성, 그리고비디오디코더의강인성 (Robustness) 을고려한중요성으로나누어다중채널로차별적전송한다. 실험결과는화질기준 (PSNR) 으로평균 1dB 이상의효과를가졌다. 본연구결과는모바일디바이스가하나이상의네트워크인터페이스를가지는차세대네트워크컨버젼스환경에최적인비디오전송기법이될것이다. 키워드 :H.264 SVC, 비트스트림선택기법, 멀티채널스트리밍 Abstract These days, the network convergence for utilizing heterogeneous network on mobile device is being very actively studied. However, understanding characteristics of physical network interfaces and video encoder is needed for using the network convergence technologies efficiently. Thus, this paper proposes an optimized method for streaming video data through different network paths depending on data characteristics and channel condition. Accordingly, unlike the traditional methods, this study divides scalable coded videos by layer importance, the importance of stream information, and the importance in consideration of video decoder s robustness and selectively sends the data via multiple channels. And the experimental results show over 1dB increment in PSNR. The result of this study will provide an optimized video transmission technique in the next generation network convergence environment in which mobile devices have multiple network interfaces. Key words :H.264 SVC, Bitstream Selection, Multi-channel Streaming 본연구는서울시산학연협력사업에의해지원되었습니다. 이논문은 2007 한국컴퓨터종합학술대회에서 다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 의제목으로발표된논문을확장한것임 학생회원 : 고려대학교컴퓨터학과연구교수 esryu@os.korea.ac.kr 학생회원 : 고려대학교컴퓨터학과 jhlee@os.korea.ac.kr 종신회원 : 고려대학교컴퓨터학과교수 hxy@os.korea.ac.kr 논문접수 : 2007년 9월 27일심사완료 : 2008년 8월 28일 Copyright@2008 한국정보과학회 ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 정보통신제35권제6호 (2008.12) 1. 서론오늘날서로다른이종망간의네트워크융합기술은매우활발히연구되고있다. 본논문은이러한네트워크융합환경을배경으로부호화기술과전송기술이라는두가지관점의연구를통합하여다중경로에최적화된비디오스트림추출및전송기법을밝힌다. 네트워크융합연구는다양한네트워크인터페이스를통합지원할수있는연구로서그예로 SKT는얼마전미국인터디지털사와제휴를맺고이종망간핸드오버기술의공동개발에들어가기도했다. 현재는 WCDMA 와 CDMA간음성핸드오버기술이있으며앞으로는 Wibro기술과 HSDPA기술간의양방향핸드오버기술
다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 511 연구를진행할것으로알려졌다. 따라서차세대모바일디바이스는네트워크융합기술을이용하여하나이상의네트워크인터페이스를동시에활용할수있을것으로본다. 하지만, 다양한네트워크인터페이스활용기술이개발되더라도비디오전송에복수개의네트워크인터페이스를동시에사용하기위한구체적방안이연구되어있지않다. 즉, 비디오부호화기술에대한이해와네트워크인터페이스의특성을고려한비디오스트리밍 (Streaming) 기술이필요하다. 따라서본논문은비디오부호화기술과다중경로 (Multi-path) 전송기술 [1,2] 의깊은이해를통해전송하려는비디오데이타의특성및채널환경에따라서로다른네트워크경로로전송하는최적의방법론을밝힌다. 본논문은 2장에서관련연구를소개하고기존비디오스트리밍기술의문제점을집어보고이를해결하기위한방안을알아본다. 3장에서는제안하는비디오전송기법을소개하는데, 특히비디오스트림의추출및네트워크채널할당모델을구체적으로설명한다. 4장에서는본논문에서제안하는모델의우수성을증명하기위한실험환경및실험방안을설명하고, 각실험의결과에대해설명한다. 5장에서는전체연구에대한결론을맺고제안하는비디오전송기술을적용할수있는향후연구를소개한다. 2. 관련연구 2.1 기존비디오스트리밍기술의문제점기존비디오스트리밍연구의문제점은크게보아단일채널스트리밍으로인한유휴자원의낭비이다. 혹, 다중채널을이용한다하더라도다중경로기법 (Pathdiversity) 지원이가능한비디오인코더가연구되지못했다. 결론적으로네트워크융합환경에서다중네트워크채널에적응적인비디오인코더연구가부재하다. 아래에서이를자세히설명한다. 기존의비디오서버-클라이언트시스템은개념적으로다음그림 3과같다. 그림 1 네트워크융합기술을이용한비디오전송기술 본논문은모바일디바이스가 WLAN, HSDPA 및블루투스 (Bluetooth) 라는물리적으로다른종류의네트워크인터페이스를동시에활용하여네트워크채널상황및비디오프레임특성에맞게나뉜비디오영상을전송받게한다. 또한, 비디오영상을추출하고이를나누어채널에맞게할당하기위한방법을구체적으로제시한다. 사용한비디오부호화기술은표준안이마무리된 ITUT H.264 Scalable Extension 기법을이용하였고, 네트워크전송기술로는다중경로스트리밍기술을이용하였다. 그림 2 문제해결목표 그림 3 기존의비디오서버-클라이언트시스템카메라나저장장치로부터영상정보를입력받은서버는이를지역네트워크 (Local network) 클라이언트로전송하거나네트워크를통해인터넷클라이언트로전송한다. 이때기존방식은복수개의클라이언트지원을위해서모든클라이언트의영상품질및크기를단일화하거나미리클라이언의성능에맞춰준비된복수개의영상컨텐츠를가지고있어야했다. 이는저장공간및네트워크자원의낭비를가져올수있고, 또한사용자의네트워크상황에적절히대응하기힘들다. 이를해결하기위한방편으로아래그림과같이네트워크의변화에맞춰전송율제어 (Rate Control) 를하는비디오인코더연구가진행되었다. 이러한방식은네트워크의상황변화에조금더대응적일수있으나동시에서로다른성능의클라이언트를지원할수없고, 부호화소요시간으로인해실시간처
512 정보과학회논문지 : 정보통신제 35 권제 6 호 (2008.12) 그림 4 전통적인 Rate Control 리가힘들다는단점을지닌다. 이러한이유로동시에다른성능의클라이언트를지원할수있는 SVC(Scalable Video Coding) 기반의인코더가개발되고있고현재가장발전적인모델로는 H.264 Scalable Extension의 JSVM(Joint Scalable Video Model) 이있다. 본문의 2.2절에서설명하고있는 H.264 SVC 기반의스트리밍은가장최근에연구되고있으며다음그림 5에서와같이사용자디바이스성능에따른차별적스트리밍을할수있다. 하지만, 이러한최근연구들도한계를가지는데, 그점이바로사용자디바이스의네트워크채널을단일채널로한정하거나복수개의네트워크인터페이스를동시에사용가능한사용자디바이스에대한고려가없다는것이다. 따라서비디오품질및자원활용에한계를가진다. 앞에나온 One-Source Multi-User 기술과달리 Multi-Source One-User 기술이있다. 이는사용자디바이스관점에서다양한소스로부터데이타를받는기술로다르게보면오늘날의 P2P 기술과유사하다. I, P, B 비디오프레임의중요성에따른차별적부호화, 패킷화및전송기법은 FEC(Forward Error Correction) 와재전송기법 (ARQ) 을이용한일률적인 방식으로써다양한채널별특성에대응하기어렵다. 따라서본논문은기존방식과달리스케일러블코딩된비디오를계층적중요성, 스트림정보의중요성, 그리고비디오디코더의강인성 (Robustness) 등을고려한중요성으로나누어다중채널로차별적전송한다. 다음절에서본기술의기반이되는 H.264 SVC 기술과다중채널전송기술에대해알아본다. 2.2 대안으로써의 SVC 와 MDC 연구오늘날많은연구들이고화질의비디오를전송오류가있는네트워크상에서안정적으로전송하려는노력을기울이고있다. 이기술적연구는특히비디오부호화기술과네트워크전송기술분야에서특히활발히연구되고있다. 먼저, 네트워크전송을고려한비디오부호화기술의대표적인예는 ISO/IEC 산하의 MPEG-2, MPEG-4 Part 2 비디오및 ITUT의 H.264가있다. 이기술들은각각효율적인전송을고려한코딩알고리즘및전송중에발생할수있는에러에대한내성기법들 (Resync Markers, Reversible Variable Length Codes, Arbitrary Slice Order, Flexible Macroblock Ordering, Redundant Slice 등 ) 을포함하고있다. 그중차세대비디오부호화기술로표준화마무리중인 H.264 Scalable Extension 기술은인터넷및상이한단말기를통한비디오의전송이늘어나면서네트워크상황에따른적응적비트율 (bitrate) 제어및단말기의기능 (Device Capability) 에따른화질제어를위해연구되었다. 이를위해 H.264 SVC는영상정보를부호화할때비디오프레임이공간적 (Spatial), 시간적 (Temporal), 화질적 (SNR) 스케일러빌러티 (Scalability) 를가지도록하기위해계층적부호화 (Layered coding) 를수행한다 [3]. 그림 5 H.264 SVC 기반차별적스트리밍의예
다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 513 그림 6 스케일러블비디오부호화 (Scalable Video Coding) 기술 다음으로비디오데이타에기반한전송기법연구로는다중디스크립션부호화 (Multiple Description Coding : MDC) 를이용한다중경로스트리밍 (Multi-Path Streaming) 기법이있다 [4]. MDC 기법은데이타부호화를통해둘이상의비트스트림을만들며크게두가지특징을가진다. 첫째, 각디스크립션은독립적으로복호화될수있다. 둘째, Multiple Description은추가적정보를포함함으로서복호화될때받은디스크립션수에따라품질 (Quality) 이향상된다. 특히이중첫째특성은스케일러블코딩방식이베이스계층 (Base layer) 정보를잃으면전체데이타가쓸모없게되는것과차별적특성을가진다 [5]. 그림 7 다중경로기반데이타전송기법이와같은 MDC를이용하여멀티미디어전송을위한다중경로라우팅 (Multi-Path Routing) 연구가현재여러곳에서진행되고있으며, 주로경로선택기법및패킷스케쥴링기법등이연구되고있다. 본연구는위기술의장점을통합하여 H.264 SVC 기술을이용하여계층화된비트스트림 (Layered bitstrem) 을만들고, 이를다중채널의네트워크상황정보에따라다중소스로변환한후전송한다. 그리고사용자디 바이스는멀티호밍기술을이용하여다중채널로들어오는비디오정보를통합 (Aggregate) 하여재생한다. 3. 시스템구조본논문에서제안하는시스템구조는그림 8과같다. 카메라나저장장치로부터받아들인원본이미지는 H.264 부호화기를거쳐계층화된비디오스트림이된다. 채널선택기 (Channel Selector) 는부호화과정에서얻은정보와비트스트림추출기 (Bitstream Extractor) 에서얻은정보를이용하여채널의특성및상태에따라비디오스트림을나누어스트리밍한다. 이때네트워크채널정보는스트림관리자 (Stream Manager) 로부터전달되며스트림관리자는사용자디바이스내의채널상태분석기 (Channel State Analyzer) 를통해채널정보를얻는다 [6]. 3.1 H.264 SVC 비트스트림분석 H.264 SVC로부호화된비트스트림은그림 9와같으며패킷화될데이타의메모리위치에따라서로다른속성을갖는다. 이경우는실험을위해 SNR 스케일러빌러티모드로부호화한예이므로 QId는 0또는 1로된값을갖는데값 1은향상계층 (Enhancement Layer) 이다. 패킷타입은각각스트림헤더, 파라미터셋, 슬라이스데이타로나뉘며헤더정보는버릴수없는데이타에속한다. 그이유는헤더정보가손실될경우복호화기 (Decoder) 에서강인성 (Robustness) 에따라재생이불가할수있고, 재생된다하더라도심한오류를발생시킬수있기때문이다. 그림에서 Truncatable 정보는해당비트스트림이중간 그림 8 시스템구조
514 정보과학회논문지 : 정보통신제 35 권제 6 호 (2008.12) 표 2 2- 단계처리방식 1단계 : Layer 추출단계 - 어떤계층의 SVC 코딩된비트스트림을추출할지결정하는단계 2단계 : 채널선택단계 - 추출된비트스트림의패킷들을나누어패킷특성에맞는채널들로할당하는단계 그림 9 H.264 SVC(SNR Scalability) 부호화된비트스트림속성의예에잘릴수있는지의여부를나타내는데이는패킷손실 (Packet Drop) 과비트오류 (Bit error) 를버틸수있는지를나타낸다. 따라서제안하는기법에서는기존의대표적 UEP(Unequal Protection) 기법인 I, P, B 프레임별 FEC/ARQ 적용방식과는달리표 1과같이비트스트림의계층정보및패킷타입에따라 UEP 적용과전송할채널을선택한다. 제안하는기법은패킷의중요도및손실가능여부에따라최대한오류가없는채널을할당하며, 오류가있는채널이할당될경우, FEC, ARQ를선택한다. 사용자디바이스의채널별오류발생여부는사전에인지된채널의특성정보와스트리밍상황에서의분석정보를이용한다. 예를들어 HSDPA 방식은망자체내에서 FEC 및 ARQ를사용하여응용프로그램계층에전달되는데이타는오류가없다. 데이타의사이즈와버릴수없는데이타사이의비는 SVC 부호화된데이타특성상대체로비례한다고가정한다. 따라서, 같은채널환경으로전송한다면낮은 SNR 계층의비디오화질이비록에러내성기법을사용할지라도더높은 SNR 계층의비디오화질보다낮다. 그리고채널상의우선순위에대해서는고려하지않았다. 이는사용자의선호도라든지, 채널사용비용및사용자위치등부가적인정보로서처리될수있기때문에본알고리즘에서는이런경우를제외하였다. 그림 10에서보는바와같이비트스트림데이타와채널상황에따른특성은크게네가지경우로나누어볼수있다. 이중첫번째와두번째경우는전송되어야할데이타가주어진채널의대역폭합보다큰경우이다. 하지만, SVC 기반비디오코딩은채널상황에적절한비트율의비트스트림이추출되므로이두경우는고려대상이아니다. 다음으로 3번경우는데이타를전송하기에충분한대역폭이주어진경우이므로역시고려대상에서제외된다. 표 1 패킷특성에따른에러내성기법및채널선택 패킷특성 채널 에러내성기법 StreamHeader Reliable Chan. 사용안함 Error-prone Chan. 사용 ParameterSet Reliable Chan. 사용안함 Error-prone Chan. 사용 SliceData Reliable Chan. 사용안함 Baselayer Error-prone Chan. 사용 Enhan. Selective 선택적사용 Layer 3.2 비디오스트림의특성및채널상황을고려한비트스트림추출모델본논문에서제시하는비디오스트림의특성및채널상황을고려한비트스트림추출모델은크게 2가지단계로나뉜다. 첫째는 SVC로부호화된데이타중에서어떤계층의정보를추출할지를결정하는계층선택 (Layer Selection) 단계이다. 둘째는그데이타를어떻게나누어적절한채널로할당할지를결정하는채널선택 (Channel Selection) 단계이다. 제안된알고리즘의전제는다음과같다. 버릴수있는 그림 10 비트스트림에따른채널할당의네가지경우따라서본논문에서는 4번째 (Case 4) 경우와같이안정적인채널의대역폭합이버릴수없는데이타의크기합계보다적은경우를해결하기위한방법을보인다. 정리하면, 본논문은 SVC 코딩된비디오계층중적절한비트스트림을선택하여이를채널에맞추어전송하기위한새롭게설계된알고리즘을설명한다. 그림 11은제안하는비트스트림계층선택방법을나타내며이를아래에설명한다.
다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 515 그림 11 비트스트림계층선택메커니즘 표 3 Notations 심볼 표현의미 Bw Bandwidth RC Reliable Channel EC Error-prone Channel SizeD Size of Discardable Data SizeUD Size of Undiscardable Data mfeci Rate of FECi (e.g. (15, 10) = 3/2) NeededBwUD n Needed Bandwidth for Undiscardable Data to Transmit it over Error-prone Channel Number of Reliable Channels 표 4 전송을위한대역폭계산 제안하는모델의알고리즘이패킷 (a) 를 EC 1 채널로전송하려한다고가정하자. EC 1 은에러가존재하는채널이므로패킷 (a) 는 EC 1 을통해전송되기전에채널에러율에맞는 FEC과정을거친다. 이때 (d) = Bw(EC 1) 이므로 (a) 의예측대역폭은 (a) = Bw(EC 1) / mfec 1 이다. 그리고이때남은버릴수없는데이타가 (b) 이고이것이 Bw(EC 2) 보다작은값을가진다면, (b) = SizeUD - Bw(RCi)+(a) 이고 (e)=(b)*mfec2가된다. 이때 (e) = (b) * mfec 2 이므로 (f) 와 (c) 값은다음과같이계산될수있다. (f) = Bw(EC 2)-(b) mfec 2 (1) (c) = (f)/mfec 2, Therefore (2) (c) (3) 이를이용하여제안하는비트스트림계층선택슈도코드는다음과같다. 첫째. 다음함수를이용하여 N번째계층의비트스르림전송을위해필요한대역폭의합계 를구한다. SizeUD와 SizeD는알고있으므로표 4에의해구한 NeededBWUD값을더하면, N번계층의비트스트림을위해필요한대역폭의합인 SizeUD + SizeD + Needed- BWUD 값을구할수있다. 따라서우리는모든비트스트림계층에대해이를반복적으로수행하여계층별로전송을위해필요한대역폭값을구한다. 그리고이값들중주어진채널대역폭과의차가가장적은비트스트림 N 계층을선택한다 [7]. H.264 SVC에의해부호화된여러계층의비트스트림중에서위의계산을통해선택된계층의비트스트림은그림 11과같이각각 FEC가추가되어채널에맞게전송한다. 그리고클라이언트는여러채널로전송된패
516 정보과학회논문지 : 정보통신제 35 권제 6 호 (2008.12) 킷을받아모아이를재생한다. 4. 실험및결과 4.1 실험환경그림 12는제안하는다중경로네트워크에서 H.264 SVC에기반한비디오스트림추출및채널할당기법의우수성을검증하기위한실험의단계이다. 앞에서언급한바와같이 JSVM 도구를사용하였으며, H.264에의해부호화된비디오를추출하여본논문에서제안하는모델을적용한후패킷에러를적용시킨다. 그후복호화된데이타의 PSNR을측정하였다. 본연구는실험을위해사용자디바이스의네트워크인터페이스가가질수있는대역폭은다음표 5와같다고가정하였다. 이수치는각전송기술의특성을고려한실제전송실험을통해구한평균값이며, 3번째항목은 HSDPA 모뎀을이용하여서울지하철에서이동중에측정한평균대역폭이다. 표 6 실험을위한부호화옵션 Attribute Value Number of Test Frames 100 GOP Size 16 Number of SNR Layers 2 QP (Layer 0) 38 QP (Layer 1) 32 위의옵션으로부호화된테스트컨텐츠의계층 (Layer) 별속성정보는표 7과같다. 본실험에서는추출가능한비트스트림조합중계층 4와계층 9의두계층을사용하였다. 이때의각계층이라는용어는기본계층 (Base layer) 부터해당하는향상계층 (Enhancement layer) 까지의모든정보를포함하는비트스트림데이타를지칭하는번호이다. 표 7 실험컨텐츠의레이어별속성정보 Layer Frame rate Bitrate 0 1.875 290 1 3.75 383.31 2 7.5 486.64 3 15 583.64 4 30 685.64 5 1.875 709 6 3.75 944.54 7 7.5 1203.32 8 15 1453.32 9 30 1726.32 그림 12 시뮬레이션실험단계 표 5 네트워크인터페이스별평균대역폭 Network Interface Throughput EVDO 310 kbps HSDPA 1.09 Mbps HSPDA (Subway Move) 739 kbps Bluetooth (ver 1.2) (DH5) 723 kbps 실험은비디오실험에서많이사용되는초당 30 프레 임 (frame) 을갖는가로 704, 세로 576 픽셀 (Pixel) 의 Soccer 컨텐츠를이용하였으며 SNR 스케일러빌러티를 이용하여두계층으로부호화했다. 실험을위한속성정 보는표 6과같다. 4.2 시뮬레이션방법및결과본실험은 HSDPA(Subway Move 환경 ) 와 Bluetooth 인터페이스를가진모바일디바이스클라이언트를대상으로시뮬레이션하였다. 실험은크게두단계로나뉘어진행되었는데, 첫째는기존의단일채널스트리밍과우리의다중채널스트리밍방법의비교이고, 둘째는전송방법에따른 PER(Packet Error Rate) 별화질비교실험이다. 실험은 H.264 SVC 부호화, 복호화를위해서 ITUT 의 JSVM ver 8.9를사용하였고, 에러가있는채널에서전송된데이타를복호화할때는 JSVM 부호화기의 EC(Error Concealment) 옵션을값 2(Frame copy 방식 ) 로사용하였다. 4.2.1 단일경로전송과제안하는전송방식비교실험을위해서버는 HSDPA만을이용한스트리밍을위해 685.64kbps의비트율을갖는표 7의 Layer 4를, HSDPA와 Bluetooth를이용한스트리밍을위해 1,727.32kbps의비트율을갖는 Layer 9를비트스트림추출하여전송한다. HSDPA 채널은링크계층의에러
다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 517 표 8 전송방법별 PER 에따른 PSNR 비교 GOP 크기 16 8 패킷에러율 (PER) 전송방법 3% 5% 7% 10% 기존방식 30.4 29.5 29.0 27.2 제안하는방식 31.0 30.4 30.1 28.8 PSNR 비교 (db) +0.6 +0.9 +1.1 +1.6 기존방식 29.6 28.9 27.9 27.3 제안하는방식 30.8 29.6 28.9 28.1 PSNR 비교 (db) +1.2 +0.7 +1.0 +0.8 그림 13 기존의단일경로전송과제안하는전송방식대응기법을통해어플리케이션계층에서에러가없으므로이때의평균 PSNR은그림 13과같이각각 35.26dB 와 31.91dB이었다. 이러한실험결과가나타나는이유는크게두가지로나누어볼수있다. 첫째는하나의채널만을이용해야하는기존방식이확보할수있는네트워크대역폭이제안하는방식에비해작을수밖에없기때문이다. 둘째는제안하는방식은스케일러블코딩된컨텐츠에서확보된대역폭에따른데이타를추출하여전송하기때문에확보된대역폭을최대한효과적으로쓸수있기때문이다. 즉, 스케일러블부호화된비디오데이타가다중경로로전송되었기때문에더나은화질을보인것이다. 4.2.2 전송방법별 PER에따른화질비교전송방법별 PER에따른화질비교실험은표 8에서보는바와같이두가지전송방법에대해시뮬레이션이이루어졌다. 이번실험은 4.2.1절의실험과는달리기존방식과제안방식모두 FEC를고려하더라도 1,727.32kbps의테스트비트스트림전송에충분한대역폭을가진상황을시뮬레이션했다. 전송방법은 3~ 10% 의 PER 에러가있는 WLAN과에러가없는 HSDPA를이용한전송으로한정했다. 전체데이타를보내기에 HSDPA는충분하지못하므로기존방식은에러가있지만충분한대역폭을제공하는 WLAN으로추출된비디오비트스트림을전송하는데비해본논문이제안하는방식은표 1에나온중요도에따라전체 719,796 Byte의데이타중보호해야하는 135,438 Byte 의데이타를추출하여이를 HSDPA로전송하였다. 그리고표 5의 HSDPA 739kbps( 서울시내지하철이동상황에서측정한평균값 ) 를고려하였을때중요도가낮은데이타도일부는이채널로보낼수있기때문에이를실험에반영하였다. 물론기존방식도표 1에서제시한버릴수없는데이타에대해 FEC를적용하여디코더가동작하지못하는상황은막았다고가정한다. 본실험에서는 FEC로인한데이타사이즈의증가는따로고려하지않았지만이를고려하면제안하는방식의효율성은 더욱커진다. 그이유는기존방식은안정된채널로데이타를전송하는경우에도 FEC를사용하지만, 제안하는방식은에러가있는채널로전송하는일부데이타에대해서만 FEC를사용하기때문이다. 표 8의실험결과를보면 PER에따른 PSNR 비교에있어서제안하는전송기법의결과가모든경우에우수한것을알수있다. 또한 PER 값이커질수록효율은높아진다. 그림 14는기존방식과제안하는방식에따른 PER별 PSNR 측정결과이다. 다이아몬드모양의선은기존방식에의한결과이고, 네모모양의선은제안하는방식에의한결과이다. 원으로표시된부분은기존방식에의해패킷손실을겪은부분과제안하는방식에의해이를극복한부분간의차이가드러나는부분이다. 따라서이러한구간에서의차이가제안하는모델의우수성을보여준다. GOP 16에대한실험중 5% PER의예에서는그림에서보는바와같이 57~65번프레임과 71~77번, 81~ 83번프레임에서두드러진값의차이가있다. 에러확산 (Error Propagation) 은 GOP 크기에영향을받기때문에향후엔여러 GOP별실험을수행할계획이다. 또한, 본실험을지하철이동환경이아닌일반환경을가정하여수행한다면 HSDPA 대역폭증가로인해제안하는방식이더욱효과적일것이다. 앞에서보인실험결과를 PER별 PSNR값그래프로나타내면그림 15와같다. GOP 16, GOP 8 각각에대해서제안하는방식이작게는약 0.6dB에서크게는약 1.6dB까지우수함을나타낸다. 그림 16은두방식에의한비디오프레임중한부분을캡쳐한것이다. 기존방식에의한좌측화면에비해제안하는다중경로스트리밍방식에의한우측화면이좀더화질이우수한것을알수있다. 5. 결론본논문에서제안하는비디오전송기법은최신비디오부호화기술인스케일러블비디오코딩 (SVC) 기술로부호화된데이타스트림을하나이상의복수개의채
518 정보과학회논문지 : 정보통신제 35 권제 6 호 (2008.12) (a) 3% PER (GOP 8) (b) 5% PER (GOP 8) (c) 7% PER (GOP 8) (d) 10% PER (GOP 8) (e) 3% PER (GOP 16) (f) 5% PER (GOP 16) (g) 7% PER (GOP 16) (h) 10% PER (GOP 16) 그림 14 PER 에따른두방법간의 PSNR 측정결과
다중경로네트워크에서 H.264 SVC 에기반한비디오스트림추출및전송기법 519 (a) GOP 16일때의 PER별 PSNR 비교 (b) GOP 8일때의 PER별 PSNR 비교그림 15 실험방식간의 PER별 PSNR 비교 (a) 기존방식 그림 16 전송방식별화질비교 (5% PER 경우 ) (b) 제안하는방식 널로전송하되, 채널의오류특성에따라에러내성기법을선택적으로적용하는것이다. 그리고이를위한데이타중요도의판단기준은계층적중요성, 스트림정보의중요성, 그리고비디오디코더의 Robustness 등을고려한중요성이다. 이를표 9에서정리하였다. 제안하는기법은최신의스케일러블비디오코딩기법연구를통해시스템자원및네트워크자원을가장효율적으로사용할수있게한다. 또한, 연구결과물은 복수개의인터페이스를갖는 4세대모바일디바이스에최적화된방송서버엔진에적용가능하다. 결론적으로본연구결과는모바일디바이스가하나이상의네트워크인터페이스를가지는차세대네트워크컨버젼스환경에최적인비디오전송기법이될것이다. 향후연구로는사용자의주된관심영역인 ROI(Region of Interest) 정보에대해다중경로네트워크를통한차별적전송기법을모델화하고실험할계획이다. 표 9 기존방식과제안하는방식의특성비교 기존방식 제안하는방식 단일채널사용 다중채널사용 단일비디오스트림또는 MD SVC 코덱사용 전체데이타에에러내성기법을사용하지않을경우복호화불가에러내성기법을사용하지않아도복호화불가한경우를피할수 한경우가대부분 있음 획일적인 UEP : 채널특성과상관없이중요한모든데이타에에러내성기법 (FEC) 사용 I, P, B 프레임에대해중요도적용 Adaptive UEP : 에러채널로전송될일부데이타에대해서만에러내성기법 (FEC) 사용 디코더를고려하여화질에영향을주는헤더정보와 Base layer 정보에대해서만중요도적용
520 정보과학회논문지 : 정보통신제 35 권제 6 호 (2008.12) 참고문헌 [ 1 ] Jacob Chakareski, Pascal Frossard, "Adaptive Systems for Improved Media Streaming Experience," IEEE Communications Magazine, Vol.45, No.1, pp. 77-83, Jan. 2007. [2] Jiancong Chen, Gary Chan, Victor O. K. Li, "Multipath routing for video delivery over bandwidth-limited networks," IEEE Journal on Selected Areas in Communications, Vol.22, No.10, pp. 1920-1932, Dec. 2004. [3] Hsiang-Chun Huang, Wen-Hsiao Peng, Tihao Chiang, Hsueh-Ming Hang, "Advances in the scalable amendment of H.264/AVC," IEEE Communications Magazine, Vol.45, No.1, pp. 68-76, Jan. 2007. [4] H. Mansour, P. Nasiopoulos, V. Leung, "Low Redundancy Layered Multiple Description Scalable Coding Using the Subband Extension of H.264/ AVC," International Symposium on Circuits And Systems, 2005. [5] John G. Apostolopoulos, Mitchell D. Trott, "Path diversity for enhanced media streaming," IEEE Communications Magazine, Vol.42, No.8, pp. 80-87, Aug. 2004. [6] Maria G. Martini, Matteo Mazzotti, Catherine Lamy-Bergot, Jyrki Huusko, Peter Amon, "Content adaptive network aware joint optimization of wireless video transmission," IEEE Communications Magazine, Vol.45, No.1, pp. 84-90, Jan. 2007. [7] Eun-Seok Ryu, Jung-Hwan Lee, Chuck Yoo, Multi Channel based Evacuation Guidance System by Using Scalable Video Streaming, International Conference on Convergence Information Technology (ICCIT 2007), pp. 1700-1707, Nov. 2007. 유혁 1982년서울대전자공학과학사. 1984년서울대전자공학과석사. 1986년 University of Michigan 전산학석사. 1990년 University of Michigan 전산학박사 1990년~1995년 Sun Microsystems Lab. 연구원 & Sun Micro Systems Lab. 초빙연구원. 1995년~현재고려대학교컴퓨터학과교수. 관심분야는 Embedded System, Multimedia Network 류은석 1999년 8월고려대학교컴퓨터학과학사 2001년 8월고려대학교컴퓨터학과석사 2008년 2월고려대학교컴퓨터학과박사 2008년 3월~8월고려대학교정보통신기술연구소연구교수. 2008년 9월~현재 Georgia Institute of Technology Postdoc. 관심분야는 Multimedia Communications, Mobile System 이정환 2007년성결대학교멀티미디어학과학사 2007년~현재고려대학교컴퓨터학과석사과정. 주관심분야는 Multimedia Streaming, Video Compression