특집차세대802.1ah 비디오압축 Provider 기술개발의 Backbone 현황과전망 Bridged - Network H.265 의소개 최윤식 김성제 ( 연세대학교서창진 ( 숭실대학교 ), 김병호 ) 최영호 ( 건국대학교 ) Ⅰ. 서론제한된채널자원의효율적활용이라는측면에서데이터압축은최근 DMB나 HDTV 등멀티미디어서비스의발달과더불어더욱그중요성이인식되고있다. 더불어 PMP, PSP 등개인미디어디바이스의보급과모바일 VOD 서비스가활성화되면서방대한양의데이터를갖는멀티미디어컨텐츠를효율적으로저장및전송할수있는압축기법이요구되고있다. 이런관심에대한대안으로 1991년에는디지털저장매체를위한동영상및음성압축기술인 MPEG-1이제안되었고, 그후로멀티미디어압축기법은 MPEG-2(1995), H.263(1998), MPEG-4(2000), H.264/AVC(2003) 등으로진화하며방송 통신및저장매체등다양한멀티미디어응용분야에효율적인자원활용을제공하고있다. 특히 H.264/AVC( 이하 H.264) 는표준화과정에서복잡도를제한하지않고가능한한많 은기술들을표준으로채택하여부 복호화기에 8배이상의구현복잡도를증가시켰음에도불구하고, MPEG-2 기술대비최대 50% 성능개선과 MPEG-4 ASP 대비 30% 의성능개선을이루어 DMB 뿐만아니라유럽의 DVB-H, 퀄컴의 MediaFLO 등휴대방송기술의비디오표준으로채택되고있는추세에있다. 한편, ITU-T VCEG(Video Coding Expert Group) 과 ISO WG11 MPEG(Moving Picture Experts Group) 은기존비디오압축기술들의뛰어난성능향상에도불구하고여전히자원활용의효율적측면에서더욱우수한비디오압축기술을연구및개발을권장하고, 나아가 2009년에서 2010년사이에는 H.265라는이름으로차세대비디오부 복호화기의표준화를진행할계획에있다. 실제 ITU-SG 16에서는 H.264 FRExt나 H.264 SE의개발등을통해 KTA(Key Technical Area) 라는이름으로 H.264의확장을통한성능개선을이루어가고있으며, 새로운변환기법기반이나새로운형태의확장성 (Scalability) 을제공하는 -899-
28 차세대비디오압축기술개발의현황과전망 - H.265 기법기반의비디오압축기술들을연구하는시도들또한일어나고있다 [1]. 본고에서는차세대비디오압축기술개발을위한시도들이어떤방향으로이뤄지고있으며그전망에대해서알아보고자한다. 본고의구성은제 II장에서현재고려되고있는 H. 265의표준화요구사항을언급하고, 제 III 장에서는현재이루어지고있는 H.265의기술동향을 KTA(Key Technical Area) 진행관점과웨이블렛기반의변환기법기술관점에서알아보고, 마지막에는결론과향후전망에대해살펴본다. Ⅱ. H.265 표준화요구사항 (H.265 requirements) 일반적으로표준화는현재산업기반에서그필요성이강력히대두되는특정필요항목들을수집하여요구사항을수립함으로써개 시되는데, 2009년에서 2010년사이에진행될 H.265의경우표준화요구사항은아래와같은조건들을충족해야할것으로보인다 [2]. (1) H.264의절반정도의비트율에서동등한화질을제공한다. (2) 부 복호화복잡도증가율을최소화한다. (3) IP 기반네트워크에서패킷손실최소화를위한향상된에러강인기법을제안한다. (4) 공간적 / 시간적 /SNR 확장성을지원한다. (5) 여러개의비디오를하나의화면으로간단히지원하도록한다. (6) 이전압축기술과의호환성은크게고려하지않아도된다. 그림 1에서는위에서언급한 H.265의요구사항들을도식화하여정리하였다. H.264는이미상당히높은완성도를갖는신택스 (syntax) 로설계되어있다. 또한잘알려진높은압축률을가진차세대기술들도이런 H.264 대비 20~30% 부호화성능향상에머물러있어현상황에서 H.265의높은요구사항 Simple Stitches Coding Gain Error Resiliency Goals of H.265 Complexity Scalable Arch. Coding Gain more than 2times better than H.264 Complexity minimization of de/coding complexity Error Resiliency improved error-resiliency, especially due to pack et loss in IP network Scalable Architecture spatial/temporal/fgs Simplestitches simple way of combining severalvideos into a single display (so urce : Gisle Bjontegaard, video com - pression of ter H.264, 5 th IMTC forum, May 2005, Eisbee Germany) 그림 1 H.265 표준화요구사항 -900-
2007 년 8 월전자공학회지제 34 권제 8 호 29 을달성한다는것은상당한어려움을수반할것으로예상되고있다. 그러나 H.265의요구사항을달성하기위한유력한후보들은다음과같은기술개발들을통해표준화에도전할것으로예상된다 [3]. (1) 웨이블렛변환기법을적용한비디오부호화기술개발. (2) 새로운변환기법기반의기술을개발. (3) 향상된데이터파티션과에러강인및은닉기법을갖춘기술개발. (4) H.264 변환기법을기본으로새로운확장성을통해향상된성능을갖춘기술. 특별히본고의제III장에서는 H.265 표준화진행과웨이블렛변환기법기반의차세대부호화기법을통한표준화진행에대해언급하고자한다. 상을위한확장연구및기술분야를몇가지의 KTA로분류하여, KTA의기준에서정기적으로 H.264 기반부호화기법의효율을향상시키는여러기술들을검토하고, 그성능을계속적으로향상시키는과정에있다. 그러나다른한편으로는기존의변환기법과는다른성능이뛰어난새로운형태의변환기법을적용하여차세대부호화기법을표준으로제정할수도있다. 본고에서는차세대부호화표준을제정함에있어우선 KTA방식으로의접근과그가능성에대해알아보고다음으로새로운변환기법을적용한부호화기법중차세대부호화에채택가능성이높은웨이블렛방식에대해알아보도록하겠다. 1. H.264 확장기반의차세대부호화기법 (Key Technical Area, KTA) Ⅲ. 차세대부호화표준 - H.265 기술현황현재 ITU-T와 MPEG 진영은차세대압축부호화표준을제정함에크게두가지방법으로접근하고있다. 첫번째는 H.264를기반으로여러가지확장기술들을첨가한부호화기법이고, 두번째는기존 H.264의블록기반동영상압축기법에서사용되었던 DCT 변환기법을대체할새로운주파수변환기법을사용하여부호화하는기법이다. 만일 H.264의확장기술기반의기법이 H.265의요구사항을충족시킨다면기존부호화기법을크게변화시키지않는범위내에서표준을제안할수있는장점을가지게된다. ITU-T의 VCEG 내의여러연구자들은 H.264 기반으로성능향 VCEG는표준핵심기술영역 (KTA) 을분류하고그에따라서여러가지성능이뛰어난부호화기술을제안하며표준화를진행시켜왔다. 그중본장에서는현재활발히제안되고있는각 KTA의네가지기술영역과각영역에서의부호화기술의현황에대해살펴보고, 이중뛰어나다고판단되는부호화툴을실제로구현한 KTA 참조소프트웨어를통해 KTA 기반의표준화진행의가능성을알아보도록하겠다. 가. KTA의정의와각분야에서시도되고있는부호화기술의현황 ITU-T의 VCEG에서는새로운요소기술의영역 (Key Technical Area, KTA) 을다음과같이 -901-
30 차세대비디오압축기술개발의현황과전망 - H.265 네가지의기술영역으로분류하고있다 [5]. KTA #1 - 부호화압축성능의향상 KTA #2 - 부호화기술의구현복잡도최소화 KTA #3 - 네트워크상에서패킷손실최소화를위한피드백기반의오류정정능력 KTA #4 - 그밖의핵심적인기술영역그럼위에서정의한각기술영역에서이루어지고있는가능성있는부호화기술의현황을알아보도록하자. A. KTA #1 - 부호화압축성능의향상 H.265 표준에서요구되는부호화압축률의향상은 H.264에서사용되는 4:2:0 영상포맷의부호화압축률향상뿐아니라소비자들의고품질콘텐츠요구사항에발맞추어새롭게대두되는 4:4:4 영상포맷의부호화압축률의향상까지도의미한다. H.265의부호화압축률의요구사항이 H.264 대비 2배의압축률향상이기때문에현재다양한기법들이연구되고또한 VCEG 회의에서정기적으로그기술들이제안되고있다. H.264보다더욱세밀하고정밀한움직임예측및움직임보상기술, 필터계수를적응적으로상황에맞게변화시키는필터링기술, 양자화과정에서양자화계수매트릭스를적응적으로상황에맞게변화시켜부호화압축률을향상시키는기술들이 VCEG 회의내에서유력하게검토되고실험적으로부호화압축성능이입증된상태이다. B. KTA #2 - 부호화기술의구현복잡도최소화 H.264 표준은과거표준에비해 2배정도의압축률제공을위해 8배이상의구현복잡도를발생시켰다. 이에따라현재 H.265 표준화에있어H.264 대비 2배정도의압축률제공을목적으로또다시 8배이상의구현복잡도가발생할경우이를감당할수있는하드웨어기술이아직까지는존재하지않기때문에구현복잡도에대한감소는중요한관심기술영역중하나이다. 이와관련하여 VCEG 회의에서는 H.264에서사용되는여러가지기술들에대하여화질열화를최소화시키면서구현복잡도를크게감소시킬수있는연구가활발히진행되고있다. 블록왜곡을제거하는디블록킹필터 (Deblocking Filter) 에대한연산량을감소시키는기술, 정밀한움직임벡터예측을위해픽셀보간시사용되는필터의연산량을감소시키는기술, 엔트로피부호화방식중CAVLC (Context-Adaptive Variable Length Coding, 문맥기반적응적가변길이부호화방식 ) 의연산량을감소시키는기술, 화면내예측 (Intra Prediction) 을단순화시킴으로써연산량을감소시키는기술등많은기술들이제안되었다. 또한이기술들을 H.264의참조코드 (JM Reference Code) 에실제로구현시키고실험을수행함으로써구현복잡도의감소량을입증하고있다. 단, 위와같은기술들은복잡도를줄이는대신피할수없는화질열화를발생시키기때문에주관적, 객관적화질을크게떨어뜨리지않는범위내에서그연구가고려되어야할것이다. -902-
2007 년 8 월전자공학회지제 34 권제 8 호 31 (a) Separate back channel. (b) Videomux mode. < 그림 2> Back Channel 의 2 가지구성도 C. KTA #3 - 네트워크상에서의오류정정능력부호화된비트열에전송오류가발생하면복호기에서는수신된비트열을정확히복호할수없다. 또한정확하지않은프레임을참조프레임으로사용하여움직임을예측하게되면오류가다음프레임으로전파되어화질손실이점점커지게된다. 이런현상을좀더효과적으로방지하기위하여제안된기술이백채널기술이다. 이기술의핵심은복호기에서부호기로정보를송신할수있는새로운채널 (Back-Channel) 을형성하여부호기와복호기의상호통신을사용하여효과적으로오류를정정할수있게된다. 그림 1은현재연구가활발히진행되고있는백채널의두가지방식을보여주고있다. ( 그림 2 참조 [5] ) D. KTA #4 - 그밖의핵심기술영역위세가지이외에도 H.265의요구사항중 하나인공간적 / 시간적 /SNR 확장성 (Scalability) 을제공하기위하여기존 H.264를크게변화시키지않는범위내에서확장성에대한연구가진행되고있다. SVC(Scalable Video Coding) 라불리는이부호화기법은 MCTF(Motion compensation Temporal Filter) 를이용한시간적확장성제공, RRU(Reduced Resolution Update) 를이용한공간적확장성제공등확장성에대한기술들이 VCEG 회의내에서계속적으로제안되고또한실험이수행되고있다. 나. KTA 참조소프트웨어 KTA의기술현황을알아보기위해 KTA의핵심부호화툴을사용하여작성된 KTA 참조소프트웨어에대한개괄적인내용과그성능을알아보도록하자. KTA 참조소프트웨어는 2006년 7월독일클라겐푸르트 (Klagenfurt) VCEG 회의에서, H.264 참조소프트웨어인 -903-
32 차세대비디오압축기술개발의현황과전망 - H.265 BD Rate - Baseline profile BDRate Gains(%) QCIF+CIF 720p Average MVRes=1 AIF=3 MVComp=1 MVRes=1+ AIF=3 KTA Tool (a) 기본프로파일 AIF=3+ MVComp=1 BD Rate - High IBBP profile BDRate Gains In % QCIF+CIF 720p Average MVRes=1 AF=3 MVComp=1 APEC=1 AQMS=1 MVRes=1+ AQMS=1+ AIF=3+ AIF=3 MVComp=1 MVComp=1 KTA Tool AIF=3+ MVComp=1 +AQMS=1 (b) 고성능 IBBP 프로파일 < 그림 3> JM 11.0 참조소프트웨어대비 KTA 부호화툴의압축률이득 JM 10.2를기반으로 KTA의기술을접목시키면서 KTA 참조소프트웨어버전 1.0으로처음소개되었다. 그이후로도 VCEG에서괄목할만한성능을보이는부호화툴을추가하여지난 2007년 4월미국샌디에고 (Sandiego) VCEG 회의에서 KTA 1.3 소프트웨어가발표되었고, 정기적으로열리는 VCEG에서매번기 능을추가하며그성능을향상시키고있다. [6] 현재 KTA 1.3이지원하는부호화툴은다음과같다 [6]. (1) Adaptive Interpolation Filters - AIF (2) Motion compensated prediction with 1/8- pel Vector Resolution - MVRes (3) Motion Vector Competition - MVComp -904-
2007 년 8 월전자공학회지제 34 권제 8 호 33 (4) Adaptive Prediction Error Coding in spatial and frequential Domain - APEC (5) Adaptive Quantization Matrix Selection - AQMS 그림 3은앞에서언급된 KTA 부호화툴을사용한압축률의향상정도를 H.264 JM11.0 참조소프트웨어대비 BDRate 이득을보여주고있다. 여기에서사용되는 BDRates는부호화성능을나타내는지표로써같은화질을유지하면서비트율을얼마나압축했는가를의미한다. 아직까지 KTA 참조소프트웨어에삽입된부호화툴 5가지를전부사용하는실험은복잡성이나호환성의문제로인해이뤄지지않고있지만, 각툴을2~3개씩조합하여그성능을확인하는실험은이루어지고있다. 그림 3에서는여러 KTA 부호화툴의몇가지조합에대한압축률향상정도를보여주고있다. KTA 참조소프트웨어는기존 H.264 JM 참조소프트웨어대비성능향상정도가뚜렷이보이고특히 SD급이상의고화질영상에서주목할만한성능향상정도를보여서차세 대부호화기술이요구하는고화질콘텐츠에서적용될가능성이크다. 또한앞으로도 VCEG 회의내에서계속적으로성능이뛰어난가능성있는부호화툴을추가하고최적화시킴으로써차세대부호화기법의요구사항에차츰맞추어나가며 H.265의표준화가능성을열어두고있다. 2. 웨이블렛의기반의차세대부호화기법앞에서언급했듯이한쪽에서는 KTA를고려한기존 H.264의확장기반으로표준화를진행시키고있는반면, 다른한쪽에서는기존의 H.264의블록기반의 DCT 변환기법이아닌새로운변환기법을적용한새로운형태의차세대부호화방식을표준화로진행시키고있다. 그림 4는현재부호화에시도되고있는새로운변환기법을나타낸것으로써 Ridgelet/ Contourlet 등웨이블렛기반의변환기법과 Piecewise Polynomial 변환기법, Zero-crossing 변환기법을보여주고있다. 특별히본절에 < 그림 4> 새로운변환기법을사용하는차세대부호화기법후보군. -905-
34 차세대비디오압축기술개발의현황과전망 - H.265 서는웨이블렛기반의변환기법을통한차세대부호화기법을소개하고자한다. 웨이블렛은분리된 2개의 1차원필터를영상의수직방향과수평방향으로각각취하는변환기법으로고대역필터링후수평, 수직두방향으로에너지전파가최소화되는장점을가져완만한신호에대해서높은에너지집중효과 (Energy Compaction or Sparsity) 를얻을수있다. 또한웨이블렛변환기법자체가확장성 (Scalability) 을제공하고블록간의경계에서발생하는블록화현상 (Blocking artifacts) 을최소화하기때문에최근 MPEG의 SVC (Scalable Video Codec) 및 JPEG2000 등에서채택, 그우수성이입증되어차세대비디오압축표준화에대한도입이매우촉망되고있다. 그림 5는기존의 2차원웨이블렛변환기법구조와변환계수결과를보여준다. 최근에는정지영상부호화의성능향상을위한웨이블렛기반의부호화기술은에너지집중효과를극대화할수있도록웨이블렛기 저함수를설계하는방향으로진행되고있다. 그기법중첫번째는비분리형 2차원필터뱅크 (non-separable 2-D filter banks) 설계를기반으로한웨이블렛변환기법이고, 두번째는영상의지배적인에지방향을고려해분리형 1차원필터뱅크설계해웨이블렛변환을수행하는기법이다. 이는기존의 2차원웨이블렛이수평, 수직방향을따라존재하지않는에지 (edges) 나선 (lines), 윤곽 (contour) 과같은방향성분을많이갖는영상에대해서고대역까지에너지를전파하게되는문제점을가지고있었기때문에, 영상의주파수대역을더잘게분해하거나영상의방향특성을고려한필터설계등으로더높은에너지집중효과를얻기위한시도들이다. 비분리형 2차원필터뱅크를이용한변환기법들중대표적인 Contourlet [7] 은방향성필터뱅크와라플라시안피라미드기법기반의변환기법으로 2차원영상신호에대해에너지집중효과가이론적으로최적에가까운결 (a) (b) < 그림 5> (a) 웨이블렛기반변환기법기본구조, (b) 웨이블렛변환결과 -906-
2007 년 8 월전자공학회지제 34 권제 8 호 35 되고있는웨이블렛변환기법과더불어 H.265 표준화의가능성을기대할수있을것이다. [10] 표 3은현재제안되고있는대표적인웨이블렛변환기법들의성능및복잡도의관점에서비교한것이다. Ⅳ. 결론및향후전망 JVT에서는 2003년 H.264의표준화이후끊임없는기술확장을통해 HD급영상에대응하기위한확장프로파일 H.264 FRExt (Fidelity Range Extension) 을 2005년에제정하였고, 하나의압축된비트스트림에서다양한확장성을제공하는 H.264 SE(Scalable Extension) 의표준화를진행중에있어 2008년까지 H.264의부호화효율향상을계획하고있다. 현재여러표준화그룹들은 H.264와동일한화질을유지하면서 50% 이상의부호화율향상과부 복호화기의복잡도증가를최소로 < 표 3> 대표적인변형웨이블렛의성능및복잡도비교 성능 (Sparsity) 복잡도 (Complexity) 비고 Contourlets DA-DWT Directionlets Ridgelets Bandelets Wedgelets High :If many directional filtering Medium Medium Low High High High :non-separable filter bank Low :separable filter bank Low :separable filter bank Medium :Radon transform High :Bandeletization Medium :Geometric partitioning Oversampling Quincunx Matrix Directional interaction Variable direction Blocking artifacts Spatial scalability is limited Only point & line singularities Post-processing of wavelet coefficients From Continuous domain No Perfect Reconstruction 과를낼수있는장점을갖는다. 하지만, Quincunx Matrix를이용한반복연산으로높은연산량과과도샘플링 (oversampling) 기반의변환기법이라는측면에서영상압축으로의적용은추가적인연구들이진행되어야한다. 한편, 분리형 1차원필터뱅크를이용한변환기법들가운데 Directionlets [5] 과 DA- DWT [6] 는영상의지배적인에지를따라분리형 1차원필터를취해높은에너지집중효과를얻을수있었다. 하지만 Directionlets은저주파대역의신호가직교좌표계에존재하지않아공간확장성 (spatial scalability) 에제한적이라는점, DA-DWT는 2개이상의에지를갖는영상신호에대해서는기존의웨이블렛변환과성능면에서큰차이를갖지못하는점에서 H.265의요구사항을만족하기에는아직한계를갖고있다. 하지만, 2003년에영국의 BBC에서제안한웨이블렛변환기법기반의비디오부호화기 Dirac은 HD급비디오에대해 MPEG-2에비해 50% 성능을향상을보이며 H.264와충분히견줄만한성능을갖추고있어최근에제안 -907-
36 차세대비디오압축기술개발의현황과전망 - H.265 하는비디오압축기술설계를목표로 H.265 의표준화를준비하는단계에있다. H.265 표준화를준비하는기술개발의동향은기존 H.264의기술확장을통한연구와다양한변환기법및확장성을갖춘새로운패러다임의변환기법연구로크게두가지방향으로이루어지고있다. 최근지문및홍채, 얼굴인식등생체인식과관련된여러응용분야가생활속에활발하게융화되기시작하면서방대한데이터들을효율적으로처리하기위한지능형부 복호화기가요구되고있으며, VoIP나 IPTV 등 IP 기반의서비스들이상용화되기시작하면서 IP 기반에서의효율적인전송을위한에러은닉및강인기법들또한요구되고있다. H.265는위와같은디지털기술의발전과더불어새롭게제시되는응용분야에서의요구사항을충족할뿐아니라, 높은부호화율및다양성, 확장성을지원하는차세대비디오압축기술로제안될것이다. http://ftp3.itu.ch/av-arch/video-site/ [6] KTA reference model, http://iphome.hhi.de/suehring/tml/download/kta/ [7] Minh N. Do and Martin Vetterli, The contourlet transform : an efficient directional multiresolution image representation, IEEE Transaction on Image Processing, vol. 14, no. 12, pp. 2091-2106, Dec. 2005. [8] V. Velisavljevic, B. Beferull-Lozano, M. Vetterli, and P. L. Dragotti, Directionlets: Anisotropic multidirectional representation with separable filtering, IEEE Transactions on Image Processing, Vol. 15, No. 7, pp. 1916-1933, July 2006. [9] C.L. Chang and B. Girod, Direction-Adaptive Discrete Wavelet Transform for Image Compression, IEEE Transactions on Image Processing, vol. 16, No. 5. May 2007. [10] K. Onthriar, K. K. Loo, Z. Xue, Performance comparison of emerging Dirac video codec with H.264/AV, IEEE Int. conf. on Digital Telecommunications, 06 ICDT, pp. 22-26. 2006. 참고문헌 [1] ITU-T SG16 web site at http://www.itu.int/itu- T/studygroups/com16/sg16-q6.html [2] Gisle Bjontegaard, Video compression after H.264, 5th IMTC forum, Eisbee, Germany, May. 2005. [3] Rantna Reddy, Advances in video compression standards: H.265, 8th Texas Instruments developer Conference, Bangalore, India, 30 Nov. - 1 Dec. 2005. [4] ITU-T. Recommendation H.264 and ISO/IEC 14496-10 AVC, Advanced video coding for generic audiovisual services, version 3 [5] ITU-T VCEG meeting document, -908-
2007 년 8 월전자공학회지제 34 권제 8 호 37 저자소개 저자소개 김성제 최윤식 2004 년 9 월연세대학교전기전자공학과학사 2006 년 9 월연세대학교전기전자공학과석사 2006 년 9 월 - 현재연세대학교전기전자공학과박사재학중 주관심분야 : 비디오압축코덱개발, HW/SW codesign 1979 년연세대학교전기공학과학사 1984 년 Case Western Reserve Univ. 시스템공학과석사졸업 1987 년 Pennsylvania State Univ. 전기공학과석사졸업 1990 년 Purdue Univ. 전기공학부박사졸업 1990 년 -1993 년 ( 주 ) 현대전자산업전자연구소책임연구원 1993 년 - 현재연세대학교전기전자공학부교수 주관심분야 : 비디오, 영상신호처리, HDTV 김병호 2007 년 2 월건국대학교전기공학과학사 2007 년 3 월 - 현재건국대학교전기공학과석사재학중 주관심분야 : 마이크로프로세서, 비디오압축코덱개발, HW/SW co-design 최영호 1991 년연세대학교전자공학과학사 1995 년 University of Southern California, 전기공학과 (M.S) 2001 년 University of Southern California, 전기공학과 (Ph.D) 2001 년 -2004 년미국 Intel Corp. 선임연구원 2004 년 - 현재건국대학교공과대학전기공학과조교수 주관심분야 : 마이크로프로세서, 병렬처리구조, 네트워크, 영상압축처리구조 -909-