28년제2회영상처리및이해에관한워크샵 28.2.2-2.22 비트율왜곡값예측을이용한 - H.264 고속모드결정방법 O, {kshkim, hoyo}@gist.ac.kr 요약 최근에만들어진비디오압축표준인 H.264 방식은비트율- 왜곡(rate-distortion) 최적화기법을통해매크로블록단위로가능한모든모드들을고려하여최적의부호화모드를결정하므로, 입력동영상을부호화하는데많은시간이걸린다. 따라서 H.264의부호화시간을단축하기위해고속으로모드를결정하는방법이필요하다. 본논문에서는이전에서얻은비트율-왜곡값의통계적특성을이용하여현재부호화할매크로블록의비트율- 왜곡값을예측하고, 불필요한움직임예측과모드결정과정을생략하는새로운고속모드결정방법을제안한다. 또한이전의동일한위치에있는매크로블록의모드와비트율- 왜곡값특성을반영하여, 조기 SKI 모드결정방법과조기 16 16 모드결정방법을제안한다. 본논문에서제안한고속인터모드결정방법이 H.264의참조소프트웨어에구현된고속모드결정방법에비해부호화효율적인면에서거의동일한성능을유지하면서전체부호화시간을평균적으로 79% 정도감소시키는것을컴퓨터모의실험을통해확인했다. 1. 서론 최근에완성된비디오압축표준인 H.264/AVC 는비디오압축성능을높이기위해비트율-왜곡최적화 (Rate Distortion Optimization) 기반의모드결정방법을사용했다 [1]. H.264 는기본 (Baseline) 프로파일에서총 7 가지매크로블록모드를지원하는데, 다섯개의인터모드 (SKI, 16 16, 16 8, 8 16과 8 8) 와두개의인트라모드 (I4 4, I16 16) 가있다. 이중8 8 모드는각각의 8 8 블록안에서 8 8, 8 4, 4 8, 4 4 중의하나로나뉜다. H.264는높은압축효율을얻기위해앞서언급한매크로블록모드들가운데최적의매크로블록모드를결정하기위해비트율- 왜곡최적화기법을사용한다. 하지만, 매크로블록마다각모드별로비트율-왜곡값을얻기위해부호및복호과정을수행해야하므로매우많은계산적인복잡도가요구된다. 본논문에서는이미부호화된매크로블록에서얻은최적모드의통계적분포와각모드별평균비트율-왜곡값을이용하여현재부호화할매크로블록에서발생할비트율- 왜곡값을예측한다. 이러한예측방법을이용하여불필요한움직임예측및모드결정과정을생략하는새로운고속모드결정방법을제안한다. 본논문에서제안한고속모드결정방법은두단계의조기 SKI 모드결정방법과조기 16 16 모드결정방법을포함하고있다. 2. H.264 모드결정 H.264 참조소프트웨어에서움직임벡터와참조영상을결정하기위해식 (1) 과같은비트율-왜곡최적화기법을사용한다. ( MV, REF λ ) = SAD( r( MV, REF )) + λ R( MV, REF ) 여기서 λ 는 Lagrangian 계수이고,.85 2 Q/3 의제곱근값을갖는다.Q 는양자화계수이다.R(MV,REF) 는움직임벡터와참조영상을부호화하는데필요한비트수이다. SAD(r(MV, REF)) 는원영상과움직임예측에의해복원된영상과의차에대한절대값의합이다. 또한, 최적의모드결정은식 (2) 의비트율-왜곡값을비교하여결정된다. ( M λ ) = SSD ( M ) + λ R( M ) 여기서 λ 는 λ 의제곱값이다. M은매크로블록모드이다. R(M) 은 M에해당하는모드를부호화했을때, 실제로발생되는비트수이며 SSD(M) 는원영상과복호된영상과의차이에대한제곱의합이고, 이는다음과같이계산된다. SSD( M ) = H, V ( s( x, y) r( x mx, y m y )) x H, y V 2 (1) (2) (3)
28년제2회영상처리및이해에관한워크샵 28.2.2-2.22 3. 비트율-왜곡예측기반모드결정 본논문에서는비트율-왜곡값예측을이용한고속모드결정방법을제안한다. 1은비트율-왜곡최적화방법을통해각매크로블록을최적의모드로부호화했을때각모드별로양자화계수와모드에따라변하는평균비트율- 왜곡값의분포를나타낸것이다. 1 에서알수있듯이, 최종결정모드에따라비트율- 왜곡값의분포특성이다르며, 특히 SKI 모드의경우가장작은비용값을나타냈고,8 8 모드와인트라 4 4(I4 4) 모드의경우 SKI 모드에비해평균 5배이상의큰비용값을나타냈다. 2는양자화계수에따른각모드별발생빈도수를나타낸것인데, 일반적으로 SKI 모드의발생빈도수가가장많으며, 그다음으로 16 16 모드의빈도수가많음을알수있다. 특히, SKI 모드와 16 16 모드의발생빈도수가대략전체의 8% 임을고려하면, 조기 SKI 모드결정과조기 16 16 모드의결정이고속모드결정에매우중요한부분임을알수있다. 따라서본논문에서는이러한특성들을고려하여각각두단계의조기 SKI 모드결정과정과조기 16 16 모드결정방법을제안하였다. 7 3 에나타낸것과같이, SKI 모드의비트율값이왜곡값에비해매우적으므로 SKI 모드의비트율-왜곡값이아닌왜곡값만을이용하였다. 다음은조기 SKI 모드결정을위한조건식이다. α D Dc ( SKI Q) < δ ( SKI Q) + D α + 1 ( M Q) 여기서 D c(ski Q) 는현재부호화할매크로블록의 SKI 왜곡값, D ( SKI Q) 은이전의평균 SKI 왜곡값을나타낸다. α 는이전의동일한위치에있는매크로블록에서의왜곡값과이전의평균 SKI 왜곡값사이의가중을결정하는상수값을나타내며, δ 는제안한고속모드결정알고리즘에서복잡도와부호화효율을조절하기위한상수값이다. 따라서 δ 값이커짐에따라복잡도는감소되며부호화효율은증가한다. 비용값 45 4 35 3 25 2 (4) 6 5 4 3 2 Q=28 Q=32 Q=36 Q=4 15 1 5 비트율값 왜곡값 발생비율 (%) 1 8 6 4 2 2. SKI 16x16 16x8,8x16 8x8 I4x4 I16x16 모드 1. 모드에따른평균비트율-왜곡값분포 SKI 16x16 16x8,8x16 8x8 I4x4 I16x16 모드 Q=28 Q=32 Q=36 Q=4 양자화계수에따른모드별발생빈도수 제안한고속모드결정알고리즘은두단계의조기 SKI 모드결정과정을포함한다. 첫번째단계의조기 SKI 모드결정에서는이전에서의평균 SKI 왜곡값과이전의동일한위치에있는매크로블록의왜곡값을이용하여조기 SKI 모드여부를결정한다. 3. 비트율값및비용값 (SKI 모드) 두번째단계의조기 SKI 모드결정은 16 16 모드의움직임벡터를찾은후 SKI 모드의움직임벡터와 16 16 모드의움직임벡터가동일하며 SKI 모드의비트율-왜곡값이 16 16 모드의비트율-왜곡값보다작을경우조기 SKI 모드를결정한다. (1) 움직임보상블록의크기가16 16 (2) SKI 움직임벡터와 16 16 움직임벡터가동일 (3) 참조영상은바로이전영상 (4) C (SKI)< C (16 16) 위에서언급한두단계의조기 SKI 모드조건을만 족하지않는경우에는두단계의조기16 16 모드결 정여부를체크한다. 첫번째조기 16 16 모드결정은 현재 16 16 모드의비트율-왜곡값과이전에서의 평균 16 16 모드의비트율왜곡값을고려하여식 - (5) 와같이결정하며, 두번째조기16 16 모드결정은식 (6) 을이용하여결정한다. c( 16 16) < δ ( 16 16) (5) c( 16 16) < c(16 8) && c(16 16) < c(8 16) (6)
28년제2회영상처리및이해에관한워크샵 28.2.2-2.22 조기 16 16 모드결정단계이후에는현재얻어진최소비트율-왜곡값과이전에서통계적관찰을통해예측된 8 8 모드에대한평균비트율왜곡값을 - 이용하여 8 8 모드결정과정의생략여부를결정한다. 이는, 4 (a) 에나타난바와같이, 8 8 모드의비트율왜곡값이다른모드들에비해매우큰값을갖 - 고,8 8 모드의발생확률또한매우낮아식(7) 을이용해효율적으로해당모드의유효성을검사한다. Min_ RDcost {16 8, 8 16} < δ ( 8 8) (7) 인트라 4 4 모드(I4 4) 의경우도, 8 8 모드와같이, 다른모드들에비해더많은헤더비트를요구하므로상대적으로다른모드의비트율왜곡값보다큰값 - 을갖는동시에발생확률도매우낮다. 이러한점을고려하여현재얻어진최적의비트율- 왜곡값이식 (8) 에설정된임계값보다작은경우 I4 4 모드에대한비트율- 왜곡예측과정을생략하는방법을제안했다. 4(b) 에는인트라모드의비트율- 왜곡값을나타냈다. Min_ RDcost {16 8, 8 16, 8 8} < δ ( I4 4) (8) 1 9 5. 제안한고속모드결정방법 8 7 6 5 4 3 2 1 2 18 16 14 12 1 8 6 4 2 (a) 평균비트율- 왜곡값 ( 인터모드) (b) 평균비트율- 왜곡값 ( 인트라모드) SKI 16x16 8x8 16x8,8x16 4. 모드별비트율-왜곡값의확률분포 5에는본논문에서제안한고속모드결정방법의전체적인구조를도식적으로나타냈다. I4x4 I16x16 4. 실험결과및분석 본논문에서는 M 12.4에서제안한고속모드결정방법을구현했다. 이방법의효율을보이기위해, 1 프레임을갖는해상도 CIF(352 288) 크기의각기다른 9 개의비디오시퀀스를이용하여, I 구조의베이스라인(Baseline) 프로파일로부호화했다. 움직임예측에 2 개의참조영상을사용했으며, 움직임예측을위한탐색범위는 16 이다. 비트율-왜곡곡선을유도하기위해 4 개의양자화계수 (28, 32, 36, 4) 를사용했다. 제안한고속모드결정방법과 H.264 참조소프트웨어의고속모드결정방법의성능비교를위해평균 SNR 과비트율을사용했다 [3]. 실험은고속복잡도모드(Fast High Complexity Mode) 에서수행되었으며, 수행시간은각양자화계수(28, 32, 36, 4) 별부호화시간의평균으로계산했다 [4] [5]. < 표1> 부터< 표4> 까지는양자화계수에따른성능을비교하기위해실험한결과를나타낸다.< 표 1> 부터 < 표4> 에서알수있듯이, 제안한고속인터모드결정방법은 M 참조소프트웨어에구현된고속모드결정방법에비해평균79% 정도부호화시간을단축시켰다. 또한,SNR과발생비트율에대해서도거의동일한성능을나타냈다. 특히, 각실험영상마다모드별발생빈도수와비트율-왜곡값에있어서확률분포의차이때문에부호화시간감소의비율도각기다르게나타남을확인했다.
28년제2회영상처리및이해에관한워크샵 28.2.2-2.22 < 표 1> 영상에따른성능변화 (Q=28) 5. 결론 FOREMAN -.11 1.52-72.72 NEWS.2.71-86.96 AKIYO.6-1.6-9.51 FOOTBALL -.1 3.1-59.27 COASTGUARD.2.71-79.55 SILENT -.9 -.73-81.13 CONTAINER -.2-3.86-9.57 ARIS.11 1.17-8.35 MOBILE -.7-2.15-78.8 -.1 -.13-79.91 < 표 2> 영상에따른성능변화 (Q=32) FOREMAN.2.34-74.13 NEWS -.7-1.92-84.4 AKIYO.5.11-89.6 FOOTBALL -.1 2.47-59.48 COASTGUARD.6 1.1-77.3 SILENT -.2 1.54-83.1 CONTAINER.6.12-89.13 ARIS. 1.1-78.84 MOBILE -.9.52-78.4..59-79.36 < 표 3> 영상에따른성능변화 (Q=36) FOREMAN.6.22-75.55 NEWS -.8 -.81-83.5 AKIYO -.1-1.1-87.6 FOOTBALL -.4 1.3-59.67 COASTGUARD -.6-1.58-78.27 SILENT -.3.36-82.24 CONTAINER.2.39-88.34 ARIS -.7-1.71-76.38 MOBILE -.2 1.52-77.36 -.2 -.16-78.99 < 표 4> 영상에따른성능변화 (Q=4) FOREMAN -.1 -.12-75.3 NEWS -.17-2.3-82. AKIYO -.1.81-86.95 FOOTBALL -.7 -.1-53.84 COASTGUARD -.1-1.34-79.15 SILENT -.4 1.46-81.36 CONTAINER -.6.22-87.45 ARIS -.6-1.88-75.24 MOBILE.2 1.9-77.91 -.6 -.23-77.66 본논문에서는주어진영상을부호화할때이전의매크로블록들의모드발생빈도, 비트율-왜곡값및이전에서동일한위치에있는매크로블록의비트율- 왜곡비용값을고려하여, 불필요한움직임예측및모드결정과정을생략하는새로운고속모드결정방법을제안했다. 제안한고속모드결정방법에서는비트율-왜곡값예측을통해두단계의조기 SKI 모드결정과두단계의조기 16x16 모드결정과정을제안했다. 또한, 8 8 모드와인트라 4 4 모드와같이많은계산적복잡도를요구하지만발생빈도가낮은모드들을위해통계적비트율-왜곡값예측방법을통한모드생략방법을제안하였다. 컴퓨터모의실험결과를통해보인것처럼, 제안한고속모드결정방법은 H.264 고속모드결정방법과비교하여, SNR과발생비트율에서거의동일한성능을유지하면서평균 79% 의부호화시간을감소시켰다. 감사의글 본연구는광주과학기술원(GIST) 실감방송연구센터(RBRC) 를통한정보통신대학 IT연구센터 (ITRC) 의지원에의한것입니다. 참고문헌 [1] ITU-T Rec. H.264 ISO/IEC 14496-1 AVC, "Draft ITU-T Recommendation and Final Draft International Standard of oint Video Specification," VT-G5, 23. [2] VT reference software version 12.4, available online at: http://iphome.hhi.de/suehring/tml/donload/old_jm/ [3] G. Bjontegaard, "Calculation of Average SNR Difference between RD-curve," ITU-T Q.6/16, Doc. VCEG-M33, April 21. [4] Z. Chen,. Zhou, and Y. He, "Fast Motion Estimation for VT," VT-G16, March 23. [5] G. Y. Kim, B. Y. Yoon, and Y. S. Ho, "A Fast Inter Mode Decision Algorithm in H.264/AVC for ITV Broadcasting Service" roc. VCI 27, an. 27.