논문번호 12-37A-03-04 한국통신학회논문지 '12-03 Vol.37A No.03 HEVC 에서후보모드표를이용한화면내모드부호화 정회원최정아 *, 종신회원호요성 * Intra Mode Coding using Candidate Mode Table in HEVC Jung-Ah Choi * Regular Member, Yo-Sung Ho * Lifelong Member 요 약 본논문에서는후보모드표를이용한새로운화면내모드부호화방법을제안한다. 기존의 HEVC는예측한최고확률모드 (most probable mode, MPM) 가현재블록의실제모드와동일하지않을경우고정길이부호 (fixed length code, FLC) 를이용해실제모드정보를이진화한다. 하지만 HEVC는화면내블록은많은수의모드를사용하기때문에 FLC 를이용해이진화를하면코드워드의길이가길어진다. 본논문에서는예측한 MPM이실제모드와동일하지않은경우인접한블록을통해생성한후보모드표를이용해부호화할인덱스를얻고, 이를 FLC 대신통계적특성을고려한 Golomb-Rice 코드를이용해이진화하는방법을제안한다. 실험을통해제안한방법이기존의 HEVC 화면내모드부호화방법에비해평균약 0.5% 의비트수를감소시키는것을확인했다. Key Words : HEVC, context-based adaptive binary arithmetic coding, Intra coding ABSTRACT In this paper, we propose a new intra mode coding method using the candidate mode table. In the conventional HEVC, if the predicted most probable mode (MPM) is not same with the current prediction mode, the current prediction mode is encoded using the fixed length code (FLC). However, since a large number of modes are used in HEVC, the codeword length of FLC gets longer. In this paper, we generate the candidate mode table from neighboring blocks and encode the obtained intra mode index using Golomb-Rice code instead of FLC, when the predicted MPM is not identical to the current mode. From the experiment, we verified that the proposed method reduces the BD-rate by 0.5% on average, compared to the HEVC intra mode coding method. Ⅰ. 서론현재표준화가진행중인 HEVC [1] 는기존의비디오압축표준인 H.264/AVC [2] 와비교해부호화효율을두배이상향상시키는것을목표로하고있다. 부호화효율향상을위해부호화구조, 화면내예측, 화면간예측, 양자화, 변환, 보간필터, 후처리필터, 엔트로피부호화등비디오코덱전반에걸쳐새로운부호화알고리즘들이제안되었다. HEVC 화면내부호화에서는예측단위 (prediction unit, PU) 의크기, 모드개수, 주변블록을이용한 현재블록의모드예측방법이변경되었다. H.264/AVC는 4 4, 8 8, 16 16 크기의 PU를사용하고최대 9개의모드를제공했지만, HEVC 화면내부호화에서는 4 4에서최대 32 32 크기의 PU를사용하고최대 34개의모드를제공한다. 또한, 많은수의모드를효율적으로부호화하기위해인접한블록의모드를통해최대 2개의최고확률모드 (most probable mode, MPM) 를예측해부호화한다. 모드의수가늘어남으로써보다자세한예측이가능해졌지만, 예측한 MPM이실제모드와일치하지않을경우고정길이부호 (fixed length code, FLC) 를사 * 광주과학기술원실감방송연구센터 ({jachoi, hoyo}@gist.ac.kr), ( : 교신저자 ) 논문번호 :KICS2011-08-345, 접수일자 :2011 년 8 월 12 일, 최종논문접수일자 :2012 년 3 월 8 일 157
한국통신학회논문지 '12-03 Vol.37A No.03 용해이를이진화하므로최대 7비트가소모된다. 따라서, 본논문에서는인접한블록의모드를이용해후보모드표를만들고, 이표를이용해현재블록의모드를부호화하는방법을제안한다. 제안하는후보모드표는발생할가능성이큰후보모드가짧은인덱스를가진다. 실제모드대신후보모드표의인덱스를부호화하므로부호화해야할정보의통계적특성이변화한다. 이러한통계적특성변화를고려해, 기존 HEVC CABAC의 FLC 대신 Golomb-Rice 코드 [3] 를이용해발생가능성이큰후보모드에더짧은코드워드를할당한다. 이는 FLC 를이용해이진화하는기존 HEVC의 CABAC 방법에비해더좋은부호화성능을보인다. Ⅱ. HEVC 화면내부호화 2.1 화면내모드예측 HEVC는 4 4에서 64 64까지다양한크기의 PU 를사용하며, 그림 1과같이다양한수의모드를사용한다. 4 4 PU의경우 17개, 8 8부터 32 32 PU의경우 34개의모드를사용한다. HEVC에서도인접한블록의모드를이용해현재블록의모드를예측하고, 그예측된값을 MPM이라정의한다. HEVC에서는두개의 MPM 후보를사용한다. 현재블록에인접한좌측블록을 A, 상단블록을 B라할때, A와 B의모드가동일한값일경우 MPM 은인접블록의모드와같다. 블록 A와블록 B의모드가동일하지않을경우 A의모드가첫번째 MPM, B의모드가두번째 MPM이된다. 26 14 27 7 28 15 29 1 30 16 31 8 32 17 33 3 18 10 19 4 20 11 21 0 22 12 23 5 24 13 25 6 9 2: DC mode 그림 1. 화면내예측의방향성 Fig. 1. Intra prediction directions. 2.2 CABAC의화면내모드이진화 HEVC의 CABAC에서는화면내모드를부호화하 기위한구문요소로 prev_intra_luma_pred_flag, mpm_idx, rem_intra_luma_pred_mode를사용한다. prev_intra_luma_pred_flag는 MPM이실제모드와동일한지여부를 0( 불일치 ) 과 1( 일치 ) 로나타낸다. mpm_idx는 prev_intra_luma_pred_flag가 1이고두개의 MPM이사용되는경우, 즉좌측및상단블록의모드가동일하지않을경우에만부호화되고두블록의모드중어느것이실제모드와일치하는지를알려준다. mpm_idx가 0인경우좌측블록의모드가, 1인경우상단블록의모드가실제모드와일치함을의미한다. rem_intra_luma_pred_mode는예측한 MPM 과현재블록의실제모드가일치하지않을경우, 즉 prev_intra_luma_pred_flag가 0일경우부호화되며 FLC를이용해이진화된다. Ⅲ. 제안하는화면내모드부호화방법최근, 후보모드표를이용한화면내부호화방법이제안되었다 [4]. 이방법은화면내모드예측의정확도를높이기위해주변 PU의방향성을이용해현재 PU 의방향성으로적합한후보모드들을가장발생할가능성이높은순서대로예측하는방법이다. 이방법은높은성능을보이지만, 한개의 MPM 사용하는 HEVC 시험소프트웨어 HM 2.0을기준으로제안되어두개의 MPM을사용하는 HM 3.0에는적용할수없다. 따라서, 두개의 MPM을사용하는경우에적합하도록알고리즘을변경해야한다. 현재화면내모드부호화에서는 MPM이실제모드와일치할경우 1비트또는 2비트를부호화하고, 그렇지않을경우실제모드정보인 rem_intra_luma_pred_mode 를 FLC를이용해이진화한후부호화한다. 4 4, 8 8, 16 16, 32 32 PU는모드의수가많으므로 rem_intra_luma_pred_mode를 FLC로이진화했을때, 비트길이가최대 7비트로길어진다. 그러므로 MPM 이실제모드와일치하지않는경우가많으면부호화효율이낮아진다. 그림 2는다양한양자화계수에대해 MPM과실제모드가일치하는확률을보여준다. 즉, p(mpm = 실제모드, MPM 개수 = 1) 과 p(mpm = 실제모드, MPM 개수 = 2) 를도시한것으로, MPM이정확한경우는평균 20.95% 로그리높지않다. 약 79% 의 PU 에대해모드정보를부호화하기위해 5비트에서최대 7비트의긴코드워드를부호화해야함을알수있다. 그러므로 MPM이정확하지않을때모드정보를효율적으로부호화하는방법이필요하다. 158
논문 / HEVC 에서후보모드표를이용한화면내모드부호화 그림 2. MPM 의정확도확인 Fig. 2. MPM accuracy. 본논문에서는 MPM과실제모드가일치하지않을경우, 모든모드에동일한비트를할당하는 FLC를사용하는대신인접블록의모드로발생가능성이큰순서대로나열해후보모드표를생성하고그인덱스를 Golomb-Rice 코드로이진화하는방법을제안한다. 이를통해, 발생가능성이큰모드에는짧은길이의코드를, 그렇지않은모드에는긴길이의코드를할당할수있다. 세부절에서후보모드표생성방법과이표의인덱스를 TU로이진화하는방법을설명한다. 3.1 후보모드표생성후보모드표를생성하기위해서는먼저발생가능성이큰모드를예측해야한다. 영상의상관성을고려했을때인접블록의모드가실제모드와정확히일치하지않더라도, 이와비슷한방향성을가지는모드가실제모드일가능성이크다는것을알수있다. 따라서각인접블록의모드와비슷한방향성을가지는모드순으로모드를정렬한다. 후보모드표생성을위해먼저모드순서표를메모리에저장해놓는다. 이는표 1 및표 2와같이 DC 모드 ( 모드번호 = 2) 를제외한모드들을방향성에따라인덱스번호를다시할당한것으로, 복호단에서도동일한모드순서표를가지고있어야한다. 모드순서표저장을위해총 49 bytes의메모리가필요하다. 모드순서표는방향성순서대로재배열되어있기때문에이를이용하면, 각상황에따라거리유사성을중심으로후보모드표를손쉽게생성할수있다. 실험결과 MPM값이모드순서표상으로 i번째값인경우, 후보모드표를생성할때 i+1번째모드를우선으로고려할지, i-1번째모드를우선으로고려할지는결과값에큰차이를보이지않으므로제안한방법에서는 i+1 모드를우선적으로고려하기로한다. 단, 후보모드표를생성할때일바적으로가장발생확률이큰 DC 모드는항상제일먼저고려한다. 실제후보모드표를생성하는방법은크게세단계로이루어진다. 좌측 PU 후보모드표생성, 상단 PU 후보모드표생성, 마지막으로실제부호화에사용하는참조후보모드표를생성한다. 그림 3의예를통해자세히알아본다. 그림 3은 4 4 PU인경우, 좌측 PU로부터의 MPM 은 0이고, 상단 PU로부터의 MPM이 5인경우이다. 먼저, 좌측 PU 후보모드표첫번째인덱스에 DC 모드를의미하는모드 2를할당한다. 다음, 좌측 PU의 MPM이 0이므로모드순서표상 i = 12가되고, i+1, i-1, i+2,... 순서, 즉 12, 11, 5,... 순서로좌측 PU 후보모드표가생성된다. 생성된후보모드표는그림 4 의 (A) 와같다. 동일한방법으로, 상단 PU 후보모드표를생성한다. 먼저, 상단 PU 후보모드표첫번째인덱스에 DC 모드를할당하고, 상단 PU의 MPM이 5이므로, i = 14 가되고, 13, 12, 6,... 순으로상단 PU 후보모드표가생성된다. 생성된후보모드표는그림 3의 (B) 와같다. 표 1. 모드순서표 ( 모드개수 = 17 개 ) Table 1. Mode order table (The number of modes = 17) 순서 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 모드 9 8 16 1 15 7 14 3 10 4 11 0 12 5 13 6 표 2. 모드순서표 ( 모드개수 = 34 개 ) Table 2. Mode order table (The number of modes = 34) 순서 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 모드 9 33 17 32 8 31 16 30 1 29 15 28 7 27 14 26 3 순서 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 - 모드 18 10 19 4 20 11 21 0 22 12 23 5 24 13 25 6-159
한국통신학회논문지 '12-03 Vol.37A No.03 마지막으로, 참조후보모드표를생성하는방법을설명한다. 참조후보모드표를생성할때는영상의수평방향의상관성이크다는가정하에, 좌측 PU 후보모드표에우선순위를둔다. 따라서, 좌측 PU 후보모드표에서하나, 상단 PU 후보모드표에서하나씩순서대로모드를가져와혼합한다. 혼합할때, 모드가중복되지않도록표의앞부분부터중복여부를따져결합한다. 따라서, 이미참조후보모드표로이동된중복모드또는 MPM으로예측되었던모드는고려하지않는다. 그림 3. 후보모드표생성의예 Fig. 3. The example of the mode table generation. 그림 3에서점선으로표시된화살표는중복되거나 MPM으로예측되었던모드이므로후보모드표로이동되지않는것을의미한다. 예를들어, 그림 3에서모드 2는중복된모드이므로참조모드표로이동되지않고, 모드 5는상단 PU로부터의 MPM이므로고려되지않는다. 참조후보모드표 (C) 옆의 0부터 15까지의수는참조후보모드표의인덱스로실제로는이인덱스가부호화된다. 즉, 전송해야할모드정보가 13 이면제안한방법에서는참조후보모드표에서의인덱스인 2를부호화한다. 3.2 Golomb-Rice 코드를이용한이진화기존의 HEVC에서는 MPM이실제모드와후보모드표를이용하면, 부호화해야할정보가 rem_intra_ luma_pred_mode가아닌후보모드표의참조번호가된다. 따라서부호화해야할정보의발생확률이통계적특성이변화한다. CABAC에서각구문요소의통계적특성을고려한이진화방식은부호화효율에영향을미치는중요한요소이므로, 부호화해야할신호의통계적특성을파악하고이에맞는이진화코드를 결정하는선행연구들이있었다 [5-7]. 그림 4는총 17개의모드를사용하는 4 4 PU에대해기존의 HEVC의 rem_intra_luma_pred_mode의발생확률과제안한방법에서부호화해야하는후보모드표인덱스의발생확률을비교한것이다. 기존의방법에서는부호화해야할정보의발생확률이랜덤한특성을보였으나, 후보모드표를이용하는경우, 기존의방법보다부호화해야할정보가작은값으로집중되는것을확인할수있다. 이경우, FLC보다는발생확률에따라서로다른길이의코드워드를할당하는 Golomb-Rice 코드를사용하는것이효율적이다. Golomb-Rice 코드는 truncated unary (TU) 접두사와 Rice 접미사가결합된코드로, 0차에서 3차까지의코드가있는데차수에따라서로다른확률분포를띈다. 0차 Golomb-Rice 코드는작은값이자주발생할때더효율적이며, 3차로갈수록좀더큰값이자주발생할때더효율적이다. 다양한영상을이용한실험결과, 17개의모드를사용할때, 제안한후보모드표를사용한화면내모드부호화방법이좀더정확한결과를제공하므로더작은값이더자주발생했으며, 34개의모드를사용할때에는그보다큰값도발생하는것을확인할수있었다. 따라서실험적으로 17개의모드를사용할때에는 2차, 34개의모드를사용할때에는 3차 Golomb-Rice 코드를사용하도록결정했다. 그림 4. 부호화해야할정보의통계적특성비교 Fig. 4. Probability distribution of table index. Ⅳ. 실험결과및분석 성능비교실험을위해제안한방법을 HEVC 시험소프트웨어 HM 3.0에구현했다. 제안한방법의효율을증명하기위해, 다양한 HEVC 실험영상을화면내부호화한후, 제안한방법의성능을비교했다. 양자화계수는 22, 27, 32, 37을사용했다. 구조성능비교에는구간적 3차보간 (piece-wise cubic interpolation) 기반성능평가방법 [8] 을이용했다. 160
논문 / HEVC 에서후보모드표를이용한화면내모드부호화 표 3. 제안한방법의성능평가 Table 3. Performance of the proposed method 크기 2560 1600 1920 1080 416 240 1280 720 영상 Y BD-rate (%) [4] [9] [10] [11] 제안한방법 Traffic -0.2-0.6 0-0.4-0.3 PeopleOnStreet -0.5-0.6 0-0.4-0.5 Cactus -0.4-0.3 0-0.3-0.2 BasketballDrive -0.7-0.4 0-0.4-0.4 RaceHorses -0.3-0.2-0.1-0.5-0.8 BasketballPass -0.2-0.1 0-0.4-0.4 Vidyo1-0.8-0.3 0-0.5-0.4 Vidyo4-0.5-0.1 0.1-0.6-0.6 평균 -0.5-0.3 0-0.4-0.5 표 4. 제안한방법의복잡도평가 Table 4. Complexity of the proposed method 크기 영상 복잡도증가 (%) QP = 22 QP = 27 QP = 32 QP = 37 Traffic 9.8 10.9 9.9 11.4 2560 1600 PeopleOnStreet 8.9 10.1 9.6 10.3 Cactus 1.2 1.1 2.0 0.8 1920 1080 BasketballDrive 1.5 1.8 2.5 2.1 RaceHorses 1.4 0.9 2.3 2.4 416 240 BasketballPass 1.4 0.9 1.4 2.8 1280 720 Vidyo1 1.9 1.6 1.1 1.6 Vidyo4 1.3 1.4 1.4 0.4 평균 3.4 3.6 3.8 4.0 표 3의실험결과로부터, 제안한방법이기존 HEVC의 CABAC와비교해동일한화질을유지하면서최저 0.2%, 최고 0.8% 의비트량을절약함을알수있다. 전체영상에대해, 평균 0.5% 의비트량이절약되었다. 이를통해후보모드표를이용한화면내부호화방법 [4] 을부호화효율을유지하면서현재 HEVC 시험소프트웨어에적합하도록변경했음을확인할수있다. 또한, 제안한방법의부호화효율을최근의화면내모드부호화 JCT-VC 기고서들 [9-11] 과비교한결과표 3에나타낸것과같이제안한방법이평균적으로가장좋은성능을보임을확인할수있었다. 제안한방법은기존의 HEVC와동일한화질을제공하면서평균약 0.5% 의비트율을감소시킬수있지만, 각상황에따라거리유사성을중심으로참조후보모드표를생성해야하므로복잡도가증가한다. 제안한알고리즘의복잡도측정을위해부호화시간을 측정한결과가표 4에나타나있다. 제안한알고리즘은평균약 3.7% 의부호화시간을증가시킨다. Ⅴ. 결론본논문에서는 HEVC를위한향상된화면내모드신호전달방법을제안한다. 제안한방법에서는인접한블록의모드정보를이용해발생가능성이큰모드순으로정렬된후보모드표를생성하고, 부호화하는구문요소의통계적특성을분석해확률분포에맞는차수의 Golomb-Rice 코드를사용해후보모드표의인덱스를이진화해이를전송한다. 실험결과로부터본논문에서제안하는화면내모드신호전달방법이현재 HEVC의화면내모드부호화방법에비해평균약 0.5% 의비트수를감소시켜더우수한압축율을제공함을확인했다. 161
한국통신학회논문지 '12-03 Vol.37A No.03 참고문헌 [1] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "WD3: Working Draft 3 of High Efficiency Video Coding," JCTVC-E603, Geneva, CH, March 2011. [2] G. Sullivan, P. Topiwala, and A. Luthra, "The H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extensions," Proc. of SPIE conference, Special Session on Advances in the New Emerging Standard: H.264/AVC, Aug. 2004. [3] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "CE11: Coding of Transform Coefficient Levels with Golomb-Rice Codes," JCTVC-E253, Geneva, CH, March 2011. [4] G. Wallendael, S. Leuven, J. Barbarien, J. Cock, P. Lambert, A. Munteanu, and R. Walle, "Improved Intra Mode Signaling for HEVC," Proc. of IEEE International Conference on Multimedia and Expo (ICME), pp. 001-006, July 2011. [5] D. Kim, J. Choi, and Y. Lee, Improved CABAC for Lossless Video Compression, Journal of Broadcast Engineering, vol. 12, no. 4, pp. 377-380, July 2007. [6] J. Heo and Y. Ho, Improved CABAC Method for Lossless Image Compression, The Journal of the Korean Institute of Communication Sciences, vol. 36, no. 6, pp. 355-360, June 2011. [7] J. Choi and Y. Ho, Improved CABAC Design for Near Lossless Depth Coding in HEVC, Proc. of the Korean Society of Broadcast Engineers Conference, pp. A4-1(1-2), Nov. 2011. [8] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "On BD-rate Calculation," JCTVC-F270, Torino, IT, July 2011. [9] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "Modified Intra Mode Coding," JCTVC-F269, Torino, IT, July 2011. [10] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "Utilisation of CABAC Equal Probability Mode for Intra Modes Coding," JCTVC-F376, Torino, IT, July 2011. [11] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, "Parsing Friendly Intra Mode Coding," JCTVC-F459, Torino, IT, July 2011. 최정아 (Jung-Ah Choi) 정회원 2007년한국항공대학교항공전자및항공전자공학과졸업 ( 학사 ) 2008년광주과학기술원정보통신공학과졸업 ( 석사 ) 2008년~현재광주과학기술원정보통신공학과박사과정 < 관심분야 > 디지털영상처리, H.264/AVC, HEVC 호요성 (Yo-Sung Ho) 종신회원 1981년서울대학교공과대학전자공학과졸업 ( 학사 ) 1983년서울대학교대학원전자공학과졸업 ( 석사 ) 1989년 Univ. of California, Santa Barbara, Dept. of Electrical and Computer Engineering.( 박사 ) 1983년~1995년한국전자통신연구소선임연구원 1990년~1993년미국 Philips 연구소, Senior Research Member 1995년~현재광주과학기술원정보통신공학과교수 003년~현재광주과학기술원실감방송연구센터센터장 < 관심분야 > 디지털신호처리, 영상신호처리및압축, 디지털 TV와고선명 TV, 멀티미디어시스템, MPEG 표준, 3차원 TV, 실감방송, H.264/AVC, HEVC 162