논문 11-36-06-04 한국통신학회논문지 '11-06 Vol. 36 No. 6 무손실영상압축을위한향상된 CABAC 방법 정회원허진 *, 종신회원호요성 ** Improved CABAC Method for Lossless Image Compression Jin Heo* Regular Member, Yo-Sung Ho** Lifelong Member 요 약 본논문에서는무손실영상압축의효율을높이기위해새로운문맥기반적응적이진산술부호화 (context-based adaptive binary arithmetic coding, CABAC) 방법을제안한다. 기존의 H.264/AVC의 CABAC은손실 (loosy) 부호화환경에적합하게설계되었기때문에, 무손실 (lossless) 부호화환경에서최적의부호화성능을제공하지못한다. 따라서, 무손실화면내부호화환경에서잔여신호의통계적특성을고려하여향상된 CABAC 기반의잔여신호부호화방법을제안한다. 실험결과로부터무손실화면내부호화환경에서본논문에서제안하는향상된 CABAC 방법이기존의 CABAC 방법에비해평균적으로약 18.2% 정도의비트수를감소시키는것을확인했다. Key Words : H.264/AVC, Lossless Coding, Context-Based Adaptive Binary Arithmetic Coding, Intra Coding ABSTRACT In this paper, we propose a new context-based adaptive binary arithmetic coding (CABAC) method for lossless image compression. Since the conventional CABAC in H.264/AVC was originally designed for lossy coding, it does not yield adequate performance during lossless coding. Therefore, we proposed an improved CABAC method for lossless intra coding by considering the statistical characteristics of residual data in lossless intra coding. Experimental results showed that the proposed method reduced the bit rate by 18.2%, compared to the conventional CABAC for lossless intra coding. Ⅰ. 서론 H.264/AVC 비디오부호화표준 [1,2] 은이전의비디오부호화표준에비해높은부호화효율을제공하지만, 주로손실 (lossy) 부호화를기반으로연구되어왔기때문에무손실 (lossless) 부호화에서는기존의무손실부호화방법인 lossless joint photographic experts group (JPEG-LS) [3] 에비해비교적효율이낮다. 따라서, H.264/AVC 표준은최근무손실부호화의효율을높이기위해비변환무손실모드 (transform-bypass lossless mode) 를지원하는고급프로파일 (fidelity range extensions, FRExt) [4] 을개발했다. 최근원본영상저장, 고화질영상부호화, 의료영상처리등무손실압축을이용하는응용분야의관심이증대됨에따라, 무손실압축의효율을향상시키기위한새로운화면내부호화방법이제안됐다 [5]. 제안한방법은화면내예측후, 차분신호를차동펄스부호변조 (differential pulse-code modulation, DPCM) 하는방법이다. 손실부호화에서잔여신호는양자화변환된값이지만, 무손실부호화에서잔여신호는변환과양자화를수행하지않으므로단순히원영상과예측된영상의차분값이다. 따라서, 손실부호화와무손실부호화의잔여신호사이에는명확한통계적특성차이가 * 광주과학기술원정보통신공학과 ({jinheo, hoyo}@gist.ac.kr) 논문번호 :KICS2011-02-100, 접수일자 :2011 년 2 월 8 일, 최종논문접수일자 :2011 년 5 월 31 일 355
한국통신학회논문지 '11-06 Vol. 36 No. 6 존재한다. 이로인해본래손실부호화에서양자화변환된잔여신호의통계적특성에적합하게설계된현재 H.264/AVC의문맥기반적응적이진산술부호화 (context-based adaptive binary arithmetic coding, CABAC) [6,7] 는무손실부호화에서잔여신호부호화에적합하지않다. 따라서, 본논문에서는무손실부호화에서잔여신호의통계적특성을분석하고, 이를고려한향상된 CABAC 방법을제안한다. 제안하는방법은효율적인무손실영상압축을위해중요맵부호화와차분화소값의이진화방법을새롭게제안한다. 제안한방법은기존의 CABAC 방법과 JPEG-LS 방법에비해더좋은부호화성능을나타낸다. Ⅱ. H.264/AVC의 CABAC 치에서계수의값이 0이아니면, significant_coeff_flag 값은 1이되고, 또다른 1비트신택스요소 last_significant_coeff_flag를부호화한다. 이신택스요소는현재 0이아닌계수가하위블록내에서마지막계수인지아닌지를나타낸다. 레벨부호화과정에서는 0이아닌계수를 coeff_ abs_level_minus1과 coeff_sign_flag 두신택스요소를사용하여부호화한다. 여기서, 신택스요소 coeff_abs_ level_minus1은레벨의절대값에서 1을뺀값을의미한다. coeff_sign_flag는 1비트심볼을사용하여레벨부호의부호화를수행하고, coeff_abs_level_minus1의값은단항 /0차지수 Golomb (Unary/0th order Exponential Golomb) 이진화방법을사용하여부호화를수행한다. 레벨의부호화는역으로스캔된순서에따라수행한다. CABAC의부호화과정은크게네단계 : 이진화, 문맥모델링, 이진산술부호화, 확률업데이트로구성된다. 첫번째단계는이진값이아닌신택스요소를이진화된시퀀스로매핑하는과정이다. 만약이진값을갖는신택스요소가입력신호로주어지면, 첫번째단계인이진화과정은생략된다. 두번째단계는문맥모델링과정이다. 이진화된시퀀스의각이진값은문맥모델단계로들어간다. 여기서이진값은이진화과정에서생성된이진시퀀스의각각의비트를의미한다. 문맥모델링단계에서는현재이진값에대응하는확률모델을이전에부호화된신택스요소, 혹은이진값에따라선택한다. 확률모델을결정한후, 결정된확률모델과주어진이진값을이용하여이진산술부호화를수행한다. 마지막으로선택된확률모델을업데이트한다. 4 4 하위블록에서양자화변환된계수의 CABAC 부호화과정은먼저, 주어진하위블록의부호화블록플래그 (coded block flag) 를사용하여현재하위블록내에 0이아닌계수가존재하는지를나타낸다. 만약부호화블록플래그값이 0이면, 더이상전송할정보가없으므로현재하위블록에대한부호화과정을종료한다. 반대로부호화블록플래그값이 1이면, 중요맵 (significance map) 부호화와레벨부호화과정을수행한다. 만약부호화블록플래그가현재하위블록내에 0 이아닌계수가존재한다고나타내면, 중요맵부호화과정에서는이진값을갖는중요맵을부호화한다. 스캔순서에따라각각의계수에대해 1비트신택스요소 significant_coeff_flag 를부호화한다. 만약현재스캔위 확률 Ⅲ. 무손실영상압축을위한향상된 CABAC 3.1 중요맵부호화손실부호화에서는주어진하위블록내의 0이아닌계수의위치를효율적으로부호화하기위해두신택스요소 significant_coeff_flag와 last_significant_ coeff_flag를동시에사용한다. 그림 1에서보듯이, 일반적으로손실부호화 ( 양자화계수값이 12, 24, 36일때의평균 ) 에서 0이아닌계수의발생확률은스캔위치가증가할수록 ( 고주파영역으로이동할수록 ) 감소한다. 따라서, 마지막 0이아닌계수는스캔위치상에서앞쪽에 ( 저주파영역 ) 존재할확률이크다. 이와같은경우, last_significant_coeff_flag는효율적인중요맵부호화를위해매우중요하다. 그러나, 무손실부호화에서는변환과양자화과정을수행하지않으므로그림 1에서보듯이 0이아닌차분화소의발생확률은스캔위치에독립적이다. 이것 0.15 0.1 0.05 0 무손실 손실 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 스캔위치 그림 1. 지그재그스캔위치에따른 0 이아닌잔여데이터의확률분포 356
논문 / 무손실영상압축을위한향상된 CABAC 방법 은무손실부호화에서마지막 0이아닌차분화소는스캔위치상에서뒤쪽에 ( 고주파영역 ) 존재할확률이크다는것을의미한다. 표 1은한하위블록내에서마지막 0이아닌잔여데이터가존재하는평균위치를나타낸다. 무손실부호화에서마지막 0이아닌차분화소가존재하는평균위치는 14.7로손실부호화에서마지막 0이아닌계수가존재하는평균위치보다훨씬더뒤쪽에 ( 고주파영역 ) 위치한다. 이러한경우, 중요맵부호화과정에서 last_significant_coeff_flag를부호화하는것은무손실부호화의압축효율을저하시킨다. 따라서, 제안한중요맵부호화과정에서는 last_significant_coeff_flag 부호화과정을제거하고하위블록내모든스캔위치 (1부터 16까지 ) 에서 significant_diff_pixel_flag를부호화한다. 그림 2는손실부호화와무손실부호화에서중요맵을부호화하는예를나타낸다. 손실부호화의경우, 마지막 0이아닌계수의스캔위치 15까지회색으로표시한 significant_coeff_flag와 last_significant_coeff_flag 를각각 15번, 13번부호화한다. 따라서, 중요맵부호화에서이두신택스요소는총 28번부호화를수행한다. 그러나, 무손실부호화의중요맵부호화과정에서는 last_significant_coeff_flag 부호화과정을제거했기 표 1. 한하위블록에서마지막 0 이아닌잔여데이터의평균위치 양자화계수 실험영상 0 12 24 36 News 14.55 9.84 6.63 4.05 Foreman 14.77 12.55 6.99 2.83 Mobile 14.79 12.85 10.45 6.29 Tempete 14.79 12.46 9.04 3.81 City_corr 14.78 10.41 5.67 2.31 Crowdrun 14.82 13.60 6.67 2.62 평균 14.75 11.95 7.58 3.65 스캔위치 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 양자화변환계수 8-6 3 0 13 4-9 1 0 11-7 -2 5-4 6 0 significant_coeff_flag 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 last_significant_coeff_flag 0 0 0 0 0 0 0 0 0 0 0 0 1 (a) 손실부호화에서중요맵부호화예 스캔위치 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 차분화소값 8-6 3 0 13 4-9 1 0 11-7 -2 5-4 6 0 significant_diff_pixel_flag 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 0 (b) 무손실부호화에서중요맵부호화예 그림 2. 손실과무손실부호화에서중요맵부호화예 때문에 significant_diff_pixel_flag를마지막스캔위치까지모든스캔위치에서부호화한다. 따라서, 그림 2(b) 의제안한중요맵부호화과정에서는회색으로표시한 significant_diff_pixel_flag를총 16번부호화하여부호화효율을높인다. 3.2 차분화소값의이진화손실부호화에서양자화변환된계수의절대값 (abs_level) 은단항 /k차지수 Golomb (Unary/kth order Exponential Golomb, UEGk) 이진화방법을사용하여이진화를수행한다. 이이진화방법에서작은절대값의계수는절삭형단항 (truncated unary, TU) 부호를사용하여이진화를수행한후, 부호화한다. TU 이진화방법은작은절대값의계수는정확하게부호화하지만, 큰절대값의계수를정확하게부호화하는데는한계가있다. 따라서, 큰절대값의계수는 TU 부호와지수 Golomb 부호 [8] 를결합하여이진화를수행한후, 부호화한다. UEGk는컷오프 (cutoff) 값이 14인 TU 부호를접두사로 0차지수 Golomb (EG0) 부호를접미사로 (UEG0) 사용하여이진화를수행한다. 즉, abs_level 이 14보다작으면 TU 부호를접두사로사용하여이진화하고, 그이상이면 TU 부호와 EG0 부호를각각접두사와접미사로결합하여이진화한후, 부호화를수행한다. EG0은식 (1) 에나타낸확률밀도함수 (probability density function, pdf) 와같이기하학적분포를갖는심볼을부호화하는데매우효율적이기때문이다. (1) 이론적으로부호화의성능은할당된부호의통계적특성이부호화할심볼의확률분포특성에얼마나근접하는가에달려있다. 그러므로잔여데이터의통계적특성과현재이진화에사용되는 TU 부호와 EG0 부호의통계적특성을비교하여부호화성능을확인할수있다. 무손실부호화에서차분화소의절대값 (abs_diff_pixel) 의통계적특성은손실부호화에서 abs_level의통계적특성과큰차이가있다. 손실부호화에서 abs_level의통계적분포는작은값으로집중된다. 그러나, 무손실부호화에서 abs_diff_pixel의통계적분포는그림 3에서보듯이, 전영역에넓게분포한다. 또한, 그림 3으로부터 TU 부호는손실부호화 ( 양자화계수값이 12, 24, 36일때의평균 ) 에서 357
한국통신학회논문지 '11-06 Vol. 36 No. 6 0.5 0.4 손실 무손실 TU 부호에대한최적의 pdf 0.3 EG0 부호에대한최적의 pdf EG1 부호에대한최적의 pdf EG2 부호에대한최적의 pdf 확률 0.3 0.2 확률 0.2 0.1 EG3 부호에대한최적의 pdf abs_diff_pixel 0.1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 잔여데이터의절대값 0 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 차분화소의절대값 그림 3. 손실과무손실부호화에서잔여데이터의절대값의확률분포와 TU 부호의최적의확률밀도함수 abs_level의통계적분포에적합하게설계된부호인반면, 무손실부호화에서 abs_diff_pixel의통계적분포에는적합하지않다는것을확인할수있다. 무손실부호화에서 abs_diff_pixel을효율적으로부호화하기위해, 먼저 UEG0 이진화에서 TU 부호의컷오프값을변경한다. 그림 3에서보듯이, TU 부호에대한최적의확률밀도함수곡선과무손실부호화에서 abs_diff_pixel의확률분포곡선은잔여데이터의절대값이 5인곳에서만난후, 잔여데이터의절대값이증가함에따라 TU 부호와 abs_diff_pixel 사이의통계적차이는점차증가한다. 따라서, 제안한이진화방법에서는접두사로사용하는 TU 부호의컷오프값을 5로결정한다. 변형된 TU 부호를기반으로무손실부호화효율을더욱높이기위해, EGk 부호에대한적합한매개변수 k 값을결정한다. 심볼 x에대한 EGk 부호는다음과같이생성된다. 먼저접두사는 의값으로표현되며, 접미사는 길이를갖는 값의이진비트열로표현된다. 매개변수 k에따라최적의부호를갖는각각의 EGk 부호의확률밀도함수는식 (2) 를이용하여계산한다. (2) 여기서, 는 EGk 부호의최적의확률밀도함수를나타낸다. 그림 4는매개변수 k 값이 0, 1, 2, 3일때, 의확률분포와 6 20사이의 abs_diff_pixel의확률분포를나타낸다. 여기서, 1부터 5까지의 abs_diff_ pixel은앞에서언급한 TU 부호를사용하여이진화한다. 그림 4에서보듯이, 매개변수 k 값이 3인 의확률분포가 abs_diff_pixel의확률분포와가장근접 그림 4. k = 0, 1, 2, 3 의 EGk 에대응하는최적의확률밀도함수의확률분포와차분화소의절대값의확률분포 한것을알수있다. 이결과는 EG3 부호가무손실부호화에서 6보다큰 abs_diff_pixel을부호화하는데가장이상적인코드라는것을의미한다. 이러한결과로부터, 무손실부호화에서효율적으로 abs_diff_pixel을부호화하기위한새로운이진화방법을개발했다. 제안한 abs_diff_pixel의 UEGk 이진화는컷오프값이 5인 TU 부호를접두사로 3차지수 Golomb (EG3) 부호를접미사로 (UEG3) 사용한다. 표 2는제안한 UEG3 이진화를나타낸다. 표 2. 제안한 UEG3 이진화 abs_diff_pixel 이진시퀀스 TU 접두사 EG3 접미사 1 0 2 1 0 3 1 1 0 4 1 1 1 0 5 1 1 1 1 0 6 1 1 1 1 1 0 0 0 0 7 1 1 1 1 1 0 0 0 1 8 1 1 1 1 1 0 0 1 0 9 1 1 1 1 1 0 0 1 1 10 1 1 1 1 1 0 1 0 0 11 1 1 1 1 1 0 1 0 1 12 1 1 1 1 1 0 1 1 0 13 1 1 1 1 1 0 1 1 1 14 1 1 1 1 1 1 0 0 0 0 0 빈인덱스 1 2 3 4 5 6 7 8 9 10 11 Ⅳ. 실험결과및분석 제안한방법은 H.264/AVC 표준소프트웨어 JM 13.2 [9] 를이용하여실험했다. 자세한실험환경은표 3 에나타낸다. 358
논문 / 무손실영상압축을위한향상된 CABAC 방법 표 3. 실험환경 실험변수 ProfileIDC IntraPeriod QPISlice SymbolMode QPPrimeYZeroTransformBypassFlag 값 244 (High4:4:4) 1 (Only intra) 0 (Lossless) 1 (CABAC) 1 (Lossless) 제안한방법의효율을증명하기위해, 두가지실험을수행했다. 첫번째실험에서는각실험영상을 100 프레임부호화한후, 제안한 CABAC과기존의 CABAC의성능을비교했다. 이때, 무손실화면내부호화에서제안한방법의효율성을평가하기위해다음과같이각방법에대한성능평가를수행했다. 1) 방법 1: 제안한중요맵부호화 2) 방법 2: 방법 1+ 제안한차분화소값의이진화 두번째실험에서는제안한방법 ( 방법 2) 을기존의무손실부호화방법인 JPEG-LS와비교했다. 각실험영상은한영상 ( 첫번째영상 ) 만을부호화한후, 결과를비교했다. 제안한방법과 H.264/AVC 참조소프트웨어방법의성능을비교하기위해식 (3) 의비트수이득을사용했다. 그리고제안한방법과 JPEG-LS 방법의성능을비교하기위해식 (4) 의압축율을사용했다. 비트수 비트수제안한방법비트수이득 (3) 비트수 비트수원영상압축율 (4) 비트수제안한방법 표 4의실험결과로부터, 제안한 CABAC 방법이기존 H.264/AVC의 CABAC 방법과비교하여 QCIF 급영상의경우약 14%, CIF급영상의경우약 24%, HD급영상의경우약 16% 의비트수를감소시킴을확인할수있다. 또한, 표 4의실험결과로부터제안한방법은 Mobile, Tempete와같이영상이복잡하여잔여데이터의통계적분포가랜덤한특성을갖는영상에보다효율적임을알수있다. 표 5는제안한방법과 JPEG-LS의압축율을비교한표이다. 실험결과를통해제안한방법이기존의무손실영상압축에널리사용되는 JPEG-LS보다뛰어난압축율을제공함을알수있다. 표 4. 제안한방법과기존 CABAC 의성능비교 영상방법전체비트수비트수이득 News (QCIF) Foreman (QCIF) Mobile (CIF) Tempete (CIF) City_corr (HD) Crowdrun (HD) 평균 H.264/AVC 13941080 0 방법 1 12563136 9.884 방법 2 12197216 15.639 H.264/AVC 14344176 0 방법 1 12857928 10.361 방법 2 12572368 12.352 H.264/AVC 91371512 0 방법 1 85034984 6.935 방법 2 68152408 25.412 H.264/AVC 79063136 0 방법 1 72756080 7.977 방법 2 60830560 23.061 H.264/AVC 565080864 0 방법 1 507403880 10.207 방법 2 470393024 16.757 H.264/AVC 1250235376 0 방법 1 1120777696 10.355 방법 2 1047171240 16.242 H.264/AVC 0 방법 1 9.287 방법 2 18.244 표 5. 제안한방법과 JPEG-LS 의압축율비교 영상 방법 압축율 News JPEG-LS 2.087 (QCIF) 제안한방법 2.493 Foreman JPEG-LS 1.818 (QCIF) 제안한방법 2.419 Mobile JPEG-LS 1.487 (CIF) 제안한방법 1.785 Tempete JPEG-LS 1.656 (CIF) 제안한방법 2.000 City_corr JPEG-LS 1.908 (HD) 제안한방법 2.351 Crowdrun JPEG-LS 1.680 (HD) 제안한방법 2.376 평균 JPEG-LS 1.773 제안한방법 2.237 359
한국통신학회논문지 '11-06 Vol. 36 No. 6 Ⅴ. 결론본논문에서는무손실영상압축을위한향상된문맥기반적응적이진산술부호화 (context-based adaptive binary arithmetic coding, CABAC) 기반의잔여신호부호화방법을제안했다. 실험결과로부터본논문에서제안하는향상된 CABAC 방법이무손실부호화의경우현재 H.264/AVC의 CABAC 방법에비해평균적으로약 18% 정도의비트수를감소시켰고, 무손실영상압축방법인 JPEG-LS보다우수한압축율을제공함을확인했다. Video Technology, Vol.13, No.7, pp.620-636, July 2003. [7] 호요성, 허진, H.264/AVC 표준의 CAVLC/ CABAC 알고리즘이해및분석, 두양사, 2009. [8] J. Teuhola, A compression method for clustered bit-vectors, Information processing letters, Vol.7, pp.308-311, Oct., 1978. [9] Reference Software Version 13.2 http://iphome. hhi.de/suehring/tml/download/old_jm/jm13.2.zip, Joint Video Team, Reference Software Version 13.2. 참고문헌 [1] A. Luthra, G. J. Sullivan, and T. Wiegand, Introduction to the special issue on the H.264/AVC video coding standard, IEEE Transactions on Circuits and Systems for Video Technology, Vol.13, No.7, pp.557-559, July 2003. [2] G. J. Sullivan and T. Wiegand, Video compression-from concepts to the H.264/AVC standard, Proceedings of the IEEE, Vol.93, Issue1, pp.18-31, Jan., 2005. [3] M. J. Weinberger, G. Seroussi, and G. Sapiro, The LOCO-I lossless image compression algorithm: principles and standardization into JPEG-LS, IEEE Transactions on Image Processing, Vol.9, No.8, pp.1309-1324, Aug., 2000. [4] G. J. Sullivan, P. Topiwala, and A. Luthra, The H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extensions, SPIE conference, Special Session on Advances in the New Emerging Standard: H.264/AVC, Aug., 2004. [5] Y.-L. Lee, K.-H. Han, and G. J. Sullivan, Improved lossless intra coding for H.264/ MPEG-4 AVC, IEEE Transactions on Image Processing, Vol.15, No.9, pp.2610-2615, Sept., 2006. [6] D. Marpe, H. Schwarz, and T. Wiegand, Context-based adaptive binary arithmetic coding in the H.264/AVC video compression, IEEE Transactions on Circuits and Systems for 허 진 (Jin Heo) 정회원 2004년광운대학교전기공학과졸업 ( 학사 ) 2006년광주과학기술원정보통신공학과졸업 ( 석사 ) 2006년~ 현재광주과학기술원정보통신공학과박사과정 < 관심분야 > 디지털신호처리, 영 상신호처리및압축, 비디오부호화, 고화질비 디오부호화 호요성 (Yo-Sung Ho) 종신회원 1981년서울대학교공과대학전 자공학과졸업 ( 학사 ) 1983년서울대학교대학원전자 공학과졸업 ( 석사 ) 1989년 Univ. of California, Santa Barbara, Dept. of Electrical and Computer Engineering. ( 박사 ) 1983년~1995년한국전자통신연구소선임연구원 1990년~1993년미국 Philips 연구소, Senior Research Member 1995년~현재광주과학기술원정보통신공학과교수 < 관심분야 > 디지털신호처리, 영상신호처리및 압축, 디지털 TV와고선명 TV, 멀티미디어시스 템, MPEG 표준, 3차원 TV, 실감방송 360