공학박사학위논문 Sub-pixel gradient 를활용한 compound 영상압축 Compound image compression using sub-pixel gradient 2014 년 2 월 서울대학교대학원 전기 정보공학부 김규동

Transcription

1 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 공학박사학위논문 Sub-pixel gradient 를활용한 compound 영상압축 Compound image compression using sub-pixel gradient 2014 년 2 월 서울대학교대학원 전기 정보공학부 김규동

3 Sub-pixel gradient를활용한 compound 영상압축 Compound image compression using sub-pixel gradient 지도교수김수환이논문을공학박사학위논문으로제출함 2014년 2월 서울대학교대학원전기 정보공학부김규동 의공학박사학위논문을인준함 2014년 2월 위원장 : 채수익 ( 인 ) 부위원장 : 김수환 ( 인 ) 위 원 : 조남익 ( 인 ) 위 원 : 이혁재 ( 인 ) 위 원 : 김진성 ( 인 )

4 초 록 컴퓨터성능과네트워크속도가발전함에따라컴퓨터화면에표시되는 compound image 의기술은다양한전송환경에서비디오및양방향서비스가가능해졌다. 그러나 compound image는다양한종류의영상이복합적으로나타나기때문에영상의종류를명확히구분하고각종류에맞는영상데이터처리방식이필요하게된다. 영상의데이터처리방식이복잡해질수록서버와클라이언트의성능불균형은데이터를원활히생성 / 재현하지못하는문제를가질수있다. Compound image 의분류는텍스트로구성된부분에대하여다른종류의영상으로분류하지않아야한다. 이는블록단위로구분하여분류하는방법에서인접한블록간에서로다른코딩방법을적용하게되면사람이느끼는영상의화질은낮아지게된다. 본연구에서는이러한문제점을해결하기위해서텍스트의생성과정을역이용한 sub-pixel gradient 블록분류방법을제시한다. 평판디스플레이에서는텍스트의부드러움을표현하기위하여 sub-pixel 단위로컬러의변화량을조절하게된다. 이를 whole-pixel 의단위로영상을구분하게되면, 텍스트의영역을명확하게구분하지못한다. 본연구에는 sub-pixel gradient 블록분류방법을통하여텍스트로구성된영역과텍스트가아닌영역에대한판단이정확히이루어짐을실험을통하여확인하였다. 텍스트의코딩방법중손실압축방법은텍스트로구성된영상이높은 i

5 주파수를가지는영상이기때문에양자화나변환과정을거치게되면영상의손실이커지게된다. 하지만무손실압축방법은높은데이터량을가지게되고, 영상전송속도가높아져야하는문제가발생한다. 본연구에서는 sub-pixel gradient 방법을이용한텍스트영역에대한코딩방법을제시한다. 텍스트영상이가지는특성을이용하여영상에서발생하는기울기에대하여코딩을진행한다. 이를통하여영상의손실을줄이고텍스트의가독성을높일수있다. 동일한압축률에서다른압축알고리즘에비하여텍스트의화질과가독성이뛰어남을확인하였다. Compound image는자연영상과는다르게움직임이단순하고노이즈가없다는특성을가진다. 이는기존의움직임추정방법에비하여복잡도가낮은방법을가능하게한다. 본연구에서는이러한 compound image의영상특성을이용한그룹움직임추정방법을제시한다. 픽셀의움직임을확인하기전에영상의분류에따라분류된영역의움직임을먼저파악하고이를통하여최종적인움직임을추정하게된다. 그룹움직임추정방법을사용하면기존의탐색영역방법과비교하여탐색영역을최소화할수있으며, 복잡도를낮출수있음을실험을통하여확인하였다. 주요어 : sub-pixel gradient, text coding, sub-pixel 기울기, 그룹움직임추정, 텍 스트압축 학번 : ii

6 차 례 초 차 록... i 례... iii 그림목차... vi 표 목차... ix 제 1 장서론 연구배경 연구내용 논문구성... 6 제 2 장텍스트생성과정및기존압축방법 텍스트생성과정 표준영상압축방법 H.264 inter prediction Compound image 의압축알고리즘 iii

7 제 3 장 Sub-pixel gradient 블록분류방법 Background & Text color extraction Text De-colorization 블록분류실험결과 제 4 장 Sub-pixel Gradient text 블록코딩방법 Gradient fitting process Text Coding Gradient로구성된부분의코딩방법 Gradient가없는부분의코딩방법 local min/max 값예측 Whole-pixel 코딩 화질 enhancement 텍스트코딩동작 텍스트코딩입력 Whole-pixel 코딩 역방향 Sub-pixel gradient 코딩 Local minimum 코딩 순방향 gradient 코딩 iv

8 4.3.6 Local maximum 코딩 역방향 gradient 코딩 Local minimum 코딩 순방향 gradient 코딩 Whole-pixel 코딩 텍스트블록코딩실험결과 제 5 장그룹움직임추정방법 Block Grouping Group Matching Group motion vector calculation 그룹움직임추정방법실험결과 제6장결론 참고문헌 Abstract v

9 그림목차 그림 2-1 ᄎ 텍스트의 sub-pixel 변환과정... 8 그림 2-2 u sub-pixel fringing 현상... 9 그림 2-3 sub-pixel 에너지분산방법 그림 2-4 필터링전 / 후 sub-pixel rendering 텍스트 그림 2-5 Inter prediction 모드종류 그림 3-1 compound image 종류 그림 3-2 sub-pixel color 분포도 그림 3-3 whole-pixel color 분포도 그림 3-4 Sub-pixel gradient를이용한블록분류방법 그림 3-5 텍스트문서 그림 3-6 텍스트문서에서의배경픽셀비중 그림 3-7 de-colorization을수행하기전과후의 text sub-pixel 컬러값 그림 3-8 분류실험영상 그림 3-9 complex rendered text의 text 블록판단결과 그림 3-10 natural 영상에서의 text 블록판단결과 그림 4-1 sub-pixel rendered text 그림 4-2 gradient를형성하는 sub-pixel 컬러수 그림 4-3 Text 블록코딩방법 vi

10 그림 4-4 Gradient fitting process 그림 4-5 gradient fitting process의동작 그림 4-6 N m = 1 인경우와 N m = 0 인경우 그림 4-7 텍스트코딩입력 그림 4-8 Whole-pixel 코딩 그림 4-9 역방향 Sub-pixel gradient 코딩 그림 4-10 Local minimum 코딩 그림 4-11 순방향 gradient 코딩 그림 4-12 Local maximum 코딩 그림 4-13 역방향 gradient 코딩 그림 4-14 Local minimum 코딩 그림 4-15 순방향 gradient 코딩 그림 4-16 Whole pixel 코딩 그림 4-17 화질비교를위한실험영상 그림 4-18 PSNR 실험결과 그림 4-19 가독성실험영상 그림 4-20 simple rendered text 화질비교 그림 4-21 complex rendered text 화질비교 그림 5-1 탐색영역별 encoding 시간 (H.264/AVC inter mode) 그림 5-2 탐색영역별데이터변화량 그림 5-3 compound image의움직임 vii

11 그림 5-4 그룹움직임추정방법 그림 5-5 그룹생성방법 그림 5-6 그룹의분류 그림 5-7 이전영상과현재영상간의정합성비교 그림 5-8 그룹간의방향성선택 그림 5-9 움직임벡터생성을위한탐색방법 그림 5-10 그룹움직임추적방법실험영상 viii

12 표목차 표 3-1 텍스트블록구분율 (%) 표 4-1 fitting threshold 표 4-2 Cs 와 Cf 가배경과문자컬러일확률 표 4-3 N m 값의변화에따른방법의오차 표 4-4 N m 에따른보정값 표 4-5 동작예시에사용된 text coder parameter 표 4-6 simple rendered text 압축율비교 표 4-7 complex rendered text 압축율비교 표 5-1 실험영상의움직임 (pixels) 표 5-2 탐색알고리즘별압축율 30frames) 표 5-3 탐색알고리즘별수행시간 60frames) 표 5-4 탐색알고리즘별움직임추정시간 60frames) ix

13 제 1 장서 론 1.1 연구배경 컴퓨터의성능과네트워크속도가증가함에따라컴퓨터스크린으로표현되는 compound image 전송을위한다양한접근이시도되고있다. 이러한시도는스크린분할과 VDI (Virtual Desktop Infrastructure) 와같은컴퓨터가상화시스템 (computer virtual system) 으로나타난다. [44] 가상화시스템은사용자가공간의구애를받지않고원하는데이터를사용할수있는장점을가진다. 기존의 1:N 전송방식과는다르게서버와클라이언트간의 1:1 혹은 1:N의상호정보전송방식을통하여전송된다. 이러한상호정보전송방식은실시간영상전송이중요한고려사항이된다. 가상화시스템에서생성되는영상은실행프로그램에의해생성되는다양한형태의영상조합으로구성된다. 특히문서프로그램과같은텍스트로구성된부분과이미지화면을디스플레이하는영상프로그램등서로다른특성을가진영상의조합으로구성되는특징이있다. 가상화시스템은실시간전송및다양한영상조합에의해서구성되기때문에서버와클라이언트사이에서의동일한환경을요구하게된다. 다양한영상을압축전송하기위한다양한압축방식들이서버와클라이언트사이에존재하여야하기때문에서버의성능뿐만아니라클라이언트의 1

14 성능도중요하다. 또한이를제어하기위하여각프로그램을제어할수있는오퍼레이팅시스템 (OS) 으로대변하는상위프로그램이필요하다. 하지만 1:N의상호정보전송에클라이언트의성능을서버의기준에서맞추는것은불가능하다. 클라이언트와서버간의성능불균형은재현할수있는영상형태를제약하게된다. 반면에클라이언트의성능증가는전체시스템의비용을증가시키고, 동일한환경에서의영상재현을요구함으로써가상화시스템의확산에영향을미치게된다. 이러한문제점을해결하고자최근의연구방향은성능의제약을받지않는 thin client 구현을위하여컴퓨터스크린의영상을상위프로그램에정보를요구하지않고디스플레이되는영상만을확인하여영상압축및전송하는방법에많은관심을가지고있다. [23-27][40][45][46] 이러한영상캡쳐 (capture) 방식은생성되는영상의프로그램의의존도를낮출수있을뿐만아니라클라이언트의성능에대한제약조건을해결할수있다. 이러한캡쳐방식을통한 compound image의압축, 전송방식이 thin client를구현하는방법으로효과적이다. 하지만이러한캡쳐영상전송방식은영상의크기가증가하고다양한영상을동일한압축알고리즘에따라생성하기때문에영상의특성에따른화질저하현상이발생하게된다. 네트워크속도의발전에따라단일시간내에전송하는데이터의양은증가하였지만컴퓨터영상의사이즈가커짐으로써실시간영상전송에많은어려움을겪게된다. 따라서이러한대용량의데이터를효과적인방법으로압축재현하는방법이필요하게된다. 이에따라기존의단일압축방식에서영상의특성별로압축방식을분리하여사용하는방법이요구 2

15 되고있다. 하지만손실및무손실압축이필요한 compound image 압축방식에서이러한영상의높은압축률을유지하기는쉽지않다. 또한각영상의특성에따른화질저하및급격한영상데이터의변화를제어하는것이쉽지않다. 이러한문제는 compound image 압축방식에높은압축률뿐만아니라화질을보장할수있는방법을요구하게된다. Compound image 압축에서고려사항은실시간전송의구현이요구된다. 따라서복잡한압축방식보다실시간구현에적합한저복잡도를가진알고리즘이필요하다. 본연구에서는이러한 compound image 압축의다양한요구조건을충족시키고자저복잡도를가진텍스트압축알고리즘을제안하고, 영상의특성에맞는움직임추정알고리즘및영상의분류방법에대해서설명하고자한다. 3

16 1.2 연구내용 Compound image의실시간압축및전송에요구가높아짐에따라화질의저하가없는저복잡도의압축알고리즘이필요하게되었다. 본연구에서는이러한요구조건에맞는 compound image 압축시스템에대하여설명한다. 첫째로영상의특성에맞는분류방법에대하여설명한다. Compound image는다양한영상의조합으로구성된다. 영상의구성은단일압축알고리즘을사용하기보다는영상의특성에맞는압축알고리즘을선택하는것이중요하다. 효율적인압축알고리즘의선택을위하여서각영상의특징을이용하여블록단위의영상분류과정을본연구에서는제안한다. 컴퓨터영상은 RGB로구성된 sub-pixel 단위로컬러가구성된다. 이러한특징을이용하여텍스트와이미지블록으로구분하게된다. 특히텍스트의생성방법을분석하여캡쳐된영상에서텍스트로구성된블록을정확히구분할수있다. 따라서기존의방법에비해텍스트블록의분류의정확도를높인새로운블록분류방법에대하여제안한다. 둘째로 compound image의특성에맞는움직임추정방법에대하여설명한다. Compound image는자연영상과다르게영상의움직임이단순하다. 이러한영상의움직임은각픽셀및블록의움직임을추정하는방식보다영역의움직임을추정하여픽셀의움직임을확인하는방법이복잡도를줄일수있는방법이된다. 본연구에서는영역움직임을확인하여영상의움직임을확인할수있는그룹움직임추정방법에대하여설명하기로한다. 4

17 그룹움직임추정방법은전체시스템의압축률및복잡도를낮출수있는방법이된다. 그룹움직임추정방법은움직임을단순화하여움직임추정방법의복잡도를낮출수있다. 마지막으로 sub-pixel gradient를이용한텍스트블록압축방법을설명한다. 블록분류방법과마찬가지로컴퓨터스크린영상의특성을이용한압축방법이다. 하나의 whole-pixel을 sub-pixel 단위로분리하여 sub-pixel gradient 차이를이용한압축방법이다. 기존의 whole-pixel 단위의압축방식에비하여텍스트의생성과정을역이용함으로써텍스트블록의화질유지및압축률을높일수있다. 일반적으로문서파일과같은영상에서의압축방식은무손실압축및높은화질의손실압축을선택하게된다. 이는영상의화질이단순한 PSNR의기준과함께사람이문서를읽는가독성 (readability) 이중요한요소이기때문이다. 문서의화질은텍스트가구성되어있는픽셀의변화량이많을수록영상의가독성은떨어지게된다. 본연구에서는이러한문서의특징을이용하여저복잡도의텍스트영상압축방식을설명하고자한다. 5

18 1.3 논문구성 본연구의나머지구성은다음과같이구성된다. 2장에서는텍스트를구성하는 sub-pixel rendering 과정과 H.264/AVC inter mode의움직임추정에대하여확인하고, compound image에관련한기존연구들을소개한다. 3장에서는 sub-pixel gradient를이용한블록구분방법에대하여자세히설명한다. 또한블록구분방법에대한실험결과를확인한다. 4장에서는 sub-pixel gradient를이용한텍스트블록압축방식에대하여설명한다. 이를통하여복잡한컬러를가진다양한텍스트에대한압축성능을평가한다. 5장은 compound image의특성을이용한그룹움직임추정방법에대하여설명한다. 이를통하여다양한이미지압축방식에적용하여결과를확인한다. 마지막으로본연구에대한결론을맺는다. 6

19 제 2 장텍스트생성과정및기존압축방법 2.1 텍스트생성과정 평판디스플레이에서의색을표현하는 whole-pixel은실질적으로 Red, Blue, Green의 3개의 sub-pixel channel로구성되어있다. 3개의 sub-pixel이하나의 whole-pixel로구성되는것이다. 평판디스플레이의가로해상도는세배의해상도로이루어진 sub-pixel 배열로이루어져있다고볼수있다. Text의 sub-pixel rendering은이러한가로해상도가세배인평판디스플레이에서 text를부드럽게보여주는방법이다. [31-35] 그림 2-1 과같이 ᄎ 의텍스트의변환과정을살펴보면이러한 subpixel rendering 과정의단계를알수있다. 텍스트를 whole-pixel 을기준으로구성하여확대해보면그림 2-1(a) 와같다. 그림 2-1(a) 는부드러운라인이생성되지않고픽셀별블록현상이나타나는것을볼수있다. 그림 2-1(b) 는이러한 whole-pixel 단위의글씨를 sub-pixel 단위의해상도로확장하여표현한것이다. 이렇게해상도를확대해보면실제글씨와같이부드럽게만들수있게된다. 이것이평판디스플레이에서 sub-pixel rendering 을가능하게하는것이다. 7

20 (a) 확대된 whole-pixel 텍스트 (b) 확대된 sub-pixel 텍스트 (c) 확대된 sub-pixel 텍스트의 RGB 값 그림 2-1 ᄎ 텍스트의 sub-pixel 변환과정 8

21 그림 2-1 (c) 는이러한평판디스플레이에서 RGB의 sub-pixel 컬러를 sub channel로표현한것이다. Whole-pixel 에서인접한 sub-pixel의해상도를사용하여텍스트를조정하게되면기존 whole-pixel 의글씨보다더높은부드러운모양으로표현할수있다. Sub-pixel 로표현한컬러는보상되는컬러와인접하기때문에눈에보이는컬러는검은색과흰색으로만인식되게된다. 하지만이러한단순한 sub-pixel rendering은컬러 fringing 현상을일으킨다. 이러한 fringing 현상은 RGB의 sub-pixel 단위로 rendering을진행하기때문에텍스트의외곽에적색과청색이도드라지게나타날수있는문제점을보여준다. 텍스트를구성하는 sub-pixel이 whole-pixel 단위로떨어지지않기때문에그림 2-2와같이 fringing 현상을설명한다. R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGBRG B R GBRGBRGBRGB B RG RGBRGB B RGB B RGBRGB BRG B 그림 2-2 u sub-pixel fringing 현상 그림 2-2 의 U 의글씨의왼쪽경계면은적색 sub-pixel 로, 오른쪽경 계면은청색 sub-pixel 로이루어져있다. 이러한현상때문에 U 의왼쪽 에서적색빛이나타나는것처럼보이고오른쪽에서는청색빛이나타나 9

22 는것처럼보인다. 또한텍스트를구성하는 sub-pixel이 3의배수가아닌경우, 각 RGB channel 빛양의불균형에따른컬러불균형현상이발생할수있다. 사람의눈은이러한컬러불균형현상에예민하기때문에텍스트를검은색이아닌다른색으로인지하게된다. 기존의 whole-pixel rendering 방식은 RGB를하나의단위로보았기때문에이러한문제가발생하기않았다. 하지만 sub-pixel로텍스트를세분화하게되면컬러불균형현상이나타나게되는것이다. 이러한문제점을해결하는간단한방법은각 sub-pixel channel의에너지를인접한두 sub-pixel channel 에분산시키는것이다. 그림 2-3(a) 은이러한에너지분산에대한간단한방법이다. 하나의 sub-pixel이 on 되었을때, 빛의세기를 1/3정도만배분하고, 인접한두개의 sub-pixel에 1/3씩분배를한다. 하나의 sub-pixel이에너지를다갖는것이아니라, 인접한 sub-pixel들과공유하는방법이다. 각각의인접한 sub-pixel 은보색관계이기때문에, 이방법은컬러의균형을맞추게된다. 항상같은양만큼 RGB sub-pixel의빛의양이되게때문에컬러불균형현상을감소시킬수있다. Filtered sub-pixel 의밀도가해당 sub-pixel 의밝기와인접한두개의 sub-pixel 밀도가 1/3로분산된다. 만약특정 sub-pixel 과인접한두개의 sub-pixel 이모두 on 이되어있다면 filtered sub-pixel은에너지는 1이될것이다. 인접한 sub-pixel 이하나만 on 되어있다면밀도는 2/3 가되는것이다. 10

23 (a) 1 차에너지분산방법 (b) 에너지분산결과 (c) 2 차에너지분산방법 그림 2-3 sub-pixel 에너지분산방법 11

24 그림 2-3(b) 는이러한분산방법을하나의텍스트라인에적용한결과이다. 하지만 1차에너지분산방식은이러한색 blurring 현상을완전히해결한것은아니다. 따라서이러한 blurring 현상을줄이기위하여다양한기법들이추가되고있다. 그러한기법중에가장간단한방법은필터링방법을한번더반복하는것이다. 이러한방법은그림 2-3(c) 에서보여주고있다. 그림 2-3(c) 와같이에너지분배과정을두번반복하게되면컬러불균형현상을감소시킬수있다. 동시에인접한 sub-pixel의영향력을인접한 sub-pixel에재분배하게되면서중심의 sub-pixel에인접한 subpixel의영향력을감소시킬수있다. Sub-pixel의밀도분배는 [1/9, 2/9, 3/9, 2/9, 1/9] 의계수를가지는 low-pass 필터로볼수있다. 이러한필터는계수의합이 1이되기때문에하나의 sub-pixel 의에너지가인접다섯개의 sub-pixel로분리되는것을알수있다. 그림 2-4(a) 는한번의필터링으로 sub-pixel rendering 된텍스트의형태이다. 확대된그림 2-4(a) 와같이텍스트의주변에적색과청색의컬러가보이는것을알수있다. 그림 2-4(b) 는두번의필터링후에보여지는텍스트이다. 그림 2-4(b) 와같이텍스트의외곽선이그림 2-4(a) 와비교하여부드러워졌음을알수있다. 이렇게 sub-pixel rendering은평판디스플레이의컬러특성을이용하여텍스트를부드럽게표현하는과정이다. 이러한과정을통하여최종적으로모니터에나타나는텍스트가표현된다. 이와는별도로텍스트프로그램에따라 sub-pixel rendering에추가하여감마보정등다양한기법이사용된다. 12

25 (a) 필터링전 Sub-pixel rendering 텍스트 (b) 필터링후 sub-pixel rendering 텍스트 그림 2-4 필터링전 / 후 sub-pixel rendering 텍스트 13

26 2.2 표준영상압축방법 본절에서는본연구와관련한기존의영상압축방법에대하여설명하고자한다. 영상압축은영상의데이터를최소화하여전송을목적으로한다. 압축과정에서복구된영상이원본영상과동일하지않는다면손실압축 (lossy coding) 으로표현하고, 원본영상의손실없이복구가능하다면무손실압축 (lossless coding) 이라고할수있다. 영상을무손실압축으로코딩을진행한다면압축률에한계가있다. 반대로손실압축의경우압축률을더높일수있지만데이터손실에따른영상의왜곡이발생하게된다. 영상압축의과정은영상데이터를변환하여공간적중복성을줄이는것으로시작한다. 영상압축에주로사용하는대표적인변환과정은 DCT(discrete cosine transform) 과 DWT(discrete wavelet transform) 이다. DCT 방식의표준영상압축방법으로 JPEG (Joint Photograph Experts Group) 오류! 참조원본을찾을수없습니다. 이대표적이다. DWT 방식의표준영상압축방법은 JPEG2000[3] 으로설명할수있다. 하지만이러한표준영상압축은자연영상의압축에적합하다고할수있다. 위의방식으로영상을압축할경우에영상은양자화 (quantization) 과정을거친다. 양자화과정을통하여데이터의일부가제거된다. 영상의손실을줄이고자다양한양자화방법이사용되고있다. 이러한양자화과정을통하여일어나는손실로인하여원본데이터와다른손실압축방식이되는것이다. 영상압축의가장널리사용되는대표적인표준방식은 JPEG 이라고할 14

27 수있다. 인터넷영상의압축에많이사용된다. JPEG은위에서설명한바와같이영상변환과정으로 DCT 방식을사용하고, 양자화행렬을이용한양자화과정을거친다. 마지막으로엔트로피코딩을위하여 runlength[5] 와허프만코딩 [4] 을사용한다. 최근에는웨이블릿 (wavelet) 기반영상압축방식인 JPEG2000도널리사용되고있다. 웨이블릿기반의영상압축방식은기존의 DCT 대신 DWT 방식이사용된다. DCT 기반의압축방식보다높은압축효율을가진다. 또한엔트로피코딩으로기존의 run-length나허프만코딩이아닌비트평면코딩을사용함으로써효율을높였다. 위에설명한 JPEG 이나 JPEG2000의경우에는양자화과정을통하여데이터손실이발생하기때문에양자화의결과에따라영상의화질을떨어뜨릴수있다. 이와는반대로영상의손실을가지지않는무손실압축방법으로 PNG (Portable Network Graphics)[6] 를설명할수있다. PNG 는기존의 LZW 알고리즘 [7] 기반의 GIF 방식에 256 컬러로표현하는한계를극복하게되었고, 패턴이반복되거나단순한형태의파일을압축할경우높은압축률을보인다. 기본압축알고리즘은 deflate 알고리즘 [8] 을사용한다. Deflate 알고리즘은 zip 포맷에사용하기위해만들어진압축알고리즘이다. LZ77 알고리즘 [7] 으로 1차압축한후에 2차로허프만압축알고리즘을사용한다. 이러한무손실압축알고리즘의경우단순한컬러를가진영상압축에적합하다. 또한원본데이터를유지할수있기때문에최근에와서인터넷영상압축방식으로널리사용되고있다. 15

28 2.3 H.264 inter prediction 기존의움직임추정방법은 H.264/AVC 오류! 참조원본을찾을수없습니다. inter mode와같은표준방법이사용되고있다. 특히과거영상과현재영상의차이를이용한움직임추정을많이사용하게된다. 본절에서는이러한 H.264/AVC 의 inter prediction방법에대해간단히살펴보고자. H.264 /AVC inter prediction에서는한가지로고정된크기의블록이아니라다양한블록의움직임을찾는다. 이러한다양한블록의구성은 H.264/AVC inter prediction에서정의된모드분류로구성된다. 모드1은매크로블록이 16x16 블록하나로처리됨을의미하고모드2는매크로블록이 16x8 블록두개로나누어처리되었음을의미한다. 이경우에는블록마다움직임벡터가존재하게된다. 마찬가지로 8x16 블록 2개로구성될때는모드3으로정의한다. 이러한모드분류는 H.264/AVC inter prediction에서는총 7개의모드를정의하고있다. 그림 2-5은이러한 H.264 inter prediction에서사용하고있는 7개의모드를표현한것이다. 앞선영상과현재의영상의움직임을추정하는 inter prediction은한개모드에한가지의 predicted 이미지가있는것이아니라탐색범위내의픽셀개수만큼존재하게된다. 이러한 predicted 이미지에대하여하나의움직임벡터를가지게되는데움직임벡터들은최종움직임벡터의후보군이되는것이다. 이러한움직임벡터의후보군들중최적의 predicted 이미지를가리키는움직임벡터가최종움직임벡터가된다. 16

29 그림 2-5 Inter prediction 모드종류 최적의 predicted 이미지를찾기위하여 SAD 기반의 distortion 방식을 사용한다. Distortion 을계산할때에는 SAD(Sum of Absolute Differences) 를 사용할수있다. SAD,,,, 0, 1, 2, 3 (2-1) 식 (2-1) 은 4x4 블록사이즈를가지는블록을기준으로 SAD 를계산하는방법이다. S는현재의 4x4 블록의영상을의미하고, P는현재의 4x4 블록과비교할과거영상을나타낸다. x와 y는 4x4블록내픽셀의 x 방향과 y 방향의위치를나타낸다. 따라서 S(x,y) P(x,y) 는가로방향으로 x, 세로방향으로 y위치에있는픽셀컬러값의예측오차를의미한다. SAD는이 17

30 러한 4x4 블록내모든픽셀위치의예측오차를합한값이된다. Inter prediction은계산된 SAD 값들을기준으로 distortion이가장작은블록을선택하게되는것이다. 가장작은 SAD 값은데이터의양을줄이기때문에최종적으로압축률이좋아진다고할수있다. 18

31 2.4 Compound image 의압축알고리즘 Compound image는 natural image와는다르게이미지의구성이다양한특성을가진부분으로구성되어있는영상이다. 특히텍스트부분과이미지부분으로대표되는서로상이한영역으로구성되어있기때문에각특성을해결할수있는단일압축알고리즘을찾기는쉽지않다. 이미지압축알고리즘인 H.264, JPEG, JPEG2000 과같은표준압축알고리즘은자연영상압축에집중되어있다. 이러한알고리즘은 DCT 나 wavelet 기반의압축알고리즘으로서이미지의압축률에관점을둔알고리즘이라고할수있다. 다양한조건의이미지압축에대한고려를포함하고있지않기때문에, 특성이상이한이미지의조합에서는화질과압축률의최적조건을만족하기에는효과적이지않다. 이러한상이한영역을가진이미지압축방식은다양한방법으로연구되어왔다. Compound image 압축에관한연구진행은크게 layer 기반의접근과블록기반의접근방식으로나누어볼수있다. 이러한압축에관한연구진행은영역을효과적으로나누는방법을포함하여영역에적합한압축방식을선택하는것으로생각해볼수있다. MRC로대표되는 layer 기반접근방식은각이미지내용의특성에따라최소한 3개의 layer로나누게된다 [9-15]. Background / foreground / mask layer로영상을나누어각 layer에맞는압축알고리즘을선택한다. layer 분리및압축방식은복잡한이미지를특성에맞는 layer 로나누고효율적인압축알고리즘을사용함으로써높은화질과높은압축률을확보 19

32 할수있다. 하지만픽셀기반으로분리및압축함으로써복잡도가높아지는문제는피할수없는약점이다. 블록기반의접근방식은 16x16 non-overlapping 블록의기준에서이미지의특성에따라서이미지를블록별로분리한다. 이러한블록별분리방법은각블록의적합한압축방식을선택하여압축을진행한다. 기존논문에서는이러한블록의분리방법에대하여 color count, color histogram 등의다양한방식을제시하고있다 [19-26]. 분리된블록을기준으로적합한표준압축알고리즘을선택하고압축을진행한다. 가장대표적인 compound image 압축방식인 Lin [19] 의 SPEC 논문을살펴보면블록을 color count 기준으로 text / graphic / picture 블록으로분리한다. 이렇게분리된블록을기반으로각특성에맞는알고리즘을선택한다. Lin [19] 논문에서는각블록의압축방법으로 text / graphic은 LZW, picture는 JPEG을선택하고있다. 이러한압축방법은가독성및화질에민감한텍스트블록에서대해서무손실기반의 LZW를사용하고, 영상화질에대하여덜민감한그래픽부분은손실기반의압축알고리즘인 JPEG을선택함으로써각영역의특성에대한손실을줄이면서영상의압축효율성을높일수있었다. 하지만텍스트압축에사용하는 LZW는복잡도가높은압축알고리즘으로서계산량이많아지기때문에압축효율성을높일수는있었지만수행시간을증가시키는문제점을가지게된다. Lan [20] 의논문을살펴보면텍스트블록의압축효율및화질을동시에고려하고있다. 텍스트블록의압축을위하여블록기반의 BCIM (base color and index map) 을사용한다. 텍스트영역이가진컬러의조합이기존 20

33 의흑백컬러가아닌다양한컬러를가지기때문에최적의 base 컬러를선택하여텍스트블록의화질손실을최소화하는방법을선택하였다. 이러한접근방법은기존의무손실기반의텍스트블록압축방식선택에서압축률의효율성을위한발전된방법으로판단된다. 다만최적의 base 컬러의선택에있어서복잡한 dynamic 알고리즘을선택함으로써여전히높은복잡도를유지하게된다. 또한최적의압축률을위하여텍스트압축방법을 H.264 intra mode의하나로포함하게함으로써, 전체텍스트의압축방식으로서의기능보다는텍스트의특성을많이내포하고있는부분의압축방식으로서한정된다. 이렇게텍스트블록압축방식의선택에있어서 Pan [21] 은문제의분석을복잡도를낮추는방향으로접근하였다. Base 컬러를선택하는방법에서 dynamic 알고리즘대신 histogram 방식을사용하였다. 이러한방법은 Lan [20] 의방법보다복잡도를낮추는효과를보여준다. 이러한 base 컬러를이용한 index map 방식들은단순한컬러의조합으로구성되는블록의경우는아주효과적이다. 하지만 PDF 문서와같은복잡한컬러를가지는블록에서는압축률의저하를가져온다. Compound image의텍스트영역의경우는기존은단순한블록분류방법으로는해결하지못하는문제가있다. 다양한프로그램에서생성되는텍스트영역은텍스트의고유한가독성을높이기위하여 gamma 조정, sub-pixel rendering, anti- aliasing 등다양한방법을포함하고있다. 이러한방법들은다양한특성의텍스트영역을생성해낸다. 이러한 sub-pixel rendering 에대한텍스트영역의분석은 [29],[30] 에서처 21

34 럼 rendered 방식의텍스트를분리해내고인식하는것에대하여연구되어왔다. 이러한컴퓨터스크린영상은가독성및화질관점에의한다양한컬러의 rendered 텍스트로분류될수있다. 움직임이있는동영상에서의압축방식을살펴보면 H.264/AVC inter mode 압축방식이대표적이다. H.264의움직임추정방법은탐색범위내에서최적의탐색점을찾는방법으로발전해왔다. 탐색중심을기반으로탐색점을설정하는방식에따라 three step search(3ss)[47], diamond search[48] 와같은 integer 움직임추정방식이사용되어왔다. 이러한알고리즘은다양한비교블록의 SAD를구하여최소의 cost를이용하여움직임을추정한다. 움직임추정방법은탐색범위가넓어지게되면연산량도같이증가하는문제점을가지게된다. Compound image에서의움직임은단일움직임으로형성되고 natural image의움직임보다움직임의폭이크다. 따라서 H.264/AVC 의움직임추정방법은많은연산량을가지고있기때문에 compound image에서의움직임추정방법으로사용하기위하여는복잡도를줄여야할필요성이있다. Wang[49] 의논문과같이 compound image에서의내용을분리하여압축방식을달리하는방식을연구되었다. 하지만이러한영상분리방법은영상의움직임을추정하는것이아니라움직이는영상의영역을찾아내는방법으로, 영상압축을위한영상움직임추정은아니다. 본연구에서는 compound image의특성을이용한영역움직임을추정하여압축효율을높이고자한다. 22

35 제 3 장 Sub-pixel gradient 블록분류방법 본장에서는 compound image를 sub-pixel gradient를이용한 text와 image 블록으로분류하는방법에대하여설명한다. 분류의기준은 16x16 nonoverlapping 블록을기반으로 compound image를 text와 image 블록으로분류한다. Sub-pixel gradient 블록분류방법은다음장에서설명하는그룹움직임추정방법및 text 블록압축방법의알고리즘의중요한입력이된다. 그림 3-1은일반적으로사용되는 compound image를나타낸다. 그림 3-1(a) 와같이배경컬러와텍스트의컬러로만구성되어있는단순한텍스트영상과, 그림 3-1(b) 과같이다양한폰트를사용하는복잡한텍스트영상, 그리고그림 3-1(c) 와같이문서저장용으로사용되는 PDF등서로다른특성을가진텍스트형태를가진문서화면이존재하게된다. 또한텍스트로만구성되어있는것이아니라그림 3-1(d) 과같이이미지로구성될수있다. 본연구에서는이러한영상의블록분류를 bi level text, simple rendered text, complex rendered text, 그리고 image 블록으로구분한다. 분류기준은다양한문서에서나타나는텍스트의특성을기반으로 text 블록을구분하였다. 기존의블록분류방법 [19] 과같이컬러분포도분석방법 [21] 을사용하는경우에는분류하는기준값에따라서분류오차율을가지게된다. 23

36 (a) 단순컬러텍스트문서 (2-color) (b) 복잡한컬러텍스트문서 (N-color) (c) PDF 문서 (d) Natural image 그림 3-1 compound image 종류 24

37 (a) 그림 3-1(a) sub-pixel color 분포 (b) 그림 3-1(b) word 의 sub-pixel color 분포 (c) 그림 3-1(c) sub-pixel color 분포 (d) 그림 3-1(d) sub-pixel color 분포 그림 3-2 sub-pixel color 분포도 그림 3-2와그림 3-3과같이 text 블록내의 sub-pixel 과 whole-pixel 컬러값을분석해보면 complex rendered text의경우이미지의컬러분포비교하였을때특정한컬러값으로수렴되는것이아니라다양한컬러의조합을가지게된다. 따라서컬러값분포도분석을기반으로하는분류방법은 text 블록분류에서오차를가지게된다. 이러한분류오차율은텍스트영역내에서다른압축알고리즘을적용하게되면블록의화질저하를일으키게된다. 본연구는이러한오차율을낮출수있는효과적인 sub-pixel gradient 분석을통한블록분류방법을설명하고자한다. 25

38 (a) 그림 3-1(a) whole-pixel color 분포 (b) 그림 3-1(b) whole-pixel color 분포 (c) 그림 3-1(c) whole-pixel color 분포 (d) 그림 3-1(d) whole-pixel color 분포 그림 3-3 whole-pixel color 분포도 Sub-pixel gradient 분석분류방법은평면영상디스플레이에서사용하는 sub-pixel 컬러단위의 gradient를분석하여분류하기때문에블록판단의오차율을최소화할수있는효과적인방법이라고할수있다. Sub-pixel gradient 분류방식은총 3단계의과정을거치게된다. 첫째단위블록당생성된 Sub-pixel 컬러로부터배경과텍스트 (font) 컬러를분리하는배경 & 텍스트컬러추출단계, 둘째로추출된텍스트컬러의값을검은색텍스트컬러로변환하는텍스트 de-colorization 단계, 마지막으로검은색으로변환된텍스트의 sub-pixel gradient를분석하여단위블록의 26

39 분류를진행하는블록분류단계를수행하게된다. 그림 3-4 은본장에서 설명하는 sub-pixel gradient 를이용한블록분류방법의전체흐름도이다. 그림 3-4 Sub-pixel gradient 를이용한블록분류방법 27

40 3.1 Background & Text color extraction 텍스트를포함하고있는블록은단일색을가지는배경컬러의비중이높다. 이러한특성은텍스트블록의분류에서중요한판단기준이된다. 본연구에서는배경컬러를블록내의 whole-pixel 컬러를기준으로가장많은개수를가진컬러로결정한다. 이단계에서가장많은컬러의수가 N th 를넘지않는경우에는이미지블록으로결정하게된다. 일반적으로텍스트문서는단색의배경을가진다. 그림 3-5와같이하얀색배경에검은색글자를가진영역으로구성된다. 이러한문서영상은배경비중이다수를차지하게된다. 텍스트블록에서확인하면글씨의크기에따라배경이차지하는비중은전체영상에서의배경비중과는차이를보인다. 이러한이유로본연구에서는실험을통하여배경비중의값 (N th ) 을결정하였다. 그림 3-5와같이하얀색배경의텍스트영상에서텍스트를포함하지않는영역의비중은 100개의텍스트문서기준으로확인한결과그림 3-6 과같다. 그림 3-6에서확인한바와같이텍스트영상의배경비중은평균적으로전체영상에서약 70% 정도차지하게된다. 하지만블록기준의배경은블록단위로편차를가지게된다. 따라서본연구에서는 N th 값을다수의실험을통하여선택하였다. 28

41 그림 3-5 텍스트문서 그림 3-6 텍스트문서에서의배경픽셀비중 29

42 Color_hist Nth block_x block_y (3-1) 본연구에서는실험데이터를기준으로식 (3-1) 의 Nth를 0.3으로결정하였다. Nth가 0.3의의미는전체컬러의수에서배경컬러로계산된개수가 30% 를넘었음을의미한다. 배경컬러의비중이 0.3을넘지않으면 text 블록이아닌 image 블록으로판단한다. 배경컬러의비율이식 (3-1) 를만족하는블록에대하여텍스트컬러를추출하는과정을수행하게된다. Colorized 텍스트는검은색 sub-pixel rendered text의 alpha blending 과정을통하여생성된다. Alpha blending[36] 은검은색의 sub-pixel rendered text를기준으로배경컬러와변경하고자하는 text 컬러의조합으로계산된다. 이러한 alpha blending의기본식은식 (3-2) 와같다. / 255 (3-2) Alpha blending 은 RGB로구성된 sub-pixel channel 단위의독립된컬러를기준으로수행된다. 식 (3-2) 를살펴보면 C blended 는 alpha blended 된텍스트의 sub-pixel의컬러값을의미하고, C font 는변경하고자하는컬러의 subpixel 컬러값을의미한다. 또한, C base 는검은색의텍스트의 sub-pixel 컬러값이고, C bg 는배경의 sub-pixel 컬러값이된다. 따라서이러한식을기준으로 C base 는텍스트컬러가위치한중앙부분에서 0이되고, 배경에서는 255 값을가지게된다. 식 (3-2) 로부터 C blended 는 C font 부터 C bg 까지값을가 30

43 진다는것을알수있다. 따라서블록내의 C font 값은 C bg 로부터가장차이가큰값을가지는것을알수있다. 결과적으로구하고자하는 C font 는블록내에서배경컬러와가장차이가많이나는 sub-pixel 값으로구한다. 또한 C font 는 0에서 255값을가지기때문에, 각 Channel에서 C blended - C bg 는한가지부호만가져야한다는것을알수있다. 예를들어 C bg 가 128일때, 블록의 C blended 는 0~128의값을가지거나, 128~255 의값을가져야한다. 이를만족하지않는 C blended 값이나오지않으면 image 블록으로판단하게된다. 31

44 3.2 Text De-colorization 텍스트 de-colorization의목적은 rendered text에서나타나는 gradient 의경향성을복원하기위함이다. Colorized rendered text는 sub-pixel 단위의 gradient 의경향성을확인하기힘들기때문에 colorized text를위의컬러추출에의한텍스트의컬러를검은색의텍스트로바꾸게되면 gradient의경향성을쉽게확인할수있다. 이러한 gradient의경향성은블록을구분하는과정에서사용된다. 텍스트 de-colorization 단계는 gradient의경향성을복원하는과정에서나타나는경향성을기준으로텍스트와이미지블록을구분하기위함이다. Sub-pixel 컬러의 gradient는본연구에서설명하고있는 sub-pixel gradient 분석방법의기본이되는입력이된다. 그림 3-7은 colorized text가이러한 de-colorization 을통하여검은색의 text로변환되었을때의 sub-pixel 컬러값을보여준다. 그림 3-7 (a) 와같이 sub-pixel 컬러의 gradient는일정한방향성을가지지않는다. 실질적으로 sub-pixel 컬러의 gradient는 colorized된영향에따라바뀌게되는것이다. 그림 3-7 (b) 와같이 de-colorized 과정을거치게되면일정한방향성을가지는 sub-pixel 컬러의 gradient를가지게된다. 이러한 gradient 변환방식은 alpha blending 의역함수에의해서구할수있다. 식 (3-1) 과같이 Alpha blending은검은색텍스트로부터 colorized 텍스트로변환되는과정이다. 32

45 (a) Colorized text (a) Decolorized text 그림 3-7 de-colorization 을수행하기전과후의 text sub-pixel 컬러값 33

46 이러한변환과정을반대로파악을하면 colorized 된텍스트를검은색 텍스트로변환할수있다. 식 (3-3) 은 gradient 가나타나는검은색텍스트를 구하기위한 alpha blending 의역함수이다 / (3-3) 텍스트컬러추출과정에서배경의컬러와텍스트의컬러를분리하는과정을진행하게된다. 이렇게분리된컬러를기준으로 C bg 와 C font 의컬러값을확인할수있다. Colorized 텍스트가아닌경우에는 C base 와 C blended 는동일한값을가진다. 따라서현재 colorized sub-pixel 값은식 (3-3) 에의해서 C base 으로대치된다. 식 (3-3) 에의해서텍스트부분에대하여순차적으로 sub-pixel color 값은대치된다. 이렇게변환된텍스트블록을기준으로최종적으로 encoding 과정을거치게된다. 이러한 de-colorization 을수행하게되면텍스트컬러와배경컬러에서다수의 gradient가존재하던텍스트에서 gradient가단순해짐을알수있다. 이러한 de-colorization 방식은흰색배경색이아닌다른배경색과검은색텍스트가아닌텍스트의조합을가진블록에서도동일하게적용된다 34

47 3.3 블록분류 (Block Classification) De-colorized 된 sub-pixel 블록영상은최종적으로 gradient의반복성을판단하여 text와 image 블록으로결정하게된다. Text 는그림 3-5 와같이 sub-pixel 컬러값이순방향 gradient와역방향 gradient의형태를반복하게된다. 이는단순한배경컬러와텍스트컬러사이에 gradient 가반복되어나타나는 text 블록의특성때문이다. 이러한경향성은 image 블록에비해 text 블록에서두드러지게나타난다. Text 블록과 image 블록의분류는블록단위로이루어지기때문에 sub-pixel rendered 텍스트의 gradient의형태는안정된구간없이 local min/max 를반복하게됨으로식 (3-4) 을만족해야한다., 2, 1, 2 1, 0, _ 1, (3-4) D grad 는각 gradient의방향값으로이전 sub-pixel 과비교하여순방향을가지면 1, 역방향을가지면 -1, gradient가없으면 0을나타낸다. gradient의방향은이전 sub-pixel color 값과의크기비교를통하여계산된다. k는 text 에서나타나는 direction의개수이다. 는 direction이바뀔때만계산하게된다. Text는 sub-pixel 단위의순방향과역방향을반복하기때문에방향 35

48 이바뀔때마다 D grad 를더하면, 그절대값이 1을넘지않아야한다. 하지만 sub-pixel rendered text의 rendering 과정에서 rendering 이아닌다른화질개선방법을통하여같은방향의 gradient가두번반복이가능하기때문에본연구에서 gradient의절대값의 threshold는 2로선택하였다. 결과적으로식 (3-4) 를만족하지않으면 image 블록으로결정하게된다. image 블록이아닌 text 블록으로결정되는블록에서는좀더자세한분류과정을거치게된다. 이는다음절에서설명하는그룹움직임추정방법에서의중요한정보이다. 앞장에서설명한바와같이텍스트블록은 bilevel text와 simple rendered text, complex rendered text로구분할수있다. Bilevel text 블록은 gradient를구성하는 sub-pixel color의개수가 1이되면 bilevel 텍스트블록으로분류한다. gradient를구성하는 sub-pixel color 개수가 4 이하가되고, gradient의시작점혹은끝지점에서 non-linear 현상이발생하지않으면 simple rendered text 블록으로분류한다. 최종적으로 gradient를구성하는 sub-pixel color 개수가 4 이상이되고, gradient의시작점혹은끝지점에서 non-linear 현상이발생하는 text 블록을 complex rendered text 블록으로분류하게된다. 이러한블록분류방식은기존의방법에서구분하지못하는 PDF 와같은복잡한 sub-pixel 컬러를가진텍스트문서를빠르고정확하게텍스트블록으로구분할수있다. 복잡한텍스트문서의분류방법은문서의가독성유지를위하여필요하다. 텍스트문서의특성상압축방식이다른블록에서는블록간의화질차이로인하여가독성이저하되는현상을가진다. Sub-pixel gradient 분석방식은이러한문제점을해결하고자원본컬러데이터를 sub-pixel 단위로 36

49 분석하게되면컬러의생성단위로분석이가능하게됨으로써분류를정 확하게할수있게된다. 다음절의실험결과를통하여본연구에서설 명하는 sub-pixel 을사용한블록분류방법의결과를확인할수있다. 37

50 3.3 블록분류실험결과 블록분류에서가장중요하게생각하는부분은텍스트로판단되어야할블록이이미지로판단되는비율을최소화하여야한다는것이다. 기본적으로텍스트블록의화질은이미지블록의화질보다더중요하다. 특히텍스트부분의화질이떨어지면영상의 PSNR 뿐만아니라문자를읽는가독성저하의문제를가진다. 텍스트블록과이미지블록에사용되는압축방식이다를경우이러한현상은도드라지게되는것이다. 따라서본연구에서는이러한블록분류의정확도에대하여실험을진행하였다. Bilevel text 영상, simple rendered text 영상, complex rendered text 영상과 natural 영상으로분류하여각 100개의영상들에대하여실험을진행하였다. 3가지종류의텍스트이미지에서텍스트로판단되지않는블록의수와, 1가지의 natural 영상에서텍스트로판단되는블록의수를확인하였다. 설명하는블록분류알고리즘의성능을비교하고자 Lin[19] 의논문에서사용한컬러수를이용한블록분류알고리즘과 Pan[21] 의논문에서사용한컬러분포도 (histogram) 분류방법을비교하여본연구의성과에대한결과를확인하였다. 그림 3-8는실험에사용한 4가지종류의이미지의예이다. 그림3-8(a) 와같이인터넷영상에서많이사용하는 bi-level 이미지의경우는배경과텍스트컬러로분리되는이미지이다. 그림 3-8(b) 는컬러의종류가단순한 simple rendered 텍스트를사용한이미지이다. 대부분의 Microsoft 의프 38

51 로그램에서사용되고, 최근에인터넷영상에서도사용되는형태의텍스트영상이다. 본연구에서는 Word 프로그램의이미지와인터넷영상의이미지를혼합하여테스트영상으로사용하였다. 그림 3-8(c) 와같은 complex rendered 텍스트영상은 PDF 와같은문서에서사용된다. PDF 와같은문서는 simple rendered 텍스트이미지와다르게감마보정과같은여러가지가독성향상기법을사용한이미지로위에서설명한바와같이 sub-pixel 단위로분석되는컬러의수가자연이미지의컬러의수와비슷하다. 본실험의기준은텍스트로구성된실험영상과이미지로구성된실험영상을기준으로텍스트로구분하는비율을통하여본연구의성과를확인하였다. 영상의선택기준은텍스트영상의경우 2-color 로구성되는 bilevel 영상, sub-pixel 컬러의수가비교적단순한 simple rendered 텍스트, sub-pixel 컬러의수가복잡한 complex rendered 텍스트, 그리고텍스트의영역이전혀분포하지않는순수이미지영상으로구성하였다. 각영상의특성에따라각알고리즘이분석하는결과가다르게나타난다. 영상의경계블록보다영상내의블록이오차를보일경우전체영상의가독성이떨어지는결과가발생할수있다. 39

52 (a) bi-level text 영상 (b) simple rendered text 영상 (c) complex rendered text 영상 (d) natural 영상 그림 3-8 분류실험영상 40

53 표 3-1 텍스트블록구분율 (%) 실험영상 Bi-level Text Simple Rendered Text Complex Rendered Text Natural image Proposed Lin[19] Pan[21] 표 3-1는각알고리즘이테스트영상을기준으로텍스트블록을판단하는분류율을표시하였다. 전체블록의수를 100으로하였을때텍스트블록으로판단하는비율이된다. 표 3-1와같이컬러의수가단순한 bi-level text의경우 3개의알고리즘모두높은비율로 text 블록으로구분하였다. 하지만컬러의조합이작은 simple rendered text의경우제안하는알고리즘은 99.69% 의구분률을보인다. Lan[19] 의결과에서처럼컬러의개수를통하여블록을구분하는방법도 bi-level text 와 simple rendered text에서 text블록을구분하는빠르고좋은방법이기는하지만 natural 영상에서도텍스트로판단되는영역이 5.10% 정도발생하기때문에텍스트와이미지블록을명확히구분하기어려운점이있다. 특히 complex rendered text의경우 Lin[19], Pan[21] 의알고리즘은명확히구분하지못하는경향이있다. 제안하는알고리즘의경우이러한 complex rendered text에서도 99.03% 의구분률을보인다. 특히 image 블록을 text블록으로잘못판단하는비율이실험결과 0.65% 로다른알고리 41

54 즘에비하여 image 블록과 text 블록을정확히구분할수있음을알수있다. 그림 3-9는 complex rendered text로구성된 PDF 문서영상을기준으로각알고리즘이분리되는블록을분리한것이다. 회색으로표현된블록은알고리즘적용에따라서 image 블록으로판단된것이다. 그림 3-9과같이 complex rendered text의경우 Pan[21] 알고리즘의실험결과는텍스트블록을이미지블록으로잘못판단하는결과를가져온다. 이알고리즘은컬러의분포도를확인하여분류하기때문에 PDF 와같이컬러의분포도가이미지와차이가없는부분에서차이를보이게되는것이다. Color count를사용하는 Lan[19] 의실험결과를보면대부분의블록이 image 블록으로판단되었음을알수있다. 본연구에서제안하는블록분류방법은 PDF와같은 complex rendered text 에서도정확한분류가가능함을알수있다. 이와는반대로 image 에서 text 블록으로판단되는비중도중요하다. 일반적으로 image를압축하는압축방법과 text를압축하는압축방법이다르게된다. 이럴경우에 image안에서서로다른압축방법이사용되면영상의왜곡현상을가져올수있다. 그림 3-10는이미지영상을기준으로각알고리즘이분리되는블록을분리한것이다. 회색으로표현된블록은알고리즘적용에따라서텍스트블록으로판단된것이다. 그림 3-10 과같이 Lan[19] 과 Pan[21] 의알고리즘의경우이미지영상에서텍스트블록으로잘못판단하는경우가나타나게된다. 42

55 (a) 원본 (b) Lin[19] (c) Pan[21] (d) Proposed 그림 3-9 complex rendered text 의 text 블록판단결과 43

56 (a) 원본 (b) Lan[19] (c) Pan[21] (d) Proposed 그림 3-10 natural 영상에서의 text 블록판단결과 44

57 Lan[19] 알고리즘의경우분류기준이컬러의수를 32이이하의경우텍스트, 컬러의수가 32를넘는경우는이미지로분리하게된다. 이러한분류방법의경우단순한텍스트블록은분류가가능하지만, 컬러의수가많은 complex rendered 블록에서는정확한분류를할수없다. 또한이미지영역또한평이한컬러를가지는블록을텍스트영역으로잘못분류하게되는오류를가진다. 정확한블록분류는이미지와텍스트영역에서서로다른압축방법을사용하는 compound image 압축방식에서는블록간의화질을결정하는중요한요소이다. sub-pixel gradient 블록분류방법은 text와 image 블록을정확히구분할수있음을확인할수있다. 45

58 제 4 장 Sub-pixel Gradient text 블록코딩방법 4장에서는 3장에서분류된블록을기준으로텍스트블록의압축방법에대해서설명하고자한다. Text 블록의압축은텍스트영상의특성상가독성과압축률이중요한조건이다. 압축률과가독성은 trade-off 관계이기때문에압축률이높을수록가독성이떨어지게된다. 특히 H.264/AVC 나 JPEG과같은양자화영상변환과정을거치는압축알고리즘은텍스트영상에서자연영상에비해시각적인화질저하가많이일어나게되는것이다. 본연구에서는이러한가독성저하를막고, 높은압축률을가질수있는 Sub-pixel gradient를사용한 text 블록압축방식을설명한다. Sub-pixel rendered text는그림 4-1(a) 와같이다양한컬러의조합으로이루어진다. 그림 4-1(b) 는그림 4-1(a) 의 sub-pixel 컬러값을나타낸것이다. 그림 4-1(a) 는배경의색이 255로구성된흰색바탕이되고, 텍스트컬러는 0으로구성된검은색의텍스트로구성되어있다. 하지만 sub-pixel rendering을거치면서그림 4-1(a) 와같은다양한컬러의조합으로구성되는것이다. 그림 4-1(c) 는그림 4-1(b) 의한 pixel 라인을기준으로 subpixel 컬러값을그래프로나타내었다. 그림 4-1(c) 와같이 sub-pixel rendered text는텍스트와배경사이에서 sub-pixel 컬러로구성되는 gradient 를형성한다. 이러한 gradient는시작지점으로부터끝나는지점까지선형관계를유지한다. 46

59 (a) a 의텍스트영상 RGBRGBRGBRGBRGBRGBRGBRGBRGBRGBRGB (b) a 영상의 sub-pixel 컬러값 (c) (b) 에서선택된라인의 sub-pixel 컬러값그래프 그림 4-1 sub-pixel rendered text 47

60 (a) Complex rendered text image (b) Natural image 그림 4-2 gradient 를형성하는 sub-pixel 컬러수 48

61 그림 4-2와같이 gradient를형성하는 sub-pixel의수는 rendered text에서일정하게나타난다. 이러한 sub-pixel gradient 수는텍스트의컬러와배경색의컬러사이에서 rendering 된영향으로확인할수있다. 하지만 simple rendered text와 complex rendered text의경우위에서설명한바와같이 rendering 의방식의차이로인하여각텍스트의특성에따른다양한 gradient의개수를보여준다. 특히 image 블록에서는 gradient가일정하게증가하거나감소하는패턴이반복되지않고, gradient의연속성이떨어지게된다. 본연구에서설명하는 text 블록코딩방법은블록분류방법에의해분류된 text 블록에대하여진행된다. 블록내의코딩동작은 RGB 의픽셀단위를구분하지않으며 sub-pixel 단위의 3개의 channel을독립적으로판단한다. 또한 3-channel sub-pixel의컬러의순서는 RGB를기준으로진행한다. Text 블록코딩은블록분류방법에서수행한 de-colorized text를기반으로이루어진다. 이는본연구가제안하는 text 블록코딩방식이 sub-pixel 기반의 gradient의선형특징을이용하기때문이다. text 블록코딩을하기전에블록분석단계로압축효율을높이고자 gradient 보정과정 (gradient fitting process) 을진행한다. gradient 보정과정을거친데이터를기준으로 gradient 코딩을진행한다. 그림 4-3은이러한 Text 블록코딩방법진행과정이다. 49

62 그림 4-3 Text 블록코딩방법 50

63 4.1 Gradient fitting process Sub-pixel rendered 텍스트의가독성을유지하기위하여 decode되는데이터는원본텍스트와 gradient의오차율이최소화되어야한다. 그러나 text 를 gradient의개수만으로 encoding 할경우, decoding 과정에서원본텍스트와오차율이증가하게된다. 이는 sub-pixel rendered 텍스트가생성되는과정에서비선형원인이사용되었기때문이다. gradient의비선형부분은주로 gradient의시작점혹은끝부분의 gradient가이를구성하는평균적인 gradient와많이다를경우, 이를텍스트압축을진행하기전에미리제거하여 gradient의선형성을유지하도록한다. 이렇게함으로써텍스트의압축효율을높일수있다. 식 (4-1) 는 gradient의시작위치또는끝나는위치의 sub-pixel 컬러값을코딩에서제거하는방법을나타낸다.,,, 0, 1,, 1 (4-1) / _ P i 는 gradient를이루는 sub-pixel 컬러값이며, FT는보정 threshold 값을말한다. C s 는 gradient의시작지점의 sub-pixel 컬러값이며 C f 는 gradient 의끝지점의 sub-pixel 컬러값이다. gradient를이루는각 sub-pixel 컬러값이 C s 혹은 C f 와값차이가 FT 이하일경우, 이를 C s 혹은 C f 의값으 51

64 로바꾼다. FT 를결정하는 fitting 값은영상의 quality 에따라다르다. 보 정값의조정은뒤에서설명할텍스트압축의영상화질 enhancement 에 서설명하도록한다. 그림 4-4 Gradient fitting process 그림 4-4는텍스트압축에서 gradient fitting process의효율성을설명하기위한그림이다. 그림 4-4의 original 로표시된라인은 sub-pixel rendered 텍스트의 gradient 부분으로시작점과끝점에서 gradient의경향성이다르게나타나는것을확인할수있다. 그림 4-4의 before fitting으로표시된라인은 gradient fitting process을적용하지않았을때 decoding 된결과를표시한다. gradient의시작부분의경향성이중간부분의 gradient 와다르기때문에 gradient 를 sub-pixel 단위로 encoding 하였을때 decoding 된결과가원본 52

65 데이터와차이를가지는것을알수있다. 그림 4-4에서 after fitting 으로표시된라인은식 (4-1) 를이용하여경향성이다른 sub-pixel gradient 의시작점과끝점을 encoding 단계에서제외시켜 encoding을진행한결과를보여준다. gradient 의시작점과끝점의 sub-pixel 컬러값이 C s 와 C f 로변경된후에 gradient 가원본데이터와유사하게 decoding 되는것을확인할수있다. 표 4-1 fitting threshold Fitting threshold Function : / _ Value FT1 abs( ) / 8 16 FT2 abs( ) / 8 11 FT3 abs(216-0) / 8 27 FT4 abs(0-255) / 8 32 그림 4-5와같이 gradient 보정과정은 3단계과정으로구성된다. 첫번째단계로 sub-pixel로구성된텍스트에서각 gradient를구성하는 sub-pixel을그룹화하는단계이다. gradient를구성하는 sub-pixel은 gradient의시작지점부터 gradient의끝지점까지를포함한다. gradient가시작되는지점은 subpixel 의컬러값이일정하게유지되다가값이바뀌는지점과 gradient의방향이바뀌는지점이다. gradient가끝나는지점은 gradient의방향이바뀌 53

66 거나 sub-pixel 컬러값이일정하게유지되는형태로바뀌는지점이다. 이렇게각 gradient를분리하는이유는 gradient fitting process가각 gradient 마다독립적으로이루어지기때문이다. 그림 4-5(a) 는 sub-pixel rendered 텍스트의한라인이 4개의 sub-pixel 그룹으로분리된것을보여준다. 각그룹은 gradient의 C s 와 C f 정보를가지고있게된다. 두번째단계는각 sub-pixel 그룹에대하여보정 threshold 값을구하는단계이다. 첫번째단계에서구한 C s 와 C f 를이용하여식 (4-1) 로 FT를구하게된다. 보정값이 8일때각그룹에서의 FT 값은표 4-1와같다. 세번째단계는보정 threshold를기준으로 sub-pixel의컬러값을 local min/max값으로변경하는단계이다. 보정을위한실제 FT의위치는 C s 와 C f 에서 FT 만큼떨어진위치이다. 그림 4-5(b) 는각그룹별 FT의위치를나타낸다. 그림 4-5(b) 과같이 FT는그룹마다 gradient 안으로 C s 와 C f 에서 FT 만큼떨어진곳에존재한다. 이를기준으로 FT와 C s 와 C f 사이의 sub-pixel 컬러값은 C s 와 C f 의값으로바뀌게된다. 그림 4-5(c) 는최종적으로보정과정을거친결과이다. 보정과정을적용하기전그림 4-5(a) 와비교하여 gradient의선형성을유지하는것을확인할수있다 54

67 (a) (b) (c) 그림 4-5 gradient fitting process 의동작 55

68 4.2 Text Coding 텍스트코딩은 sub-pixel gradient 를이용하여코딩하는과정이다. 이러한 코딩과정을통하여텍스트의가독성유지와압축률향상을꾀할수있다 Gradient 로구성된부분의코딩방법 gradient 코딩은기본적으로 sub-pixel rendered 텍스트에서 sub-pixel gradient의선형성을이용하여 gradient를구성하는 sub-pixel 의개수로코딩하는방법이다. 텍스트를이루는 gradient는 gradient 보정과정을통하여선형성을유지하기때문에이를단순히 gradient를구성하는 sub-pixel 의개수로코딩할수있다. 반대로 decoding 과정은 gradient의픽셀수를이용하여 gradient의선형성을복원하게된다. 이러한 gradient는식 (4-2) 로표현된다. / / (4-2) C s 는 encoding 을진행할때, gradient 의시작지점의 sub-pixel 컬러값이 고, C f 는 gradient 의끝지점의 sub-pixel 컬러값이다. N 은 gradient 의시작지 56

69 점부터끝지점까지의 sub-pixel 컬러의개수다. N 값의범위는 gradient 보 정과정을통하여정해진다. Decoding 과정에서식 (4-2) 의 C s 와 C f 를확인 하면텍스트의 sub-pixel gradient 를복원할수있다 Gradient 가없는부분의코딩방법 텍스트의 sub-pixel 컬러값은텍스트의중심부분이나배경부분에서동일한값을가지는확률이높다. 이러한 gradient가없는부분은 gradient가있는부분과특성이다르고단순하다. 따라서효율적인코딩을위하여 gradient가존재하는부분과존재하지않는부분을구분하여코딩한다. 텍스트블록내의픽셀라인단위로진행하면서 gradient가존재하지않는부분은 1bit를할당하여코딩한다. 현재의 sub-pixel 의컬러값과이전 sub-pixel 의컬러값이다르게되면 gradient가발생한것으로확인하고 gradient의값을코딩하게된다 local min/max 값예측 Encoding 된데이터를 decoding 단계에서복원하기위하여 pixel 의개수뿐만아니라식 (4-2) 와같이 C s 와 C f 의값을확인하여야한다. 그러나텍스트의특성상 gradient의시작점혹은끝점은배경이거나문자의컬러일확률이높다. 57

70 표 4-2 Cs 와 Cf 가배경과문자컬러일확률 Rendered text 의종류 Probability (%) Simple rendered text 89 Complex rendered text 61 표 4-2와같이 sub-pixel rendered 텍스트에서 simple rendered 텍스트뿐만아니라 complex rendered 텍스트에서도 C s 와 C f 의값은배경이거나문자의컬러로구성될확률이높다. 따라서 C s 와 C f 의값은텍스트컬러또는배경컬러로예측하고배경컬러나텍스트컬러가아닐경우에만실제컬러값을코딩한다. Decolorized text의문자컬러는 0이고, 배경컬러는 255 이므로역방향 gradient에대해서는 0으로예측하고순방향 gradient에대해서는 255로예측하게된다. 또한텍스트의 gradient는대부분순방향과역방향을반복하기때문에 gradient의방향에대한정보도코딩하지않는다. 결과적으로 C s 와 C f 에대한비트및방향에대한비트를최소화함으로써높은압축효율을가지게한다. 58

71 4.2.4 Whole-pixel 코딩 Sub-pixel 단위의압축방법은 sub-pixel rendered 텍스트의 gradient를압축할때가장효율적이다. 하지만배경과같은단순한패턴의반복에서는비효율적일수있다. 텍스트의배경은 sub-pixel 컬러값의변화가없고단순하기때문에 sub-pixel 컬러단위의코딩방식은불필요한비트수를늘리게된다. 따라서본연구에서는 sub-pixel 코딩방법과함께배경이나문자의컬러의반복성을이용하여 RGB 3개 channel의데이터를한꺼번에코딩하는 whole-pixel 코딩방법을병행한다. Whole-pixel 코딩방법은 whole 픽셀을구성하는 sub-pixel 의값이모두동일할경우이를 1bit로할당하여코딩하는방법이다. 텍스트는배경의비율이높으며 de-colorized된텍스트의경우문자의 whole 픽셀의값이모두동일할경우가많다. 결과적으로배경과문자의동일한 sub-pixel 의값을 whole-pixel 코딩하여압축률향상에기여할수있다. 59

72 4.2.5 화질 enhancement gradient 코딩방법은 sub-pixel rendered 텍스트의비선형특징을모두재현해내기에는한계를가지게된다. gradient 보정과정과텍스트 gradient 를하나의 gradient로압축하는과정에서비선형요소들의손실이증가하게된다. 따라서본연구에서는텍스트 gradient를구성하는일부 sub-pixel 컬러값들을코딩하여텍스트의비선형성을보완하는방법을설명한다. 먼저위에서설명한 gradient를구성하는 sub-pixel의개수를코딩한다. 이후에비선형특징을보완하기위하여 gradient를구성하는 sub-pixel 컬러값을일부추가적으로코딩한다. gradient를구성하는 sub-pixel 중하나의 sub-pixel 값을추가적으로코딩한다면, 먼저 gradient의개수를코딩하고 gradient를구성하는첫번째 sub-pixel 컬러값을코딩한다. Decoding 과정에서는 gradient의개수와첫번째의 sub-pixel 컬러값을복원한후나머지부분을직선으로이어 gradient를복원한다. 그림 4-6 은 gradient를구성하는 sub-pixel 컬러값을추가적으로코딩하였을때와하지않았을때 gradient의복원결과를비교한것이다. N m 은 gradient를구성하는 sub-pixel 컬러값을코딩한개수이다. gradient 코딩만수행할때보다 gradient 내부의 sub-pixel 을하나더코딩하였을때복원결과가원본데이터에근접한것을알수있다. 60

73 그림 4-6 N m = 1 인경우와 N m = 0 인경우 표 4-3 과같이위의방법을적용하였을때오차율이감소한것을알수있다. 위와같은방법은 sub-pixel rendered 텍스트의특성을복원하는방법이지만, 이전의 gradient 보정과정에서많은부분의비선형성이제거되기때문에텍스트복원에한계가존재한다. 따라서본연구에서는 N m 에따라 gradient 보정과정에서보정 threshold를조절한다. 본연구에서 N m 에따른보정 threshold 값은표4-4에나타나있다. 61

74 표 4-3 N m 값의변화에따른방법의오차 Gradient 내부 sub-pixel coding 개수 Error :,, 표 4-4 N m 에따른보정값 fitting value else 32 gradient를구성하는 sub-pixel 컬러값을그대로코딩하게되면많은량의비트가소모된다. 텍스트의 gradient를구성하는 sub-pixel은 gradient의시작지점과끝지점의사이의값만을가질수있는데, 이러한성질을이용하게되면 sub-pixel 컬러값코딩시높은효율을가질수있다. 따라서본연구에서는이러한성질을이용하여적은비트량으로최대한근사한 62

75 sub-pixel 컬러값을코딩하는방법을사용한다. gradient 를구성하는 subpixel 컬러코딩은식 (4-3) 과같이진행한다., 0,1,, 1 (4-3) N m 은 gradient를구성하는 sub-pixel 컬러값을몇개까지코딩을할것인지를나타낸다. B c 는기본 gradient 값으로이값이커질수록코딩되는 gradient의정확성이높아진다. Decoder에서의 sub-pixel 복원과정은식 (4-3) 에의하여코딩된 sub-pixel 값을 B c 의값으로나누고 C s - C f 의절대값을곱하여 gradient를구성하는 sub-pixel을 N m 개수만큼생성하고, gradient를구성하는나머지 sub-pixel 들은선형성을이용하여복원한다. N m 과 B c 값이커질수록 gradient를세밀하게코딩하기때문에, 화질은높아지게된다. 하지만반대로압축률이낮아지기때문에선택되는영상의화질목표에따라서조절할수있다. 63

76 4.3 텍스트코딩동작 표 4-5 동작예시에사용된 text coder parameter Parameter Value 1 Bit size for inner sub-pixel in the gradient 4 Bit size for gradient length 4 표 4-5는본절에서동작예시를위하여사용된 parameter이다. 은화질 enhancement를위하여사용되는 parameter로 = 1은 gradient를구성하는 sub-pixel중하나를추가적으로코딩을진행하는의미이다. 두번째 parameter는 gradient를구성하는 sub-pixel 컬러값을 개코딩할때각각 4bit으로코딩한다는것을의미한다. 세번째 parameter는 gradient의길이를코딩할때몇비트로코딩을진행할지를정하는 parameter로, gradient 길이는 4 bits으로코딩한다. 본절에서는이러한코딩동작을단계적으로설명하기로한다. 64

77 4.3.1 텍스트코딩입력 그림 4-7 텍스트코딩입력 그림 4-7 은 gradient 보정과정에의해 decolorized text의한라인이다. Decolorized 된텍스트는검은색컬러의텍스트와하얀색컬러의배경으로구성되게된다. 3장에서설명한바와같이 decolorized text는텍스트원본을기준으로 sub-pixel rendering 되어있으므로텍스트의 sub-pixel gradient가정확하게표현되어있다. 65

78 4.3.2 Whole-pixel 코딩 1 그림 4-8 Whole-pixel 코딩 1 그림 4-8과같이첫번째 sub-pixel은 R channel 시작지점이고, 연속된세개의 sub-pixel (whole-pixel) 값이모두같으므로, whole pixel 단위로압축된다. 압축된비트는 1 (1bit) 이다. 그후여섯개의 sub-pixel도모두같은값을가지므로 whole pixel 코딩방법으로압축된다. 생성되는 bit stream 은 1 1 1이다. 66

79 4.3.3 역방향 Sub-pixel gradient 코딩 1 그림 4-9 역방향 Sub-pixel gradient 코딩 1 그림 4-9와같이 R channel 시작지점에서코딩하지만, 연속된세개의 sub-pixel 값이같지않기때문에, sub-pixel 단위로압축하며 0 (1bit) 으로코딩한다. 첫번째 sub-pixel의값이이전 sub-pixel의값과다르므로 gradient 코딩을수행하게되며, 이에따른 index bit는 0 (1bit) 이다. 순차적으로 gradient를구성하는 sub-pixel의개수를코딩한다. 그림 4-9와같이 gradient를구성하는 sub-pixel의개수가 4 이므로, 0100의 4bit으로 coding한다. 화질 enhancement를위하여 gradient 내부를코딩하는변수 이 1 이므로, gradient를구성하는첫번째 sub-pixel 코딩한다. 는 255, 는 127, 은 225 으로, 식 (4-3) 에따라 16 = 4 이고따라서코딩 67

80 되는비트는 0100 (4bit) 이다. 역방향 gradient 지만 값이 0 (text color) 가아니므로컬러비트를추가적으로코딩한다. Index bit으로 0 (1bit) 을코딩하고, 컬러값으로 (8bit) 을코딩한다. 생성되는 bit stream은 이다. 누적 bit stream은 이다. 68

81 4.3.4 Local minimum 코딩 1 그림 4-10 Local minimum 코딩 1 그림 4-10과같이코딩을시작하는지점이 G channel의시작지점이다. R channel이코딩의시작지점이아니기때문에 sub-pixel 코딩을진행한다. 현재의 sub-pixel이이전 sub-pixel의값과같기때문에, non-gradient 코딩을한다. 코딩되는비트는 1 (1bit) 이다. 생성되는 Bit stream은 1이다. 누적 bit stream은 이된다. 69

82 4.3.5 순방향 gradient 코딩 1 그림 4-11 순방향 gradient 코딩 1 그림 4-11과같이코딩을시작하는지점이 B channel의시작지점이다. R channel이코딩의시작지점이아니기때문에 sub-pixel 코딩을한다. 첫번째 sub-pixel의값이이전 sub-pixel의값과다르므로 gradient 코딩을수행하게되며, 이에따른 index bit는 0 (1bit) 이다. gradient를구성하는 sub-pixel 의개수를코딩한다. 그림 5-11과같이 gradient를구성하는 sub-pixel의 개수가 4 이므로, 0100 의 4bit 으로코딩한다. 이 1 이고, 는 127, 는 216, 은 145 으로, 식 (4-3) 에따라 16 = 3 이고따라서 코딩되는비트는 0011 (4bit) 이다. 순방향 gradient 지만 값이 255 (background color) 가아니므로컬러비트를추가적으로코딩한다. Index bit 70

83 으로 0 (1bit) 을코딩하고, 컬러값으로 (8bit) 을코딩한다. 생성되 는 bit stream 은 이다. 누적 bit stream 은 이다 Local maximum 코딩 1 ` 그림 4-12 Local maximum 코딩 1 그림 4-12와같이코딩을시작하는지점이 R channel의시작지점이지만연속된세개의 sub-pxiel의값이같지않으므로 sub-pixel 코딩을하고 index bit으로 0 (1bit) 을코딩한다. Sub-pixel의값이이전 sub-pixel의값과같으므로 non-gradient 코딩을하고, 코딩되는비트는 1 (1bit) 이다. 생성되는 Bit stream은 0 1이다. 누적 bit stream은 이다. 71

84 4.3.7 역방향 gradient 코딩 2 그림 4-13 역방향 gradient 코딩 2 그림 4-13과같이코딩을시작하는지점이 G channel의시작지점이다. R channel이코딩의시작지점이아니기때문에 sub-pixel 코딩을한다. 첫번째 sub-pixel의값이이전 sub-pixel의값과다르므로 gradient 코딩을수행하게되며, 이에따른 index bit는 0 (1bit) 이다. gradient를구성하는 sub-pixel 의개수를코딩한다. 그림과같이 gradient를구성하는 sub-pixel의개수가 3 이므로, 0011 의 4bit 으로 coding 한다. 이 1 이고, 는 216, 는 0, 은 151 으로, 식 (4-3) 에따라 16 = 5 이고따라서코딩되는 비트는 0101 (4bit) 이다. 역방향 gradient 이고 값이 0 (text color) 이므로 color bit 을추가적으로코딩할필요하고없이 index bit 만추가적으로 1 72

85 (1bit) 을 coding 한다. 이과정에서생성되는 bit stream 은 이다. 누적 bit stream 은 이다 Local minimum 코딩 2 그림 4-14 Local minimum 코딩 2 그림 4-14와같이코딩을시작하는지점이 G channel의시작지점이다. R channel이코딩의시작지점이아니기때문에 sub-pixel 코딩을한다. Subpixel의값이이전 sub-pixel과같으므로 non-gradient 코딩을하고, 코딩되는비트는 1이다. 이과정에서생성되는 Bit stream은 1이다. 누적 bit stream은 이다. 73

86 4.3.9 순방향 gradient 코딩 2 그림 4-15 순방향 gradient 코딩 2 그림 4-15와같이코딩을시작하는지점이 B channel의시작지점이다. R channel이코딩의시작지점이아니기때문에 sub-pixel 코딩을한다. 첫번째 sub-pixel의값이이전 sub-pixel의값과다르므로 gradient 코딩을수행하게되며, 이에따른 index bit는 0 (1bit) 이다. gradient를구성하는 sub-pixel 의개수를코딩한다. 그림과같이 gradient를구성하는 sub-pixel의개수가 4 이므로, 0100 의 4bit 으로코딩한다. 이 1 이고, 는 0, 는 255, 은 51 으로, 식 (4-3) 에따라 16 = 3 이고따라서코딩되는비 74

87 트는 0011 (4bit) 이다순방향 gradient이고 값이 255 (background color) 이므로 color bit을추가적으로코딩할필요하고없이 index bit만추가적으로 1 (1bit) 을코딩한다. 이과정에서생성되는 bit stream은 이다. 누적 bit stream은 이다 Whole-pixel 코딩 2 그림 4-16 Whole pixel 코딩 2 그림 4-16 과같이코딩을시작하는지점이 R channel 의시작지점이고, 연속된세개의 sub-pixel 의값이같으므로 whole pixel 코딩을한다. 나머 지세개의 sub-pixel 도같은방법으로코딩될수있다. 이과정에서최종 75

88 bit stream은 1 1 이다. 누적 bit stream은 이다. 이렇게 gradient 코딩방법을진행하게되면최종적으로생성되는 bit stream은 로표현된다. 본과정의모든텍스트는 gradient의반복으로볼수있기때문에 gradient 코딩으로진행하면모든텍스트블록에대하여코딩을진행할수있다. 76

89 4.4 텍스트블록코딩실험결과 Sub-pixel gradient를이용한코딩압축과정은위에서설명한바와같이진행된다. 본실험결과는이러한 sub-pixel gradient를이용한코딩방법의효율성을확인한다. 본연구에서설명하는 Sub-pixel gradient 코딩압축방법과표준알고리즘인 JPEG[2], JPEG2000[3], H.264/AVC[1] 와 Pan [10] 에서제안한 compound image 압축알고리즘과비교를진행한다. 다양한형태의영역을가진영상을기준으로제안하는알고리즘이기존의압축알고리즘에비하여높은압축률및화질을가지는지에대하여확인하였다. 실험영상에사용된프로그램은 JPEG의경우 OpenCV2.0[16] 의 JPEG library, JPEG 2000는 jasper[51], H.264 Intra mode는 JM18.4[15] 를사용하였다. 실험영상은 RGB 포맷의컴퓨터스크린영상을캡쳐하여사용하였다. 실험에사용한 RGB 영상은컬러변환에의한영상손실을고려하여사용되었다. 또한본연구의실험결과는 RGB 포맷을기준으로작성되었다. 공정한비교를위하여실험비교를위한 H.264 Intra mode의실험에사용한영상포맷의경우컬러영상변환에의한화질손실을고려하여 YUV 4:4:4 의영상포맷을사용하였다. 실험결과는 2가지의영상을기준으로진행하였다. 기존의알고리즘과비교를위한실험영상으로 1024x768 크기의영상을하였으며, 텍스트부분의화질및압축률비교를위하여 640x480 크기의영상을사용하였다. 실험결과는 2가지의기준으로진행되었다. 첫째 1024x768 의컴퓨터화면영상에서나타나는 4가지의이미지를실험영상으로사용하였다. 이러 77

90 한실험영상의경우텍스트와이미지로분리가되는데, 본연구에서이미지부분의압축은 JPEG 을사용하였으며, 비교를위한 Pan [10] 의논문의알고리즘은논문에제시한것과같은텍스트이미지분리방법을사용하였으며텍스트영역의경우 Huffman coding 방식을추가적으로사용하여결과를확인하였다. 본연구의압축알고리즘역시기존알고리즘과의대등한비교를위하여최종적으로 Huffman coding 방법이포함되어있는결과이다. 총 4개의이미지와텍스트영역을포함하고있는영상을사용하였는데, 영상의선택기준은텍스트영역의영상의종류이다. 그림 4-17(a) 는 bi-level 텍스트를포함하는 webpage 이고, 그림 4-17(b) 는 simple rendered 텍스트를포함한다. 그림 4-17(c) 에서는문서프로그램에서나타나는 simple rendered 텍스트경우를확인한다. 마지막으로그림 4-17(d) 는 PDF 문서에서사용되는 complex rendered 텍스트를포함하고있다. 78

91 (a) bi-level text (web) (b) simple rendered text (web) (c) simple rendered text (word) (d) complex rendered text (PDF) 그림 4-17 화질비교를위한실험영상 79

92 (a) bi-level text (b) simple rendered text 80

93 (c) simple rendered text (d) complex rendered text 그림 4-18 PSNR 실험결과 81

94 sub-pixel gradient 코딩방식을적용하고, 이미지영역은 JPEG을적용하여최종압축효율과영상의화질에대한비교는그림 4-18에나타내었다. 그림 4-17(a) 와같이 bi-level 텍스트를포함하고있는영상의경우제안하는알고리즘의성능이 H.264 Intra mode와 JPEG2000 과같은상용압축알고리즘에비해약 10 ~ 12 db 성능향상을보여주고있다. 또한 index map을사용하는 Pan[21] 의접근방식에비해서도동일영상화질에서압축효율이높아짐을알수있다. Simple rendered 텍스트를포함하고있는영상의경우그림 4-18(b) 와그림 4-18(c) 와같이 H.264 Intra mode 와 JPEG2000 에비하여 5 ~ 7 db 의화질개선효과를확인할수있다. 또한 Pan[21] 의접근방식에비하여약 80% 의압축효율개선에대한결과도확인할수있다. 그림 4-18(d) 와같이 complex rendered 텍스트를포함하는영상의경우 Pan[21] 과 JPEG2000에비하여 3dB 의화질개선효과를확인할수있었으며 H.264 Intra mode의경우는동일한압축효율을나타냄을알수있다. 하지만 H.264 의 intra mode의경우제안하는방법과 PSNR은동일하지만가독성의측면에서는제안하는알고리즘의결과가나음을그림 4-19에보여주는결과로설명할수있다. 82

95 (a) simple rendered 텍스트 (web page, 640x480) (b) complex rendered 텍스트 (PDF, 640x480) 그림 4-19 가독성실험영상 83

96 그림 4-19 는본연구에서분류하는그림 4-19(a) simple rendered 텍스트와그림 4-19(b) complex rendered 텍스트의압축효율및가독성을설명하기위한실험결과이다. 그림 4-20과그림 4-21은본연구의텍스트블록코딩과 H.264 Intra mode, JPEG2000, JPEG 코딩의비교를위하여동일한압축비에대하여복원영상을확대하여나타낸것이다. (a) 원본 (b) proposed (c) JPEG (d) JPEG2000 (e) H.264 Intra mode(qp = 35) 그림 4-20 simple rendered text 화질비교 84

97 (a) 원본 (b) proposed (c) JPEG (d) JPEG2000 (e) H.264 Intra mode(qp = 35) 그림 4-21 complex rendered text 화질비교 85

98 그림 4-20과그림 4-21에서보여지는바와같이 H.264 Intra mode 와 JPEG2000, JPEG 과같은 DCT, Wavelet 기반의압축방식은높은압축률을고려하면 text 주변에서영상왜곡현상이나타날수있다. 표 4-6 은그림 4-19(a) 의 simple rendered text의실험영상에대하여각압축방식에대한유사한압축률에서의 PSNR 및압축된크기를비교한것이다. 표 4-7는그림 4-19(b) 의 complex rendered text의실험영상에대하여표 4-7에서와같이동일하게비교하였다. 본결과와같이 sub-pixel gradient를이용한 text 블록압축방식은기존의표준알고리즘인 JPEG, JPEG2000, H.264 Intra mode와비교하였을때동일압축비에서약 2 ~ 12 db 의 PNSR 향상을보인다. 특히양자화기반의압축알고리즘에비하여텍스트의가독성이뛰어남을확인할수있다. 86

99 표 4-6 simple rendered text 압축율비교 File size (Kbytes) Bpp PSNR(dB) Proposed JPEG JPEG H.264 Intra mode 표 4-7 complex rendered text 압축율비교 File size (Kbytes) Bpp PSNR(dB) Proposed JPEG JPEG H.264 Intra mode

100 제 5 장그룹움직임추정방법 본장에서는 compound image가가지는특성을이용하여이에적합한움직임추정방법을설명한다. Compound image의움직임은 natural 영상움직임과는다른특성을가진다. 이러한 compound image 의특성을이용하면효율적인움직임추정을할수있다. 첫째, compound image의움직임추정은컴퓨터스크린의캡쳐된영상을기준으로움직임을추정하기때문에자연영상과같은외부요인에의한노이즈가없다. Natural 영상은카메라와같은영상의입력장치에서의밝기변화에의한노이즈를가질수있다. 하지만 compound image는입력장치에의한노이즈에대하여고려하지않는다. 따라서현재영상과이전영상간의노이즈에의한영상왜곡은발생하지않는다. 둘째, 영상의움직임은마우스나키보드와같은입력장치에의한단일움직임을가진다. 영상을생성하는컴퓨터의특성상동일한입력이동시에실행되지않는다. 또한다중입력이라하더라도영상의생성순서에의하여하나의움직임으로표현된다. 셋째, 영상의움직임의폭이자연영상의움직임에비해크고다양하다. 영상의압축률은영상을비교하는탐색영역에비례한다. 따라서 compound image와같이움직임의폭이다양한영상에서는탐색영역의크기에따라압축률의변화량이커질수있다. 이러한 3가지의 compound image 특성을고려하여본연구에서는영역움직임을기반으로한그룹움직임추정방법을설명한다. 88

101 그림 5-1 탐색영역별 encoding 시간 (H.264/AVC inter mode) 움직임추정방법으로가장많이사용되는 H.264/AVC 의 full search 움직임탐색방법의탐색영역별수행시간을살펴보면전체수행시간이그림 5-1과같이탐색영역의크기변화에대하여지수증가를보이는것을알수있다. 따라서움직임추정방법에서수행시간을줄이는가장큰요소는탐색영역을줄이는것이라할수있다. 하지만이러한탐색영역을축소하는방법은동일한조건의움직임탐색방법에서압축률을저하시키게된다. 그림 5-2는 H.264/AVC 의 full search 움직임탐색방법을사용하여 64 크기와 512 크기의탐색영역을기준으로 10frame 영상에대하여확인한 bitrate 결과이다. 4번 frame에서만영상은 64 크기의탐색범위를벗어난다. 그림 5-2(a) 에서나타난바와같이탐색영역을벗어나지않는경우데이터가균일하게압축됨을알수있다. 그림 5-2(b) 와같이탐색영역을벗어나는 4번 frame은데이터량이급격히 89

102 늘어나게된다. (a) Full search ( 탐색영역 512) (b) Full search ( 탐색영역 64) 그림 5-2 탐색영역별데이터변화량 이러한 3 가지의 compound image 특성을이용하여본연구에서는영역 움직임을기반으로한그룹움직임추정방법을설명한다. 90

103 (a) 이전영상 (b) 현재영상 (c) 영상의움직임 (d) 움직임에의한영역분류 그림 5-3 compound image 의움직임 그림 5-3은 compound image의움직임을나타내는그림이다. 그림 5-3(a) 의영상에서그림 5-3(b) 의영상으로움직임을가진다. 이러한두개의영상사이에서의움직임은그림 5-3(c) 와같이표현될수있다. 이렇게 compound image에서의움직임은윈도우를기반으로영역이움직이는것으로표현된다. 움직임사이의차이를살펴보면그림 5-3(d) 의 1로표현된영역은이전영상과현재영상에서움직임이없는영역이다. 그림 5-3(d) 91

104 에서 2로표현된영역은이전영상에서는없었으나현재영상에서새로이나타난영역이다. 마지막으로그림 5-3(d) 에서 3으로표현된영역은이전영상에존재하는영역이현재영상으로이동한영역이된다. 이러한결과는영상의시간적연관성을이용하지않는경우에는 2 영역과 3 영역은새로운영역으로판단되어야한다. 하지만시간적연관성을고려한다면 2 영역만이새로운영역이된다. 따라서본연구에서는이러한시간적연관성을고려하여 3 영역으로판단될수있는영역에대하여그룹간의움직임추정을통하여빠르게움직임을찾을수있는방법을설명한다. 그룹움직임추정방법은그림 5-4와같이 3 단계의과정을거치게된다. 첫번째, sub-pixel gradient 블록분류방법을통하여분류된각블록을기준으로라인블록그룹동작을수행하게된다. 두번째, 형성된그룹을기준으로움직임의예측을위한이전영상과현재영상의그룹을정합성을확인하고, 이렇게생성된데이터를기준으로선택된움직임벡터가위치할영역을생성하게된다. 마지막으로, 영역벡터를사용하여 16x16 크기의탐색영역을탐색하여최종벡터를생성한다. 이러한최종벡터를기준으로움직임이있는블록 (Motion block) 과움직임이없는블록 (Same block) 으로구분하게된다. 92

105 그림 5-4 그룹움직임추정방법 93

106 5.1 Block Grouping 본단계는 sub-pixel gradient 블록분류방법을통하여분류된블록을기준으로그룹을생성하는단계이다. 이단계에서하나의색으로구성된블록의경우배경블록으로판단하여기존의블록분류에서그룹화를위한블록의분류기준이추가된다. 그룹생성방법은 compound image에서나타나는텍스트영역과이미지영역에서의특성을고려한것이다. 텍스트영역을블록으로나누어보면블록내부의픽셀의특성이나타나지않는다. 하지만텍스트를영역에서살펴보면문장의띄어쓰기나줄바꿈과같이영역의특성을잘나타내는것들이존재하게된다. 그림 5-5과같이인접한블록을수평방향과수직방향의그룹으로생성한다. 현재의블록분류가좌측블록의분류와동일하면동일그룹으로확장되고, 동일하지않으면새로운그룹을생성하게된다. 이러한그룹화방법은동일한그룹의움직임을추정하기위함이다. 그림 5-5은이러한라인블록을기준으로그룹이생성되는과정을설명한다. 이러한방법으로그룹을한라인을기준으로그룹을나눈다. 본연구에서는텍스트블록영역이가질수있는특성을고려하여수평방향과수직방향으로이루어진라인블록그룹을생성한다. 라인블록을그룹화하는과정은현재블록이좌측에인접한그룹과동일한배경과블록분류기준이일치하면하나의그룹으로통합을하고일치하지않으면새로운그룹을생성하게된다. 이렇게생성되는그룹은각블록의분류 94

107 기준에따라다시분류된다. 새로운라인은새로운그룹으로생성된다. 이러한그룹방법은 compound image 가서로다른분류의영역이다수생 기는특성을이용한것이다. 그림 5-5 그룹생성방법 95

108 그림 5-6 그룹의분류 따라서생성되는그룹은 simple rendered text, complex rendered text, image, background 그룹으로그림 5-6와같이 4개의그룹으로분류된다. 분류된그룹들을기준으로다음절에서설명하는그룹정합성단계를진행하게된다. 96

109 5.2 Group Matching 본절에서의그룹의정합성은위에서설명한바와같이동일한분류의그룹을대상으로진행한다. 이전영상과현재영상의그룹에서동일분류그룹을대상으로그룹의블록크기, 블록의대표컬러를비교하여각그룹간의방향성과그룹간의거리를측정하게된다. 그림 5-7는정합성비교를나타낸그림이다. 같은분류이면서동일크기의그룹을연결하게된다. 크기가다른그룹은연관성이없는것으로판단하여그룹간의정합성판단은하지않는다. 이렇게연결된그룹간의움직임을파악하고자 2 단계의과정을거치게된다. 먼저연결된각그룹간의방향성을파악한다. _ _ _ _ (5-1) 그룹간의방향성은식 (5-1) 와같이표현된다. _ 는이전영상에서선택된그룹중앙의 y 좌표를의미한다. _ 는현재영상에서선택된그룹중앙의 y 좌표를의미한다. 마찬가지로 _, _ 는이전영상과현재영상에서선택된그룹중앙의 x 좌표를의미한다. 97

110 그림 5-7 이전영상과현재영상간의정합성비교 그림 5-8 그룹간의방향성선택 98

111 으로표현된각그룹간의방향성결과값으로 64분위의방향으로나누어분포도를생성한다. 이러한분포도를기준으로연속된 16분위의방향의분포가가장많은방향을이전영상에서현재영상으로이동한영역움직임의방향으로선정한다. 그림 5-8는이러한 64분위를기준으로선택되는방향성을나타낸다. 그림 5-8에서회색으로표현된부분은연속된 16분위의분포의합이가장큰것을선택하여선택된영역방향성을나타낸다. 이러한분류기준은그룹간의연결에서포함될수있는오차율을줄이고대표방향성을선택하기위함이다. 블록을기준으로연관성을판단하기때문에각픽셀의특성보다는블록의특성을가지기때문에오차율은증가할수있다. 다수의방향으로방향성이나타나기때문에정확한그룹연결방향성을찾기위하여먼저방향성을판단한다. 다음단계로연속된 16분위의분포에포함되어있는각그룹의연결을기준으로각그룹간의이동성을확인한다. 각그룹간의이동을확인하기위하여연결된그룹을기준으로 x 와 y 의이동거리를측정한다. 거리를측정하는기준은식 5-3, 식 5-4 에서나타내었다. _ _ ( 5-2) _ _ ( 5-3) 일차방향성이결정된상태이므로식 (5-2) 과같이 x 의이동성 ( ) 의 측정은이전영상의그룹과현재영상의그룹의중앙점을중심으로이동한 거리를측정하게된다. 동일하게식 (5-3) 와같이 y 의이동성 ( ) 도측 99

112 정을한다. 방향성계산과마찬가지로 8 픽셀단위로분포도를생성하여분포가가장많은 2개거리를각그룹별영역이동움직임의후보군으로선택하게된다. 최종적으로그룹움직임벡터후보군은총 16개가생성된다. 이러한 x, y 거리의후보군은다음에서설명할최종그룹움직임벡터계산에사용되는것이다. 생성된이동성후보군은영상의움직임을블록단위로추정하는것이기때문에최대블록의 x, y의길이의오차율을가질수있다. 100

113 5.3 Group motion vector calculation 그룹정합성에서계산된움직임후보군을기준으로정확한그룹움직임벡터를생성한다. 전체영역의모든픽셀을비교하게되면이와같은단계가필요없지만 H.264/AVC 와같은움직임영상압축알고리즘에서도탐색영역및탐색회수를줄이는것에대한연구가많이되어왔다. 본연구에서는이러한탐색영역을최소화하고복잡도를개선하기위한움직임추정방법을설명한다. 그룹움직임벡터를생성하기위한첫번째단계는이전영상과현재영상의동일한위치를확인하는것이다. Compound image는영역의이동성이단순하기때문에배경과같이움직임이없는경우가많이발생한다. 현재영상의블록과이전영상의블록이일치하게되면, 그림 5-3의영역 1과같이이전영상이변화가없는블록이된다. 이러한블록은이전영상과동일블록 (Same Block) 으로판단된다. 블록과블록간의일치여부는식 (5-4) 와같이 SAD 값으로계산된다. 블록내의모든픽셀의값이동일하면식 5-4 의 SAD는 0의값을가지게된다. 따라서 SAD 값이 0인경우를동일블록으로판단한다. 현재블록이 SAD 값이 0이아닌경우에는두번째단계그룹움직임벡터생성으로진행한다. 두번째단계는그룹움직임후보군에대하여각분류별그룹움직임을선택한다. 각분류별그룹움직임이모두동일하게되면가장먼저움직임확인을위한벡터로선정한다. 이렇게선정된벡터를기준으로그룹움직임벡터를확인한다. 101

114 그림 5-9 움직임벡터생성을위한탐색방법 SAD,,,, 0, 1, 2, 3 (5-4) 그룹움직임벡터를확인하는방법은선정된그룹움직임벡터후보가가리키는위치로이동하여 16픽셀크기주변영역을모두탐색하게된다. 따라서본연구에서의탐색영역의크기는 16이되는것이다. 텍스트의첫번째그룹을선택하여그룹내의각블록을기준으로이전영상의탐색영역에서탐색을진행한다. 탐색을진행하는방법은그림 5-9 와같이탐색영역에대하여식 (5-4) 의 SAD 가 0인부분을찾는다. SAD 값이 0인부분이발생하게되면다음블록의움직임벡터확인에대해서 SAD 값이 0으로발생한위치부터확인하게된다. 하나의텍스트그룹내의모든블록의이동위치가동일하면이를그룹움직임벡터로선정한다. 102

115 그룹움직임벡터는이전영상에서각그룹이이동한위치로서 compound image 에서는그룹움직임벡터가움직임이확인된모든그룹에서동일하다. 이러한그룹에속하여있는모든블록은움직임이있는블록 (Motion Block) 으로판단한다. 최종적으로움직임이있는블록과움직임이없는블록으로판단되지않는모든블록에대하여새로운블록 (New Block) 으로판단한다. 따라서최종적으로압축은새로운블록으로선택된블록만진행한다. 그룹움직임벡터는정지영상이미지코딩방법과동영상이미지코딩방법을병행하여사용할경우차이를가질수있다. H.264/AVC inter mode 와같이움직임추정방법이포함되어있는이미지압축방식을사용할경우최종적인그룹움직임벡터계산단계를포함하지않아도된다. H264/AVC inter mode는본연구가제시하고있는그룹움직임벡터계산과유사한방법으로각블록의움직임벡터를계산하게된다. 따라서본연구에서는이미지코딩방법에따라서선택적으로단계를조절하여진행할수있다. 103

116 5.4 그룹움직임추정방법실험결과 그룹움직임추정방법은시간적연관성을사용하는압축알고리즘과마찬가지로압축률과수행시간에대한비교를진행한다. JM18.4[50] 의 H.264/AVC 의 intra mode와 inter mode를모두사용하며기존의 H.264/AVC 의움직임추정알고리즘과비교를진행한다. 위에서설명한바와같이본실험에서는그룹움직임추정방법에의해서확인된움직임이없는블록 (Same Block) 과움직임이확인된블록 (Motion Block) 을제외한새로운블록 (New Block) 에대하여 H.264/AVC 의압축방법을사용하였다. 새로운블록을압축하는방법은 H.264/AVC 의 full search 움직임추정방법을사용하였으며비교블록은 16x16 만을사용하였다. 또한탐색영역의크기는 16으로진행하였다. 그림 5-10은본실험에사용된 4개의실험영상이다. 그림 5-10(a) 는윈도우의움직임이원형을그리는움직임을나타내며그림 5-10(b) 는윈도우의움직임이대각선을이룬다. 그림 5-10(c) 는윈도우가좌우로빠르게움직이는영상이다. 그림 5-10(d) 는여러개의윈도우중에서하나의윈도우가원형을그리는움직임을나타낸다. 각영상은빠르게움직인움직임과느리게움직이는움직임이혼합되어있다. 각영상의평균움직임과최대최소움직임은표 5-1에나타내었다. 104

117 (a) 실험영상 1 (b) 실험영상 2 (c) 실험영상 3 (d) 실험영상 4 그림 5-10 그룹움직임추적방법실험영상 4개의실험영상은일반적으로사용할수있는 compound image에서의사용환경을기준으로선정하였으며각영상은텍스트블록이 15% ~ 40% 정도포함되어있고, 나머지부분은이미지블록으로구성되었다. 각영상은 QP 값이 16으로선택하여압축되었고, 영상당 60frame 기준으로실험을진행하였다. QP값이 16으로선정된이유는텍스트영역의경우가독성을유지하기위하여화질의 PSNR이 40dB 이상을유지해야하기때문이다. 105