저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer
工學博士學位論文 영상장치특성에기반한화질개선및 인간시각특성에기반한화질평가 Image quality enhancement based on characteristics of imaging device and image quality evaluation based on human visual perception 2012 年 2 月 仁荷大學校大學院 情報工學科 ( 情報通信工專攻 ) 張璱琦
工學博士學位論文 영상장치특성에기반한화질개선및 인간시각특성에기반한화질평가 Image quality enhancement based on characteristics of imaging device and image quality evaluation based on human visual perception 2012 年 2 月 指導敎授金椿宇 이論文을博士學位論文으로提出함 仁荷大學校大學院 情報工學科 ( 情報通信工專攻 ) 張璱琦 2
이論文을張璱琦의博士學位論文으로認定함. 2012 年 2 月 主審 印 副審 印 委員 印 委員 印 委員 印 3
Abstract 요약 최근들어휴대폰은대표적인디지털컨버전스제품으로디지털카메라뿐만아니라초소형프로젝터의기능을포함하며다기능화되어가고있다. 또한프린터및복사기분야는스캐너, 프린터, 복사기등의기능이결합된디지털복합기가시장에일반화되어가고있는추세이다. 이와같은영상입출력기기의성능을나타내는중요한지표들중의하나가화질이다. 본논문은영상입출력기기의화질개선, 화질평가, 그리고화질평가에기반한화질개선방법을제안한다. 본논문에서수행된화질개선연구는휴대폰에결합된초소형프로젝터와카메라를대상으로하며영상장치특성에의한화질문제를해결한다. 초소형프로젝터의경우초소형크기, 소모전력, 구동방식등에의해발생하는화질문제의개선이필요하고, 휴대폰카메라또한사용가능한메모리와계산량등의제약을고려하여화질개선이수행되어야한다. 화이트좌표선정및화이트밸런싱방법은초소형프로젝터의구동방식으로인해발생하는회색및저계조부분의색조현상을저감하기위한방법이다. 프레임변환은초소형프로젝터에의해확대된동영상에서인지되는움직임저더, 움직임블러링, 움직임블로킹등의아티팩트를저감하기위해프레임수를증가시키는방법이다. 자동화이트밸런스는휴대폰카메라에의해촬영된영상에서광원에의한색상왜곡을저감하기위한방법이다. 또한, 본논문에서는복합기를구성하는스캐너와프린터를대상으로인간 i
Abstract 시각특성에기반한화질평가방법을제안하였다. 제품간성능비교및최적화를위한방법으로화질평가의중요성이높아지고있기때문이다. 본논문에서는스캔영상의컬러프린지, 스캔영상과복사영상의글자화질그리고복사영상의노이즈에대한화질평가방법을제안한다. 스캔영상의컬러프린지는센서미정렬, 스캐너캐리지의변동그리고광학수차로인해발생하며오브젝트의경계에서발생하는컬러아티팩트로정의된다. 글자의화질은스캔또는복사의글자재현정도를나타내는것으로, 선명도외에글자외형의손실, 왜곡등으로평가된다. 복사영상에서노이즈는단일색상패치에낟알무늬, 얼룩무늬, 또는물결무늬등이불균일하게인지되는것으로정의된다. 본논문에서제안하는 contrast 개선방법은화질평가결과를기반으로한다. 제안하는 contrast 개선방법은입력영상들의누적분포함수가유사한경우동일한계조사상함수를적용하여최적의화질을갖도록 contrast 개선이가능함을제시하였다. 또한입력영상에대응하는최적계조사상함수의결정방법과 k-means 클러스터링을이용한영상분류방법에대하여제안하였다. ii
Abstract Abstract In these days, cellular phone is a typical example of digital convergence product. Photography, internet access, gaming, terrestrial digital multimedia broadcasting, micro projector are added as main functionalities in cellular phones. As another example, Multi- Function Peripheral including scanner, printer and copier is widely utilized for document scanning, printing and copying. Performance of devices such as these is majorly determined by image quality. This thesis presents image quality enhancement, evaluation, and image quality enhancement based on image quality evaluation for digital imaging devices. This thesis proposes image quality enhancement methods for cellular phones with the built-in projection and camera functionality. Image quality enhancement methods for cellular phone should be developed considering computational complexity and size of memory resources. White point selection & white balancing method for micro projection display is proposed to minimize chromatic contents in neutral gray. Frame rate conversion is designed to reduce artifacts such as motion jerkiness, judder, blurring and blocking on projected images. Automatic white balance is a function to provide illuminant independent captured image quality by cellular phone camera. Also, this thesis proposes image quality evaluation methods for digital copiers with the scanner and printer functionality. Image quality of copying function is affected by the performance of scanning and printing imaging chain. Thus, image quality evaluation should be developed to optimize the performance among the devices. This thesis presents iii
Abstract quantitative evaluation algorithm for color fringe, character quality and noise. Color fringe in this thesis indicates the perceived degree of artifacts having different colors on the edges of objects. It is mainly due to the sensor misalignment, scanner motion variability and optical aberration. Character quality represents degree of faithful reproduction of characters. Also, defects on the characters such as voids, graininess and missing serif should be considered. Noise in this paper denotes the perceived degree of artifacts such as graininess and mottle on the copied image. In this paper, the contrast enhancement method based on image quality evaluation is proposed. The proposed method is based on the fact that when cumulative distribution functions (CDF) of images are similar, contrast of these images can be improved by applying the same tone mapping function. Thus, decision method of optimal tone mapping function based on CDF categorization is proposed. iv
목차 목차 요약... i Abstract... iii 제 1 장서론... 1 1.1. 연구배경... 1 1.2. 연구대상... 5 1.2.1. 영상장치특성에기반한화질개선방법... 6 1.2.2. 인간시각특성에기반한화질평가방법... 9 1.2.3. 화질평가에기반한 contrast 개선방법... 11 1.3. 논문의구성... 13 제 2 장영상장치특성에기반한화질개선방법... 14 2.1. 측색학적모델링을이용한화이트좌표결정및화이트밸런싱방법.. 15 2.1.1. 화이트좌표결정및화이트밸런싱방법... 16 2.1.2. SOM에대한색재현특성화방법... 17 2.1.3. 화이트좌표결정방법... 24 2.1.4. 화이트밸런싱방법... 27 2.1.5. 실험결과... 31 2.2. 가변블록을이용한프레임변환방법... 37 2.2.1. 프레임변환방법... 39 2.2.2. 가변블록을이용한움직임벡터예측방법... 40 v
목차 2.2.3. 유사도평가에기반한움직임벡터의보상방법... 45 2.2.4. 실험결과... 49 2.3. 입력영상에적응적인자동화이트밸런스방법... 62 2.3.1. 자동화이트밸런스방법... 65 2.3.2. 영상분류방법... 65 2.3.3. 단색영상에대한자동화이트밸런스방법... 69 2.3.4. 다색영상에대한자동화이트밸런스방법... 73 2.3.5. 실험결과... 74 2.4. 검토... 90 제 3 장인간시각특성에기반한화질평가방법... 92 3.1. 스캔영상의컬러프린지평가방법... 97 3.1.1. 컬러프린지의화질요소결정방법... 98 3.1.2. 컬러프린지평가모델설계방법... 106 3.1.3. 실험결과... 111 3.2. 스캔영상과복사영상에대한글자화질평가방법... 121 3.2.1. 글자화질요소결정방법... 122 3.2.2. 글자화질평가모델설계방법... 130 3.2.3. 실험결과... 139 3.3. 복사영상의노이즈평가방법... 149 3.3.1. 복사영상의노이즈인지특성분석... 150 3.3.2. 노이즈인지분석에기반한정량화방법... 157 vi
목차 3.3.3. 실험결과... 160 3.4. 검토... 164 제 4 장화질평가에기반한 contrast 개선방법... 166 4.1.1 최적의계조사상함수결정방법... 170 4.1.2. K-means 클러스터링을이용한영상분류방법... 177 4.1.3. 실험결과... 186 4.2. 검토... 205 제 5 장결론및추후연구과제... 206 5.1. 결론... 206 5.2. 추후연구과제... 210 참고문헌... 212 vii
표목차 표목차 표 2.1 Planckian 방사체의색온도별 xy값... 26 표 2.2 화이트좌표선정방법... 26 표 2.3 화이트밸런스방법에의한 RGB LUT 산출결과... 30 표 2.4 실험비디오클립... 51 표 2.5 평균 PSNR의비교... 52 표 2.6 색상변화가있는블록의개수, 블록들의색상과채도편차... 69 표 2.7 단색영상에대한 ΔE(i) 와 Q AWB 평가결과... 77 표 2.8 광원별그림 2.36 (b) 와 (f) 사이의색상차이... 78 표 2.9 그림 2.37의다색영상에대한 ΔE(i) 와 Q AWB 평가결과... 84 표 2.10 6개무채색패치의채도계산결과... 84 표 2.11 밝은영역이없는영상에대한 ΔE(i) 와 Q AWB 평가결과... 85 표 2.12 특정색상이많이포함된영상에대한무채색패치의채도계산결과 85 표 3.1 f H 계산방법의예... 105 표 3.2 컬러프린지에대한시각평가결과... 109 표 3.3 그림 3.25에대한 raggedness 정량화의예... 128 표 3.4 스캔영상의글자화질에대한시각평가결과... 137 표 3.5 글자화질평가모델들의상관계수... 139 표 3.6 두께정량화결과의비교... 143 표 3.7 Sharpness 정량화결과의비교... 145 표 3.8 Raggedness 정량화결과의비교... 146 표 3.9 CSF 적용전후결과... 161 표 3.10 Q noise 결과... 162 표 3.11 기존방법과제안하는방법의비교... 163 표 4.1 그림 4.13의영상들에대한계조사상함수및 CDF의유사도... 182 표 4.2 그림 4.13에대한시각실험결과... 183 표 4.3 TMF 및 CDF의유사도... 183 표 4.4 실험영상세트... 186 표 4.5 CDF와 TMF에대한 RMSE... 194 viii
그림목차 그림목차 그림 1.1 디지털영상입출력기기... 1 그림 1.2 화질에대한연구분야... 3 그림 1.3 디지털영상기기의디지털컨버전스... 5 그림 1.4 초소형프로젝터... 7 그림 1.5 화질개선과화질평가의관계... 12 그림 2.1 SOM을통해디스플레이된 RGB 램프영상... 15 그림 2.2 화이트밸런싱개선방법의흐름도... 17 그림 2.3 SOM에대한색재현특성화과정의흐름도... 18 그림 2.4 SOM과 LCD의구동방식... 20 그림 2.5 상수 C 결정을위한 SOM 구동방식... 21 그림 2.6 시뮬레이션영상과 SOM을통해디스플레이된영상의비교... 23 그림 2.7 색도좌표에서후보색온도좌표... 23 그림 2.8 화이트좌표선정방법의흐름도... 25 그림 2.9 장치별 RGBK에대한색도좌표... 28 그림 2.10 화이트밸런싱방법의흐름도... 29 그림 2.11 실험에적용된감마커브... 30 그림 2.12 시뮬레이션영상... 32 그림 2.13 화이트밸런싱방법의성능평가결과... 34 그림 2.14 화질개선기술의적용여부에의한시뮬레이션영상... 35 그림 2.15 화이트밸런싱적용결과... 36 그림 2.16 프레임변환기술... 38 그림 2.17 프레임변환방법의흐름도... 40 그림 2.18 움직임벡터의예측방법에대한흐름도... 42 그림 2.19 움직임예측방법에서사용된클래스별블록의크기... 43 그림 2.20 예측된움직임벡터와보간프레임 (Frame No. 27)... 47 그림 2.21 움직임벡터의보정방법에대한흐름도... 48 그림 2.22 4방향으로인접한블록... 49 그림 2.23 프레임별 PSNR[dB] 비교... 56 그림 2.24 비디오클립 Football (Frame No. 83)... 58 ix
그림목차 그림 2.25 비디오클립 Garden (Frame No. 29)... 59 그림 2.26 보간프레임에적용된블록... 60 그림 2.27 움직임벡터보정방법적용결과... 61 그림 2.28 자동화이트밸런스... 62 그림 2.29 다양한색상으로구성된영상에대한 GWA 적용... 64 그림 2.30 단일색상으로된영상에대한 GWA 적용... 64 그림 2.31 자동화이트밸런스방법의흐름도... 65 그림 2.32 영상분류방법... 67 그림 2.33 영상분류에따른색상변화영역검출결과... 68 그림 2.34 선형변환행렬의제작흐름도... 72 그림 2.35 변환행렬제작에사용된단색패치... 72 그림 2.36 단색영상에대한자동화이트밸런스결과... 77 그림 2.37 다색영상에대한자동화이트밸런스결과... 81 그림 2.38 밝은영역이없는영상에대한자동화이트밸런스결과... 82 그림 2.39 특정색상이많이포함된영상의자동화이트밸런스결과... 83 그림 2.40 자동화이트밸런스성능평가를위한일반영상의예... 87 그림 2.41 그림 2.40 (a) 에대한자동화이트밸런스결과... 88 그림 2.42 그림 2.40 (b) 에대한자동화이트밸런스결과... 89 그림 3.1 스캔영상의화질평가항목... 94 그림 3.2 인쇄영상의화질평가항목... 95 그림 3.3 컬러프린지와글자화질평가방법의흐름도... 96 그림 3.4 노이즈평가방법의흐름도... 96 그림 3.5 컬러프린지실험패턴... 98 그림 3.6 스캔영상의컬러프린지발생예... 100 그림 3.7 수직선들의밝기와채도... 100 그림 3.8 컬러프린지검출방법의흐름도... 102 그림 3.9 f H 계산방법의예... 105 그림 3.10 컬러프린지평가모델의설계흐름도... 106 그림 3.11 컬러프린지평가에대한쌍대비교방법... 108 그림 3.12 정량적평가수치와정성적평가수치의상관관계... 113 그림 3.13 성능평가에대한예 (Case1)... 114 x
그림목차 그림 3.14 성능평가에대한예 (Case 2)... 115 그림 3.15 성능평가에대한예 (Case 3)... 116 그림 3.16 Ground truth data를위한스캔영상들... 118 그림 3.17 그림 3.45에대한 ground truth data... 118 그림 3.18 컬러프린지검출결과의예... 119 그림 3.19 검출정확도비교... 119 그림 3.20 T c 와 T e. 에의한검출정확도... 120 그림 3.21 글자화질실험패턴... 122 그림 3.22 스캔영상의글자화질예... 123 그림 3.23 복사영상의글자화질예... 124 그림 3.24 글자영역의분류... 126 그림 3.25 Raggedness 정도가다른영상의예... 128 그림 3.26 실험에사용된정량화필터... 129 그림 3.27 글자화질평가모델의설계흐름도... 130 그림 3.28 f CON 과화질사이의관계... 132 그림 3.29 f THI 와화질사이의관계... 133 그림 3.30 f SHA 와화질사이의관계... 134 그림 3.31 f RAG 와화질사이의관계... 135 그림 3.32 스캔영상의글자들에대한 Q scan 수치와 JND 사이의관계... 140 그림 3.33 스캔영상에대한글자화질평가룰러... 141 그림 3.34 복사영상의글자들에대한 Q cpoy 수치와 JND 사이의관계... 142 그림 3.35 복사영상에대한글자화질평가룰러... 142 그림 3.36 두께의정도가다르게인지되는글자... 143 그림 3.37 Sharpness 정도가다르게인지되는글자... 144 그림 3.38 글자의위치별평균계조... 145 그림 3.39 Raggedness 정도가다르게인지되는글자... 146 그림 3.40 글자영역별분류결과... 148 그림 3.41 노이즈실험패턴... 151 그림 3.42 복사된색상패치들의예... 152 그림 3.43 균일성분석을위한실험영상의예... 154 그림 3.44 실험영상 A와 B에대한방사형파워스펙트럼... 154 xi
그림목차 그림 3.45 밝기에따른균일성실험영상... 156 그림 3.46 실험영상 C와 D에대한방사형파워스펙트럼... 156 그림 3.47 노이즈정량화방법... 158 그림 3.48 노이즈정량화에적용된 CSF... 158 그림 3.49 평균 L* 에대응되는가중치커브... 159 그림 3.50 CSF 적용결과... 161 그림 4.1 Contrast 정도가다르게표현된영상들... 168 그림 4.2 Contrast의인지정도와정량화수치의관계... 168 그림 4.3 Contrast 정량화수치와화질의관계... 169 그림 4.4 제안하는 contrast 개선기술의흐름도... 170 그림 4.5 최적계조사상함수결정과정... 171 그림 4.6 유전알고리즘에의한계조사상함수조정방법의흐름도... 172 그림 4.7 교환연산의예... 174 그림 4.8 돌연변이연산의예... 175 그림 4.9 카테고리방식의시각실험예... 176 그림 4.10 데이터베이스구성의예... 178 그림 4.11 누적분포함수의유사도가높은서로다른영상의예... 179 그림 4.12 주어진실험영상과 contrast 증가를위한계조사상함수들... 181 그림 4.13 contrast 정도가다르게제작된실험영상들... 182 그림 4.14 그림 4.13에대한화질시각실험결과... 182 그림 4.15 CDF 분류방법에대한흐름도... 185 그림 4.16 입력영상과선호영상... 189 그림 4.17 그림 4.16의입력영상에대한 CDF와 TMF... 190 그림 4.18 CDF 분류결과... 192 그림 4.19 클래스별 TMF... 193 그림 4.20 영상개수에대한클래스의개수... 195 그림 4.21 1700장에대한 CDF 분류결과의예... 195 그림 4.22 데이터베이스의평균 TMF 적용결과의예... 196 그림 4.23 선호영상의 CDF와평균 TMF가적용된영상의 CDF 비교... 197 그림 4.24 기존방법들과제안하는방법의비교 (Case1)... 199 그림 4.25 기존방법들과제안하는방법의비교 (Case2)... 200 xii
그림목차 그림 4.26 기존방법들과제안하는방법의비교 (Case3)... 201 그림 4.27 기존방법들과제안하는방법의비교 (Case4)... 202 그림 4.28 기존방법들과제안하는방법의비교 (Case5)... 203 그림 4.29 기존방법들과제안하는방법의비교 (Case6)... 204 xiii
제 1 장서론 제 1 장서론 1.1. 연구배경유무선인터넷의보급, 통신및영상출력기기관련기술의발전으로인해디지털영상기기의보급이빠르게진행되고있다. 디지털영상기기는그림 1.1 과같이입력기기와출력기기로분류할수있다. 디지털영상입력기기는디지털카메라, 캠코더, 스캐너등이있다. 디지털영상출력기기는다시소프트카피라고부르는디스플레이기기와하드카피라고부르는프린팅기기로구분할수있다. 디스플레이의대표적기기로는 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), LED(Light Emission Display), AMOLED(Active Matrix Organic LED) 등의 TV와 PMP, 휴대폰, 프로젝터를들수있다. 그리고프린팅기기로는프린터, 복사기등을들수있다. Digital Input/output Devices Digital Input Devices Digital Output Devices Digital Camera Camcorder Scanner etc. (Softcopy) Display Devices TV PMP Mobile phone Projector etc. (Hardcopy) Printing Devices Printer Copier etc. 그림 1.1 디지털영상입출력기기 Fig. 1.1 Digital image input and output devices 1
제 1 장서론 다양한영상입출력기기가널리사용되면서영상입출력기기에서의화질은제품의성능을결정하는주요요인들중의하나가되었다. 디스플레이의화질을좌우하는요인으로는외부입력영상신호와의인터페이스, 노이즈제거, 주어진디스플레이의화소수, 계조수및프레임수에적합한영상변환, 컬러처리및재현등이있다. 제조사별로이와같은기능을영상엔진이라부르며고유의이름을갖는영상엔진을내세워화질의우위를알리고있다. 대표적인예로삼성전자의 DNIe, LG전자의 XD 가있다. 최근에는 3D 입체감과선호색또는기억색기반의컬러재현에대한영상엔진의개발이활발하게진행되고있다. 모바일환경에서사용되는디스플레이기기는일반적인 TV 디스플레이에비해다양한시청환경을갖고있다. 예를들어휴대폰디스플레이, PMP, 네비게이터등은어두운조명환경뿐만아니라밝은야외조명환경하에서도사용되기때문에다양한시청환경에적응적인화질개선기술에대한연구가진행되고있다. 최근에는휴대폰의크기가대형화되면서디스플레이의액정크기및해상도와관련한화질연구가주목받고있다. 프린터 / 복사기는오랜시간화질을중시해온분야이다. 고화질을얻기위한시도로영상의내용에따라적절한개선기술을적용하는방법, 다계조처리방법, 복사원본상태에따른화질향상기술등의연구가진행되고있다. 최근에는모바일기기나와이파이환경과연계된출력환경에대한요구가높아지면서모바일프린팅을통한고화질영상출력에대한연구또한진행중에있다. 2
제 1 장서론 이와같은화질연구분야는그림 1.2와같이화질개선연구와화질평가연구로분류할수있다 [1]. 화질개선연구는장치특성에따라장치의존적 (Device dependent) 그리고독립적 (Device independent) 인것으로구분한다. 주어진장치특성에의한화질관련이슈는장치의존적인연구로, 그렇지않은경우는장치독립적인연구로분류된다. 예를들어, 모션블러 (Motion blur) 와시야각 (viewing angle) 은 LCD와관련된화질이슈로장치특성에의존적으로화질개선연구가수행되어야한다. 이와다르게컬러매칭 (Color matching) 과선호색재현 (Preferred color reproduction) 등은장치특성에독립적으로화질개선연구가수행되어야한다. Image quality Enhancement Device dependent method Device independent method Evaluation Subjective method Objective method 그림 1.2 화질에대한연구분야 Fig. 1.2 A field of image quality research 3
제 1 장서론 화질평가연구는화질개선방법을최적화하고기존의화질개선방법과성능을비교, 분석하기위해필요하다. 화질평가방법은정성적인방법 (Subjective method) 과정량적인방법 (Objective method) 으로구분된다. 정성적인방법은인간시각에의존하기때문에높은신뢰도를갖는다. 그러나많은시간과비용을필요로하는단점이있다. 이와달리측정또는계산에의한정량적인방법은시간, 장소등과같은실험환경에구애받지않고, 적은비용으로평가를수행할수있다. 이와같은정량적평가방법이의미를갖기위해서는정성적평가와높은상관관계를갖도록개발되어야한다. 4
제 1 장서론 1.2. 연구대상디지털기술의융합으로새로운형태의제품이나서비스를제공하는디지털컨버전스제품이시장에서큰주목을받고있다. 디지털영상입출력기기분야에서휴대폰은대표적인디지털컨버전스제품으로그림 1.3과같이디지털카메라뿐만아니라초소형프로젝터의기능을포함하며다기능화되어가고있다. 또다른영상출력기기인프린터및복사기분야는스캐너, 프린터, 복사기등의기능이결합된디지털복합기가시장에일반화되어가고있는추세이다. 본논문에서는이와같이다양한기능들이결합된디지털영상입출력장치의화질개선, 화질평가그리고화질평가에기반한화질개선연구를수행한다. Digital Input/output Devices Digital Input Devices Digital Output Devices (Softcopy) Display Devices (Hardcopy) Printing Devices Digital Camera Camcorder Scanner TV PMP Mobile phone Projector Printer Copier MFP Multifunction Cell phone 그림 1.3 디지털영상기기의디지털컨버전스 Fig. 1.3 Digital convergence of digital imaging devices 5
제 1 장서론 1.2.1. 영상장치특성에기반한화질개선방법본논문의화질개선연구는휴대폰에결합된초소형프로젝터와카메라를대상으로하며영상장치특성에의한화질문제를해결한다. 예를들어휴대폰에결합되는초소형프로젝터는언제어디서든큰화면으로영상을확대하여볼수있고, 카메라는언제, 어디서든촬영을가능하게한다. 그러나이들은휴대폰의휴대성과편의성을목적으로개발되었기때문에독립적인기능의장치보다화질이다소떨어진다. 초소형프로젝터의경우, 초소형크기, 소모전력, 구동방식등에의한화질문제의개선이필요하고, 휴대폰카메라또한사용가능한메모리와계산량의제약으로일반디지털카메라가갖는고화질영상을표현하기어렵다. (1) 화이트좌표결정및화이트밸런싱방법그림 1.4는초소형프로젝터의예를나타낸것이다. 초소형프로젝터는디스플레이크기가 5인치미만인멀티미디어장치들이갖는화면크기의제약을극복할수있는장치이다. 초소형프로젝터방식에는 3-LCD[2], DLP(Digital Light Processing)[3-5], LCOS(Liquid Crystal On Silicon)[6-7], SOM(Spatial Optical Modulator)[8-9] 등이있으며, 본논문의연구대상은 SOM 방식의초소형프로젝터이다. SOM은 480개의거울로구성된수직선빔 (vertical line beam) 을수평방향으로스캐닝하고, 거울의높낮이를조절하여영상을구현한다. 그리고 R, G, B 레이저다이오드 (laser diode) 를광원으로사용한다. R, G, B 레이저다이오드를디스플레이장치의광원으로사용함으로써일반디스플레이보다 6
제 1 장서론 넓은색역을표현할수있다. 그러나각다이오드의세기 (power) 가달라회색 (neutral gray) 및저계조부분에서색조현상 (color shift) 이발생한다. 이와같은색조현상은디스플레이의색보정으로개선될수있다. 디스플레이의색보정방법에는감마보정, 색상매칭, 선호색재현, 색역사상그리고화이트밸런싱등이있다. 이와같은색상보정기술을디스플레이에적용하기위해가장먼저수행되어야할작업이디스플레이의화이트좌표를결정하는것이다. 일반적으로화이트좌표를정의하는기준으로색온도와휘도가사용된다. 기존의방법은 trial & error로화이트좌표를나타내는 RGB 조합을결정한다. 본논문에서는측색학적모델링으로화이트좌표를선정하는방법과회색및저계조의색조현상을저감하는화이트밸런싱방법을제안한다. 그림 1.4 초소형프로젝터 Fig. 1.4 Micro projection display 7
제 1 장서론 (2) 프레임변환방법초소형프로젝터는 5인치미만의멀티미디어장치에서시청하던 T-DMB 영상을큰화면으로볼수있게한다. 그러나프로젝터를통해확대된 T-DMB 영상은프레임비율이낮아작은크기의영상에서인지되지않는움직임저더 (motion judder), 움직임블러링 (motion blurring), 블로킹아티팩트 (blocking artifacts) 등이발생한다. 초소형프로젝터로디스플레이되는 T-DMB 영상의화질을개선하기위한방법으로프레임변환기술이있다. 프레임변환은낮은프레임비율의동영상을높은프레임비율의동영상으로변환하는기술로비디오코딩, 비디오포맷변환분야에서널리연구되고있으며, LCD TV의모션블러를저감하기위한방법으로적용되고있다 [12-13]. 제안하는프레임변환방법은블록의움직임정도 (motion level) 에따라블록타입을 motion block 과 no-motion block 으로분류하고, 블록의타입에따라블록크기와탐색영역 (search window) 을결정한다. No-motion block 으로결정된인접블록들을하나의블록으로병합하고, 작은크기의탐색영역을적용한다. 따라서블록병합및블록매칭과정에서수행되는계산량을줄일수있다. 또한예측된움직임벡터의정확성을높이기위해움직임벡터의보정기술을제안한다. (3) 자동화이트밸런스방법카메라의화질향상을위한영상처리기술에는색보정 (color correction), 자동포커스 (auto focus), 자동노출 (auto exposure), 자동화이트밸런스 (AWB, Auto White Balance) 등이있다. 본논문은휴대폰카메라의화질개선연구중자동 8
제 1 장서론 화이트밸런스를대상으로한다. 자동화이트밸런스는광원에의한색의변화를저감하기위한방법이다. 기존의방법들은다양한색상을갖거나밝은영역이있는영상을대상으로자동화이트밸런스를수행한다 [22-24]. 따라서입력영상이단일색상이거나밝은영역을포함하지않는경우, 색상이왜곡되어보정된다. 본논문에서는이와같은문제를해결하기위해입력영상에적응적으로화이트밸런스가수행되는방법을제안한다. 입력영상을단일색상을가진영상과다양한색상을가진영상으로분류하고, 각각을클래스1(Class 1) 과클래스2(Class 2) 로구분한다. 클래스 1으로분류된영상들은색상변화가작고, 단일색상으로구성되어화이트밸런스수행을위한광원정보의추정이매우어렵다. 제안하는방법은광원정보에의해보정된영상과보정전영상의관계를선형변환식으로모델링하여색상을보정한다. 클래스 2로분류된영상은영상분류를위해검출되었던다양한색상정보를이용하여보정한다. 1.2.2. 인간시각특성에기반한화질평가방법본논문의화질평가연구는복합기의구성요소인스캐너와프린터를대상으로한다. 스캐너에의해디지털화된영상은디스플레이장치에의해표시되거나, 파일로서저장매체에저장되거나또는네트워크를통해전송될수있다. 또한스캔영상은복사를위해영상처리용하드웨어에의해처리되고프린터를통해인쇄될수있다. 따라서복합기의성능은스캔영상과복사영상의화질에의해결정되기때문에제품간성능비교및최적화를위한화질평가방법이개발되어야한다. 9
제 1 장서론 (1) 컬러프린지평가방법스캔영상의컬러프린지는오브젝트 (object) 의경계에서발생하는컬러아티팩트로정의된다. 이것은센서미정렬 (sensor misalignment), 스캐너캐리지 (scanner carriage) 의변동그리고광학수차 (optical aberration) 로인해발생한다. 본논문의목적은스캔영상의컬러프린지에대한정량적평가모델을제안하는것이다. 컬러프린지의인지정도에영향을주는중요화질요소들을확인하기위해예비시각실험을수행한다. 중요화질요소들은시각실험에참가한평가자들의인터뷰결과를바탕으로선정된다. 또한각화질요소들의특징을수치화하기위한정량화방법이제안된다. 제안하는평가모델은각화질요소들의정량화수치와시각실험에기반한 JND 점수의선형결합으로설계한다. (2) 글자화질평가방법글자의화질은가독성 (legibility) 또는외양 (appearance) 로평가될수있다. 글자의가독성은인지가능한글자의최소크기또는판독가능한글자의개수로평가될수있다. 글자의외양은영상입출력장치에의한글자의재현정도를나타내는것으로 contrast, sharpness, raggedness 등의화질요소를평가하는것이다. 본논문에서는인간시각과높은상관도의글자화질평가모델을제안한다. 글자의인지정도에영향을주는중요화질요소들을확인하기위해예비시각실험을수행한다. 중요화질요소들은시각실험에참가한평가자들의인터뷰결과를바탕으로선정된다. 또한각화질요소들의특징을수치화하기위한정량화방법을제안한다. 글자화질평가모델은화질요소에대한화질 JND의 10
제 1 장서론 선형결합으로설계한다. (3) 노이즈평가방법영상에서노이즈는본래신호에서없었던원치않는신호가발생된것을의미한다. 복사영상에서노이즈는단일색상패치 (constant color patch) 에낟알무늬, 얼룩무늬, 또는물결무늬등이규칙적또는불규칙적으로발생하여불균일 (non-uniformity) 하게인지되는것으로정의된다. 제안하는노이즈평가방법은글자화질평가및컬러프린지평가방법과다르게복사영상의노이즈특성분석결과에기반한다. 공간주파수에서저주파성분의발생정도와노이즈의인지정도에미치는영향그리고복사영상의밝기와노이즈인지관계를분석한다. 제안하는방법은 CSF(Contrast Sensitivity Function) 를가중치함수로이용하여공간주파수상에서저주자수의양을정량화하고, 복사영상의밝기에대한가중치를부여한다 1.2.3. 화질평가에기반한 contrast 개선방법화질평가와화질개선은그림 1.5와같이상호유기적인관계를갖는다. 화질개선방법들은화질평가를통해성능이비교평가되어야하며, 화질평가결과에의해최적화되도록개발되어야한다. 본논문에서는화질평가에기반한 contrast 개선방법을제안한다. Contrast는흑백과백색의휘도비로정의되며, 하드웨어적인방법과소프트웨어적인방법으로개선될수있다. 하드웨어적방법이란검정색을더욱어둡게백색을더욱밝게하여개선된휘도특성을나타내 11
제 1 장서론 도록하는것이다. 소프트웨어적인방법이란주어진화면에서밝은부분의영상데이터를더욱밝게, 어두운부분의영상데이터는더욱어둡게변환함으로써, 하드웨어적으로동일한조건하에서시각으로인식되는 contrast를증가시키는것이다. 기존의 contrast 개선방법으로영상의히스토그램이 [56-61] 나감마 [62-63] 를조정하는방법들이있다. 기존의방법들은간단하고효과적으로영상의 contrast를증가시킨다. 그러나화질측면을고려한 contrast 개선방법에대한연구는매우드물다. 예를들어 contrast가과도하게증가하는경우, 영상의화질은저하된다. 다시말해영상의화질은 contrast가증가함에따라증가하다감소한다 [44]. 따라서, 영상의 contrast는선호화질이되도록개선되어야한다. 제안하는방법은입력영상의누적분포함수가유사한경우동일한계조사상함수를적용하여최적의화질을갖도록 contrast 개선이가능함을제시한다. 또한입력영상에대응하는최적계조사상함수결정방법과영상들의분류방법을제안한다. Original scene I/O device Image processing system Human Visual System Good Enhanced image Bad Image quality enhancement Image quality evaluation 그림 1.5 화질개선과화질평가의관계 Fig. 1.5 Correlation between image quality enhancement and evaluation 12
제 1 장서론 1.3. 논문의구성본논문의 2장영상장치특성에기반한화질개선 에서는휴대폰과결합된초소형프로젝터와디지털카메라의화질개선방법을제안한다. 2.1절측색학적모델링을이용한화이트좌표선정과화이트밸런싱방법 은초소형프로젝터의색보정에대한화질개선방법이다. 2.2절가변블록을이용한프레임변환방법 은초소형프로젝터를통해확대된동영상의화질개선방법이다. 2.3절입력영상에적응적인자동화이트밸런스방법 은휴대폰카메라로촬영된영상에대해광원에의한사물의색변화를저감하기위한화질개선방법이다. 3장인간시각특성에기반한화질평가 에서는복합기의구성요소인스캐너와복사기의화질평가방법을제안한다. 3.1절컬러프린지평가 에서는스캔영상의컬러프린지인지정도를정량화하는방법이다. 3.2절글자화질평가 에서는스캔영상과복사영상에대한글자화질평가방법을제안한다. 3.3절노이즈평가 는복사영상의노이즈정도를정량화하기위한평가방법이다. 4장에서는 화질평가에기반한 contrast 개선방법 을제안한다. 마지막 5장결론 에서는위에서제시한화질개선연구와화질평가연구들을정리하고결과를도출한다. 결과를토대로향후연구과제에대하여고찰한다. 13
2.1 화이트좌표선정및화이트밸런싱 제 2 장영상장치특성에기반한화질개선방법 본장에서는영상장치특성에기반한화질개선방법을제안한다. 연구대상은휴대폰에결합된초소형프로젝터와디지털카메라이다. 초소형프로젝터는디스플레이크기가 5인치미만인멀티미디어장치들이갖는화면크기의제약을극복할수있는장치이다. 초소형프로젝터방식에는 3-LCD[2], DLP[3-5], LCOS [6-7], SOM[8-9] 등이있으며, 본논문의연구대상은 SOM 방식의초소형프로젝터이다. 본장에서는 SOM에대한화질개선연구로색재현을향상시키기위한화이트좌표선정및화이트밸런싱방법을제안한다. 그리고동영상의확대로인해발생하는움직임저더, 움직임블러링, 움직임블로킹등의아티팩트를저감하기위한프레임변환방법을제안한다. 휴대폰에장착된카메라는일반디지털카메라와작동원리나방식이비슷하다. 일반적으로화질과기능을중요시하는디지털카메라와달리휴대폰카메라는휴대성과편의성에초점을두기때문에화질이다소떨어진다. 또한사용가능한메모리와계산량의제약때문에디지털카메라가갖는고화질영상처리기술들의적용이어렵다. 따라서휴대폰카메라의단점을보완할수있는영상처리기술이필요하다. 휴대폰카메라의화질은색보정, 자동포커스, 자동노출, 자동화이트밸런스등의영상처리기술에의해향상될수있다. 본장에서는휴대폰카메라의화질개선연구중광원에의한색왜곡을저감하기위한자동화이트밸런스방법을제안한다. 14
2.1 화이트좌표선정및화이트밸런싱 2.1. 측색학적모델링을이용한화이트좌표결정및화이트밸런싱방법 SOM은 480개의거울로구성된수직선빔을수평방향으로스캐닝하고, 거울의높낮이를조절하여영상을구현한다. 그리고 R, G, B 레이저다이오드를광원으로사용한다. R, G, B 레이저다이오드를디스플레이장치의광원으로사용함으로써일반디스플레이보다넓은색역을표현할수있다. 그러나각다이오드의세기가달라회색및저계조부분에서색조현상이발생한다. 그림 2.1은 SOM을통해디스플레이된 RGB 램프영상이다. 회색및저계조부분이붉은색조로표현된것을확인할수있다. 이와같은색조현상은디스플레이의색보정으로개선될수있다. 그림 2.1 SOM 을통해디스플레이된 RGB 램프영상 Fig. 2.1 Projected RGB ramp image from SOM 15
2.1 화이트좌표선정및화이트밸런싱 디스플레이의색보정방법에는감마보정, 색상매칭, 선호색재현, 색역사상그리고화이트밸런싱등이있다. 이와같은색상보정기술을디스플레이에적용하기위해가장먼저수행되어야할작업이디스플레이의화이트좌표를결정하는것이다. 일반적으로화이트좌표를정의하는기준으로색온도와휘도가사용된다. 기존의방법은 trial & error로화이트좌표를나타내는 RGB 조합을결정한다. 본절에서는측색학적모델링으로화이트좌표를선정하는방법과회색및저계조부분의색조현상을저감하기위한화이트밸런싱방법을제안한다. 2.1.1. 화이트좌표결정및화이트밸런싱방법그림 2.2는제안하는화이트밸런싱방법의흐름도를나타낸것이다. 제안하는방법은오프라인과정에서 RGB LUT 형태로구현되고, 온라인과정중, 색보정단계에적용된다. 화이트좌표선정과화이트밸런싱과정을위해 SOM에대한색재현특성화작업이선행적으로수행되어야한다. 색재현특성화작업이란입력색좌표와측정색좌표의관계를모델링하는것이다. 제안하는화이트좌표선정과화이트밸런싱은 SOM의색재현특성화에의한측색학적모델링기술이적용된다. 16
2.1 화이트좌표선정및화이트밸런싱 Off-line SOM characterization Systematic selection of white point On-line White balancing Input image RGB LUT Color calibration stage Output image 그림 2.2 화이트밸런싱개선방법의흐름도 Fig. 2.2 Flow chart of white balancing method 2.1.2. SOM에대한색재현특성화방법그림 2.3은 SOM에대한색재현특성화과정의흐름도를나타낸것이다. 색좌표 RGB를디스플레이장치에입력한후, spectro-radiometer를이용하여디스플레이장치를통해재현된색좌표 XYZ를측정한다. 본절에서는 9 9 9 RGB set에대응하는출력색좌표 XYZ를측정한다. SOM의경우, LCD 또는 PDP와같은평판디스플레이와달리시간분할방식에의해영상을디스플레이하기때문에측정색좌표와눈으로인지한색좌표사이에밝기와색이다르다. 측정색좌표와눈으로인지된색좌표를일치시키기위해, 측정색좌표에 17
2.1 화이트좌표선정및화이트밸런싱 일정비율의상수 C 를곱해주고, 백색변환 (white conversion) 을수행한다. Input RGB XYZ C White Conversion X Y Z 측정 밝기고려 색고려 그림 2.3 SOM 에대한색재현특성화과정의흐름도 Fig. 2.3 Flow chart of color characterization for SOM 그림 2.4는 SOM과 LCD 구동방식의예를나타낸것이다. LCD는컬러영상을디스플레이하기위해 R, G, B 채널의화소를동시에 turn on한다. 이와다르게 SOM은한채널의영상을표현하기위해 480개의거울로구성된수직선빔을수평방향으로스캐닝한다. 한프레임의영상을표현하기위해 LCD는 1 초에 60Hz의구동주파수를갖고, SOM은 240Hz의구동주파수에시간분할방식으로동작한다. SOM은각채널을매우빠른속도로스캐닝한다. 따라서 R, G, B 채널이동시에 turn on되어있는것으로인지된다. 그러나 spectro-radiometer는측정순간에 turn on/off되어있는화소들을대상으로색좌표를계산한다. 따라서측정색좌표의밝기와색이인지되는것과다른것이다. 측정색좌표 XYZ의밝기를보정하기위해, 일정비율의상수 C를곱한다. 상수 C는 SOM의구동방식에의해 turn on/off 되는화소의비율과측정된휘도사이의관계분석으로결정된다. 그림 2.5는상수 C 결정을위한 SOM 구동방 18
2.1 화이트좌표선정및화이트밸런싱 식의예를나타낸것이다. SOM 은 하기위해, 1 초동안한개의프레임을디스플레이 240 1 1 초에 480개의거울로구성된수직선빔을수평방향으로 640 240 스캐닝한다. 그림 2.5 에나타낸측정영역의 N 개화소가 on/off 되어측정될수있는휘도는각각 Y ref 640, 1 초동안 turn 240 Y screen 639 로표현할수있다. 640 식 (2.1) 은 1 초동안 turn on/off 되는화소수와측정휘도사이의관계를나타낸 것이다. YrefR + Yscreen 639 1 YrefR + Yscreen 639 1 + + 640 4 640 4 Y m = 60 639 1 639 1 (2.1) YrefB + Yscreen YrefG + Yscreen + 640 4 640 4 여기서 Y m 은측정휘도를나타낸다. Y refr, Y refg, Y refb 는각각 RGB 반사휘도를의미한다. 또한 Y ref 는측정영역내반사된 (G+B+R+R) 휘도를 Y screen 은배경의휘도를나타낸다. Y screen 의측정휘도는 0에가깝기때문에식 (2.1) 은식 (2.2) 와같이단순화할수있다. 즉, 측정휘도 Y m 에곱해주어야할일정비율의상수 C 는식 (2.2) 를통해결정할수있다. YrefG + YrefB + YrefR + YrefR Yref Y m 60 = 60 (2.2) 640 4 640 4 19
2.1 화이트좌표선정및화이트밸런싱 640 480 1/60 sec (4 frames) 1 sec (240 frames) (a) SOM 구동방식 1/60 sec (1 frame) 1 sec (60 frames) (b) LCD 구동방식 그림 2.4 SOM 과 LCD 의구동방식 Fig. 2.4 Image implementation method for SOM and LCD 20
2.1 화이트좌표선정및화이트밸런싱 1 sec (240 frames) 640 480 1/60 sec (4 frames) 1/240 sec (1 frame) 1/640 (vertical line beam) 그림 2.5 상수 C 결정을위한 SOM 구동방식 Fig. 2.5 Decision of constant C based on SOM characteristics 21
2.1 화이트좌표선정및화이트밸런싱 측정색좌표의색이인지되는색과다른이유는 Bezold-Bruceke effect[6] 현상때문이다. 본절에서는측정색좌표 XYZ의색을보정하기위해백색변환을수행한다. 백색변환을수행하기위해 SOM의색온도좌표를알아야한다. SOM의색온도좌표는 SOM을통해디스플레이된영상과후보색온도좌표별로시뮬레이션된영상들의비교로확인할수있다. 실제디스플레이된영상과가장일치하는시뮬레이션영상의색온도좌표가백색변환을위한색온도좌표가된다. 시뮬레이션영상은측색학적모델링기술을기반으로제작된다. 측정색좌표 XYZ에상수 C를곱하고, 후보색온도좌표로백색변환을수행한다. 보정된 X Y Z 색좌표에대해 Lab 변환을수행하고, srgb 모니터에서볼수있는색좌표 R G B 로변환하면, 후보색온도좌표별로시뮬레이션된영상을얻을수있다. 그림 2.6은색온도좌표별로시뮬레이션된영상들과 SOM을통해디스플레이된영상에대한비교를나타낸것이다. 디스플레이된영상과가장일치하는시뮬레이션영상의색온도좌표가 SOM의색온도좌표로결정된다. 그림 2.7은시뮬레이션에사용된색온도좌표의예를나타낸것이다. 22
2.1 화이트좌표선정및화이트밸런싱 Matched!! Simulated images Projected image on screen 그림 2.6 시뮬레이션영상과 SOM 을통해디스플레이된영상의비교 Fig. 2.6 comparison between simulated image and projected image from SOM y 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 x 그림 2.7 색도좌표에서후보색온도좌표 Fig. 2.7 Example of candidate chromaticity coordinates 23
2.1 화이트좌표선정및화이트밸런싱 2.1.3. 화이트좌표결정방법화이트좌표는디스플레이장치의색보정단계에서가장먼저결정되어야하는내용들중의하나이다. 일반적으로화이트좌표를정의하는기준으로색온도와휘도가사용된다. 기존의방법은화이트좌표를나타내는 RGB 조합을 trial & error로결정한다. 제안하는방법은측색학적모델링기술을적용하여목표색온도에서최대휘도를갖도록화이트좌표를결정한다. 그림 2.8은제안하는화이트좌표선정방법의흐름도를나타낸것이다. 먼저, 화이트좌표의 R, G, B 조합을결정하기위해, X Y Z -to-rgb 관계를 3 14의선형모델식으로정의한다. 목표색온도에대한화이트의색도좌표 (x, y) 는 black-body radiator 이론을기반으로결정한다 [11]. 표 2.1은색온도별색도좌표에대한예를나타낸것이다. 목표색온도에서최대휘도를갖는화이트를결정하기위해, 휘도의범위를설정한다. 예를들어, 표 2.2는목표색온도 3,500 K에대한화이트의후보좌표 (Y, x, y) 들을나타낸것이다. 목표색온도 3,500 K의색도좌표는 (0.407, 0.396) 이다. 따라서후보좌표들의색도좌표 (x, y) 는모두 (0.407, 0.396) 으로설정한다. 그리고후보좌표들의휘도는 0.1 간격을갖도록한다. 화이트의후보좌표 (Y, x, y) 는식 (2.3) 과식 (2.4) 를이용하여 (X, Y, Z) 좌표로변환한다. X x = X + Y + Z (2.3) Y y = X + Y + Z (2.4) 24
2.1 화이트좌표선정및화이트밸런싱 (X, Y, Z) 좌표들에대한 (R, G, B) 좌표들은 3 14의 XYZ-to-RGB 선형모델에의해계산된다. 후보 (R, G, B) 좌표들중, 255를초과하지않으면서최대휘도를갖는 (R, G, B) 좌표를화이트좌표로결정한다. 예를들어, 표 2.2에서 (R, G, B) 좌표값이 255를초과하지않고, 최대휘도를갖는 R, G, B 조합이 (242, 240, 255) 인것을확인할수있다. 또한 R, G, B 조합이 (242, 240, 255) 일때, 목표색온도 3500 K에서의최대휘도는 Y=30.3인것을알수있다. Model XYZ-to-RGB relationship Determine chromaticity coordinates (x,y) of white for the desired color temperature Determine range of light intensity (Y) and convert (Y,x,y) to (X,Y,Z) Calculate RGB coordinates for candidates of XYZ by X Y Z -to-rgb model Determine RGB values with maximum Y 그림 2.8 화이트좌표선정방법의흐름도 Fig. 2.8 Flowchart of the proposed white point selection method 25
2.1 화이트좌표선정및화이트밸런싱 표 2.1 Planckian 방사체의색온도별 xy 값 Table 2.1 xy values of Planckian radiator for different color temperatures 색온도 x y 1000K 0.652 0.344 2000K 0.526 0.413 2500K 0.476 0.413 3000K 0.436 0.404 3500K 0.407 0.396 4000K 0.380 0.376 5000K 0.345 0.351 6000K 0.322 0.331 7000K 0.306 0.316 8000K 0.295 0.304 10000K 0.280 0.288 표 2.2 화이트좌표선정방법 Table 2.2 Example of white selection procedure Y x y X Y Z R G B 29.9 0.407 0.396 30.75 29.90 14.88 237.2 236.5 250.0 30.0 0.407 0.396 30.85 30.00 14.93 238.5 237.5 251.3 30.1 0.407 0.396 30.95 30.10 14.98 239.9 238.5 252.5 30.2 0.407 0.396 31.05 30.20 15.03 241.2 239.5 253.8 30.3 0.407 0.396 31.16 30.30 15.08 242.6 240.5 255.0 30.4 0.407 0.396 31.26 30.40 15.13 244.0 241.5 256.4 30.5 0.407 0.396 31.36 30.50 15.18 245.4 242.5 257.7 30.6 0.407 0.396 31.47 30.60 15.23 246.8 243.6 259.0 26
2.1 화이트좌표선정및화이트밸런싱 2.1.4. 화이트밸런싱방법 SOM은 G, B, R, R 순으로레이저다이오드를사용한다. 화이트의휘도를높이기위해 R 레이저다이오드를한번더스캐닝하는것과 R, G, B 레이저다이오드의세기차이는회색및저계조부분에서색조현상을유발한다. 그림 2.9 는장치별각채널 (R, G, B, K) 의계조변화에대한측정색좌표 (XYZ) 을색도좌표 (x, y) 로나타낸것이다. CRT, LCD 그리고 PDP의경우, 각채널별 (RGBK) 계조변화에상관없이색도좌표가일정하다. 이와달리 SOM은채널별계조변화에따라색도좌표가변한다. 더욱이 K의경우, 계조변화에따라색도좌표의변화가크다. 이것은계조마다색온도가일정하지않다는것을의미한다. 또한 SOM에의해디스플레이된회색및저계조영상에서색조현상이발생하는것과일치함을확인할수있다. 제안하는방법은채널별계조변화에따라색도좌표를일정하게유지하여회색및저계조부분의색조현상을저감한다. 27
2.1 화이트좌표선정및화이트밸런싱 y 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 x y 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 x (a) SOM (b) CRT y 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 x y 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 x (c) LCD (d) PDP 그림 2.9 장치별 RGBK 에대한색도좌표 Fig. 2.9 xy distribution of display device 28
2.1 화이트좌표선정및화이트밸런싱 그림 2.10은제안하는화이트밸런싱방법의흐름도이다. 목표하는감마커브가결정되면, 화이트의색도좌표와입력계조에대한휘도를조합하여 (Y, x, y) 좌표를결정한다. 그림 2.11은실험에적용된감마커브의예를나타낸것이다. 예를들어, 표 2.3에서 (Y, x, y) 좌표는목표색온도 3,500 K에대한색온도좌표 (0.407, 0.396) 와그림 2.11에나타낸감마커브를이용하여결정된것이다. (Y, x, y) 좌표는식 (2.3) 과식 (2.4) 에의해 (X, Y, Z) 좌표로변환된다. (X, Y, Z) 좌표들은 3 14의 XYZ-to-RGB 선형모델에의해 (R, G, B) 좌표로변환된다. 회색계조들의 (R, G, B) 좌표는색보정과정에서온라인으로적용되기위해 RGB LUT 형태로저장된다. 표 2.3은색온도 3,500 K에대해제안하는화이트밸런스방법을적용하여 RGB LUT를산출한결과이다. Determine the desired gamma curve Determine ideal coordinates (Y,x,y) for each step of neutral gray levels Convert (Y,x,y) to (X,Y,Z) Calculate RGB coordinates by XYZ-to-RGB model RGB LUT 그림 2.10 화이트밸런싱방법의흐름도 Fig. 2.10 Flowchart of white balancing method 29
2.1 화이트좌표선정및화이트밸런싱 35.00 30.00 25.00 20.00 Y 15.00 10.00 5.00 0.00 0 50 100 150 200 250 300 Gray level 그림 2.11 실험에적용된감마커브 Fig. 2.11 Applied gamma curve in experiment 표 2.3 화이트밸런스방법에의한 RGB LUT 산출결과 Table 2.3 Example of RGB LUT Level Y x y X Y Z R G B 0 2.1 0.407 0.396 2.16 2.10 1.04 0 35 8 1 2.11 0.407 0.396 2.17 2.11 1.05 0 35 8 2 2.12 0.407 0.396 2.18 2.12 1.05 0 35 8 3 2.13 0.407 0.396 2.19 2.13 1.06 0 36 8 251 30.16 0.407 0.396 31.01 30.16 15.01 240 239 253 252 30.19 0.407 0.396 31.04 30.19 15.02 241 239 253 253 30.23 0.407 0.396 31.09 30.23 15.04 241 239 254 254 30.27 0.407 0.396 31.13 30.27 15.06 242 240 254 255 30.3 0.407 0.396 31.16 30.30 15.08 242 240 255 30
2.1 화이트좌표선정및화이트밸런싱 2.1.5. 실험결과본절에서는제안하는방법의실험결과에대해설명한다. 그림 2.12는 SOM에대한색재현특성화에따라 SOM을통해디스플레이된영상의시뮬레이션결과를나타낸것이다. 측정색좌표 XYZ에상수 C와백색변환을적용함으로써측정색좌표와눈으로인지한색좌표사이에밝기와색차이가감소됨을시뮬레이션영상을통해확인할수있다. (a) 입력영상 (b) 상수 C 적용전영상 31
2.1 화이트좌표선정및화이트밸런싱 (c) 상수 C 적용후영상 (d) 백색변환적용후영상 (e) 촬영영상 그림 2.12 시뮬레이션영상 Fig. 2.12 Simulated images 32
2.1 화이트좌표선정및화이트밸런싱 화이트좌표선정방법의정확성을검증하기위해, SOM을통해디스플레이된화이트좌표의색온도및색좌표 (X, Y, Z) 를 spectro-radiometer로측정하고, 목표색온도및색좌표 (X, Y, Z) 와비교한다. 제안하는화이트좌표선정방법에의해목표색온도 3,500 K에대한화이트의 (R, G, B) 색좌표는 (242, 240, 255) 이다. SOM을통해디스플레이된화이트의색온도는 3,502 K로측정되었다. 이것은제안하는방법에의해목표색온도에서최대휘도를갖는화이트좌표의결정이가능하다는것을의미한다. 화이트밸런싱방법의성능은회색계조에포함되어있는채도 (chroma) 의정도로평가된다. 화이트밸런싱적용전후의회색계조들을 SOM을통해디스플레이하고, spectro-radiometer를이용하여 (X, Y, Z) 좌표를측정한다. 측정된 (X, Y, Z) 좌표를 CIE L*a*b* 좌표로변환하고, 식 (2.5) 에의해채도를계산한다. 2 2 chroma = a* + b* (2.5) 그림 2.13은제안하는화이트밸런싱방법에대한성능평가결과를나타낸것이다. 그림 2.13 (a) 는회색계조에대한색도좌표의일관성을확인할수있다. 화이트밸런싱방법적용전회색계조들의색도좌표는계조변화에따라달라진다. 이와달리화이트밸런싱방법을적용함에따라회색계조의색도좌표가수렴되었다. 그림 2.13 (b) 는회색계조별채도의정도를나타낸것이다. 화이트밸런싱방법을적용함에따라저계조의채도발생정도가현저히저감 33
2.1 화이트좌표선정및화이트밸런싱 된것을확인할수있다. 회색계조의평균채도가화이트밸런싱수행전 16.26에서화이트밸런싱수행후 6.56으로감소되었다. 이것은제안하는방법에의해저계조및회색계조의색조현상이효과적으로저감된다는것을의미한다. 0.9 40 0.8 0.7 after correction before correction 35 30 after correction before correction y 0.6 0.5 0.4 0.3 Chroma 25 20 15 0.2 10 0.1 5 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 x (a) 회색계조의색도좌표 0 0 32 64 96 128 160 192 224 Gray level (b) 회색계조별채도 그림 2.13 화이트밸런싱방법의성능평가결과 Fig. 2.13 Performance of the proposed white balancing method 34
2.1 화이트좌표선정및화이트밸런싱 그림 2.14는 Lena 영상을대상으로제안하는화이트좌표선정및화이트밸런싱방법의적용결과를시뮬레이션한것이다. 그림 2.14 (a) 는입력영상, 그림 2.14 (b) 는제안하는방법의적용전영상을시뮬레이션한것으로영상이전체적으로붉은색조로표현되었다. 그림 2.14 (c) 는제안하는방법의적용결과를나타낸것으로영상의붉은색조가저감된것을확인할수있다. (a) 입력영상 (b) 적용전 (c) 적용후 그림 2.14 화질개선기술의적용여부에의한시뮬레이션영상 Fig. 2.14 A result of the proposed enhancement method 35
2.1 화이트좌표선정및화이트밸런싱 그림 2.15는제안하는방법을 SOM에적용한후, 디지털카메라로촬영한영상이다. 그림 2.15 (a) 와 (b) 는제안하는방법의적용전후의영상이다. 그림 2.15가그림 2.14의시뮬레이션영상과유사함을확인할수있다. 또한제안하는화이트좌표선정및화이트밸런싱방법에의해저계조및회색계조부분의색조현상이개선됨을확인할수있다. (a) 적용전 (b) 적용후 그림 2.15 화이트밸런싱적용결과 Fig. 2.15 Result of the proposed enhancement method 36
2.2 프레임변환 2.2. 가변블록을이용한프레임변환방법 초소형프로젝터는 5인치미만의멀티미디어장치에서시청하던 T-DMB 영상을큰화면으로볼수있게한다. 그러나프로젝터를통해확대된 T-DMB 영상은프레임비율이낮아작은크기의영상에서인지되지않는움직임저더, 움직임블러링, 움직임블로킹등의아티팩트가발생한다. 초소형프로젝터로디스플레이되는 T-DMB 영상의화질을개선하기위한방법으로프레임변환기술이있다. 프레임변환기술은비디오코딩, 비디오포맷변환분야에서널리연구되고있으며, LCD TV의모션블러를저감하기위한방법으로적용되고있다 [12-13]. 그림 2.16은프레임변환기술을적용하여낮은프레임비율의동영상을높은프레임비율의동영상으로변환하는예를나타낸것이다. 옅은회색의사각형은초당 30프레임을갖는동영상을나타내고, 도트모양의사각형은프레임변환기술에의하여생성된프레임을나타낸것이다. 이와같이연속된프레임사이의움직임정보를예측하는방법으로 BMA(Block Matching Algorithm) 기술이널리사용되고있다. 계산의복잡도를최소화하고움직임벡터 (motion vector) 에대한예측을향상시키기위해, 다양한 BMA 기술들이제안되었다. 계산량을최소화하기위한방법으로 2D-logarithm search[14], three-step search[15], diamond search[16], 그리고 subsampled full search[17] 등이제안되었다. [18] 은부정확하게예측된움직임벡터로인해발생된아티팩트의저감방법을제안한다. [19] 는예측된움직임벡터들사 37
2.2 프레임변환 이의유사도에따라블록크기 (block size) 를결정하고, 움직임벡터가유사한블록들을하나의블록으로병합한다. 이와같은 BMA 기술들은두가지문제점이있다. 첫째, 움직임벡터가유사한블록들을하나의블록으로병합하기위해블록들사이의매칭 (matching) 정도를반복적으로수행하여계산량이많다. 둘째, 인접블록과다른움직임벡터를가지는경우, 블록킹및블러링아티팩트가발생한다. 블록매칭방법은최소정합오차만만족하면움직임이일치하는블록으로판단한다. 따라서실제움직임과불일치할수있고, 지역적인블록움직임에근거하여움직임을예측하기때문에블록내에서로다르게움직이는물체가존재하거나물체와배경영역이함께있는경우, 아티팩트가발생한다. x Original frames Interpolated frames y Previous frame t- t Current frame t 30fps input 60fps output frames frames 그림 2.16 프레임변환기술 Fig. 2.16 Frame Rate Up-Conversion technique 38
2.2 프레임변환 본절에서는초소형프로젝터에대한화질향상기술로프레임변환방법을제안한다. 제안하는프레임변환방법은블록의움직임정도에따라블록타입을 motion block 과 no-motion block 으로분류하고, 블록의타입에따라블록크기와탐색영역을결정한다. No-motion block 으로결정된인접블록들을하나의블록으로병합하고, 작은크기의탐색영역을적용한다. 따라서블록병합및블록매칭과정에서수행되는계산량을줄일수있다. 또한예측된움직임벡터의정확성을높이기위해움직임벡터의보정기술을제안한다. 2.2.1. 프레임변환방법제안하는방법은 30fps(frames per second) 로전송된 QVGA(Quarter Video Graphics Array, 320 240 pixels) 급의 T-DMB 영상을대상으로프레임수를 2배로증가시키는방법이다. 그림 2.17은제안하는프레임변환방법의흐름도이며, 크게 3단계로구성된다. 첫째, 블록매칭방법으로인접프레임사이의움직임을예측한다. 둘째, 예측된움직임벡터의정확성을향상시키기위해움직임벡터의보정방법을적용한다. 셋째, 예측된움직임벡터를이용하여프레임보간 (frame interpolation) 을수행한다. 39
2.2 프레임변환 Previous frame Current frame Determine the frame type Non-transition type? N Y Motion estimation Motion vector refinement Frame interpolation 그림 2.17 프레임변환방법의흐름도 Fig. 2.17 Flow chart for frame rate conversion method 2.2.2. 가변블록을이용한움직임벡터예측방법그림 2.18은제안하는움직임예측 (Motion Estimation) 방법에대한흐름도를나타낸것이다. 본절에서는블록의움직임정도에따라블록의크기를결정하며, 움직임정도는현재프레임과이전프레임에서동일위치에있는블록사이의 SAD(Sum of the Absolute Difference) 로예측한다 [20]. SAD의계산식은다음과같다. 40
2.2 프레임변환 L m n = f ( x, y) f n 1 ( x, y) (, ) n (2.6) ( x, y ) B( m, n) 여기서 f n (x, y) 은 n 번째프레임에서 (x, y) 위치에해당하는화소의계조를의미한다. B(m, n) 은 (m, n) 위치에해당하는 8 8 크기의블록이다. L(m, n) 이미리정해진문턱값보다크면 motion block 으로분류하고, 그렇지않은경우는 nomotion block 으로분류한다. 본절에서는이웃하는블록들의타입에따라움직임벡터예측에사용될블록의크기를 7개의클래스로분류한다. 그림 2.19는제안하는움직임벡터의예측방법에서정의한클래스별블록타입을나타낸것이다. 그림 2.19에서 1 은 no-motion block, 2 는 motion block 을의미한다. 이웃하는블록들이 nomotion block 으로분류된경우해당블록들을병합하여더큰블록으로만든다. 예를들어, 그림 2.19에서클래스 1은 no-motion block 으로분류된 8 8 크기의블록들을합하여 16 16 크기의블록으로만든것이다. 제안하는방법에서정의한블록의크기는 8 8, 8 16, 16 8, 16 16, 32 32이다. 탐색영역의크기는블록타입에의해결정된다. no-motion block 과 motion block 에대한탐색영역의크기는각각 ± 2 와 ± 7 이다. 즉, 블록의움직임이크 다고판단된경우에는크기가큰탐색영역을사용하고그렇지않은경우에는크기가작은탐색영역을사용한다. 41
2.2 프레임변환 Determine the block size and search window Backward ME Local minimum? N Y Forward ME Zero motion detection Minimum SAD>T SAD N Y ME with expanded search window Store the motion vectors End of block? END Y N Move to next 그림 2.18 움직임벡터의예측방법에대한흐름도 Fig. 2.18 Flow chart of the proposed motion estimation method 42
2.2 프레임변환 그림 2.19 움직임예측방법에서사용된클래스별블록의크기 Fig. 2.19 Classes of block size utilized in the proposed motion estimation 43
2.2 프레임변환 블록의크기와탐색영역의크기가결정되면, 그다음단계인움직임벡터예측을수행한다. 움직임벡터를결정하기위해, 현재프레임의블록과일치하는블록을이전프레임에서탐색한다. 본절에서는 SAD를사용하여블록사이의일치정도를계산한다. 이와같은과정을그림 2.18에표기한것과같이 Backward ME 라고한다. 움직임벡터예측의정확성을높이기위해, 탐색영역내에최소 SAD를갖는블록과유사한 SAD를갖는블록의개수를계산한다. 계산된블록의수가문턱값이상인경우탐색영역내에국소최저치 (local minima) 가존재할가능성이큰것으로판단한다. 이와같은경우, 현재프레임이참조프레임 (reference frame) 으로사용된다. 다시말해, 이전프레임의블록과일치하는블록을현재프레임에서탐색한다. 이와같은과정을본절에서 Forward ME 라고한다. 자막과같이이전프레임에서없던새로운시퀀스가현재프레임에서나타나면, Backward ME 는이전프레임을참조프레임으로사용하기때문에처리하고자하는블록과일치하는블록을찾기어렵다. 이와같은경우, 움직임벡터의정확성을높이기위해 Forward ME 를수행한다. 이론적으로 no-motion block 에대한움직임벡터의좌표는 (0, 0) 이다. 그러나탐색영역내에서계산된 SAD 수치들이모두 0이거나 0에가까우면움직임벡터가부정확하게예측된다. 이와같은문제를해결하기위해그림 2.18에나타낸것과같이 Zero motion detection 을수행한다. 움직임벡터의좌표가 (0, 0) 인곳의 SAD와탐색영역내에서계산된최소 SAD의차가미리정해진문턱값보다작으면, 움직임벡터의좌표를 (0, 0) 으로설정한다. 제안하는움직임벡터의예측방법은계산량과속도를향상시키기위해작은크기의탐색영역을 44
2.2 프레임변환 사용한다. 따라서블록의움직임이탐색영역보다큰경우, 예측된움직임벡터가부정확할수있다. 이와같은문제를해결하기위해, 탐색영역내에서계산된최소 SAD가 T SAD 보다크면탐색영역의크기를확대하고이미탐색된영역을제외한나머지영역에대하여탐색을수행한다. 본절에서는탐색영역의크기를 ± 14로확대한다. 2.2.3. 유사도평가에기반한움직임벡터의보상방법보간프레임의화질은예측된움직임벡터의정확도에의해결정된다. 정확도가낮은움직임벡터는모션블러나블로킹과같은아티팩트발생의원인이된다. 그림 2.20 (a) 는블록단위로예측된움직임벡터들의예를나타낸것이고, 그림 2.20 (b) 는그림 2.20 (a) 의움직임벡터들로보간한프레임이다. 배경영역에해당하는블록의움직임벡터는대부분 (0, 0) 이고, 주변블록들과다른움직임벡터를가진블록들에서아티팩트가발생됨을확인할수있다. 본절에서는예측된움직임벡터의정확성을높이기위한움직임벡터의보정방법을제안한다. 그림 2.21은제안하는움직임벡터의보정방법에대한흐름도를나타낸것이다. 제안하는방법은크게두단계로구성된다. 첫번째단계는현재블록과인접블록들에대한움직임벡터의유사도 (similarity) 에따라미디언필터링 (median filtering) 을수행한다. 그림 2.22는유사도계산에사용되는인접블록들 의예를나타낸것이다. 여기에서 Vi 는각블록들의움직임벡터를의미한다. V0와동일한성분의벡터가인접블록 Vi 에존재하면, 미디언필터링을수행하 45
2.2 프레임변환 46 지않는다. 그렇지않은경우, 0 V 를 i V (i=0,,4) 에대한미디언필터링결과로대체한다. 두번째단계는예측된움직임벡터의신뢰도 (reliability) 에따라움직임벡터를보정한다. 움직임벡터의신뢰도 HSAD(Half Sum of the Absolute Difference) 는다음식 (2.7) 에의해계산된다. = = + + = 1 0 1 0 1 2, 2 2, 2 M x N y y x n y x n v y v x f v y v x f HSAD (2.7) 여기서 M 과 N 은각각행과열의수를의미한다. (M=N=8). ), ( y x v v 은예측된움직임벡터를의미한다. HSAD 는현재프레임과이전프레임에대응하는블록을예측된움직임벡터와반대방향으로 2 1 크기만큼이동시킨위치에서의 SAD 를의미한다. 만약, 0 V 에대한 HSAD 가미리정해진문턱값보다작으면, 예측된움직임벡터를이용하여프레임보간을수행한다. 그렇지않은경우, i V (i=0,,4) 에대한 HSAD 를계산하고, 최소 HSAD 에해상되는블록의움직임벡터로 0 V 를대체한다. 제안하는움직임벡터의보정방법에따라움직임벡터들을개선한후, 프레임보간을수행한다 [21]. 보간프레임은식 (2.8) 을따른다. ( ) 2 2, 2 2, 2, 1 2 1 + + + = y x n y x n n v y v x f v y v x f y x f (2.8) 여기서 ), ( y x v v 는제안하는예측된움직임벡터의보정방법에따라개선된움직임벡터를의미한다.
2.2 프레임변환 (a) 블록단위로예측된움직임벡터 (b) 움직임벡터들로보간된프레임 그림 2.20 예측된움직임벡터와보간프레임 (Frame No. 27) Fig. 2.20 Estimated motion vector and interpolated frame (Frame No. 27) 47
2.2 프레임변환 Calculate the difference of motion vectors Stage1 Similarity Identical to 4 neighbors? N Median vector filtering Y Calculate HSAD values for V 0 Stage2 Reliability Smaller than threshold? Find block with the minimum HSAD N Y Replace motion vector End of block? END Y N Move to next 그림 2.21 움직임벡터의보정방법에대한흐름도 Fig. 2.21 Flow chart of the proposed motion vector refinement method 48
2.2 프레임변환 V 1 V 2 V 0 V 4 V 3 그림 2.22 4 방향으로인접한블록 Fig. 2.22 Blocks of 8x8 pixels with the estimated motion vectors 2.2.4. 실험결과본절에서는제안하는방법의실험결과에대해설명한다. 제안하는방법과기존방법의성능을비교하기위해 7가지종류의비디오클립 (Video Clip) 이사용되었다. 표 2.4는비디오클립과특징을설명하고있다. 비디오클립의종류는 Hall monitor, Football, Foreman, Table tennis, Flower garden, Mobile & Calendar, 그리고 Coastguard 이다. Hall monitor 는움직임이작고, 저주파수특성을가진시퀀스 (sequence) 이다. 이와달리 Football 은움직임이크고, 고주파수특성을가진시퀀스이다. Foreman 은 Hall monitor 와 Football 의중간특성을가진시퀀스이다. Table tennis 는확대 (zooming), 패닝 (panning) 그리고장면전환 (scene change) 을포함하고있는시퀀스이다. Flower garden 과 Mobile & calendar 는패닝과고주파수특성을가진시퀀스이다. Flower garden 이한방향으로만이동하는단순한움직임의객체 (object) 를포함하는것과다르게 Coastguard 는서로다른방향의움직임을가진객체들을포함하고있다. 7개의비디오클립은 100개의프레임으로구성된다. Hall monitor, Foreman 과 Coastguard 에해당되는 49
2.2 프레임변환 각프레임의크기는 352 288이고, 나머지비디오클립의프레임크기는 352 240이다. 짝수번째프레임들은입력으로사용되고홀수번째프레임은프레임변환방법에의해출력된영상이다. 제안하는방법과고속움직임예측방법인 TSS(Three Step Search)[15], 고정된크기의블록과탐색영역을사용하는 FS(Full Search) 그리고가변크기의블록 (multi-size block) 을이용한움직임예측방법 [19] 등기존방법과의성능비교실험이수행되었다. TSS와 FS실험에사용된탐색영역의크기는 ± 7, 블록의크기는 16 16이다. 가변크기의블록실험에사용된탐색영역의크기는 ± 16이다. 본절에서는제안하는방법과기존방법의성능을평가하는방법으로 PSNR(Peak Signal-to-Noise Ratio) 을이용한다. 원본프레임과프레임변환기술에의해보간된프레임사이의 PSNR은식 (2.9) 에의해계산된다. = 10log 10 1 M N M 1 N 1 x= 0 y= 0 fˆ 255 PSNR (2.9) 1 n 2 2 ( x, y) f ( x, y) 1 n 2 2 여기에서 M과 N은프레임의열과행번호를의미한다. f ˆ ( ) 과 f ( ) 은보간프레임과원본프레임의계조를의미한다. 각비디오클립의평균 PSNR은 50 프레임이상의 PSNR을평균한것이다. 50
2.2 프레임변환 표 2.4 실험비디오클립 Table 2.4 Test video clips Sequence Name Resolution Characteristic Hall monitor 352 288 움직임이작고저주파수특성을가진시퀀스 Football 352 240 움직임이크고고주파수특성을가진시퀀스 Foreman 352 288 Hall monitor 와 Football 의중간특성의시퀀스 Table tennis 352 240 확대 (zooming), 패닝 (panning) 그리고장면전환 (scene change) 이포함된시퀀스 Flower Garden 352 240 패닝과고주파수특성을가진시퀀스 Mobile & Calendar 352 240 패닝과고주파수특성을가진시퀀스 Coastguard 352 288 서로다른방향의움직임을가진시퀀스 51
2.2 프레임변환 표 2.5 평균 PSNR 의비교 Table 2.5 Comparison of average PSNR Sequence Name Full Search TSS Multi-size blocks Proposed ME Proposed ME + MV Refinement Hall monitor 32.21 31.59 32.69 32.54 33.47 Football 20.34 19.59 21.04 20.88 21.24 Foreman 31.54 28.06 32.41 32.37 32.81 Table tennis 27.94 26.82 28.93 28.85 29.48 Flower Garden 24.52 22.39 26.91 26.83 27.67 Mobile & Calendar 23.86 22.07 24.09 23.92 24.43 Coastguard 29.97 28.88 30.19 29.44 31.18 표 2.5는 7가지비디오클립에대한보간프레임과원본프레임의평균 PSNR을나타낸것이다. 그림 2.23은 7가지비디오클립에대한보간프레임과원본프레임의 PSNR을프레임별로나타낸것이다. 표 2.5와그림 2.23을통해제안하는방법의성능이기존방법보다좋은것을확인할수있다. 제안하는움직임벡터보정방법의적용전성능은가변크기의블록기법의성능과유사한것을확인할수있다. 제안하는움직임벡터보정방법을적용함에따라 7가지비디오클립에대한성능평가결과가기존방법보다높은것을확인할수있다. 더욱이, Flower garden 과 Mobile & calendar 와같이패닝과고주파수특성을가진시퀀스에대해우수한성능을보인다. 52
2.2 프레임변환 39 38 37 36 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) 35 34 33 32 31 30 29 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (a) Hall monitor 25 24 23 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) 22 21 20 19 18 17 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (b) Football 53
2.2 프레임변환 41 39 37 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) 35 33 31 29 27 25 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (c) Foreman 38 36 34 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement 32 PSNR(dB) 30 28 26 24 22 20 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (d) Table tennis 54
2.2 프레임변환 33 31 29 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) 27 25 23 21 19 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (e) Flower garden 29 28 27 26 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) 25 24 23 22 21 20 19 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (f) Mobile & Calendar 55
2.2 프레임변환 35 30 PSNR(dB) 25 20 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement 15 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 Frame number (g) Coastguard 그림 2.23 프레임별 PSNR[dB] 비교 Fig. 2.23 Comparison of PSNR(dB) frame by frame 그림 2.24는 FS, TSS, 가변크기의블록, 그리고제안하는방법에의해보간된 Football 비디오클립의 83번째프레임을나타낸것이다. 큰차이가확인되는부분은그림 2.24 (a) 의원본프레임에숫자와화살표로나타내었다. FS와 TSS는 1, 2 그리고 3번영역에서블로킹과블러링아티팩트가발생되었다. 제안하는방법에의한보간프레임의경우, 다른방법에의한보간프레임과다르게 1번과 2번영역의글자가원본프레임과유사하게재현되었다. 또한움직임벡터보정방법을적용함으로써기존의가변크기의블록기술에의한결과보다 3번영역의재현정도가개선되었다. 그림 2.25는기존방법및제안하는방법에의해보간된 Flower garden 비 56
2.2 프레임변환 디오클립의 29번째프레임을나타낸것이다. FS와 TSS에의한보간프레임은 1 번영역에서모션블러가눈에띄게발생되었다. 그리고기존방법들은 2번영역의나뭇가지가정확하게재현되지않는다. 이와다르게제안하는방법은움직임벡터보정방법을적용함에따라 2번영역의나뭇가지를선명하게재현하고있다. 그림 2.26은보간프레임에적용된블록들의예를나타낸것이다. 움직임이없는영역에서는크기가큰블록이적용되고, 움직임이많고, 복잡한영역에서는크기가작은블록이적용되었다. 57
2.2 프레임변환 2 1 3 (a) original (b) FS (c) TSS (d) Multi-size blocks (e) Proposed ME (f) Proposed ME + Refinement 그림 2.24 비디오클립 Football (Frame No. 83) Fig. 2.24 Test sequences Football (Frame No. 83) 58
2.2 프레임변환 2 1 (a) original (b) FS (c) TSS (d) Multi-size blocks (e) Proposed ME (f) Proposed ME + Refinement 그림 2.25 비디오클립 Garden (Frame No. 29) Fig. 2.25 Test sequences Garden (Frame No. 29) 59
2.2 프레임변환 (a) Foreman (Frame No. 28) (b) Hall monitor (Frame No. 62) 그림 2.26 보간프레임에적용된블록 Fig. 2.26 Wired expression of block sizes 60
2.2 프레임변환 그림 2.27은움직임벡터보정방법의적용전후에대한보간프레임을나타낸것이다. 그림 2.27 (a) 는움직임벡터보정방법의적용전예측된움직임벡터들과보간프레임을나타낸것이다. 움직임이많고복잡한영역, 그리고주변블록들과다른움직임을가진영역에서블록킹아티팩트가발생되었다. 그림 2.27 (b) 는움직임벡터보정방법의적용후개선된움직임벡터들과보간프레임을나타낸것이다. 주변블록들과다른움직임으로인해발생되었던블록킹아티팩트가감소되었다. (a) 적용전 (b) 적용후 그림 2.27 움직임벡터보정방법적용결과 Fig. 2.27 Comparison of proposed method with and without motion vector refinement 61
2.3 자동화이트밸런스 2.3. 입력영상에적응적인자동화이트밸런스방법 휴대폰카메라의화질개선방법으로자동화이트밸런스가있다. 자동화이트밸런스는광원에의한색의변화를저감하기위한방법으로, 그림 2.28과같이광원에따라서로다른색으로촬영된객체의색을동일한색으로표현하는것이다. 사람의경우조명과장소가달라지더라도색의차이를인지하지못한다. 이와다르게카메라는색에대한순응성이없기때문에조명과장소에의한영향이색의차이로표현된다. Illuminant A Illuminant B Illuminant C Illuminant D AWB technology Consistent output color!! 그림 2.28 자동화이트밸런스 Fig. 2.28 Auto White Balance 62
2.3 자동화이트밸런스 기존에제안된자동화이트밸런스방법들은채널별게인을조정하여색상을보정한다. GWA(Gray World Assumption) 는다양한색상으로구성된영상의채널별평균은회색계조에가깝다라는가정에기반하여채널별평균이같아지도록게인을조정한다. 그림 2.29와그림 2.30은다양한색상으로구성된영상과단일색상으로되어있는영상에 GWA 알고리즘을적용하고, 그에따른히스토그램의변화를나타낸것이다. 다양한색상의영상은 GWA 를적용함에따라영상의밸런스가이루어진다. 이와다르게단일색상의영상은 GWA 를적용함에따라색상이회색으로표현된다. GWA 는게인을조정하여영상의평균이같아지도록만들기때문이다. 이외에도영상의광원정보에기반하여게인을조정하는방법이있다 [22-24]. 영상의화이트또는밝은영역에광원정보가포함되어있다는가정에기반하여해당영역을참조화소로검출한다. 이와같은방법의성능은화이트또는밝은영역의검출능력에의존적이다. [22] 는화이트영역의검출능력을향상시키기위해, 화이트검출전히스토그램평활화를수행한다. [23] 은화이트영역결정을위한문턱값이입력영상에따라적응적으로결정된다. 그러나입력영상에화이트또는밝은영역이없는경우, 왜곡된색상으로보정이이루어진다. [24] 는영상의에지를참조화소로사용한다. 제안하는방법은광원변화에따른색상왜곡을최소화하며, 입력영상에적응적으로화이트밸런스를수행한다. 입력영상을단일색상을가진영상과다양한색상을가진영상으로분류한다. 클래스1은선형변환매트릭스를적용하여색상보정을수행한다. 클래스2는게인을조정하여색상을보정하며, 게인계산을위한참조화소로다양한색상이포함된영역을검출한다. 63
2.3 자동화이트밸런스 GWA Frequency 5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 50 100 150 200 250 300 Frequency 5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 50 100 150 200 250 300 Gray level Gray level 그림 2.29 다양한색상으로구성된영상에대한 GWA 적용 Fig. 2.29 Example of GWA for image with various colors GWA Frequency 5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 50 100 150 200 250 300 Frequency 5 4.5 4 3.5 3 2.5 2 1.5 1 0.5 0 0 50 100 150 200 250 300 Gray level Gray level 그림 2.30 단일색상으로된영상에대한 GWA 적용 Fig. 2.30 Example of GWA for image with dominant color 64
2.3 자동화이트밸런스 2.3.1. 자동화이트밸런스방법그림 2.31은제안하는자동화이트밸런스방법의흐름도를나타낸것이다. 제안하는방법은입력영상을두개의클래스로분류하고, 각클래스에적합한자동화이트밸런스방법을적용한다. 단일색상만포함하고있는영상은클래스1으로, 다양한색상을포함하고있는영상은클래스2로분류된다. Input image Image with dominant single color? Class1 Y AWB for image with dominant color N Class2 AWB for Image with large number of colors 그림 2.31 자동화이트밸런스방법의흐름도 Fig. 2.31 Flow chart of the proposed white balance method 2.3.2. 영상분류방법그림 2.32는입력영상을클래스1과클래스2로분류하기위한방법의흐름도이다. 본절에서는입력영상에포함된색상변화영역의비율과색상의다양성정도에따라영상을클래스1과클래스2로분류한다. 색상변화영역을검출 하기위해입력영상을 n n 크기의블록으로분할하고, 각블록의평균색상 0(hue) 과채도를계산한다. 현재처리중인블록과이웃한블록들 (3 3 blocks) 사 65
2.3 자동화이트밸런스 이의색상및채도편차 (σ h,3x3, σ c,3x3 ) 를계산한다. 단일색상으로구성된영상의경우, σ h,3x3 와 σ c,3x3 수치가작다. 따라서 σ h,3x3 와 σ c,3x3 의수치가특정문턱값보다큰블록의개수를카운트하고, 블록의수 N c 가문턱값 T block 보다작으면입력영상을클래스1으로분류한다. 그렇지않은경우, 색상의다양성정도에따라클래스1과클래스2로영상을분류한다. 색상의다양성정도는색상변화가있는블록들에대한색상및채도편차 (σ h,d, σ c,d ) 에의해결정된다. σ h,d, σ c,d 의수치가미리결정된문턱값보다작으면입력영상을클래스1으로분류한다. 그렇지않은경우, 다양한색상이포함된영상으로판단하고클래스2로분류한다. 그림 2.33은클래스1과클래스2에대한영상의예로오른쪽은실험영상, 왼쪽은제안하는방법에의한색상변화영역의검출결과를나타낸것이다. 그림 2.33 (a) 의 Blue wall 은그림 2.33 (b) 에서확인할수있는것과같이색상변화가없기때문에클래스1으로분류된것이다. 그림 2.33 (c) 의 Garden 은색상변화영역으로검출된블록의개수가 T block 을초과하지만, σ h,d 과 σ c,d 수치가작아클래스1으로분류되었고, 이와같은사실은표 2.6를통해확인할수있다. 그림 2.33 (e) 의 Color checker 는 N c, σ h,d 과 σ c,d 의수치가평가기준수치를초과하여클래스2로분류되었다. 66
2.3 자동화이트밸런스 RGB-to-YC b C r Divide into n n blocks Calculate the standard deviation of hue σ h,3x3 and chroma σ c,3x3 in 3 3 blocks Step1 σ σ h, 3 3 > T or 1 c, 3 3 > T2 Y End of block Y N N Move next block Count blocks with variety of colors N c Y N c < T block Step2 Y Calculate the variance of hueσ and chroma σ c, d < T h, d for detected blocks N N σ < T σ and h, d h c, d c N Image with dominant color Image with variety of colors 그림 2.32 영상분류방법 Fig. 2.32 Flow chart of the image categorization method 67
2.3 자동화이트밸런스 (a) Blue wall (b) Detected blocks for Blue wall (c) Garden (d) Detected blocks for garden (e) Color checker (f) Detected blocks for color checker 그림 2.33 영상분류에따른색상변화영역검출결과 Fig. 2.33 Example of the detection results 68
2.3 자동화이트밸런스 Table 2.6 Number of detected blocks, standard deviation of hue and chroma 표 2.6 색상변화가있는블록의개수, 블록들의색상과채도편차 N c σ σ h, d c, d (a) Blue wall 0% Class1 0 0 (c) Garden 27.53% 10.79 410.50 Class1 (e) Color checker 54.05% 911.46 1845.30 Class2 2.3.3. 단색영상에대한자동화이트밸런스방법클래스1으로분류된영상들은색상변화가작거나단일색상으로구성되어광원정보의추정이매우어렵다. 본절에서는채널별게인을조정하여색상을보정하는자동화이트밸런스방법과다르게선형변환에의한자동화이트밸런스방법을제안한다. 선형변환행렬은오프라인과정으로제작된다. 그림 2.34는선형변환행렬의제작흐름도를나타낸것이다. 5개광원 Horizon, A, TL84, Cool white, Daylight 에서화이트패치를촬영하고, 촬영영상으로부터평균 (R w, G w, B w ) 을계산한다. 각광원별 RGB 게인은식 (2.10) 에따라계산된다. R G B gain, i gain, i gain, i ( R = ( R = w ( R = w w + Gw + Bw ) / 3 R w + Gw + Bw ) / 3 G w + Gw + Bw) / 3 B w (2.10) 69
2.3 자동화이트밸런스 여기서, R gain,i, G gain,i, 그리고 B gain,i 는 i th 광원에서촬영된화이트패치의 RGB 게 인을의미한다. 화이트패치이외에도 5 개광원에서단일색상패치들을촬영하 고, 각패치들의평균 (R k i, G k i, B k i) 을계산한다. 여기서, R k i 는 i th 광원에서촬영된 k th 단일색상패치의평균 R 을의미한다. 각광원별 RGB 게인을 (R k i, G k i, B k i) 에적용하여식 (2.11) 와같은 (R k o,i, G k o,i, B k o,i) 를얻는다. R G B k o, i k o, i k o, i = R = G = B k i k i k i R G B gain, i gain, i gain, i (2.11) (R k o,i, G k o,i, B k o,i) 는 i th 광원에서촬영된 k th 단일색상패치를 i th 광원정보로보정한영상이다. (R k o,i, G k o,i, B k o,i) 는광원별화이트패치의게인으로보정된영상이기때문에 정답영상 으로볼수있다. 단일색상으로부터광원정보의추정이가능하다면, 게인조정에의한자동화이트밸런스방법을적용할수있지만단일색상에서광원정보의추정은불가능하다. 본절에서는단일색상으로부터광원정보를추정하는대신광원정보에의해보정된영상과보정전영상의관계를모델링하여단일색상을보정한다. 모델링식은식 (2.12) 과같이선형식으로정의한다. 70
2.3 자동화이트밸런스 R G B k o, j k o, j k o, j M = M M 11 21 31 M M M 12 22 32 M M M 13 23 33 R G B k i k i k i (2.12) 여기서 (R k o,i, G k o,i, B k o,i) 와 (R k i, G k i, B k i) 는각각광원정보에의해보정된영상과보정전영상을의미한다. 변환행렬은 (R k o,i, G k o,i, B k o,i) 와 (R k i, G k i, B k i) 의 regression으로추정가능하다. 그림 2.35는각광원별로촬영된단색패치그리고광원정보에의해보정된단색패치를나타낸것이다. 클래스1으로분류된영상들은식 (2.13) 와같이입력 (R in, G in, B in ) 에변환행렬이적용되어 (R out, G out, B out ) 로보정된다. R G B out out out M = M M 11 21 31 M M M 12 22 32 M M M 13 23 33 R G B in in in (2.13) 71
2.3 자동화이트밸런스 Information on illuminant for white patch (R gain,i, G gain,i, B gain,i ) A set of constant hue patches under different illuminants (R k i, G k i, B k i) Ideal results of AWB (R k o,i, G k o,i, B k o,i) (R k i, G k i, B k i)-to-(r k o,i, G k o,i, B k o,i) 그림 2.34 선형변환행렬의제작흐름도 Fig. 2.34 Flow chart of design for linear transformation (R k i, G k i, B k i)-to-(r k o,i, G k o,i, B k o,i) (R k i, G k i, B k i) (R k o,i, G k o,i, B k o,i) Horizon A TL84 Cool white Daylight 그림 2.35 변환행렬제작에사용된단색패치 Fig. 2.35 Example of images with dominant color for designing linear transformation 72
2.3 자동화이트밸런스 2.3.4. 다색영상에대한자동화이트밸런스방법클래스2의영상들은클래스1의영상들과다르게다양한색상정보를포함한다. 따라서, 클래스2의영상들은채널별게인조정에의한자동화이트밸런스방법이적용된다. 영상의모든화소가게인계산을위한참조화소로이용되는 GWA 방법과다르게제안하는방법은영상분류를위해검출되었던색상변화영역의정보를이용하여게인을계산한다. 식 (2.14) 는 RGB 게인의계산식을나타낸것이다. R G B gain gain gain ( R = ( R = ( R = m, block m, block m, block + G R + G G + G B m, block m, block m, block m, block m, block m, block + B + B + B m, block m, block m, block ) / 3 ) / 3 ) / 3 (2.14) 여기서, R m,block, G m, block, 그리고 B m, block 는색상변화블록의평균 RGB 를의미한 다. 각채널별게인이결정된후에, 식 (2.15) 과같이입력 (R in, G in, B in ) 에적용 되어 (R out, G out, B out ) 로보정된다. R G B out out out = R = B in = G in in R G B gain gain gain (2.15) 73
2.3 자동화이트밸런스 2.3.5. 실험결과본절에서는자동화이트밸런스방법의성능평가방법과이에대한실험결과에대해설명한다. 기존방법과의성능비교를통해제안하는방법이비교우위에있음을검증한다. 또한일반영상에대해제안한방법을적용한결과에대해제시한다. (1) 자동화이트밸런스에대한정량적평가방법자동화이트밸런스방법의목적은촬영영상의색상이촬영광원에상관없이일관성을갖도록보정하는것이다. 제안하는자동화이트밸런스방법이이와같은목적을충실히이행하는지에대한여부를검증하기위해, 본절에서는자동화이트밸런스에대한정량적평가방법 Q AWB 을제안한다. 단일색상패치들이평가영상으로이용되었다. 각패치에자동화이트밸런스방법을적용하고, 평균 RGB를계산한다. 평균 RGB를 CIEL * a * b * 로변환한다. 본절에서는 i th 광원에서촬영된 k th 패치의평균 CIEL * a * b * 를 (L * (k,i),a * (k,i),b * (k,i)) 로나타낸다. 또한평가에사용된단일색상패치의수와광원의수를 N p 와 N i 로나타낸다. k th 색상패치에대한평균 CIEL * a * b * 는식 (2.16) 과같이각광원별로촬영된 k th 색상패치를대상으로계산된다. 74
2.3 자동화이트밸런스 75 = = = = = = i i i N i i avg N i i avg N i i avg i k b N k b i k a N k a i k L N k L 1 * * 1 * * 1 * * ), ( 1 ) ( ), ( 1 ) ( ), ( 1 ) ( (2.16) 여기서 (L * avg(k), a * avg (k), b * avg (k)) 는자동화이트밸런스결과를평가하기위한 기준색상 (reference color) 로이용된다. 식 (2.17) 은 i th 광원에서촬영된패치들과 기준색상 사이의평균색차이 (color difference) 를의미한다. ( ) ( ) ( ) = + + = N p k avg avg avg p k b i k b k a i k a k L i k L N i E 1 2 * * 2 * * 2 * * ) ( ), ( ) ( ), ( ) ( ), ( 1 ) ( (2.17) 자동화이트밸런스에대한정량적평가방법 Q AWB 은식 (2.18) 과같이정의된다. Q AWB 는자동화이트밸런스방법에의해보정된색상의일관성을평가할수있다. = = N i i i AWB i E N Q 1 ) ( 1 (2.18)
2.3 자동화이트밸런스 (2) 실험 Ⅰ: 단색영상 ( 클래스1) 에대한자동화이트밸런스방법클래스1으로분류된영상들은색상변화가작거나단일색상으로구성된다. 클래스1에대한자동화이트밸런스방법의성능을평가하기위해, 평가영상으로 5개광원 Horizon, A, TL84, Cool white, Daylight 에서촬영된 Macbeth Color Checker의 18개색상패치가이용되었다. 실험영상들은 5만화소의 CMOS 센서를탑재한카메라모듈로촬영되었다. 그림 2.36 (a) 는카메라모듈로촬영된영상이다. 동일한색상이촬영된것임에도불구하고광원에의해다른색상으로표현되었다. 그림 2.36 (b) 부터 (e) 는제안하는단색영상에대한자동화이트밸런스방법과기존방법 [22-24] 들에의한실험결과영상이다. 18개의색상패치에개별적으로자동화이트밸런스방법이적용되었다. 다시말해, 각각의색상패치가입력영상이고, 그림 2.36의영상들은수월한비교를위해색상패치들을하나로합친것이다. 그림 2.36 (c) 는 [22] 에의한결과이며, 3가지현상으로설명된다. 그것은색상이보정된패치, 회색으로변한패치, 바이패스 (by-pass) 되거나보정되지않는패치로구분된다. 밝은영역이검출된경우, 패치의색상이다른색상이나회색으로변하였다. 밝은영역이검출되지않는경우, 바이패스되었다. 그림 2.36 (d) 와 (e) 는 [23] 와 [24] 에의한결과이며, 색상이회색으로변한것을확인할수있다. 그림 2.36 (f) 는각광원별로촬영된화이트패치의 RGB 게인을적용한것이다. 즉, 정답영상 이다. 그림 2.36 (b) 와그림 2.36 (f) 는동일한색상패치로인지되지않지만유사하게보인다. 그림 2.36 (b) 와그림 2.36 (f) 의색상차이는식 (2.13) 의모델링오차로인한것이다. 76