工學博士學位論文 영상장치특성에기반한화질개선및 인간시각특성에기반한화질평가 Image quality enhancement based on characteristics of imaging device and image quality evaluation based on hum

Transcription

1 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 工學博士學位論文 영상장치특성에기반한화질개선및 인간시각특성에기반한화질평가 Image quality enhancement based on characteristics of imaging device and image quality evaluation based on human visual perception 2012 年 2 月 仁荷大學校大學院 情報工學科 ( 情報通信工專攻 ) 張璱琦

3 工學博士學位論文 영상장치특성에기반한화질개선및 인간시각특성에기반한화질평가 Image quality enhancement based on characteristics of imaging device and image quality evaluation based on human visual perception 2012 年 2 月 指導敎授金椿宇 이論文을博士學位論文으로提出함 仁荷大學校大學院 情報工學科 ( 情報通信工專攻 ) 張璱琦 2

4 이論文을張璱琦의博士學位論文으로認定함 年 2 月 主審 印 副審 印 委員 印 委員 印 委員 印 3

5 Abstract 요약 최근들어휴대폰은대표적인디지털컨버전스제품으로디지털카메라뿐만아니라초소형프로젝터의기능을포함하며다기능화되어가고있다. 또한프린터및복사기분야는스캐너, 프린터, 복사기등의기능이결합된디지털복합기가시장에일반화되어가고있는추세이다. 이와같은영상입출력기기의성능을나타내는중요한지표들중의하나가화질이다. 본논문은영상입출력기기의화질개선, 화질평가, 그리고화질평가에기반한화질개선방법을제안한다. 본논문에서수행된화질개선연구는휴대폰에결합된초소형프로젝터와카메라를대상으로하며영상장치특성에의한화질문제를해결한다. 초소형프로젝터의경우초소형크기, 소모전력, 구동방식등에의해발생하는화질문제의개선이필요하고, 휴대폰카메라또한사용가능한메모리와계산량등의제약을고려하여화질개선이수행되어야한다. 화이트좌표선정및화이트밸런싱방법은초소형프로젝터의구동방식으로인해발생하는회색및저계조부분의색조현상을저감하기위한방법이다. 프레임변환은초소형프로젝터에의해확대된동영상에서인지되는움직임저더, 움직임블러링, 움직임블로킹등의아티팩트를저감하기위해프레임수를증가시키는방법이다. 자동화이트밸런스는휴대폰카메라에의해촬영된영상에서광원에의한색상왜곡을저감하기위한방법이다. 또한, 본논문에서는복합기를구성하는스캐너와프린터를대상으로인간 i

6 Abstract 시각특성에기반한화질평가방법을제안하였다. 제품간성능비교및최적화를위한방법으로화질평가의중요성이높아지고있기때문이다. 본논문에서는스캔영상의컬러프린지, 스캔영상과복사영상의글자화질그리고복사영상의노이즈에대한화질평가방법을제안한다. 스캔영상의컬러프린지는센서미정렬, 스캐너캐리지의변동그리고광학수차로인해발생하며오브젝트의경계에서발생하는컬러아티팩트로정의된다. 글자의화질은스캔또는복사의글자재현정도를나타내는것으로, 선명도외에글자외형의손실, 왜곡등으로평가된다. 복사영상에서노이즈는단일색상패치에낟알무늬, 얼룩무늬, 또는물결무늬등이불균일하게인지되는것으로정의된다. 본논문에서제안하는 contrast 개선방법은화질평가결과를기반으로한다. 제안하는 contrast 개선방법은입력영상들의누적분포함수가유사한경우동일한계조사상함수를적용하여최적의화질을갖도록 contrast 개선이가능함을제시하였다. 또한입력영상에대응하는최적계조사상함수의결정방법과 k-means 클러스터링을이용한영상분류방법에대하여제안하였다. ii

7 Abstract Abstract In these days, cellular phone is a typical example of digital convergence product. Photography, internet access, gaming, terrestrial digital multimedia broadcasting, micro projector are added as main functionalities in cellular phones. As another example, Multi- Function Peripheral including scanner, printer and copier is widely utilized for document scanning, printing and copying. Performance of devices such as these is majorly determined by image quality. This thesis presents image quality enhancement, evaluation, and image quality enhancement based on image quality evaluation for digital imaging devices. This thesis proposes image quality enhancement methods for cellular phones with the built-in projection and camera functionality. Image quality enhancement methods for cellular phone should be developed considering computational complexity and size of memory resources. White point selection & white balancing method for micro projection display is proposed to minimize chromatic contents in neutral gray. Frame rate conversion is designed to reduce artifacts such as motion jerkiness, judder, blurring and blocking on projected images. Automatic white balance is a function to provide illuminant independent captured image quality by cellular phone camera. Also, this thesis proposes image quality evaluation methods for digital copiers with the scanner and printer functionality. Image quality of copying function is affected by the performance of scanning and printing imaging chain. Thus, image quality evaluation should be developed to optimize the performance among the devices. This thesis presents iii

8 Abstract quantitative evaluation algorithm for color fringe, character quality and noise. Color fringe in this thesis indicates the perceived degree of artifacts having different colors on the edges of objects. It is mainly due to the sensor misalignment, scanner motion variability and optical aberration. Character quality represents degree of faithful reproduction of characters. Also, defects on the characters such as voids, graininess and missing serif should be considered. Noise in this paper denotes the perceived degree of artifacts such as graininess and mottle on the copied image. In this paper, the contrast enhancement method based on image quality evaluation is proposed. The proposed method is based on the fact that when cumulative distribution functions (CDF) of images are similar, contrast of these images can be improved by applying the same tone mapping function. Thus, decision method of optimal tone mapping function based on CDF categorization is proposed. iv

9 목차 목차 요약... i Abstract... iii 제 1 장서론 연구배경 연구대상 영상장치특성에기반한화질개선방법 인간시각특성에기반한화질평가방법 화질평가에기반한 contrast 개선방법 논문의구성 제 2 장영상장치특성에기반한화질개선방법 측색학적모델링을이용한화이트좌표결정및화이트밸런싱방법 화이트좌표결정및화이트밸런싱방법 SOM에대한색재현특성화방법 화이트좌표결정방법 화이트밸런싱방법 실험결과 가변블록을이용한프레임변환방법 프레임변환방법 가변블록을이용한움직임벡터예측방법 v

10 목차 유사도평가에기반한움직임벡터의보상방법 실험결과 입력영상에적응적인자동화이트밸런스방법 자동화이트밸런스방법 영상분류방법 단색영상에대한자동화이트밸런스방법 다색영상에대한자동화이트밸런스방법 실험결과 검토 제 3 장인간시각특성에기반한화질평가방법 스캔영상의컬러프린지평가방법 컬러프린지의화질요소결정방법 컬러프린지평가모델설계방법 실험결과 스캔영상과복사영상에대한글자화질평가방법 글자화질요소결정방법 글자화질평가모델설계방법 실험결과 복사영상의노이즈평가방법 복사영상의노이즈인지특성분석 노이즈인지분석에기반한정량화방법 vi

11 목차 실험결과 검토 제 4 장화질평가에기반한 contrast 개선방법 최적의계조사상함수결정방법 K-means 클러스터링을이용한영상분류방법 실험결과 검토 제 5 장결론및추후연구과제 결론 추후연구과제 참고문헌 vii

12 표목차 표목차 표 2.1 Planckian 방사체의색온도별 xy값 표 2.2 화이트좌표선정방법 표 2.3 화이트밸런스방법에의한 RGB LUT 산출결과 표 2.4 실험비디오클립 표 2.5 평균 PSNR의비교 표 2.6 색상변화가있는블록의개수, 블록들의색상과채도편차 표 2.7 단색영상에대한 ΔE(i) 와 Q AWB 평가결과 표 2.8 광원별그림 2.36 (b) 와 (f) 사이의색상차이 표 2.9 그림 2.37의다색영상에대한 ΔE(i) 와 Q AWB 평가결과 표 개무채색패치의채도계산결과 표 2.11 밝은영역이없는영상에대한 ΔE(i) 와 Q AWB 평가결과 표 2.12 특정색상이많이포함된영상에대한무채색패치의채도계산결과 85 표 3.1 f H 계산방법의예 표 3.2 컬러프린지에대한시각평가결과 표 3.3 그림 3.25에대한 raggedness 정량화의예 표 3.4 스캔영상의글자화질에대한시각평가결과 표 3.5 글자화질평가모델들의상관계수 표 3.6 두께정량화결과의비교 표 3.7 Sharpness 정량화결과의비교 표 3.8 Raggedness 정량화결과의비교 표 3.9 CSF 적용전후결과 표 3.10 Q noise 결과 표 3.11 기존방법과제안하는방법의비교 표 4.1 그림 4.13의영상들에대한계조사상함수및 CDF의유사도 표 4.2 그림 4.13에대한시각실험결과 표 4.3 TMF 및 CDF의유사도 표 4.4 실험영상세트 표 4.5 CDF와 TMF에대한 RMSE viii

13 그림목차 그림목차 그림 1.1 디지털영상입출력기기... 1 그림 1.2 화질에대한연구분야... 3 그림 1.3 디지털영상기기의디지털컨버전스... 5 그림 1.4 초소형프로젝터... 7 그림 1.5 화질개선과화질평가의관계 그림 2.1 SOM을통해디스플레이된 RGB 램프영상 그림 2.2 화이트밸런싱개선방법의흐름도 그림 2.3 SOM에대한색재현특성화과정의흐름도 그림 2.4 SOM과 LCD의구동방식 그림 2.5 상수 C 결정을위한 SOM 구동방식 그림 2.6 시뮬레이션영상과 SOM을통해디스플레이된영상의비교 그림 2.7 색도좌표에서후보색온도좌표 그림 2.8 화이트좌표선정방법의흐름도 그림 2.9 장치별 RGBK에대한색도좌표 그림 2.10 화이트밸런싱방법의흐름도 그림 2.11 실험에적용된감마커브 그림 2.12 시뮬레이션영상 그림 2.13 화이트밸런싱방법의성능평가결과 그림 2.14 화질개선기술의적용여부에의한시뮬레이션영상 그림 2.15 화이트밸런싱적용결과 그림 2.16 프레임변환기술 그림 2.17 프레임변환방법의흐름도 그림 2.18 움직임벡터의예측방법에대한흐름도 그림 2.19 움직임예측방법에서사용된클래스별블록의크기 그림 2.20 예측된움직임벡터와보간프레임 (Frame No. 27) 그림 2.21 움직임벡터의보정방법에대한흐름도 그림 방향으로인접한블록 그림 2.23 프레임별 PSNR[dB] 비교 그림 2.24 비디오클립 Football (Frame No. 83) ix

14 그림목차 그림 2.25 비디오클립 Garden (Frame No. 29) 그림 2.26 보간프레임에적용된블록 그림 2.27 움직임벡터보정방법적용결과 그림 2.28 자동화이트밸런스 그림 2.29 다양한색상으로구성된영상에대한 GWA 적용 그림 2.30 단일색상으로된영상에대한 GWA 적용 그림 2.31 자동화이트밸런스방법의흐름도 그림 2.32 영상분류방법 그림 2.33 영상분류에따른색상변화영역검출결과 그림 2.34 선형변환행렬의제작흐름도 그림 2.35 변환행렬제작에사용된단색패치 그림 2.36 단색영상에대한자동화이트밸런스결과 그림 2.37 다색영상에대한자동화이트밸런스결과 그림 2.38 밝은영역이없는영상에대한자동화이트밸런스결과 그림 2.39 특정색상이많이포함된영상의자동화이트밸런스결과 그림 2.40 자동화이트밸런스성능평가를위한일반영상의예 그림 2.41 그림 2.40 (a) 에대한자동화이트밸런스결과 그림 2.42 그림 2.40 (b) 에대한자동화이트밸런스결과 그림 3.1 스캔영상의화질평가항목 그림 3.2 인쇄영상의화질평가항목 그림 3.3 컬러프린지와글자화질평가방법의흐름도 그림 3.4 노이즈평가방법의흐름도 그림 3.5 컬러프린지실험패턴 그림 3.6 스캔영상의컬러프린지발생예 그림 3.7 수직선들의밝기와채도 그림 3.8 컬러프린지검출방법의흐름도 그림 3.9 f H 계산방법의예 그림 3.10 컬러프린지평가모델의설계흐름도 그림 3.11 컬러프린지평가에대한쌍대비교방법 그림 3.12 정량적평가수치와정성적평가수치의상관관계 그림 3.13 성능평가에대한예 (Case1) x

15 그림목차 그림 3.14 성능평가에대한예 (Case 2) 그림 3.15 성능평가에대한예 (Case 3) 그림 3.16 Ground truth data를위한스캔영상들 그림 3.17 그림 3.45에대한 ground truth data 그림 3.18 컬러프린지검출결과의예 그림 3.19 검출정확도비교 그림 3.20 T c 와 T e. 에의한검출정확도 그림 3.21 글자화질실험패턴 그림 3.22 스캔영상의글자화질예 그림 3.23 복사영상의글자화질예 그림 3.24 글자영역의분류 그림 3.25 Raggedness 정도가다른영상의예 그림 3.26 실험에사용된정량화필터 그림 3.27 글자화질평가모델의설계흐름도 그림 3.28 f CON 과화질사이의관계 그림 3.29 f THI 와화질사이의관계 그림 3.30 f SHA 와화질사이의관계 그림 3.31 f RAG 와화질사이의관계 그림 3.32 스캔영상의글자들에대한 Q scan 수치와 JND 사이의관계 그림 3.33 스캔영상에대한글자화질평가룰러 그림 3.34 복사영상의글자들에대한 Q cpoy 수치와 JND 사이의관계 그림 3.35 복사영상에대한글자화질평가룰러 그림 3.36 두께의정도가다르게인지되는글자 그림 3.37 Sharpness 정도가다르게인지되는글자 그림 3.38 글자의위치별평균계조 그림 3.39 Raggedness 정도가다르게인지되는글자 그림 3.40 글자영역별분류결과 그림 3.41 노이즈실험패턴 그림 3.42 복사된색상패치들의예 그림 3.43 균일성분석을위한실험영상의예 그림 3.44 실험영상 A와 B에대한방사형파워스펙트럼 xi

16 그림목차 그림 3.45 밝기에따른균일성실험영상 그림 3.46 실험영상 C와 D에대한방사형파워스펙트럼 그림 3.47 노이즈정량화방법 그림 3.48 노이즈정량화에적용된 CSF 그림 3.49 평균 L* 에대응되는가중치커브 그림 3.50 CSF 적용결과 그림 4.1 Contrast 정도가다르게표현된영상들 그림 4.2 Contrast의인지정도와정량화수치의관계 그림 4.3 Contrast 정량화수치와화질의관계 그림 4.4 제안하는 contrast 개선기술의흐름도 그림 4.5 최적계조사상함수결정과정 그림 4.6 유전알고리즘에의한계조사상함수조정방법의흐름도 그림 4.7 교환연산의예 그림 4.8 돌연변이연산의예 그림 4.9 카테고리방식의시각실험예 그림 4.10 데이터베이스구성의예 그림 4.11 누적분포함수의유사도가높은서로다른영상의예 그림 4.12 주어진실험영상과 contrast 증가를위한계조사상함수들 그림 4.13 contrast 정도가다르게제작된실험영상들 그림 4.14 그림 4.13에대한화질시각실험결과 그림 4.15 CDF 분류방법에대한흐름도 그림 4.16 입력영상과선호영상 그림 4.17 그림 4.16의입력영상에대한 CDF와 TMF 그림 4.18 CDF 분류결과 그림 4.19 클래스별 TMF 그림 4.20 영상개수에대한클래스의개수 그림 장에대한 CDF 분류결과의예 그림 4.22 데이터베이스의평균 TMF 적용결과의예 그림 4.23 선호영상의 CDF와평균 TMF가적용된영상의 CDF 비교 그림 4.24 기존방법들과제안하는방법의비교 (Case1) 그림 4.25 기존방법들과제안하는방법의비교 (Case2) xii

17 그림목차 그림 4.26 기존방법들과제안하는방법의비교 (Case3) 그림 4.27 기존방법들과제안하는방법의비교 (Case4) 그림 4.28 기존방법들과제안하는방법의비교 (Case5) 그림 4.29 기존방법들과제안하는방법의비교 (Case6) xiii

18 제 1 장서론 제 1 장서론 1.1. 연구배경유무선인터넷의보급, 통신및영상출력기기관련기술의발전으로인해디지털영상기기의보급이빠르게진행되고있다. 디지털영상기기는그림 1.1 과같이입력기기와출력기기로분류할수있다. 디지털영상입력기기는디지털카메라, 캠코더, 스캐너등이있다. 디지털영상출력기기는다시소프트카피라고부르는디스플레이기기와하드카피라고부르는프린팅기기로구분할수있다. 디스플레이의대표적기기로는 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), LED(Light Emission Display), AMOLED(Active Matrix Organic LED) 등의 TV와 PMP, 휴대폰, 프로젝터를들수있다. 그리고프린팅기기로는프린터, 복사기등을들수있다. Digital Input/output Devices Digital Input Devices Digital Output Devices Digital Camera Camcorder Scanner etc. (Softcopy) Display Devices TV PMP Mobile phone Projector etc. (Hardcopy) Printing Devices Printer Copier etc. 그림 1.1 디지털영상입출력기기 Fig. 1.1 Digital image input and output devices 1

19 제 1 장서론 다양한영상입출력기기가널리사용되면서영상입출력기기에서의화질은제품의성능을결정하는주요요인들중의하나가되었다. 디스플레이의화질을좌우하는요인으로는외부입력영상신호와의인터페이스, 노이즈제거, 주어진디스플레이의화소수, 계조수및프레임수에적합한영상변환, 컬러처리및재현등이있다. 제조사별로이와같은기능을영상엔진이라부르며고유의이름을갖는영상엔진을내세워화질의우위를알리고있다. 대표적인예로삼성전자의 DNIe, LG전자의 XD 가있다. 최근에는 3D 입체감과선호색또는기억색기반의컬러재현에대한영상엔진의개발이활발하게진행되고있다. 모바일환경에서사용되는디스플레이기기는일반적인 TV 디스플레이에비해다양한시청환경을갖고있다. 예를들어휴대폰디스플레이, PMP, 네비게이터등은어두운조명환경뿐만아니라밝은야외조명환경하에서도사용되기때문에다양한시청환경에적응적인화질개선기술에대한연구가진행되고있다. 최근에는휴대폰의크기가대형화되면서디스플레이의액정크기및해상도와관련한화질연구가주목받고있다. 프린터 / 복사기는오랜시간화질을중시해온분야이다. 고화질을얻기위한시도로영상의내용에따라적절한개선기술을적용하는방법, 다계조처리방법, 복사원본상태에따른화질향상기술등의연구가진행되고있다. 최근에는모바일기기나와이파이환경과연계된출력환경에대한요구가높아지면서모바일프린팅을통한고화질영상출력에대한연구또한진행중에있다. 2

20 제 1 장서론 이와같은화질연구분야는그림 1.2와같이화질개선연구와화질평가연구로분류할수있다 [1]. 화질개선연구는장치특성에따라장치의존적 (Device dependent) 그리고독립적 (Device independent) 인것으로구분한다. 주어진장치특성에의한화질관련이슈는장치의존적인연구로, 그렇지않은경우는장치독립적인연구로분류된다. 예를들어, 모션블러 (Motion blur) 와시야각 (viewing angle) 은 LCD와관련된화질이슈로장치특성에의존적으로화질개선연구가수행되어야한다. 이와다르게컬러매칭 (Color matching) 과선호색재현 (Preferred color reproduction) 등은장치특성에독립적으로화질개선연구가수행되어야한다. Image quality Enhancement Device dependent method Device independent method Evaluation Subjective method Objective method 그림 1.2 화질에대한연구분야 Fig. 1.2 A field of image quality research 3

21 제 1 장서론 화질평가연구는화질개선방법을최적화하고기존의화질개선방법과성능을비교, 분석하기위해필요하다. 화질평가방법은정성적인방법 (Subjective method) 과정량적인방법 (Objective method) 으로구분된다. 정성적인방법은인간시각에의존하기때문에높은신뢰도를갖는다. 그러나많은시간과비용을필요로하는단점이있다. 이와달리측정또는계산에의한정량적인방법은시간, 장소등과같은실험환경에구애받지않고, 적은비용으로평가를수행할수있다. 이와같은정량적평가방법이의미를갖기위해서는정성적평가와높은상관관계를갖도록개발되어야한다. 4

22 제 1 장서론 1.2. 연구대상디지털기술의융합으로새로운형태의제품이나서비스를제공하는디지털컨버전스제품이시장에서큰주목을받고있다. 디지털영상입출력기기분야에서휴대폰은대표적인디지털컨버전스제품으로그림 1.3과같이디지털카메라뿐만아니라초소형프로젝터의기능을포함하며다기능화되어가고있다. 또다른영상출력기기인프린터및복사기분야는스캐너, 프린터, 복사기등의기능이결합된디지털복합기가시장에일반화되어가고있는추세이다. 본논문에서는이와같이다양한기능들이결합된디지털영상입출력장치의화질개선, 화질평가그리고화질평가에기반한화질개선연구를수행한다. Digital Input/output Devices Digital Input Devices Digital Output Devices (Softcopy) Display Devices (Hardcopy) Printing Devices Digital Camera Camcorder Scanner TV PMP Mobile phone Projector Printer Copier MFP Multifunction Cell phone 그림 1.3 디지털영상기기의디지털컨버전스 Fig. 1.3 Digital convergence of digital imaging devices 5

23 제 1 장서론 영상장치특성에기반한화질개선방법본논문의화질개선연구는휴대폰에결합된초소형프로젝터와카메라를대상으로하며영상장치특성에의한화질문제를해결한다. 예를들어휴대폰에결합되는초소형프로젝터는언제어디서든큰화면으로영상을확대하여볼수있고, 카메라는언제, 어디서든촬영을가능하게한다. 그러나이들은휴대폰의휴대성과편의성을목적으로개발되었기때문에독립적인기능의장치보다화질이다소떨어진다. 초소형프로젝터의경우, 초소형크기, 소모전력, 구동방식등에의한화질문제의개선이필요하고, 휴대폰카메라또한사용가능한메모리와계산량의제약으로일반디지털카메라가갖는고화질영상을표현하기어렵다. (1) 화이트좌표결정및화이트밸런싱방법그림 1.4는초소형프로젝터의예를나타낸것이다. 초소형프로젝터는디스플레이크기가 5인치미만인멀티미디어장치들이갖는화면크기의제약을극복할수있는장치이다. 초소형프로젝터방식에는 3-LCD[2], DLP(Digital Light Processing)[3-5], LCOS(Liquid Crystal On Silicon)[6-7], SOM(Spatial Optical Modulator)[8-9] 등이있으며, 본논문의연구대상은 SOM 방식의초소형프로젝터이다. SOM은 480개의거울로구성된수직선빔 (vertical line beam) 을수평방향으로스캐닝하고, 거울의높낮이를조절하여영상을구현한다. 그리고 R, G, B 레이저다이오드 (laser diode) 를광원으로사용한다. R, G, B 레이저다이오드를디스플레이장치의광원으로사용함으로써일반디스플레이보다 6

24 제 1 장서론 넓은색역을표현할수있다. 그러나각다이오드의세기 (power) 가달라회색 (neutral gray) 및저계조부분에서색조현상 (color shift) 이발생한다. 이와같은색조현상은디스플레이의색보정으로개선될수있다. 디스플레이의색보정방법에는감마보정, 색상매칭, 선호색재현, 색역사상그리고화이트밸런싱등이있다. 이와같은색상보정기술을디스플레이에적용하기위해가장먼저수행되어야할작업이디스플레이의화이트좌표를결정하는것이다. 일반적으로화이트좌표를정의하는기준으로색온도와휘도가사용된다. 기존의방법은 trial & error로화이트좌표를나타내는 RGB 조합을결정한다. 본논문에서는측색학적모델링으로화이트좌표를선정하는방법과회색및저계조의색조현상을저감하는화이트밸런싱방법을제안한다. 그림 1.4 초소형프로젝터 Fig. 1.4 Micro projection display 7

25 제 1 장서론 (2) 프레임변환방법초소형프로젝터는 5인치미만의멀티미디어장치에서시청하던 T-DMB 영상을큰화면으로볼수있게한다. 그러나프로젝터를통해확대된 T-DMB 영상은프레임비율이낮아작은크기의영상에서인지되지않는움직임저더 (motion judder), 움직임블러링 (motion blurring), 블로킹아티팩트 (blocking artifacts) 등이발생한다. 초소형프로젝터로디스플레이되는 T-DMB 영상의화질을개선하기위한방법으로프레임변환기술이있다. 프레임변환은낮은프레임비율의동영상을높은프레임비율의동영상으로변환하는기술로비디오코딩, 비디오포맷변환분야에서널리연구되고있으며, LCD TV의모션블러를저감하기위한방법으로적용되고있다 [12-13]. 제안하는프레임변환방법은블록의움직임정도 (motion level) 에따라블록타입을 motion block 과 no-motion block 으로분류하고, 블록의타입에따라블록크기와탐색영역 (search window) 을결정한다. No-motion block 으로결정된인접블록들을하나의블록으로병합하고, 작은크기의탐색영역을적용한다. 따라서블록병합및블록매칭과정에서수행되는계산량을줄일수있다. 또한예측된움직임벡터의정확성을높이기위해움직임벡터의보정기술을제안한다. (3) 자동화이트밸런스방법카메라의화질향상을위한영상처리기술에는색보정 (color correction), 자동포커스 (auto focus), 자동노출 (auto exposure), 자동화이트밸런스 (AWB, Auto White Balance) 등이있다. 본논문은휴대폰카메라의화질개선연구중자동 8

26 제 1 장서론 화이트밸런스를대상으로한다. 자동화이트밸런스는광원에의한색의변화를저감하기위한방법이다. 기존의방법들은다양한색상을갖거나밝은영역이있는영상을대상으로자동화이트밸런스를수행한다 [22-24]. 따라서입력영상이단일색상이거나밝은영역을포함하지않는경우, 색상이왜곡되어보정된다. 본논문에서는이와같은문제를해결하기위해입력영상에적응적으로화이트밸런스가수행되는방법을제안한다. 입력영상을단일색상을가진영상과다양한색상을가진영상으로분류하고, 각각을클래스1(Class 1) 과클래스2(Class 2) 로구분한다. 클래스 1으로분류된영상들은색상변화가작고, 단일색상으로구성되어화이트밸런스수행을위한광원정보의추정이매우어렵다. 제안하는방법은광원정보에의해보정된영상과보정전영상의관계를선형변환식으로모델링하여색상을보정한다. 클래스 2로분류된영상은영상분류를위해검출되었던다양한색상정보를이용하여보정한다 인간시각특성에기반한화질평가방법본논문의화질평가연구는복합기의구성요소인스캐너와프린터를대상으로한다. 스캐너에의해디지털화된영상은디스플레이장치에의해표시되거나, 파일로서저장매체에저장되거나또는네트워크를통해전송될수있다. 또한스캔영상은복사를위해영상처리용하드웨어에의해처리되고프린터를통해인쇄될수있다. 따라서복합기의성능은스캔영상과복사영상의화질에의해결정되기때문에제품간성능비교및최적화를위한화질평가방법이개발되어야한다. 9

27 제 1 장서론 (1) 컬러프린지평가방법스캔영상의컬러프린지는오브젝트 (object) 의경계에서발생하는컬러아티팩트로정의된다. 이것은센서미정렬 (sensor misalignment), 스캐너캐리지 (scanner carriage) 의변동그리고광학수차 (optical aberration) 로인해발생한다. 본논문의목적은스캔영상의컬러프린지에대한정량적평가모델을제안하는것이다. 컬러프린지의인지정도에영향을주는중요화질요소들을확인하기위해예비시각실험을수행한다. 중요화질요소들은시각실험에참가한평가자들의인터뷰결과를바탕으로선정된다. 또한각화질요소들의특징을수치화하기위한정량화방법이제안된다. 제안하는평가모델은각화질요소들의정량화수치와시각실험에기반한 JND 점수의선형결합으로설계한다. (2) 글자화질평가방법글자의화질은가독성 (legibility) 또는외양 (appearance) 로평가될수있다. 글자의가독성은인지가능한글자의최소크기또는판독가능한글자의개수로평가될수있다. 글자의외양은영상입출력장치에의한글자의재현정도를나타내는것으로 contrast, sharpness, raggedness 등의화질요소를평가하는것이다. 본논문에서는인간시각과높은상관도의글자화질평가모델을제안한다. 글자의인지정도에영향을주는중요화질요소들을확인하기위해예비시각실험을수행한다. 중요화질요소들은시각실험에참가한평가자들의인터뷰결과를바탕으로선정된다. 또한각화질요소들의특징을수치화하기위한정량화방법을제안한다. 글자화질평가모델은화질요소에대한화질 JND의 10

28 제 1 장서론 선형결합으로설계한다. (3) 노이즈평가방법영상에서노이즈는본래신호에서없었던원치않는신호가발생된것을의미한다. 복사영상에서노이즈는단일색상패치 (constant color patch) 에낟알무늬, 얼룩무늬, 또는물결무늬등이규칙적또는불규칙적으로발생하여불균일 (non-uniformity) 하게인지되는것으로정의된다. 제안하는노이즈평가방법은글자화질평가및컬러프린지평가방법과다르게복사영상의노이즈특성분석결과에기반한다. 공간주파수에서저주파성분의발생정도와노이즈의인지정도에미치는영향그리고복사영상의밝기와노이즈인지관계를분석한다. 제안하는방법은 CSF(Contrast Sensitivity Function) 를가중치함수로이용하여공간주파수상에서저주자수의양을정량화하고, 복사영상의밝기에대한가중치를부여한다 화질평가에기반한 contrast 개선방법화질평가와화질개선은그림 1.5와같이상호유기적인관계를갖는다. 화질개선방법들은화질평가를통해성능이비교평가되어야하며, 화질평가결과에의해최적화되도록개발되어야한다. 본논문에서는화질평가에기반한 contrast 개선방법을제안한다. Contrast는흑백과백색의휘도비로정의되며, 하드웨어적인방법과소프트웨어적인방법으로개선될수있다. 하드웨어적방법이란검정색을더욱어둡게백색을더욱밝게하여개선된휘도특성을나타내 11

29 제 1 장서론 도록하는것이다. 소프트웨어적인방법이란주어진화면에서밝은부분의영상데이터를더욱밝게, 어두운부분의영상데이터는더욱어둡게변환함으로써, 하드웨어적으로동일한조건하에서시각으로인식되는 contrast를증가시키는것이다. 기존의 contrast 개선방법으로영상의히스토그램이 [56-61] 나감마 [62-63] 를조정하는방법들이있다. 기존의방법들은간단하고효과적으로영상의 contrast를증가시킨다. 그러나화질측면을고려한 contrast 개선방법에대한연구는매우드물다. 예를들어 contrast가과도하게증가하는경우, 영상의화질은저하된다. 다시말해영상의화질은 contrast가증가함에따라증가하다감소한다 [44]. 따라서, 영상의 contrast는선호화질이되도록개선되어야한다. 제안하는방법은입력영상의누적분포함수가유사한경우동일한계조사상함수를적용하여최적의화질을갖도록 contrast 개선이가능함을제시한다. 또한입력영상에대응하는최적계조사상함수결정방법과영상들의분류방법을제안한다. Original scene I/O device Image processing system Human Visual System Good Enhanced image Bad Image quality enhancement Image quality evaluation 그림 1.5 화질개선과화질평가의관계 Fig. 1.5 Correlation between image quality enhancement and evaluation 12

30 제 1 장서론 1.3. 논문의구성본논문의 2장영상장치특성에기반한화질개선 에서는휴대폰과결합된초소형프로젝터와디지털카메라의화질개선방법을제안한다. 2.1절측색학적모델링을이용한화이트좌표선정과화이트밸런싱방법 은초소형프로젝터의색보정에대한화질개선방법이다. 2.2절가변블록을이용한프레임변환방법 은초소형프로젝터를통해확대된동영상의화질개선방법이다. 2.3절입력영상에적응적인자동화이트밸런스방법 은휴대폰카메라로촬영된영상에대해광원에의한사물의색변화를저감하기위한화질개선방법이다. 3장인간시각특성에기반한화질평가 에서는복합기의구성요소인스캐너와복사기의화질평가방법을제안한다. 3.1절컬러프린지평가 에서는스캔영상의컬러프린지인지정도를정량화하는방법이다. 3.2절글자화질평가 에서는스캔영상과복사영상에대한글자화질평가방법을제안한다. 3.3절노이즈평가 는복사영상의노이즈정도를정량화하기위한평가방법이다. 4장에서는 화질평가에기반한 contrast 개선방법 을제안한다. 마지막 5장결론 에서는위에서제시한화질개선연구와화질평가연구들을정리하고결과를도출한다. 결과를토대로향후연구과제에대하여고찰한다. 13

31 2.1 화이트좌표선정및화이트밸런싱 제 2 장영상장치특성에기반한화질개선방법 본장에서는영상장치특성에기반한화질개선방법을제안한다. 연구대상은휴대폰에결합된초소형프로젝터와디지털카메라이다. 초소형프로젝터는디스플레이크기가 5인치미만인멀티미디어장치들이갖는화면크기의제약을극복할수있는장치이다. 초소형프로젝터방식에는 3-LCD[2], DLP[3-5], LCOS [6-7], SOM[8-9] 등이있으며, 본논문의연구대상은 SOM 방식의초소형프로젝터이다. 본장에서는 SOM에대한화질개선연구로색재현을향상시키기위한화이트좌표선정및화이트밸런싱방법을제안한다. 그리고동영상의확대로인해발생하는움직임저더, 움직임블러링, 움직임블로킹등의아티팩트를저감하기위한프레임변환방법을제안한다. 휴대폰에장착된카메라는일반디지털카메라와작동원리나방식이비슷하다. 일반적으로화질과기능을중요시하는디지털카메라와달리휴대폰카메라는휴대성과편의성에초점을두기때문에화질이다소떨어진다. 또한사용가능한메모리와계산량의제약때문에디지털카메라가갖는고화질영상처리기술들의적용이어렵다. 따라서휴대폰카메라의단점을보완할수있는영상처리기술이필요하다. 휴대폰카메라의화질은색보정, 자동포커스, 자동노출, 자동화이트밸런스등의영상처리기술에의해향상될수있다. 본장에서는휴대폰카메라의화질개선연구중광원에의한색왜곡을저감하기위한자동화이트밸런스방법을제안한다. 14

32 2.1 화이트좌표선정및화이트밸런싱 2.1. 측색학적모델링을이용한화이트좌표결정및화이트밸런싱방법 SOM은 480개의거울로구성된수직선빔을수평방향으로스캐닝하고, 거울의높낮이를조절하여영상을구현한다. 그리고 R, G, B 레이저다이오드를광원으로사용한다. R, G, B 레이저다이오드를디스플레이장치의광원으로사용함으로써일반디스플레이보다넓은색역을표현할수있다. 그러나각다이오드의세기가달라회색및저계조부분에서색조현상이발생한다. 그림 2.1은 SOM을통해디스플레이된 RGB 램프영상이다. 회색및저계조부분이붉은색조로표현된것을확인할수있다. 이와같은색조현상은디스플레이의색보정으로개선될수있다. 그림 2.1 SOM 을통해디스플레이된 RGB 램프영상 Fig. 2.1 Projected RGB ramp image from SOM 15

33 2.1 화이트좌표선정및화이트밸런싱 디스플레이의색보정방법에는감마보정, 색상매칭, 선호색재현, 색역사상그리고화이트밸런싱등이있다. 이와같은색상보정기술을디스플레이에적용하기위해가장먼저수행되어야할작업이디스플레이의화이트좌표를결정하는것이다. 일반적으로화이트좌표를정의하는기준으로색온도와휘도가사용된다. 기존의방법은 trial & error로화이트좌표를나타내는 RGB 조합을결정한다. 본절에서는측색학적모델링으로화이트좌표를선정하는방법과회색및저계조부분의색조현상을저감하기위한화이트밸런싱방법을제안한다 화이트좌표결정및화이트밸런싱방법그림 2.2는제안하는화이트밸런싱방법의흐름도를나타낸것이다. 제안하는방법은오프라인과정에서 RGB LUT 형태로구현되고, 온라인과정중, 색보정단계에적용된다. 화이트좌표선정과화이트밸런싱과정을위해 SOM에대한색재현특성화작업이선행적으로수행되어야한다. 색재현특성화작업이란입력색좌표와측정색좌표의관계를모델링하는것이다. 제안하는화이트좌표선정과화이트밸런싱은 SOM의색재현특성화에의한측색학적모델링기술이적용된다. 16

34 2.1 화이트좌표선정및화이트밸런싱 Off-line SOM characterization Systematic selection of white point On-line White balancing Input image RGB LUT Color calibration stage Output image 그림 2.2 화이트밸런싱개선방법의흐름도 Fig. 2.2 Flow chart of white balancing method SOM에대한색재현특성화방법그림 2.3은 SOM에대한색재현특성화과정의흐름도를나타낸것이다. 색좌표 RGB를디스플레이장치에입력한후, spectro-radiometer를이용하여디스플레이장치를통해재현된색좌표 XYZ를측정한다. 본절에서는 RGB set에대응하는출력색좌표 XYZ를측정한다. SOM의경우, LCD 또는 PDP와같은평판디스플레이와달리시간분할방식에의해영상을디스플레이하기때문에측정색좌표와눈으로인지한색좌표사이에밝기와색이다르다. 측정색좌표와눈으로인지된색좌표를일치시키기위해, 측정색좌표에 17

35 2.1 화이트좌표선정및화이트밸런싱 일정비율의상수 C 를곱해주고, 백색변환 (white conversion) 을수행한다. Input RGB XYZ C White Conversion X Y Z 측정 밝기고려 색고려 그림 2.3 SOM 에대한색재현특성화과정의흐름도 Fig. 2.3 Flow chart of color characterization for SOM 그림 2.4는 SOM과 LCD 구동방식의예를나타낸것이다. LCD는컬러영상을디스플레이하기위해 R, G, B 채널의화소를동시에 turn on한다. 이와다르게 SOM은한채널의영상을표현하기위해 480개의거울로구성된수직선빔을수평방향으로스캐닝한다. 한프레임의영상을표현하기위해 LCD는 1 초에 60Hz의구동주파수를갖고, SOM은 240Hz의구동주파수에시간분할방식으로동작한다. SOM은각채널을매우빠른속도로스캐닝한다. 따라서 R, G, B 채널이동시에 turn on되어있는것으로인지된다. 그러나 spectro-radiometer는측정순간에 turn on/off되어있는화소들을대상으로색좌표를계산한다. 따라서측정색좌표의밝기와색이인지되는것과다른것이다. 측정색좌표 XYZ의밝기를보정하기위해, 일정비율의상수 C를곱한다. 상수 C는 SOM의구동방식에의해 turn on/off 되는화소의비율과측정된휘도사이의관계분석으로결정된다. 그림 2.5는상수 C 결정을위한 SOM 구동방 18

36 2.1 화이트좌표선정및화이트밸런싱 식의예를나타낸것이다. SOM 은 하기위해, 1 초동안한개의프레임을디스플레이 초에 480개의거울로구성된수직선빔을수평방향으로 스캐닝한다. 그림 2.5 에나타낸측정영역의 N 개화소가 on/off 되어측정될수있는휘도는각각 Y ref 640, 1 초동안 turn 240 Y screen 639 로표현할수있다. 640 식 (2.1) 은 1 초동안 turn on/off 되는화소수와측정휘도사이의관계를나타낸 것이다. YrefR + Yscreen YrefR + Yscreen Y m = (2.1) YrefB + Yscreen YrefG + Yscreen 여기서 Y m 은측정휘도를나타낸다. Y refr, Y refg, Y refb 는각각 RGB 반사휘도를의미한다. 또한 Y ref 는측정영역내반사된 (G+B+R+R) 휘도를 Y screen 은배경의휘도를나타낸다. Y screen 의측정휘도는 0에가깝기때문에식 (2.1) 은식 (2.2) 와같이단순화할수있다. 즉, 측정휘도 Y m 에곱해주어야할일정비율의상수 C 는식 (2.2) 를통해결정할수있다. YrefG + YrefB + YrefR + YrefR Yref Y m 60 = 60 (2.2)

37 2.1 화이트좌표선정및화이트밸런싱 /60 sec (4 frames) 1 sec (240 frames) (a) SOM 구동방식 1/60 sec (1 frame) 1 sec (60 frames) (b) LCD 구동방식 그림 2.4 SOM 과 LCD 의구동방식 Fig. 2.4 Image implementation method for SOM and LCD 20

38 2.1 화이트좌표선정및화이트밸런싱 1 sec (240 frames) /60 sec (4 frames) 1/240 sec (1 frame) 1/640 (vertical line beam) 그림 2.5 상수 C 결정을위한 SOM 구동방식 Fig. 2.5 Decision of constant C based on SOM characteristics 21

39 2.1 화이트좌표선정및화이트밸런싱 측정색좌표의색이인지되는색과다른이유는 Bezold-Bruceke effect[6] 현상때문이다. 본절에서는측정색좌표 XYZ의색을보정하기위해백색변환을수행한다. 백색변환을수행하기위해 SOM의색온도좌표를알아야한다. SOM의색온도좌표는 SOM을통해디스플레이된영상과후보색온도좌표별로시뮬레이션된영상들의비교로확인할수있다. 실제디스플레이된영상과가장일치하는시뮬레이션영상의색온도좌표가백색변환을위한색온도좌표가된다. 시뮬레이션영상은측색학적모델링기술을기반으로제작된다. 측정색좌표 XYZ에상수 C를곱하고, 후보색온도좌표로백색변환을수행한다. 보정된 X Y Z 색좌표에대해 Lab 변환을수행하고, srgb 모니터에서볼수있는색좌표 R G B 로변환하면, 후보색온도좌표별로시뮬레이션된영상을얻을수있다. 그림 2.6은색온도좌표별로시뮬레이션된영상들과 SOM을통해디스플레이된영상에대한비교를나타낸것이다. 디스플레이된영상과가장일치하는시뮬레이션영상의색온도좌표가 SOM의색온도좌표로결정된다. 그림 2.7은시뮬레이션에사용된색온도좌표의예를나타낸것이다. 22

40 2.1 화이트좌표선정및화이트밸런싱 Matched!! Simulated images Projected image on screen 그림 2.6 시뮬레이션영상과 SOM 을통해디스플레이된영상의비교 Fig. 2.6 comparison between simulated image and projected image from SOM y x 그림 2.7 색도좌표에서후보색온도좌표 Fig. 2.7 Example of candidate chromaticity coordinates 23

41 2.1 화이트좌표선정및화이트밸런싱 화이트좌표결정방법화이트좌표는디스플레이장치의색보정단계에서가장먼저결정되어야하는내용들중의하나이다. 일반적으로화이트좌표를정의하는기준으로색온도와휘도가사용된다. 기존의방법은화이트좌표를나타내는 RGB 조합을 trial & error로결정한다. 제안하는방법은측색학적모델링기술을적용하여목표색온도에서최대휘도를갖도록화이트좌표를결정한다. 그림 2.8은제안하는화이트좌표선정방법의흐름도를나타낸것이다. 먼저, 화이트좌표의 R, G, B 조합을결정하기위해, X Y Z -to-rgb 관계를 3 14의선형모델식으로정의한다. 목표색온도에대한화이트의색도좌표 (x, y) 는 black-body radiator 이론을기반으로결정한다 [11]. 표 2.1은색온도별색도좌표에대한예를나타낸것이다. 목표색온도에서최대휘도를갖는화이트를결정하기위해, 휘도의범위를설정한다. 예를들어, 표 2.2는목표색온도 3,500 K에대한화이트의후보좌표 (Y, x, y) 들을나타낸것이다. 목표색온도 3,500 K의색도좌표는 (0.407, 0.396) 이다. 따라서후보좌표들의색도좌표 (x, y) 는모두 (0.407, 0.396) 으로설정한다. 그리고후보좌표들의휘도는 0.1 간격을갖도록한다. 화이트의후보좌표 (Y, x, y) 는식 (2.3) 과식 (2.4) 를이용하여 (X, Y, Z) 좌표로변환한다. X x = X + Y + Z (2.3) Y y = X + Y + Z (2.4) 24

42 2.1 화이트좌표선정및화이트밸런싱 (X, Y, Z) 좌표들에대한 (R, G, B) 좌표들은 3 14의 XYZ-to-RGB 선형모델에의해계산된다. 후보 (R, G, B) 좌표들중, 255를초과하지않으면서최대휘도를갖는 (R, G, B) 좌표를화이트좌표로결정한다. 예를들어, 표 2.2에서 (R, G, B) 좌표값이 255를초과하지않고, 최대휘도를갖는 R, G, B 조합이 (242, 240, 255) 인것을확인할수있다. 또한 R, G, B 조합이 (242, 240, 255) 일때, 목표색온도 3500 K에서의최대휘도는 Y=30.3인것을알수있다. Model XYZ-to-RGB relationship Determine chromaticity coordinates (x,y) of white for the desired color temperature Determine range of light intensity (Y) and convert (Y,x,y) to (X,Y,Z) Calculate RGB coordinates for candidates of XYZ by X Y Z -to-rgb model Determine RGB values with maximum Y 그림 2.8 화이트좌표선정방법의흐름도 Fig. 2.8 Flowchart of the proposed white point selection method 25

43 2.1 화이트좌표선정및화이트밸런싱 표 2.1 Planckian 방사체의색온도별 xy 값 Table 2.1 xy values of Planckian radiator for different color temperatures 색온도 x y 1000K K K K K K K K K K K 표 2.2 화이트좌표선정방법 Table 2.2 Example of white selection procedure Y x y X Y Z R G B

44 2.1 화이트좌표선정및화이트밸런싱 화이트밸런싱방법 SOM은 G, B, R, R 순으로레이저다이오드를사용한다. 화이트의휘도를높이기위해 R 레이저다이오드를한번더스캐닝하는것과 R, G, B 레이저다이오드의세기차이는회색및저계조부분에서색조현상을유발한다. 그림 2.9 는장치별각채널 (R, G, B, K) 의계조변화에대한측정색좌표 (XYZ) 을색도좌표 (x, y) 로나타낸것이다. CRT, LCD 그리고 PDP의경우, 각채널별 (RGBK) 계조변화에상관없이색도좌표가일정하다. 이와달리 SOM은채널별계조변화에따라색도좌표가변한다. 더욱이 K의경우, 계조변화에따라색도좌표의변화가크다. 이것은계조마다색온도가일정하지않다는것을의미한다. 또한 SOM에의해디스플레이된회색및저계조영상에서색조현상이발생하는것과일치함을확인할수있다. 제안하는방법은채널별계조변화에따라색도좌표를일정하게유지하여회색및저계조부분의색조현상을저감한다. 27

45 2.1 화이트좌표선정및화이트밸런싱 y x y x (a) SOM (b) CRT y x y x (c) LCD (d) PDP 그림 2.9 장치별 RGBK 에대한색도좌표 Fig. 2.9 xy distribution of display device 28

46 2.1 화이트좌표선정및화이트밸런싱 그림 2.10은제안하는화이트밸런싱방법의흐름도이다. 목표하는감마커브가결정되면, 화이트의색도좌표와입력계조에대한휘도를조합하여 (Y, x, y) 좌표를결정한다. 그림 2.11은실험에적용된감마커브의예를나타낸것이다. 예를들어, 표 2.3에서 (Y, x, y) 좌표는목표색온도 3,500 K에대한색온도좌표 (0.407, 0.396) 와그림 2.11에나타낸감마커브를이용하여결정된것이다. (Y, x, y) 좌표는식 (2.3) 과식 (2.4) 에의해 (X, Y, Z) 좌표로변환된다. (X, Y, Z) 좌표들은 3 14의 XYZ-to-RGB 선형모델에의해 (R, G, B) 좌표로변환된다. 회색계조들의 (R, G, B) 좌표는색보정과정에서온라인으로적용되기위해 RGB LUT 형태로저장된다. 표 2.3은색온도 3,500 K에대해제안하는화이트밸런스방법을적용하여 RGB LUT를산출한결과이다. Determine the desired gamma curve Determine ideal coordinates (Y,x,y) for each step of neutral gray levels Convert (Y,x,y) to (X,Y,Z) Calculate RGB coordinates by XYZ-to-RGB model RGB LUT 그림 2.10 화이트밸런싱방법의흐름도 Fig Flowchart of white balancing method 29

47 2.1 화이트좌표선정및화이트밸런싱 Y Gray level 그림 2.11 실험에적용된감마커브 Fig Applied gamma curve in experiment 표 2.3 화이트밸런스방법에의한 RGB LUT 산출결과 Table 2.3 Example of RGB LUT Level Y x y X Y Z R G B

48 2.1 화이트좌표선정및화이트밸런싱 실험결과본절에서는제안하는방법의실험결과에대해설명한다. 그림 2.12는 SOM에대한색재현특성화에따라 SOM을통해디스플레이된영상의시뮬레이션결과를나타낸것이다. 측정색좌표 XYZ에상수 C와백색변환을적용함으로써측정색좌표와눈으로인지한색좌표사이에밝기와색차이가감소됨을시뮬레이션영상을통해확인할수있다. (a) 입력영상 (b) 상수 C 적용전영상 31

49 2.1 화이트좌표선정및화이트밸런싱 (c) 상수 C 적용후영상 (d) 백색변환적용후영상 (e) 촬영영상 그림 2.12 시뮬레이션영상 Fig Simulated images 32

50 2.1 화이트좌표선정및화이트밸런싱 화이트좌표선정방법의정확성을검증하기위해, SOM을통해디스플레이된화이트좌표의색온도및색좌표 (X, Y, Z) 를 spectro-radiometer로측정하고, 목표색온도및색좌표 (X, Y, Z) 와비교한다. 제안하는화이트좌표선정방법에의해목표색온도 3,500 K에대한화이트의 (R, G, B) 색좌표는 (242, 240, 255) 이다. SOM을통해디스플레이된화이트의색온도는 3,502 K로측정되었다. 이것은제안하는방법에의해목표색온도에서최대휘도를갖는화이트좌표의결정이가능하다는것을의미한다. 화이트밸런싱방법의성능은회색계조에포함되어있는채도 (chroma) 의정도로평가된다. 화이트밸런싱적용전후의회색계조들을 SOM을통해디스플레이하고, spectro-radiometer를이용하여 (X, Y, Z) 좌표를측정한다. 측정된 (X, Y, Z) 좌표를 CIE L*a*b* 좌표로변환하고, 식 (2.5) 에의해채도를계산한다. 2 2 chroma = a* + b* (2.5) 그림 2.13은제안하는화이트밸런싱방법에대한성능평가결과를나타낸것이다. 그림 2.13 (a) 는회색계조에대한색도좌표의일관성을확인할수있다. 화이트밸런싱방법적용전회색계조들의색도좌표는계조변화에따라달라진다. 이와달리화이트밸런싱방법을적용함에따라회색계조의색도좌표가수렴되었다. 그림 2.13 (b) 는회색계조별채도의정도를나타낸것이다. 화이트밸런싱방법을적용함에따라저계조의채도발생정도가현저히저감 33

51 2.1 화이트좌표선정및화이트밸런싱 된것을확인할수있다. 회색계조의평균채도가화이트밸런싱수행전 16.26에서화이트밸런싱수행후 6.56으로감소되었다. 이것은제안하는방법에의해저계조및회색계조의색조현상이효과적으로저감된다는것을의미한다 after correction before correction after correction before correction y Chroma x (a) 회색계조의색도좌표 Gray level (b) 회색계조별채도 그림 2.13 화이트밸런싱방법의성능평가결과 Fig Performance of the proposed white balancing method 34

52 2.1 화이트좌표선정및화이트밸런싱 그림 2.14는 Lena 영상을대상으로제안하는화이트좌표선정및화이트밸런싱방법의적용결과를시뮬레이션한것이다. 그림 2.14 (a) 는입력영상, 그림 2.14 (b) 는제안하는방법의적용전영상을시뮬레이션한것으로영상이전체적으로붉은색조로표현되었다. 그림 2.14 (c) 는제안하는방법의적용결과를나타낸것으로영상의붉은색조가저감된것을확인할수있다. (a) 입력영상 (b) 적용전 (c) 적용후 그림 2.14 화질개선기술의적용여부에의한시뮬레이션영상 Fig A result of the proposed enhancement method 35

53 2.1 화이트좌표선정및화이트밸런싱 그림 2.15는제안하는방법을 SOM에적용한후, 디지털카메라로촬영한영상이다. 그림 2.15 (a) 와 (b) 는제안하는방법의적용전후의영상이다. 그림 2.15가그림 2.14의시뮬레이션영상과유사함을확인할수있다. 또한제안하는화이트좌표선정및화이트밸런싱방법에의해저계조및회색계조부분의색조현상이개선됨을확인할수있다. (a) 적용전 (b) 적용후 그림 2.15 화이트밸런싱적용결과 Fig Result of the proposed enhancement method 36

54 2.2 프레임변환 2.2. 가변블록을이용한프레임변환방법 초소형프로젝터는 5인치미만의멀티미디어장치에서시청하던 T-DMB 영상을큰화면으로볼수있게한다. 그러나프로젝터를통해확대된 T-DMB 영상은프레임비율이낮아작은크기의영상에서인지되지않는움직임저더, 움직임블러링, 움직임블로킹등의아티팩트가발생한다. 초소형프로젝터로디스플레이되는 T-DMB 영상의화질을개선하기위한방법으로프레임변환기술이있다. 프레임변환기술은비디오코딩, 비디오포맷변환분야에서널리연구되고있으며, LCD TV의모션블러를저감하기위한방법으로적용되고있다 [12-13]. 그림 2.16은프레임변환기술을적용하여낮은프레임비율의동영상을높은프레임비율의동영상으로변환하는예를나타낸것이다. 옅은회색의사각형은초당 30프레임을갖는동영상을나타내고, 도트모양의사각형은프레임변환기술에의하여생성된프레임을나타낸것이다. 이와같이연속된프레임사이의움직임정보를예측하는방법으로 BMA(Block Matching Algorithm) 기술이널리사용되고있다. 계산의복잡도를최소화하고움직임벡터 (motion vector) 에대한예측을향상시키기위해, 다양한 BMA 기술들이제안되었다. 계산량을최소화하기위한방법으로 2D-logarithm search[14], three-step search[15], diamond search[16], 그리고 subsampled full search[17] 등이제안되었다. [18] 은부정확하게예측된움직임벡터로인해발생된아티팩트의저감방법을제안한다. [19] 는예측된움직임벡터들사 37

55 2.2 프레임변환 이의유사도에따라블록크기 (block size) 를결정하고, 움직임벡터가유사한블록들을하나의블록으로병합한다. 이와같은 BMA 기술들은두가지문제점이있다. 첫째, 움직임벡터가유사한블록들을하나의블록으로병합하기위해블록들사이의매칭 (matching) 정도를반복적으로수행하여계산량이많다. 둘째, 인접블록과다른움직임벡터를가지는경우, 블록킹및블러링아티팩트가발생한다. 블록매칭방법은최소정합오차만만족하면움직임이일치하는블록으로판단한다. 따라서실제움직임과불일치할수있고, 지역적인블록움직임에근거하여움직임을예측하기때문에블록내에서로다르게움직이는물체가존재하거나물체와배경영역이함께있는경우, 아티팩트가발생한다. x Original frames Interpolated frames y Previous frame t- t Current frame t 30fps input 60fps output frames frames 그림 2.16 프레임변환기술 Fig Frame Rate Up-Conversion technique 38

56 2.2 프레임변환 본절에서는초소형프로젝터에대한화질향상기술로프레임변환방법을제안한다. 제안하는프레임변환방법은블록의움직임정도에따라블록타입을 motion block 과 no-motion block 으로분류하고, 블록의타입에따라블록크기와탐색영역을결정한다. No-motion block 으로결정된인접블록들을하나의블록으로병합하고, 작은크기의탐색영역을적용한다. 따라서블록병합및블록매칭과정에서수행되는계산량을줄일수있다. 또한예측된움직임벡터의정확성을높이기위해움직임벡터의보정기술을제안한다 프레임변환방법제안하는방법은 30fps(frames per second) 로전송된 QVGA(Quarter Video Graphics Array, pixels) 급의 T-DMB 영상을대상으로프레임수를 2배로증가시키는방법이다. 그림 2.17은제안하는프레임변환방법의흐름도이며, 크게 3단계로구성된다. 첫째, 블록매칭방법으로인접프레임사이의움직임을예측한다. 둘째, 예측된움직임벡터의정확성을향상시키기위해움직임벡터의보정방법을적용한다. 셋째, 예측된움직임벡터를이용하여프레임보간 (frame interpolation) 을수행한다. 39

57 2.2 프레임변환 Previous frame Current frame Determine the frame type Non-transition type? N Y Motion estimation Motion vector refinement Frame interpolation 그림 2.17 프레임변환방법의흐름도 Fig Flow chart for frame rate conversion method 가변블록을이용한움직임벡터예측방법그림 2.18은제안하는움직임예측 (Motion Estimation) 방법에대한흐름도를나타낸것이다. 본절에서는블록의움직임정도에따라블록의크기를결정하며, 움직임정도는현재프레임과이전프레임에서동일위치에있는블록사이의 SAD(Sum of the Absolute Difference) 로예측한다 [20]. SAD의계산식은다음과같다. 40

58 2.2 프레임변환 L m n = f ( x, y) f n 1 ( x, y) (, ) n (2.6) ( x, y ) B( m, n) 여기서 f n (x, y) 은 n 번째프레임에서 (x, y) 위치에해당하는화소의계조를의미한다. B(m, n) 은 (m, n) 위치에해당하는 8 8 크기의블록이다. L(m, n) 이미리정해진문턱값보다크면 motion block 으로분류하고, 그렇지않은경우는 nomotion block 으로분류한다. 본절에서는이웃하는블록들의타입에따라움직임벡터예측에사용될블록의크기를 7개의클래스로분류한다. 그림 2.19는제안하는움직임벡터의예측방법에서정의한클래스별블록타입을나타낸것이다. 그림 2.19에서 1 은 no-motion block, 2 는 motion block 을의미한다. 이웃하는블록들이 nomotion block 으로분류된경우해당블록들을병합하여더큰블록으로만든다. 예를들어, 그림 2.19에서클래스 1은 no-motion block 으로분류된 8 8 크기의블록들을합하여 크기의블록으로만든것이다. 제안하는방법에서정의한블록의크기는 8 8, 8 16, 16 8, 16 16, 32 32이다. 탐색영역의크기는블록타입에의해결정된다. no-motion block 과 motion block 에대한탐색영역의크기는각각 ± 2 와 ± 7 이다. 즉, 블록의움직임이크 다고판단된경우에는크기가큰탐색영역을사용하고그렇지않은경우에는크기가작은탐색영역을사용한다. 41

59 2.2 프레임변환 Determine the block size and search window Backward ME Local minimum? N Y Forward ME Zero motion detection Minimum SAD>T SAD N Y ME with expanded search window Store the motion vectors End of block? END Y N Move to next 그림 2.18 움직임벡터의예측방법에대한흐름도 Fig Flow chart of the proposed motion estimation method 42

60 2.2 프레임변환 그림 2.19 움직임예측방법에서사용된클래스별블록의크기 Fig Classes of block size utilized in the proposed motion estimation 43

61 2.2 프레임변환 블록의크기와탐색영역의크기가결정되면, 그다음단계인움직임벡터예측을수행한다. 움직임벡터를결정하기위해, 현재프레임의블록과일치하는블록을이전프레임에서탐색한다. 본절에서는 SAD를사용하여블록사이의일치정도를계산한다. 이와같은과정을그림 2.18에표기한것과같이 Backward ME 라고한다. 움직임벡터예측의정확성을높이기위해, 탐색영역내에최소 SAD를갖는블록과유사한 SAD를갖는블록의개수를계산한다. 계산된블록의수가문턱값이상인경우탐색영역내에국소최저치 (local minima) 가존재할가능성이큰것으로판단한다. 이와같은경우, 현재프레임이참조프레임 (reference frame) 으로사용된다. 다시말해, 이전프레임의블록과일치하는블록을현재프레임에서탐색한다. 이와같은과정을본절에서 Forward ME 라고한다. 자막과같이이전프레임에서없던새로운시퀀스가현재프레임에서나타나면, Backward ME 는이전프레임을참조프레임으로사용하기때문에처리하고자하는블록과일치하는블록을찾기어렵다. 이와같은경우, 움직임벡터의정확성을높이기위해 Forward ME 를수행한다. 이론적으로 no-motion block 에대한움직임벡터의좌표는 (0, 0) 이다. 그러나탐색영역내에서계산된 SAD 수치들이모두 0이거나 0에가까우면움직임벡터가부정확하게예측된다. 이와같은문제를해결하기위해그림 2.18에나타낸것과같이 Zero motion detection 을수행한다. 움직임벡터의좌표가 (0, 0) 인곳의 SAD와탐색영역내에서계산된최소 SAD의차가미리정해진문턱값보다작으면, 움직임벡터의좌표를 (0, 0) 으로설정한다. 제안하는움직임벡터의예측방법은계산량과속도를향상시키기위해작은크기의탐색영역을 44

62 2.2 프레임변환 사용한다. 따라서블록의움직임이탐색영역보다큰경우, 예측된움직임벡터가부정확할수있다. 이와같은문제를해결하기위해, 탐색영역내에서계산된최소 SAD가 T SAD 보다크면탐색영역의크기를확대하고이미탐색된영역을제외한나머지영역에대하여탐색을수행한다. 본절에서는탐색영역의크기를 ± 14로확대한다 유사도평가에기반한움직임벡터의보상방법보간프레임의화질은예측된움직임벡터의정확도에의해결정된다. 정확도가낮은움직임벡터는모션블러나블로킹과같은아티팩트발생의원인이된다. 그림 2.20 (a) 는블록단위로예측된움직임벡터들의예를나타낸것이고, 그림 2.20 (b) 는그림 2.20 (a) 의움직임벡터들로보간한프레임이다. 배경영역에해당하는블록의움직임벡터는대부분 (0, 0) 이고, 주변블록들과다른움직임벡터를가진블록들에서아티팩트가발생됨을확인할수있다. 본절에서는예측된움직임벡터의정확성을높이기위한움직임벡터의보정방법을제안한다. 그림 2.21은제안하는움직임벡터의보정방법에대한흐름도를나타낸것이다. 제안하는방법은크게두단계로구성된다. 첫번째단계는현재블록과인접블록들에대한움직임벡터의유사도 (similarity) 에따라미디언필터링 (median filtering) 을수행한다. 그림 2.22는유사도계산에사용되는인접블록들 의예를나타낸것이다. 여기에서 Vi 는각블록들의움직임벡터를의미한다. V0와동일한성분의벡터가인접블록 Vi 에존재하면, 미디언필터링을수행하 45

63 2.2 프레임변환 46 지않는다. 그렇지않은경우, 0 V 를 i V (i=0,,4) 에대한미디언필터링결과로대체한다. 두번째단계는예측된움직임벡터의신뢰도 (reliability) 에따라움직임벡터를보정한다. 움직임벡터의신뢰도 HSAD(Half Sum of the Absolute Difference) 는다음식 (2.7) 에의해계산된다. = = + + = , 2 2, 2 M x N y y x n y x n v y v x f v y v x f HSAD (2.7) 여기서 M 과 N 은각각행과열의수를의미한다. (M=N=8). ), ( y x v v 은예측된움직임벡터를의미한다. HSAD 는현재프레임과이전프레임에대응하는블록을예측된움직임벡터와반대방향으로 2 1 크기만큼이동시킨위치에서의 SAD 를의미한다. 만약, 0 V 에대한 HSAD 가미리정해진문턱값보다작으면, 예측된움직임벡터를이용하여프레임보간을수행한다. 그렇지않은경우, i V (i=0,,4) 에대한 HSAD 를계산하고, 최소 HSAD 에해상되는블록의움직임벡터로 0 V 를대체한다. 제안하는움직임벡터의보정방법에따라움직임벡터들을개선한후, 프레임보간을수행한다 [21]. 보간프레임은식 (2.8) 을따른다. ( ) 2 2, 2 2, 2, = y x n y x n n v y v x f v y v x f y x f (2.8) 여기서 ), ( y x v v 는제안하는예측된움직임벡터의보정방법에따라개선된움직임벡터를의미한다.

64 2.2 프레임변환 (a) 블록단위로예측된움직임벡터 (b) 움직임벡터들로보간된프레임 그림 2.20 예측된움직임벡터와보간프레임 (Frame No. 27) Fig Estimated motion vector and interpolated frame (Frame No. 27) 47

65 2.2 프레임변환 Calculate the difference of motion vectors Stage1 Similarity Identical to 4 neighbors? N Median vector filtering Y Calculate HSAD values for V 0 Stage2 Reliability Smaller than threshold? Find block with the minimum HSAD N Y Replace motion vector End of block? END Y N Move to next 그림 2.21 움직임벡터의보정방법에대한흐름도 Fig Flow chart of the proposed motion vector refinement method 48

66 2.2 프레임변환 V 1 V 2 V 0 V 4 V 3 그림 방향으로인접한블록 Fig Blocks of 8x8 pixels with the estimated motion vectors 실험결과본절에서는제안하는방법의실험결과에대해설명한다. 제안하는방법과기존방법의성능을비교하기위해 7가지종류의비디오클립 (Video Clip) 이사용되었다. 표 2.4는비디오클립과특징을설명하고있다. 비디오클립의종류는 Hall monitor, Football, Foreman, Table tennis, Flower garden, Mobile & Calendar, 그리고 Coastguard 이다. Hall monitor 는움직임이작고, 저주파수특성을가진시퀀스 (sequence) 이다. 이와달리 Football 은움직임이크고, 고주파수특성을가진시퀀스이다. Foreman 은 Hall monitor 와 Football 의중간특성을가진시퀀스이다. Table tennis 는확대 (zooming), 패닝 (panning) 그리고장면전환 (scene change) 을포함하고있는시퀀스이다. Flower garden 과 Mobile & calendar 는패닝과고주파수특성을가진시퀀스이다. Flower garden 이한방향으로만이동하는단순한움직임의객체 (object) 를포함하는것과다르게 Coastguard 는서로다른방향의움직임을가진객체들을포함하고있다. 7개의비디오클립은 100개의프레임으로구성된다. Hall monitor, Foreman 과 Coastguard 에해당되는 49

67 2.2 프레임변환 각프레임의크기는 이고, 나머지비디오클립의프레임크기는 이다. 짝수번째프레임들은입력으로사용되고홀수번째프레임은프레임변환방법에의해출력된영상이다. 제안하는방법과고속움직임예측방법인 TSS(Three Step Search)[15], 고정된크기의블록과탐색영역을사용하는 FS(Full Search) 그리고가변크기의블록 (multi-size block) 을이용한움직임예측방법 [19] 등기존방법과의성능비교실험이수행되었다. TSS와 FS실험에사용된탐색영역의크기는 ± 7, 블록의크기는 16 16이다. 가변크기의블록실험에사용된탐색영역의크기는 ± 16이다. 본절에서는제안하는방법과기존방법의성능을평가하는방법으로 PSNR(Peak Signal-to-Noise Ratio) 을이용한다. 원본프레임과프레임변환기술에의해보간된프레임사이의 PSNR은식 (2.9) 에의해계산된다. = 10log 10 1 M N M 1 N 1 x= 0 y= 0 fˆ 255 PSNR (2.9) 1 n 2 2 ( x, y) f ( x, y) 1 n 2 2 여기에서 M과 N은프레임의열과행번호를의미한다. f ˆ ( ) 과 f ( ) 은보간프레임과원본프레임의계조를의미한다. 각비디오클립의평균 PSNR은 50 프레임이상의 PSNR을평균한것이다. 50

68 2.2 프레임변환 표 2.4 실험비디오클립 Table 2.4 Test video clips Sequence Name Resolution Characteristic Hall monitor 움직임이작고저주파수특성을가진시퀀스 Football 움직임이크고고주파수특성을가진시퀀스 Foreman Hall monitor 와 Football 의중간특성의시퀀스 Table tennis 확대 (zooming), 패닝 (panning) 그리고장면전환 (scene change) 이포함된시퀀스 Flower Garden 패닝과고주파수특성을가진시퀀스 Mobile & Calendar 패닝과고주파수특성을가진시퀀스 Coastguard 서로다른방향의움직임을가진시퀀스 51

69 2.2 프레임변환 표 2.5 평균 PSNR 의비교 Table 2.5 Comparison of average PSNR Sequence Name Full Search TSS Multi-size blocks Proposed ME Proposed ME + MV Refinement Hall monitor Football Foreman Table tennis Flower Garden Mobile & Calendar Coastguard 표 2.5는 7가지비디오클립에대한보간프레임과원본프레임의평균 PSNR을나타낸것이다. 그림 2.23은 7가지비디오클립에대한보간프레임과원본프레임의 PSNR을프레임별로나타낸것이다. 표 2.5와그림 2.23을통해제안하는방법의성능이기존방법보다좋은것을확인할수있다. 제안하는움직임벡터보정방법의적용전성능은가변크기의블록기법의성능과유사한것을확인할수있다. 제안하는움직임벡터보정방법을적용함에따라 7가지비디오클립에대한성능평가결과가기존방법보다높은것을확인할수있다. 더욱이, Flower garden 과 Mobile & calendar 와같이패닝과고주파수특성을가진시퀀스에대해우수한성능을보인다. 52

70 2.2 프레임변환 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) Frame number (a) Hall monitor FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) Frame number (b) Football 53

71 2.2 프레임변환 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) Frame number (c) Foreman FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement 32 PSNR(dB) Frame number (d) Table tennis 54

72 2.2 프레임변환 FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) Frame number (e) Flower garden FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement PSNR(dB) Frame number (f) Mobile & Calendar 55

73 2.2 프레임변환 PSNR(dB) FS TSS Multi-size blocks Proposed ME Proposed ME+Refinement Frame number (g) Coastguard 그림 2.23 프레임별 PSNR[dB] 비교 Fig Comparison of PSNR(dB) frame by frame 그림 2.24는 FS, TSS, 가변크기의블록, 그리고제안하는방법에의해보간된 Football 비디오클립의 83번째프레임을나타낸것이다. 큰차이가확인되는부분은그림 2.24 (a) 의원본프레임에숫자와화살표로나타내었다. FS와 TSS는 1, 2 그리고 3번영역에서블로킹과블러링아티팩트가발생되었다. 제안하는방법에의한보간프레임의경우, 다른방법에의한보간프레임과다르게 1번과 2번영역의글자가원본프레임과유사하게재현되었다. 또한움직임벡터보정방법을적용함으로써기존의가변크기의블록기술에의한결과보다 3번영역의재현정도가개선되었다. 그림 2.25는기존방법및제안하는방법에의해보간된 Flower garden 비 56

74 2.2 프레임변환 디오클립의 29번째프레임을나타낸것이다. FS와 TSS에의한보간프레임은 1 번영역에서모션블러가눈에띄게발생되었다. 그리고기존방법들은 2번영역의나뭇가지가정확하게재현되지않는다. 이와다르게제안하는방법은움직임벡터보정방법을적용함에따라 2번영역의나뭇가지를선명하게재현하고있다. 그림 2.26은보간프레임에적용된블록들의예를나타낸것이다. 움직임이없는영역에서는크기가큰블록이적용되고, 움직임이많고, 복잡한영역에서는크기가작은블록이적용되었다. 57

75 2.2 프레임변환 (a) original (b) FS (c) TSS (d) Multi-size blocks (e) Proposed ME (f) Proposed ME + Refinement 그림 2.24 비디오클립 Football (Frame No. 83) Fig Test sequences Football (Frame No. 83) 58

76 2.2 프레임변환 2 1 (a) original (b) FS (c) TSS (d) Multi-size blocks (e) Proposed ME (f) Proposed ME + Refinement 그림 2.25 비디오클립 Garden (Frame No. 29) Fig Test sequences Garden (Frame No. 29) 59

77 2.2 프레임변환 (a) Foreman (Frame No. 28) (b) Hall monitor (Frame No. 62) 그림 2.26 보간프레임에적용된블록 Fig Wired expression of block sizes 60

78 2.2 프레임변환 그림 2.27은움직임벡터보정방법의적용전후에대한보간프레임을나타낸것이다. 그림 2.27 (a) 는움직임벡터보정방법의적용전예측된움직임벡터들과보간프레임을나타낸것이다. 움직임이많고복잡한영역, 그리고주변블록들과다른움직임을가진영역에서블록킹아티팩트가발생되었다. 그림 2.27 (b) 는움직임벡터보정방법의적용후개선된움직임벡터들과보간프레임을나타낸것이다. 주변블록들과다른움직임으로인해발생되었던블록킹아티팩트가감소되었다. (a) 적용전 (b) 적용후 그림 2.27 움직임벡터보정방법적용결과 Fig Comparison of proposed method with and without motion vector refinement 61

79 2.3 자동화이트밸런스 2.3. 입력영상에적응적인자동화이트밸런스방법 휴대폰카메라의화질개선방법으로자동화이트밸런스가있다. 자동화이트밸런스는광원에의한색의변화를저감하기위한방법으로, 그림 2.28과같이광원에따라서로다른색으로촬영된객체의색을동일한색으로표현하는것이다. 사람의경우조명과장소가달라지더라도색의차이를인지하지못한다. 이와다르게카메라는색에대한순응성이없기때문에조명과장소에의한영향이색의차이로표현된다. Illuminant A Illuminant B Illuminant C Illuminant D AWB technology Consistent output color!! 그림 2.28 자동화이트밸런스 Fig Auto White Balance 62

80 2.3 자동화이트밸런스 기존에제안된자동화이트밸런스방법들은채널별게인을조정하여색상을보정한다. GWA(Gray World Assumption) 는다양한색상으로구성된영상의채널별평균은회색계조에가깝다라는가정에기반하여채널별평균이같아지도록게인을조정한다. 그림 2.29와그림 2.30은다양한색상으로구성된영상과단일색상으로되어있는영상에 GWA 알고리즘을적용하고, 그에따른히스토그램의변화를나타낸것이다. 다양한색상의영상은 GWA 를적용함에따라영상의밸런스가이루어진다. 이와다르게단일색상의영상은 GWA 를적용함에따라색상이회색으로표현된다. GWA 는게인을조정하여영상의평균이같아지도록만들기때문이다. 이외에도영상의광원정보에기반하여게인을조정하는방법이있다 [22-24]. 영상의화이트또는밝은영역에광원정보가포함되어있다는가정에기반하여해당영역을참조화소로검출한다. 이와같은방법의성능은화이트또는밝은영역의검출능력에의존적이다. [22] 는화이트영역의검출능력을향상시키기위해, 화이트검출전히스토그램평활화를수행한다. [23] 은화이트영역결정을위한문턱값이입력영상에따라적응적으로결정된다. 그러나입력영상에화이트또는밝은영역이없는경우, 왜곡된색상으로보정이이루어진다. [24] 는영상의에지를참조화소로사용한다. 제안하는방법은광원변화에따른색상왜곡을최소화하며, 입력영상에적응적으로화이트밸런스를수행한다. 입력영상을단일색상을가진영상과다양한색상을가진영상으로분류한다. 클래스1은선형변환매트릭스를적용하여색상보정을수행한다. 클래스2는게인을조정하여색상을보정하며, 게인계산을위한참조화소로다양한색상이포함된영역을검출한다. 63

81 2.3 자동화이트밸런스 GWA Frequency Frequency Gray level Gray level 그림 2.29 다양한색상으로구성된영상에대한 GWA 적용 Fig Example of GWA for image with various colors GWA Frequency Frequency Gray level Gray level 그림 2.30 단일색상으로된영상에대한 GWA 적용 Fig Example of GWA for image with dominant color 64

82 2.3 자동화이트밸런스 자동화이트밸런스방법그림 2.31은제안하는자동화이트밸런스방법의흐름도를나타낸것이다. 제안하는방법은입력영상을두개의클래스로분류하고, 각클래스에적합한자동화이트밸런스방법을적용한다. 단일색상만포함하고있는영상은클래스1으로, 다양한색상을포함하고있는영상은클래스2로분류된다. Input image Image with dominant single color? Class1 Y AWB for image with dominant color N Class2 AWB for Image with large number of colors 그림 2.31 자동화이트밸런스방법의흐름도 Fig Flow chart of the proposed white balance method 영상분류방법그림 2.32는입력영상을클래스1과클래스2로분류하기위한방법의흐름도이다. 본절에서는입력영상에포함된색상변화영역의비율과색상의다양성정도에따라영상을클래스1과클래스2로분류한다. 색상변화영역을검출 하기위해입력영상을 n n 크기의블록으로분할하고, 각블록의평균색상 0(hue) 과채도를계산한다. 현재처리중인블록과이웃한블록들 (3 3 blocks) 사 65

83 2.3 자동화이트밸런스 이의색상및채도편차 (σ h,3x3, σ c,3x3 ) 를계산한다. 단일색상으로구성된영상의경우, σ h,3x3 와 σ c,3x3 수치가작다. 따라서 σ h,3x3 와 σ c,3x3 의수치가특정문턱값보다큰블록의개수를카운트하고, 블록의수 N c 가문턱값 T block 보다작으면입력영상을클래스1으로분류한다. 그렇지않은경우, 색상의다양성정도에따라클래스1과클래스2로영상을분류한다. 색상의다양성정도는색상변화가있는블록들에대한색상및채도편차 (σ h,d, σ c,d ) 에의해결정된다. σ h,d, σ c,d 의수치가미리결정된문턱값보다작으면입력영상을클래스1으로분류한다. 그렇지않은경우, 다양한색상이포함된영상으로판단하고클래스2로분류한다. 그림 2.33은클래스1과클래스2에대한영상의예로오른쪽은실험영상, 왼쪽은제안하는방법에의한색상변화영역의검출결과를나타낸것이다. 그림 2.33 (a) 의 Blue wall 은그림 2.33 (b) 에서확인할수있는것과같이색상변화가없기때문에클래스1으로분류된것이다. 그림 2.33 (c) 의 Garden 은색상변화영역으로검출된블록의개수가 T block 을초과하지만, σ h,d 과 σ c,d 수치가작아클래스1으로분류되었고, 이와같은사실은표 2.6를통해확인할수있다. 그림 2.33 (e) 의 Color checker 는 N c, σ h,d 과 σ c,d 의수치가평가기준수치를초과하여클래스2로분류되었다. 66

84 2.3 자동화이트밸런스 RGB-to-YC b C r Divide into n n blocks Calculate the standard deviation of hue σ h,3x3 and chroma σ c,3x3 in 3 3 blocks Step1 σ σ h, 3 3 > T or 1 c, 3 3 > T2 Y End of block Y N N Move next block Count blocks with variety of colors N c Y N c < T block Step2 Y Calculate the variance of hueσ and chroma σ c, d < T h, d for detected blocks N N σ < T σ and h, d h c, d c N Image with dominant color Image with variety of colors 그림 2.32 영상분류방법 Fig Flow chart of the image categorization method 67

85 2.3 자동화이트밸런스 (a) Blue wall (b) Detected blocks for Blue wall (c) Garden (d) Detected blocks for garden (e) Color checker (f) Detected blocks for color checker 그림 2.33 영상분류에따른색상변화영역검출결과 Fig Example of the detection results 68

86 2.3 자동화이트밸런스 Table 2.6 Number of detected blocks, standard deviation of hue and chroma 표 2.6 색상변화가있는블록의개수, 블록들의색상과채도편차 N c σ σ h, d c, d (a) Blue wall 0% Class1 0 0 (c) Garden 27.53% Class1 (e) Color checker 54.05% Class 단색영상에대한자동화이트밸런스방법클래스1으로분류된영상들은색상변화가작거나단일색상으로구성되어광원정보의추정이매우어렵다. 본절에서는채널별게인을조정하여색상을보정하는자동화이트밸런스방법과다르게선형변환에의한자동화이트밸런스방법을제안한다. 선형변환행렬은오프라인과정으로제작된다. 그림 2.34는선형변환행렬의제작흐름도를나타낸것이다. 5개광원 Horizon, A, TL84, Cool white, Daylight 에서화이트패치를촬영하고, 촬영영상으로부터평균 (R w, G w, B w ) 을계산한다. 각광원별 RGB 게인은식 (2.10) 에따라계산된다. R G B gain, i gain, i gain, i ( R = ( R = w ( R = w w + Gw + Bw ) / 3 R w + Gw + Bw ) / 3 G w + Gw + Bw) / 3 B w (2.10) 69

87 2.3 자동화이트밸런스 여기서, R gain,i, G gain,i, 그리고 B gain,i 는 i th 광원에서촬영된화이트패치의 RGB 게 인을의미한다. 화이트패치이외에도 5 개광원에서단일색상패치들을촬영하 고, 각패치들의평균 (R k i, G k i, B k i) 을계산한다. 여기서, R k i 는 i th 광원에서촬영된 k th 단일색상패치의평균 R 을의미한다. 각광원별 RGB 게인을 (R k i, G k i, B k i) 에적용하여식 (2.11) 와같은 (R k o,i, G k o,i, B k o,i) 를얻는다. R G B k o, i k o, i k o, i = R = G = B k i k i k i R G B gain, i gain, i gain, i (2.11) (R k o,i, G k o,i, B k o,i) 는 i th 광원에서촬영된 k th 단일색상패치를 i th 광원정보로보정한영상이다. (R k o,i, G k o,i, B k o,i) 는광원별화이트패치의게인으로보정된영상이기때문에 정답영상 으로볼수있다. 단일색상으로부터광원정보의추정이가능하다면, 게인조정에의한자동화이트밸런스방법을적용할수있지만단일색상에서광원정보의추정은불가능하다. 본절에서는단일색상으로부터광원정보를추정하는대신광원정보에의해보정된영상과보정전영상의관계를모델링하여단일색상을보정한다. 모델링식은식 (2.12) 과같이선형식으로정의한다. 70

88 2.3 자동화이트밸런스 R G B k o, j k o, j k o, j M = M M M M M M M M R G B k i k i k i (2.12) 여기서 (R k o,i, G k o,i, B k o,i) 와 (R k i, G k i, B k i) 는각각광원정보에의해보정된영상과보정전영상을의미한다. 변환행렬은 (R k o,i, G k o,i, B k o,i) 와 (R k i, G k i, B k i) 의 regression으로추정가능하다. 그림 2.35는각광원별로촬영된단색패치그리고광원정보에의해보정된단색패치를나타낸것이다. 클래스1으로분류된영상들은식 (2.13) 와같이입력 (R in, G in, B in ) 에변환행렬이적용되어 (R out, G out, B out ) 로보정된다. R G B out out out M = M M M M M M M M R G B in in in (2.13) 71

89 2.3 자동화이트밸런스 Information on illuminant for white patch (R gain,i, G gain,i, B gain,i ) A set of constant hue patches under different illuminants (R k i, G k i, B k i) Ideal results of AWB (R k o,i, G k o,i, B k o,i) (R k i, G k i, B k i)-to-(r k o,i, G k o,i, B k o,i) 그림 2.34 선형변환행렬의제작흐름도 Fig Flow chart of design for linear transformation (R k i, G k i, B k i)-to-(r k o,i, G k o,i, B k o,i) (R k i, G k i, B k i) (R k o,i, G k o,i, B k o,i) Horizon A TL84 Cool white Daylight 그림 2.35 변환행렬제작에사용된단색패치 Fig Example of images with dominant color for designing linear transformation 72

90 2.3 자동화이트밸런스 다색영상에대한자동화이트밸런스방법클래스2의영상들은클래스1의영상들과다르게다양한색상정보를포함한다. 따라서, 클래스2의영상들은채널별게인조정에의한자동화이트밸런스방법이적용된다. 영상의모든화소가게인계산을위한참조화소로이용되는 GWA 방법과다르게제안하는방법은영상분류를위해검출되었던색상변화영역의정보를이용하여게인을계산한다. 식 (2.14) 는 RGB 게인의계산식을나타낸것이다. R G B gain gain gain ( R = ( R = ( R = m, block m, block m, block + G R + G G + G B m, block m, block m, block m, block m, block m, block + B + B + B m, block m, block m, block ) / 3 ) / 3 ) / 3 (2.14) 여기서, R m,block, G m, block, 그리고 B m, block 는색상변화블록의평균 RGB 를의미한 다. 각채널별게인이결정된후에, 식 (2.15) 과같이입력 (R in, G in, B in ) 에적용 되어 (R out, G out, B out ) 로보정된다. R G B out out out = R = B in = G in in R G B gain gain gain (2.15) 73

91 2.3 자동화이트밸런스 실험결과본절에서는자동화이트밸런스방법의성능평가방법과이에대한실험결과에대해설명한다. 기존방법과의성능비교를통해제안하는방법이비교우위에있음을검증한다. 또한일반영상에대해제안한방법을적용한결과에대해제시한다. (1) 자동화이트밸런스에대한정량적평가방법자동화이트밸런스방법의목적은촬영영상의색상이촬영광원에상관없이일관성을갖도록보정하는것이다. 제안하는자동화이트밸런스방법이이와같은목적을충실히이행하는지에대한여부를검증하기위해, 본절에서는자동화이트밸런스에대한정량적평가방법 Q AWB 을제안한다. 단일색상패치들이평가영상으로이용되었다. 각패치에자동화이트밸런스방법을적용하고, 평균 RGB를계산한다. 평균 RGB를 CIEL * a * b * 로변환한다. 본절에서는 i th 광원에서촬영된 k th 패치의평균 CIEL * a * b * 를 (L * (k,i),a * (k,i),b * (k,i)) 로나타낸다. 또한평가에사용된단일색상패치의수와광원의수를 N p 와 N i 로나타낸다. k th 색상패치에대한평균 CIEL * a * b * 는식 (2.16) 과같이각광원별로촬영된 k th 색상패치를대상으로계산된다. 74

92 2.3 자동화이트밸런스 75 = = = = = = i i i N i i avg N i i avg N i i avg i k b N k b i k a N k a i k L N k L 1 * * 1 * * 1 * * ), ( 1 ) ( ), ( 1 ) ( ), ( 1 ) ( (2.16) 여기서 (L * avg(k), a * avg (k), b * avg (k)) 는자동화이트밸런스결과를평가하기위한 기준색상 (reference color) 로이용된다. 식 (2.17) 은 i th 광원에서촬영된패치들과 기준색상 사이의평균색차이 (color difference) 를의미한다. ( ) ( ) ( ) = + + = N p k avg avg avg p k b i k b k a i k a k L i k L N i E 1 2 * * 2 * * 2 * * ) ( ), ( ) ( ), ( ) ( ), ( 1 ) ( (2.17) 자동화이트밸런스에대한정량적평가방법 Q AWB 은식 (2.18) 과같이정의된다. Q AWB 는자동화이트밸런스방법에의해보정된색상의일관성을평가할수있다. = = N i i i AWB i E N Q 1 ) ( 1 (2.18)

93 2.3 자동화이트밸런스 (2) 실험 Ⅰ: 단색영상 ( 클래스1) 에대한자동화이트밸런스방법클래스1으로분류된영상들은색상변화가작거나단일색상으로구성된다. 클래스1에대한자동화이트밸런스방법의성능을평가하기위해, 평가영상으로 5개광원 Horizon, A, TL84, Cool white, Daylight 에서촬영된 Macbeth Color Checker의 18개색상패치가이용되었다. 실험영상들은 5만화소의 CMOS 센서를탑재한카메라모듈로촬영되었다. 그림 2.36 (a) 는카메라모듈로촬영된영상이다. 동일한색상이촬영된것임에도불구하고광원에의해다른색상으로표현되었다. 그림 2.36 (b) 부터 (e) 는제안하는단색영상에대한자동화이트밸런스방법과기존방법 [22-24] 들에의한실험결과영상이다. 18개의색상패치에개별적으로자동화이트밸런스방법이적용되었다. 다시말해, 각각의색상패치가입력영상이고, 그림 2.36의영상들은수월한비교를위해색상패치들을하나로합친것이다. 그림 2.36 (c) 는 [22] 에의한결과이며, 3가지현상으로설명된다. 그것은색상이보정된패치, 회색으로변한패치, 바이패스 (by-pass) 되거나보정되지않는패치로구분된다. 밝은영역이검출된경우, 패치의색상이다른색상이나회색으로변하였다. 밝은영역이검출되지않는경우, 바이패스되었다. 그림 2.36 (d) 와 (e) 는 [23] 와 [24] 에의한결과이며, 색상이회색으로변한것을확인할수있다. 그림 2.36 (f) 는각광원별로촬영된화이트패치의 RGB 게인을적용한것이다. 즉, 정답영상 이다. 그림 2.36 (b) 와그림 2.36 (f) 는동일한색상패치로인지되지않지만유사하게보인다. 그림 2.36 (b) 와그림 2.36 (f) 의색상차이는식 (2.13) 의모델링오차로인한것이다. 76

94 2.3 자동화이트밸런스 Horizon A TL84 Cool white Daylight (a) Input image (b) proposed method (c) method in [22] (d) method in [23] (e) method in [24] 그림 2.36 단색영상에대한자동화이트밸런스결과 (f) ideal result Fig Results of AWB methods for image with dominant color 표 2.7 단색영상에대한 ΔE(i) 와 Q AWB 평가결과 Table 2.7 Calculated values of ΔE(i) 와 Q AWB for image with dominant color ΔE(i) in Eq. (8) Illuminant Input image Proposed method Pseudo result Horizon A TL Cool white Daylight Q AWB

95 2.3 자동화이트밸런스 표 2.8 광원별그림 2.36 (b) 와 (f) 사이의색상차이 Table 2.8 Color difference (ΔE) between images in Figure 2.37(b) and (f) Illuminant Horizon A TL84 Cool white Daylight Color difference 표 2.7은그림 2.36 (a), (b) 그리고 (f) 를식 (2.17) 과 (2.18) 에정의한 ΔE(i) 와 Q AWB 로평가한결과이다. 각식에서 N i =5, N p =18로설정한다. [22-24] 방법의적용결과, 대부분의색상패치가회색으로표현되었다. 이와같은경우제안하는평가방법을적용하는것이무의미하기때문에표 2.7의평가결과에서제외하였다. 입력영상에대한 Q AWB 는 8.44이다. 이것은그림 2.36 (a) 에서패치들의색상이다양한것과일치한다. 클래스1에대한제안하는방법의 Q AWB 는 5.90이다. 이것은 정답영상 인그림 2.36 (f) 의 Q AWB 수치보다크다. 그러나제안하는방법을적용함으로써색상이회색으로변하는현상이저감되고, 촬영광원에상관없이색상의일관성이유지되는것을확인할수있다. 표 2.8은광원별그림 2.36 (b) 와그림 2.36 (f) 사이의색상차이를계산한것이다. (3) 실험 Ⅱ: 다색영상 ( 클래스2) 에대한자동화이트밸런스방법클래스2로분류된영상들은다양한색상을포함하고있다. 클래스2에대한자동화이트밸런스방법의성능을평가하기위해, 평가영상으로 18개의색상패치와 6개의무색패치가포함된 Macbeth Color Checker, 밝은영역이없는영상이이용되었다. 각각의영상은 5개의광원에서촬영되었다. 또한임의의광원에 78

96 2.3 자동화이트밸런스 서촬영된특정색상이많이포함된영상을평가영상으로이용하였다. 그림 2.37 (a) 는카메라모듈로촬영된영상이다. 그림 2.37 (b) 부터 (e) 는제안하는자동화이트밸런스방법과기존방법 [22-24] 들에의한실험결과영상이다. 4개의방법모두게인을조정하여색상을보정한다. [22, 23] 은영상의화이트또는밝은영역을참조화소로검출하고게인을계산한다. [24] 는영상의에지를참조화소로검출하고게인을계산한다. 클래스1의결과와다르게, 클래스 2에대한 4가지자동화이트밸런스방법들의결과는시각적으로큰차이를보이지않는다. 표 2.9는그림 2.37의영상들을식 (2.17) 과 (2.18) 에정의한 ΔE(i) 와 Q AWB 로평가한결과이다. 식 (2.16) 과 (2.18) 에서 N i =5, 식 (2.17) 에서 N p =24로설정한다. 입력영상의 Q AWB 는 8.23이다. 이값은클래스1의 Q AWB 수치 8.44에근접 하다. 4 개의자동화이트밸런스방법중, 제안하는자동화이트밸런스방법 의 Q AWB 수치가 2.69로가장낮은것을확인할수있다. 기존의방법들은무채색패치에대한채도수치를자동화이트밸런스의성능평가지표로사용한다. 화이트밸런스가충실히재현된영상의무채색패치는색조를띄지않는다는가설에기반한평가방법이다. 따라서본절에서는 Q AWB 외에도 6개의무채색패치에대한채도를계산하였다. 표 2.10은 6개의무채색패치에대한평균채도수치를나타낸것이다. 제안하는자동화이트밸런스에의한결과가가장작은수치로계산되었다. 밝은영역이없는영상을대상으로자동화이트밸런스방법을평가하기위해그림 2.38과같은실험영상을제작하였다. 실험영상은 3개의색상패치로구성되고, 각각은검정색의경계선으로구분된다. 그림 2.38 (a) 는카메라모 79

97 2.3 자동화이트밸런스 듈로촬영된영상이다. 그림 2.38 (b) 부터 (e) 는제안하는방법과기존방법 [22-24] 에의한실험결과영상이다. [22, 23] 은영상의화이트또는밝은영역을참조화소로검출하고게인을계산한다. 그림 2.38 (c) 에서 A, TL84, Cool white 그리고 Daylight 에대한결과영상이입력영상과동일한것을확인할수있다. 입력영상이밝은영역을포함하고있지않아자동화이트밸런스가수행되지않고, 바이패스되었기때문이다. 표 2.11에서 [22,23] 에대한 ΔE(i) 와 QAWB의평가수치가큰것과달리제안하는방법의 ΔE(i) 와 QAWB 의평가수치는작다. 그림 2.39는임의의광원에서촬영된특정색상이많이포함된영상의실험결과를나타낸것이다. 그림 2.39 (a) 는카메라모듈로촬영된영상이다. 그림 2.39 (b) 부터 (e) 는제안하는방법과기존방법 [22-24] 에의한실험결과영상이다. 그림 2.39 (c) 와 (d) 는밝은영역의포함여부가색상보정에큰영향을미치고있음을확인할수있다. 이와다르게제안하는방법과 [24] 는밝은영역및특정색상에의한영향이적음을알수있다. 표 2.12는 6개의무채색패치에대한채도계산결과를나타낸것이다. 제안하는방법의채도수치가가장작은것을확인할수있다. 이것은제안하는방법에의해화이트밸런스가충실히수행된다는것을의미한다. 80

98 2.3 자동화이트밸런스 Horizon A TL84 Cool white Daylight (a) Input image (b) proposed (c) method in (d) method in (e) method in method [22] [23] 그림 2.37 다색영상에대한자동화이트밸런스결과 [24] Fig Results of AWB method for images with various colors 81

99 2.3 자동화이트밸런스 Horizon A TL84 Cool white Daylight (a) Input image (b) proposed (c) method in (d) method in (e) method in method [22] [23] 그림 2.38 밝은영역이없는영상에대한자동화이트밸런스결과 [24] Fig Results of AWB methods for image without highlight area 82

100 2.3 자동화이트밸런스 (b) proposed method (c) method in [22] (a) Input image (d) method in [23] (e) method in [24] 그림 2.39 특정색상이많이포함된영상의자동화이트밸런스결과 Fig Results of AWB methods for image with specified color 83

101 2.3 자동화이트밸런스 표 2.9 그림 2.37 의다색영상에대한 ΔE(i) 와 Q AWB 평가결과 Table 2.9 calculated values of ΔE(i) and Q AWB for images in Fig 2.37 ΔE(i) in Eq. (8) Illuminant Input image Method in [22] Method in [23] Method in [24] Proposed method Horizon A TL Cool white Daylight Q AWB 표 개무채색패치의채도계산결과 Table 2.10 calculated values of chroma from 6 achromatic patches Illuminant Input image Method in [22] Method in [23] Method in [24] Proposed method Horizon A TL Cool white Daylight Average

102 2.3 자동화이트밸런스 표 2.11 밝은영역이없는영상에대한 ΔE(i) 와 Q AWB 평가결과 Table 2.11 calculated values of ΔE(i) and Q AWB for images in Fig 2.38 ΔE(i) in Eq. (9) Illuminant Input image Method in [22] Method in [23] Method in [24] Proposed method Horizon A TL Cool white Daylight Q AWB 표 2.12 특정색상이많이포함된영상에대한무채색패치의채도계산결과 Table 2.12 calculated values of ΔE(i) and Q AWB for images in Fig 2.39 Input image Method in [22] Method in [23] Method in [24] Proposed method

103 2.3 자동화이트밸런스 (4) 일반영상에대한적용결과본절에서는제안하는방법과기존방법들을일반영상에적용한결과에대해비교하도록한다. 그림 2.40은자동화이트밸런스성능을확인하기위해사용된일반영상의예를나타낸것이다. 단색영상에대한성능평가는그림 2.40 (a) 의 B 영역을대상으로수행되었다. 그림 2.41은단색영상에대한성능평가결과를나타낸것이다. 그림 2.41 (b) 의 정답영상 은그림 2.40 (a) 에서 A 영역의 RGB 게인으로보정된영상이다. 기존방법들에의한 AWB 수행결과를통해단색영상의색상이회색으로변한것을확인할수있다. 이와다르게제안하는방법에의한 AWB 수행결과는 정답영상 에가깝게보정된것을확인할수있다. 그림 2.42는다색영상에대한성능평가결과를나타낸것이다. 그림 2.42 (b) 의 정답영상 은그림 2.40 (b) 에서 A 영역의 RGB 게인으로보정된영상이다. 다색영상의경우, 제안하는방법과기존방법에의한 AWB 수행결과가 정답영상 에가깝게보정된것을확인할수있다. 다시말해, 본절의실험결과를통해입력영상에적응적으로자동화이트밸런스를수행하는과정이필요한이유를설명할수있다. 또한제안하는방법은입력영상을단일색상을가진영상과다양한색상을가진영상으로분류하고각각에적합한자동화이트밸런스과정을수행함으로써광원변화에따른색상왜곡을최소화하는것이가능함이본절의실험결과를통해확인할수있다. 86

104 2.3 자동화이트밸런스 A B (a) A (b) 그림 2.40 자동화이트밸런스성능평가를위한일반영상의예 Fig Example of real scenes for evaluation of AWB 87

105 2.3 자동화이트밸런스 (a) Input image (b) Ideal result (b) Result by proposed method (c) method in [22] (d) method in [23] (e) method in [24] 그림 2.41 그림 2.40 (a) 에대한자동화이트밸런스결과 Fig Results of AWB method for Fig (a) 88

106 2.3 자동화이트밸런스 (a) Input image (b) Ideal result (b) Result by proposed method (c) method in [22] (d) method in [23] (e) method in [24] 그림 2.42 그림 2.40 (b) 에대한자동화이트밸런스결과 Fig Results of AWB method for Fig (b) 89

107 2.4 검토 2.4. 검토 2장에서는초소형프로젝터와디지털카메라의장치특성에기반한화질개선방법을제안하였다. 2.1절의화이트좌표선정과화이트밸런싱방법은 SOM 방식의초소형프로젝터를대상으로수행된색재현연구이다. 제안하는방법은측색학적인방법으로목표색온도에서최대휘도를갖도록화이트좌표를결정하였다. 또한채널별계조들의색도좌표를일정하게유지시켜회색및저계조영상에서발생하는색조현상을저감하였다. 제안하는방법은오프라인과정에서 RGB LUT 형태로구현되었고, 온라인과정중색보정단계에적용되어 SOM을통해디스플레이된영상의색재현을향상시켰다. 2.2절의프레임변환은초소형프로젝터에의해확대된동영상의화질개선을위해제안된방법이다. 제안하는프레임변환방법은블록병합및블록매칭과정에서수행되는계산량을줄이기위해블록의움직임정도에따라블록타입을 motion block 과 no-motion block 으로정의하였고, 블록의타입에따라블록크기와탐색영역을결정하였다. No-motion block 으로결정된인접블록들을하나의블록으로병합하였고, 작은크기의탐색영역을적용하였다. 즉움직임이없는영역에서는크기가큰블록을사용하고, 움직임이많은영역에서는상대적으로작은크기의블록을사용하였다. 예측된움직임벡터의정확성을높이기위해움직임벡터의보정기술을제안하였다. 기존의프레임변환방법들과의비교를통해제안하는방법의성능이비교우위에있음을확인할수있다. 2.3절은휴대폰카메라의화질개선방법으로자동화이트밸런스방법을 90

108 2.4 검토 제안하였다. 제안하는방법은광원에의한사물의색변화를저감하기위해입력영상에적응적으로자동화이트밸런스를적용하였다. 입력영상들을크게단일색상을가진영상과다양한색상을가진영상으로분류하였고, 각각을클래스1과클래스2로구분지었다. 클래스 1으로분류된영상들은색상변화가작고, 단일색상으로구성되어화이트밸런스수행을위한광원정보의추정이매우어렵다. 제안하는방법은이와같은문제점을해결하기위해광원정보에의해보정된영상과보정전영상의관계를선형변환식으로모델링하였다. 클래스 2로분류된영상은영상분류를위해검출되었던다양한색상정보를이용하여보정하였다. 또한제안하는방법과기존방법의성능을비교평가하기위해자동화이트밸런스에대한정량적평가방법을제안하였다. 실험을통해제안하는방법에의한화이트밸런스수행결과가우수함을증명할수있었다. 91

109 제 3 장화질평가 제 3 장인간시각특성에기반한화질평가방법 스캔영상의화질은스캔속도, 스캔에사용되는센싱광학계특성, 화소수, 스캔시사용되는조명, 속도조절과같은기계적장치, 광학적및전기적노이즈등에의해결정된다. 복사영상의화질은스캔영상의화질과더불어프린터엔진의해상도, 토너특성, 인쇄위치반복성등의프린팅기능에관련된요소에의해영향을받는다. 이와같은요소들의상호작용에의해결정되는스캔영상과복사영상의화질요소들은각각그림 3.1과그림 3.2와같이나타낼수있다 [26-36]. 각각의화질요소들은시각실험을통한정성적인방법과계측기와같은측정을통한정량적인방법에의해평가될수있다. 화질평가는궁극적으로인간시각에의해결정되기때문에정성적인방법은높은정확도를갖는다. 그러나, 많은시간과노력을필요로하는단점이있다. 이와달리정량적평가방법은시간, 장소, 등과같은실험환경에구애받지않고평가를수행할수있다. 그러나정량적평가는정성적평가와높은상관관계를가질때의미를갖는다. 본장에서는스캔영상의컬러프린지, 스캔영상과복사영상의글자화질그리고복사영상의노이즈에대한정량적화질평가방법을제안한다. 스캔영상의컬러프린지는오브젝트의경계에서발생하는컬러아티팩트로정의된다. 이것은센서미정렬, 스캐너캐리지의변동그리고광학수차로인해발생한다. 글자의화질은스캔또는복사의글자재현정도를나타내는것으로, 선명도외 92

110 제 3 장화질평가 에글자외형의손실, 왜곡등이평가되어야한다. 복사영상에서노이즈는단일색상패치에낟알무늬, 얼룩무늬, 또는물결무늬등이규칙적또는불규칙적으로발생하여불균일하게인지되는것으로정의된다. 3가지화질요소는그림 3.3과그림 3.4의흐름도에따라정량적평가방법이설계된다. 컬러프린지와글자화질평가의경우, 그림 3.3의흐름도를따른다. 먼저, 평가대상인장치로부터다수의실험영상들을수집하고, 수집된실험영상들을대상으로시각실험을수행한다. 컬러프린지와글자화질에영향을주는화질요소들이시각실험의인터뷰를바탕으로선정된다. 선정된화질요소들은평가모델설계를위해수치화되며, 화질평가모델은화질요소들의정량적수치와시각실험에의한정성적수치의선형결합으로설계된다. 이와다르게노이즈평가방법은그림 3.4의흐름도와같이노이즈특징분석결과를기반으로설계된다. 93

111 제 3 장화질평가 Color tone Color reproduction Color fidelity Colorfulness Gray tone characteristics Gray reproduction Dynamic range Gray balance Scanner image quality Character quality Line quality Detail reproduction MTF/SFR Geometric distortion Color fringe Motion uniformity Pattern noise Noise reproduction Correlated noise Random noise 그림 3.1 스캔영상의화질평가항목 Fig. 3.1 Image quality attributes for the scanned images 94

112 제 3 장화질평가 Color fidelity Color reproduction Vividness Naturalness Gray reproduction Gray balance Dynamic range Printer image quality Character quality Detail reproduction MTF/SFR Geometric distortion Graininess/Mottle Noise Banding/Streaks Background/Void 그림 3.2 인쇄영상의화질평가항목 Fig. 3.2 Image quality attributes for the printed and copied images 95

113 제 3 장화질평가 Training set Human visual test Identify key attributes Subjective scores Formulate key attributes Evaluation model 그림 3.3 컬러프린지와글자화질평가방법의흐름도 Fig. 3.3 Procedure of evaluation method for color fringe and character quality Training image Analysis of properties Human visual test Quantitative evaluation Subjective scores Quantitative scores Performance verification 그림 3.4 노이즈평가방법의흐름도 Fig. 3.4 Procedure of evaluation method for noise 96

114 3.1 컬러프린지평가 3.1. 스캔영상의컬러프린지평가방법 컬러프린지는스캔오브젝트의경계에서발생하는컬러아티팩트이다. 이것은센서미정렬, 스캐너캐리지의변동그리고광학수차로인해발생한다 [26]. 스캔영상의컬러프린지와관련된기존의연구는매우드물다. 컬러프린지에대한기존연구로디지털카메라에서촬영된사진의컬러프린지평가방법을들수있다. [46] 은 red fringe 와 blue fringe 로컬러프린지를정의하고, size of fringe 와 intensity of fringe 로컬러프린지의발생정도를정량화한다. ISO 12233에명시된차트가각각을정량화하기위한평가차트로이용된다 [47]. Size of fringe 는 B( 또는 R) 채널과 G채널의계조차이가미리정해진문턱값보다큰화소수로정의한다. Intensity of fringe 는프린지영역에대한 B( 또는 R) 채널과 G채널의평균계조차이로정의한다. 그러나컬러프린지의인지정도와정량화결과사이의관계는정의되지않았다. 본절의목적은스캔영상의컬러프린지에대한정량적평가모델을제안하는것이다. 컬러프린지의인지정도에영향을주는중요화질요소들을확인하기위해예비시각실험이수행된다. 중요화질요소들은시각실험에참가한평가자들의인터뷰결과를바탕으로선정된다. 또한각화질요소들의특징을수치화하기위한정량화방법이제안된다. 제안하는평가모델은각화질요소들의정량화수치와시각실험에기반한 JND 점수의선형결합으로설계된다. 제안하는평가모델의성능을검증하기위해평가모델설계에사용되지않는실험영상들이사용된다. 제안하는평가모델에의한정량화수치와시각실험 97

115 3.1 컬러프린지평가 에의한 JND 점수의상관관계로성능을검증한다. 실험을통해제안하는컬러 프린지평가모델에의한정량화결과와시각평가에의한결과가일치함을확 인한다 컬러프린지의화질요소결정방법 (1) 화질요소의선정컬러프린지평가의실험패턴은그림 3.5에나타낸것과같이흰색배경에검정색오브젝트들이등간격을유지하는형태이다. 실험패턴은스캔영상의화질평가를위해제작된평가차트의일부분이며, 오프셋프린팅 (off-set printing) 으로제작되었다. 그림 3.5 컬러프린지실험패턴 Fig. 3.5 Test pattern for color fringe 98

116 3.1 컬러프린지평가 그림 3.6는스캔영상의컬러프린지발생예를나타낸것이며, 컬러프린지현상을쉽게관찰하기위해 4배확대된것이다. 그림 3.6 (a) 와 (b) 는컬러프린지가발생된경우와그렇지않은경우의예를나타낸것이다. 그림 3.6 (c) 는검정색오브젝트들이색조를띄는예이다. 이것은그레이밸런스 (gray balance) 나색보정오류로인한것이다. 따라서이와같은현상은컬러프린지가발생된것으로고려되지않는다. 그림 3.7은그림 3.6에대해수직선방향으로밝기와채도의변화를그래프로나타낸것이다. 그림 3.6 (a) 의검정색오브젝트의경계에서컬러프린지를나타내는채도수치가높은것을확인할수있다. 이와다르게그림 3.6 (c) 에서는검정색오브젝트에서채도수치가높은것을확인할수있다. 본절에서는컬러프린지인지정도에영향을주는중요화질요소를확인하기위해예비시각실험이수행되었다. 시각실험은쌍대비교방식으로수행되었며, 평가자들에게두영상중에서컬러프린지정도가크게인지되는영상을선택하도록요구되었다. 또한영상선정의이유가질문되었다. 인터뷰결과를통해 [46] 에서제안된 size of fringe 와 intensity of fringe 뿐만아니라 relative lightness of background 그리고 variety in hue 가화질요소로고려됨을확인할수있다. 검정색오브젝트와배경사이의 contrast가증가함에따라, 컬러프린지의인지정도가감소한다. 반면에, 컬러프린지의발생면적이크고, 색상이다양할수록컬러프린지는더욱쉽게인지된다. 또한채도수치가높을수록컬러프린지인지정도가증가한다. 99

117 3.1 컬러프린지평가 (a) 컬러프린지가발생된영상 (b) 컬러프린지가없는영상 (c) 그레이밸런스문제를가진영상 그림 3.6 스캔영상의컬러프린지발생예 Fig. 3.6 Example of color fringe on scanned images (a) 컬러프린지가발생된영상 (b) 컬러프린지가없는영상그림 3.7 수직선들의밝기와채도 (c) 그레이밸런스문제를가진영상 Fig. 3.7 Lightness and Chroma for vertical lines 100

118 3.1 컬러프린지평가 (2) 컬러프린지의검출방법 4가지화질요소의특징을수치화하기위해, 컬러프린지검출과정이선행되어야한다. 그림 3.8은컬러프린지검출방법의흐름도이다. IEC 에정의된표준 srgb-to- L*a*b* 변환식을적용하여입력영상의 RGB 좌표를 CIE L*a*b* 로변환한다 [53]. 영상에서수평방향의선들에대해서평균 L*, a*, b* 를계산한다. 수평선들의평균 L* 에 Otsu[45] 방법을적용하여오브젝트와배경을구별한다. 컬러프린지는다음세가지조건에기반하여검출된다. 첫째, 현재처 리중인선의평균 * Li 이오브젝트의평균 * Lobj 과배경의평균 L * back 사이에있어 야한다. 컬러프린지는오브젝트의경계에서발생되기때문이다. 둘째, 현재처 리중인선의평균채도 * Ci 가미리정해진임계값 T c 보다커야한다. 채도가 크다는것은처리중인선이색조를띠고있다는것을의미한다. 셋째, 현재처 리중인선과오브젝트사이의평균색차이 ΔEi 가미리정해진임계값 T e 보다 커야한다. 컬러프린지는오브젝트와다른색으로발생되기때문이다. 따라서 오브젝트와컬러프린지를구별하기위해 ΔE 를계산한다. 이와같은조건을 만족한경우, 컬러프린지가발생된선으로분류한다. 위의과정은영상의마지 막선까지반복적으로수행한다. 101

119 3.1 컬러프린지평가 Input test pattern RGB-to-L*a*b* Calculate average L*, a*, b* for each of horizontal lines Calculate average L*, a*, b* for background and objects Move to next line N N N * L obj < L * i < C > T C * i Δ E i L Y Y > T e * back Conditions for color fringe extraction N Y End of line? Y END 그림 3.8 컬러프린지검출방법의흐름도 Fig. 3.8 Flow chart of the color fringe extraction method 102

120 3.1 컬러프린지평가 (3) 화질요소들의정량화방법 4가지화질요소의정량화방법은다음과같이설명된다. 각화질요소의정량화수치는 0과 1사이의범위로정규화된다. 정량화수치가클수록컬러프린지의인지정도가크다는것을의미한다. 기존방법은 RGB 좌표의계조차이로 Intensity of fringe 를정의한다. 이와다르게제안하는방법은식 (3.1) 과같이컬러프린지로검출된수평선들의평균채도로정의한다. m chroma f I = (3.1) mchroma,max 여기서 m chroma 는주어진스캔영상에서컬러프린지로검출된수평선들의평균채도를의미한다. m chroma,max 는실험에사용된모든스캔영상들에서컬러프린지로검출된수평선들의최대채도를의미한다. 이와유사하게 relative lightness of background 는식 (3.2) 와같이정의한다. f R m m * L, object = (3.2) * L, back 여기서 m L*,back, 과 m L*,object 는각각배경과오브젝트의평균 L* 을의미한다. contrast 가증가함에따라컬러프린지의인지정도가감소하기때문에오브젝트 와배경에대한 contrast 의역수로정의된것이다. 103

121 3.1 컬러프린지평가 Variety in hue 는색의다양성을평가한다. 먼저, a*-b* 평면을 180 의각도를 가진두개의구간으로나눈다. 컬러프린지로검출된선들이해당되는색상구 간개수의비율을식 (3.3) 에의해계산할수있다. h a n n hue = (3.3) hue, tot 여기서 n hue 와 n hue.tot 는각각컬러프린지로검출된선들의색상구간개수와전체색상구간의수를의미한다. 180 의경우, n hue.tot 는 2이다. 이와같은과정을 4, 6, 9, 18, 36, 그리고 72개의구간에대해동일하게수행한다. Variety in hue 는식 (3.4) 와같이 7가지분할방식의평균비율로써정의한다. ( h2 + h4 + h6 + h9 + h18 + h36 + h72 ) f H 7 = (3.4) 그림 3.9 는 a*-b* 평면을 7 가지분할방식중 3 가지분할방식으로구간을 나눈예이다. 표 3.1 은그림 3.9 에대한 f H 계산의예를나타낸것이다. Size of fringe 는컬러프린지의발생크기를평가하며, 식 (3.5) 에의해계산된다. n line f S = (3.5) nline,max 여기서 n line 은컬러프린지로검출된선의수를의미한다. n line,max 는실험에사용 104

122 3.1 컬러프린지평가 된모든스캔영상들에서컬러프린지로검출된선의최대개수를의미한다. Case A 60 (6 hue sections) 90 (4 hue sections) 180 (2 hue sections) Case B 60 (6 hue sections) 90 (4 hue sections) 180 (2 hue sections) 그림 3.9 f H 계산방법의예 Fig. 3.9 Example to explain procedure to calculate f H 표 3.1 f H 계산방법의예 Table. 3.1 Example of calculation for Fig. 3.9 The number of hue sections h 60 h 90 h 180 Case A 0.50(3/6) 0.75(=3/4) 1(=2/2) 0.75 Case B 0.50(3/6) 0.50(=2/4) 0.5(=1/2) 0.50 f H 105

123 3.1 컬러프린지평가 컬러프린지평가모델설계방법그림 3.10은컬러프린지평가모델의설계흐름도이다. 인간시각특성과일치하는컬러프린지평가모델을설계하기위해, 컬러프린지인지특성에영향을주는 4가지화질요소가선정되었다. 트레이닝영상을대상으로선정된화질요소의정량적수치를계산한다. 또한트레이닝영상으로시각실험을수행하여시각평가점수를계산한다. 컬러프린지평가모델은시각실험에의한정성적평가수치와 4가지화질요소별정량적수치의선형회귀분석에의해설계된다. 본절에서는시각실험방법과트레이닝영상의선정방법에대해설명한다. 또한컬러프린지평가모델의설계방법에대해설명한다. Training images Objective values of four attributes Human visual experiments JND for color fringe Linear regression Color fringe evaluation model 그림 3.10 컬러프린지평가모델의설계흐름도 Fig Flow chart to construct the color fringe evaluation model 106

124 3.1 컬러프린지평가 (1) 시각실험조건시각실험은암실환경에서수행되며, 실험영상간의차이를수월히비교하기위해쌍대비교방식으로실험이진행되었다 [41-42]. 그림 3.11은컬러프린지평가에대한쌍대비교방식의예를나타낸것이며, 실험영상은 srgb LCD 표준모니터에표시된다. 12명의평가자들을대상으로두영상중에컬러프린지의인지정도가큰영상을선택하도록설명한다. 만약두영상간의차이가인지되지않는경우, 두영상의컬러프린지정도가같다고평가할수있도록설명한다. 선정된영상은 1점, 그렇지않은영상은 0점이부여된다. 컬러프린지정도가같다고평가된영상에는 0.5점이부여된다. 시각실험에의한평가점수는 Thuston 방법에의해계산된다 [43]. 식 (3.6) 은쌍대비교에의한평가점수를 JND로변환하기위해사용된다 [44]. ( p ) 12 sin 1 3 JND = (3.6) p 여기서 p 는실험영상이선택될확률을의미한다. 예를들어 10 명의평가자들이 스캔영상 A 와스캔영상 B 를비교한다고가정하자. 7 명의평가자가스캔영 상 A 에 1 점, 1 명의평가자가 0.5 점그리고나머지 2 명이 0 점을부여하면, 스캔 영상 A 에대한 p 는 7.5/10=0.75 가된다. 107

125 3.1 컬러프린지평가 Equal 그림 3.11 컬러프린지평가에대한쌍대비교방법 Fig Paired comparison method for color fringe evaluation (2) 실험영상의선정방법본논문에서사용된스캔영상들은 40대의서로다른스캐너에의해스캔된것이다. 실험에사용된스캔영상들은스캐너를디폴트모드, 300dpi의해상도로설정함으로써얻어진것이다. 수집된 40장의스캔영상들중 20장은트레이닝영상선정을위한평가세트로사용되고, 나머지스캔영상은성능평가를위한평가세트로사용된다. 트레이닝영상의선정과정은표 3.2를예로들어설명될수있다. (1) 부터 (10) 은컬러프린지의인지정도가큰순서로영상이나열된것이다. 표 3.2의수치는영상 (i) 와 (i+1) 사이의 JND 차이를나타낸것이다. (i) 와 (i+1) 영상사이의 JND가너무작은경우, 시각평가자들은두영상사이의차이를인지하지못한다. 따라서본논문에서트레이닝영상들은영상들사이의 JND 차이가 1을유지하도록선정되었다. JND가 1이라는것은영상이 108

126 3.1 컬러프린지평가 0.75의확률로선호된다는것을의미한다. 표 3.2에서영상 (1) 을첫번째트레이닝영상으로선택한다. 영상 (1) 과영상 (2) 사이의 JND 차이는 1이므로, 영상 (2) 도트레이닝영상으로선택한다. 그러나영상 (3) 은영상 (2) 와의 JND 차이가 0.48로매우작기때문에트레이닝영상에서제외된다. 영상 (4) 는영상 (2) 와의 JND 차이가 0.95로 JND 1에가깝기때문에트레이닝영상으로선정한다. 이와같은과정을반복적으로수행하여트레이닝영상을선정한다. 표 3.2에서첫번째열의굵은글씨는상기와같은과정에의해선정된트레이닝영상을나타낸것이다. 본절에서는 20장의스캔영상을대상으로시각실험을수행하여 12장의트레이닝영상을선정하였다. 12장에대한시각실험결과는컬러프린지평가모델설계에사용된다. 표 3.2 컬러프린지에대한시각평가결과 Table. 3.2 Examples of human visual test results (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (1) (2) (3) (4) (5) (6) (7) (8) (9) (10)

127 3.1 컬러프린지평가 (3) 평가모델의설계방법컬러프린지평가모델은 4가지화질요소의선형결합으로설계된다. 12장의트레이닝영상으로 4가지화질요소에대한정량화수치를계산한다. 선형결합계수는시각실험에의한 JND와화질요소별정량화수치의회귀를통해추정가능하다. 컬러프린지평가모델은식 (3.7) 과같이정의한다. Q = ( 5.74) f + (4.90) f + (3.43) f + (1.90) f (3.7) color fringe I S H R 여기서 Q color fringe 는제안하는컬러프린지평가모델을의미한다. f I, f S, f H 그리고 f R 은각각 intensity of fringe, size of fringe, variety in hue of color fringe 그리고 relative lightness of background 를의미한다. 식 (3.7) 에서 intensity of fringe 를나타내는 f I 의계수가가장큰것을확인할수있다. 그다음 f S, size of fringe 의계수가두번째로큰것을확인할수있다. 이것은컬러프린지의채도와크기가컬러프린지의인지정도를결정하는주요화질요소라는것을의미한다. 또한선택된 4가지화질요소가통계적으로중요한의미가있다는사실을확인하기위해 Minitab을이용하여각화질요소의 p-value를계산하였다 [54]. 선형회귀분석에서 p-value가유의수준수치 0.05보다작은경우, 해당요소가중요한요소라는것을의미한다 [55]. 실험을통해 4가지화질요소의 p-value가 0.05보다낮은것을확인하였다. 또한식 (3.7) 에의해계산된 Q color fringe 와시각평가점수의상관관계수치가 0.90으로매우높은것이확인되었다. 110

128 3.1 컬러프린지평가 실험결과지금까지컬러프린지평가모델의설계방법에대해설명하였다. 본절에서는제안하는평가모델의성능을검증한다. 또한기존방법 [46] 과의성능을비교한다. 선택된화질요소의효과에대해설명하고, 검출성능의정확성을검증한다. (1) 테스트영상에대한성능평가제안하는평가모델의성능을평가하기위해, 평가모델개발에사용되지않는실험영상을대상으로시각실험이수행되었다. 수집된 40장의스캔영상들중 20장이트레이닝영상선정을위한평가세트로사용되었고, 트레이닝영상으로선정된 12장의스캔영상으로평가모델이개발되었다. 나머지 28장이성능평가를위한평가세트로사용되었다. 테스트영상에대한상관계수는 0.89이며트레이닝영상에대한상관계수 0.90과유사함이확인되었다. (2) 기존방법과의비교 [46] 은디지털카메라의컬러프린지평가와관련된연구이다. Size of fringe 와 intensity of fringe 로컬러프린지의발생정도를정량화한다. 그러나컬러프린지의발생정도와정량화수치의관계는고려되지않았다. 제안하는방법과의성능비교를위해, 기존의두화질요소를이용하여평가모델을설계하였다. 평가모델은제안하는컬러프린지평가모델과동일한방식으로설계되었으며, 식 (3.8) 과같이정의되었다. 111

129 3.1 컬러프린지평가 P = 18.58) I + (16.45) I + (0.73) S color fringe ( (3.8) blue fringe red fringe fringe 여기서 P color fringe 는기존의정량화방법으로설계한컬러프린지평가모델을 의미한다. I blue fringe 와 I red fringe 는 blue와 red 프린지의발생강도를의미한다. S fringe 는 blue 또는 red 프린지로검출된프린지의평균크기를의미한다. 트레이닝영상과테스팅영상에대한상관계수는각각 0.81과 0.80이다. 그림 3.12의 (a) 와 (b) 는평가모델에의한정량적수치와시각평가에의한정성적수치의상관관계를나타낸것이다. 수평축은시각실험에의한 JND 수치를나타낸것이며, 수직축은평가모델에의한정량적수치를나타낸것이다. 상관계수및그림 3.12를통해제안하는방법의성능이기존의방법보다높음을확인할수있다. 112

130 3.1 컬러프린지평가 (a) 기존의방법 (b) 제안하는방법 그림 3.12 정량적평가수치와정성적평가수치의상관관계 Fig Correlations between the subjective score and quantitative scores 113

131 3.1 컬러프린지평가 (3) 화질요소의효과본논문에서정의한 4가지화질요소의필요성은그림 3.13, 그림 3.14 그리고그림 3.15를예로들어설명될수있다. 시각실험을통해 영상 2 에대한컬러프린지의인지정도가 영상 1 보다높게인지되는것으로평가되었다. 그러나 f I, f S 그리고 f R 의정량화수치는시각실험결과와반대되는것을확인할수있다. f H 의정량화수치만시각실험결과와일치한다. 또한제안하는컬러프린지평가모델에의한정량적수치가시각실험결과와일치함을확인할수있다. 이와다르게기존방법에의한정량적수치는시각실험결과와반대된다. 이것은 f H 가컬러프린지의인지정도를반영하는중요화질요소임을의미한다. Perceived level(jnd) 9.79 < f I 0.79 > 0.68 f S 0.55 > 0.53 f H 0.33 < 0.72 f R 0.43 > 0.25 Measure from previous work (Eq. (3.16)) > 8.55 Proposed measure (Eq. (3.15)) 9.18 < 9.44 (a) image 1 (b) image 2 그림 3.13 성능평가에대한예 (Case1) Fig An example for performance evaluation (Case1) 114

132 3.1 컬러프린지평가 그림 3.14은그림 3.13와다른예를나타낸것이다. 시각실험을통해 영상 4 에대한컬러프린지의인지정도가 영상 3 보다높게인지되는것으로평가되었다. f I 와 f S 는시각평가결과와반대되는결과를보인다. 그러나나머지다른화질요소 f H 와 f R 은시각평가결과와일치한다. 제안하는평가모델에의한정량적수치역시시각평가결과와일치함을확인할수있다. Perceived level(jnd) 7.18 < 8.18 f I 0.22 > 0.18 f S 0.52 > 0.50 f H 0.68 < 0.81 f R 0.27 < 0.40 Measure from previous work (Eq. (7)) 5.73 > 4.61 Proposed measure (Eq. (6)) 6.65 < 7.02 (a) image 3 (b) image 4 그림 3.14 성능평가에대한예 (Case 2) Fig An example for performance evaluation (Case2) 115

133 3.1 컬러프린지평가 그림 3.15는 4가지화질요소의필요성을나타내는마지막예를나타낸것이다. 세가지화질요소, f I, f S 와 f H 는시각실험결과와반대의결과로계산되었다. f R 의정량화수치만시각실험결과와일치한다. 4가지화질요소의결합에의한제안하는평가모델의정량적수치역시시각평가결과와일치함을확인할수있다. Perceived level(jnd) 8.83 < 9.47 f I 0.37 > 0.34 f S 0.62 > 0.61 f H 0.75 > 0.74 f R 0.07 < 0.37 Measure from previous work (Eq. (7)) 6.68 > 5.19 Proposed measure (Eq. (6)) 7.87 < 8.18 (a) image 5 (b) image 6 그림 3.15 성능평가에대한예 (Case 3) Fig An example for performance evaluation (Case3) 116

134 3.1 컬러프린지평가 (4) 컬러프린지검출의성능제안하는평가모델의성능에영향을미치는중요한요인중에하나는컬러프린지검출의정확도이다. 그림 3.16과그림 3.17은스캔영상과컬러프린지를수작업으로검출한것의예를나타낸것이다. 그림 3.17은 T c 와 T e 를결정하기위한 ground truth data로이용되었다. 본논문은컬러프린지검출의정확도를컬러프린지를컬러프린지로검출하는비율과컬러프린지가아닌것을컬러프린지가아닌것으로분류하는비율의평균으로계산한다. 전자는 TP(true positive) 로후자는 FN(false negative) 으로정의한다. 이상적으로컬러프린지검출이수행되었을경우 TP와 FN은모두 1의값을가져야한다. 본논문에서는 T c 와 T e 의수치변화에따른컬러프린지검출의정확도를계산하였고, 검출의정확도가가장높은 T c 와 T e 의조합을컬러프린지검출을위한문턱값으로사용하였다. 3과 2가 T c 와 T e 의문턱값으로사용되었다. 그림 3.18은제안하는방법과기존방법에의한컬러프린지검출결과를나타낸것이다. 그림 3.19는 TP, FN 그리고정확도의계산결과를나타낸것이다. 그림 3.18과그림 3.19로부터제안하는방법의성능이기존의방법보다우월함을확인할수있다. 또한 T c 와 T e 변화에따른검출의정확도를그림 3.20 에나타내었다. 검출정확도의범위는 90% 에서 88% 이다. 문턱값으로사용된 T c 와 T e 조합의검출정확도가높은것을확인할수있다. 117

135 3.1 컬러프린지평가 (a) (b) (c) (d) (e) 그림 3.16 Ground truth data 를위한스캔영상들 Fig Scanned images for ground truth data (a) (b) (c) (d) (e) 그림 3.17 그림 3.45 에대한 ground truth data Fig Ground truth data manually extracted from the images in Fig

136 3.1 컬러프린지평가 Proposed method Previous method (a) (b) (c) (d) (e) 그림 3.18 컬러프린지검출결과의예 Fig Results of color fringe extraction for the images in Fig 그림 3.19 검출정확도비교 Fig Comparison of extraction accuracies 119

137 3.1 컬러프린지평가 그림 3.20 T c 와 T e. 에의한검출정확도 Fig Color fringe extraction accuracies for different thresholds T c and T e. 120

138 3.2 글자화질평가 3.2. 스캔영상과복사영상에대한글자화질평가방법 글자의화질은가독성또는외양로평가될수있다 [37]. 글자의가독성은인지가능한글자의최소크기또는판독가능한글자의개수로평가된다 [38]. 글자의외양은영상입출력장치에의한글자의재현정도를나타내는것으로 contrast, sharpness, raggedness 등의화질요소를평가하는것이다. 글자화질평가와관련된기존의연구로 ISO 13660에서정의한 blurriness, density, width 그리고 contrast가있다 [39]. [40] 은 ISO 13660에서정의된화질요소들중 blurriness, contrast, width 를글자화질평가를위한화질요소로선정하고글자화질평가모델을설계한다. 그러나정량화수치와글자화질의관계가정의되지않아평가의정확성이낮다. 예를들어글자두께에대한정량화수치가증가함에따라글자의화질은증가하다감소한다. 그러나기존방법은글자두께가증가함에따라글자의화질이증가한다. 본절에서는인간시각과높은상관도의글자화질평가모델을제안한다. 글자의인지정도에영향을주는중요화질요소들을확인하기위해예비시각실험이수행된다. 중요화질요소들은시각실험에참가한평가자들의인터뷰결과를바탕으로선정된다. 또한각화질요소들의특징을수치화하기위한정량화방법이제안된다. 그리고각화질요소들의정량화수치와글자화질의관계가정의된다. 글자화질평가모델은화질요소에대한화질 JND의선형결합으로설계된다. 제안하는글자화질평가모델방법론은스캔영상과인쇄영상의흑백글자를대상으로하며, 화질평가모델에의한정량화수치와시각 121

139 3.2 글자화질평가 평가에의한정성적수치의상관관계를통해검증된다 글자화질요소결정방법 (1) 화질요소의선정그림 3.21은글자화질평가를위해사용된실험패턴의예를나타낸것이며, 오프셋인쇄기로제작되었다. 이와같이제작된평가차트는스캔영상및복사영상의수집을위해사용되었다. 글자화질에영향을주는중요화질요소를결정하기위해수집된영상들을대상으로예비시각실험이수행되었다. 시각실험은쌍대비교방식으로수행되며, 평가자들에게글자화질이좋다고판단된글자를선택하도록요구되었다. 또한영상선정의이유가질문되었다. 그림 3.21 글자화질실험패턴 Fig Test pattern for character quality 122

140 3.2 글자화질평가 (a) (b) (c) 그림 3.22 스캔영상의글자화질예 Fig Example of character quality on scanned image 그림 3.22는스캔영상의글자화질예를나타낸것으로수집된스캔영상들은디폴트모드, 300pi의해상도그리고흑백모드로스캔된것이다. 스캔영상들은시각실험을위해 srgb 모니터에디스플레이되었다. 인터뷰결과를바탕으로스캔영상의글자화질이 sharpness, contrast, thickness 에의해결정됨이확인되었다. 글자의 contrast와 sharpness가증가함에따라글자의화질은높게평가된다. 반면에, 글자의두께가두꺼워짐에따라글자의화질이증가하다감소하는것이확인되었다. 123

141 3.2 글자화질평가 (a) (b) (c) 그림 3.23 복사영상의글자화질예 Fig Example of character quality on copied image 그림 3.23은복사영상의글자화질예를나타낸것으로수집된복사영상들은디폴트모드그리고흑백모드로복사된것이다. 인터뷰결과를바탕으로복사영상의글자화질이 raggedness, contrast, thickness 에의해결정됨이확인되었다. 스캔영상의글자화질과동일하게 contrast와 thickness가화질요소로고려되었다. 글자경계의 raggedness 정도가증가함에따라글자의화질이낮게평가되었다. 124

142 3.2 글자화질평가 (2) 화질요소들의정량화방법본절에서는화질요소의정량화방법을설명한다. 복사영상의경우, 화질요소별정량화수치계산을위해 1200dpi 이상의해상도로스캔되었다. 또한스캔된복사영상들에대해스캐너보정이수행되었다. 화질요소의특징을수치화하기위해, 그림 3.24와같이글자를글자영역, 배경영역, 경계영역으로분류한다. 직선모양의글자평가만가능한기존의정량화방법 [39] 과달리제안하는정량화방법은글자영역, 배경영역, 경계영역으로분류하여정량화수치를계산하기때문에곡선, 세리프 (serif) 등을가진글자의평가도가능하다. 먼저, 글자영역과배경영역을분류하기위해이진화를수행한다. 처리하려고하는화소의계조가비교되는문턱값보다작은경우글자영역으로분류하고, 문턱값보다큰경우배경영역으로분류한다. 여기에서문턱값은 otsu 방법 [45] 에의해결정된다. 경계영역은글자의경계선부분에속하는화소들과배경에인접한화소들로구성된다. 경계영역을검출하기위해, 글자영역으로분류된화소들에대해서는침식연산 (erosion operation), 배경영역으로분류된화소들에대해서는확장연산 (dilation operation) 을수행한다. 글자영역과배경영역에속하지않는부분을경계영역으로분류한다. 125

143 3.2 글자화질평가 (a) Scanned image (b) Character area (c) Background area (d) Border area 그림 3.24 글자영역의분류 Fig Example of portion of scanned image and its subarea Contrast 는배경영역과글자영역의계조로정량화하며, 식 (3.9) 와같이 정의한다. f CON m m back char = (3.9) back m + m char 여기서, mback 과 mchar 은각각배경영역과글자영역을이루는화소들의평균 계조이다. Thickness 는글자의두께뿐만아니라 missing serif와같은글자의결함도정량화수치에반영된다. Thickness' 는글자영역으로검출된화소수로정량화하고식 (3.10) 과같이정의된다. f THI n n char = (3.10) char, ideal 여기서 nchar 은글자영역으로검출된화소수, char ideal n, 은원본글자의화소 126

144 3.2 글자화질평가 수이다. 미한다. fthi fthi 가 1 보다작을수록원본글자의두께보다얇게보인다는것을의 가 1 보다클수록원본글자의두께보다두껍게보인다는것을의 미한다. Sharpness 는경계영역으로검출된화소들을대상으로정량화를수행하고, 식 (3.11) 과같이정의한다. f SHA = (3.11) σ bord 여기서 σ bord 는글자의경계영역으로검출된화소들의계조편차이다. f SHA 수치가클수록글자의경계가선명하다는것을의미한다. Raggedness 의정량화는직선을대상으로수행된다. Raggedness 정량화방법은그림 3.25를예로들어설명할수있다. 직선의경우, 그림 3.25 (a) 와 (b) 같이주파수 0에서만높은응답특성을갖는다. 그림 3.25 (c) 와 (b) 같이, 직선경계에 raggedness가발생하는경우, 직선에해당하는주파수이외의스펙트럼에서증가된형태의주파수응답특성을보인다. 따라서본절에서는직선의주파수를제외한나머지주파수의응답특성을직선의굴곡이나 raggedness 성분으로정의한다. 또한그림 3.26과같이직선의주파수응답특성을제외한형태의 MTF(Modulation Transfer Function) 를제안하고식 (3.12) 와같이정량화한다. RAG = N 1 N 1 f (3.12) u= 0 v= 0 mmtf( u, v) X ( u, v) 127

145 3.2 글자화질평가 여기서, ( u, v) X 는입력영상의주파수스펙트럼, mmtf( u, v) 는본절에서 정의한 modified MTF 를의미한다. f RAG 수치가클수록글자의굴곡또는경계 의거침정도가크게인지된다는것을의미한다. 복사영상 이진영상 주파수변환 영상 (a) (b) (c) (d) 그림 3.25 Raggedness 정도가다른영상의예 Fig Example of raggedness 표 3.3 그림 3.25 에대한 raggedness 정량화의예 Table. 3.3 Example of raggedness calculation for Fig (a) (b) (c) (d)

146 3.2 글자화질평가 y x (a) x-y z y (b) y-z 그림 3.26 실험에사용된정량화필터 Fig modified MTF 129

147 3.2 글자화질평가 글자화질평가모델설계방법그림 3.27은글자화질평가모델의설계흐름도이다. 인간시각특성과일치하는글자화질평가모델을설계하기위해, 시각실험을바탕으로중요화질요소가선정되었다. 트레이닝영상을대상으로선정된화질요소의정량적수치를계산한다. 글자화질평가모델은 JND로변환된각화질요소와시각평가에의한정량적화질수치 (Image Quality JND: IQ JND) 의선형회귀분석에의해설계된다. 본절에서는모델링을위해각화질요소의정량화수치를 JND로변환하는방법에대해설명한다. 또한글자화질평가모델의설계방법에대해설명한다. Training images Objective values of each attributes Human visual experiments Convert objective value to JND IQ JND for character quality Character quality evaluation model 그림 3.27 글자화질평가모델의설계흐름도 Fig Flow chart to construct character quality evaluation model 130

148 3.2 글자화질평가 (1) 시각실험조건시각실험은암실환경에서수행되며, 실험영상간의차이를수월히비교하기위해쌍대비교방식으로실험이진행되었다 [41-42]. 15명의평가자들을대상으로두영상중에글자의화질이좋은영상을선택하도록설명한다. 만약두영상간의차이가인지되지않는경우, 두영상의화질이같다고평가할수있도록설명한다. 선정된영상은 1점, 그렇지않은영상은 0점이부여된다. 화질이같다고평가된영상에는 0.5점이부여된다. 시각실험에의한평가점수는 Thuston 방법에의해계산된다 [43]. 식 (3.6) 은쌍대비교에의한평가점수를 JND로변환하기위해사용된다 [44]. ( p ) 12 sin 1 3 JND = (3.6) p 여기서 p 는실험영상이선택될확률을의미한다. 예를들어 10 명의평가자들이 스캔영상 A 와스캔영상 B 를비교한다고가정하자. 7 명의평가자가스캔영 상 A 에 1 점, 1 명의평가자가 0.5 점그리고나머지 2 명이 0 점을부여하면, 스캔 영상 A 에대한 p 는 7.5/10=0.75 가된다. 131

149 3.2 글자화질평가 (2) 화질요소의 JND 변환방법 A. Contrast Contrast 정도가다른실험영상들은 contrast 정량화수치 fcon으로결정된다. 예를들어, 수집된스캔영상들의 fcon을계산하고, fcon 수치가일정한간격을갖도록실험영상들을선정한다. 선정된실험영상들의 fcon 수치범위는 0.2부터 1 사이이다. 각실험영상의화질 JND는선정된실험영상들의화질시각실험을바탕으로결정된다. 그림 3.28은스캔영상의글자들에대한 fcon과화질 JND의관계를나타낸것이다. fcon수치가증가함에따라화질에대한 JND가증가하는것을확인할수있다. 이것은 contrast가증가함에따라화질이좋게평가된다는것을의미한다. 또한 fcon수치가 0.8인글자들은평균적으로 JND로평가된다는것을알수있다. fcon과 JND의관계는선형식으로정의할수있다. 그림 3.28 f CON 과화질사이의관계 Fig Correlations between fcon and JND 132

150 3.2 글자화질평가 B. Thickness Thickness 정도가다른실험영상들은 thickness 정량화수치 fthi로결정된다. 예를들어, 수집된스캔영상들의 fthi를계산하고, fthi 수치가일정한간격을갖도록실험영상들을선정한다. 선정된실험영상들의 fthi 수치범위는 0.7부터 1.5사이이다. 각실험영상의화질 JND는선정된실험영상들의화질시각실험을바탕으로결정된다. 그림 3.29는스캔영상의글자들에대한 fthi과화질 JND의관계를나타낸것이다. fthi 수치가증가함에따라화질에대한 JND가증가하다가감소하는것을확인할수있다. 이것은글자의두께가얇거나두껍게표현되면글자의화질이나쁘게평가된다는것을의미한다. fthi과 JND의관계는이차다항식으로정의할수있다. 그림 3.29 f THI 와화질사이의관계 Fig Correlations between fthi and JND 133

151 3.2 글자화질평가 C. Sharpness Sharpness 정도가다른실험영상들은 Sharpness 정량화수치 fsha로결정된다. 예를들어, 수집된스캔영상들의 fsha를계산하고, fsha 수치가일정한간격을갖도록실험영상들을선정한다. 선정된실험영상들의 fsha 수치범위는 30부터 120사이이다. 각실험영상의화질 JND는선정된실험영상들의화질시각실험을바탕으로결정된다. 그림 3.30은스캔영상의글자들에대한 fsha과화질 JND의관계를나타낸것이다. fsha 수치가증가함에따라화질에대한 JND가증가한다. 이것은글자의 sharpness 정도가증가할수록글자의화질이좋게평가된다는것을의미한다. fsha 과 JND 의관계는선형식으로정의할수있다. 그림 3.30 f SHA 와화질사이의관계 Fig Correlations between fsha and JND 134

152 3.2 글자화질평가 D. Raggedness Raggedness 정도가다른실험영상들은 Raggedness 정량화수치 frag로결정된다. 예를들어, 수집된복사영상들의 frag를계산하고, frag 수치가일정한간격을갖도록실험영상들을선정한다. 선정된실험영상들의 frag 수치범위는 350 부터 900사이이다. 각실험영상의화질 JND는선정된실험영상들의화질시각실험을바탕으로결정된다. 그림 3.31은복사영상의글자들에대한 frag와화질 JND의관계를나타낸것이다. frag 수치가증가함에따라화질에대한 JND가감소한다. 이것은글자의 raggedness 정도가증가할수록글자의화질이나쁘게평가된다는것을의미한다. frag과 JND의관계는선형식으로정의할수있다. 그림 3.31 f RAG 와화질사이의관계 Fig Correlations between frag and JND 135

153 3.2 글자화질평가 (3) 평가모델의실험영상선정방법본절에서사용된스캔영상들은 40대의서로다른스캐너에의해스캔된것이다. 실험에사용된스캔영상들은스캐너를디폴트모드, 300dpi의해상도로설정함으로써얻어진것이다. 수집된 40장의스캔영상들중 10장은트레이닝영상선정을위한평가세트로사용되고, 나머지 10장의스캔영상은성능평가를위한평가세트로사용된다. 트레이닝영상의선정과정은표 3.4를예로들어설명될수있다. (1) 부터 (10) 은글자화질이좋다고평가된순서로영상이나열된것이다. 표 3.4의수치는영상 (i) 와 (i+1) 사이의 JND 차이를나타낸것이다. (i) 와 (i+1) 영상사이의 JND가너무작은경우, 시각평가자들은두영상사이의차이를인지하지못한다. 따라서본논문은영상들사이의 JND 차이가 1 을유지하도록트레이닝영상들이선정되었다. JND가 1이라는것은영상이 0.75 의확률로선호된다는것을의미한다. 표 3.4에서영상 (1) 을첫번째트레이닝영상으로선택한다. 영상 (1) 과영상 (2) 사이의 JND 차이는 1.14이므로, 영상 (2) 도트레이닝영상으로선택한다. 그러나영상 (3) 은영상 (2) 와의 JND 차이가 0.24로매우작기때문에트레이닝영상에서제외된다. 영상 (4) 는영상 (2) 와의 JND 차이가 0.86으로 JND 1에가깝기때문에트레이닝영상으로선정한다. 이와같은과정을반복적으로수행하여트레이닝영상을선정한다. 표 3.4에서첫번째열의굵은글씨는상기와같은과정에의해선정된트레이닝영상을나타낸것이다. 본절에서는 10장의스캔영상을대상으로시각실험을수행하여 9 장의트레이닝영상을선정하였다. 9장에대한시각실험결과는스캔영상의글자화질평가모델설계에사용된다. 136

154 3.2 글자화질평가 표 3.4 스캔영상의글자화질에대한시각평가결과 Table. 3.4 Examples of human visual test results for scanned image (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (4) 평가모델의설계방법본절에서제안하는스캔영상의글자화질평가모델은식 (3.7) 과같이 contrast, thickness, sharpness의선형결합으로설계된다. 9장의트레이닝영상으로 3가지화질요소에대한정량화수치를계산한다. 각화질요소의정량화수치는화질 JND로변환한다. 선형결합계수는각화질요소의정량화수치에대응하는 JND와시각실험에의한화질 JND의회귀를통해추정가능하다. Q = 0.14 J J J (3.7) scan character CON THI SHA 137

155 3.2 글자화질평가 여기서 J CON, J THI, J SHA 는각각 contrast, thickness, sharpness의정량화수치에대응하는 JND를의미한다. 식 (3.7) 에서 sharpness에대한계수가가장큰것을확인할수있다. 이것은스캔영상의글자화질이 sharpness에의해결정된다는것을의미한다. 복사영상의글자화질평가모델도스캔영상의글자화질평가모델과동일한방법으로설계되었다. 식 (3.8) 은본절에서제안하는복사영상의글자화질평가모델을나타낸것이다. Q = 0.06 J J J (3.8) copy character CON THI RAG 여기서 J CON, J THI, J RAG 는각각 contrast, thickness, raggedness의정량화수치에대응하는 JND를의미한다. 식 (3.8) 에서 raggedness에대한계수가가장큰것을확인할수있다. 이것은복사영상의글자화질이 raggedness에의해결정된다는것을의미한다. 138

156 3.2 글자화질평가 실험결과본절에서는스캔영상과복사영상의글자화질평가모델을설계하기위해각화질요소의특징이반영된정량화방법을개발하고, 각화질요소에대한정량화수치를 JND로변환한다. 평가모델개발에사용되지않은테스트셋을이용하여제안하는글자화질평가모델의성능을확인한다. 또한각화질요소에대해제안하는정량화방법에의한결과와기존정량화방법에의한결과를비교한다. (1) 테스트영상에대한성능평가표 3.5는스캔영상과복사영상의글자화질평가모델들에대한성능평가결과를나타낸것이다. 테스트셋과트레이닝셋모두 0.90 이상의높은상관관계를나타낸다. 이것은제안하는글자화질평가방법이인간시각특성이잘반영되고있다는사실을의미한다. 표 3.5 글자화질평가모델들의상관계수 Table. 3.5 Correlations of character quality evaluation models Scanned image Copied image Training set Testing set Training set Testing set

157 3.2 글자화질평가 그림 3.32 는스캔영상의글자들에대한정량화수치 Qscan 과시각평가에 의한 JND 사이의관계를나타낸것이다. 트레이닝셋과테스트셋모두정량화 수치와 JND 가높은상관관계를보이고있다. 또한제안하는글자화질평가 모델은그림 3.33 과같이글자화질평가룰러 (character quality ruler) 로활용되어 성능이평가될수있다. 그림 3.33 은트레이닝셋으로사용된글자의일부를정 량화수치 Qscan 순으로나열한것이다. 그림 3.33 의글자 (a) 와 (b) 는테스트셋으 로글자 (a) 는 Qscan 수치가 인글자보다화질이좋고, Qscan 수치가 인 글자보다화질이낮게평가되었다. 또한글자 (a) 의 Qscan 수치가두영상의 Qscan 수치사이에위치하고있음을확인할수있다. 3 Image quality JND Training Testing -3 Character quality evaluation score 그림 3.32 스캔영상의글자들에대한 Q scan 수치와 JND 사이의관계 Fig Correlations between modeling scores and JND 140

158 3.2 글자화질평가 Quantitative score (a) (b) 그림 3.33 스캔영상에대한글자화질평가룰러 Fig character quality ruler for scanned image B. 복사영상그림 3.34는복사영상의글자들에대한정량화수치 Qcopy와시각평가에의한 JND 사이의관계를나타낸것이다. 트레이닝셋과테스트셋모두정량화수치와 JND가높은상관관계를보이고있다. 또한제안하는글자화질평가모델은그림 3.35와같이글자화질평가룰러로활용되어성능이평가될수있다. 그림 3.35는트레이닝셋으로사용된글자의일부를정량화수치 Qcopy순으로나열한것이다. 그림 3.35의글자 (a) 와 (b) 는테스트셋으로글자 (a) 는 Qcopy 수치가 인글자보다화질이좋고, Qcopy 수치가 인글자보다화질이낮게평가되었다. 또한글자 (a) 는글자 (b) 보다 contrast는크게인지되지만글자의두께가두꺼워화질이낮게평가되었다. 141

159 3.2 글자화질평가 3 Image quality JND Training Testing -3 Character quality evaluation score 그림 3.34 복사영상의글자들에대한 Q cpoy 수치와 JND 사이의관계 Fig Correlations between modeling scores and JND Quantitative score (a) (b) 그림 3.35 복사영상에대한글자화질평가룰러 Fig character quality ruler for scanned image 142

160 3.2 글자화질평가 (2) 기존방법과의비교그림 3.36는두께의정도가다르게인지되는글자의예를나타낸것이다. 표 3.6은기존의방법과제안하는방법에의해그림 3.36의글자를정량화한결과이다. 기존방법의경우글자의두께가동일한수치로계산된다. 이와달리제안하는방법은정량화수치와인지되는두께의정도가일치한다. 즉, 1보다작을수록글자의두께가원본글자의두께보다얇고, 1에가까울수록원본글자의두께와유사하며, 1보다클수록글자의두께가원본글자의두께보다두껍다는사실이정량화수치에반영되었음을확인할수있다. 기존방법의경우그림 3.36에도트라인으로표시한영역의직선만평가가가능하다. 따라서글자의곡선및 serif 부분에서인지되는두께의차이가정량화수치에반영되지않는다. (a) (b) (c) (d) 그림 3.36 두께의정도가다르게인지되는글자 Fig characters with different thickness 표 3.6 두께정량화결과의비교 Table 3.6 Comparison between previous and proposed method for thickness (a) (b) (c) (d) Previous method[39] Proposed method

161 3.2 글자화질평가 그림 3.37은 sharpness 정도가다르게인지되는글자의예를나타낸것이다. 표 3.7은기존방법과제안하는방법에의해그림 3.37의글자를정량화한결과이다. 기존방법은글자의 sharpness 정도를동일한수치로정량화한다. 이와달리제안하는방법은글자에서인지되는 sharpness정도가커질수록정량화수치가증가한다. 기존방법은블러 (blur) 발생영역의길이를정량화하고제안하는방법은블러발생영역의계조변화를정량화한다. 즉글자의 sharpness 정도가글자경계영역의계조변화에의해다르게인지된다는것을알수있다. 이와같은사실은그림 3.36을통해설명할수있다. 그림 3.38은그림 3.37 (a) 와 (b) 에서도트라인으로표시한영역의위치별평균계조를나타낸것이다. position 7, 8 및 9는글자영역, position 5, 6,7, 9, 10 및 11은경계영역, 나머지는배경영역에해당된다. 두글자의경계영역은일치하지만계조변화정도가다른것을확인할수있다. 즉, 블러발생영역에해당하는경계영역의넓이가동일한경우, 계조변화에의해 sharpness 정도가다르게인지된다는것을알수있다. (a) (b) (c) (d) 그림 3.37 Sharpness 정도가다르게인지되는글자 Fig characters with different sharpness 144

162 3.2 글자화질평가 표 3.7 Sharpness 정량화결과의비교 Table 3.7 Comparison between previous and proposed method for sharpness (a) (b) (c) (d) Previous method[39] μm μm Proposed method character level (a) (b) character position 그림 3.38 글자의위치별평균계조 Fig characters with different sharpness 145

163 3.2 글자화질평가 그림 3.39는 raggedness 정도가다르게인지되는글자들의예를나타낸것으로 raggedness가크게인지되는순서대로나열되었다. 표 3.8은그림 3.39에도트라인으로표시한영역을기존의방법과제안하는방법으로정량화한결과이다. 제안하는방법의경우 raggedness 정도가크게인지될수록정량화수치가증가한다. 그러나기존방법의경우그림 3.39 (d) 가그림 3.39 (b) 보다 raggedness 정도가크게인지되는것으로평가한다. (a) (b) (c) (d) 그림 3.39 Raggedness 정도가다르게인지되는글자 Fig characters with different raggedness 표 3.8 Raggedness 정량화결과의비교 Table 3.8 Comparison between previous and proposed method for raggedness (a) (b) (c) (d) Previous method[39] Proposed method

164 3.2 글자화질평가 (3) 글자영역분류결과본절에서는글자화질을정량적으로평가하기위해입력영상을글자영역, 배경영역, 경계영역으로분류한다. 따라서기존방법과다르게직선외에도곡선및세리프를포함하는다양한형태의글자평가가가능하다. 글자영역과배경영역을분류하기위해이진화를수행한다. 처리하려고하는화소의계조가비교되는문턱값보다작은경우글자영역으로분류하고, 문턱값보다큰경우배경영역으로분류한다. 여기에서문턱값은 otsu 방법 [45] 에의해결정된다. 경계영역은글자의경계선부분에속하는화소들과배경에인접한화소들로구성된다. 경계영역을검출하기위해, 글자영역으로분류된화소들에대해서는침식연산, 배경영역으로분류된화소들에대해서는확장연산을수행한다. 글자영역과배경영역에속하지않는부분을경계영역으로분류한다. 그림 3.40은입력영상에대한영역별분류결과를나타낸것이다. 입력영상에따라적응적으로각영역이분류되는것을확인할수있다. 147

165 3.2 글자화질평가 (a) (b) (c) (d) (e) (f) Input image Background area Character area Border area 그림 3.40 글자영역별분류결과 Fig Results of portion of scanned image and its subarea 148

166 3.3 노이즈평가 3.3. 복사영상의노이즈평가방법 영상에서노이즈는본래신호에서없었던원치않는신호가발생된것을의미한다. 복사영상의경우, 단일색상패치에낟알무늬, 얼룩무늬, 또는물결무늬등이규칙적또는불규칙적으로발생하여불균일하게인지되는것을노이즈로정의한다. 복사영상의노이즈는스캔에사용되는센서, 광학계특성, 조명, 모터속도등과같은스캐닝관련요소의불균일성과프린터엔진의해상도, 토너특성과같은프린팅관련요소의불균일성에의해발생된다. 복사영상의노이즈평가와관련된기존의연구로 ISO 13660에서정의한그레이니스 (graininess) 와모틀 (mottle) 이있다 [39]. 그레이니스는낟알무늬형태가불규칙적으로발생한것이며, 모틀은얼룩무늬형태가불규칙적으로발생한것이다. ISO 13660은공간주파수 0.4 cycles/mm를기준으로그레이니스와모틀을구분하고, 각각을 N개의영역별농도값에대한표준편차들의평균그리고 N 개의영역별평균농도값들의표준편차로정량화한다. 그러나그레이니스와모틀은 0.4 cycle/mm를기준으로구별되지않는다. 또한각각의정량화수치와노이즈인지정도의관계가설명되지않았다. [48] 은노이즈평가모델을제안한다. 먼저 CSF 필터링을수행하여눈에인지되지않는주파수의성분을제거한다. 그리고웨이블릿변환 (Wavelet Transform) 을이용하여영상을그레이니스영상과모틀영상으로구분한다. 구분된영상들은 ISO 13660에서정의한방법으로정량화된다. 그레이니스와모틀에가중치를부여하는방식으로노이즈평가모델을설계한다. 또한서로다른프린터에서인쇄된영상들을동일밝기에서비교하기위해, 동일밝기에서의그레이니스와모틀의정량화값을추정한다. 노 149

167 3.3 노이즈평가 이즈평가와관련된기존의연구들은대부분인쇄영상의그레이니스와모틀의정량적평가에초점을두고있다. 그러나스캐너또는프린터메커니즘에의한복사영상의불균일성정도를그레이니스와모틀로구분하여평가하기어렵다. 또한동일한영상도복사기마다다른밝기로출력되어노이즈정도가다르게인지된다. 따라서복사영상의노이즈평가에는단일색상패치의불균일성정도와밝기에의한영향이고려되어야한다. 본절의목적은복사영상의노이즈정도를정량적으로평가하는것이다. 먼저, 복사영상의불균일성을방사형파워스펙트럼 (radial power spectrum) 으로분석한다 [49]. 그리고시각실험을통해복사영상의밝기가노이즈의인지정도에미치는영향을확인한다. 제안하는정량화방법은방사형파워스펙트럼에인간시각특성이반영된 CSF를적용하고복사영상의밝기에대한가중치를부여한다. 제안하는정량적노이즈평가방법의성능은시각실험에의한 JND 와의상관관계계산을통해검증한다 복사영상의노이즈인지특성분석노이즈의실험패턴은그림 3.41에나타낸것과같이 C(cyan), M(magenta) 그리고 K(black) 에대한 8단계밝기의색상패치들로구성된다. 실험패턴은복사영상의화질평가를위해제작된평가차트의일부분이며, 오프셋프린팅으로제작되었다. 150

168 3.3 노이즈평가 그림 3.41 노이즈실험패턴 Fig Test pattern for noise 복사영상에서의노이즈특성을분석하기위해 20대의복사기로부터실험영상들이수집되었다. 각각의복사기는디폴트에컬러모드로설정한다. 그림 3.42는복사영상의노이즈발생예로그림 3.41에표시한색상패치의일부분을나타낸것이다. 동일한밝기의색상패치들이복사과정을통해균일성정도와밝기가다르게표현된것을확인할수있다. 예를들어그림 3.42 (a) 의색상패치들이그림 3.42 (c) 보다밝게인지된다. 또한그림 3.42 (a) 의색상패치가그림 3.42 (b) 보다균일하게표현되었다. 본절에서는두가지측면으로복사영상의노이즈를분석한다. 첫째는주파수상에서복사영상의불균일성을분석하고둘째는복사영상의밝기가노이즈의인지정도에미치는영향을확인한다. 151

169 3.3 노이즈평가 C M K (a) A (b) B (c) C (d) D 그림 3.42 복사된색상패치들의예 Fig Example of copied color patches (1) 균일성분석본절에서는복사영상의불균일정도와공간주파수에서저주파수성분과의관계를분석한다. 먼저, 스캔된단일색상패치의 RGB좌표를 L* 로변환한다. 입력 RGB에대한 L* 변환식은스캐너캘리브레이션 (scanner calibration) 을통해결정된다. L* 에대해푸리에변환 (Fourier transform) 을수행하여파워스펙트럼 P( u, v) 을계산한후, 식 (3.7) 에의해방사형파워스펙트럼을계산한다. 152

170 3.3 노이즈평가 N ( ) 1 r f r P r ( f r ) = P( u, v) (3.7) N ( f ) r r i= 1 식 (3.7) 에서 f r 은방사형주파수 (radial frequency) 로서식 (3.8) 로정의되며, N r ( f r ) 은 f r 주파수의개수를의미한다. 즉, 방사형스펙트럼은 P( u, v) 를원점으로부터의거리에대한함수로나타낸것이다. f r = u v (3.8) 그림 3.43은단일색상패치의균일성분석을위해사용된실험영상 (Test image) 의예이다. 실험영상 A가 B보다균일하게인지되는것을확인할수있다. 그림 3.44는그림 3.43의실험영상에대한방사형파워스펙트럼을나타낸것이다. 실험영상 B의저주파성분이실험영상 A보다많은것을확인할수있다. 이것은사람시각특성이저주파성분에민감하고고주파성분에둔감한저역필터의특성을갖기때문에저주파성분이많을수록단일색상패치의균일성이저하되는현상과부합함을알수있다. 그림 3.44에서실험영상 A가특정주파수에서높은응답특성을보인다. 이것은하프토닝패턴 (halftoning pattern) 에의해발생한주파수성분이다. 그러나하프토닝패턴의경우노이즈로인지되지않는다. 153

171 3.3 노이즈평가 (a) 실험영상 A (b) 실험영상 B 그림 3.43 균일성분석을위한실험영상의예 Fig Example of test images for analyzing uniformity 그림 3.44 실험영상 A 와 B 에대한방사형파워스펙트럼 Fig Radial power spectrum for test image A and B 154

172 3.3 노이즈평가 (2) 밝기특성분석복사영상의밝기가노이즈인지정도에미치는영향을확인하기위해다음의시각실험이수행되었다. 수집된복사영상들중에서방사형파워스펙트럼의형태가유사하고밝기가다른 5장의실험영상이선정되었다. 시각실험은 10명의평가자들을대상으로쌍대비교방식으로진행한다. 쌍대비교는영상을일대일로비교하기때문에두영상간의차이를쉽게구별할수있는시각평가방법이다 [41~42]. 평가자들에게밝기가다른두영상사이에노이즈정도가크게인지되는영상을선택하도록설명한다. 만약두영상간의차이가인지되지않는경우, 두영상의노이즈정도가같다고평가할수있도록설명한다. 만약두영상간의차이가인지되지않는경우, 두영상의노이즈정도가같다고평가할수있도록설명한다. 선정된영상은 1점, 그렇지않은영상은 0점을부여하고, 노이즈정도가같다고평가된영상은 0.5점을부여한다. 시각실험에의한평가점수는 Thurston 방법 [43] 에의해계산된다. 식 (3.6) 이쌍대비교에의한평가점수를 JND로변환하기위해사용된다 [44]. 그림 3.45는단일색상패치의밝기에의해균일성이다르게인지되는실험영상의예를나타낸것이다. 그림 3.46은그림 3.45에제시된실험영상들의방사형파워스펙트럼을나타낸것으로, 실험영상 C와 D의스펙트럼형태가유사한것을확인할수있다. 그러나실험결과 10명의평가자들중 8명은실험영상 D 의노이즈정도가실험영상 C보다크게인지된다고평가하였다. 두영상의평균밝기 L* 은각각 56.84와 72.54이다. 다시말해, 복사영상의평균밝기가높은경우노이즈가쉽게인지된다는사실을확인할수있다. 155

173 3.3 노이즈평가 (a) 실험영상 C (b) 실험영상 D 그림 3.45 밝기에따른균일성실험영상 Fig Example of test images for analyzing uniformity and lightness 그림 3.46 실험영상 C 와 D 에대한방사형파워스펙트럼 Fig Radial power spectrum for test image C and D 156

174 3.3 노이즈평가 노이즈인지분석에기반한정량화방법그림 3.47은제안하는노이즈정량화방법의흐름도를나타낸것이다. 스캔된단일색상패치의 RGB좌표를 L* 로변환하고, L* 에대한방사형파워스펙트럼을계산한다 [49]. 본절에서는방사형파워스펙트럼의저주파수성분 (low frequency component, C lowfreq. ) 을정량화하기위해 CSF를가중치함수로이용하 고식 (3.9) 와같이정의한다. C N lowfreq. = Pr f r ) CSF( f r ) r= 1 ( (3.9) 그림 3.48 은실험에적용된 CSF 를나타낸것이다 [50]. 저주파수성분에높 은가중치를주고고주파수성분에낮은가중치를준다. Clowfreq. 수치가높을수 록저주파수성분의양이많다는것이며, 단일색상패치의비균일성정도가 크게인지된다는것을의미한다. 157

175 3.3 노이즈평가 Input constant patch RGB-to- L* Calculate radial power spectrum Calculate average L* C lowfreq. Calculate Determine weight for L* Quantitative score for noise 그림 3.47 노이즈정량화방법 Fig Flow chart to construct the noise evaluation method 그림 3.48 노이즈정량화에적용된 CSF Fig Example of CSF 158

176 3.3 노이즈평가 밝기에의한영향을정량화에반영하기위해, 평균 L* 에대응하는가중치 (weight, w ) 를 Clowfreq. 에적용한다. 본절에서는시각실험결과를바탕으로평 균 L* 에대응하는가중치커브를결정한다. 그림 3.49는가중치커브의예를나타낸것이다. 앞서수행한시각평가의점수를 0부터 1의범위로정규화하고, 커브피팅한것이다. 이와같이결정된가중치커브는식 (3.10) 의노이즈정량화점수계산에적용된다. Q Noise = w C (3.10) L * lowfreq. ave 여기서, w 는평균 L* 에대응하는가중치이고, lowfreq. 는방사형파워스펙 * L ave C 트럼에서저주파수성분의양을의미한다. 그림 3.49 평균 L* 에대응되는가중치커브 Fig Weight curve for average lightness 159

177 3.3 노이즈평가 실험결과 지금까지복사영상에대한노이즈정량화방법에대해설명하였다. 본절 에서는제안하는노이즈정량화방법의성능검증결과에대해설명한다. (1) 균일성에대한검증실험본절은공간주파수상에서저주파수성분의발생정도로단일색상패치의비균일성을평가한다. 저주파수성분을정량화하기위해단일색상패치의방사형파워스펙트럼을계산하고 CSF를가중치로이용한다. 표 3.9는그림 3.43의실험영상에대한 Clowfreq. 결과를나타낸것이다. 실험영상 B의노이즈정 도가실험영상 A 보다크게인지되는것과다르게 CSF 적용전실험영상 A 의 Clowfreq. 가실험영상 B 보다높은수치로계산된다. 이것은사람의시각에노이 즈로인지되지않는주파수의성분이 Clowfreq. 에반영되었기때문이다. CSF 적용 후실험영상 B의 Clowfreq. 가실험영상 A보다높은수치로나타남을확인할수 있다. CSF를적용함에따라사람시각이인지못하는주파수성분은제거되고사람시각에노이즈로인지되는주파수성분만을정량화할수있다. 그림 3.50은 CSF 적용결과의예를나타낸것이다. 그림 3.50 (a) 의하프토닝패턴은그림 3.50 (b) 의푸리에변환결과에서확인할수있는것과같이특정주파수에서높은응답특성을갖는다. 이와같은주파수의응답특성은노이즈로인지되지않는다. 따라서 CSF를적용할경우하프토닝패턴과같은성분 160

178 3.3 노이즈평가 은제외되고저주파수성분만남게된다. 그림 3.50 (d) 는 CSF 적용후역푸리 에변환결과를나타낸것이다. 표 3.9 CSF 적용전후결과 Table 3.9 Results of applied CSF L * ave Before CSF(C lowfeq. ) After CSF(C lowfeq. ) Test image A Test image B (a) 단일영상패치 (b) Fourier 변환결과 (c) CSF 적용결과 (d) 역 Fourier 변환결과그림 3.50 CSF 적용결과 Fig Results of applied CSF 161

179 3.3 노이즈평가 (2) 밝기에대한검증실험 실험영상의 Clowfreq. 가유사하고평균 L* 이다른경우, 평가자들은실험영상 의 L* 이밝은경우에노이즈를더쉽게인지했다. 표 3.10 은그림 3.45 의실험영 상들에대한 Q 결과이다. 두실험영상의 lowfreq. 는유사하지만밝기차이 Noise C 가큰것을볼수있다. 시각실험에서 10 명의평가자들중 8 명이실험영상 D 의노이즈정도가실험영상 C 보다크게인지된다고평가했다. 밝기에대응하는 가중치를 Clowfreq. 에적용함으로써시각평가결과와일치하는결과를얻을수 있었다. 표 3.10 Q noise 결과 Table 3.10 Results of Q noise C lowfeq L * ave Q noise Test image C Test image D

180 3.3 노이즈평가 (3) 기존방법과의비교실험본절에서는시각실험결과와의상관관계를계산하여제안하는노이즈정량화방법의성능을검증하였다. 또한기존방법과의성능비교실험도수행되었다. 먼저, 20대의복사기로부터수집된영상들중에서 10장을시각평가를위한실험영상으로선정하였다. 시각실험은쌍대비교방식으로진행하며, 평가자들에게두영상중에서노이즈의정도가크게인지되는영상을선택하도록설명하였다. 시각실험은 C, M, K색상별로수행되었다. 표 3.11은기존및제안하는방법의정량화결과와시각평가결과의상관관계를나타낸것이다 [39,48]. 기존방법에의한결과들은시각평가결과와낮은상관관계를보인다. CSF 적용전결과가기존방법과유사한결과를보이는것과다르게 CSF와밝기를가중치로적용함에따라시각평가결과와높은상관관계를나타내었다. 표 3.11 기존방법과제안하는방법의비교 Table 3.11 Comparison between previous and proposed method [39] 2D noise graininess mottle [48] Before CSF proposed method After CSF C lowfeq Q noise C M K

181 3.4 검토 3.4. 검토 본논문의 3장에서는인간시각특성에기반한화질평가방법을제안하였다. 3.1절에는스캔영상의컬러프린지정량화모델이제안되었다. 시각평가를통해컬러프린지의인지정도에영향을미치는화질요소를결정하였고, 각화질요소의정량화방법을제안하였다. 또한컬러프린지평가모델은 1JND 단위의컬러프린지인지차이를갖는영상들을대상으로설계되었다. 실험결과를통해제안하는컬러프린지평가모델이시각평가결과와높은상관관계를나타내고컬러프린지의인지정도가잘반영되고있음이검증되었다. 3.2절에서는글자화질평가모델의설계방법이제안되었다. 시각평가를통해글자화질평가에영향을주는화질요소들이결정되었고, 각화질요소들의정량화방법이제안되었다. 각요소별정량화수치와글자화질의관계를 JND 단위로정의하였다. 실험결과를통해제안하는글자화질평가모델이시각평가결과와높은상관관계를나타내고글자화질에대한인지정도를잘반영하고있음이검증되었다. 3.3절에서는복사영상의노이즈평가방법이제안되었다. 제안하는노이즈평가방법은글자화질평가및컬러프린지평가방법과다르게복사영상의노이즈특성분석결과에기반한다. 공간주파수에서저주파성분의발생정도와노이즈의인지정도에미치는영향, 복사영상의밝기와노이즈인지관계가분석되었다. 제안하는방법은이와같은분석결과를기반으로 CSF를가중치함수로이용하여공간주파수상에서저주자수의양을정량화하고, 복사영상의 164

182 3.4 검토 밝기에대한가중치를부여하였다. 실험결과를통해제안하는노이즈정량화 방법이기존의정량화방법보다시각실험결과와높은상관관계를나타내었 다. 165

183 4 장화질평가에기반한 contrast 개선방법 제 4 장화질평가에기반한 contrast 개선방법 영상장치들의화질을결정하는요소들에는 contrast, sharpness, naturalness 그리고 noise 등이있다. 본장에서는이와같은화질결정요소들중에서 contrast 에대한화질개선연구를수행한다. Contrast는흑백과백색의휘도비로정의되며, 하드웨어적인방법과소프트웨어적인방법으로개선될수있다. 하드웨어적방법이란검정색을더욱어둡게백색을더욱밝게하여개선된휘도특성을나타내도록하는것이다. 소프트웨어적인방법이란주어진화면에서밝은부분의영상데이터를더욱밝게, 어두운부분의영상데이터는더욱어둡게변환함으로써, 하드웨어적으로동일한조건하에서시각으로인식되는 contrast를증가시키는것이다. 기존의 contrast 개선방법으로영상의히스토그램이 [56-61] 나감마 [62-63] 를조정하는방법들이있다. Histogram equalization(he) 과 histogram stretching(hs) 은간단하고효과적이기때문에널리사용되고있다. HE는휘도의분포를균일화시켜영상의 contrast를개선하지만, 영상의평균밝기가과도하게변하여노이즈를증대시키거나색이바랜현상 (washed-out) 을초래할수있다 [56]. 이와같은문제를해결하기위하여영상의평균밝기를유지시키면서 HE를수행하는방법들이제안되었다 [57-61]. [57] 은영상을여러개의블록으로나누고, 각각의블록들에대해독립적으로 HE를수행하여영상의 contrast를개선한다. 그러나몇몇의블록이과도하게개선되거나블록이겹쳐지는부분에서불연속성문제가발생할수있다. [58], [59], 166

184 4 장화질평가에기반한 contrast 개선방법 [60] 은 histogram을다수개의구간으로나누고각구간별로 HE를수행함으로써영상의평균밝기를유지시켜색이바래는현상을줄일수있다. 그러나이와같은효과가유지되기위해서는영상특징에따라구간개수를다르게결정해야하는어려움이있다. [61] 은 histogram의최대값을조정함으로써노이즈가증대되는현상을최소화했지만, contrast 개선의효과는낮아졌다. [62] 는영상의명암값분포를이용하여노이즈를저감하기위한커브와 contrast를개선하기위한감마커브를조정한다. 그러나영상특징에따라파라미터를결정해야하는어려움이있다. 따라서본장에서는색이바랜현상과노이즈가증대되는현상이저감되도록화질평가에기반한 contrast 개선방법을제안한다. 그림 4.1은 contrast 정도가다르게표현된영상들을나타낸것으로 contrast 정도가크게인지되는순서로나열한것이다. 그림 4.2는그림 4.1에나타낸영상들의 contrast 인지정도와 contrast 정량화수치 [52] 의관계를나타낸것이다. 세로축은 contrast 정량화수치를가로축은인지되는 contrast의정도를의미한다. Contrast 정량화수치가 contrast의인지정도와비례함을알수있다. 그러나 contrast가과도하게증가하는경우, 화질은저하된다. 그림 4.3은이와같은관계를나타내는그림이다. 주어진영상에서 contrast 정량화수치가증가함에따라인지되는화질의선호도가증가하다가감소하는것을확인할수있다. 따라서영상의 contrast는선호화질이되도록개선되어야한다. 167

185 4 장화질평가에기반한 contrast 개선방법 그림 4.1 Contrast 정도가다르게표현된영상들 Fig. 4.1 images representing different levels of contrast 그림 4.2 Contrast 의인지정도와정량화수치의관계 Fig. 4.2 Correlations between the perceived contrast and quantitative scores 168

186 4 장화질평가에기반한 contrast 개선방법 Preferred Image 그림 4.3 Contrast 정량화수치와화질의관계 Fig. 4.3 Correlations between the image quality and quantitative scores for contrast 제안하는방법은입력영상의누적분포함수 (CDF: Cumulative Distribution Function) 형태에대응하는계조사항함수 (TMF: Tone Mapping Function) 를적용하여 contrast를개선한다. 제안하는방법은입력영상의 CDF가유사한경우 contrast 개선을위한 TMF가유사하다는사실에근거하여입력영상의 CDF에대응하는 TMF를정의한다. 그림 4.4는제안하는 contrast 개선기술의흐름도이다. 제안하는방법은오프라인과정과온라인과정으로구분된다. 오프라인과정은입력영상의 CDF와그에대응되는 TMF를조합하여데이터베이스를구성하는것이다. 온라인과정은오프라인과정에서구축된데이터베이스내에서입력영상의 CDF와유사한 CDF를찾고그에대응하는 TMF를적용하여 contrast 를개선하는것이다. 다음절에서입력영상에대응되는최적 TMF의결정방법과데이터베이스구축을위한영상분류방법에대하여설명한다. 169

187 4 장화질평가에기반한 contrast 개선방법 On-line process Input image RGB-to-YCbCr Calculate CDF Determine TMF curve Off-line process Database CDF-to-TMF YCbCr-to-RGB Enhanced image 그림 4.4 제안하는 contrast 개선기술의흐름도 Fig. 4.4 Flow chart of proposed contrast enhancement 최적의계조사상함수결정방법최적의 TMF는화질시각실험을기반으로결정된다. 그림 4.5는 TMF의결정과정을나타낸것이다. 먼저, 주어진영상의 TMF를조정하여 contrast 정도가다른영상들을제작한다. 제작된영상들을대상으로화질시각실험을수행하여선호도가높은영상을선정한다. 선호도가높은영상의제작에적용된감마가주어진영상에대한최적 TMF로결정된다. 본절에서는주어진영상의 contrast 170

188 4 장화질평가에기반한 contrast 개선방법 를증가시키기위하여유전알고리즘으로 TMF 를조정하는방법과, 최적 TMF 를결정하기위한시각실험방법에대해설명한다. Given image 1 TMFs to increase contrast Make images Determine preferred image by Human Visual Experiment Input image to optimum TMF Optimum TMF 6 그림 4.5 최적계조사상함수결정과정 Fig. 4.5 Decision procedure of optimum TMF 171

189 4 장화질평가에기반한 contrast 개선방법 1) 유전알고리즘을이용한계조사상함수조정방법그림 4.6은제안하는유전알고리즘에의한 TMF 조정방법의흐름도를나타낸다. 유전알고리즘의 string으로 TMF가사용된다. Contrast를최대화하는방향으로유전알고리즘의연산자들이적용됨에따라 TMF가조정된다. 이와같은과정들은평가조건을만족할때까지반복될것이다. 유전알고리즘에의한 TMF 조정과정을각단계별로설명한다. Initial population Generate contrast increased image for each string Calculate the fitness using evaluation function End Y Stopping criterion? New population N Reproduction Crossover Mutation 그림 4.6 유전알고리즘에의한계조사상함수조정방법의흐름도 Fig. 4.6 Flow chart of the TMF control method by genetic algorithm 172

190 4 장화질평가에기반한 contrast 개선방법 유전알고리즘의첫번째단계는초기 string을생성하는것이다. 하나의계조는 6비트의데이터로표현된다. TMF를정의하는 string은 256개의계조들로구성된다. String을구성하는계조들은임의값들로초기화된다. TMF를나타내는각각의 string을적용하여영상을생성한후, 평가함수를이용하여생성된영상의 fitness값을계산한다. 본논문에서는 [52] 의 contrast 평가방법을평가함수로사용한다. 재생연산의목적은 contrast가높은 string들의생존확률을증가시키는것이다. 다음세대를위한 k번째 string의재생확률은식 (4.1) 에의하여결정된다. P k = N F i= 1 k F i (4.1) 식 (4.1) 에서 N 은총 string 의개수를나타낸다. F 는평가함수에의한 fitness 값을의미한다. 재생확률에따라재생된 string 에유전알고리즘연산자인교환 연산과돌연변이연산을적용하여다음세대의 string 을결정한다. 173

191 4 장화질평가에기반한 contrast 개선방법 교환연산의과정은그림 4.7의예를사용하여설명할수있다. 교환연산을수행하기위하여 N개의 string 중에서임의로 2개의 string을선택한다. String 에서교환연산을수행할위치와범위를임의로설정한다. 그림 4.7에서음영처리된교환연산영역은설정된교배연산을수행할위치와범위를나타낸다. String A의교환연산영역에 string B의교환연산영역에해당하는데이터를입력한다. 반대로 string B의교환연산영역에는 string A의교환연산영역에해당하는데이터를입력한다. 이와같은교환연산은미리설정된확률만큼반복하여수행한다. Crossover area String A: String B: String A : String B : 그림 4.7 교환연산의예 Fig. 4.7 An example of a crossover operation 174

192 4 장화질평가에기반한 contrast 개선방법 돌연변이연산은그림 4.8의예를사용하여설명할수있다. 돌연변이연산을수행하기위하여 string A를임의로선택한다. String에서돌연변이연산을수행할위치를임의로설정한다. 선택된 string A의돌연변이연산이수행될위치에해당하는이진데이터를반전시킨다. 이와같은돌연변이연산은미리설정된확률만큼반복되어수행된다. Mutation point String A: String A : 그림 4.8 돌연변이연산의예 Fig. 4.8 An example of a mutation operation 175

193 4 장화질평가에기반한 contrast 개선방법 2) 화질시각실험방법유전알고리즘에의해주어진영상의 contrast를증가시키는방향으로설정된 TMF들을이용하여 contrast 정도가다르게인지되는실험영상들을제작한다. 제작된실험영상들을대상으로 categorical judgment 방식의시각실험을수행한다 [44]. 그림 4.9는시각실험의수행예를나타낸것이다. 실험영상들은암실환경에서임의의순서로하나씩표준 srgb LCD 모니터에디스플레이된다. 시각실험참가자들은디스플레이된실험영상의화질을평가하여 3개의카테고리들중의하나로실험영상을평가하게된다. Good Fair Bad 그림 4.9 카테고리방식의시각실험예 Fig. 4.9 Visual experiment of categorical judgment 176

194 4 장화질평가에기반한 contrast 개선방법 시각실험참가자가가디스플레이된실험영상의화질을선호할경우, 실험영상을 Good 으로평가한다. 반대로디스플레이된실험영상의화질을선호하지않을경우, 실험영상을 Bad 로평가한다. 관찰자가선호도를판단하기모호한영상들은 Fair 로평가한다. Good, Fair, Bad 의평가점수는각각 1, 0.5, 0 이다. 실험영상별로부여된평가점수는 0과 1사이로정규화된다. 이와같은화질시각실험으로선호도가높은영상이선정된다 K-means 클러스터링을이용한영상분류방법데이터베이스는 N가지의서로다른 CDF와그에대응하는최적 TMF의조합들로구성된다. 그림 4.10은데이터베이스구성의예를나타낸것이다. 데이터베이스에있는 CDF와높은유사도의 CDF를가진영상이입력으로들어오면, 그에대응하는 TMF를적용하여 contrast 개선을수행하게된다. 이와같은데이터베이스설계의배경은그림 4.11을예로들어설명할수있다. 영상 A와 B는서로다른컨텐츠이지만 CDF가유사함을확인할수있다. 또한그에대응하는 TMF가유사함을확인할수있다. 이와같은사실은입력영상의 CDF가유사한경우 contrast 개선을위해동일한 TMF의적용이가능하다는것을의미한다. 본절에서는 CDF의유사도결정방법과 N가지 CDF의분류방법에대하여설명한다. 177

195 4 장화질평가에기반한 contrast 개선방법 CDF- to- TMF Class 1 Class 2 Class M-1 Class M 그림 4.10 데이터베이스구성의예 Fig Example of database construction 178

196 4 장화질평가에기반한 contrast 개선방법 Image A Image B 1 The difference between the CDF curves 2 The difference between the TMF curves 그림 4.11 누적분포함수의유사도가높은서로다른영상의예 Fig An example of a crossover operation 179

197 4 장화질평가에기반한 contrast 개선방법 1) 유사도범위결정방법본절에서는 CDF 사이의유사도정도를 RMSE(Root Mean Square Error) 로계산한다. 유사도범위는화질시각실험에의해화질순위가높게평가된영상과 JND 차이가 1 이내인영상들사이의비교를통해결정된다. 유사도범위결정을위한화질시각실험은그림 4.13, 그림 4.14 그리고표 4.1을예로들어설명될수있다. 먼저, 그림 4.13과같이 contrast 정도가다르게인지되는실험영상들이제작되어야한다. 그림 4.12는그림 4.13의실험영상제작에이용된감마커브들을나타낸것이며, 각감마커브들은주어진영상의 contrast가증가하도록유전알고리즘에의해조정된것이다. 표 4.1은감마커브들사이의유사도그리고감마커브적용에따른실험영상사이의 CDF 유사도를나타낸것이다. 화질시각실험은이와같이제작된실험영상들을 srgb LCD 표준모니터에표시하고, 쌍대비교방식으로진행되었다. 10명의평가자들을대상으로두영상중화질이좋은영상을선택하도록설명되었다. 만약두영상간의차이가인지되지않는경우, 두영상의화질이같다고평가할수있도록설명한다. 선정된영상은 1점, 그렇지않은영상은 0점이부여된다. 화질이같다고평가된영상은 0.5점이부여된다. 이와같이시각실험에의한평가점수는 Thuston 방법에의해계산되고 [43], 식 (3.6) 에의해 JND로변환된다 [44]. 그림 4.14와표 4.2는그림 4.13에대한시각실험결과를나타낸것이다. 그림 4.14를통해 8번영상의화질이높게평가되었음을확인할수있다. 8번영상을기준으로 JND 차이가 1이내인영상들의선정과정은표 4.2를예로들어설명될수있다. (1) 부 180

198 4 장화질평가에기반한 contrast 개선방법 터 (11) 은 contrast의인지정도가큰순서로영상을나열된것이다. 표 4.2의수치는영상 (i) 와 (i+1) 사이의 JND 차이를나타낸것이다. 영상 (i) 와 (i+1) 사이의 JND가 1 이하라는것은두영상사이의화질차이가작다는것을의미한다. 예를들어, 8번영상과 9번영상의 JND 차이는 0.16으로매우작다. 이것은두영상사이의화질차이가없다는것을의미한다. 따라서 9번영상은 8번영상과유사하다고말할수있다. 이와같은과정을반복적으로수행하면 8번영상과 JND 차이가 1이내인영상을선정할수있다. 표 4.3은 8번영상과 JND 차이가 1 이내인영상들사이의감마커브그리고 CDF의유사도계산결과는나타낸것이다. (a) 실험영상 (b) 적용된계조사상함수그림 4.12 주어진실험영상과 contrast 증가를위한계조사상함수들 Fig An example of a given image and TMF to increase contrast 181

199 4 장화질평가에기반한 contrast 개선방법 그림 4.13 contrast 정도가다르게제작된실험영상들 Fig Images representing different levels of contrast 표 4.1 그림 4.13의영상들에대한계조사상함수및 CDF의유사도 Table. 4.1 Similarity of TMF and CDF for fig /2 2/3 3/4 4/5 5/6 6/7 7/8 8/9 9/10 10/11 TMF CDF 그림 4.14 그림 4.13 에대한화질시각실험결과 Fig Results of human visual experiment for fig

200 4 장화질평가에기반한 contrast 개선방법 표 4.2 그림 4.13에대한시각실험결과 Table. 4.2 Results of human visual experiment for fig (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) 표 4.3 TMF 및 CDF의유사도 Table. 4.3 Similarity for TMF and CDF Image index JND TMF RMSE CDF RMSE

201 4 장화질평가에기반한 contrast 개선방법 2) N가지 CDF의분류방법상기의절에서결정된 CDF의유사도범위는 N가지의서로다른 CDF들을분류하기위한조건으로사용된다. 본절에서는 K-means 알고리즘에기반하여 CDF들을분류하는방법에대하여설명한다. 그림 4.15는 CDF 분류방법에대한흐름도이다. 입력된 CDF와각클래스별 CDF의 RMSE를계산하고, RMSE가최소로계산된클래스를찾는다. 예를들어, K번째클래스의 CDF와계산된 RMSE가최소이고유사도조건을만족하는경우, 입력 CDF는 K번째클래스로분류된다. 그리고 K번째클래스의평균 CDF는 K번째클래스로분류된 CDF들로계산된다. 그렇지않은경우 K+1번째클래스를만들고입력 CDF를 K+1번째클래스로분류한다. 이와같은과정을 N가지의 CDF들에수행하게된다. 본절에서는영상의 CDF 유사도에따라영상들을분류하기위해영상의 dynamic rage가 0부터 255의범위를갖도록한다. 184

202 4 장화질평가에기반한 contrast 개선방법 Input CDF Calculate RMSE with CDF of classes Search class with minimum RMSE Similarity criterion? N Make new class Y Determine class New CDF Calculate average CDF of determine class Last CDF? N Y End 그림 4.15 CDF 분류방법에대한흐름도 Fig Flow chart of categorization method for CDF 185

203 4 장화질평가에기반한 contrast 개선방법 실험결과제안하는방법은입력영상의 CDF에대응하는 TMF를적용하여 contrast를개선하였다. 제안하는방법의성능을평가하기위하여다음과같은 4가지실험을수행하였다. 첫째, 표 4.4의실험영상세트에대해제안하는방법을적용하여최적 TMF를찾았다. 둘째, CDF에대응하는 TMF의조합으로이루어진데이터베이스를설계하였다. 데이터베이스의각클래스별 CDF 및 TMF의유사도를계산하여, CDF가유사하면동일한 TMF의적용이가능함을제시하였다. 셋째, 데이터베이스의각클래스별평균감마의적용효과를제시하였다. 마지막으로기존방법들과의성능이비교되었다. 표 4.4 실험영상세트 Table. 4.4 Test image set Name Test image set SET1-10 SET

204 4 장화질평가에기반한 contrast 개선방법 표 4.4 실험영상세트 Table. 4.4 Test image set Name Test image set SET21-30 SET31-40 SET41-50 SET

205 4 장화질평가에기반한 contrast 개선방법 1) 실험영상세트의최적계조사상함수본실험에서는표 4.4의실험영상들에대한최적 TMF를찾았다. 먼저, 각각의실험영상에대해 contrast 정도가다른실험영상세트를제작하였다. 영상의 contrast는유전알고리즘에의한 TMF에의해조정된다. 실험영상세트별로시각실험을수행함으로써선호도가높은영상이선정되었다. 그림 4.16은입력영상과선호영상의예를나타낸것이다. 유전알고리즘에의한 TMF 조정으로 contrast 정도가증가하고화질또한개선된것을확인할수있다. 그림 4.17은그림 4.16의입력영상에대한 CDF와선호영상제작에적용된 TMF의예를나타낸것이다. 188

206 4 장화질평가에기반한 contrast 개선방법 Input image Preferred image Input image Preferred image Input image Preferred image 그림 4.16 입력영상과선호영상 Fig Input image and preferred image 189

207 4 장화질평가에기반한 contrast 개선방법 CDF TMF CDF TMF CDF TMF 그림 4.17 그림 4.16 의입력영상에대한 CDF 와 TMF Fig CDF and TMF of input image for Fig

208 4 장화질평가에기반한 contrast 개선방법 2) CDF 및 TMF의유사도본실험에서는 60가지의 CDF와각각에대응하는 TMF의조합으로구성된데이터베이스를설계하였다. 그림 4.18은제안하는영상분류방법에의한 CDF 분류결과를나타낸것이다. 실험에서 CDF 유사도는 RMSE 6이하로설정된것이다. 60가지 CDF는제안하는방법에의해 34개의클래스로분류되었다. 그림 4.17은각클래스별 TMF들을나타낸것이다. 표 4.5는클래스별 CDF와 TMF 의 RMSE를나타낸것이다. 계산된 RMSE가 JND 1 이하의조건표 4.3을만족함을확인할수있다. 이와같은사실을통해입력영상의 CDF가유사한경우 contrast 개선을위해동일한 TMF의적용이가능하다는것을검증할수있다. 그림 4.20은 1700장의실험영상을대상으로영상개수에따라분류가능한클래스의개수를나타낸것이다. 영상의개수가 1400개부터클래스의개수가수렴됨을확인할수있다. 그림 4.21은 1700장의실험영상에대한 CDF를 100개의클래스로분류한결과를나타낸것이다. 191

209 4 장화질평가에기반한 contrast 개선방법 그림 4.18 CDF 분류결과 Fig Results of CDF categorization for test image set 192

210 4 장화질평가에기반한 contrast 개선방법 그림 4.19 클래스별 TMF Fig TMF for each class 193

211 4 장화질평가에기반한 contrast 개선방법 표 4.5 CDF 와 TMF 에대한 RMSE Table 4.5 results of RMSE for CDF and TMF class CDF RMSE TMF RMSE 평균 최대

212 4 장화질평가에기반한 contrast 개선방법 그림 4.20 영상개수에대한클래스의개수 Fig Number of class according to number of image 그림 장에대한 CDF 분류결과의예 Fig Result of CDF categorization for 1700 images 195

213 4 장화질평가에기반한 contrast 개선방법 3) 평균 TMF의효과본실험에서는데이터베이스의각클래스별평균감마의적용효과를제시한다. 그림 4.22 (a) 는본실험에사용된실험영상의예를나타낸것이다. 그림 4.22 (b) 는유전알고리즘에의해조정된 TMF들로제작된실험영상들중선호영상으로선정된영상을나타낸것이다. 그림 4.22 (c) 는데이터베이스설계에의해결정된각클래스별 TMF들을평균한 TMF의적용결과이다. 선호영상과평균감마를적용한결과영상이유사함을확인할수있다. 이와같은사실은그림 4.23을통해서도확인할수있다. 그림 4.23은선호영상과평균감마를적용한결과영상의 CDF를나타낸것이다. 각영상의 RMSE는 4.22와 6.02 이다. Set3 Set18 (a) 입력영상 (b) 선호영상 (c) 평균 TMF 그림 4.22 데이터베이스의평균 TMF 적용결과의예 Fig Result of average TMF in database 196

214 4 장화질평가에기반한 contrast 개선방법 (a) Set3 (b) Set18 그림 4.23 선호영상의 CDF 와평균 TMF 가적용된영상의 CDF 비교 Fig Comparison of CDF for preferred image and image with average TMF 197

215 4 장화질평가에기반한 contrast 개선방법 4) 기존방법들과의성능비교본절에서는제안하는 contrast 개선방법과기존의방법들의성능을비교하도록한다. Contrast 개선에대표적인방법인 HE와 HS 그리고 GC-CHE[61], IPD[62] 의방법들이제안하는방법과비교되었다. 그림 4.24부터그림 4.29는실험결과영상의예를나타낸것이다. HE의경우, 평균휘도변화가크고그에따라색이바랜현상과노이즈의발생정도가큰것을확인할수있다. HS는영상에따라그림 4.27과그림 4.28와같이 contrast 개선효과가크거나, 그렇지않음을확인할수있다. GC-CHE는입력영상과비교하여 contrast 개선효과가크지않음을확인할수있다. IPD는기존방법들중에서 contrast 개선이잘수행되는방법이다. 그러나제안하는방법과비교하여영상의디테일한부분의표현과화질이낮음을그림 4.26과그림 4.29에서확인할수있다. 제안하는방법은모든영상들에대해 contrast 개선효과가크다. 또한기존방법들에의한결과영상과비교하여화질이우위에있음을확인할수있었다. 198

216 4 장화질평가에기반한 contrast 개선방법 (a) 입력영상 (b) HE (c) HS (d) GC-CHE[61] (e) IPD[62] (f) 제안하는방법그림 4.24 기존방법들과제안하는방법의비교 (Case1) Fig Comparison between previous methods and proposed method (Case1) 199

217 4 장화질평가에기반한 contrast 개선방법 (a) 입력영상 (b) HE (c) HS (d) GC-CHE[61] (e) IPD[62] (f) 제안하는방법그림 4.25 기존방법들과제안하는방법의비교 (Case2) Fig Comparison between previous methods and proposed method (Case2) 200

218 4 장화질평가에기반한 contrast 개선방법 (a) 입력영상 (b) HE (c) HS (d) GC-CHE[61] (e) IPD[62] (f) 제안하는방법그림 4.26 기존방법들과제안하는방법의비교 (Case3) Fig Comparison between previous methods and proposed method (Case3) 201

219 4 장화질평가에기반한 contrast 개선방법 (a) 입력영상 (b) HE (c) HS (d) GC-CHE[61] (e) IPD[62] (f) 제안하는방법그림 4.27 기존방법들과제안하는방법의비교 (Case4) Fig Comparison between previous methods and proposed method (Case4) 202

220 4 장화질평가에기반한 contrast 개선방법 (a) 입력영상 (b) HE (c) HS (d) GC-CHE[61] (e) IPD[62] (f) 제안하는방법그림 4.28 기존방법들과제안하는방법의비교 (Case5) Fig Comparison between previous methods and proposed method (Case5) 203

221 4 장화질평가에기반한 contrast 개선방법 (a) 입력영상 (b) HE (c) HS (d) GC-CHE[61] (e) IPD[62] (f) 제안하는방법 그림 4.29 기존방법들과제안하는방법의비교 (Case6) Fig Comparison between previous methods and proposed method (Case6) 204