2014 년 1 월전자공학회논문지제 51 권제 1 호 Journal of The Institute of Electronics and Information Engineers Vol. 51, NO. 1, January 2014 http://dx.doi.org/10.5573/ieie.2014.51.1.152 논문 2014-51-1-19 주파수도메인의변곡점을이용한디지털카메라의 moire 제거 방법 (Moiré Reduction in Digital Still Camera by Using Inflection Point in Frequency Domain ) 김대철 *, 경왕준 *, 이철희 ***, 하영호 ** * (Dae-Chul Kim, Wang-Jun Kyung, Cheol-Hee Lee, and Yeong-Ho Ha c ) 요 약 디지털카메라에서는일반적으로높은공간주파수에의해발생하는주파수간섭을제거하기위해광저대역투과필터 (optical lowpass filter) 를사용한다. 그러나영상을획득할때광저대역투과필터의사용으로고주파성분이제거되어상세성분의손실을가져오게된다. 이와반대로, 광저대역투과필터를제거한후에영상을획득할경우, 높은공간주파수를가지는영역에서 moiré 가발생하게된다. 따라서, 본논문에서는카메라의광저대역투과필터를제거후영상의상세성분을보존하고 moire 를제거하는방법을제안한다. 먼저 ISO12233 해상도차트를사용하여카메라의공간해상도 (spatial frequency response) 를분석하고, 카메라의최대분해능에해당하는해상도차트의패턴을모델링하여 moiré 가발생하는영역을검출한다. 검출된 moiré 영역을주파수도메인에서분석하고 DC 성분과최대주파수사이의각주파수별최대값에서발생하는변곡점을검출하고변곡점에해당하는값을제거하여 moiré 성분을제거한다. 실험결과제안한방법은상세성분의손실을줄이고 moiré 제거에서우수한성능을보였다. Abstract Digital still camera generally uses optical low-pass filter(olpf) to enhance its image quality because it removes high spatial frequencies causing aliasing. However, the use of OLPF causes some loss of detail. On the other hand, when image are captured by using no OLPF, the moiré is generally existed in high spatial frequency region of an image. Therefore, in this paper, moiré reduction method in case of using no OLPF is suggested. To detect the moiré, spatial frequency response(sfr) of camera was firstly analyzed by using ISO 12233 resolution chart. Then, moiré region is detected by using the patterns that are related to the SFR of camera. next, this region is analysed in the frequency domain. Then, the moiré is reduced by removing its frequency component, which represents inflection point between high frequency and DC components. Through the experimental results, it is shown that the proposed method can achieve moiré reduction with preserving the detail. Keywords : moire reduction, moire detection, optical low pass filter * ** 학생회원, 평생회원, 경북대학교 IT대학전자공학부 (School of Electronics Engineering, Kyungpook National University) *** 정회원, 안동대학교컴퓨터공학과 (Computer Engineering, Andong National University) c Corresponding Author(E-mail: yha@ee.knu.ac.kr) 이논문은 2013년도정부 ( 교육과학기술부 ) 의재원으로한국연구재단의지원을받아수행된연구임 (No. NRF-2013R1A2A2A01016105) 접수일자 : 2013년10월9일, 수정완료일 : 2014년1월2일 (152)
2014 년 1 월전자공학회논문지제 51 권제 1 호 153 Journal of The Institute of Electronics and Information Engineers Vol. 51, NO. 1, January 2014 Ⅰ. 서론 Ⅱ. 제안한 moire 제거방법 일반적으로디지털카메라는빛을외부필터를통해받아들이고 CCD센서를통하여 RGB의형태로영상을획득한다. 이러한카메라의센서를이용한영상획득을주파수측면에서살펴보면, 획득하고자하는이미지의공간주파수스펙트럼이 2차원평면의 x축과 y축에서반복되는형태의공간주파수스펙트럼을가진다. 따라서표본화정리에따라영상의공간주파수가 CCD가표현할수있는최대의공간주파수보다작을경우정확한영상을획득할수있다. 하지만반대의경우주파수간섭에의해왜곡이발생하여물결무늬와같은왜곡된이미지를나타낸다. 따라서일반적인디지털카메라는 moiré라불리는상의왜곡을없애기위해영상의공간주파수를센서의분해가능주파수이하로제한하는광저대역투과필터 (OPLF) 를외부필터에추가하여사용한다 [1-3]. 하지만최근제조단가의절약을위해광저대역투과필터를제거하고 moiré를제거하는연구가시도되었다. 이방법은영상의 RGB 신호를밝기와색도성분으로변환하고각성분에저역통과필터를적용하여 moiré를제거한다 [4]. 하지만이방법은저역통과필터에의해영상의열화가발생하게된다. 따라서본논문에서는카메라의광저대역투과필터제거후영상의상세성분을보존하고 moiré를제거하는방법을제안한다. 먼저 ISO12233 해상도차트를사용하여카메라의공간해상도 (spatial frequency response) 를분석하고, 카메라의최대분해능에해당하는해상도차트의패턴을찾는다. 다음으로 ISO12233 해상도차트영상의픽셀간밝기성분의차이를이용하여카메라의최대분해능을초과하는패턴을모델링하고, 이를이용하여입력영상에서 moiré가발생하는영역을검출한다. 다음으로, 검출된 moiré 영역을주파수도메인에서분석하고각주파수별최대값을계산하여, 주파수도메인에서의 moiré 성분에해당하는 DC 성분과최대주파수사이의각주파수별최대값의변곡점을검출한다. 마지막으로, 이변곡점에해당하는값을주파수도메인에서변곡점과이웃하는영역을평균한값으로대체하여 moiré 성분을제거한다. 실험결과제안한방법은상세성분의손실을줄이고 moiré 제거에서우수한성능을보였다. 본논문에서는그림 1에서보는것과같이입력영상에서 moiré 영역을검출하고이를주파수도메인에서분석하고, 주파수영역에서의 moiré 성분에해당하는변곡점을제거하여보정된영상을획득한다. 그림 1. 제안한 moiré 제거방법의흐름도 Fig. 1. Workflow of the proposed moiré reduction. 1. moire 패턴검출 Moiré 패턴을검출하기위하여카메라의분해능을이용하여 moiré 패턴을검출하였다. 카메라의분해능을분석하기위하여카메라의공간해상도 (spatial frequency response) 를측정한다. 카메라의공간해상도는입력공간주파수와디지털카메라의응답성과의관계를나타내는지표로공간주파수의증가에따른변조전달함수 (modulation transfer function) 의변화로나타내어진다. 여기서변조전달함수는컨트라스트의재현비를나타내며입력컨트라스트에대한출력컨트라스트의비로나타내어진다. (1) 여기서 는출력컨트라스트를나타내고, 는입력컨트라스트를나타낸다. 다음으로, 카메라의분해능을분석하기위하여 NX-100 카메라와 ISO 12233 해상도차트를이용하여변조전달함수를구하였고, 그림 2과같은결과를획득하였다. 그리고변조전달함수의값이 5% 가될때의주파수값인 0.7 frequency cycles/mm를카메라의공간해상도로정의하였다 [5-6]. 또한 ISO 12233 해상도차트의각패 (153)
154 주파수도메인의변곡점을이용한디지털카메라의 moire 제거방법김대철외 그림 2. ISO 12233 해상도차트를이용한카메라의공 간해상도측정 Fig. 2. SFR of camera using ISO 12233 resolution chart. 그림 4. 라인 9에서의 moiré 패턴분석 ; 가로방향의 패턴, 세로방향의패턴 Fig. 4. Analysis of the moiré in line 9; the pattern of horizontal direction, the pattern of vertical direction. 그림 3. Moiré 발생영역의패턴분석 ; ISO 12233 해상도차트, 라인 7의확대된영상 Fig. 3. Analysis of the moiré region; ISO 12233 resolution chart, magnified in image of line 7. 턴의공간주파수를계산한다. 해상도차트의각패턴의공간주파수 는차트의높이만큼의영역에일정굵기의선을놓았을때얼마나많이나열할수있는가를정의하는단위이며아래와같이계산되어진다.. (2) 여기서 는라인의넓이를나타내고, 는차트의높이를나타낸다. 그결과카메라의공간해상도와 ISO12233 해상도차트의공간주파수를비교한결과 NX-100 카메라의공간해상도는 ISO 12233 해상도차트의 7번패턴과일치함을확인할수있다. 따라서카메라의공간해상도을이용하여카메라의최대공간주파수에해당하는 7번패턴을분석하였고그결과그림 3에서와같이두픽셀의차이를보이는패턴을확인할수있다. 또한, moiré 가발생하는패턴에대하여살펴본결과카메라의최대분해능을초과하는패턴에서 moiré가발생 그림 5. ISO 12233 해상도차트를이용한 moiré 패턴 검출 ; ISO 12233 해상도차트, 검출된 moiré 영역 Fig. 5. Moiré detection using ISO 12233 resolution chart; ISO 12233 resolution chart, the result of moiré detection. 하였고이를기반으로그림 4에서보는것과같이가로세로방향의이웃픽셀간의밝기차이를이용하여패턴을검출하였다. 먼저영상 의픽셀간의밝기차이를구한다. 가로방향의픽셀간의밝기차이는다음과같이계산된다. (3) 다음으로카메라의공간해상도를결정하는기준인 5% 이상의출력의조건을적용하여픽셀간의밝기차이가 5% 이상일경우패턴이존재한다고간주한다. 따라서밝기차이의기준은다음과같이나타내어진다. (154)
2014 년 1 월전자공학회논문지제 51 권제 1 호 155 Journal of The Institute of Electronics and Information Engineers Vol. 51, NO. 1, January 2014 (4) 다음으로카메라의최대분해능이상의패턴을검출하기위해서카메라의분해능에해당하는두픽셀차이의패턴또는한픽셀차이의패턴에대해검출한다. 따라서, 다음과같은두조건들중하나를만족할때 moiré 패턴이발생할영역 D로정의하였다. and and and (5) (6) 세로방향의 moiré 패턴이발생할영역은가로방향의패턴검출과동일한방법을기준픽셀에대하여세로방향으로적용하여수행된다. 가로세로방향의이웃픽셀의밝기차이를이용하여패턴을검출한결과그림 5에서보는것과같이카메라의분해능을초과하는부분에대하 여정확히검출하였다. 또한, 이와동일한방법을이용하여다른공간해상도를가지는카메라에대하여는각카메라의분해능에해당하는픽셀간격을적용하여 moiré를검출할수있다. 예를들어카메라의분해능이 0.7 frequency cycles/mm 이하인카메라의경우 3 픽셀또는 4픽셀등의차이를가지는패턴까지이용하여 moire 영역을검출할수있으며, 카메라분해능이 0.7 frequency cycles/mm 이상인카메라의경우 1픽셀차이의패턴만을이용하여 moiré 영역을검출할수있다. 2. 패턴 moire 의주파수분석을이용한 moire 제거 Moiré의성분을주파수도메인에서분석하기위하여먼저 moiré 영역을밝기성분과색도성분으로분리하고, 밝기채널에대하여푸리에변환을적용하여주파수특성을분석하였다. Moiré 영역에대하여주요주파수를찾기위하여 DC 성분으로정규화하여표현하였을때그림 6과같이주패턴에해당하는고주파성분과 DC 성분사이에 moiré에해당하는저주파성분이포함되는것을확인할수있다. 또한각각의 moiré 발생패턴에대하여각주파수별최대값을조사한결과그림 6(c) 에서와같이 moiré 성분에대하여변곡점이발생하는것을확인할수있다. 따라서주파수영역에서 moiré 성분에해당하는변곡점을찾기위해각주파수 (c) 그림 6. ISO 12233 해상도차트의 moiré 발생영역에대 한주파수분석 ; 대각패턴 7과 8, 각패턴에대한주파수도메인에서의표현, (c) 각패턴의각주파수별최대값 Fig. 6. Analysis of moiré region of ISO12233 resolution chart in frequency domain; diagonal line of 7 and 8, moiré components in the frequency domain, (c) maximum values per each frequency. 그림 7. ISO12233 해상도차트를이용한 moiré 제거결과 ; 대각패턴 7의 moiré 영상, 대각패턴 7의 moiré 제거영상 Fig. 7. Results of moiré reduction using ISO 12233 resolution chart; moiré image of diagonal line 7, moiré reduction result of diagonal line 7. (155)
156 주파수도메인의변곡점을이용한디지털카메라의 moire 제거방법김대철외 별최대값 을계산하고, 이들값들에대해인근주파수의차이값을계산하여그차이가큰게발생하는변곡점을검출한다. 즉, 변곡점 는각주파수별최대값 의이차미분값을계산하고그값이 10 이상을가지면서부호가바뀌는지점을변곡점으로추출한다. (7) and and (8) 여기서 i 는주파수를나타낸다. Moiré 성분의크기에해당하는검출된변곡점 는주파수도메인에서 로나타나게되고, 이성분을제거하여 moiré를제거한다. 하지만이성분은원영상의상세성분을포함하고있기때문에원영상의상세성분을보존하기위하여 의 8 이웃하는영역을평균 로대체하여 moiré 성분을제거한다. 변곡점의 8이웃하는영역의평균은다음과같이계산되어진다. (9) 있다. 제거된 moiré 패턴은그림 8(c) 에나타내었다. 또한, 저역통과필터를사용하여 moiré현상을제거하는방법과비교한결과를그림 9에나타내었다. 그림 9 에보는것과같이저역통과를사용하여 moiré를제거하였을때 moiré 패턴이감소하는것은확인할수있으나, 패턴의상세성분이감소하는것을볼수있다. 하지만 9(c) 에보는것과같이제안한방법은상세성분을보존하면서 moiré 성분을제거하는것을확인할수있다. 그리고 moiré 제거성능을정량적으로평가하기위하여 ISO 12233 해상도차트와 Zone plate 차트를사용하여광저대역투과필터를제거하기전영상을기준으로과광저대역투과필터를제거후에획득한영상과제안한방법의결과를 PSNR과 MSSIM을사용하여성능을비교하였다 [7]. 각차트당 5개의영상을사용하였고, moiré 영역의부분별채널별비교를통하여평가하였다. 그결과는표 1과표 2에총 5장의영상에대하여평균 PSNR과 MSSIM을나타내었다. ISO12233 해상도차트에대한평균PSNR 과평균MSSIM이 41.13dB 와 93.68, Zone plate 차트에대한평균PSNR 과평균 마지막으로주파수도메인에서 moiré가제거된영상은푸리에역변환수행하고색도성분과결합하여그림 7에서와같이주파수도메인에서 moiré 성분을제거함으로 moiré 현상이제거된영상을획득한다. Ⅲ. 실험및결과 제안한방법의 moiré 제거성능을평가하기위하여 NX-100 카메라와 ISO 12233 해상도차트를사용하였다. 먼저 NX-100 카메라의광저대역투과필터를제거하고 ISO 해상도차트를촬영하여영상을획득하고, moiré 패턴을검출하였다. 다음으로검출된 moiré 영역에대하여각패턴에대해주파수도메인에서의변곡점을제거하여 moiré 현상을제거하였다. 그결과그림 8 에나타난것과같이 NX-100 카메라의분해능을초과하는공간주파수영역에서 moiré 현상이발생하였고, 그림 8 에서와주파수도메인에서의 moiré 성분을제거함으로 moiré 현상이감소하는것을확인할수 (c) 그림 8. ISO 12233 해상도차트를사용한 moiré 제거결과 ; 세로방향의라인 8, 가로방향의라인 10, 그리고가로방향의라인 8 의 moiré 영상, 각패턴에대한 moiré 제거결과영상, (c) 각라인에서의제거된 moiré 패턴 Fig. 8. Results of moiré reduction using ISO 12233 resolution chart, moiré images of vertical line 8, horizontal line 10, and horizontal line 8, their moiré reduction result, (c) their removed patterns. (156)
2014 년 1 월전자공학회논문지제 51 권제 1 호 157 Journal of The Institute of Electronics and Information Engineers Vol. 51, NO. 1, January 2014 (c) 그림 9. ISO 12233 해상도차트를사용한 moiré 제거결과 ; 가로방향의라인 7, Bilateral 필터를사용한 moiré 제거결과, (c) 제안한방법에의한 moiré 제거결과 Fig. 9. Results of moiré reduction using ISO 12233 resolution chart, moiré images of horizontal line 7, moiré reduction using bilateral filter, (c) moiré reduction using the proposed method. 표 1. PSNR과 4MSSIM을이용한제안한방법의성능평가 Table 1. Evaluation of the proposed method using PSNR and MSSIM. 평가방법 PSNR MSSIM 차트 OLPF제거후획득영상 제안한방법 ISO 12233 37.23dB 41.13dB Zone plate 29.36dB 45.21dB ISO 12233 85.24 93.68 Zone plate 49.52 98.16 MSSIM이 45.21dB와 98.16으로우수한성능을나타내었다. Ⅳ. 결론 본논문은광저대역투과필터를제거한후획득한영상에서의 moiré 제거방법을제안하였다. 먼저카메라의공간해상도을이용하여카메라의분해능을초과하는영역을검출하여 moiré 패턴영역을검출하였다. 다음으로검출된영역을주파수도메인에서분석하여 moiré 성분에해당하는변곡점을제거함으로영상의 moiré 현상을제거하였다. 실험결과제안한방법은영상의상세성분을보존함과동시에 moiré 현상을제거하는성능을보였다. [2] M. Sato, S. Nagahara, and K. Tajahashi, Optical filter for color imaging device, US Patent No. 4626897, 1986. [3] T. Asaida, Optical low-pass filter including three crystal plates for a solid-state color TV camera, US Patent No. 4761682, 1988. [4] Byeong-Jae Kim, Image processing method and apparatus for bayer images, US Patent No. 0063480, 2011. [5] ISO 12233, Photography-Electronic still-picture camera-resolution measurements, 2000. [6] ISO 14524, Photography-Electronic still-picture camera-methods for measuring opto-electronic conversion functions (OECFs), 1999. [7] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, Image Quality Assessment: From Error Visibility to Structural Similarity, IEEE transaction on Image Processing, 31(4), 1-14 2004. 저자소개 김대철 ( 학생회원 ) 대한전자공학회논문지제 48 권 SP 편제 1 호참조 경왕준 ( 학생회원 ) 대한전자공학회논문지제 48 권 SP 편제 1 호참조 이철희 ( 정회원 ) 대한전자공학회논문지제 47 권 SP 편제 4 호참조 하영호 ( 정회원 ) 대한전자공학회논문지제 38 권 SP 편제 3 호참조 REFERENCES [1] Y. Ohtake, Television camera having an optical filter, US Patent No. 4539584, 1985. (157)