< B1E8C1BEC8A32DB9E6C7E2BCBA20B1E2B9DD20BAB8B0A3B9FDB0FA2E687770>

Transcription

1 Journal of the Korea Academia-Industrial cooperation Society Vol. 18, No. 10 pp , ISSN / eissn 방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 김종호순천대학교멀티미디어공학과 Effective Demosaicking Algorithm for CFA Images using Directional Interpolation and Nonlocal Means Filtering Jongho Kim Department of Multimedia Engineering, Sunchon National University 요약본논문에서는단일센서기기를통해획득된 CFA (color filter array) 영상의효과적인디모자이킹 (demosaicking) 을위하여방향성기반보간법과영상의비지역특성을이용하는방법을제안한다. G 채널을복원하기위하여수직및수평방향뿐만아니라대각선방향을고려하고, 영상의지역적특성을위하여비교적적은수의픽셀을이용하여보간한다. 이후, 영상의비지역적특성을반영하여에지근처에서의복원능력및색상오류등에의한화질열화를개선하기위하여보간된픽셀에 NLM (nonlocal means) 필터링을적용한다. R 과 B 채널은이미복원된 G 채널의정보를이용하여방향성기반보간법및 NLM 필터링을적용하여복원한다. 채도가높고색상변화가비교적큰 McMaster 영상에대해서수행한실험결과는제안하는디모자이킹방법이기존의방법에비해 PSNR 기반의객관적성능평가결과가우수하고, 주관적화질측면에서에지및텍스처와같은영상의구조를잘보존하고색상오류등과같은왜곡현상을감소시켜우수한성능을나타냄을알수있다. Abstract This paper presents an effective demosaicking algorithm for color filter array (CFA) images acquired from single-sensor devices based on directional interpolation and nonlocal properties of the image. We interpolate the G channel considering diagonal directions as well as horizontal and vertical directions, using a small number of pixels to reflect local properties of the image. Then, we overcome image degradations, such as zipper effects near edges and false colors, by applying nonlocal means (NLM) filtering to the interpolated pixels. R and B channels are reproduced by using directional interpolation with information of the reconstructed G channel and NLM filtering. Experimental results for various McMaster images with high saturation and color changes show that the proposed algorithm accomplishes high PSNR compared with conventional methods. Moreover, the proposed method demonstrates better subjective quality compared with existing methods in terms of reduction of quality degradation, like false colors, and preservation of the image structures, such as edges and textures. Keywords : CFA, Demosaicking, Directional interpolation, McMaster images, Nonlocal means filtering 1. 서론 디지털카메라는빛에너지를전기신호로변환하는컬러센서 (color sensor) 를통해디지털컬러영상을획득하는데, 이는영상을구성하는픽셀수및색상평면 (clolor plane) 수만큼필요하다. 하지만다수의컬러센서 * Corresponding Author : Jongho Kim (Sunchon National Univ.) Tel: jhkim@sunchon.ac.kr Received July 27, 2017 Revised August 28, 2017 Accepted October 13, 2015 Published October 31, 2017 에의해영상을획득하는경우설계구조의복잡성, 전류소모, 무게, 부피, 가격등의비용이증가하기때문에보통컬러필터배열 (CFA; color filter array) 에의한단일센서 (single sensor) 를통해획득하게된다. CFA는각픽셀위치에서하나의색상성분, 즉 R (red), G (green), 110

2 방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 B (blue) 성분중하나를나타내는컬러센서를일정한패턴으로배치한 2차원배열로서, Bayer 패턴이가장많이사용된다 [1]. CFA를통해컬러영상을획득할때각픽셀은하나의색상에대한정보만포함하므로완전한컬러영상을얻기위해서는해당색상외의다른색상정보를보간 (interpolation) 하는기술이필요하고, 이를디모자이킹 (demosaicking) 이라고한다. CFA에의해누락된색상값을복원하기위하여에일리어싱 (aliasing), 지퍼현상 (zipper effect), 색상오류 (false colors) 등의왜곡을최소화하고, 하드웨어구현이용이하도록적은연산량이요구된다. 또한 CFA, 특히 Bayer 패턴에서인간시각특성에따라 G 색상과 R, B 색상의패턴과비율이다르기때문에보통 G 색상과 R, B 색상은다른보간법을이용하여디모자이킹과정을수행한다. 영상의화질을개선하기위하여최근다양한디모자이킹기술들이제안되었는데, 선형보간법에기반한방법 [2, 3], 컬러평면간상관성을활용하는방법 [4], 에지의방향성을이용하는방법 [5, 7-9], 반복적 (iterative) 보간법에의한방법 [3, 6], 잡음제거기술에기반을둔보간법 [11, 13], 주파수영역에서의보간법 [12] 등으로구분할수있다. 선형보간법을이용한방법은계산이단순하여하드웨어구현에적합하나, 에일리어싱등의왜곡현상으로인해만족스러운화질을얻기어렵다 [10, 14-15]. 이를개선하기위해본논문에서는에지방향성및다른컬러평면의정보를활용하고, 잡음등의영향에강인한보간법을제안한다. 또한영상은에지주위에서약한상관도를갖는반면, 보간법은높은상관도를갖는영역에서좋은성능을나타내기때문에발생하는열화현상을개선하기위하여영상의비지역상관도를이용하는방법을도입한다. 그중에서비지역평균 (NLM; nonlocal means) 필터는자연영상에서해당픽셀과가장유사한픽셀이근처뿐만아니라멀리떨어진곳에서발견될수있다는특성을이용한기법 [16-20] 으로, 잡음제거 (denoising) 및흐림제거 (deblurring) 등의다양한화질개선분야에서사용된다. 한편, 디모자이킹의성능을평가하는데테스트영상에따라결과가달라질수있다는점이최근지적되었다. 특히기존에사용된 Kodak에서제공한 24장의영상은컬러평면간유사도가높아디모자이킹알고리즘의성능을과대평가할수있다는지적이제기되었다. 이에따라성능평가를위한새로운테스트데이터로서 McMaster 영상이제시되었다. 이는색상정보가풍부하고고주파대역의상관도가낮으며컬러평면간차분에대한분산이크고채도가높은특성을갖는다 [14, 15]. 본논문에서는영상의방향성을반영하여에지등의구조를보존하고, 잡음등에강인한보간법및보간된픽셀에대해 NLM 필터를적용하여화질을개선하는방법을제안한다. 먼저 G 색상에대해보간법및 NLM 필터링을적용하여복원하고, 복원된 G 채널의정보를이용하여 R 및 B 색상의보간및비지역필터링을수행한다. 제안하는방법의성능은기존방법들과객관적성능및주관적화질비교를통해평가한다. 본논문의구성은다음과같다. 2장에서는제안하는디모자이킹방법에대해각색상채널별로지역적보간법및비지역필터링적용방법을설명하고, 3장에서제안한방법의성능평가및분석결과를기술한후, 마지막으로 4장에서결론을맺는다. 2. 제안하는디모자이킹알고리즘 2.1 제안하는알고리즘의구조제안하는디모자이킹알고리즘의전체적인흐름은 Fig. 1과같다. 먼저향성을반영한보간법을적용하여 G 채널을복원한후, NLM 필터링을통해디모자이킹성능을개선한다. 이후복원된 G 채널의정보를활용하여 R과 B 채널에대해각각방향성기반보간법및 NLM 필터링을적용함으로써전체적인디모자이킹과정이진행된다. Fig. 1. Overall flow diagram of the proposed algorithm 자연영상에서채도가높은영역은색상의변화가급격하게일어나므로누락된컬러샘플을예측하기위하여주변픽셀을많이이용하면성능이떨어질수있고, NLM 필터링단계에서이를개선하기어려울수있다. 또한, 방향성에지는화질에결정적인영향을미치기때문에이를보존하기위하여에지의방향을따라보간을 111

3 한국산학기술학회논문지제 18 권제 10 호, 2017 수행해야한다. 본논문에서는이러한사항을고려하여지역성및방향성정보를이용한보간법을제안한다. 특히높은채도를갖는영역에서는보간하고자하는픽셀위치에서두픽셀떨어진이웃이라도색상차이가상당히크기때문에 5 5 크기이상의큰윈도우를이용하여컬러샘플을예측하게되면보간에러를발생시킬수있다. 또한, CFA 패턴에서는각컬러샘플이간축 (downsampling) 되었기때문에에지방향의색상차이신호를직접구할수없어실제로는다른방향의색상차이의가중평균으로예측한다. 2.2 G 채널의복원방법 Bayer 패턴을포함한다양한 CFA 패턴에서 G 채널의표본화주파수는 R과 B 채널의표본화주파수보다높기때문에 G 채널은다른두채널에비해더많은영상의구조적정보를포함한다. 따라서 G 채널을잘복원하면 R과 B 채널도잘복원하는결과를보인다. 기존의방향성보간알고리즘에서는각 R 또는 B 샘플위치에서 G의가로와세로방향필터링출력을계산하고, 두방향의기울기를고려하여둘중하나의결과를선택한다 [3, 6, 8]. 그러나이러한방식에는문제점이있는데, 하나는보간할때두가지방향만을고려함으로써다른방향의에지구조를보존하는데한계가있고, 다른하나는누락된픽셀을보간하기위하여두방향중하나의방향을선택함으로써보간에러를발생시킬수있다 [14]. 본논문에서는이러한문제를해결하기위해다양한방향성을고려하고, 국부영역의방향정보를효과적으로융합하여더강인한성능을보이는보간법을제안한다. 보간에러를방지하기위해작은윈도우를사용한다. Fig. 2와같은 CFA 블록에대해누락된 G 샘플위치의 R 샘플을 R i,j 라고하자 (B 샘플을이용하여 G 샘플을예측하는경우도유사함 ). 이때 (i, j) 는영상에서의각픽셀의위치를나타내는인덱스로서 i는 y축방향, j는 x축방향의위치를나타낸다. R i,j 위치에서 G와 R의차이, 즉 Fig. 2. CFA block and indices for each pixel D gr = G i,j - R i,j 를알수있다면 G i,j = R i,j + D gr 로구할수있기때문에, D gr 을효과적으로예측하는방법을살펴본다. 본논문에서는식 (1) 을통해 n (north), s (south), w (west), e (east) 방향의 D gr 을구한다. (1) 또한, 식 (2) 를통해 ne (north-east), se (south- east), nw (north-west), sw (south-west) 의대각방향 D gr 을구한다. 대각방향의색상차이를구하기위해서먼저누락된 G 샘플을선형적으로계산한후, R 샘플과의차이를계산한다. 이때, = (G i,j+1 + G i,j-1 + G i-1,j + G i+1,j)/4이다. (2) 보간에러는 R i,j 위치에서의에지방향및색상변화와관계가있으므로적절한방향을선택하기위해식 (3) 과같이각방향을따라 R i,j 에서의기울기 (gradient) 를계산한다. 이때, ε은기울기가 0이되는것을방지하기위 (3) 112

4 방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 하여더하는작은양수를나타낸다. 식 (3) 에서안정적인기울기를얻기위해중심행또는열의이웃을포함하여계산한다. 일반적으로어떤방향으로기울기가크면그방향에서변화가크기때문에색상차이를정확하게예측하기어렵다. 본논문에서는식 (4) 와같이각방향에대한기울기의역수를방향성예측에대한가중치로사용함으로써영상의방향성구조를반영하여예측을수행한다. 가중치의합이 1 이되도록식 (5) 와같이정규화한다. (4) (5) 적용한다. 이를위하여복원된 G 채널에서식 (7) 의 를중심으로한충분히큰윈도우 ( 가령, 크기윈도우 ), Ω에대해서 와유사한픽셀을탐색한다. 에중심을둔 h h 크기의패치를 P 0, Ω 내의다른 G 픽셀에중심을둔패치를 P k 라고하면, P 0 와 P k 사이의유사도는식 (8) 과같이구한다. (8) 일반적으로 t k 가작을수록 에더유사하다. t k 를기준으로 를포함하여 에가장유사한픽셀 M개를선택하고, 를 v 0 로, 에유사하다고판단된픽셀을 v i, i = 1,..., M-1로나타낸다. v i 에대한유사도를 t i 라고하면, NLM 필터링결과픽셀 은식 (9) 와같이 v i 의가중평균으로구할수있다. 이때 이다. 식 (1), (2) 및 (5) 를이용하여 R i,j 위치에서의방향성예측을식 (6) 과같이구할수있다. (6) 최종적으로 R i,j 위치에서누락된 G 샘플은식 (7) 에의해구한다. (7) (9) 이때, 가중치 w i = exp(-t i/σ)/n에의해구할수있고, N 은가중치합을 1로만들기위한정규화파라미터로 로구한다. 식 (9) 의파라미터 σ는유 사도 t i 에대한가중치 w i 의감소율을조절하는역할을한다. 영상잡음제거에관한연구에서 σ는보통영상에포함된잡음의표준편차값을사용한다. 이러한과정을모든 R 샘플과 B 샘플위치에적용함으로써 G 채널을복원할수있다. 지금까지기술한방법에의해복원된 G 평면은윈도우내에서지역적상관도를이용했기때문에급격한색상및명암의변화가일어나는객체경계근처에서보간결과가부정확할수있다. 자연영상에서는유사한패턴또는구조가현재픽셀과가까운곳뿐만아니라멀리떨어진곳에서도나타날수있다는특성에기반한비지역적처리기법은광범위하게연구되었는데, 주로영상및비디오의잡음제거및복원 (restoration) 에효과적으로적용되었다 [16-20]. 본논문에서는보간에러를줄이고복원된 G 채널의화질을개선하기위하여비지역상관성을이용하는데, 다양한방법중에서 NLM 필터링을 2.3 R 및 B 채널의복원방법 G 채널의복원과마찬가지로 R 및 B 채널의복원도방향성기반의보간법과비지역특성을반영한 NLM 필터링의과정으로이루어진다. R채널과 B 채널의복원은같은방법으로이루어지기때문에이후에는 B 채널의복원과정을중심으로기술한다. 누락된 B 샘플의보간은두단계로이루어지는데, 먼저 R 샘플위치에있는 B 샘플을보간한후, 이를이용하여 G 샘플위치에있는 B 샘플을보간한다. Fig. 2와같은배치에대해서, R i,j 위치에서대각선방향으로 B와 G 사이의색상차이를식 (10) 에의해구한다. 113

5 한국산학기술학회논문지제 18 권제 10 호, 2017 (10) 이에따라 G i,j-1 위치에서각방향에대한기울기는식 (14) 와같이구할수있다. 각방향과연관된가중치는식 (4) 및 (5) 와유사한방법으로구하고, 이를이용하여 G i,j-1 위치의방향성예측은, 강인한추정을위하여네방향에대한색상차이에부여할가중치를결정하는데식 (11) 과같이각방향을따라기울기를계산한다. (11) 이때 ε은작은양수이다. 또한가중치는식 (12) 와같이설정된다. (12) 로구한다. 최종적으로 G i,j-1 위치에서의누락된 B 샘플 로보간한다. R과 B 채널을보간한후, 비지역적상관성을이용하여개선하는과정은 G 채널에적용한방법과동일하다. 즉, 보간된 R ( 또는 B) 샘플 ( 또는 ) 에대해그샘플을중심으로한비교적큰윈도우내에서유사한픽셀을찾는다. 자신을포함해 ( 또는 ) 에최대한유사한 M개의픽셀이 NLM 필터링에사용된다. 3. 실험및결과제안하는알고리즘의성능을평가하기위해 Fig. 3의 크기의 McMaster 영상 18장을사용하였고, 기존방법들과의비교실험을수행하여객관적, 주관적결과를제시하였다. 이때정규화파라미터 이다. R i,j 위치에서의 B 와 G 의색상차이는, 로추정할수있고, R i,j 위치에서누락된 B 샘플은 로구할수있다. 이러한방식으로 R 샘플위치의 B 샘플을보간한후, G 샘플위치의 B 샘플을보간하는데, 가령 G i,j-1 위치에대해 R i,j 와 R i,j-2 위치에서보간된 B 샘플, 와 을이용하여 B 와 G 사이색상차이의방향성추정 은식 (13) 과같이구할수있다. (13) Fig. 3. McMaster test images 객관적성능은 PSNR을이용하는데, 이를컬러영상에적용하기위하여식 (15) 와같이각색상평면별로평균 (14) 114

6 방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 제곱오차 (MSE) 를구하고, 이값의평균을사용하였다. (15) 비교실험은기존의 Adams[3], Li[6], Zhang[8] 의방법과수행하였다. 제안하는방법은 NLM 과정에서 5 5 크기의패치를이용하여 크기의영역에서유사한패치를탐색하였고, 유사한패치의수 M = 25, 가중치를위한 σ = 2.5로설정하였다. Table 1. Comparison of demosaicking results measured by PSNR (extended for color images) No. Adams Li Zhang Proposed Avg 는데, 이는완만한색상차이를가정하여알고리즘을설계하였으나 McMaster 영상에는잘맞지않아나타나는현상이다. Fig. 4(b) 는 Adams 방법의결과를나타내는데, 누락된색상을보간하기위해비교적짧은길이 (5탭) 의필터를사용하여상당히우수한성능을나타냄을알수있다. 그러나여전히보간을위하여가로및세로방향만고려함으로써지역적방향성정보및비지역특성을충분히반영하지못해잡음이남아있음을알수있다. Fig. 4(e) 에서보는바와같이제안한방법에의한결과는방향성정보를충분히활용하여에지의복원성능이우수하고, 비지역특성을효과적으로반영하여색상오류가적어우수한화질을나타냄을확인할수있다. (a) (b) (c) (d) Table 1은제안한방법을포함하여각알고리즘의객관적성능평가결과를 PSNR C 로나타낸것이다. 영상의번호는 Fig. 3의왼쪽위의영상부터오른쪽아래방향으로증가한다. Table 1의결과에서보는바와같이, 제안된방법이기존방법중가장성능이좋은 Adams 방법과비교하여평균 1.59dB 개선되었고, Li의방법에비해평균 3.94dB 개선됨을보여준다. 제안된방법의우수한결과는올바른방향성을찾는다양한노력과자연영상의특성을반영한 NLM 필터링을적용한결과에서기인한다. 주관적화질평가를위하여영상 1에대해원영상과각방법의결과를일부확대한영상을 Fig. 4에나타내었다. Fig. 4(c) 와 (d) 에서보는바와같이, Li 와 Zhang 의방법에서는색상오류 (false color) 와대각선방향의에지근처에서의지퍼현상이상당히두드러지게나타나 (e) Fig. 4. Demosaicked images for McMaster 1 by (a) original image (b) Adams (c) Li (d) Zhang (e) Proposed methods 4. 결론 본논문에서는 CFA 영상의효과적인디모자이킹을위하여방향성정보와비지역적특성을활용하여복원하는알고리즘을제안하였다. G 채널을보간하기위하여수직및수평방향에더하여대각선방향을고려하였으며, 보간된픽셀에대하여 NLM 필터링을적용하여비 115

7 한국산학기술학회논문지제 18 권제 10 호, 2017 지역적으로유사한구조를반영하여화질을개선하도록하였다. R 및 B 채널은수평및수직방향성정보와복원된 G 채널의정보를활용하여보간하고, NLM 필터링을적용하여복원하였다. McMaster 테스트영상대부분의경우에대하여제안한방법이기존방법에비해높은 PSNR 결과를나타냄을보였다. 주관적화질또한색상오류및대각선방향에지에서두드러지는지퍼현상이현저하게줄어들어화질이개선되었음을확인할수있었다. 이러한결과로부터제안한디모자이킹방법이다양한영상디스플레이시스템에효과적으로적용될수있을것으로판단된다. References [1] B. E. Bayer, "Color imaging array," U. S. Patent No , [2] J. E. Adams, "Intersections between color plane interpolation and other image processing functions in electronic photography," in Proc. SPIE, vol. 2416, pp , Mar DOI: [3] J. E. Adams, J. F. Hamilton Jr., "Adaptive color plane interpolation in single color electronic camera," U. S. Patent No , [4] B. K. Gunturk, Y. Altunbasak, R. M. Mersereau, "Color plane interpolation using alternating projections," IEEE Trans. Image Process., vol. 11, no. 9, pp , Sep DOI: [5] R. Lukac, K. Martin, K. N. Plataniotis, "Demosaicked image postprocessing using local color ratios," IEEE Trans. Circuits and Syst. Video Technol., vol. 14, no. 6, pp , Jun DOI: [6] X. Li, "Demosaicing by successive approximation," IEEE Trans. Image Process., vol. 14, no. 3, pp , Mar DOI: [7] K. Hirakawa, T. W. Parks, "Adaptive homogeneitydirected demosaicing algorithm," IEEE Trans. Image Process., vol. 14, no. 3, pp , Mar DOI: [8] L Zhang, X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Process., vol. 14, no. 12, pp , Dec DOI: [9] D. Menon, S. Andriani, G. Calvagno, "Demosaicing with directional filtering and a posteriori decision," IEEE Trans. Image Process., vol. 16, no. 1, pp , Jan DOI: [10] X. Li, B. Gunturk, L. Zhang, "Image demosaicking: a systematic survey," in Proc. SPIE, vol (VCIP2008), San Jose, CA. pp J J-15, [11] A. Buades, B. Coll, J. -M. Morel, C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Process., vol. 18, no. 6, pp , Jun DOI: [12] F. Zhang, X. Wu, X. Yang, W. Zhang, L. Zhang, "Robust color demosaicking with adaptation to varying spectral correlations," IEEE Trans. Image Process., vol. 18, no. 12, pp , Dec DOI: [13] J. Mairal, M. Elad, G. Sapiro, "Sparse representation for color image restoration," IEEE Trans. Image Process., vol. 17, no. 1, pp , Jan DOI: [14] L. Zhang, X. Wu, A. Buades, X. Li, "Color demosaicking by local directional interpolation and nonlocal adaptive thresholding," J. Electronic Imaging, vol. 20, no. 2, pp , DOI: [15] Y. -K. Lee, H. Yoo, "Demosaicking method using high-order interpolation with parameters," The Trnas. KIEE, vol. 62, no. 9, pp , Sep [16] A. Buades, B. Coll, J. M. Morel, "A review of image denoising algorithms, with a new one," Multiscale Model. Simul., vol. 4, no. 2, pp , DOI: [17] S. Kindermann, S. Osher, P. W. Jones, "Deblurring and denoising of images by nonlocal functions," Multiscale Model. Simul., vol. 4, no. 4, pp , DOI: [18] K. Dabov, A. Foi, V. Katkovnik, K. Egiazarian, "Image denoising by sparse 3-D transform domain collaborative filtering," IEEE Trans. Image Process., vol. 16, no. 8, pp , Aug DOI: [19] T. Brox, O. Kleinschmidt, D. Cremers, "Efficient nonlocal means for denoising of textural patterns," IEEE Trans. Image Process., vol. 17, no. 7, pp , Jul DOI: [20] A. Buades, B. Coll, J. M. Morel, "Nonlocal image and movie denoising," Int. J. Comput. Vision, vol. 76, no. 2, pp , DOI: 김종호 (Jongho Kim) [ 종신회원 ] 1998 년 2 월 : 한양대학교전자통신공학과 ( 공학사 ) 2008 년 8 월 : 한양대학교대학원전자통신공학과 ( 공학박사 ) 2008 년 9 월 ~ 2009 년 2 월 : 삼성전자책임연구원 2009 년 3 월 ~ 현재 : 순천대학교멀티미디어공학과교수 < 관심분야 > 영상압축및통신, 컴퓨터비전, 영상처리, 디지털신호처리 116