< B1E8C1BEC8A32DB9E6C7E2BCBA20B1E2B9DD20BAB8B0A3B9FDB0FA2E687770>

Similar documents
(JBE Vol. 21, No. 1, January 2016) (Regular Paper) 21 1, (JBE Vol. 21, No. 1, January 2016) ISSN 228

09권오설_ok.hwp

ȲÀμº Ãâ·Â

À±½Â¿í Ãâ·Â

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 28(3),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

(JBE Vol. 20, No. 5, September 2015) (Special Paper) 20 5, (JBE Vol. 20, No. 5, September 2015) ISS

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jun.; 27(6),

1. 서 론

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 27(7),

(JBE Vol. 20, No. 6, November 2015) (Regular Paper) 20 6, (JBE Vol. 20, No. 6, November 2015) ISSN

±è¼ºÃ¶ Ãâ·Â-1

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 6, Jun Rate). STAP(Space-Time Adaptive Processing)., -

<35335FBCDBC7D1C1A42DB8E2B8AEBDBAC5CDC0C720C0FCB1E2C0FB20C6AFBCBA20BAD0BCAE2E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 27(7),

(JBE Vol. 7, No. 4, July 0)., [].,,. [4,5,6] [7,8,9]., (bilateral filter, BF) [4,5]. BF., BF,. (joint bilateral filter, JBF) [7,8]. JBF,., BF., JBF,.

???? 1

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jan.; 26(1),

8-VSB (Vestigial Sideband Modulation)., (Carrier Phase Offset, CPO) (Timing Frequency Offset),. VSB, 8-PAM(pulse amplitude modulation,, ) DC 1.25V, [2

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 30(9),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 25(3),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 25(12),

DBPIA-NURIMEDIA

08김현휘_ok.hwp

04 김영규.hwp

14.531~539(08-037).fm

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3

04 최진규.hwp

2 : (JEM) QTBT (Yong-Uk Yoon et al.: A Fast Decision Method of Quadtree plus Binary Tree (QTBT) Depth in JEM) (Special Paper) 22 5, (JBE Vol. 2

09È«¼®¿µ 5~152s

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 27(12),

???? 1

[ReadyToCameral]RUF¹öÆÛ(CSTA02-29).hwp

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 28(11),

2 : (Seungsoo Lee et al.: Generating a Reflectance Image from a Low-Light Image Using Convolutional Neural Network) (Regular Paper) 24 4, (JBE

인문사회과학기술융합학회

°í¼®ÁÖ Ãâ·Â

DBPIA-NURIMEDIA

1. 3DTV Fig. 1. Tentative terrestrial 3DTV broadcasting system. 3D 3DTV. 3DTV ATSC (Advanced Television Sys- tems Committee), 18Mbps [1]. 2D TV (High

07.045~051(D04_신상욱).fm

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 26(12),

ch3.hwp

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 27, no. 8, Aug [3]. ±90,.,,,, 5,,., 0.01, 0.016, 99 %... 선형간섭

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jun.; 27(6),

DBPIA-NURIMEDIA

2 : MMT QoS (Bokyun Jo et al. : Adaptive QoS Study for Video Streaming Service In MMT Protocol). MPEG-2 TS (Moving Picture Experts Group-2 Transport S

표지

¼º¿øÁø Ãâ·Â-1

차분 이미지 히스토그램을 이용한 이중 레벨 블록단위 가역 데이터 은닉 기법 1. 서론 멀티미디어 기술과 인터넷 환경의 발달로 인해 현대 사회에서 디지털 콘텐츠의 이용이 지속적 으로 증가하고 있다. 이러한 경향과 더불어 디지털 콘텐츠에 대한 소유권 및 저작권을 보호하기

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Feb.; 30(2),

63-69±è´ë¿µ

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 26(10),

DBPIA-NURIMEDIA

2 : (Jaeyoung Kim et al.: A Statistical Approach for Improving the Embedding Capacity of Block Matching based Image Steganography) (Regular Paper) 22

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Feb.; 29(2), IS

2 : 3 (Myeongah Cho et al.: Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method) (Special Paper) 23 2


디지털포렌식학회 논문양식

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jun; 26(6),

<31325FB1E8B0E6BCBA2E687770>

Sequences with Low Correlation

, ( ) 1) *.. I. (batch). (production planning). (downstream stage) (stockout).... (endangered). (utilization). *

DBPIA-NURIMEDIA

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

조사연구 권 호 연구논문 한국노동패널조사자료의분석을위한패널가중치산출및사용방안사례연구 A Case Study on Construction and Use of Longitudinal Weights for Korea Labor Income Panel Survey 2)3) a

. 서론,, [1]., PLL.,., SiGe, CMOS SiGe CMOS [2],[3].,,. CMOS,.. 동적주파수분할기동작조건분석 3, Miller injection-locked, static. injection-locked static [4]., 1/n 그림

11 함범철.hwp

03 장태헌.hwp

5 : HEVC GOP R-lambda (Dae-Eun Kim et al.: R-lambda Model based Rate Control for GOP Parallel Coding in A Real-Time HEVC Software Encoder) (Special Pa

CONTENTS INTRODUCTION CHARE COUPLED DEVICE(CCD) CMOS IMAE SENSOR(CIS) PIXEL STRUCTURE CONSIDERIN ISSUES SINAL PROCESSIN

<3136C1FD31C8A35FC3D6BCBAC8A3BFDC5F706466BAAFC8AFBFE4C3BB2E687770>

02이주영_ok.hwp

19_9_767.hwp

Kor. J. Aesthet. Cosmetol., 및 자아존중감과 스트레스와도 밀접한 관계가 있고, 만족 정도 에 따라 전반적인 생활에도 영향을 미치므로 신체는 갈수록 개 인적, 사회적 차원에서 중요해지고 있다(안희진, 2010). 따라서 외모만족도는 개인의 신체는 타

서강대학교 기초과학연구소대학중점연구소 심포지엄기초과학연구소

, V2N(Vehicle to Nomadic Device) [3]., [4],[5]., V2V(Vehicle to Vehicle) V2I (Vehicle to Infrastructure) IEEE 82.11p WAVE (Wireless Access in Vehicula

<33302DC1A4BAB8C5EBBDC5C0CFB9DDB9D7B1B3C0B02D B1E8B3B2C8A3292E687770>

10(3)-09.fm

Kor. J. Aesthet. Cosmetol., 라이프스타일은 개인 생활에 있어 심리적 문화적 사회적 모든 측면의 생활방식과 차이 전체를 말한다. 이러한 라이프스 타일은 사람의 내재된 가치관이나 욕구, 행동 변화를 파악하여 소비행동과 심리를 추측할 수 있고, 개인의

Gray level 변환 및 Arithmetic 연산을 사용한 영상 개선

I

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 30(3),

28 저전력복합스위칭기반의 0.16mm 2 12b 30MS/s 0.18um CMOS SAR ADC 신희욱외 Ⅰ. 서론 Ⅱ. 제안하는 SAR ADC 구조및회로설계 1. 제안하는 SAR ADC의전체구조

02이재원_ok.hwp

DBPIA-NURIMEDIA

3 : ATSC 3.0 (Jeongchang Kim et al.: Study on Synchronization Using Bootstrap Signals for ATSC 3.0 Systems) (Special Paper) 21 6, (JBE Vol. 21

03-서연옥.hwp

10(3)-10.fm

DBPIA-NURIMEDIA

Analysis of objective and error source of ski technical championship Jin Su Seok 1, Seoung ki Kang 1 *, Jae Hyung Lee 1, & Won Il Son 2 1 yong in Univ

(JBE Vol. 21, No. 6, November 2016) (Special Paper) 21 6, (JBE Vol. 21, No. 6, November 2016) ISSN

1 : (Sung-Ho Bae et al.: A Novel Fast and High-Performance Image Quality Assessment Metric using a Simple Laplace Operator) (Special Paper) 21 2, 2016

DBPIA-NURIMEDIA

,.. 2, , 3.. 본론 2-1 가상잡음신호원생성원리, [8].,. 1.,,. 4 km (13.3 μs).,. 2 (PN code: Pseudo Noise co- 그림 2. Fig. 2. Pseudo noise code. de). (LFSR: Line

DBPIA-NURIMEDIA

Transcription:

Journal of the Korea Academia-Industrial cooperation Society Vol. 18, No. 10 pp. 110-116, 2017 https://doi.org/10.5762/kais.2017.18.10.110 ISSN 1975-4701 / eissn 2288-4688 방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 김종호순천대학교멀티미디어공학과 Effective Demosaicking Algorithm for CFA Images using Directional Interpolation and Nonlocal Means Filtering Jongho Kim Department of Multimedia Engineering, Sunchon National University 요약본논문에서는단일센서기기를통해획득된 CFA (color filter array) 영상의효과적인디모자이킹 (demosaicking) 을위하여방향성기반보간법과영상의비지역특성을이용하는방법을제안한다. G 채널을복원하기위하여수직및수평방향뿐만아니라대각선방향을고려하고, 영상의지역적특성을위하여비교적적은수의픽셀을이용하여보간한다. 이후, 영상의비지역적특성을반영하여에지근처에서의복원능력및색상오류등에의한화질열화를개선하기위하여보간된픽셀에 NLM (nonlocal means) 필터링을적용한다. R 과 B 채널은이미복원된 G 채널의정보를이용하여방향성기반보간법및 NLM 필터링을적용하여복원한다. 채도가높고색상변화가비교적큰 McMaster 영상에대해서수행한실험결과는제안하는디모자이킹방법이기존의방법에비해 PSNR 기반의객관적성능평가결과가우수하고, 주관적화질측면에서에지및텍스처와같은영상의구조를잘보존하고색상오류등과같은왜곡현상을감소시켜우수한성능을나타냄을알수있다. Abstract This paper presents an effective demosaicking algorithm for color filter array (CFA) images acquired from single-sensor devices based on directional interpolation and nonlocal properties of the image. We interpolate the G channel considering diagonal directions as well as horizontal and vertical directions, using a small number of pixels to reflect local properties of the image. Then, we overcome image degradations, such as zipper effects near edges and false colors, by applying nonlocal means (NLM) filtering to the interpolated pixels. R and B channels are reproduced by using directional interpolation with information of the reconstructed G channel and NLM filtering. Experimental results for various McMaster images with high saturation and color changes show that the proposed algorithm accomplishes high PSNR compared with conventional methods. Moreover, the proposed method demonstrates better subjective quality compared with existing methods in terms of reduction of quality degradation, like false colors, and preservation of the image structures, such as edges and textures. Keywords : CFA, Demosaicking, Directional interpolation, McMaster images, Nonlocal means filtering 1. 서론 디지털카메라는빛에너지를전기신호로변환하는컬러센서 (color sensor) 를통해디지털컬러영상을획득하는데, 이는영상을구성하는픽셀수및색상평면 (clolor plane) 수만큼필요하다. 하지만다수의컬러센서 * Corresponding Author : Jongho Kim (Sunchon National Univ.) Tel: +82-61-750-3835 email: jhkim@sunchon.ac.kr Received July 27, 2017 Revised August 28, 2017 Accepted October 13, 2015 Published October 31, 2017 에의해영상을획득하는경우설계구조의복잡성, 전류소모, 무게, 부피, 가격등의비용이증가하기때문에보통컬러필터배열 (CFA; color filter array) 에의한단일센서 (single sensor) 를통해획득하게된다. CFA는각픽셀위치에서하나의색상성분, 즉 R (red), G (green), 110

방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 B (blue) 성분중하나를나타내는컬러센서를일정한패턴으로배치한 2차원배열로서, Bayer 패턴이가장많이사용된다 [1]. CFA를통해컬러영상을획득할때각픽셀은하나의색상에대한정보만포함하므로완전한컬러영상을얻기위해서는해당색상외의다른색상정보를보간 (interpolation) 하는기술이필요하고, 이를디모자이킹 (demosaicking) 이라고한다. CFA에의해누락된색상값을복원하기위하여에일리어싱 (aliasing), 지퍼현상 (zipper effect), 색상오류 (false colors) 등의왜곡을최소화하고, 하드웨어구현이용이하도록적은연산량이요구된다. 또한 CFA, 특히 Bayer 패턴에서인간시각특성에따라 G 색상과 R, B 색상의패턴과비율이다르기때문에보통 G 색상과 R, B 색상은다른보간법을이용하여디모자이킹과정을수행한다. 영상의화질을개선하기위하여최근다양한디모자이킹기술들이제안되었는데, 선형보간법에기반한방법 [2, 3], 컬러평면간상관성을활용하는방법 [4], 에지의방향성을이용하는방법 [5, 7-9], 반복적 (iterative) 보간법에의한방법 [3, 6], 잡음제거기술에기반을둔보간법 [11, 13], 주파수영역에서의보간법 [12] 등으로구분할수있다. 선형보간법을이용한방법은계산이단순하여하드웨어구현에적합하나, 에일리어싱등의왜곡현상으로인해만족스러운화질을얻기어렵다 [10, 14-15]. 이를개선하기위해본논문에서는에지방향성및다른컬러평면의정보를활용하고, 잡음등의영향에강인한보간법을제안한다. 또한영상은에지주위에서약한상관도를갖는반면, 보간법은높은상관도를갖는영역에서좋은성능을나타내기때문에발생하는열화현상을개선하기위하여영상의비지역상관도를이용하는방법을도입한다. 그중에서비지역평균 (NLM; nonlocal means) 필터는자연영상에서해당픽셀과가장유사한픽셀이근처뿐만아니라멀리떨어진곳에서발견될수있다는특성을이용한기법 [16-20] 으로, 잡음제거 (denoising) 및흐림제거 (deblurring) 등의다양한화질개선분야에서사용된다. 한편, 디모자이킹의성능을평가하는데테스트영상에따라결과가달라질수있다는점이최근지적되었다. 특히기존에사용된 Kodak에서제공한 24장의영상은컬러평면간유사도가높아디모자이킹알고리즘의성능을과대평가할수있다는지적이제기되었다. 이에따라성능평가를위한새로운테스트데이터로서 McMaster 영상이제시되었다. 이는색상정보가풍부하고고주파대역의상관도가낮으며컬러평면간차분에대한분산이크고채도가높은특성을갖는다 [14, 15]. 본논문에서는영상의방향성을반영하여에지등의구조를보존하고, 잡음등에강인한보간법및보간된픽셀에대해 NLM 필터를적용하여화질을개선하는방법을제안한다. 먼저 G 색상에대해보간법및 NLM 필터링을적용하여복원하고, 복원된 G 채널의정보를이용하여 R 및 B 색상의보간및비지역필터링을수행한다. 제안하는방법의성능은기존방법들과객관적성능및주관적화질비교를통해평가한다. 본논문의구성은다음과같다. 2장에서는제안하는디모자이킹방법에대해각색상채널별로지역적보간법및비지역필터링적용방법을설명하고, 3장에서제안한방법의성능평가및분석결과를기술한후, 마지막으로 4장에서결론을맺는다. 2. 제안하는디모자이킹알고리즘 2.1 제안하는알고리즘의구조제안하는디모자이킹알고리즘의전체적인흐름은 Fig. 1과같다. 먼저향성을반영한보간법을적용하여 G 채널을복원한후, NLM 필터링을통해디모자이킹성능을개선한다. 이후복원된 G 채널의정보를활용하여 R과 B 채널에대해각각방향성기반보간법및 NLM 필터링을적용함으로써전체적인디모자이킹과정이진행된다. Fig. 1. Overall flow diagram of the proposed algorithm 자연영상에서채도가높은영역은색상의변화가급격하게일어나므로누락된컬러샘플을예측하기위하여주변픽셀을많이이용하면성능이떨어질수있고, NLM 필터링단계에서이를개선하기어려울수있다. 또한, 방향성에지는화질에결정적인영향을미치기때문에이를보존하기위하여에지의방향을따라보간을 111

한국산학기술학회논문지제 18 권제 10 호, 2017 수행해야한다. 본논문에서는이러한사항을고려하여지역성및방향성정보를이용한보간법을제안한다. 특히높은채도를갖는영역에서는보간하고자하는픽셀위치에서두픽셀떨어진이웃이라도색상차이가상당히크기때문에 5 5 크기이상의큰윈도우를이용하여컬러샘플을예측하게되면보간에러를발생시킬수있다. 또한, CFA 패턴에서는각컬러샘플이간축 (downsampling) 되었기때문에에지방향의색상차이신호를직접구할수없어실제로는다른방향의색상차이의가중평균으로예측한다. 2.2 G 채널의복원방법 Bayer 패턴을포함한다양한 CFA 패턴에서 G 채널의표본화주파수는 R과 B 채널의표본화주파수보다높기때문에 G 채널은다른두채널에비해더많은영상의구조적정보를포함한다. 따라서 G 채널을잘복원하면 R과 B 채널도잘복원하는결과를보인다. 기존의방향성보간알고리즘에서는각 R 또는 B 샘플위치에서 G의가로와세로방향필터링출력을계산하고, 두방향의기울기를고려하여둘중하나의결과를선택한다 [3, 6, 8]. 그러나이러한방식에는문제점이있는데, 하나는보간할때두가지방향만을고려함으로써다른방향의에지구조를보존하는데한계가있고, 다른하나는누락된픽셀을보간하기위하여두방향중하나의방향을선택함으로써보간에러를발생시킬수있다 [14]. 본논문에서는이러한문제를해결하기위해다양한방향성을고려하고, 국부영역의방향정보를효과적으로융합하여더강인한성능을보이는보간법을제안한다. 보간에러를방지하기위해작은윈도우를사용한다. Fig. 2와같은 CFA 블록에대해누락된 G 샘플위치의 R 샘플을 R i,j 라고하자 (B 샘플을이용하여 G 샘플을예측하는경우도유사함 ). 이때 (i, j) 는영상에서의각픽셀의위치를나타내는인덱스로서 i는 y축방향, j는 x축방향의위치를나타낸다. R i,j 위치에서 G와 R의차이, 즉 Fig. 2. CFA block and indices for each pixel D gr = G i,j - R i,j 를알수있다면 G i,j = R i,j + D gr 로구할수있기때문에, D gr 을효과적으로예측하는방법을살펴본다. 본논문에서는식 (1) 을통해 n (north), s (south), w (west), e (east) 방향의 D gr 을구한다. (1) 또한, 식 (2) 를통해 ne (north-east), se (south- east), nw (north-west), sw (south-west) 의대각방향 D gr 을구한다. 대각방향의색상차이를구하기위해서먼저누락된 G 샘플을선형적으로계산한후, R 샘플과의차이를계산한다. 이때, = (G i,j+1 + G i,j-1 + G i-1,j + G i+1,j)/4이다. (2) 보간에러는 R i,j 위치에서의에지방향및색상변화와관계가있으므로적절한방향을선택하기위해식 (3) 과같이각방향을따라 R i,j 에서의기울기 (gradient) 를계산한다. 이때, ε은기울기가 0이되는것을방지하기위 (3) 112

방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 하여더하는작은양수를나타낸다. 식 (3) 에서안정적인기울기를얻기위해중심행또는열의이웃을포함하여계산한다. 일반적으로어떤방향으로기울기가크면그방향에서변화가크기때문에색상차이를정확하게예측하기어렵다. 본논문에서는식 (4) 와같이각방향에대한기울기의역수를방향성예측에대한가중치로사용함으로써영상의방향성구조를반영하여예측을수행한다. 가중치의합이 1 이되도록식 (5) 와같이정규화한다. (4) (5) 적용한다. 이를위하여복원된 G 채널에서식 (7) 의 를중심으로한충분히큰윈도우 ( 가령, 31 31 크기윈도우 ), Ω에대해서 와유사한픽셀을탐색한다. 에중심을둔 h h 크기의패치를 P 0, Ω 내의다른 G 픽셀에중심을둔패치를 P k 라고하면, P 0 와 P k 사이의유사도는식 (8) 과같이구한다. (8) 일반적으로 t k 가작을수록 에더유사하다. t k 를기준으로 를포함하여 에가장유사한픽셀 M개를선택하고, 를 v 0 로, 에유사하다고판단된픽셀을 v i, i = 1,..., M-1로나타낸다. v i 에대한유사도를 t i 라고하면, NLM 필터링결과픽셀 은식 (9) 와같이 v i 의가중평균으로구할수있다. 이때 이다. 식 (1), (2) 및 (5) 를이용하여 R i,j 위치에서의방향성예측을식 (6) 과같이구할수있다. (6) 최종적으로 R i,j 위치에서누락된 G 샘플은식 (7) 에의해구한다. (7) (9) 이때, 가중치 w i = exp(-t i/σ)/n에의해구할수있고, N 은가중치합을 1로만들기위한정규화파라미터로 로구한다. 식 (9) 의파라미터 σ는유 사도 t i 에대한가중치 w i 의감소율을조절하는역할을한다. 영상잡음제거에관한연구에서 σ는보통영상에포함된잡음의표준편차값을사용한다. 이러한과정을모든 R 샘플과 B 샘플위치에적용함으로써 G 채널을복원할수있다. 지금까지기술한방법에의해복원된 G 평면은윈도우내에서지역적상관도를이용했기때문에급격한색상및명암의변화가일어나는객체경계근처에서보간결과가부정확할수있다. 자연영상에서는유사한패턴또는구조가현재픽셀과가까운곳뿐만아니라멀리떨어진곳에서도나타날수있다는특성에기반한비지역적처리기법은광범위하게연구되었는데, 주로영상및비디오의잡음제거및복원 (restoration) 에효과적으로적용되었다 [16-20]. 본논문에서는보간에러를줄이고복원된 G 채널의화질을개선하기위하여비지역상관성을이용하는데, 다양한방법중에서 NLM 필터링을 2.3 R 및 B 채널의복원방법 G 채널의복원과마찬가지로 R 및 B 채널의복원도방향성기반의보간법과비지역특성을반영한 NLM 필터링의과정으로이루어진다. R채널과 B 채널의복원은같은방법으로이루어지기때문에이후에는 B 채널의복원과정을중심으로기술한다. 누락된 B 샘플의보간은두단계로이루어지는데, 먼저 R 샘플위치에있는 B 샘플을보간한후, 이를이용하여 G 샘플위치에있는 B 샘플을보간한다. Fig. 2와같은배치에대해서, R i,j 위치에서대각선방향으로 B와 G 사이의색상차이를식 (10) 에의해구한다. 113

한국산학기술학회논문지제 18 권제 10 호, 2017 (10) 이에따라 G i,j-1 위치에서각방향에대한기울기는식 (14) 와같이구할수있다. 각방향과연관된가중치는식 (4) 및 (5) 와유사한방법으로구하고, 이를이용하여 G i,j-1 위치의방향성예측은, 강인한추정을위하여네방향에대한색상차이에부여할가중치를결정하는데식 (11) 과같이각방향을따라기울기를계산한다. (11) 이때 ε은작은양수이다. 또한가중치는식 (12) 와같이설정된다. (12) 로구한다. 최종적으로 G i,j-1 위치에서의누락된 B 샘플 로보간한다. R과 B 채널을보간한후, 비지역적상관성을이용하여개선하는과정은 G 채널에적용한방법과동일하다. 즉, 보간된 R ( 또는 B) 샘플 ( 또는 ) 에대해그샘플을중심으로한비교적큰윈도우내에서유사한픽셀을찾는다. 자신을포함해 ( 또는 ) 에최대한유사한 M개의픽셀이 NLM 필터링에사용된다. 3. 실험및결과제안하는알고리즘의성능을평가하기위해 Fig. 3의 500 500 크기의 McMaster 영상 18장을사용하였고, 기존방법들과의비교실험을수행하여객관적, 주관적결과를제시하였다. 이때정규화파라미터 이다. R i,j 위치에서의 B 와 G 의색상차이는, 로추정할수있고, R i,j 위치에서누락된 B 샘플은 로구할수있다. 이러한방식으로 R 샘플위치의 B 샘플을보간한후, G 샘플위치의 B 샘플을보간하는데, 가령 G i,j-1 위치에대해 R i,j 와 R i,j-2 위치에서보간된 B 샘플, 와 을이용하여 B 와 G 사이색상차이의방향성추정 은식 (13) 과같이구할수있다. (13) Fig. 3. McMaster test images 객관적성능은 PSNR을이용하는데, 이를컬러영상에적용하기위하여식 (15) 와같이각색상평면별로평균 (14) 114

방향성기반보간법과비지역평균필터링에의한효과적인 CFA 영상디모자이킹알고리즘 제곱오차 (MSE) 를구하고, 이값의평균을사용하였다. (15) 비교실험은기존의 Adams[3], Li[6], Zhang[8] 의방법과수행하였다. 제안하는방법은 NLM 과정에서 5 5 크기의패치를이용하여 31 31 크기의영역에서유사한패치를탐색하였고, 유사한패치의수 M = 25, 가중치를위한 σ = 2.5로설정하였다. Table 1. Comparison of demosaicking results measured by PSNR (extended for color images) No. Adams Li Zhang Proposed 1 28.58 23.55 27.42 29.42 2 34.47 32.12 34.16 35.62 3 30.97 31.34 32.81 33.41 4 33.61 33.41 34.38 36.86 5 33.45 29.21 31.52 34.43 6 35.12 31.29 34.61 38.27 7 34.16 37.44 38.76 37.08 8 36.33 36.24 37.65 38.36 9 36.44 32.36 34.86 38.02 10 37.63 34.86 36.51 38.78 11 38.35 35.66 37.40 39.64 12 37.65 36.13 36.63 38.76 13 40.12 38.15 39.31 40.09 14 38.24 36.67 37.88 39.64 15 38.56 36.41 37.67 39.51 16 32.52 27.40 31.06 33.72 17 32.03 25.62 29.80 33.55 18 34.10 32.17 34.42 35.87 Avg. 35.13 32.78 34.83 36.72 는데, 이는완만한색상차이를가정하여알고리즘을설계하였으나 McMaster 영상에는잘맞지않아나타나는현상이다. Fig. 4(b) 는 Adams 방법의결과를나타내는데, 누락된색상을보간하기위해비교적짧은길이 (5탭) 의필터를사용하여상당히우수한성능을나타냄을알수있다. 그러나여전히보간을위하여가로및세로방향만고려함으로써지역적방향성정보및비지역특성을충분히반영하지못해잡음이남아있음을알수있다. Fig. 4(e) 에서보는바와같이제안한방법에의한결과는방향성정보를충분히활용하여에지의복원성능이우수하고, 비지역특성을효과적으로반영하여색상오류가적어우수한화질을나타냄을확인할수있다. (a) (b) (c) (d) Table 1은제안한방법을포함하여각알고리즘의객관적성능평가결과를 PSNR C 로나타낸것이다. 영상의번호는 Fig. 3의왼쪽위의영상부터오른쪽아래방향으로증가한다. Table 1의결과에서보는바와같이, 제안된방법이기존방법중가장성능이좋은 Adams 방법과비교하여평균 1.59dB 개선되었고, Li의방법에비해평균 3.94dB 개선됨을보여준다. 제안된방법의우수한결과는올바른방향성을찾는다양한노력과자연영상의특성을반영한 NLM 필터링을적용한결과에서기인한다. 주관적화질평가를위하여영상 1에대해원영상과각방법의결과를일부확대한영상을 Fig. 4에나타내었다. Fig. 4(c) 와 (d) 에서보는바와같이, Li 와 Zhang 의방법에서는색상오류 (false color) 와대각선방향의에지근처에서의지퍼현상이상당히두드러지게나타나 (e) Fig. 4. Demosaicked images for McMaster 1 by (a) original image (b) Adams (c) Li (d) Zhang (e) Proposed methods 4. 결론 본논문에서는 CFA 영상의효과적인디모자이킹을위하여방향성정보와비지역적특성을활용하여복원하는알고리즘을제안하였다. G 채널을보간하기위하여수직및수평방향에더하여대각선방향을고려하였으며, 보간된픽셀에대하여 NLM 필터링을적용하여비 115

한국산학기술학회논문지제 18 권제 10 호, 2017 지역적으로유사한구조를반영하여화질을개선하도록하였다. R 및 B 채널은수평및수직방향성정보와복원된 G 채널의정보를활용하여보간하고, NLM 필터링을적용하여복원하였다. McMaster 테스트영상대부분의경우에대하여제안한방법이기존방법에비해높은 PSNR 결과를나타냄을보였다. 주관적화질또한색상오류및대각선방향에지에서두드러지는지퍼현상이현저하게줄어들어화질이개선되었음을확인할수있었다. 이러한결과로부터제안한디모자이킹방법이다양한영상디스플레이시스템에효과적으로적용될수있을것으로판단된다. References [1] B. E. Bayer, "Color imaging array," U. S. Patent No. 3971065, 1975. [2] J. E. Adams, "Intersections between color plane interpolation and other image processing functions in electronic photography," in Proc. SPIE, vol. 2416, pp. 144-151, Mar. 1995. DOI: https://doi.org/10.1117/12.204825 [3] J. E. Adams, J. F. Hamilton Jr., "Adaptive color plane interpolation in single color electronic camera," U. S. Patent No. 5506619, 1996. [4] B. K. Gunturk, Y. Altunbasak, R. M. Mersereau, "Color plane interpolation using alternating projections," IEEE Trans. Image Process., vol. 11, no. 9, pp. 997-1013, Sep. 2002. DOI: https://doi.org/10.1109/tip.2002.801121 [5] R. Lukac, K. Martin, K. N. Plataniotis, "Demosaicked image postprocessing using local color ratios," IEEE Trans. Circuits and Syst. Video Technol., vol. 14, no. 6, pp. 914-920, Jun. 2004. DOI: https://doi.org/10.1109/tcsvt.2004.828316 [6] X. Li, "Demosaicing by successive approximation," IEEE Trans. Image Process., vol. 14, no. 3, pp. 370-379, Mar. 2005. DOI: https://doi.org/10.1109/tip.2004.840683 [7] K. Hirakawa, T. W. Parks, "Adaptive homogeneitydirected demosaicing algorithm," IEEE Trans. Image Process., vol. 14, no. 3, pp. 360-369, Mar. 2005. DOI: https://doi.org/10.1109/tip.2004.838691 [8] L Zhang, X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. Image Process., vol. 14, no. 12, pp. 2167-2178, Dec. 2005. DOI: https://doi.org/10.1109/tip.2005.857260 [9] D. Menon, S. Andriani, G. Calvagno, "Demosaicing with directional filtering and a posteriori decision," IEEE Trans. Image Process., vol. 16, no. 1, pp. 132-141, Jan. 2007. DOI: https://doi.org/10.1109/tip.2006.884928 [10] X. Li, B. Gunturk, L. Zhang, "Image demosaicking: a systematic survey," in Proc. SPIE, vol. 6822 (VCIP2008), San Jose, CA. pp. 68221J-1-68221J-15, 2008. [11] A. Buades, B. Coll, J. -M. Morel, C. Sbert, "Self-similarity driven color demosaicking," IEEE Trans. Image Process., vol. 18, no. 6, pp. 1192-1202, Jun. 2009. DOI: https://doi.org/10.1109/tip.2009.2017171 [12] F. Zhang, X. Wu, X. Yang, W. Zhang, L. Zhang, "Robust color demosaicking with adaptation to varying spectral correlations," IEEE Trans. Image Process., vol. 18, no. 12, pp. 2706-2717, Dec. 2009. DOI: https://doi.org/10.1109/tip.2009.2029987 [13] J. Mairal, M. Elad, G. Sapiro, "Sparse representation for color image restoration," IEEE Trans. Image Process., vol. 17, no. 1, pp. 53-69, Jan. 2009. DOI: https://doi.org/10.1109/tip.2007.911828 [14] L. Zhang, X. Wu, A. Buades, X. Li, "Color demosaicking by local directional interpolation and nonlocal adaptive thresholding," J. Electronic Imaging, vol. 20, no. 2, pp. 023016-1-023016-16, 2011. DOI: https://doi.org/10.1117/1.3600632 [15] Y. -K. Lee, H. Yoo, "Demosaicking method using high-order interpolation with parameters," The Trnas. KIEE, vol. 62, no. 9, pp. 1276-1282, Sep. 2013. [16] A. Buades, B. Coll, J. M. Morel, "A review of image denoising algorithms, with a new one," Multiscale Model. Simul., vol. 4, no. 2, pp. 490-530, 2005. DOI: https://doi.org/10.1137/040616024 [17] S. Kindermann, S. Osher, P. W. Jones, "Deblurring and denoising of images by nonlocal functions," Multiscale Model. Simul., vol. 4, no. 4, pp. 1091-1115, 2005. DOI: https://doi.org/10.1137/050622249 [18] K. Dabov, A. Foi, V. Katkovnik, K. Egiazarian, "Image denoising by sparse 3-D transform domain collaborative filtering," IEEE Trans. Image Process., vol. 16, no. 8, pp. 2080-2094, Aug. 2007. DOI: https://doi.org/10.1109/tip.2007.901238 [19] T. Brox, O. Kleinschmidt, D. Cremers, "Efficient nonlocal means for denoising of textural patterns," IEEE Trans. Image Process., vol. 17, no. 7, pp. 1083-1092, Jul. 2008. DOI: https://doi.org/10.1109/tip.2008.924281 [20] A. Buades, B. Coll, J. M. Morel, "Nonlocal image and movie denoising," Int. J. Comput. Vision, vol. 76, no. 2, pp. 123-139, 2008. DOI: https://doi.org/10.1007/s11263-007-0052-1 김종호 (Jongho Kim) [ 종신회원 ] 1998 년 2 월 : 한양대학교전자통신공학과 ( 공학사 ) 2008 년 8 월 : 한양대학교대학원전자통신공학과 ( 공학박사 ) 2008 년 9 월 ~ 2009 년 2 월 : 삼성전자책임연구원 2009 년 3 월 ~ 현재 : 순천대학교멀티미디어공학과교수 < 관심분야 > 영상압축및통신, 컴퓨터비전, 영상처리, 디지털신호처리 116