<3037BCDBBAB4C3B65F73702E687770>

Transcription

1 56 Bilateral Filter 를이용한적응적언샤프마스킹김학구외 논문 Bilateral Filter 를이용한적응적언샤프마스킹 (Adaptive Unsharp Masking using Bilateral Filter ) 김학구 *, 이동복 *, 송병철 ** * (Hak Gu Kim, Dong Bok Lee, and Byung Cheol Song ) 요 약 본논문에서는선명도가향상된영상의오버슈트와계단현상을줄이기위해에지보존스무딩필터인 bilateral filter 를이용한적응적언샤프마스킹기법을제안한다. Unsharp masking(um) 을포함한기존의선명도개선기법들은영상의고주파정보를강하게강조하지만, 종종오버슈트, 잡음증폭, 계단현상등여러문제점들을야기한다. 제안한선명도개선방법은 bilateral filter 를활용하여에지를잘보존하고, 에지의방향성에따라가중치를더세밀하게조절한다. 따라서선명도는향상시키고오버슈트, 계단현상문제를효과적으로줄일수있었다. 기존의적응적언샤프마스킹기법과제안하는방법의결과영상을비교하여실험을수행한결과, 제안하는알고리즘이적절하게선명도를개선함을보여주었고오버슈트와계단현상도많이감소시킴을알수있었다. Abstract In this paper, adaptive unsharp masking using bilateral filter, edge-preserving smoothing filter is proposed to reduce the overshoot and jagging artifact in sharpening images. Previous image enhancement methods including unsharp masking(um) can emphasize high-frequency details strongly, but often cause several artifacts such as overshooting, noise, jagging and so on. Proposed image enhancement method preserves edges well because of using bilateral filter and sensitively controls a weight according to edge s directions. Therefore, it enhances sharpness and effectively reduces overshoot and jagging artifacts. Simulation results comparing output of previous AUM with proposed method show that proposed algorithm makes images properly enhanced, and we know that overshoot and jagging artifacts are many reduced. Keywords : contrast enhancement, adaptive sharpening, bilateral filter Ⅰ. 서론 과거 TV는단지방송을보는도구에불과했지만최근 TV는 UDTV (Ultra Definition Television), 3DTV, 스마트TV 등다양한콘텐츠들을소화할수있는멀티미디어적인기기로관심받고있다. 특히 TV의크기가 * 학생회원, ** 평생회원, 인하대학교전자공학부 (School of Electronic Engineering, Inha University) 이논문은 2012년정부 ( 교육과학기술부 ) 의재원으로한국연구재단의지원을받아수행된연구이며 ( ), LG전자 ( 주 ) 의지원에의하여수행되었음. 접수일자 : 2012년4월27일, 수정완료일 : 2012년9월14일 커지고화질이좋아지면서 TV를통해영화를감상하더라도스크린못지않은뛰어난영상을느낄수있게되었고, 현재세계 TV시장은기존의 HDTV보다더고해상도의 UDTV를준비하고있다. 그리고 TV뿐만아니라스마트폰과타블렛PC등의출현으로모바일기기에서도화면이커지고화질을중요시하는시대가되었다. 그래서화질의선명도는이러한기기들의스펙을좌우하는큰척도중의하나가되었고, 현재선명도개선에관한많은연구들이진행되고있다. 영상의선명도를개선하는방법에는기본적으로 Laplacian filtering 기법 [1] 과 unsharp masking (UM) 기법등이있다 [2]. 이런기본적인방법들은강한선명도 (698)

2 2012 년 11 월전자공학회논문지제 49 권제 11 호 57 Journal of The Institute of Electronics Engineers of Korea Vol. 49, NO. 11, November 2012 개선효과를이끌어내지만물결현상또는계단현상을생성하고잡음에민감한특징을가진다. 그리고이미강한대비 (contrast) 를가지는부분에서오버슈트를야기한다. 이런여러가지결점을보완하기위해많은알고리즘이제안되었다 [3~10]. Garnica 등은물결현상을해결하기위해각픽셀주변의분산을이용하여에지를예측한후, MHN (Maximum Homogeneity Neighbor) 필터를이용해부드럽게하는방법을제안하였다 [3]. Kam 등은잡음의증폭을최소화하며선명도를높이기위해 fuzzy network을이용한방법을제안하였고 [4], Horiuchi 등은 SUSAN 필터를이용한잡음제거기법을선명도개선과정에더하여평탄한지역의잡음을감소시키는방법을제안하였다 [5]. 또한, Tegenbosch 와 Beller 등은선명도를개선할때종종발생할수있는오버슈트문제를해결하기위하여에지픽셀주변의최대값, 최소값, peaking 값중중간값을취하는방식의일명 LTI (Luminance Transient Improvement) 라고불리는기법을제안하였다 [6~7]. Polesel 등은영역내에지특성에따라 UM의강도를조절하는 adaptive unsharp masking (AUM) 기법을제안하였다 [8]. 이기법은평탄한영역에서는잡음이증폭되지않고, 에지부분은효과적으로개선하는방식으로써낮은복잡성과적은연산량으로우수한화질을보였다. 하지만여전히강한에지에서의오버슈트문제와다양한에지의각도에잘대처하지못해발생하는계단현상이존재하였다. 최근 Zaafouri 등은영상의밝은영역에서는원본영상으로부터에지를추출하고, 어두운영역에서는반전영상으로부터에지를추출하는언샤프마스킹기법을제안했다 [9]. 본논문에서는여러방향에대한에지를보존하면서계단현상을완화하기위해서 bilateral filtering을이용한 UM 방법을제안하고자한다. 첫째, bilateral filter를활용해고주파정보를추출하여기존기법보다에지가잘보존되고계단현상이완화된이상적인고주파모델을만들어낸다. 둘째, 선명도를높이기위해원본영상에더해줄고주파성분의가중치 (scaling factor) 를계산한다. 여기에서가중치는앞에서이상적으로추출된고주파성분과의오차를최소화하도록그리고이전픽셀과의상관관계를고려해픽셀단위로최적화를수행하여계산된다. 마지막으로이렇게구해진고주파성분과원본을더해선명도개선된결과값을얻는다. 그결과, 선명도 는개선되면서기존기법대비잡음과계단현상에더강하고시각적으로편안한결과를얻을수있었다. 1. 기존기법 Ⅱ. 제안기법 그림 1과같이 AUM [8] 은크게 4단계로이루어져있다. 본절에서는각과정을간략하게설명하여기존방법의전체적인개념을소개한다. 그림 1. 적응적언샤프마스킹을이용한화질개선기 법. Fig. 1. Image enhancement via adaptive unsharp masking method. 가. 분산크기에따라영역분류및가중치할당 중심픽셀과주변영역과의분산 을계산하여영역내에서의두드러진정도를측정한다. 그리고계산된분산값이 이하인평탄한영역 (low contrast), 분산값이 과 사이인중간대비영역 (medium contrast), 마지막으로분산값이 이상인높은대비 (high contrast) 를가지는영역, 이렇게세영역으로분류한다. 세영역에는다음식과같이서로다른크기의가중치값 이주어진다. (1) 이렇게하여, 높은대비를가지는부분에서는오버슈트를막기위해중간크기의가중치값 을, 중간대비에서는높은가중치값 을, 평탄한영역에서는잡음에강하게하기위해 1이라는값을할당하여시각적으로볼때, 잡음은억누르고선명도의 (699)

3 58 Bilateral Filter 를이용한적응적언샤프마스킹김학구외 그림 2. 일반적인고주파대역통과필터. Fig. 2. General high pass filter. 세기를전체적으로균형있게높이는결과를얻고자했다. 나. 고주파성분획득및가중치적용 [8] 에서는지역적에지세기를계산하기위해서그림 2와같이가장일반적인고주파대역필터를사용하였다. 이필터를통해얻어진영상의고주파정보 에앞의과정가에서정한영역별가중치값 을곱하여고주파정보 을얻는다. (2) 다. 비용함수계산 최종결과영상 은입력영상 에영상의고주파정보를더하는 UM 방법으로얻어진다. 여기서말하는고주파정보란수평, 수직방향으로라플라스연산자를취한값인 와 에영역의에지세기에따라적응적으로계산된가중치, 를곱한값을의미한다. 이가중치값을구하기위해서먼저비용함수를정의해야한다. 비용함수는식 (3) 과같이우리가추정한결과영상 의고주파정보 와실제고주파정보 의차이제곱의평균으로정의한다. (3) 이동방향은최대급경사의반대방향이며, 그방향으로이동하면서원함수의최소값을찾는방식이다. 다음으로 Gauss-Newton method과 Levenberg-Marquardt method는비선형최소자승법으로기존의 newton method에서변형된방식이다. 두방법은비용함수의 2 차근사모델을만든뒤, 이를미분하여 2차근사모델이 0이되도록하는최소값을찾는방법이다. 자세한내용은 [12~13] 을참고하면된다. 기존의 Polesel의방법 [8] 에서는 Gauss-Newton method을이용해식 (3) 을최소로하는가중치, 를계산한다. 그리고이값을, 과곱한뒤, 입력영상 에더하여식 (4) 와같이결과영상 을얻는다. 2. 제안하는방법 (4) 우리는여전히대각선방향으로의강한에지에서발생하는계단현상문제를해결하고자일반적인고주파대역통과필터가아닌 bilateral filter [15] 를활용하여에지의방향성을고려한고주파참조영상 을생성하는방법을제안한다. 또한, Levenberg-Marquardt method를사용하여가중치가좀더빠르게수렴하여안정적인값을갖도록하였다. 제안하는방법은그림 3 과같다. 먼저, 분산을계산하여분산크기에따라영역을나누고, 나눠진영역에해당하는가중치값을영상의고주파성분에곱하여원하는결과영상모델을생성한다. 우리는이고주파모델을생성할때, bilateral filter를활용하여에지가잘보존되도록추출한다. 두번째단 라. Scaling factor 계산비용함수를최소로하는가중치를계산하기위해최적화알고리즘을사용한다. 최적화알고리즘에는크게 steepest-descent method, Gauss-Newton method, Levenberg-Marquardt method 등이있다. 12~13]. 먼저, steepest descent method 는 2차미분값을사용하지않고 1차미분을이용한방법이다. 현재의값에이동비율과방향을더해주면다음의값이된다는개념이다. 그림 3. 제안하는알고리즘의블록도. Fig. 3. The block diagram of the proposed algorithm. (700)

4 2012 년 11 월전자공학회논문지제 49 권제 11 호 59 Journal of The Institute of Electronics Engineers of Korea Vol. 49, NO. 11, November 2012 계로수평, 수직방향의에지성분과초기가중치를곱하여만들어진고주파성분을원본에더하는 UM 방법을통해중간결과영상을얻는다. 마지막으로중간결과영상과미리구해진이상적인결과모델의차이를계산하고, Levenberg-Marquardt method 를통해이비용함수의크기를최소로하는가중치를반복적으로계산하여최종적으로결과영상을얻어낸다. 가. Bilateral filter 를이용한고주파정보추출 아무리좋은최적화알고리즘을사용하더라도따라가고자하는고주파영상에계단현상이존재한다면얻어진결과영상에서도이현상을피할수없다. 따라서본논문에서는 bilateral filter를사용하여에지의방향성을고려한고주파영상모델을생성하는방식을제안한다. Bilateral filter는영상내에지를보존하고잡음을위주로뭉개는대표적인스무딩필터이다. Bilateral filter를적용한결과 h(x) 는아래의식들로얻어진다. (5) (6) (7) (8) 위의식에서 x, y는각각현재픽셀의위치와이웃픽셀의위치를의미하고 I(x) 와 I(y) 는해당위치에서의픽셀값을의미한다. 그다음 c( ) 는픽셀위치들간의인접도를, s( ) 는픽셀값들의유사도를뜻한다. 출력결과는 c( ) 와 s( ) 의적응적인컨볼루션을통해서계산된다. 이러한 bilateral filter의특징을이용해식 (9) 와같은방법으로계산하여이상적인고주파정보 을얻어낸다. (9) 은원본영상이고, 는고주파정보에곱해지는가중치값, 은 bilateral filtering 된영상을말 (a) (c) 그림 4. (a) [8] 에서의, (b) 제안하는기법의, (c) (a) 내의사선에지, (d) (b) 내의사선에지. Fig. 4. (a) of [8], (b) of the proposed method, (c) diagonal edge in (a), (d) diagonal edge in (b). 한다. 그림 4에서볼수있듯이, 여러방향에대한고주파성분이더뚜렷하고대각선에지에서는계단현상이현저하게줄어든것을확인할수있다. 본논문은라플라스연산자를취해구해진가중치값이이렇게얻어진이상적인고주파성분에근접하도록만드는가중치를계산하여최종결과를얻어낸다. 우리가얻고자하는영상의고주파성분이여러방향에대해뚜렷해지고계단현상이사라졌기때문에, 이렇게개선된목적영상을상대로최적화를수행하여얻어진결과역시좋은선명도개선효과를보이게된다. (b) (d) 나. 에지각도에따른선명도세기조절 우리는인간의시각체계에근거하여선명도의강도를조절하고자한다. Essock 등은사람의눈은두드러져보이는영역의방향에따라인지하는민감도가다름을실험적으로밝혀냈다 [14]. 이사실에따르면사람의눈은 45도또는 135도에가까운경사진영역에특히민감하며, 수직과수평영역에는상대적으로덜민감하다. 이를 oblique effect라고한다. 실제로원본자체의선명도가강한대각선에지영역에서는계단현상과오버슈트가다른영역에비해눈에더잘띄었다. 따라서본 (701)

5 60 Bilateral Filter 를이용한적응적언샤프마스킹김학구외 논문에서는고주파정보가강하고 45도와 135에가까운, 즉비스듬한경사일수록가중치를조금씩낮추는방법을아래식 (10) 과같이제안한다. (10) 는식 (9) 에서의가중치값이다. 식 (10) 에서첫번째와두번째줄은조건에해당하는각도의모든에지에적용되는것이아니다. 저각도에해당되는동시에강한에지를가지는영역에대해서만적용된다. 그이유는해당경사의강한에지에서여러결함들이눈에잘띄기때문이다. 그러므로 45도경사를갖는에지라도그세기가약하다면눈에거슬릴확률이낮으므로 =4.7로높은가중치값을할당한다. 다. Levenberg-Marquardt Method를이용한최적화본논문에서는비용함수 의크기를줄일수있도록하는 를구하고자한다. 는아래의식 (11) 과같다. (11) (12) (13) 여기에서, 은, 의고주파정보를뜻한다. 비용함수 의크기는가중치 에달려있다. 비용함수를최소화로만드는 을구하기위해본논문은 Levenberg-Marquardt method 을사용했다. 이방법은 Gauss-Newton method에감쇠방법을추가하여좀더안정적이고적절한근사화가이루어지도록한방법이다. 감쇠방법이란매단계마다실제값에대한근사값의정확도인이득율 (Q) 을통해감쇠매개변수 값을조절하여항상안정적으로근사값을구해주는방법이다. (14) 그림 5. Marquardt 의감쇠법알고리즘. Fig. 5. Damped method proposed by Marquardt. (15) (16) 은이전픽셀에서의에지를고려한자기상관행렬이고본논문에서는 에감쇠매개변수 를더해주는방법을사용하였다. 따라서가중치의변화량 를계산할때, 의행렬식이존재하지않거나근사값이실제값과차이가큰경우에도 가상황에따라 으로갱신되면서 가안정적으로계산된다. 초기값 는 으로정해지고, 감쇠방법은아래그림 5 와같다. Ⅲ. 실험 본논문에서는기존의 Polesel 알고리즘 [8] 과향상된 UM 방법 [9] 그리고제안하는 AUM의성능을비교하고자다음과같이실험을하였다. 그림 6과같이세가지영상에대해선명도개선과오버슈트그리고계단현상을관찰해보았다. 그림 7, 8 은그림 6 (a) 영상의일부 그림 6. 실험에사용한영상들. Fig. 6. Images used in the experiment. (702)

6 2012 년 11 월전자공학회논문지제 49 권제 11 호 61 Journal of The Institute of Electronics Engineers of Korea Vol. 49, NO. 11, November 2012 표 1. 각알고리즘에서사용된파라미터값들. Table 1. Parameters for each algorithm. Parameters [8] =60, =200, =4, =3, =0.1, =0.5 [9] k=0.01 Proposed =60, =200, =4, =3, =0.1, =0.5, =2, =300 그림 8. (a) 원본영상, (b) [8], (c) [9], (d) 제안한방법. Fig. 8. (a) Original, (b) [8], (c) [9], (d) Proposed. 그림 7. (a) 원본영상, (b) [8], (c) [9], (d) 제안한방법. Fig. 7. (a) Original, (b) [8], (c) [9], (d) Proposed. 영역을원본크기로오려낸것이다. 그림 7을살펴보면고주파성분이너무강해서 [8] 과 [9] 의경우오히려지저분하게보이고원본에없던계단현상까지나타남을볼수있다. 하지만제안한방법의결과는높은고주파영역에서 [8] 과 [9] 보다자연스럽고계단현상도많이줄어드는것을확인할수있다. 선명도는두기법보다다소낮아보이나원본과비교했을때충분한선명도개선이이루어졌음을알수있다. 그림 8에서도 [8] 과 [9] 방법에서강한계단현상이발생함을확인할수있었다. 그러나제안하는방법에서는에지보존필터인 bilateral filter를이용한고주파정보추출과각도에따른가중치조절때문에이러한대각선에지에서의계단현상을최소화하였다. 결과적으로제안하는기법은시각적으로보다자연스럽고결함이적은결과를이끌어낸다. 또한원본에비해좋은선명도개선효과를가져와시각적으로또렷하고동시에거슬리지않는결과를보인다. 그림 9에서는그림 6 (b) 영상의영역중대각선방향에서의에지를보여주고있다. 선명도개선을수행한 그림 9. (a) 원본영상, (b) [8], (c) [9], (d) 제안한방법. Fig. 9. (a) Original, (b) [8], (c) [9], (d) Proposed. 그림 10. (a) 원본영상, (b) [8], (c) [9], (d) 제안한방법. Fig. 10. (a) Original, (b) [8], (c) [9], (d) Proposed. 뒤, 전체영상을보면특히대각선영역의계단현상이다른곳보다눈에잘들어온다. 제안하는방법에서는이렇게사선의강한에지가눈에잘들어온다는점을 (703)

7 62 Bilateral Filter 를이용한적응적언샤프마스킹김학구외 참고문헌 그림 11. (a) 원본영상, (b) [8], (c) [9], (d) 제안한방법. Fig. 11. (a) Original, (b) [8], (c) [9], (d) Proposed. 고려하여선명도의크기를조절하여개선하였기때문에마찬가지로선명도개선과함께결함이눈에덜띄는결과를보여준다. 그림 10과그림 11에서는 [9] 가다른기법들에비해어두운영역에서의대비를잘개선시켜주는것을볼수있다. 하지만여전히 UM의특성상계단현상이나잡음의증가등이눈에띈다. 일반영상에대한실험에서도제안하는방법은적절한세기의선명도개선과시각적불편함을일으키는여러현상들을억제하는결과를보인다. Ⅳ. 결론 본논문에서는선명도개선기법을수행할때, 많이발생하는오버슈트와계단현상문제를해결하기위해 bilateral filter를이용한언샤프마스킹방법을제안하였다. 제안한기법은 bilateral filter을통해에지를고려함으로써기존방법대비계단현상을줄이고, 사선방향에지의가중치값을조절함으로써눈에거슬리는오버슈트를방지했다. 실험결과, 제안한기법이시각적으로우수한선명도개선효과를보였다. 하지만제안하는방법은 bilateral filter를사용하여연산량이다소많고, 왼쪽에서오른쪽으로한줄씩최적화연산을수행한다는점에서기존기법의한계를벗어나지못했다. 따라서앞으로의연구는적은연산량으로수행할수있는적응적선명도개선을목표로할것이다. [1] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd Edition, Prentice Hall, Upper saddle River, N.j, [2] G. Ramponi, A Cubic Unsharp Masking Technique for Contrast Enhancement, Signal Processing, vol. 67, pp , [3] C. Garnica, F. Boochs and M. Twardochlib, A New Approach to Edge-Preserving Smoothing for Edge Extraction and Image Segmentation, International Archives of Photogrammetry and Remote Sensing, vol. XXXIII, Amsterdam [4] H. S. Kam and M. Hanmandlu and W. H. Tan, An Improved Image Enhancement Combining Smoothing and Sharpening, Proc. IEEE TENCON, vol. 1, pp , [5] T. Horiuchi, K. Watanabe and S. Tominaga, Adaptive Filtering for Color Image Sharpening and Denoising, Proc. IEEE International Conference on Image Analysis and Processing Workshops, pp , Sept [6] J. A. P. Tegenbosch and P. M. Hofman and M. K. Bosma, Improving Non-Linear Up-Scaling by Adaptive to the Local Edge Orientation, Proc. SPIE VCIP, vol. 5308, pp , [7] E. B. Bellers and J. Caussyn, A High Definition Experience from Standard Definition Video, Proc. SPIE Image and Video Communications and Processing, vol. 5022, pp , [8] A. Polesel, G. Ramponi, V. J. Mathews Image Enhancement via Adaptive Unsharp Masking, IEEE Trans. Image Processing, vol. 9, no. 3, pp , [9] A. Zaafouri, M. Sayadi, F. Fnaiech, "A Developed Unsharp Masking Method for Images Contrast Enhancement," Systems, Signals and Devices (SSD), th International Multi-Conference on, pp. 1-6, March [10] 이태희, 송우진, 가변크기필터를통해 halo artifact 를줄이는 sharpening, 대한전자공학회하계종합학술대회, pp , [11] 김병현, 장원우, 이성목, 김주현, 강봉순, 동화상에서고속연산을고려한선명도향상알고리즘의개선, 대한전자공학회하계종합학술대회, pp , [12] Mordecai Avriel, Nonlinear Programming: Analysis and Methods, Dover Publishing, [13] K. Levenberg, A Method for the Solution of Certain Problems in Least Squares, Quart. Appl. (704)

8 2012년 11월 전자공학회 논문지 제 49 권 제 11 호 Journal of The Institute of Electronics Engineers of Korea Vol. 49, NO. 11, November Math., vol. 2, pp , [14] E. A. Essock, J. DeFord, B. C. Hansen, and M. J. Sinai, Oblique Stimuli Are Seen Best (Not Worst!) in Naturalistic Broad-band Stimuli: A Horizontal Effect, Vision Research, vol. 43, no. 12, pp , June [15] C. Tomasi and R. Manduchi, Bilateral Filtering for Grey and Color Images, Proc. IEEE ICCV, pp , 저 자 소 개 김 학 구(학생회원) 2012년 인하대학교 전자공학과 학사 졸업. 2012년 현재 인하대학교 전자공학과 석사 과정. <주관심분야 : 영상처리, 선명도 개선, 3차원 영상처리> 이 동 복(학생회원) 2011년 인하대학교 전자공학과 학사 졸업. 2011년 현재 인하대학교 전자공학과 석사 과정. <주관심분야 : 영상처리, 선명도 개선, 3차원 영상처리> 송 병 철(평생회원) 1994년 한국과학기술원 전기 및 전자공학과 졸업 (학사). 1996년 한국과학기술원 전기 및 전자공학과 졸업 (석사). 2001년 한국과학기술원 전기 및 전자공학과 졸업 (공학박사). 2001년 2008년 삼성전자 디지털미디어연구소 책임연구원 2008년 현재 인하대학교 전자공학부 교수 <주관심분야: 영상 신호처리, 영상시스템/SoC> (705)