05김선걸_ok.hwp

(JBE Vol. 18, No. 4, July 2013) (Special Paper) 18 4, 2013 7 (JBE Vol. 18, No. 4, July 2013) http://dx.doi.org/10.5909/jbe.2013.18.4.550 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) a), a) Visible Image Enhancement Method Considering Thermal Information from Infrared Image Seonkeol Kim a) and Hang-Bong Kang a)...... Abstract The infrared and visible images are represented by different information due to the different wavelength of the light. The infrared image has thermal information and the visible image has texture information. Desirable results are obtained by fusing infrared and visible information. To enhance a visible image, we extract a weight map from a visible image using saturation, brightness. After that, the weight map is adjusted using thermal information in the infrared image. Finally, an enhanced image is resulted from combining an infrared image and a visible image. Our experiment results show that our proposed algorithm is working well to enhance the smoke in the original image. Keyword : smoke, enhancement, infrared image, fusion, multi-sensor a) (Dept. of Digital Media, Catholic University) Corresponding Author : (Hang-Bong Kang) E-mail: hbkang@catholic.ac.kr Tel: +82-2-2164-4735 ( :UD1000011D). IPIU 2013. Manuscript received May 13, 2013 Revised July 11, 2013 Accepted July 22, 2013

1 : (Seonkeol Kim et al. : Visible Image Enhancement Method Considering Thermal Information from Infrared Image).....,... (Infrared image) (Wavelength). 0.4~0.7, 4~12.,. [ 1]. 10. [ 1-a] [ 1-b]....,... (Wavelet) (Fourier transform) (Decomposition), (Maximum selection method) [1] (Correlation) (Weighted Average) [2]. (a) (b) 1. (a) (b) -(imagefusion.org) Fig. 1. (a) Visible image (b) Infrared image -(imagefusion.org)

(JBE Vol. 18, No. 4, July 2013),., [ 1-a] [ 1-b]. [1],[2] [ 7]...,.. 2, 3. 4. 5 6.. (related work)..., HDR. (Contrast) (Blurring)... (Gamma correction), /, (unsharp-masking). Debevec Malik [3] HDR(High dynamic Range). HDR LDR (Uniform Mapping) (Varying Mapping) (Tone Mapping). K.Devlin [4]. Reinhard [5] (Uniform Operator) Dynamic Range Contrast. HDR. HDR. RAW Contrast. RAW (Radiance) 12bit 14bit JPEG Dynamic Range.,.. Alexander Toet [6],.. Burt Kolczynski [2],. Lex Schaul [7] (Near-Infrared). Lex al.,,

김선걸 외 인 원적외선 영상의 열 정보를 고려한 가시광 영상 개선 방법 1 : (Seonkeol Kim et al. : Visible Image Enhancement Method Considering Thermal Information from Infrared Image) 통해서 안개를 제거(Dehazing)하는 방법을 연구하였다. C.Fredembach [8] 는 가시광 영상과 근적외선 영상을 융 합하여 피부를 부드럽게 만드는 방법을 연구하였다. 근적 외선 영상과 가시광 영상을 양면 필터(Bilateral filter)[9]를 이용하여 영상의 세부 사항(Detail)과 기본(Base)로 분해하 여 융합하는 방법을 제안하였다. J.Huang 와 N.J.W. Morris 은 각각 근적외선 영상에 대한 통계와 원적외선 영상에 대한 통계를 웨이브렛 신호를 통해서 연구하였다. Xiaopeng Zhang 은 J.Huang이 분석 한 근적외선의 정보를 이용하여 가시광 영상과 근적외선 영 상을 융합할 경우 가시광 영상에서의 개선이 필요한 지역을 찾아내는 방법을 연구하였다. 가시광 영상에서 채도와 밝기 값을 이용하여 개선이 필요한 지역을 검출한 이후, NIR영상 과 가시광 영상의 히스토그램 매칭(Histogram matching) 을 기울기 부분(Gradient)에서 적용하여 융합하였다. 그러나 Xiaopeng Zhang이 검출해낸 개선이 필요한 지역은 [그림 1]에서 나타나는 연기 영역을 검출하지 못한다. Nunes 는 신호 처리 방법인 EMD(Emprical mode decomposition)를 2차원으로 적용하여 영상을 분석하는 기법 을 제안했다. 이러한 BEMD(Bidimensional EMD)를 이용 하여 Zhang 은 원적외선 영상과 가시광 영상을 융합하는 [10] [11] [12] [13] [14] [15] 방법을 제안했다. 가시광 영상과 원적외선 영상에서 픽셀 분포를 고려하여 지역적으로 융합한다. 그러나 픽셀마다 지역적으로 모두 비교해야하기 때문에 시간이 오래 걸리고, 전체적으로 모두 융합하기 때문에 가시광 영상의 정보가 많이 손실된다는 단점이 있다. 근적외선 영상은 가시광 영상과 근접한 파장을 가지기 때문에 표현하는 정보가 비슷하지만 원적외선 영상은 그렇 지 않기 때문에, 본 논문에서는 근적외선 영상에 기반한 알 고리즘들을 적용하는 것은 적합하지 못하다. 그러므로 본 논문에서는 원적외선 영상의 열 정보를 고려한 알고리즘을 제안한다. Ⅲ. 가중치 맵(Weight map) 가시광 영상을 보았을 때, 직관적으로 알 수 있듯이 영상 정보의 손실이 있는 영역은 전형적으로 매우 낮은 채도 (Saturation)를 가진다. 그리고 [그림 1-a]의 연기와 같은 영 역을 검출할 때, 임의로 색상을 입히지 않은 연기는 중간 값의 밝기 값을 가지며 하늘과 같은 매우 밝은 값을 가지는 영역들은 개선이 어렵다. 그러므로 가중치 영역(Weighted Region)은 채도와 밝기(Brightness)의 값을 통해서 연산되 (a) (b) 553 (c) 그림 2. (a) 열 정보를 고려하지 않은 가중치 영역 (b) 채도 값에 따른 가중치 (c) 밝기 값에 따른 가중치 Fig. 2. (a) Weight for visible image (b) Weight for saturation (c) Weight for brightness

(JBE Vol. 18, No. 4, July 2013). (1). ( 3 ) e. s v. (1) (2) (3). [0 1].. [0~1] [0~255]... (Gaussian blurring). [ 2].. 4. [ 3]., HSV(Hue Saturation Value).. (color space) RGB HSV V.,... 3. Fig. 3. The workflow of our algorithms

1 : (Seonkeol Kim et al. : Visible Image Enhancement Method Considering Thermal Information from Infrared Image). (1). [ 8]. 1. Table 1. Thermal information weight i f, (i,j). t (Median). (3) (4). (4) (5). 5. Fig. 5. Thermal information weight for infrared image HSV V Fusion. Fusion HSV RGB. [ 4] [ 1-b]. [ 5] t. [ 6]. 4. Fig. 4. Weight of infrared image 6. Fig. 6. Final weight using thermal information

556 방송공학회논문지 제18권 제4호, 2013년 7월 (JBE Vol. 18, No. 4, July 2013) Ⅴ. 실험 결과 정보를 가져오는 방법을 적용하여 연기를 제거하는 것은 영상 보안과 같은 분야에서 필요한 영상 개선이다. 연기 영 역 뒤의 정보가 필요할 때에 제안 방법과 같은 영상 개선 방법은 필수적이다. [그림 8]은 열 정보를 고려하지 않은 결과와 열 정보를 고려한 결과의 차이를 보여준다. [그림 1-b]의 구름 영역은 [그림 1-a]의 구름 영역과 달리 밝기가 낮은 값을 가지므로 열 정보를 고려하지 않고 가중치 합을 이용하여 융합하게 된다면, [그림 8-a]와 같은 문제점이 발생하게 된다. 본 논 문에서는 이를 원적외선의 밝기가 낮은 값들은 가중치를 감소시켜 해결하였다. [그림 9]는 제안한 알고리즘의 실험 결과를 보여준다. [그 림 9-a]는 가시광 영상에서는 연기로 인해 가려진 사람과 계단을 원적외선 영상의 열 정보를 이용하여 개선한 결과 [그림 7]는 제안한 알고리즘의 수행한 최종 결과 영상과 기존 융합 방법과의 비교 결과를 보여준다. [그림 7-a]은 가 시광 영상과 원적외선 영상간의 가중치 평균(Weighted Average)[1]으로 수행한 결과이다. [그림 7-b]은 웨이브렛 변환으로 영상을 분해 후 분해 된 값들을 최댓값 선택 (Maximum Selection)[2]으로 수행한 결과이다. [그림 7-a] 는 가시광 영상과 원적외선 영상의 정보 차이로 인해 많은 정보들이 손실 된 것을 보여주며, [그림 7-b]에서 픽셀 값의 차이로 부분적으로 얼룩이 있고 연기가 온전히 지워지지 않은 것을 보여준다. 반면, [그림 7-c]는 제안한 방법의 결 과로 얼룩과 연기가 모두 남아있지 않은 보다 선명한 합성 결과를 보였다. 영상에서의 연기 영역에 원적외선 영상의 (a) (b) (c) 그림 7. (a) 가시광 영상과 원적외선 영상간의 가중치 평균 (b) 웨이브렛 변환 후, 최댓값 선택 (c) 제안한 결과 Fig. 7. (a) Weighted average between visible image and IR image (b) After wavelet transform, maximum selection (c) Our s result (a) 그림 8. (a) 열 정보를 고려하지 않은 결과 (b) 열 정보를 고려한 결과 (b) Fig. 8. (a) Result do not use thermal information (b) Result use thermal information

김선걸 외 인 원적외선 영상의 열 정보를 고려한 가시광 영상 개선 방법 1 : (Seonkeol Kim et al. : Visible Image Enhancement Method Considering Thermal Information from Infrared Image) 557 (a) (b) (c) (d) 그림 9. (a) ~ (d) (좌) 가시광 영상 (중) 원적외선 영상 (우) 제안한 알고리즘의 결과 영상 Fig. 9. (a) ~ (d) (left) CCD image (mid) Infrared image (right) result image of Our algorithms 를 보여준다. 또한 열 정보를 고려하여 차의 사이드 미러 영 역에서 원적외선 정보를 사용하지 않았기 때문에 좋은 결과 영상을 얻을 수 있었다. [그림 9-b]는 카메라 화소 부족과 안개로 인한 정보 부족을 원적외선 영상의 열 정보를 이용하 여 개선하였다. [그림 9-b]에서 결과 영상은 원적외선 영상 에서 보여지는 구름 영역과 산의 질감 등 가시광 영상에서는 얻을 수 없었던 정보가 존재함을 보여준다. [그림 9-c]는 바 닥 영역에서 과도한 햇빛 반사로 인해 손실된 가시광 영상의 정보를 원적외선 영상에서 열 정보를 이용하여 개선하였다. [그림 9-d]는 카메라 렌즈에서 햇빛으로 인한 정보 손실을 원적외선 영상에서 열 정보를 이용하여 나무줄기 영역과 같 은 질감 정보를 효과적으로 개선하였음을 보여준다. Ⅵ. 결론 본 논문에서는 가시광 영상에서 개선이 필요한 영역을 검출하고 원적외선 영상의 열 정보들을 고려하여 두 영 상을 융합한다. 융합을 할 경우, 가시광 영상과 원적외선 영상의 정보는 빛의 파장이 서로 다르기 때문에 영상들 이 표현하는 정보의 차이로 일반적인 융합 방법을 적용 한다면 합성 결과 영상에 문제점이 발생한다. 본 논문에 서 제안한 방법은 이러한 문제점을 원적외선 영상의 열 정보 가중치로 계산하여 해결하고 효과적인 개선 기술을 제안하였다.

(JBE Vol. 18, No. 4, July 2013) [1] H.Li,B.S.Manjunath, and S.K.Mitra, Multisensor image fusion using the wavelet transform, Graphical Models and Image Processing, Vol.57, no.3, pp.235-245, May 1995. [2] P.Burt and R.Kolczynski, Enhanced image capture through fusion, in Proc. 4th International Conference on Computer Vision, pp:173-182, Berlin 1993. [3] P.E. Debevec and J.Malik, Recovering high dynamic range radiance maps from photographs, In SIGGRAPH, 1997. [4] K. Devlin. A review of tone reproduction techniques. Technical report, University of Bristol, 2002. 1 [5] E.Reinhard, M. Stark, P. Shirley, and J. Ferwerda. Photographic tone reproduction for digital images., In SIGGRAPH, 2002 [6] A.Toet, Hierarchical image fusion, Machine Vision and Applications, vol.3, no.1, pp. 1-11, 1990 [7] L.Schaul, C.Fredembach, and S.Susstrunk, color image dehazing using the near-infrared, in Proc. IEEE Int. Conf. on Image Proc., Cairo, Egypt, 2009. [8] C. Fredembach, N. Barbuscia, and S.Susstrunk, Combining visible and near-infrared images for realistic skin smoothing, in Proc. IS&T/SID 17th Color Imaging Conference, Albuquerque, NM, 2009. [9] C. Tomasi and R. Manduchi. Bilateral filtering for gray and color images In ICCV, 1998. 4. [10] J. Huang and D. Mumford. Statistics of natural images and models. In CVPR, 1999. 3 [11] N.J.W. Morris, S. Avidan, W. Matusik and H. Pfister, Statistics of Infrared Images, IEEE Conference on Computer Vision and Pattern Recognition 2007, CVPR 07. 1-7p [12] Xiaopeng Zhang, Enhancing Photographs with Near Infrared Images, IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2008, Ankorage, US. [13] L. Neumann and A. Neumann. Color style transfer techniques using hue, lightness and saturation histogram matching. In Computational Aesthetics in Graphics, Visualization and Imaging, 2005. 2 [14] J.C.Nunes, Y.Bouanoune, E.Delechelle, O.Niang, Ph.Bunel, Image analysis by bidimensional empirical mode decomposition, Image and Vision Computing 21 (2003) 1019-1026 [15] Xiuqiong Zhang, Comparison of EMD Based Image Fusion Methods, Pro ICCAE 2009, Bangkok, Thailand 2009 : 302 305-2012 : - 2012 ~ : - :,, HCI,, - 1980 : - 1986 : - 1989 : Ohio State Univ. - 1993 : Rensselaer Polytechnic Institute - 1994-1997 : - 1997 - : - 2005 : UC Santa Barbara Visiting Professor - :,, HCI,,