2011 년 1 월전자공학회논문지제 48 권 SP 편제 1 호 1 논문 2011-48SP-1-1 색재현개선을위한 CIELAB 색공간기반의향상된 Multi-scale Retinex ( Enhanced Integrated Multi-scale Retinex based on CIELAB Color Space for Improving Color Reproduction ) 경왕준 *, 이태형 *, 이철희 **, 하영호 *** * (Wang-Jun Kyung, Tae-Hyoung Lee, Cheol-Hee Lee, and Yeong-Ho Ha ) 요 약 본논문에서는디지털영상의지역적계조재현과함께입력영상의색상을유지하는영상향상기법을제안한다. 기존의지역적계조재현방법인통합된다중크기의 Retinex 는영상이가지는어두운영역의가시성향상을통한향상된계조재현결과를가져왔다. 그러나 IMSR을포함한대부분의지역적계조재현방법은 RGB 색공간에서수행되어인간시각시스템에의해인지되는색상의왜곡이발생하게된다. 본논문에서는이러한색상의왜곡을줄이는계조재현을위하여장치독립적인 CIELAB 색공간에서색상를유지하고높은대비와자연스러운영상을얻기위한계조재현및채도보상기법을제안한다. 제안한방법은먼저 CIELAB 색공간에서 값에대해 IMSR, 정규화및단순한사상함수를수행하여가시성을향상시킨다. 또한, srgb 색역경계값을이용하여 평면에서밝기변화에대한선형적인채도보상을수행하였다. 그결과입력영상의계조재현을통해가시성이향상되었고, 기존의 IMSR과비교하여색상의왜곡이줄었으며, 주관적인평가를수행하여비교평가하였다. Abstract In this paper, we propose the digital image enhancement method including local tone reproduction and preservation of the hue. In recent studies, an integrated multi-scale retinex (IMSR) has produced great naturalness in the resulting images through enhancement of visibility in dark area in input images. However, most methods, including IMSR, work in RGB color spaces. As such, this produces hue distortion from the perspective of the human visual system, that is, hue distortion in CIELAB color space. Accordingly, this paper proposes an tone reproduction and enhancement of saturation method in a device-independent color space, CIELAB, to preserve the hue and obtain a high contrast and naturalness. First, to achieve the desired objectives, the IMSR is then applied to only the values in CIELAB color space, normalization, and simple mapping function, thereby preserving the balance of the color components and enhancement of visibility. Then, saturation adjustment is performed by applying the ratio of the chroma variation at the srgb gamut boundary according to the corrected luminance. In experiments, the proposed method is shown to improve the visibility in dark shadows and bright regions in the resulting images and reduce any color distortion then preference test are performed. Keywords : Tone reproduction, CIELAB color space, Multi-scale Retinex *** * 학생회원, 정회원, 경북대학교전자공학부 (School of Electronics Engineering, Kyungpook National University) ** 정회원, 안동대학교컴퓨터공학과 (Computer Engineering, Andong National University) 이논문은 2010년도정부 ( 교육과학기술부 ) 의재원으로한국연구재단의지원을받아수행된연구임 (No. 2010-0000401). 접수일자 : 2010년10월11일, 수정완료일 : 2010년11월25일 Ⅰ. 서론일반적인디지털카메라를이용해획득한영상은카메라의물리적한계로인해높은다이내믹레인지의장면을표현할수없다. 그러나인간시각은영역에따른적응적인노출조절기능으로인해높은다이내믹레인지의장면을인지하는능력이뛰어나다 [1~2]. 최근이러 (1)
2 색재현개선을위한 CIELAB 색공간기반의향상된 Multi-scale Retinex 경왕준외 한디지털영상의계조표현의한계를극복하기위한계조재현방법이제안되어왔다. 계조재현방법들가운데인간시각의모델링을기반으로한 Retinex 방법을기반으로한계조재현방법들이제안되어왔다 [3~7]. 이러한 Retinex 기반의방법들은컬러영상의색상을개선하고일반적인카메라로획득한영상의계조를인간시각이인지하는계조와유사하도록재현한다. 이러한 Retinex 기반의방법으로써 Jobson은 SSR(single-scale Retinex) 의가중치합으로구성된 MSR(multi-scale Retinex) 을제안했다. SSR은각각의화소에대하여가우시안필터를적용하여인간시각의비선형적인적응을모델링한 C/S 모델 (center/ surround model) 을적용하여영상에포함된광원의효과를제거함으로써색항상성 (color constancy) 의유지와함께영상의계조를향상시킨다 [4~5]. 또한, MSR은서로다른크기의가우시안필터가적용된 SSR을이용하여영상의가시성향상과색항상성의유지뿐만아니라, SSR에서발생하는후광효과를다중의주변영상들의가중치합으로써억제하였다. 그러나 MSR은 RGB 채널간의독립적인처리로인해서입력영상이가지는 RGB 채널간의비율이변하여입력색상의왜곡이발생한다. 이러한 MSR의색상왜곡을보정하기위하여 MSRCR(multi-scale Retinex with color restoration) 에서는 RGB 채널별색상의비율을유지하기위한변수가사용되었다 [6]. 하지만여전히 RGB 채널의독립적인처리로인하여정확한색상의보정을수행하지못해 RGB 채널간의비율이유지되지못했다. RGB 채널간의비율을유지하기위해 Kotera는휘도영상으로부터주변영상을계산하고각채널에동일한주변영상을사용한다 [8]. Kotera는 RGB 채널간의비율유지와함께후광효과를줄이고가시성이향상된결과를가져왔다. 최근 Wang이제안한 IMSR(integrated multi- scale Retinex) 은휘도영상에서로다른크기의가우시안필터를적용하여다중의주변영상을획득하고, 주변영상들의가중치합으로하나의주변영상을계산하여계산의복잡도가낮고영상의가시성또한향상되는결과를보였다 [9]. 그러나 IMSR은 RGB 색공간에서하나의주변영상을각각의 RGB 채널에나누어어두운부분에서의가시성이향상되며 RGB 채널간의비율을유지하여색상을유지하는반면, 인간시각기반의 CIELAB 색공간에서의색상은입력영상과의차이를보였다. 또한 RGB 공간에서밝기의증가로채도가 RGB 색역의경계까지올라가포화현상이발생하여자연스럽지못한채도를보여준다. 본논문에서는인간시각이인지하는색상을유지하기위해장치독립적색공간인 CIELAB 기반하여영상의계조를향상시키는방법을제안한다. Ⅱ. 기존의계조재현방법 Jobson에의해제안된 MSR은수식 (1) 의기본처리과정을통해계산된다 [5]. (1) 수식 (1) 에서 은계산된결과영상이며, 가우시안필터 와 는입력 RGB 영상이며 는 R, G, B의각채널을의미한다. MSR은 RGB 각채널에대해원본영상과 C/S 모델을적용한영상사이의로그값의차로나타낸다. 이는 C/S 모델을통하여광원에대한정보를구하고원본영상에서이를제거함으로써색항상성이유지와함께입력영상의계조가향상된영상을구할수있다 [5]. 그러나 Kotera는 MSR에서사용하는로그변환을사용하지않고선형적인공간을사용한다 [8]. 선형공간의사용으로영상의어두운영역의가시성을향상시키면서로그변환으로인해발생하던불안정한잡음을피할수있었다. 또한, 휘도영상에대하여다중크기의 C/S 모델을적용해다중의주변영상을획득하고, 이주변영상들을 RGB 각채널에나누어주며, 각채널에대한가중치합으로써가시성이향상된영상을획득한다. 최근제안된 IMSR은 Kotera의방법에서 RGB 채널각각에다중크기의주변영상을나누어가중치합을수행한것과달리먼저다중크기의주변영상들을가중치합하고통합된주변영상을획득한다 [9]. 획득한하나의주변영상은 RGB 각채널에나누어계조가향상된영상을획득한다. 다음수식은 IMSR의처리과정을설명한다. (2) 수식 (2) 에서 는입력영상이며, 는 srgb의각채널을의미한다. 은 Retinex 에계산된결과이며, 는사용된계수이다. 그리고 은서로다른크기의주변영상 을적당한가중치 (2)
2011 년 1 월전자공학회논문지제 48 권 SP 편제 1 호 3 과채도보정의두단계를거치며, 계산된영상을 srgb로역변환하여결과영상을얻는다. (a) (b) (c) 그림 1. IMSR 결과영상과 CIELAB 색공간에서의색상 차이. (a) 입력영상, (b) IMSR 결과영상, (c) 입력영상과 IMSR 결과영상사이의색상차이 Fig. 1. Result of IMSR and hue difference in CIELAB. (a) input image, (b) resulting image by IMSR, (c) hue difference between input and resulting image. 를적용하여하나의주변영상을획득했다. (3) 수식 (3) 은휘도영상과서로다른크기의표준편차 을적용한가우시안필터 를사용하여주변영상을획득하는과정을나타낸다. (4) IMSR 에서사용한계수 와 는 Trial and Error 방법을적용하여획득했다 [9]. 그림 1은입력영상에대한 IMSR 결과영상과 CIELAB 색공간에서의색상차이를나타낸다. 그림 1(b) 는 IMSR의결과영상이며그림 1(a) 의입력영상에대해저녁노을이지는풍경의어두운부분의가시성은향상되었다. 또한밝은영역에서의가시성도입력영상과유사하게표현되었다. 그러나그림 1 (c) 에서나타내듯이입력영상 (a) 와 IMSR 결과영상 (b) 의인간시각시스템기반의 CIELAB 색공간에서색상차이를보면어두운부분에서많은차이가나타나는것을볼수있다. 이것은 srgb 색공간에서 Retinex 과정을수행하면서발생하는현상이라볼수있다. Ⅲ. 제안한계조재현방법 본논문은인간시각시스템이인지하는색상을유지하며영상의계조를향상하는방법을제안한다. 인간시각시스템이인지하는색상을고려하기위해장치독립적인 CIELAB 색공간으로영상을변환하고밝기의향상 1. 밝기의향상 제안한방법은장치독립적인색공간 CIELAB에서밝기, 색상, 채도을독립적으로다룬다. 이를위해먼저 srgb 영상을 CIEXYZ 값으로변환하고이를 CIELAB 값으로변환한다 [10]. 이를영상의색상을유지하고밝기만을향상시키기위해 CIELAB 값에서오직 채널에대하여 IMSR을수행한다. (5) (6) (7) 은 개의서로다른크기의가우시안필터 을 에적용한주변영상들이다. 그리고수식 (6) 에서다중크기의주변영상들을가중치합하여하나의주변영 상 을획득하고이를다시 에대하여수식 (5) 을적용해밝기가향상된영상 을획득한다. 그러나수식 (5) 을적용해영상의밝기가향상되면밝기의향상폭이커그림 2(b) 와같이 srgb 색역을크게벗어나게된다. 이와같이벗어난영상컬러값은 srgb로의변환을위하여정규화과정을거쳐 srgb 색역으로사상하는과정이필요하다. 정규화과정을수행하기에앞서영상이가지는몇몇의잡음으로인해영상의최대밝기값으로정규화를수행할경우영상의최대밝기가오히려낮아지는현상이발생한다. 이러한현상을억제하기위하여제안한방법의정규화과정에서는 값의누적분포함수를구하여정규화를위한조정된최대값을결정한다. 에대한누적분포함수의가장밝은부분에서부터기울기변화가시작되는지점의값을조정된최대값으로결정한다. 이와같이조정된최대값으로정규화를수행한결과는그림 2(c) 에나타난다. 하지만그림 2(c) 에나타난것과같이 srgb 색역의위쪽부분에아직도색역을벗어난값이존재한다. 이와같은 srgb 색역밖에존재하는값을 srgb 색역으로사상시키기위해 srgb (3)
4 색재현개선을위한 CIELAB 색공간기반의향상된 Multi-scale Retinex 경왕준외 (a) (b) 그림 3. 선형적인채도보상 Fig. 3. Linear saturation compensation. (c) (d) 그림 2. 각각의단계에서의색역값. (a) 입력영상 (b) IMSR 적용 (c) CDF를이용한정규화적용 (d) 색역경계값을이용한정규화 Fig. 2. Gamut data of each step. (a) input image (b) after IMSR (c) after normalization using CDF (d) after normalization using gamut boundary. 색역의각각의색상및채도에서의가장높은 에해당하는경계값을사용하여 srgb 색역을벗어난값들을 srgb 색역안으로사상한다. (8) 수식 (8) 에서 는누적분포함수를통한조정된 최대값이며 은각각의 에대한 최대 값을가지는 srgb 색역의경계값이다. 이를이용해조정된 을계산하며, 그림 2(d) 는수식 (8) 을통해조정된밝기의분포를나타낸다. 나. 선형적인채도향상 CIELAB 색공간에서 IMSR을수행하여영상의가시성을향상시켰다. 그러나입력영상의색상을유지하기위해 값이변하지않아색상이유지되는반면채도또한유지된다. 이러한채도의저하를보정하기위하여영상의밝기향상에따른선형적인채도보상을수행한다. 그림 3은제안한채도보상과정을나타낸다. 각각의 값에대해밝아진밝기에비례하여채도를향상시킨다. 이때, 향상된채도가 srgb 색역을벗어나지못하도록하기위해각각의색상과밝기에대한 srgb (a) (b) (c) 그림 4. IMSR 결과영상과제안한방법의채도향상비 교. (a) 입력영상, (b) IMSR, (c) 제안한방법 Fig. 4. Resulting images to compare saturation. (a) input image, (b) IMSR, (c) proposed method. 색역의경계값을구하고, 입력 값이가지는 srgb 색역경계와의비율이채도가향상된후에도입력채도가가지는비율을유지할수있도록하여 srgb 색역을벗어나지못하도록한다. 수식 (14) 에서 은입력영상의채도값 와 밝기향상전, 후의 srgb 색역경계, 의비율의곱으로선형적인채도향상을수행한다. 영상의모든화소에대한채도향상후, CIELAB값은다시 srgb 값으로역변환 [10] 되어결과영상을얻는다. (9) 수식 (9) 에서 은입력영상의채도값 와밝기향상전, 후의 srgb 색역경계 표 1. CIELAB 색공간에서의입력영상과결과영상의평균색상차이 Table 1. Result data of average hue angle between input and resulting image in CILELAB color space. MSR IMSR Proposed method (a) 56.05 2.00 1.15 (b) 50.30 1.85 0.23 (c) 28.74 3.74 3.21 (4)
2011 년 1 월전자공학회논문지제 48 권 SP 편제 1 호 5, 의비율의곱으로선형적인채도향상을수행한다. 영상의모든화소에대한채도향상후, CIELAB값은다시 srgb 값으로역변환 [10] 되어결과영상을얻는다. 그림 4는 IMSR의결과와제안한방법의채도향상후결과영상이다. IMSR은과도한채도향상의결과를보인다. Ⅳ. 실험및결과 실험을위해 srgb 프로파일을지원하는캐논 10D 디지털카메라를사용하며, 장면의밝은부분에노출을맞추어획득된영상에서밝은영역이포화되지않도록하였다. 또한 IMSR과제안한방법에서 와 계수는 IMSR에서제시된값을사용한다 ( ) [9]. 실험에사용된영상들은모두어두운부분을포함하고있으며그림 5의 (a) 와 (b) 는밝은부분에노출이맞춰져있으며, (c) 는카메라의노출조절을통해어둡게촬영한영상이다. MSR, IMSR과제안한방법의결과영상은객관적인평가로써 CIELAB 색공간에서의색상의차이를보였으 며, 선호도조사및 Z-score [11] 통해주관적인평가를수행하였다. 그림 5는입력영상및결과영상을나타낸다. (a) 영상의결과에서 MSR, IMSR, 제안한방법은어두운영역의가시성이향상되는결과를보여준다. 결과영상들의객관적인평가로써 CIELAB 색공간에서의색상의차이를계산하였다. 표1은각각의실험영상과 MSR, IMSR 그리고제안한방법을통해얻은영상들사이의색상차이를나타낸다. 표1에서보듯이 MSR의경우가장많은색상의차이를보였고, 제안한방법은 IMSR과비교하여더작은색상차이를보인다. 주관적인선호도평가를위해 20명의관찰자들이실험에동원되었다. 참가자들은여자 4명, 남자 16명으로 24-34의연령대로구성되며, 보통의시력을가졌다. 또한이중 8명은칼라영상처리에지식이있으며 12명은일반인이다. Dugay [12] 는주관적평가를위해모니터와인쇄물의 2가지매체를사용하였으나, 본실험에서는모니터만사용하였다. Z-score [11] 를구하기위하여참가자들은화면에출력된하나의입력영상과두개의결과영상쌍을비교하여선호하는영상에점수를주었다. 먼저, 입력영상과결과영상들사이의색상이적게변한것으로보이는것을선택하는것과결과영상들중가장자연스럽게보이는영상을선택하도록하였다. 그림 6은선호도조사를통한 Z-score를계산한결과이다. 그림 6(a) 에서대체로 MSR의점수는낮은결과를보였다. 이는 MSR 이영상의계조를향상시킴과동시에광원의색도또한제거하여실제로입력영상에비해색이변한것으로보이게된다. 그러나 IMSR과제안한방법은서로비슷한결과를보였다. 두번째질문에대하여, 그림 6(b) 에서참가자들은 IMSR과제안한방법을주로선택했으며, 영상의전반적인자연스러움에대해제안한방법이조 (a) (b) (c) 그림 5. MSR, IMSR과제안한방법의결과영상비교. 첫번째행 : 입력영상, 두번째행 : MSR, 세번째행 : IMSR, 네번째행 : 제안한방법 Fig. 5. Comparison of resulting images by MSR, IMSR, and the proposed method. First column: Input image. Second column: MSR. Third column: IMSR. Fourth column: Proposed method. (a) (b) 그림 6. Z-score 결과비교. (a) 첫번째주관적평가 (b) 두번째주관적평가결과 Fig. 6. Comparison of resulting z-score. (a) Z-score for first subjective evaluation (b) Z-score for second subjective evaluation. (5)
6 색재현개선을위한 CIELAB 색공간기반의향상된 Multi-scale Retinex 경왕준외 금더나은선호도를보였다. 이는색상및밝기뿐만아니라대비및채도등의영향으로제안한방법을선호하는것으로보인다. Ⅴ. 결론본논문에서는 CIELAB 색공간에서입력영상의색상을유지하는계조재현방법을제안한다. 본논문의주된목적은인간시각시스템이인지하는색상을유지하며영상의계조를향상시키는것이며이를위해장치독립적인색공간인 CIELAB 색공간을이용하고밝기의향상을위해 IMSR 방법을밝기채널인 에적용하여영상의가시성향상을가져왔다. 이때 srgb 색역을벗어난색상값을사상하기위해누적분포함수에기반한정규화과정및 srgb 색역의최대밝기값이적용되었다. 또한유지된색상으로인한채도를보정하기위해향상된밝기에대한 srgb 색역경계값을이용한선형적인채도보상을수행하여자연스러운채도향상의결과를가져왔다. 자연영상을이용한실험에서영상의밝고어두운부분의가시성이향상되었다. 또한, 기존의 MSR, IMSR과비교하여입력영상에대한가장작은색차를보였고, 주관적인평가를통해다수의참가자가제안한방법을가장자연스러운영상으로선택했다. center/surround Retinex: Part 2: Surround design, NASA Technical Memorandum 110188, pp. 15, 1995. [6] Z. Rahman, D. J. Jobson, and G. A. Woodell, M Multiscale Retinex for color rendition and dynamic range compression, Proc. SPIE 2847, 183, 1996. [7] 장인수, 박기현, 하영호, 다중 Retinex 알고리즘에 서주색도추정을이용한색상왜곡보정, 전자공 학회논문지, 제46권 SP편, 제3호, 52-59쪽, 2009년 5월 [8] H. Kotera and M. Fujita, Appearance improvement of color image by adaptive scale-gain Retinex model, Proc. IS&T/SID 10th CIC, pp. 166-171, 2002. [9] L. Wang, T. Horiuchi, and H. Kotera, High Dynamic Range Image Compression by Fast Integrated Surround Retinex Model, J. Image Science and Technology, vol. 51, no. 1, 2007. [10] Marc Ebner, Color Constancy, Published in Association with the Society for IS&T, pp. 89-93, 2007. [11] J. Morovic, Color Gamut Mapping, Published in Association with the Society for IS&T, 2008. [12] Fabienne Duay, Lvar Farup, Jon Y. Hardeberg, Perceptual Evaluation of Color Gamut Mapping Algorithms, Color Research and Application, vol. 33, no. 6, pp. 470-476, 2008. 참고문헌 [1] M. Y. Lee, C. H. Son, J. M. Kim, C. H. Lee and Y. H. Ha, Illumination-Level Adaptive Color Reproduction Method with Lightness Adaptation and Flare Compensation for Mobile Display, Journal of Imaging Science and Technology. Vol. 51, No. 1, pp. 44 52, 2007. [2] B. Wandell, P. Catrysse, J. DiCarlo, D. Yang and A. E. Gamal, Multiple Capture Single Image with a CMOS Sensor, Chiba Conference on Multspectral Imaging, pp. 11-17, 1999. [3] E. H. Land, An alternative technique for the computation of the designator in the Retinex theory of color vision, Proc. Natl. Acad. Sci. U.S.A., vol. 83, 3076, 1986. [4] Z. Rahman, Properties of a center/surround Retinex: Part 1: Signal processing design, NASA Contractor Report 198194, pp. 13, 1995. [5] D. J. Jobson and G. A. Woodell, Properties of a (6)
2011 년 1 월전자공학회논문지제 48 권 SP 편제 1 호 7 경왕준 ( 학생회원 ) 2007 년안동대학교컴퓨터공학과공학사 2010 년경북대학교전자전기컴퓨터학부공학석사 2010 년 현재경북대학교전자전기컴퓨터학부박사재학중 < 주관심분야 : 컬러영상처리, 영상화질평가 > 저자소개 이태형 ( 학생회원 ) 대한전자공학회논문지제 47 권 SP 편제 4 호참조 이철희 ( 정회원 ) 대한전자공학회논문지제 47 권 SP 편제 4 호참조 하영호 ( 정회원 ) 대한전자공학회논문지제 38 권 SP 편제 3 호참조 (7)