박태장외 : 두장의 LDR 영상을이용한 HDR 영상취득기법 247 특집논문 -11-16-2-06 두장의 LDR 영상을이용한 HDR 영상취득기법 박태장 a), 박인규 a) HDR Image Acquisition from Two LDR Images Tae Jang Park a) and In Kyu Park a) 요 약 본논문에서는장면의밝기에적합한셔터속도를가진두장의 LDR (low dynamic range) 영상을취득하여 HDR (high dynamic range) 영상을고속으로생성하는효율적인기법을제안한다. 즉, 장면의밝기에최적인 HDR 영상을취득하기위해본논문에서는오직두장의초기입력 LDR 영상을이용하여장면의밝기에대한노출곡선을초기추정한후, 장면의밝기변화에따른최적의셔터속도를시간변화에따라지속적으로추정하는기법을제안한다. 성능평가를위해기존의고화질 HDR 기법으로생성한영상과제안된방법으로취득된영상간의유사도를 PSNR (peak signal to noise ratio) 로비교하였으며, 모든두장의조합을탐색하지않고도최적에근사하는두개의셔터속도를얻을수있음을보인다. Abstract In this paper, we propose a scene adaptive method to obtain two LDR images with proper shutter speeds which capture the irradiance of scene effectively. The proposed method adaptively selects two shutter speeds across the video frame even when the illumination varies continuously. For the performance evaluation, we compute the PNSR to the ground truth which is obtained by the state-of-the-art HDR imaging method. It shows that the proposed method is able to select approximately optimal shutter speeds while avoiding the exhaustive search of every possible pair of shutter speeds. Keywords : HDR imaging, LDR image, irradiance, exposure curve, shutter speed Ⅰ. 서론 최근일상생활에서디지털카메라의사용이급증하고있으며디지털카메라의화소수, 화질등의성능이지속적으로향상되고있다. 그러나카메라의 CCD (charge-coupled a) 인하대학교정보통신공학부 School of Information and Communication Engineering, Inha Univ. 교신저자 : 박인규 (pik@inha.ac.kr) 본연구는지식경제부및정보통신산업진흥원의대학 IT 연구센터지원사업의연구결과로수행되었음 (NIPA-2011-(C1090-1111-0003)). 이논문은 2010 년도정부 ( 교육과학기술부 ) 의재원으로한국연구재단의지원을받아수행된연구임 (2010-0027541). 접수일 (2010 년 12 월 31 일 ), 수정일 (2011 년 2 월 24 일 ), 게재확정일 (2011 년 2 월 24 일 ) device) 또는 CMOS (complementary metal-oxide semiconductor) 센서의동적범위는실세계장면의동적범위보다매우낮아장면의밝기범위를모두표현할수없다. 따라서카메라의셔터속도와조리개의조절을통해장면의동적범위를조절하지만동적범위가매우다양한장면에대해서는제한적이다. 따라서카메라의제한된동적범위를향상시키기위한 HDR (high dynamic range) 영상취득기법의연구가활발히진행되고있으며, 그중대표적인기법은노출시간이다른여러장의 LDR (low dynamic range) 영상을취득후각영상의복사량 (radiance) 맵을생성한후 [1][2], 각복사량맵
248 방송공학회논문지 2011 년제 16 권제 2 호 을결합시켜한장의 HDR 영상을생성한다 [3][4][5]. 또한영상의화소값과장면의방사량 (irradiance) 의관계를이용하여 HDR 영상을생성하는방법도존재한다 [6]. 그러나기존의기법들은한장의 HDR 영상을생성하기위해노출이다른여러장의 LDR 영상을취득하여야하므로실시간비디오의프레임율에비하면많은시간이소요된다. 따라서주변광의밝기가변하는환경이나움직이는물체에대해서는적용하기어렵다. 최근에는이러한문제점을해결하고효율적으로 HDR 영상을취득하기위한연구가진행중이다 [7][8][9][10]. Meylan 등은 Retinex 이론에근거하여한장의 LDR 영상의명암대비도를향상시키며후광효과를보완한 HDR 영상을생성하는방법을제안하였다 [7]. 하지만이방법은후광효과를보완하는대신에지의디테일보존이어렵다. 박대근등은장면의밝기값에대한두장의셔터속도를얻기위해노출이다른 3장의입력영상을이용한다 [8]. 따라서한장의 HDR 영상을취득하기위해총 5장의영상을필요로하므로고속 HDR 취득이어려운단점을가진다. Barakat 등은장면의최대 / 최소방사량을이용하여최적의노출집합을취득하였으며 [9], Hirakawa 등은영상의화소와방사량의관계를확률모델을이용하여최적의노출집합을취득하였다 [10]. 그러나장면에대한최적의노출집합을구하기위해초기에최대 / 최소방사량의범위를구해야하는단점을가진다. 본논문에서는장면의밝기에적합한셔터속도를가진두장의 LDR (low dynamic range) 영상을취득하여 HDR (high dynamic range) 영상을고속으로생성하는새로운기법을제안한다. 이를위하여특정한비율을가지는서로다른두개의셔터속도에의해취득된영상의화소와장면에서카메라센서에단위면적당입사하는방사도의관계를정의한다. 그리고이를바탕으로화소와각화소간의노출증가량의관계를정의하는카메라노출곡선을추정한다. 그후추정된노출곡선을이용하여장면의평균밝기의변화에따라적응적으로최적의셔터속도를가진두장의 LDR 영상을취득하는알고리즘을제안한다. 그림 1은제안한알고리즘의전체적인처리과정을도시하였다. 본논문의기술적인주요기여내용은다음과같다. 우선두장의초기영상만을이용하여영상의각화소값사이의상대적인노출비율을나타내는노출곡선을추정한다. 이를이용하여주어진장면의밝기에가장바람직한두장의셔터속도를구함으로써최적에근사하는 LDR 영상 2장을선별하여 HDR 영상을생성한다. 또한, 주변광의밝기가연속적으로변하는환경에서도이전평균밝기값과현재평균밝기값사이의상대적인노출비율을이용하여지속적으로최적의 LDR 영상을취득함으로써 HDR 비디오취득으로확장할수있다. 본논문의구성은다음과같다. 제 2장에서는취득된두장의 LDR 영상을이용하여카메라노출곡선을추정한다. 제 3장에서는추정된노출곡선을이용하여장면의밝기에따라최적의노출시간을가진두장의 LDR 영상을취득한다. 제 4장에서는실험결과및분석을제시하고제 5장에서는본논문의결론을맺는다. Ⅱ. 두장의 LDR 영상을이용한카메라노출곡선추정 1. 노출비율에대한카메라보정 어떤정적인 (static) 장면의노출시간, 즉셔터속도 에의하여취득한첫번째영상 ( 그림 2(a)) 과셔터속도 을가진두번째영상 ( 그림 2(b)) 을취득하였다고가정한다. 이때영상의화소에서의화소값은식 (1) 에나타낸바와같이셔터속도와센서의단위면적당입사 그림 1. 제안하는알고리즘의처리과정 Fig. 1. Block diagram of the proposed algorithm.
박태장외 : 두장의 LDR 영상을이용한 HDR 영상취득기법 249 되는방사도 (irradiance) 의곱의함수로표현된다. 이고 에입사하는빛의양은 이다. 또 (1) 여기서는센서의단위면적당입사되는빛의양을영 상의화소값으로매핑해주는카메라반응함수이다. 에서어떤화소위치 에입사하는빛의양을 라하면 에서 에입사하는빛의양은 이다. 여기서 라하자. 이제 에서 과동일한화소값을가지는위치를 라하면, 한, 에서 로입사하는빛의양은 이다 [6]. 즉, 같은영상에서는셔터속도가같으므로단위면적당입사하는빛의양은배차이가나며두영상간의화소의위치가같으면 는같고셔터속도만만큼의차이가난다. 따라서 에서위의조건을만족하는화소의집합을 P, 와취득된각화소값들의빛의증가량에대한집합을 T 라하면위의방법은일반적으로식 (3) 과같이표현된다. (a) 그림 2. 노출이다른 2 장의 LDR 영상 (a) 기준영상 (b) 기준영상보다셔터속도가 k 배긴영상. 본예제의경우 k=2 이다 Fig. 2. Two LDR images with different exposure time. (a) Reference image. (b) Image with shutter speed which is k times longer than the reference image. In this example, k is 2. (b) (a) 그림 3. 노출이다른두영상의화소값사이의비선형관계 [6]. f 는식 (1) 에서의 g 의역함수이다. (a) 노출이다른두영상의동일한위치에서의화소값사이의관계 (Range-Range plot). (b) 화소값와노출비율의관계 Fig. 3. Nonlinear relation of pointwise from Two LDR images with different exposure time [6]. f is the inverse of g in Eq. (1). (a) Relation of pixel value at identical position between two images with different exposure (Range-Range plot). (b) Relation between pixel value and the exposure ratio. (b)
250 방송공학회논문지 2011 년제 16 권제 2 호 (3) 여기서 와 는집합 P와 T의 i 번째원소를의미한다. 이관계를그래프로도시하면그림 3과같다. 그림 3(a) 은노출이다른두영상사이에식 (3) 을만족하는화소값사이의관계를도시하고있다. 그림 3(b) 은 에입사하는광량에대한에입사하는광량의증가량을도시하였다. 즉, 그림 3(b) 는절대적인광량이아닌, 초기화소위치의광량에대한비율로표현된카메라반응함수이다. 본논문에서는화소의포화 (saturation) 에대한영향을제거하기위해본과정에이용되는화소값의범위를 로제한하였으며초기화소 은다소어두운영역에서추출하여의크기가충분히커질수있도록한다. 이상적인경우단위면적당동일한빛의양이입사하면영상의화소값은항상동일한값을가진다. 그러나카메라내부에서발생하는잡음의영향으로단위면적당동일한빛의양이입사하는화소값은완전히동일한값을가지지않는다. 따라서 과식 (3) 의관계가성립하는화소값 은 의밝기를가지는화소들이 의대응되는위치에서의화소값의평균 로정의한다. 이제본논문에서는화소값의집합 P는 를의미하는것으로간주한다. 화소값과각화소값사이의상대적인노출비율의관계를표현하는노출곡선을정의한다. 노출곡선또한카메라반응함수처럼비선형이므로 [5] 와같이고차다항식으로모델링한다. 따라서각화소값사이의상대적인노출비율의 집합 T 이표현된다. 여기서 f는식 (1) 에서의 g의역함수이다. 식 (4) 을행렬식으로표현하기위해취득된 n개의화소와 m의차수를가지는다항식을식 (5) 와같이 n (m+1) 의디자인행렬 로, 취득된각화소의노출증가율의집합 T를 n 1의행렬 로정의한다. 여기서 와각화소값의집합 P 을식 (1) 에적용하면식 (4) 와같 식 (4) 를만족하는곡선에대한최적의계수를구하기위 (5) 2. 노출곡선모델링 일반적으로영상의화소값은단위면적당입사되는빛의양이카메라반응함수에매핑되어결정된다. 그러나카메라의센서종류에따라반응함수가다르기때문에영상을통해반응함수를추정해야한다. 실제카메라모델의카메라반응함수는비선형으로모델링되어있으며정규화된노출값이증가함에따라정규화된화소값역시단조증가한다. 이성질을이용하면노출의상대적인비율에대한각화소값과의관계를구할수있다. 따라서본논문에서는각 그림 4. 최소제곱근사를적용하여얻은화소값와노출값 ( 셔터속도 ) 의비율에대한곡선 Fig. 4. Pixel value to the exposure (shutter speed) ratio plot by applying least square estimation method. (4)
박태장외 : 두장의 LDR 영상을이용한 HDR 영상취득기법 251 해 Mitsunaga 등과달리최소제곱근사 (lease square estimation) 알고리즘을이용하여그림 4와같이각화소값과각화소값사이의상대적인노출비율에대한곡선을추정한다. 그림 4는화소값 128을기준으로정규화한각화소간의상대적인노출비율을나타내고있다. Ⅲ. 카메라노출곡선을이용한셔터속도추정 본장에서는 II장에서추정한노출곡선을이용하여, 주어진장면의방사도에적응적으로 HDR 영상을생성하기위한두장의 LDR 영상의셔터속도를추정하는기법을제시한다. 장면방사도가적어지는경우는왼쪽 ( 그림 5(c)) 으로이동된형태를가진다. 본논문에서는그림 5(a) 와같이영상이포화되지않았다면히스토그램을 값만큼이동시키고, 이동된영상의평균밝기값 보다큰화소들의평균값 을밝은 LDR 영상 의평균밝기값으로설정한다 ( 그림 5(b)). 반대로매우어두운영상의경우최소화소값 은 0이되고 이 0보다크면 만큼이동시킨다. 이동된영상의평균밝기값 보다작은화소들의평균값 을어두운 LDR 영상 의평균밝기값으로설정한다 ( 그림 5(c)). 2. 노출곡선을이용한 LDR 영상의셔터속도추정 1. 기준영상을이용한 LDR 영상의평균밝기추정다른노출값으로취득한영상의히스토그램은전반적인형태는비슷하며평균밝기값만달라진다. 본논문에서는사용자의경험에의하거나자동카메라의측광에의해얻어지는노출에의해얻은영상을기준영상으로서취득하고, 이로부터두장의셔터속도를추정하는과정을거친다. 이후기준영상은사용되지않는다. 정적인장면에대해영상의히스토그램은장면방사도가커지는경우기준영상에비해오른쪽 ( 그림 5(b)) 으로, 본논문에서는 와 을평균밝기값으로가지는 LDR 영상의셔터속도를추정하기위해 II장에서설명한노출곡선을이용한다. 기준영상의셔터속도와 의 ( 또는 의 ) 셔터속도사이의비율은기준영상의평균밝기값 이노출곡선에역매핑된값 와 의 ( 또는 의 ) 평균밝기값 ( 또는 ) 이노출곡선에역매핑되는값 ( 또는 ) 의비율 ( 또는 ) 이다. 따라서 와 의셔터속도는기준영상의셔터속도 (a) (b) (c) 그림 5. 셔터속도추정과정. (a) 기준영상의히스토그램. (b) 오른쪽으로이동된히스토그램. (c) 왼쪽으로이동된히스토그램 Fig. 5. Shutter speed estimation. (a) Histogram of the reference image. (b) Right-shifted histogram. (c) Left-shifted histogram.
252 방송공학회논문지 2011 년제 16 권제 2 호 에역매핑된노출비율 ( 또는 ) 을곱하여평균밝기값 ( 또는 ) 을가지는 LDR 영상을취득한다. 이를정리하면식 (6) 및식 (7) 과같다. 과정을수식으로표현하였다. 여기서 (8) (7) 3. 장면의연속적인밝기변화에따른셔터속도추정 주변광의밝기가시간에따라변화하는경우, 적응적으로두 LDR 영상의노출을조절해주어야한다. 즉, 주변광의밝기가어두워질경우이전에취득된 보다어두운영역의정보를손실하는경우가발생하며주변광의밝기가밝아질경우이전에취득된 보다포화된영역의분포가많아져손실이커진다. 주변광의밝기에따라장면의최대한의정보를포함할수있는 와 의새로운셔터속도 을얻기위해, 현재시각에서의평균밝기값 과다음시각 의새로운영상의밝기값 을노출곡선에역매핑하여얻은비율로서이전영상에대한새로운영상의노출비율 을구할수있다. 그후이전영상의셔터속도 에추정된노출비율 을곱하여변화된밝기에적합한셔터속도 를추정한다. 식 (8) 에이 (6) Ⅳ. 실험결과본논문에서는성능평가를위해장면의밝기값이다른환경에서기존의 HDR 영상과제안한방법으로취득된 HDR 영상간의 PSNR 비교와일몰시간에장면의밝기변화에따른방사도의변화를비교하였다. 영상취득은캐논 EOS 550D를이용하였으며카메라제어 SDK인 ED SDK 2.8을이용하여컴퓨터에서카메라설정을변경하고영상을취득할수있도록환경을구축하였다. 제안한방법으로취득된 HDR 영상의객관적인화질을판별하기위해, 카메라에서제공하는모든셔터속도로취득한영상을입력으로 Robertson 등의방법으로취득된 HDR 영상 [4] 을참값으로가정하고이영상에대한 PSNR 로서알고리즘의성능을측정한다. 또한, 각실험에서취득된 HDR 영상을 LDR 영상으로출력하기위해 Reinhard 등의톤매핑방법을사용하였다 [11]. 1. 장면의밝기값이다른환경에서의 PSNR 비교장면의조도가 9,160 lux의환경에서 19장의입력영상 그림 6. 19장의입력영상 ( 조도 : 9,160 lux, 셔터속도범위 :, 조리개 : F ) Fig. 6. 19 input images under 9,160 lux (Shutter speed range :. Aperture : F)
박태장외 : 두장의 LDR 영상을이용한 HDR 영상취득기법 253 (a) 그림 7. 그림 6 의 19 장의입력영상을이용한참값 HDR 영상과생성된 HDR 영상비교. (a) Robertson 의기법 [4]. (b) 제안하는기법 Fig. 7. (a) Ground truth HDR image by Robertson [4] using 19 input images in Fig. 6. (b) HDR image by the proposed method. (b) ( 그림 6) 을이용하여취득된참값영상과제안한알고리즘에의해생성된 HDR 영상이육안으로보았을때거의유사함을그림 7에서확인할수있다. 장면의밝기값에따라카메라에서취득된기준영상의셔터속도는다르기때문에장면의밝기가상이한네가지환경에서실험을하였다. 또한참값과의객관적인화질차이를비교하기위해노출이다른두장의 LDR 영상의모든조합으로생성된 HDR 영 상들과참값의차이를 PSNR로서그림 8에도시하였다. 실험결과에서보듯이조도 5,300 lux, 7,000 lux, 7,200 lux, 9,160 lux 환경에서두장의 LDR 영상의모든조합으로생성된 HDR 영상들중제안한방법으로취득된 HDR 영상의 PSNR이각각약 98%, 100%, 98%, 97% 의상위에위치하였다. 특히조도 7,000 lux 환경에서는두장의입력영상의모든조합으로생성된 HDR 영상중에참값영상과의 그림 8. 참값 HDR 영상과모든조합의두장의입력영상으로생성된 HDR 영상간의 PSNR 측정결과의 box plot. 검은색점이제안된방법에의한결과이다 Fig. 8. Box plot of PSNR to the ground truth HDR image and HDR image measured for every possible pair of images. Black dot denotes the PSNR of HDR image by the proposed method.
254 방송공학회논문지 2011 년제 16 권제 2 호 PSNR이가장높게나타났다. 이는제안된알고리즘이전역탐색에의한최적의해에매우근사하는 LDR 영상두장을선별하여 HDR 영상을생성함을알수있다. 2. 주변광의연속적인밝기변화에따른방사도변화 그림 9 는일몰때주변광의밝기변화에따라취득한영 (a) (b)
박태장외 : 두장의 LDR 영상을이용한 HDR 영상취득기법 255 (c) 그림 9. 시간에따라밝기가변화는장면에대한방사도변화및생성된 HDR 영상 Fig. 9. Variation of the Irradiance for time-varying illumination and the result HDR images. (d) 상에대한실험결과를보여주며, 제안하는알고리즘에의해적응적으로계산된두장의 LDR 영상의방사도와이를 이용하여생성된 HDR 영상의방사도를도시하고있다. 그림 9(a) 에도시된것처럼제안된방법으로처음취득된두
256 방송공학회논문지 2011 년제 16 권제 2 호 영상의셔터속도중어두운영상은주변광이밝은창문밖의정보를, 밝은영상은주변광이어두운실내정보를보다많이포함한다. 해가지면서창문밖의주변광의변화가실내보다크기때문에제안된방법으로취득된셔터속도는밝은영상보다어두운영상에서보다크게변하였다. 그러나취득한영상과거의비슷한영역의정보를포함하였다. 이는밝기의변화에따라적응적으로셔터속도를취득하여최적의정보를취득하는것을알수있다. 또한그림 9에도시된방사도의변화를보면주변광의밝기가어두워지면서취득된방사도범위 ( 가로축 ) 은왼쪽으로이동되었다. 이는이전에취득된영상과유사한영상을취득하기위해카메라센서에단위면적당더많은빛이입사한것을보여준다. 따라서제안한알고리즘은시간에따라주변광의밝기가변화는환경에서, 변화된밝기에적합한셔터속도를가진두장의 LDR 영상을적응적으로취득함을알수있다. Ⅴ. 결론본논문에서는장면의밝기변화에적합한최적의셔터속도를가진두장의 LDR 영상을취득하여 HDR 영상을고속으로생성하는방법을제안하였다. 이를위하여영상의화소와입사하는빛의양에대한관계를이용하여영상의밝기에대한셔터속도의비율을나타내는노출곡선을정의하였다. 또한노출곡선을이용하여기준영상과의셔터속도의비율을추정함으로서두 LDR 영상의셔터속도를취득하였다. 다양한실험결과, 밝기값이다른여러환경에서참값으로가정한기존의 HDR 영상과제안한방법으로생성된 HDR 영상간의 PSNR이노출이다른두장의 LDR 영상의모든조합으로생성된 HDR 영상들의 PSNR 과비교하여거의최상위에위치하였다. 또한주변광의밝기가연속적으로변화는환경에서도적응적으로주변광의밝기에적합한셔터속도를가진두장의 LDR 영상을취득 하였다. 본연구에서제안하는방법은 HDR 영상취득의속도를향상시킴으로써 HDR 비디오취득에응용될수있고, 향후감시카메라에적용하여주위환경을인식하기어려운어두운환경에도기존의감시카메라보다정확하게주변환경을인식하는데유용하게쓰일수있다. 참고문헌 [1] M. D. Grossberg and S. K. Nayar, "What is the space of camera response function?," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 602-609, June 2003. [2] J. Takamatsu, "Estimating camera response functions using probabilistic intensity similarity," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, June 2008. [3] P. Debevec and J. Malik, "Recovering high dynamic range radiance maps from potographs," Proc. ACM SIGGRAPH, pp. 369-378, August 1997. [4] M. A. Robertson, S. Borman, and L. Stevenson, "Dynamic range improvement through multiple exposures," Proc. IEEE International Conference on Image Processing, pp. 159-163, October 1999. [5] T. Mitsunaga and S. K. Nayar, "Radiometric self calibration," Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1374-1380, June 1999. [6] S. Mann and R. W. Picard, "Being 'undigital' with digital cameras : Extending dynamic range by combining differently exposed pictures," Proc. Instructional Systems Technology annual Conference, pp. 422-428, May 1995. [7] L. Meylan and S. Süsstrunk, High dynamic range image with a Retinex-based adaptive filter, IEEE Trans. on Image Processing, vol. 15, no. 9, pp, 2820-2830, September 2006. [8] 박대근, 박기현, 하영호, 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득, 전자공학회논문지 -SP, vol. 45, no. 2, pp. 10-20, 2008 년 3 월. [9] N. Barakat, A. N. Hone, and T. E. Darcie, Minimal-bracketing sets for high-dynamic-range image capture, IEEE Trans. on Image Processing, vol. 17, no. 10, pp, 1864-1875, October 2008. [10] K. Hirakawa and P. J. Wolfe, Optimal exposure control for high dynamic range imaging, Proc. IEEE International Conference on Image Processing, pp. 3137-3140, September 2010. [11] E. Reinhard and K. Devlin, Dynamic range reduction inspired by photoreceptor physiology, IEEE Trans. on Visualization and Computer Graphics, vol. 11, no. 1, pp. 12-24, January/February 2005.
박태장외 : 두장의 LDR 영상을이용한 HDR 영상취득기법 257 저자소개 박태장 - 2010 년 2 월 : 인하대학교정보통신공학부학사 - 2010 년 3 월 ~ 현재 : 인하대학교정보통신공학과석사과정 - 주관심분야 : Computational photography, 영상기반 3 차원형상복원, 컴퓨터비젼 박인규 - 1995 년 2 월 : 서울대학교제어계측공학과학사 - 1997 년 2 월 : 서울대학교제어계측공학과석사 - 2001 년 8 월 : 서울대학교전기컴퓨터공학부박사 - 2001 년 9 월 ~ 2004 년 3 월 : 삼성종합기술원멀티미디어랩전문연구원 - 2007 년 1 월 ~ 2008 년 2 월 : 미국 Mitsubishi Electric Research Laboratories (MERL) 방문연구원 - 2004 년 3 월 ~ 현재 : 인하대학교정보통신공학부부교수 - 주관심분야 : 컴퓨터그래픽스및비젼 ( 영상기반 3 차원형상복원, 3 차원카메라, computational photography), GPGPU