10 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득박대근외 논문 2008-45SP-2-2 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득 (Acquston of HDR mage usng estmaton of scenc dynamc range n mages wth varous exposures ) 박대근 *, 박기현 *, 하영호 ** * (Dae-Geun Park, Kee-Hyon Park, and Yeong-Ho Ha ) 요 약 일반적으로 HDR 영상을얻기위해서는장면의다이내믹레인지를충분히포함하는노출이다른많은영상이필요하고, 그영상을한영상으로합성한다. 본논문에서는적은수의영상으로 HDR 영상을얻을수있는효율적인방법을제안하였다. 먼저노출이다른두장의영상을사용해장면의다이내믹레인지를추정하였다. 이두영상은장면의다이내믹레인지의상한점과하한점을포함한다. 장면에상관없이노출시간의변화에따라상한점을포함하는영상의최대그레이레벨과하한점을포함하는영상의최소그레이레벨이일정한경향이나타나는것을확인하였다. 이런경향을모델링하여, 장면의다이내믹레인지를추정하였다. 추정한장면의다이내믹레인지는 HDR 영상획득을위한노출시간을찾는데에사용된다. 카메라의다이내믹레인지세개로카메라가만들수있는전체다이내믹레인지를포함할수있기때문에, 영상세장만으로 HDR 영상을얻을수있었다. HDR 영상의오차를평가하기위해가상의카메라영상을사용하는실험을하였다. 실험을통해제안한방법으로얻은 HDR 영상의오차가 10 장이상의영상을사용하여얻은 HDR 영상의오차가큰차이가없음을확인하였다. Abstract Generally, to acqure an HDR mage, many mages that cover the entre dynamc range of the scene wth dfferent exposure tmes are requred, then these mages are fused nto one HDR mage. Ths paper proposes an effcent method for the HDR mage acquston wth small number of mages. Frst, we estmated scenc dynamc range usng two mages wth dfferent exposure tmes. These two mages contan the upper and lower lmt of the scenc dynamc range. Independently of the scene, accordng to vared exposure tmes, smlar characterstcs for both the maxmum gray levels n mages that nclude the upper lmt and the mnmum gray levels n mages that nclude the lower lmt are dentfed. After modelng these characterstcs, the scenc dynamc range s estmated usng the modelng results. Ths estmated scenc dynamc range s then used to select the proper exposure tmes for the acquston of an HDR mage. We selected only three proper exposure tmes because entre dynamc range of the cameras could be covered by three dynamc range of the cameras wth dfferent exposure tmes. To evaluate the error of the HDR mage, experments usng vrtual dgtal camera mages were carred out. For several test mages, the error of the HDR mage usng proposed method was comparable to that of the HDR mage whch utlze more than ten mages for the HDR mage acquston. Keywords : HDR mage, dynamc range, camera response curve, exposure tme, vrtual dgtal camera mage * 학생회원, ** 정회원, 경북대학교전자전기컴퓨터학부 (School of Electrcal Engneerng and Computer Scence, Kyungpook Natonal Unversty) 본결과물은교육인적자원부, 산업자원부, 노동부의출연금및보조금으로수행한최우수실험실지원사업의연구결과입니다. 접수일자 : 2007년7월13일, 수정완료일 : 2008년2월26일 Ⅰ. 서론최근일상생활에서디지털카메라의사용이증가하고있으며, 디지털카메라의화소수, 화질, 다양한기능과디자인등이많이개선되고있다. 하지만여전히카 (93)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 11 메라가한번의노출로받아들일수있는밝기의범위가크지않은센서의한계가존재한다. 그래서많이밝은부분과어두운부분이동시에있는장면에서사진을찍을경우에는밝기정보를얻지못해서밝은부분은그레이레벨이 255, 어두운부분은그레이레벨이 0으로나타나는경우가많다. 이것은다이내믹레인지 (Dynamc Range) 로설명할수있는데, 다이내믹레인지란밝기가가장밝은부분과가장어두운부분의밝기의비율을의미한다. 한번의노출로감지할수있는카메라의다이내믹레인지는실세계의다이내믹레인지에비해매우작기때문에사진을찍으려고하는장면의다이내믹레인지가큰경우에는카메라가밝기정보를얻지못하게되는것이다. Hgh dynamc range (HDR) 영상은한노출에대하여일반디지털카메라로촬영이가능한범위보다더큰, 또는일반적인디스플레이장치에서표현될수있는다이내믹레인지보다더큰 HDR을가지는영상이다. 일반디지털카메라로찍은영상이얻을수있는밝기의범위는제한적인데반하여, HDR 영상은훨씬더실세계에가까운밝기정보의표현이가능하다. 실세계가가지고있는밝기의범위는약 108cd/m2 정도이고사람의눈이한번에수용할수있는밝기의범위는약 105cd/m2 정도인데비해, 일반디지털카메라의센서가한번의노출로받아들일수있는밝기범위는약 102cd/m2 정도로이보다훨씬작다 [1 2]. 결국채널당 8비트의일반적인 24비트 RGB 포맷으로실세계의밝기정보를표현하는것은불가능하다. 따라서실세계의 HDR을표현하기위한영상포맷이요구된다. 실세계의 HDR이나사람의눈이실세계의 HDR을감지할수있는범위를표현하기위해서는각채널이실수정보를나타낼수있어야한다. HDR 영상포맷을이용하여실세계의밝기정보를표현할수있는것과이를디스플레이장치로표현하는것은서로다른문제이다. 일반디스플레이장치가표현할수있는밝기의범위는약 102cd/m2 정도로 HDR 영상을표현할수없다. 따라서실수의밝기정보를 24비트의일반영상포맷으로나타내는톤매핑 (Tone Mappng) 이란방법을통하여 HDR 영상을일반디스플레이장치로표현하며그에관하여연구가활발히진행중이다 [3 5]. HDR 영상을얻을때다이내믹레인지가넓은 HDR 카메라를사용하는방법과일반카메라로노출을달리해서영상을여러장찍어합성하는두가지의방법이있다. 일반카메라를사용하여기존에 Debevec, Malk, Mtsunaga, Nayar 그리고 Robertson 등이 HDR 영상을얻는것에관한방법을제안하였다 [6 12]. 모든방법에서노출이다른사진을여러장찍고, 이영상을합성하여 HDR 영상을얻었다. 이때노출시간을두배의차이로해서보통 10장이상의사진을찍었는데, 이는장면의다이내믹레인지가어느정도되는지알기어렵기때문에장면의다이내믹레인지를충분히포함하는넓은노출의범위를가진많은영상이필요한것이다. Debevec 이적은수의영상으로 HDR 영상을얻는것에관하여언급은하였으나구체적인방법에대해서는기술하지않았다 [7]. 사진을찍을때에는움직이지않는동일한장면에대한정지영상이필요하다. 하지만여러장면에서사람이나자동차등움직이는물체가존재하는데그런움직이는물체들로인해서많은수의영상을얻는데에어려움이있기때문에영상의수를줄일필요가있다. 또한기존의방법들에서는노출이다른영상각각의다이내믹레인지가중복되는영역이많이생기는데이런중복되는영역을줄임으로써필요한영상의수를줄일수있다 [13]. 이와함께사진을찍기전에장면의다이내믹레인지를알고있다면, 장면의다이내믹레인지를벗어난영상을찍지않을수있기때문에영상의수를줄일수있다. 본논문에서는 HDR 영상을얻을때에필요한영상의개수를줄였다. 장면의다이내믹레인지를추정하고, 영상의중복되는다이내믹레인지를줄여서필요한영상의개수를최소한으로줄이는방법을제안하였다. Ⅱ. 기존의 HDR 영상얻는방법디지털카메라는노출등의단계를거치면서실제장면의밝기인 radance와최종으로얻어진그레이레벨과의관계가선형적이지않다. 이비선형적인관계를카메라특성곡선또는카메라응답곡선이라하고, 이를추정하기위해많은연구가행해져왔다. 카메라특성곡선은주로 radance와노출시간의곱을그레이레벨과의관계로나타내고, 식 (1) 과같이표현한다. (1) 식 (1) 에서 은밝기를실수로나타내는 radance를나타내고, 는노출시간, 는그레이레벨을나타난다. 그리고 는카메라특성곡선이다. Mann이이비선형 (94)
12 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득박대근외 적인관계의문제를설명하였으나, 카메라특성곡선을추정하는데에는다소제한된방법을사용하였다 [6]. 후에 Debevec이 radance 와노출시간과의곱과그레이레벨과의관계를특이값분해 (Sngular Value Decomposton) 를사용하여최소자승법을풂으로써카메라특성곡선을추정하는방법을개선하였다 [7]. Robertson 은 Gauss-Sedel relaxaton 방법을이용하여카메라특성곡선을추정하였고 [8], Mtsunaga와 Nayar 는두영상의 radance의비율이노출시간의비와같음을이용하여카메라특성곡선을다항식으로모델링하여추정하였는데, 이방법에대해구체적으로알아보겠다 [9]. Mtsunaga와 Nayar는카메라특성곡선을식 (2) 와같이다항식으로가정하였다. (2) 식 (2) 에서 는 radance, 는그레이레벨을나타내고, 은다항식의차수, 은계수를나타낸다. 그리고카메 라특성곡선의추정은노출시간의비율을이용하였다. (3) 식 (3) 에서 는픽셀, 는영상을나타내고, 는카메라 설정에의한상수, 는노출시간이고, 은 번째와 번째영상의노출의비율을나타낸다. 식 (3) 에서나타나듯이 radance의비율이노출시간의비율과같음을알수있다. R f ( z n p, q n = 0 q, q + 1 = = N f ( z p, q + 1) cn n = 0 ) N c z z n p, q n p, q + 1 (4) 노출시간은알수있기때문에 은알고있는값 이고, 식 (4) 를풀고 의값을알아냄으로써식 (2) 의카 메라특성곡선을추정할수있다. 일반적인카메라특성곡선은그림 1과같다. 기존의 HDR 영상획득방법은일반디지털카메라로노출을다르게사진을여러장찍고한장의영상으로합성하였다. HDR 영상은일반영상포맷의 24비트와달리 32비트이상으로디지털값이아닌실수값을저장함으로써넓은범위의정보를포함한다. 이때픽 그림 1. 카메라특성곡선 Fg. 1. Camera response curve. 셀의값을실수로표현하기위해서카메라특성곡선을사용하는데, 노출시간과그레이레벨을통해 radance 를추정하는것이다. 카메라특성곡선으로각픽셀의 radance를추정하고식 (5) 와같이노출이다른여러영상을한장의영상으로합성한다. r I = 1 = I = 1 w ( z w ( z ) r ) (5) 식 (5) 에서 는그레이레벨에따른가중치, 는픽셀을나타낸다. 픽셀의그레이레벨에따라가중치를두어한픽셀에대해여러영상의값을평균하여하나의영상을만든다. 이가중치를구할때에는논문마다조금씩다른방법을사용했다. Debevec 은그레이레벨 128에서최고이며 128을중심으로가중치가선형적으로작아지도록했다. Robertson 은 128을중심으로가우시안모양으로가중치가작아지도록하였고, Mtsunaga와 Nayar는카메라특성곡선을카메라특성곡선의도함수로나눈것을가중치하였다. 이는카메라특성곡선의기울기가완만할때에는그레이레벨에대해 radance 추정이정밀하지만, 기울기가급할때에는그레이레벨에대해 radance 추정오차가크다는것을이용한것이다. 논문마다가중치를구하는것에서조금씩의차이가있긴하지만큰형태는비슷했다. 이렇게그레이레벨에가중치를두어여러영상을합성하여 radance 정보를가지는한장의 HDR 영상을얻었다. 기존의방법에서는그림 2 (a) 와같이노출이다른영상을 10장이상찍어서 HDR 영상을얻었고, 이때에카메라의다이내믹레인지가중복되는영역이많이발 (95)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 13 그림 2. 기존방법에서의중복된부분의존재 (a) 기존의방법 (b) 영상 3장을사용 Fg. 2. Exstence of redundancy n prevous methods. (a) Prevous methods. (b) Usage of three mages. 그림 3. 노출시간의변화에따른영상에서의최대최소 그레이레벨변화 Fg. 3. Varaton of maxmum and mnmum gray levels n mages accordng to vared exposure tmes. 생하였다. 그림 2에서볼수있듯이기존의방법에서는노출시간을두배의차이로해서사진을 13장찍었는데비해동일한장면에서그림 2 (b) 에서처럼노출이다른사진 3장으로도 HDR 영상을얻을수있다. 장면의다이내믹레인지를추정하고카메라의다이내믹레인지가중복되는영역을줄임으로써 HDR 영상을얻을때필요한영상의개수를줄일수있다. Ⅲ. 제안한 HDR 영상얻는방법 1. 장면의다이내믹레인지추정장면의다이내믹레인지란장면의밝기범위를나타낸다. 노출이다른영상두장을찍고, 이영상의정보를이용해장면의다이내믹레인지를추정하였다. 사진을찍을때노출을길게하면영상은밝아지고, 노출을짧게하면영상은어두워지는등영상의그레이레벨이바뀌게된다. 어떤한장면에서찍은사진의영상이장면의밝은부분과어두운부분의밝기를모두다표현하지못한다면, 그영상의최소그레이레벨은 0, 최대그레이레벨은 255가되고, 이때의영상이장면의다이내믹레인지안에있다고정의하였다. 그리고이때카메라의노이즈를고려하여오차를그레이레벨 5까지허용하였다. 그림 3에서노출시간의변화에따라장면의다이내믹레인지에대해카메라의다이내믹레인지가어떻게변하는지나타내었다. 왼쪽에서오른쪽방향으로갈수록노출시간이짧아지는것을나타내고, 각각노출시간과그에따른영상의히스토그램을나타내었다. 카메라의다이내믹레인지가장면의다이내믹레인지안에포함될때에영상에서가장어두운곳의그레이레벨은 그림 4. 장면의다이내믹레인지의하한점의최소그레이레벨과상한점의최대그레이레벨 (a) 하한점 (b) 상한점 Fg. 4. Mnmum gray level of the lower lmt and maxmum gray level of the upper lmt on scenc dynamc range. (a) The lower lmt. (b) The upper lmt. 0이고, 가장밝은곳의그레이레벨은 255이다. 한편노출시간이길어지면카메라의다이내믹레인지가장면의다이내믹레인지의하한점을벗어나게되고최소그레이레벨이 0이아닌 0보다큰값이된다. 즉, 노출시간이길때에는카메라의센서는장면의어두운영역을 (96)
14 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득박대근외 감지하고, 하지만노출시간이긴만큼그레이레벨이커져서영상은밝아지게된다. 반대로노출시간이짧아지면카메라의다이내믹레인지가장면의다이내믹레인지의상한점을벗어나게되고최대그레이레벨이 255가아닌 255보다작은값이된다. 즉, 노출시간이짧을때에는카메라의센서는장면의밝은영역을감지하고, 그레이레벨이작아져서영상은어두워지게된다. 노출시간이변함에따라영상에서최대그레이레벨과최소그레이레벨의증감이장면에상관없이일정한경향을가지고있고그림 4에그경향을나타내었다. 여러장면에대한경향을나타내기위해서는절대적인노출시간이장면마다다르기때문에가로축을절대적인노출시간으로는나타낼수없고, 그림 4 (a) 와같이노출시간이증가함에따라카메라의다이내믹레인지가장면의다이내믹레인지를벗어나는단계로나타낸다. 예를들어 1 은카메라의다이내믹레인지가장면의다이내믹레인지를첫번째로벗어났을때를나타낸다. 그리고세로축은영상에서의최소그레이레벨을나타낸다. 그림에서노출시간증가의단계가증가할때, 영상의최소그레이레벨이장면에상관없이일정한경향을가지고증가함을볼수있다. 그림 4 (b) 처럼장면의다이내믹레인지의상한점도마찬가지이다. 노출시 표 1. 모델링에서의계수 Table 1. Modelng coeffcents. 계수종류 계수 계수종류 계수 l 1 0.000003 u 1-0.000002 l 2-0.0011 u 2 0.0008 l 3 0.1988 u 3-0.16 l 4 1.8024 u 4 19.68 간감소의단계가증가할때, 영상의최대그레이레벨이장면에상관없이일정한경향을가지고감소함을볼수있다. 이러한경향을 3차다항회귀방정식을이용하여모델링하였다. 여기서, 타내고, (6) (7) 는장면의다이내믹레인지의하한점을나 는장면의다이내믹레인지의상한점을나 타낸다. 는그레이레벨을나타내고, 모델링을통한계수는표 1과같다. 그림 5에장면의다이내믹레인지추정의모델링그래프를나타내었다. 이렇게근사화의결과를이용하면장면의다이내믹레인지를추정할수있다. 두개의노출시간은그림 6 과같이전체노출시간의중심에서장면의다이내믹레인지의상한점근사화에서마지막값만큼의단계로노출시간을증가시켰을때의노출시간, 그리고반대로전체노출시간의중심에서장면의다이내믹레인지의하한점근사화에서마지막값만큼의단계로노출시간 그림 5. 장면의다이내믹레인지추정의모델링 Fg. 5. Modelng estmaton of scenc dynamc range. 그림 6. 장면의다이내믹레인지를추정하기위한 2개의노출시간 Fg. 6. Two exposure tmes for estmaton of scenc dynamc range. (97)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 15 그림 7. 장면의다이내믹레인지를추정하는예 Fg. 7. An example of estmatng scenc dynamc range. 을감소시켰을때의노출시간으로정한다. 그림 7에서장면의다이내믹레인지를추정하는예를나타내었다. 2. 가상카메라영상을사용한 HDR 영상의평가 HDR 영상이얼마나정확하게만들어졌는지는측정을통해알수있다. 하지만 HDR 영상은단일패치가아니기에측정이어렵다. 그래서측정이아닌시뮬레이션을통하여 HDR 영상을평가하는방법을제안하였고, 그림 8에서흐름도를나타내었다. 먼저기존의방법으로 HDR 영상을만들고, 이영상을원본 HDR 영상이라한다. 그리고원본 HDR 영상에서카메라특성곡선의역함수를사용하여각각의노출시간을입력으로주어실제찍은영상과같이그레이레벨을디지털값으로가지는가상의카메라영상을만든다 [14]. 그림 9에서실제찍은영상과가상영상을 그림 8. HDR 영상의평가를위한실험의흐름도 Fg. 8. A flowchart of an experment for evaluaton of HDR mage. 그림 9. 실제찍은영상과가상영상의비교 (a) 실제찍은영상 (b) HDR 영상 (c) 가상영상 Fg. 9. Comparson wth real taken pctures and vrtual camera mages. (a) Real taken pctures. (b) The HDR mage. (c) Vrtual camera mages. 비교하였는데, 그차이가거의없는것을확인할수있다. Cerman 는위와같이가상영상들을이용해기존의카메라특성곡선을구하는논문들의방법이실제의카메라특성곡선과비교해얼마나정확한지평가하였다. 본논문에서는카메라특성곡선의정확도가아닌, HDR 영상의정확도를평가하였다. 여러가상영상을합성하여 HDR 영상을만들고, 원본 HDR 영상과비교하여재생한 HDR 영상의오차를구하였다. 재생한 HDR 영상의오차를다음식 (8) 과같이구하였다. n Or R error = = 1 O r r Og R + O g g Ob R b + O b 1 3n (8) 식 (8) 에서 는원본 HDR 영상의 radance, 은재생한 HDR 영상의 radance 를나타낸다. 는각각 RGB 채널을나타내고, 은총픽셀의개수, 는픽셀의위치를나타낸다. RGB 각각의채널에대해원본 HDR 영상의 radance 와재현한 HDR 영상의 radance의차를원본 HDR 영상의 radance로나누고이를각각의채널에대해더한다음평균하였다. 원본 HDR 영상의 radance를나누지않으면, radance가큰픽셀에서는 radance 추정이조금만잘못되어도그오차가너무크게나고, radance가작은픽셀에서는 radance 추정이크게잘못되더라도그오차가크지않는등의문제가생긴다. 이에대한문제를해결하기위해신호대잡음비의개념을사 (98)
16 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득박대근외 용해원본 HDR 영상의 radance를나누어주었다. 실제로식 (8) 은신호에해당하는 HDR 영상의 radance는분모에, 그리고잡음에해당하는재생한 HDR 영상의 radance와원본 HDR 영상의 radance 차이를분자에둠으로써신호대잡음비의역의개념이된다. 그럼으로써식 (8) 의오차가크면재생한 HDR 영상의오차가큰것이고, 오차가작으면재생한 HDR 영상의오차가작은것이다. 3. HDR 영상획득을위한적절한노출시간찾기 HDR 영상획득을위해서영상세장을사용하였다. 이는그림 10에서볼수있듯이일반적으로카메라에서노출시간을다르게해서만들수있는최대의다이내믹레인지를카메라의다이내믹레인지세개로포함할수있기때문이다. 그림 10에서노출시간이짧아질수록카메라는밝기가밝은부분의정보를얻게됨을나타낸다. 영상세장으로 HDR 영상을만들때그세장의최적의노출시간을정하기위해먼저임의의노출시간세개로 HDR 영상을만들었는데, 이때엔 HDR 영상의오차가컸다. HDR 영상의오차가작을때는영상한장의노출시간은카메라의다이내 믹레인지가장면의다이내믹레인지중간이되도록, 그리고다른두장의노출시간은카메라의다이내믹레인지가장면의다이내믹레인지중간에서대칭이되도록했을때이다. 그림 11은영상한장의노출시간은카메라의다이내믹레인지가장면의다이내믹레인지중간, 그리고다른두장의영상은카메라의다이내믹레인지가장면의다이내믹레인지중간에대해대칭이되도록해서 HDR 영상을만들고, 그에대한 HDR 영상의오차를나타낸것이다. 여기서가로축은대칭이되는영상두장의카메라의다이내믹레인지가장면의다이내믹레인지로부터벗어나는정도를나타낸다. 숫자앞에 - 가있는것은영상두장의카메라의다이내믹레인지가장면의다이내믹레인지안에있는것이고, - 가없는것은다이내믹레인지밖에있다는것을나타내는데, 예를들어 -1 은두장의카메라의다이내믹레인지가장면의다이내믹레인지끝으로부터첫번째로안에있는것을나타낸다. 그림 11 에서볼수있듯이두장의카메라다이내믹레인지가장면의다이내믹레인지안에서밖으로갈수록오차는작아지다가어느정점을기준으로다시높아지는경향을가진다. 이는카메라특성곡선으로인한것이고, 그림 12 에서일반적인카메라의응답곡선을나타내었다. 그레이레벨이중간정도일때에는기울기가완만하고, 그레이레벨이 0과 255로양끝에가까울수록기울기는급하다. 기울기가완만할때에는그레이레벨에대해 radance 추정이정밀하지만, 기울기가급할때에는그레이레벨에대해 radance 추정오차가크다. 그림 13에서오차에대한경향의분석을나타내었다. 먼저그림 13 (a) 는 radance 추정민감도가큰그레이레 그림 10. 노출시간에따른카메라의다이내믹레인지 Fg. 10. Dynamc range of the camera accordng to exposure tmes. 0.07 0.06 Relatve err 0.05 0.04 0.03 0.02 Scene 1 Scene 2 Scene 3 Scene 4 Scene 5 0.01 0-3 -1 그림 11. HDR 영상의오차 Fg. 11. The error of the HDR mage. 그림 12. 일반적인카메라특성곡선과 radance 추정민감도 Fg. 12. General camera response curve and radance estmaton senstvty. (99)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 17 (a) (b) (c) (d) 그림 13. 오차의경향의분석 (a) radance 추정민감도가큰그레이레벨을카메라의다이내믹레인지에사상 (b) 두장의영상의노출시간이장면의다이내믹레인지안에있을때 (c), (d) 두장의영상의노출시간이장면의다이내믹레인지밖에있을때 Fg. 13. Analyss of the error tendency. (a) Mappng gray levels of large radance estmaton to a camera dynamc range. (b) Usng two mages nsde dynamc range of scene. (c), (d) Usng two mages outsde dynamc range of scene. 벨의중간부분을카메라의다이내믹레인지에사상한것이다. 카메라의다이내믹레인지안의화살표부분이 radance 추정민감도가큰부분이다. radance를로그스케일로변환했기때문에카메라의다이내믹레인지를나타내는막대와화살표가비선형적이다. 그림 13 (b) 에서는영상세장중한장의영상의카메라다이내믹레인지를장면의다이내믹레인지중간에그리고다른두장의영상은장면의다이내믹레인지안에두고 HDR 영상을만들경우이고, 그림오른쪽부분에 radance 추정민 감도가큰화살표를한평면으로투영시켰다. 이때에화살표부분이장면의다이내믹레인지양끝쪽부분에는존재하지않기때문에 HDR 영상의오차가크다. 그림 13 (c) 는영상두장의카메라다이내믹레인지가장면의다이내믹레인지 8 단계밖에있는경우인데, 이때에는화살표의겹친영역이장면의다이내믹레인지전체에분포하기때문에 HDR 영상의오차가작게된다. 그림 13 (d) 는영상두장의카메라다이내믹레인지를장면의다이내믹레인지에서밖에두되그림 13 (c) 보다더많이밖으로놓는다. 이때에는화살표부분이장면의다이내믹레인지를벗어나기때문에오차가다시증가한다. 이러한이유로세장의영상으로 HDR 영상을만들때, 영상한장의카메라다이내믹레인지는장면의다이내믹레인지중간에두고, 그리고다른두장의영상의카메라다이내믹레인지가장면의다이내믹레인지안에서밖으로갈수록 HDR 영상오차가작아지다가다시커지게되는이유이다. 따라서영상세장으로 HDR 영상을만들때에영상한장의카메라다이내믹레인지는장면의다이내믹레인지중간에오도록하고, 다른두장의영상의카메라다이내믹레인지는장면의다이내믹레인지밖으로대칭적으로약 8단계정도벗어나도록했을때오차가가장작은 HDR 영상을만들수있다. Ⅳ. 실험및결과 실험에는캐논 10D 와코니카미놀타 Dynax 5D 카메라 그림 14. 장면의다이내믹레인지추정 (a) 영상 (b) 추정한장면의다이내믹레인지 (c) 실제장면의다이내믹레인지 Fg. 14. Estmaton of scenc dynamc range. (a) A mage. (b) Estmated scenc dynamc range. (c) Real scenc dynamc range. (100)
18 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득박대근외 표 2. 오차비교 Table 2. Comparson of the error. 노출시간두배의기존의방법 [7 9] 제안한방법 영상수 15 5 (2+3) 오차 0.009 0.026 PSNR 66.22 [db] 63.56 [db] 두대를사용했고, 실외와실내, 그리고낮과밤등장면의다이내믹레인지가넓은장면과그렇지않은장면등여러장면에서사진을찍었다. 그림 14는어두운복도에서창문을바라보는장면이다. 두장의영상으로장면의다이내믹레인지를추정할때, 노출시간이긴 13초에서의최소그레이레벨 45를식 (6) 에대입하면 9단계, 노출 시간이짧은 1/2500 초에서의최대그레이레벨 60을식 (7) 에대입하면 13단계로추정한다. 그림 14 (c) 에서실제장면의다이내믹레인지를나타내었는데장면의다이내믹레인지를정확하게추정한다. Debevec, Robertson, Nayar의방법인노출시간을두배의차이로해서여러장합성한 HDR 영상 [7 9] 중오차가가장작은 HDR 영상과제안한방법의 HDR 영상의오차를비교하였다. 불빛이있는밤의장면에서의예를들면, 노출시간이기존의방법대로두배의차이일때는영상의수가 15장, 제안한방법은영상의수가장면의다이내믹레인지를추정할때 2장, 그리고 HDR 영상을만들때 3장, 합해서 5장이다. 표 2에서결과오차를비교하였는데두배의노출시간의차이를가진영상으로얻은 HDR 영상과제안한방법으로얻은 HDR 영상이큰차이가없음을확인할수있다. 영상의 radance를선형적으로디지털값으로사상한영상을 PSNR로도구하였는데, 비교영상둘다일반적으로원본영상과눈으로차이를확인할수없다고하는 30[dB] 이상이며, 그리고두영상의 PSNR이큰차이가없다. 또한그림 15에서와같이영상으로도두가지의방법이거의차이가없음을확인할수있다. (a) (b) (c) (d) 그림 15. 결과 HDR 영상 (a) 원본 HDR 영상 (b) 노출시간 2배차의영상으로만든 HDR 영상중가장오차가적은영상 (c) 제안한방법의 HDR 영상 (d) (b) 와 (c) 방법에서사용된영상의카메라다이내믹레인지 Fg. 15. The resultant HDR mage. (a) The orgnal HDR mage. (b) Best result n HDR mages wth double every exposure tmes. (c) The proposed method. (d) Dynamc range of a camera correspondng to used mages n (b) and (c) method. (101)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 19 Ⅴ. 결론 본논문에서는일반디지털카메라로 HDR 영상을얻을때기존의방법에비해효율적인방법을제안하였다. 기존의방법에서는장면의다이내믹레인지를모르기때문에많은수의영상을필요로한다. 본논문에서는노출이다른두장의영상정보를사용하여장면의다이내믹레인지를추정하였다. 노출시간의변화에따라카메라의다이내믹레인지가변하고, 카메라의다이내믹레인지가장면의다이내믹레인지를벗어날때영상의그레이레벨의최대값과최소값이일정한경향을가지고변화하는데, 이런경향을모델링함으로써장면의다이내믹레인지를추정하였다. 그리고추정한장면의다이내믹레인지를이용하여카메라의다이내믹레인지가중복되는부분을줄임으로써필요한영상의개수를줄였다. 카메라에서노출시간을바꿈으로써만들수있는최대의다이내믹레인지를카메라의다이내믹레인지세개로포함할수있기때문에본논문에서는영상세장으로 HDR 영상을획득하였다. 가상카메라영상을만들어 HDR 영상을평가하였는데, 기존의방법으로얻은 HDR 영상과제안한방법으로얻은 HDR 영상의오차의차가크지않으며제안한방법이효율적임을확인하였다. 참고문헌 [1] M. Y. Lee, C. H. Son, J. M. Km, C. H. Lee and Y. H. Ha, Illumnaton-Level Adaptve Color Reproducton Method wth Lghtness Adaptaton and Flare Compensaton for Moble Dsplay, Journal of Imagng Scence and Technology. Vol. 51, No. 1, pp. 44 52, Jan.-Feb., 2007. [2] B. Wandell, P. Catrysse, J. DCarlo, D. Yang and A. E. Gamal, Multple Capture Sngle Image wth a CMOS Sensor, Chba Conference on Multspectral Imagng, pp. 11-17, 1999. [3] A. O. Akyüz and E. Renhard, Color appearance n hgh-dynamc-range magng, Journal of Electronc Imagng Vol. 15, Issue 3, Jul. Sep. 2006. [4] E. A. Khan, A. O. Akyuz and E. Renhard, Ghost Removal n Hgh Dynamc Range Images, IEEE Internatonal Conference on Image Processng, Atlanta, USA, Oct. 2006. [5] K. Devln, A revew of tone reproducton technques, Tech. Rep. CSTR-02-005, Department of Computer Scence, Unversty of Brstol, Nov. 2002. [6] S. Mann and R. Pcard, Beng Undgtal wth Dgtal Cameras: Extendng Dynamc Range by Combnng Dfferently Exposed Pctures, Proc. of IST s 48th Annual Conference, pp. 422 428, May. 1995. [7] P. E. Debevec and J. Malk, Recoverng Hgh Dynamc Range Radance Maps from Photographs, Proc. of ACM SIGGRAPH, pp. 369 378, 1997. [8] M. A. Robertson, S. Borman and R. L. Stevenson, Estmaton-theoretc approach to dynamc range enhancement usng multple exposures, Journal of Electronc Imagng Vol. 12, Issue 2, pp. 219 228, Apr. 2003. [9] T. Mtsunaga and S. K. Nayar, Radometrc Self Calbraton, Proc. of Computer Vson and Pattern Recognton, pp. 374 380, Jun. 1999. [10] E. Renhard, G. Ward, P. Debevec, and S. Pattanak, Hgh Dynamc Range Imagng: Acquston, Dsplay, and Image Based Lghtng, Morgan Kaufmann, San Francsco, CA, 2005. [11] S. Battato, A. Castorna and M. Mancuso, Hgh dynamc range magng for dgtal stll camera: an overvew, Journal of Electronc Imagng Vol. 12, Issue 3, pp. 459 469, Jul. 2003. [12] H. Hanesh, S. Myahara and A. Yoshda, Image Acquston Technque for Hgh Dynamc Range Scenes Usng a Multband Camera, Color research and applcaton Vol. 31, Issue 4, pp. 294-302, Aug. 2006. [13] M. D. Grossberg and S. K. Nayar, Hgh Dynamc Range from Multple Images: Whch Exposures to Combne?, ICCV Workshop on Color and Photometrc Methods n Computer Vson, Oct. 2003. [14] L. Cerman and V. Hlaváĉ, Exposure tme estmaton for hgh dynamc range magng wth hand held camera, Computer Vson Wnter Workshop, Feb. 2006. (102)
20 다중노출복수영상에서장면의다이내믹레인지추정을통한 HDR 영상획득박대근외 저자소개 박대근 ( 학생회원 ) 2005 년 8 월경북대학교전자전기공학부졸업. 2007 년 8 월경북대학교전자전기컴퓨터학부석사졸업. 2007 년 8 월 ~ 현재삼성테크윈. < 주관심분야 : 칼라영상처리, 카메라화질향상 > 박기현 ( 학생회원 ) 대한전자공학회논문지제 43 권 SP 편제 6 호참고 하영호 ( 정회원 ) 대한전자공학회논문지제 38 권 SP 편제 3 호참조 (103)