56 입출력특성곡선에기초한 Look-Up Table 방식의자동노출제어이태형외 논문 2010-47SP-4-8 입 출력특성곡선에기초한 Look-Up Table 방식의 자동노출제어 (Auto-Exposure Control using Loop-Up Table Based on Scene-Luminance Curve in Mobile Phone Camera ) 이태형 *, 경왕준 *, 이철희 **, 하영호 *** * (Tae-Hyoug Lee, Wang-Jun Kyung, Cheol Hee Lee, and Yeong-Ho Ha ) 요 약 자동노출제어는카메라에서연속적을입력되는영상의밝기를유지하기위하여적절한센서이득혹은노출결정하는것을이야기한다. 최근노출제어는영상의정보보다는하드웨어적장치를적용하나, 모바일폰카메라에서영상의평균밝기와센서이득혹은노출만을이용한다. 또한모바일장치의하드웨적성능고려하여야하며, 부적절한제어로발생하는 flicker 현상을제거하여야한다. 따라서제안된자동노출제어는 flicker 현상의제거및실시간수행을위하여입 출력특성곡선에기초한 Look Up Table(LUT) 을사용한다. 제안된방법에서는선행작업으로카메라의센서이득에따른입력과출력특성을 LUT 로만들어저장한다. 노출제어에있어서먼저저장된 LUT 의정보와현재의센서이득을통하여현재입력영상에상응하는패치를추정한다. 그리고추정된패치와 LUT 의정보를또다시이용하여추정된패치가목표밝기를가질수있도록하는최종적인센서이득을추정할수있게된다. 제안된방법은 LUT 를사용함으로써다음프레임의센서이득을실시간으로추정할수있고, 또한반복적수행없이정확한센서이득을추정함으로써 flicker 를제거할수있다. 실험결과영상에서제안된방법이실시간으로자동노출제어를할수있음을확인하였다. Abstract Auto-exposure control automatically calculates and adjusts the exposure for consecutive input image. Recently, this is usually controlled by the sensor gain, however, unsuitable control causes oscillation of luminance for sonsecutive input images, called as flickering. Also, in mobile phone cameras, only simple information, such as the rage luminance value, can be utilized due to coarse performance. Therefore, this paper presents a new real-time AE control method using a Look Up Table(LUT) based on Scene-Luminance curves to avoid the generation of flickering. Prior to the AE control, a LUT is constructed, which illustrates the characteristic of outputs for input patches corresponding to sensor gains. The AE control is first performed by estimating a current scene as a patch using the proposed LUT. A new sensor gain is then estimated using also LUT with previously estimated patch. The entire estimation process is performed using linear interpolation to achieve real-time execution. Based on experimental results, the proposed AE control is demonstrated with real-time, flicker-free. Keywords : 자동노출제어, Look Up Table, Flicker, 입출력특성곡선, 모바일카메라, ISP * 학생회원, *** 정회원, 경북대학교전자전기컴퓨터학부 (School of Electronics Engineering, Kyungpook National University) ** 정회원, 안동대학교컴퓨터공학전공 (Computer Engneering, Andong National University) 본연구는 2010년도정부 ( 교육과학기술부 ) 의재원으로한국과학재단의지원을받아수행된연구 (No. 2010-0000401) 임. 접수일자 : 2010년1월12일, 수정완료일 : 2010년6월21일 (427)
2010 년 7 월전자공학회논문지제 47 권 SP 편제 4 호 57 Ⅰ. 서론영상획득장치에서 ISP(image signal processor) 는자동노출제어, 자동초점제어, color interpolation, 잡음제거, 자동화이트밸런스등의과정을포함한다 [1~3]. 이들과정에서자동노출제어는지속적인입력영상에대하여목표되는밝기를유지하도록설계되며, 부적절한노출제어로인해발생되는플리커 (flicker) 를발생시키지않아야한다. 카메라의경우이러한노출제어는센서이득의제어를통해수행된다. 즉, 어두운영상의경우높은센서이득이적용되고, 밝은영상의경우낮은센서이득이적용되어다음입력영상이목표휘도를갖도록동작한다. 실용적이면서도단순한자동노출제어기술은비례제어를적용하는것이다. 이는입력영상의평균밝기와출력영상의평균밝기의비례와센서이득간의곱을이용하는방법으로대표적인기술은삼성과코아로직등많은곳에서사용한다 [4~5]. 그러나이방법들은반복적인수행이필요하고, 플리커를발생시킬수있는단점이있다. 이러한현상을피하기위해최근에는자동초점값, 양자화에러등을적용하여노출과연관시켜자동노출제어를수행하는방법들이연구되었다. 또한 LUT를사용함으로써수행속도를줄이는방법들이제시되나, 이러한방법들은장비에의존적인값을가짐에따라새로운장비에대해서필요로하는값들을새롭게획득하고, 또한다른장비에서도쉽게적용될수있는지에대한신뢰성여부가떨어진다. LUT를사용하는경우또한, 새로운장비에대하여정보를생성하는데긴시간을필요로한다. 따라서본논문에서는실시간적용이가능하며, 한번의수행을통해자동노출제어를행함으로써플리커를제거할수있는방법을제안한다. 입 출력특성곡선에기초한 LUT를사용하며, 수행에앞서평균밝기가같은영상과회색계조패치는동일하다는가정을한다. 이는모바일폰카메라에서는영상의평균값만을사용하여노출제어를하기때문이다. 따라서 LUT는센서이득에대하여입력패치와그에상응하는출력평균밝기의관계를가진다. 자동노출제어를위해서, 먼저현재입력영상에대하여평균밝기와센서이득을통해현재영상에상응하는패치를 LUT로부터추정한다. 다음으로현재추정된패치가목표밝기를갖게하기위한센서이득의추정한다. 이또한 LUT 정보를 이용하면추정된패치가목표밝기를갖게할수있는최종적인센서이득의추정가능하다. 제안된방법은한번의수행으로새로운센서이득을획득함으로써플리커현상을없앨수있고, 또한실시간수행이가능하다. 그리고수정없이사용자의목표밝기를바꿀수있는특징이있다. Ⅱ. 제안된자동노출제어 1. 제안된 LUT 의생성 제안된자동노출제어에서입 출력특성곡선에기반한 LUT는카메라의센서이득에대하여회색계조패치들에대한출력평균밝기와의관계를저장한것이다. 이를위해서본논문은먼저동일한평균밝기를가지는영상과패치는같다는가정을한다. 이러한가정은현재모바일폰카메라의성능및비용에대한하드웨어의성능을고려하였을때, 영상의전체정보를저장하지못하고, 평균밝기, 센서이득의값으로만노출제어를수행하여야함으로카메라에서는영상을이차원의공간적정보가아닌하나의상수값인평균밝기값으로인지를하게되기때문이다. 다음으로회색계조패치들또한각각을하나의값으로나타낼수있다. 즉, 회색계조패치를상수의값으로표현함으로써영상의평균에대응하는값으로정의하고, 검정색에서흰색까지패치는카메라의모든입력영상을대신할수있다. 앞서의가정은센서를통해획득되는 Bayer 영상의값과평균휘도의관계에서증명된다. (1) 여기서 R 은반사율, I는광원, F는센서의감도, λ는파장을나타내고, i는각 R, G, B 채널을나타낸다. 또한 x와 y는영상이가지는각픽셀을나타내고, q는카메라에서 Bayer 패턴을가지는영상에서디지털값을획득하기위한함수를나타내며, SG는센서이득을나타낸다. 이값을기반으로영상의평균밝기는다음의수식으로계산된다. (2) 여기서 Y 는평균휘도를나타내고, M 과 N 는영상 (428)
58 입출력특성곡선에기초한 Look-Up Table 방식의자동노출제어이태형외 SG 3000, 295 R G G B R + 2G + B 30000 SG n SG n 1 2 R G G B R + 2G + B 30000 SG 3000, 295 암실 Black to white 패치 2 2 SG 6000, 590 SG 6000, 590 그림 1. 센서이득에따른영상과패치의평균밝기 Fig. 1. Average luminance for image and patch according to sensor gain. 그림 2. LUT 생성을위한실험환경 Fig. 2. Circumstance of measurement for LUT. 의크기를나타낸다. 이수식을그림 1의경우에적용하여하나의패치와하나의영상에대한관계를살펴보면, 먼저위의그림에서두영상의모양은다르더라도동일한센서이득에대하여동일한휘도가나온다고가정할수있다. 이때, 센서이득이바뀔경우모든픽셀에대하여같은값이적용됨으로패치에대한밝기의증가량과 영상에대한밝기의증가량이식 (1) 과 (2) 에의해동일한비율로증가함을확인할수있다. 위의가정을바탕으로제안된 LUT는센서이득에대한입력영상의출력평균휘도를정보로써가지며, 이는그림 2와같이센서의측정을통해획득될수있다. 먼저 Macbeth chart를이용하여입력영상에상응하는회색계조패치를준비한고, 광원부스에 D65 광원을사용하여설치하고측정한다. 노출제어에서사용되는정보는영상의평균밝기임으로어떠한광원을쓰더라도상관이없다. 사용되는회색계조패치는 6단계로되어있으며본논문에서는그값을 0~255까지로 51의간격으로두어편의성을확보하였다. 또한흰색패치보다밝은물체인광원에대한값을 306으로가정하였다. 이는응용에따라그범위와값을다르게할수있다. 다음으로측정에사용되는센서이득은 11단계로나 그림 3. LUT의정보를나타내는 S L 특성곡선 Fig. 3. S L curve from LUT information. 누어선형적인 LUT의형태를획득할수있도록하였다. 단계는사용자에의해임의로나눠질수있으며, 짧은간격을사용할수록정확성에서이점을확보할수있다. 측정의결과는그림 3에서와같이입 출력특성곡선을가지는형태로나타난다. 그림에서가로축은패치를나타내고세로축은측정결과를나타낸다. 이특성곡선은모든계조패치의단계즉, 모든입력에대하여센서이득에대한출력평균밝기의정보를담고있는것을확인할수있으며, 다음의 2차원함수로표기될수있다. (3) 여기서 a는센서이득의단계를나타내고, b는회색계조패치의단계를나타낸다. 따라서 2D LUT의크기는 a b 의크기로나타난다. 2. LUT 를사용한자동노출제어 LUT를사용하여수행되는제안된자동노출제어의흐름도는그림 4와같다. 먼저현재의평균밝기가목표 Input facors as Y Y Y > Y tar Estimation of P by Y es Estimation of SG es Sensor by Y,SG threshold Yes P curve with Y SG curve with P in LUT es No in LUT 그림 4. 제안한알고리즘의흐름도 Fig. 4. Diagram for proposed method. Application of previous SG es (429)
2010 년 7 월전자공학회논문지제 47 권 SP 편제 4 호 59 -P SGin SG 10 SG 9 P es P 2 SG 8 SG 7 SG 6 SG 5 SG 4 SG 3 SG 2 SG 0 그림 5. 현재영상에대한패치의추정 Fig. 5. Estimation of patch for input scene. 밝기와동일한값을가지고있는지를확인하고, 목표밝기와차이가문턱값이상일경우노출제어를수행한다. 다음으로현재센서이득과입력영상의평균밝기, LUT 정보를통하여현재영상에상응하는회색계조패치를추정한다. 그리고추정된패치와 LUT를사용하여현재영상이목표밝기를가질수있도록하는센서이득을추정하는것이다. SG 1 나. 목표밝기를갖기위한최종센서이득 최종센서이득을추정하기위하여필요한요소는추정된패치값 (P 2 ) 와목표밝기 (Y tar ) 와 LUT의정보이다. 이때 LUT P 를 tanspose 하여나타내면그림 6과같으며 transpose 된 LUT P 는 LUT T P 로표기한다. 여기서 LUT T P 는회색계조패치에대한모든센서이득의평균밝기의정보를가지고있음을확인할수있고, 패치와목표밝기에대한정보를알수있다면패치가목표밝기를갖게하기위한센서이득을계산할수있음을알수있다. 앞의예제와연결하면추정된패치 (P 2) 에대하여주어진 LUT T P 에서 ~ SG Pes 의함수를추정할수있고, 이는다음의수식표현한다. (5) 마지막으로현재패치가가지는평균밝기가목표휘 P 6 P 5 P 4 P 3 Y-SG Pes 가. 현재영상에상응하는회색계조패치의추정 입력영상에상응하는회색계조를추정은그림 5에나타난다. 먼저입력영상의평균밝기 ( ) 와센서이득 (SG 9) 이주어진다. 이러한경우 LUT P 에서추정이가능한정보는 ~ P SGin 의함수로써 SG 9 의센서이득이주어졌을때 를나타낼수있는유일의특성곡선으로다음의수식에나타난다. (3) 이수식은계산의복잡성을줄이기위하여부분적인선형보간법을사용한특성곡선의추정을설명한다. 추정된함수를통하여현재센서이득과평균밝기값을적용하여역으로패치를추정을하게되면현재영상과동일한평균밝기를가지는패치 (P es P 2 ) 를다음의수식으로추정할수있다. (4) Y tar SG es 그림 6. 새로운센서이득의추정 Fig. 6. Estimation of sensor gain. 800 Y tar SG 20480 그림 7. 실시간수행을위한적용. Fig. 7. Execution for real time. P 2 P curve P es 136 P 1 P 0 SG 10000 SG curve SG es es 6358 (430)
60 입출력특성곡선에기초한 Look-Up Table 방식의자동노출제어이태형외 도를가질수있도록하는최종센서이득 (SG es) 는그림 6에서화살표로표시되며이를수식으로표현하면아래와같다. (6) 제안된센서이득의추정과정은 LUT를사용하여한번의수행으로이루어짐에따라 flicker 현상을제거할수있고, LUT의형성또한간단하다. 또한선형보간법을사용하여자동노출제어를한결과큰오차없이실시간수행이가능하다. 3. 실시간제어를위한 LUT 의사용 제안된과정을수행하는데있어모바일폰카메라의경우그성능의한계가있으므로실시간으로수행할수있는방법을그림 7을통해설명한다. 그림에서첫번째의패치를추정함에있어수행되는것은 LUT P 에서 ~ P SGin 특성곡선을추정하는과정이다. 이때 LUT P 에서현재센서이득과영상의평균밝기값에해당하는가장가까운 4개의점을찾고, 선형보간방법을사용하여 ~ P SGin 특성곡선추정하고, 추정된특성곡선에서회색계조패치를결정한다. 이는그림 7의위쪽부분에서특성곡선및패치를추정하는과정이나타나있다. 이와마찬가지로최종센서이득을추정할때도추정된패치와목표밝기에해당하는가장가까운 4개의점을사용하여 ~ SG Pes 의특성곡선을추정하고, 이곡선으로부터현재패치가목표휘도를가질수있는센서이득을계산한다. 22 4 SG es1 105000 7 SG es2 6000 4. 포화영역에서의자동노출제어 제안된자동노출제어의경우한번의수행으로적절한센서이득을추정하게된다. 그러나포화영역의경우특성곡선을따르지않아한번의수행으로목표휘도를찾기는어렵다. 이러한경우는제안된방법을한번더수행함으로써해결이가능하다. 이는그림 8에그과정이나타나며, 제안된방법의수행결과대부분의경우 2 번의반복수행으로목표밝기를찾을수있다. Ⅲ. 실험및결과 실험은동일한모듈을사용하여기존의두가지방법에대하여수행속도와정확성을비교를하였다. 비교를위한방법은비례제어방법을사용하여필요한반복적인횟수를비교하고, 센서이득이적용된후획득되는영상의평균밝기와목표밝기와의차이를사용한다. 그림 9(a) 는입력영상이목표밝기를찾는데수행되는반복횟수에대한결과로써 2가지비례제어방법을고려하였으며그에대한방법은아래의수식으로나타난다 [4~5]. (7) (8) 여기서 SG es 는최종적으로추정된이득을나타내고, SG i 는센서입력을, S c 는현재이득값을나타낸다. 제안된방법은 1회혹은포화된영역에서만 2회의반복횟수를필요로함으로기존의 3회이상적용이필요한비교제어방법에비해우수함을알수있다. 그림 9(b) 는센서이득이적용된입력영상의평균밝 53 Y tar 1 1(stable) P1 6 P3 3 P2 그림 8. 포화영역에서의자동노출제어 Fig. 8. Gain control for saturated area. (a) (b) 그림 9. 기존의방법들과의비교. (a) 반복횟수및 (b) 정확성비교 Fig. 9. Comparison of (a) iteration and (b) accuracy. (431)
2010 년 7 월전자공학회논문지제 47 권 SP 편제 4 호 61 로결정된센서이득은현재영상이목표밝기에거의근접할수있도록적용됨을확인하였다. 참고문헌 (a) (b) 그림 10. 결과영상. (a) 자동노출제어가동작하기전의영상, (b) 자동노출제어후의결과영상 Fig. 10. Resulting image. (a) without auto expsoure control and (b) with proposed method. 기와목표영상의밝기를비교하여그정확성을비교하였다. 다른방법들에비하여목표밝기에가깝게다가감을알수있다. 그림 10은제안된방법을수행한결과영상을나타내며왼쪽영상, 11(a) 는노출제어전고정된센서이득으로획득된영상을나타내고, 11(b) 는제안된노출제어방법이적용된후의영상을나타낸다. 결과영상에서입력영상의평균밝기를항상목표휘도로조절하여영상이잘보임을확인할수있다. [1] Arch C. Luther, Video Camera Technology, Artech House, Boston London,1998. [2] G. C. Holst, CMOS/CCD SENSORS AND CAMER ASYSTEMS, JCD Publishing and SPIEPRESS, 2007. [3] J. S. Lee, Y. Y. Jung, B. S. Kim, and S. J. Ko, An advanced video camera system with robust AF, AE and AWB control, IEEE Transactionson on Consumer electronics, vol. 47, no, pp. 694-699, 2001. [4] 전성천, 이미지센서의노출조절장치및그의조절방법, 특 10-0639111, 한국, 2006. [5] 박준영, 자동노출제어장치및방법 특 10-2006-0087661, 한국, 2005. [6] MarkGamadia, Low Light Auto Focus Enhancement for Digital and Cell Phone Camera Image Pipelines, IEEE Transactionson on Consumer electronics, vol. 53, no, pp. 249-257, 2007. Ⅳ. 결론 제안된입 출력특성곡선에기초한 LUT를사용한자동노출제어는카메라에서입출력특성과센서이득의관계를측정을통하여저장하고이를응용하여지속적으로입력되는영상이항상목표밝기를가질수있도록하는알고리즘이다. 이러한방법은 LUT를기반으로함으로써반복적수행을제거하여 flicker 현상이나타나지않도록하였으며, 실시간수행을위한방법을고려하였다. 또한 LUT의형성이쉽고, 다른장치에서도쉽게적용이가능하며, 목표밝기의설정에있어서사용자에맞게쉽게조절할수있다. 결과영상에서최종적으 (432)
62 입출력특성곡선에기초한 Look-Up Table 방식의자동노출제어이태형외 저자소개 이태형 ( 학생회원 ) 2005 년경북대학교전자전기컴퓨터학부 ( 공학사 ). 2007 년경북대학교전자전기컴퓨터학부 ( 공학석사 ) 2007 년 ~ 현재경북대학교전자전기컴퓨터학부박사재학중 < 주관심분야 : 칼라영상처리, 칼라어피어런스, 자동노출제어, HDR, 영상화질 > 경왕준 ( 학생회원 ) 2007 년안동대학교컴퓨터공학과 ( 공학사 ) 2010 년경북대학교전자전기컴퓨터학부 ( 공학석사 ) 2010 년 ~ 현재경북대학교전자전기컴퓨터학부박사재학중 < 주관심분야 : 컬러영상처리, 영상화질평가 > 이철희 ( 정회원 ) 1995 년경북대학교전자공학과졸업 ( 공학사 ). 1997 년경북대학교대학원전자공학과졸업 ( 공학석사 ). 2000 년경운대학교컴퓨터공학부전임강사 2003 년 ~ 현재안동대학교컴퓨터공학전공부교수 < 주관심분야 : 칼라영상처리, 프린팅, 디스플레이색재현 > 하영호 ( 정회원 ) 대한전자공학회논문지제 38 권 SP 편제 3 호참조 (433)