메가픽셀급초광각렌즈의왜곡영상보정과화질분석 강민구 * 이재선 ** 이우섭 *** Distortion Calibration and Image Analysis of Megapixel Ultrawide-angle Lens Min-goo Kang* Jae-son Lee** Ou-seob Lee*** 이논문은 2013 년도한신대학교연구비와중소기업청, 지식경제부및 KORIL 재단 l 사업의지원받았음 요 약 본논문에서는렌즈화각 150 도이상의메가픽셀급렌즈가획득한영상이통형왜곡을보정하는광각렌즈모듈의설계를제안한다. 이로서초광각렌즈에서획득된영상은 WDR(Wide dynimic range) 2 메가급 CMOS 이미지센서데이터를통해초광각영상의왜곡영상을보정하는 2 메가급카메라모듈의왜곡영상의화질을개선한다. ABSTRACT In this paper, the lens module of mega pixel type was designed for barrel distortion calibration due to the barrel distortion of ultra wide angle. And the performance of this camera module was improved with the images from wide dynamic range 2 megapixel CMOS image sensor. 키워드초광각용렌즈, 메가픽셀렌즈, CMOS 이미지센서, WDR(Wide dynimic range) Key word Ultra Wide Angle Lens, Mega Pixel Lens, CMOS Image Sensor, WDR *** 종신회원 : 한신대학교정보통신학부 ( 교신저자, kangmg@hs.ac.kr) *** 정회원 : 해성옵틱스 ( 주 ) *** 정회원 : 멀티펠스 ( 주 ) 접수일자 : 2012. 04. 02 심사완료일자 : 2012. 04. 09 Open Access http://dx.doi.org/10.6109/jkiice.2013.17.3.597 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Copyright C The Korea Institute of Information and Communication Engineering.
한국정보통신학회논문지제 17 권제 3 호 Ⅰ. 서론기존의어안렌즈에서획득한영상의파노라마복원알고리즘개발로어안렌즈에서획득한영상은통형왜곡 (barrel distortion) 이심하여영상의중앙에서떨어진물체의이동은파악하기어려움이있다. 통형왜곡 (barrel distortion) 이심한영상에서는동일크기의물체가일정한움직임을보이더라도획득하는위치에따라서상이한차이를보이게된다. 하지만, 통영왜곡이보정된영상에서는제한된공간에서의움직임이유사한크기를보이게됨으로움직임감지기능이훨씬수월하게파악할수있다. 센서중앙과가장자리에위치한물체의움직임감지기술과파노라마영상에서의물체추적이가능하다. 본논문에서는양선형보간법알고리듬에의한광각어안렌즈의영상보정모듈설계결과로차량용후방카메라와광각카메라, 네트워크카메라의감시및보안시장에활용이가능하다 [1]. Ⅱ. 광각렌즈와왜곡보정사례분석및설계 2.1. 광각렌즈와영상왜곡사례분석 2.1.1. 어안렌즈 (Fish-eye Lens) 의영상특성분석어안렌즈는보통의렌즈보다초점이짧은광각 ( 廣角 ) 렌즈의한종류로서빛이물속으로입사 ( 入射 ) 할때굴절하므로, 물고기가물속에서수면을보면, 180 의시야라생각되는데서이유래한다 [2]. 한영역에원하는일정각도의피사체를담을수있기때문에 ( 그림 3) 과같이어안렌즈를장착한여러대의카메라로촬영을하여거리의모습을담는 Full View기술이나한대의 360 어안렌즈카메라로전후방보안감시를위한 CCTV 시스템에활용된다. 2.1.2. 왜곡보정 (Distortion Calibration) 어안렌즈에서획득한영상의파노라마복원알고리즘의구현을위해어안렌즈에서획득한영상은파노라마로영상을복원시수평화각 180도유지하고, 수직에지선명도와복원정도가원만히구현되어야한다. 이러한움직임감지기능을구현하기위해서는광각렌즈의통형왜곡이심한영상에서는동일크기의물체가일정한움직임을보이더라도획득하는위치에따라서상이한차이를보이게된다 [1][2]. 하지만, 통영왜곡이보정된영상에서는제한된공간에서의움직임이유사한크기를보이게됨으로움직임감지기능이훨씬수월하게파악할수있어야영상입력센서 CMOS의중앙과가장자리에위치한물체의움직임을감지할수있고, 파노라마영상에서의물체를추적할수있다. 광각렌즈에의한영상보정을위한영상처리를위해서 ( 그림 3) 과같이공간상의한직선을단위구상에사영하면대 ( 大 ) 원으로되고, 이를다시구위의한평면에정사영 (orthographic project) 하면타원으로나타난다 [1]. 그림 1. 180 영상사례 Fig. 1 180 Image 그림 2. 360 영상사례 Fig. 2 360 Image 그림 3. 구형좌표의정사영투영분석활용사례 Fig. 3 Orthographic project of spherical coordinates 598
메가픽셀급초광각렌즈의왜곡영상보정과화질분석 타원의중심은광학중심 (optical center) 이되고그장축의반경은초점거리 (focal length) 가된다. 광학중심와초점거리를구한다음어안렌즈가반구와거의같다고보고반구에서반구위에놓여있는평면으로투영 (projection) 연산을수행해서영상을보정한다. 즉구위의픽셀들을사각형평면위로투영시키며, 이때발생할수있는공간 (hole) 은보간법을이용한보정이필요하다 [3]. 후방카메라용어안렌즈영상의굴곡을본래의이미지로보정해주는작업으로각렌즈의광학중심과초점거리를알아야정확한왜곡보정을할수있으며광학중심과초점거리를구하기위한실험이필요하므로먼저기존에촬영된어안이미지를이용한왜곡보정알고리즘을연구가필요하다 [4]. 의기하학적처리를수행할수있을것으로보인다. 영상픽셀의이동으로인한픽셀의 Hole이나계단현상은양선형보간법을이용한보정기술로영상보정을수행하는순서는다음과같다 [6]. 1. 격자무늬패턴을라플라시안, 소벨, 프리위트등을이용하여에지 (Edge) 를추출한다. 2. 추출된에지영상중수평축의최외곽에지선의픽셀좌표값을추출한다. 3. 추출된최외곽선에서카메라렌즈의중심과가장가까운점을선택 ( 추출 ) 한다. 4. 선택된점을기준으로카메라의중심과직각을이루는직선을생성하고생성된직선과왜곡된왜곡선과의각픽셀에대한수직변위를추출하여왜곡변환테이블에저장한다. 5. 수직축도이와같이수평변위를생성한다. 6. 동일하게에지좌표값으로 LUT를생성한다. 그림 4. 왜곡보정의활용사례분석 Fig. 4 Application analysis of distortion calibration 어안렌즈이미지는일정한굴곡률을갖는데먼저이미지변환을위한마스크를이미지상의계산지점에올려놓은후기하학적영상변환을이용하여이동및확대를하게되는과정을수행한다 [4]. 그림 5. LUT 생성순서활용분석 Fig. 5 Application analysis of LUT Process 이렇게추출한격자선들의수직변위를역으로변형한후이를보정방법에의하여수정하면왜곡이보정된출력영상을표시할수있다. 2.2. 양선형왜곡보정알고리듬설계분석양선형보간법을이용한왜곡보정알고리즘에사용된기법으로마스크기법과양선형보간법을이용한영상픽셀의산술적연산처리가필요하다 [5]. 2.2.1. 마스킹기법기반의 LUT 변형포맷사례활용양선형보간법을위한마스크기법은영상의마스크를씌워왜곡된영상의굴곡윤곽선을추출해내고이윤관선과중심축의수평, 수직선과의변위를계산하여역상의굴곡을계산하여룩업테이블에저장한다. 저장된룩업테이블값을이용하여산술적연산을이용한영상 그림 6. 마스킹기법을이용한보정활용분석 Fig. 6 Calibration analysis with Masking tech 599
한국정보통신학회논문지제 17 권제 3 호 2.2.2. 양선형보간법설계왜곡보정알고리즘구현을위한양선형보간법은실수좌표를둘러싸고있는네개의픽셀값에가중치를곱한값들의선형합으로결과영상의픽셀값을구하는방법으로서최근방이웃보간법에비하여느린편이지만계단현상이많이감소하는방법이다. 양선형보간법은새로운화소를생성하기위해네개의가장가까운화소들요구한다는점이다르다. 그림 7. 양선형보간법기반의데이터취득구조 Fig. 7 Data acquisition of bilinear interpolation 본논문에서는 MFC/OpenCV/CDIB를이용한양선형보간법기반의영상분석을위해 DIB(Device Independent Bitmap) 클래스의경우비트맵파일을이용한그래픽처리기능과 BITMAPINFO 구조체를이용한이미지 Width, Height, 비트사이즈, 비트압축률등등의정보를활용하며, 구조체내의 RGBQUAD 구조체를이용한컬러영상을처리한다 [6][7][8]. Ⅲ. 초광각 /2M 카메라설계와영상결과분석 본논문에서는왜곡영상보정알고리즘을이용하므로초광각렌즈의단점인왜곡수차를보완하여선형이미지로구현함으로써, 주변부에나타나는이미지의왜곡을줄여식별성을높도록메가급초광각렌즈를 ( 표 1) 와같은규격으로설계하였다. 표 1. 설계한 2 메가급초광각렌즈모듈의규격 Table. 1 Spec for 2M wideangle lenz module 1. 렌즈화각 180 이하 176 2. 해상력 (40%) 중심 :110lp/mm 0.7F:70lp/mm 중심 :110lp/mm 0.7F:70lp/mm 3. Total Length 15mm이하 12.40mm 4. BFL (Back Focal Length) 2.0mm이하 1.98mm 5. 렌즈밝기 F2.0이하 F2.2 6. 왜곡보정오차 -5% 이하 -0% 7. 센서픽셀 2Mega이하 2Mega 8. Operating 온도 -20 ~ +80-20 ~ +60 아울러아래 ( 그림 9) 와같이설계한초광각렌즈의설계모듈이다. 또한, 해상력의경우 VGA급에서 Mega급으로변화하는상황에서왜곡보정으로나타나는주변부해상력저하현상을보완하였다 [10]. 2.2.3. 영상회전법설계좌 / 우영상의회전법처리를위한기능블록으로 L, R 채널의영상데이터를회전스캔하여데이터에이전트인블록으로뿌려준다. 회전블록은메모리버스로부터읽고로테이션된데이터를다시메모리로써주는동작을실행한다. 회전된영상데이터는그동작및구조는아래그림과같다 [9]. 그림 8. 회전법기반의데이터변환분석 Fig. 8 Rotation based data conversion 그림 9. 2- 메가픽셀. 초광각렌즈모듈 / 블럭도 Fig. 9 2-megapixel/wideangle lens module 600
메가픽셀급초광각렌즈의왜곡영상보정과화질분석 그림 10. 초광각렌즈의왜곡보정위한형식변환 Fig. 10 Format conversion for distortion calibration of wide-angle lens 그림 11. 왜곡보정위한초기값설정흐름도설계 Fig. 11 Dstortion calibration for initial value 그림 13. 왜곡보정영상의결과비교 Fig. 13 Image comparison of distortion calibration Ⅳ. 결론 그림 12. 왜곡보정위한전체흐름도설계 Fig. 12 Flowchart of distortion calibration 본논문에서 ( 그림 13) 처럼초광각 2 메가픽셀렌즈기반의카메라모듈은제한된공간에여러대의카메라를설치하지않고넓은범위의공간을관찰할수있는특징이있다. 또한, 기존광각렌즈의왜곡수차로인하여초광각렌즈를활용하는데있어서많은제약이있었으나양선형보간법을활용한초광각렌즈를보정할수있는왜곡영상의보정모듈을설계하였다. 이로서고해상도광각렌즈기반의 CCTV 또는자동차용전, 후방카메라등에적용가능한기술로서여러대의카메라가필요했던범위촬영을한대의카메라로해결할수있다. 또한, 카메라화질개선과메가픽셀급영상입력센서 601
한국정보통신학회논문지제 17 권제 3 호 와의결합한전방향카메라 (All around view) 등미래차량용영상시스템에활용을기대한다. 저자소개 강민구 (Min-goo Kang) 감사의글본연구는 2013년한신대학교학술연구비지원과중소기업청미래선도기술혁신과제 (SA112834) 및한국. 이스라엘재단지원과지식경제부글로벌전문기술개발사업 (10043506) 지원사업결과의일부로, 관계부처에감사드립니다. 참고문헌 [1] 이승우, 김남, 송영준, 박태형, 권오욱," 양선형보간법을이용한입체영상의키스톤왜곡보정," 한국광학회 2007년도동계학술발표회논문집 2007, 2007.01.01 [2] 이승우, 송영준, 김남, "3차원입체영상에서양선형보간법을이용한키스톤왜곡보정," 한국콘텐츠학회종합학술대회논문집. Vol. 4 no. 2, 2006. 11.30 [3] 이재성외, 다중섬광결정을이용한고해상도 PET 의불균일 / 불완전데이터보정기법연구, Nucl Med Mol Imaging, Vol. 42, No. 1, Feb 2008 [4] 신병석, 리얼-타임렌더링, 정보문화사. 2003.11 [5] 인텔코오퍼레이션, 디지털카메라에서이미지왜곡을소프트웨어적으로보정하는장치및그방법, 특허등록번호 100425751 (2004.03.22) [6] 강민구, 구영남, 이재선외 양선형보간법기반광각렌즈의왜곡보정, 2010 한국인터넷정보학회추계학술발표대회논문집, 2010-06-24 [7] 강민구외, OpenCV를이용한마우스의손동작인식, 2009 한국인터넷정보학회추계학술발표대회논문집, 2009-10-31 [8] 강민구외, NGC 영상시스템기반의패턴결함검출기설계, 2007년한국콘텐츠학회추계학술발표대회논문집, 2007-11-17 [ 9 ] www.hso.co.kr [10] www.multipels.com 1986년연세대학교전자공학과 ( 공학사 ) 1989년연세대학교전자공학과 ( 공학석사 ) 1994년연세대학교전자공학과 ( 공학박사 ) 1985년 ~ 1987년삼성전자연구원 1997년 ~ 1998년일본오사카대학 Post Doc. 2000년 ~ 현재한신대학교정보통신학부교수 관심분야 : 디지털방송, 방송통신융합기술 이재선 (Jae-son Lee) 2002년연세대학교경영학과 ( 경영학사 ) 2001년 ~ 2003년 SPDI 마케팅팀 2004년 ~ 2005년삼성전자구매전략팀 2005년 ~ 현재해성옵틱스 ( 주 ) 상무이사 관심분야 : 광학설계및영상모듈설계 이우섭 (Ou-seob Lee) 1994년뉴욕대학교 ( 폴리텍 ) 공학박사 1989년뉴욕맨하턴대학교공학석사 1978 ~ 1989 서강대학교물리 ( 전자 ) 과공학사 1994 ~ 2005 한신대학교정보통신학뷰부교수 2012.08 ~ 현재멀티펠스 ( 주 ) 대표이사 2009 ~ 2012 엠에스웨지 ( 주 ) 전무이사 2000 ~ 2009 픽셀플러스 상무이사 관심분야 : 영상처리및모듈설계 602