Jounal of Koea Robotis Soiety (2015) 10(3):146-153 146 로봇학회논문지제10권제3호 (2015. htt://d.doi.og/10.7746/jkos.2015.10.3.146 9) ISSN: 1975-6291 / eissn: 2287-3961 실린더형쌍곡면반사체카메라광각영상복원 Reonstution of Wide FOV Image fom Hyeboli Cylinde Mio Camea 김순철 1, 이수영 Soon-Cheol Kim 1, Soo-Yeong Yi Abstat In ode to ontain as muh infomation as ossible in a single image, a wide FOV(Field-Of- View) imaging system is equied. The atadioti imaging system with hyeboli ylinde mio an aquie ove 180 degee hoizontal FOV ealtime anoama image by using a onventional amea. Beause the hyeboli ylinde mio has a uved sufae in hoizontal ais, the oiginal image aquied fom the imaging system has the geometial distotion, whih equies the image oessing algoithm fo eonstution. In this ae, the image eonstution algoithms fo two ases ae studied: (1) to obtain an image with unifom angula esolution and (2) to obtain hoizontally etilinea image. The image aquisition model of the hyeboli ylinde mio imaging system is analyzed by the geometial otis and the image eonstution algoithms ae oosed based on the image aquisition model. To show the validity of the oosed algoithms, eeiments ae aied out and esented in this ae. The eeimental esults show that the eonstuted images have a unifom angula esolution and a etilinea fom in hoizontal ais, whih ae natual to human. Keywods: Wide FOV, Panoama Image, Catadioti, Hyeboli ylinde mio, Image eonstution 1. 서론 카메라영상에서시야각 (FOV, Field-Of-View) 은한장의 영상에담을수있는영상정보의양을의미한다. 광시야각 영상카메라는근래영상감시, 보안, 원격화상회의, 이동로 봇및자동차분야에서점차활용도가높아지고있다. 영 상의시야각을넓히기위한방법으로는 (1) 카메라를회전 시키는방법 [1], (2) 여러대의카메라를링구조로배열하는 방법 [2], (3) 어안렌즈를이용하는방법 [3], (4) 거울과같은광 학소자를이용하는방법 [4] 등이있다. 카메라를회전시켜 서얻은일련의영상을접합시켜서한장의광각영상을 얻는방법 (1) 은실시간성을확보하기어렵다는문제가있 으며, 다수의카메라링배열로얻은영상들을접합시키는 Reeived : Jan. 15. 2015; Reviewed : Feb. 6. 2015; Aeted : A. 14. 2015 This study was suoted by the Reseah Pogam funded by the Seoul National Univesity of Siene and Tehnology Coesonding autho: Det. of Eletial and Infomation Engineeing, Seoul National Univesity of Siene and Tehnology (suylee@seoulteh.a.k) 1 Det. of Eletial and Infomation Engineeing, Seoul National Univesity of Siene and Tehnology (soonhulss@nave.om) Coyight KROS 방법 (2) 는카메라수에따르는비용문제와함께시점 (view oint) 이다른각각의영상접합이쉽지않다는문제점이있다. 또한어안렌즈를이용하여광시야각영상을얻는방법 (3) 은영상왜곡보정이어려우며, 어안렌즈자체가중심축을기준으로회전대칭구조를가지므로상하좌우의시야각을선택적으로넓히기어렵다. 한편빛을집적시키기위해굴절 (efative) 렌즈를사용하는보통의카메라와반사 (efletive) 거울을별도로조합하여영상을얻는방법을 atadioti (atoti + dioti) 영상방식이라한다. 이러한 atadioti 영상방식은하나의영상센서를분할하여스테레오영상을얻거나 [5], 360도전방향 (omnidietional) 영상획득에사용된다 [6]. 전방향영상을얻는데사용되는반사체로는그릇 (bowl) 모양의쌍곡면형, 포물면형, 타원면형등이있다 [7]. 특히 [8] 에서는그릇모양이아닌실린더형의쌍곡면반사체를사용한영상획득시스템을제안하였는데, 이방식은수평화각 180도이상의광각파노라마영상을실시간으로얻을수있다는특징이
실린더형쌍곡면반사체카메라광각영상복원 147 있다. 여기서파노라마영상은일반적인직사각형태의광각영상을의미한다. 반면에그릇모양의전방향성반사체를통해얻은영상은어안렌즈를통해얻은것과같이원형이된다. 전방향성반사체를이용하여얻은원형영상은파노라마영상으로변환하기위해서는영상펼침 (unwaing) 복원과정이필요하다. 쌍곡면실린더형반사체를통해얻은영상은그자체로파노라마형태이지만, 수평면이곡선형태를가지므로이에따라획득영상에기하학적인왜곡이생기게되고, 따라서응용사례에맞는영상복원과정이필요하게된다. 예로서 (1) 획득영상의수평각해상도 (angula esolution) 를일정하게하기위한경우, (2) 실공간의수평선을영상면에서도수평하게유지하기위한경우이다. 특히 [8] 에서얻은원영상은대상물체와의거리가가까울수록수평선왜곡의크기가매우커지므로, 사람에게자연스럽게보이도록제시하기위해서는왜곡보정영상복원이반드시필요하게된다. 본논문에서는쌍곡면실린더형반사체를이용한영상획득시스템에대해서 [8] 광선추적영상획득모델에기반하여앞서기술한두가지사례에대한영상복원알고리즘을제시하고자한다. 본논문의구성은다음과같다. 2장에서는쌍곡면실린더형반사체를이용한영상시스템의영상획득모델에대해서술하고, 3장에서는영상획득모델에기반한영상복원알고리즘을제시한다. 그리고 4장에서실험영상및복원영상을제시하고, 5장에서결론을맺는다. 여기서 a,b 는쌍곡선함수의형태를결정하는상수다. 쌍곡 선함수는한쌍의초점 F = a + b, F = a + b 를갖는데, 그림 2 와같이초점 F 를향한빛은쌍곡선형 태의반사평면상에서스넬의반사법칙에따라반사되어 대칭초점 F 의위치에놓으면실린더반사체를통한반 사된영상을얻을수있다. 영상획득모델은실제공간상의한물체점 O ( 과영상공간상의한영상점, (, y) 와의 관계를나타낸다. 쌍곡면실린더형반사체는수평 ( y ) 방향으로는쌍곡선형태이며, 수직 ( z ) 방향으로는평 면반사체와같으므로, 여기서는수평방향과수직방향으로 나누어영상획득모델을기술한다. Fig. 1. Aquisition of wide FOV image by using hyeboli ylinde mio amea 2. 쌍곡면실린더형반사체영상시스템의영상획득모델 영상복원과정을기술하기위해서는영상시스템의영상획득모델이필요하다. 본절에서는쌍곡면실린더형반사체영상시스템의영상획득모델에관해요약한다. 그림 1은쌍곡면실린더형반사체를이용한영상시스템의개념도다. y 평면에서쌍곡선함수의방정식은다음과같다 : y a = (1) b 1 Fig. 2. Image aquisition model in hoizontal y lane 2.1 수평방향그림 2의영상획득구조에서물체점, O 의위상각, φ 와 영상점, 사이의관계는다음과같이구할수있다. 여기 서카메라는자체왜곡이없는이상적인핀홀모델로가 정한다.
148 로봇학회논문지제 10 권제 3 호 (2015. 9) 먼저광직선 I 과 II 는다음과같이나타낼수있다 : I : y = otφ + F (2-1) y + F II : y = F (2-2) 교점 C 의좌표, (, y ) 는쌍곡선과직선 I의교점이므 로식 (1) 과식 (2-1) 로부터다음과같이구할수있다. F a Fotφ ± a + b b = ot b y = otφ + F 이제직선 II 로부터영상점, 있다. 2 ot φ 2 2 a φ 2 (3) 는다음과같이구할수 ( y+ F) = = λ y + F y + F y= F λ 여기서 λ 는카메라렌즈의초점거리를나타낸다. 정리하자 면, 식 (2)-(4) 의과정으로부터쌍곡면실린더형반사체영상 계의영상획득모델을다음과같이표현할수있다 : ab,, (4) = f( φ) (5) λ 여기서 a 와 b 는쌍곡선식 (1) 의매개변수, λ 는카메라 렌즈의초점거리를나타내며, 이들매개변수는영상시스템 의설계변수다. 2.2 수직방향 본논문의실린더형반사체는수직방향 ( z ) 으로평면반 사체와같은특성을갖는다. 평면반사체에대한영상획득 모델은그림 3 과같이유효시점 (effetive viewoint) 을기준 으로구할수있다. 유효시점은평면반사체에대한카메 라핀홀시점의대칭점을의미한다. 위그림 3 에서물체점 - 반사점 - 유효시점 - 영상점은동일 Fig. 3. Imaging model with effetive viewoint(effetive inhole) 수직면상에놓인다. 네점을지나는동일수직면은그림 4 와같이나타낼수있다. 그림 4 에서영상점의 z 축좌표, 의관계는식 (6) 과같다. z i = z o t t + t z 와물체점 zo 사이 여기서물체점과반사점사이의거리 ( t ), 반사점과유효 시점사이의거리 ( t ), 유효시점과유효영상면상의영상 점까지의거리 ( t i ) 는각각다음과같다 : t i = λ + 이다. o o (6) t = ( ) + ( y y ), (7) t = + ( y F), 식 (7) 의값들을계산하기위한반사점, C 의좌표, (, y ) 는식 (3) 에서구할수있다. 그림 5 는식 (5) 와식 (6) 으로표현되는영상획득모델, 즉물체점, O ( 와영상점, (, y ) 사이의관계 Fig. 4. Common lane though fou oints
실린더형쌍곡면반사체카메라광각영상복원 149 를컴퓨터시뮬레이션한것이다. 그림 5 (a) 와같이앞면이없는폭 10m, 높이 1m, 깊이 1m의직육면체를실린더형쌍곡면영상계로부터거리 25m의위치에두고찍었을때, 얻어지게될영상이그림 5 (b) 와같다. (a) Imaging situation: etangula aalleleied with 10m width, 1m height, and 1m deth at 25m distane 림 6 은영상획득모델식 (5) 로부터물체점의위상각과영 상점의관계및각해상도를그래프로나타낸것이다. 그림 에서 φ 의영역은 [ 90 90 ] 이고, 의영역은 640 480 크기의영상을가정하여 [ 320 320] 로하였다. 수평각해상도는 Δ df ( φ) 로정의된다. 그림 6 (b) 에 Δφ dφ 서각해상도가 φ 의위치에따라균일하지않음을볼수 있다. 원영상을수평각해상도가균일한영상으로변환하는 방법은 2.1 절에서기술한영상획득모델식 (5) 의역함수를 이용하여원영상의각화소들의위상각을구하고, 이들을 위상각에비례하여재배치하는것이다. 즉식 (5) 로표현되 는영상획득모델에서원영상의한영상점, 원영상점의위치, 는다음과구할수있다 : 에대한복 = k f 1 ( ) (8) (b) Image fom omute simulation Fig. 5. Comute simulation fo image aquisitiom model 3. 영상복원알고리즘 (a) Phase angle of eah iel osition in hoizontal ais 본영상계의응용목적에따라여러가지영상복원의방법들이있을수있다. 본논문에서는다음두가지의영상복원방법을기술한다. (1) 수평각해상도를균일하게하는영상복원방법. (2) 실공간의수평선을영상면에서도수평하게유지하기위한영상복원방법 3.1 수평각해상도를균일하게하는영상복원방법그림 5 (b) 에서보는바와같이실린더형쌍곡면반사체 는곡면특성에따른수평각해상도차이가발생한다. 그 (b) Absolute value of angula esolution in hoizontal ais Fig. 6. Hoizontal angula esolution of image with ylinde hyeboli mio
150 로봇학회논문지제 10 권제 3 호 (2015. 9) 여기서 k 는복원영상의크기를결정하기위한비례상수 다. 원영상의화소점들에대응하는복원영상의화소점들 사이의공백은화소보간법을적용하여채울수있다 [9]. 3.2 실공간의수평선을유지복원방법그림 5 (b) 에서영상계와물체사이의거리에따라수평 선의왜곡정도가달라지는것을볼수있다. 따라서실공 간에서물체까지의거리를알고있는경우에는왜곡을보 정할수있다. 일반적으로실공간에서물체거리를안다는 것은어려운가정이지만, 특별한경우에는물체거리가미 리주어지는경우도있다. 예로서일정한높이에설치된 영상계의경우에는바닥면까지의높이를미리알수있 으므로바닥면영상의왜곡을보정할수있다. 영상시스템은기본적으로실공간의 3 차원좌표를영상 공간의 2 차원좌표로변환하는과정이다. 본논문에서식 (5) 와식 (6) 으로기술되는영상획득모델도물체점, O ( 를영상점, (, y ) 로대응시키는변환이 다. 그러므로물체점의한좌표값, 예로서 yo 가주어진다 면영상데이터 (, y) 로부터물체점의좌표값, O ( 를결정할수있다. 쌍곡면실린더형반사체원영상에서수평방향의왜곡이 없는영상으로변환하는방법은식 (5) 와식 (6) 으로기술 한 O (, y, z) (, y) 관계로부터각화소별로 o o o 물체점의 3 차원좌표를계산하고, 물체점의좌표에따라 화소들을재배치하는것이다. 즉, 영상점의좌표가 (, y) 이고, 이로부터역산한물체점의좌표가 4. 실험결과 전술한영상복원알고리즘을확인하기위해실험을수 행하였다. 실험에는 640 480 해상도를갖는 USB 카메라 와쌍곡면형실린더반사체를사용하였다. 본영상계의사 양을다음표에정리하였다. Table 1. Paametes of imaging system 영상소자매개변수값 (mm) 반사체 a 28.095 b 23.413 렌즈 λ 493 4.1 균일수평각해상도복원 그림 7 은균일수평각해상도복원알고리즘을검증하 기위해쌍곡면실린더형반사체영상계앞에원통형구조 물들을반지름 1,000mm 의원상에일정 45 간격으로설 (a) Eeimental setu O ( 일때, 수평선유지복원영상의영상점 y o (, z ) 의위치는다음과같이정하면된다. z = m = nz o o (9) (b) Oiginal image 여기서 m 과 n 은복원영상의크기를결정하는비례상 수다. () Reonstuted image Fig. 7. Image eonstution fo unifom hoizontal angula esolution
실린더형쌍곡면반사체카메라광각영상복원 151 치해놓고촬영한원영상과그복원영상이다. 양끝의구조물은영상의최대화각을확인하기위해 15 간격으로배치하였다. 그림 7 (b) 의원영상에서는각구조물들의간격이일정하지않으므로영상의수평각해상도가균일하지않음을알수있다. 그림 7 () 는 3.1절에서기술한알고리즘을적용하여 1 화소당 0.1 에해당하도록재배치한복원영상이다. 그림에서보는바와같이 45 간격으로배치한구조물들이복원영상에서 450 화소만큼의일정한간격을가지고균일하게배치된다. 그림 8은쌍곡면실린더형반사체카메라로얻은자연영상과균일수평각해상도를갖도록복원한결과영상이다. (a) Eeimental setu (b) Oiginal image () Reonstuted image (a) Oiginal image Fig. 9. Image eonstution fo hoizontal etilinea fom (b) Reonstuted image with unifom hoizontal angula esolution Fig. 8. Natual wide FOV image 4.2 수평선유지복원그림 9는수평선유지복원알고리즘을검증하기위해쌍곡면실린더형반사체영상계의전면에격자무늬의평면구조물를설치해두고촬영한원영상과그복원영상이다. 그림 9 (a) 에서영상계와평면구조물사이의거리는 일정 1, 000mm 이며, 격자무늬의크기는 150mm 150mm 이다. 그림 9 (b) 의원영상에서는격자무늬의수평선이왜곡되어있음을볼수있다. 그림 9 () 는 3.1절에서기술한알고리즘을적용하여복원한영상이다. 그림에서격자무늬의수평선이유지되도록복원되었음을볼수있다. 쌍곡면실린더형반사체영상시스템은실시간으로초 광각영상을얻을수있다는장점이있는반면에그림 7 ~ 그림 9 에서볼수있는바와같이영상의질은떨어진다. 영상센서의해상도가동일한경우, 영상의질은영상센서 에담는영상의시야각에따라달라지게된다. 예로서 640 480 의해상도를갖는영상센서에, 일반카메라는 렌즈에따라 30 도 ~60 도의시야각영상을담는반면에쌍 곡면실린더형반사체카메라는 180 도이상의시야각영 상을담게되므로영상의질은당연히떨어질수밖에없 다. 영상의질을개선하기위해서는서론에서기술한바와 같이몇가지방법들이있지만, 각각의방법들은또한각 각단점들을가지고있다. 물론 1024 768 등과같이보 다높은해상도를갖는영상센서를사용해서영상의질을 높이는것은당연히가능하다. 영상의질과시야각의크기 사이에는반비례적인관계가있으므로그림 10 과같이쌍 곡면실린더형반사체의시야각을줄임으로써영상의질 을개선할수도있다.
152 로봇학회논문지제 10 권제 3 호 (2015. 9) 실험을수행하였으며, 그결과를제시하였다. 결과적으로수평각해상도가일정한복원영상과실공간의수평선이그대로유지되는복원영상을얻을수있었으며, 이러한복원영상은사람이보기에훨씬자연스러운영상임을확인하였다. (a) (b) Fig. 10. Relation between FOV of hyeboli ylinde mio and image quality: (a) 180 FOV with low quality of image, (b) 120 FOV with highe quality of image 또한쌍곡면실린더형반사체영상시스템은획득영상의중심부에카메라자체에의해가려지는영역이생긴다는문제점이있다. 영상에서가려지는영역의크기는카메라의크기에따라작게할수있으나한계가있으며, 이때문에쌍곡면반사체영상시스템의응용이매우제한적이게될수있다. 이러한문제는피라미드형태의반사체를사용하거나 [10,11], 또는반사와투과효과를동시에갖는빔스플리터를이용하여 [12] 해결할수있다. 본논문에서개발한광각영상시스템은지능형자동차를위한영상획득시스템 [13] 이나, 이동로봇의자율주행시스템 [14] 에활용할수있다. 5. 결론쌍곡면실린더형반사체를이용한영상획득시스템은 180도이상의수평화각을갖는실시간광각영상을얻을수있으며, 전방향성거울을사용하여얻은영상과달리원영상자체가파노라마형태라는특징을갖는다. 그러나반사체의수평축이곡선형태이므로획득영상에기하학적인왜곡이생기게되고, 따라서용도에따라후영상처리과정이필요한경우가있다. 본논문에서는 (1) 획득영상의수평각해상도를일정하게복원하기위한경우와 (2) 실공간의수평선을영상면에서도수평하게유지하도록복원하기위한경우에맞는각각의영상처리알고리즘을제안하였다. 이를위해반사체의특성을이용하여광선추적법기반의수평, 수직방향영상획득모델을유도하였다. 제안한알고리즘을입증하기위해위각각의경우에대한 Refeenes [1] S. Ha, H. Koo, S. Lee, N. Cho and S. Kim, Panoama Mosai Otimization fo Mobile Camea Systems, IEEE Tans. on Consume Eletonis, vol. 53, no. 4,. 1217-1225, 2008. [2] K. Kim and J. Pak, Calibation of Radial Distotion and Synthesis of Panoami Image fom Muli-dietional Camea Images, Jou. of Koean Institute of Net Geneation Comuting, vol. 9, no. 6,. 56-65, 2013. [3] G. Kim and Y. Choi, Image-oessing Based Panoami Camea Emloying Single Fisheye Lens, Jou. of Otial Soiety of Koea, Vol. 14, no3,. 245-259, 2010. [4] G. Kishnan and S. Naye, Cata-Fisheye Camea fo Panoami Imaging, Po. IEEE Woksho on Aliation of Comute Vision,. 1-8, 2008. [5] J. Glukman and S. Naye, Plana Catadioti Steeo: Geomety and Calibation, Po. of IEEE Conf. on Comute Vision and Patten Reognition, vol. 1,.22-28, 1999. [6] X. Zhihui, C. Wang and Z. Maojun, Catadioti Omni-dietional Steeo Vision and Its Aliations in Moving Objets Detetion, in Comute Vision, Xiong Zhihui (Ed.):InTeh,.493-518, 2008. [7] S. Bake and S. Naya, A Theoy of Single-Viewoint Catadioti Image Fomation, Int l Jou. of Comute Vision, vol. 35, no. 2,. 175-196, 1999. [8] S. Yi and S. Kim, Wide FOV Panoama Image Aquisition System, Po. of The 9th Koea Robotis Soiety Annual Confeene,. 291-292, 2014 [9] D. Pak, J. Yoo and Y. Kim, An Image Magnifiation Using Adative Inteolation Based Sub-iel, Jou. of Institute of Eletonis Enginees of Koea, vol. 45, no. 6,.9-16, 2008. [10] V. Nalwa, A tue omnidietional viewe, Bell Lab. Tehnial Reot, 1996. [11] K. Tan, H. Hua, and N. Ahuja, "Multiview Panoami Cameas Using Mio Pyamids", IEEE T. on Patten Analysis and Mahine Intelligene, 2004
실린더형쌍곡면반사체카메라광각영상복원 153 [12] S. Lin and R. Citis, "High Resolution Catadioti Omni-Dietional Steeo Senso fo Robot Vision," Po. of Int l Conf. on Robotis and Automation, vol. 2,. 1694-1699, 2003 [13] B. Seo, Y. Choe, H. Roh, and M. Chung, Gah-based Segmentation fo Sene Undestanding of an Autonomous Vehile in Uban Envionment, Jou. of Koea Robotis Soiety, vol. 9, no. 1,. 1-10, 2014 [14] J. Kim and Y. Do, Human Detetion in the Images of a Single Camea fo a Coido Navigation Robot, Jou. of Koea Robotis Soiety, vo. 8, no. 4,. 238-246, 2013 김순철 2014 서울과학기술대전기정보공학과 ( 공학사 ) 2014~ 현재서울과학기술대학교전기정보공학과석사과정관심분야 : 이동로봇, 로봇비전 이수영 1988 연세대학교전자공학과 ( 공학과 ) 1990 KAIST 전기및전자공학과 ( 공학석사 ) 1994 KAIST 전기및전자공학과 ( 공학박사 ) 1995~1999 KIST 시스템연구부선임연구원 1997~1998 Univ. of Southen Califonia 박사후과정 1999~2007 전북대학교전자정보공학부부교수 2005~2006 Univ. of Ullinois at Ubana-Chamaign 방문교수 2007~ 현재서울과학기술대학교전기정보공학과교수관심분야 : 이동로봇, 로봇비젼