Journal of the Korea Academia-Industrial cooperation Society Vol. 16, No. 3 pp. 2117-2122, 2015 http://dx.doi.org/10.5762/kais.2015.16.3.2117 ISSN 1975-4701 / eissn 2288-4688 광각파노라마영상획득방법 김순철 1, 이수영 1* 1 서울과학기술대학교전기정보공학과 Wide FOV Panorama Image Acquisition Method Soon-Cheol Kim 1, Soo-Yeong Yi 1* 1 Dept. of Electrical and Information Engineering, Seoul National University of Science and Technology 요약한장의영상에보다많은영상정보를담기위해서는넓은시야각이필요하다. 넓은시야각을갖는영상은보안, 감시, 원격화상회의, 이동로봇등의산업분야에서사용된다. 본논문에서는광각의파노라마영상을획득하기위해쌍곡면실린더형반사체를이용한영상획득방법을제안한다. 일반적인응용예에서수직화각보다수평화각이중요하므로수직방향으로는평면거울과같고, 수평방향으로쌍곡선형태를갖는실린더형반사체를설계하였다. 광학적성능분석을위해광선추적법을통해본쌍곡면실린더형반사체영상계의영상획득모델을구하였으며, 쌍곡면실린더형반사체를실제제작하였고, 영상실험을통해광각영상획득성능을검증하였다. 제안하는영상시스템은기존방법에비해경제적이며, 별도의영상처리없이수평화각 210도에이르는광각의실시간파노라마영상을획득할수있었다. Abstract Wide FOV(Field-of-View) is required to contain much more visual information in a single image. The wide FOV imaging system has many industrial applications such as surveillance, security, tele-conference, and mobile robots. In order to obtain a wide FOV panorama image, an imaging system with hyperbolic cylinder mirror is proposed in this paper. Because the horizontal FOV is more important than the vertical FOV in general, a hyperbolic cylinder mirror is designed in this paper, that has a hyperbolic curve in the horizontal surface and is the same as a planar mirror in the vertical axis. Imaging model of the proposed imaging system is presented by ray tracing method and the hyperbolic cylinder mirror is implemented. The imaging performance of wide FOV is verified by experiments in this paper. This imaging system is cost-effective and is possible to acquire a wide panorama image having 210 degree horizontal FOV in real-time without an extra image processing. Key Words : Catadioptric, Ray tracing model, Panorama image, Wide FOV 1. 서론 한장의영상에가능한한더많은영상정보를담기위해서는넓은시야각 (FOV, Field-Of-View) 이필요하다. 광시야각의영상을얻기위해서는한대의카메라를회전시키는방법 [1], 다수의카메라배열을통해얻은영상을이어붙이는방법 [2], 어안렌즈를이용하는방법 [3], 또는거울과같은광학소자와기존카메라의조합을이용하는방법 [4,5,6] 등이있다. 한대의카메라를회전시 본논문은서울과학기술대학교교내연구비의지원으로수행되었음. * Corresponding Author : Soo-Yeong Yi(Seoul National University of Science and Technology) Tel: +82-2-970-6407 email: suylee@seoultech.ac.kr Received October 22, 2014 Revised February 10, 2015 Accepted March 12, 2015 Published March 31, 2015 키는방법은실시간영상을얻기어렵다는문제가있으며, 다수의카메라배열을사용하는방법은카메라의수에따른비용문제와함께시점 (view point) 이다른각카메라의영상을이어붙이는데어려움이있다. 어안렌즈를이용하는방법은영상의왜곡을복원하기가쉽지않으며, 매우복잡한복원알고리즘을필요로한다 [3]. 광학소자로렌즈만을사용하는보통의카메라와는달리거울과같은반사체와렌즈를조합하여영상을얻는방법을 catadioptric 영상방식이라한다. Catadioptric 영 2117
한국산학기술학회논문지제 16 권제 3 호, 2015 상법은하나의영상센서를분할하여스테레오영상을얻거나 [7], 360도전방향영상을얻는데사용되었다 [4]. 전방향영상을얻는데사용되는반사체로는쌍곡면형, 포물면형, 타원면형등이있다 [4]. 이들전방향곡면거울을사용하는방식은실시간영상획득이가능하며, 수평화각이 360도로서한장의영상에모든수평방향의정보를담을수있고, 또한어안렌즈와는달리단일시점을만족하고왜곡이적다는특징이있다. 따라서근래보안, 감시, 원격화상회의, 이동로봇자율주행과자동차안전등의분야에서그용도가점차증가하고있다. 그림 1에쌍곡면형의전방향성반사체와이를통해획득한전방향영상의예를보인다. 얻기위해별도의영상처리하드웨어가필요하게된다. 본논문에서는영상획득단계에서부터직사각형태의광각파노라마영상을얻을수있는새로운쌍곡선실린더형반사체를제안하고, 광선추적법에의해영상획득모델을분석하고자한다. 제안하는실린더형반사체는앞서서술한전방향성반사체처럼보통의카메라렌즈와조합하여사용되며, 실시간광각파노라마영상을얻는데별도의영상처리하드웨어를필요로하지않는다. 또한영상센서의전영역에상이맺히므로영상센서의활용도가높고, 210도의수평화각을가지므로전방향성반사체로부터얻은영상에비해영상의질이높아지게된다. 본논문의구성은다음과같다. 2장에서제안하는쌍곡면실린더형거울과이를이용한광각파노라마영상획득방법을소개하고, 3장에서광선추적법을통한영상획득모델을제시한다. 그리고 4장에서실험영상을제시하고, 5장에서결론을맺는다. 2. 실린더형쌍곡면반사체 (a) Omnidirectional mirror 평면에서쌍곡선함수의방정식은다음과같다 : (1) 여기서, 는상수이며, 쌍곡선함수의형태는그림 2 와 같다. 쌍곡선함수는한쌍의초점, 와 (b) Omnidirectional image [Fig. 1] Commercialized omnidirectional mirror and omnidirectional image[8] 그러나전방향성반사체를통해얻은영상은영상의질이낮은편이며, 그림 1 (b) 에보인바와같이영상센서에서사용되지않는부분 ( 각모서리부분의채워지지않은영역 ) 이생기므로센서활용도가낮아지게된다. 또한획득영상자체가원형이므로이를사람이보기편한직사각형태의파노라마영상으로펼치기위해서는부가적인영상처리작업이소요된다. 이러한영상처리작업에는많은연산량이사용되므로실시간파노라마영상을 를가지며, 다음과같은특성을갖는다. 즉, 임의의물체점과초점을잇는직선을 I 이라하고, 직선 I과쌍곡선과의교점에서대칭초점을잇는직선을 II라고했을때, 직선 I과 II는쌍곡선상의교점 에서스넬의반사법칙을따르게된다. 즉, 임의의물체점에서나온광선들중초점 를향한광선은쌍곡면에서반사되어대칭초점 을지나게된다. 그러므로보통의원근카메라의핀홀을 의위치에놓으면실린더반사체를통해반사된영상을얻을수있다. 아래그림에서보는바와같이초점 를기준으로임의위치의물체점에대해서영상면에상을맺을수있으므로쌍곡면형반사체를통해얻은영상은매우넓은화각을가지며, 또한수평면에서단일시점조건을만족하게된다 [4]. 2118
광각파노라마영상획득방법 3. 영상획득모델 [Fig. 2] Hyperbolic function 일반적으로많이사용되는쌍곡면형반사체는그림 2 에서축을수직축으로하여 360도회전한형태인그릇 (bowl) 모양의 3차원형태를갖는다. 본논문에서제안하는실린더형쌍곡면반사체는그림 2에서 축, 즉지면에수직한방향으로는평면형태를갖는것이다 ( 그림 3). 그러므로본실린더형반사체는수평방향 ( 평면 ) 으로는 180 도이상의화각을가지며, 수직방향 ( ) 으로는보통의평면반사체와같은특성을갖게된다. 따라서그림 4 와같은영상획득구조에서수직방향으로왜곡이없는광각파노라마영상을얻을수있다. 쌍곡면실린더형반사체를통해획득한영상의해상도를분석하기위해영상획득모델을구하였다. 영상획득모델은실제공간상의한물체점 과영상공간상의한영상점, 와의대응관계를나타낸다. 실제공간상의한물체점은 3차원좌표, 즉 로기술되지만, 전술한바와같이실린더형반사체는수직방향으로는단순히평면거울과같으므로여기서는수직방향의모델은기술하지않는다. 또한수평각해상도를분석하기위해물체점의좌표, 대신물체점의위상각, 를기준으로영상획득모델을표현한다. 그림 5의영상획득구조에서영상획득모델은다음과같이구할수있다. 여기서카메라는자체왜곡이없는이상적인핀홀로가정하며, 핀홀의위치는쌍곡면의대칭초점의위치, 에놓여있다고가정한다. [Fig. 5] Image acquisition model 먼저광직선 I 과 II 는다음과같이나타낼수있다 : (2-1) [Fig. 3] Hyperbolic cylinder mirror (2-2) 식 (2-1) 에서 는물체점에서나온광직선 I이 축과이루는각을의미한다. 교점 의좌표, 는쌍곡선과직선 I의교점이므로식 (1) 과식 (2-1) 로부터다음과같이구할수있다. [Fig. 4] Image acquisition using hyperbolic cylinder mirror ± (3) 2119
한국산학기술학회논문지제 16 권제 3 호, 2015 이제직선 II로부터영상점의위치, 를다음과같이구할수있다. 그림 5에서영상점의위치는영상면에서 축까지의거리를의미한다 : (4) 여기서 는카메라렌즈의초점거리를나타낸다. 정리하면, 식 (2)-(4) 의과정으로부터영상획득모델은다음과같이표현할수있다 : (5) 여기서쌍곡선식 (1) 의매개변수,, 와카메라렌즈의초점거리, 는영상시스템의설계변수다. 그림 6은직육면체물체에대한영상을위의영상획득모델에따라컴퓨터시뮬레이션을통해구한것이다. 직육면체의크기는높이와깊이가각각 10m, 그리고폭이 100m이며, 쌍곡면실린더형반사체를포함하는영상계까지의거리를 25m로설정하였다. 그림 6 (a) 는영상획득상황을나타내며, 그림 6 (b) 는컴퓨터시뮬레이션을통해얻은영상이다. 그림 7은본영상시스템의수평각해상도를보여주는그래프이다. 그래프는실공간물체점의위상각 에따 른 의크기를나타낸다. 는위상각변위에따 른영상면에서의수평변위를의미하며, 따라서수평각해상도에반비례하게된다. 그림에서보는바와같이영상의중심부, 즉 부근에서는수평각해상도가높으며, 영상의좌우끝으로갈수록해상도가낮아진다. 컴퓨터시뮬레이션을통해그래프를구하는데사용된영상계의매개변수들을표 1에정리하였다. (a) Imaging setup [Fig. 7] Horizontal angular resolution of image with cylinder hyperbolic mirror [Table 1] Parameters of imaging system Optical device Parameter Value (mm) a 28.095 Mirror b 23.413 Lens 493 4. 영상획득실험결과 (b) Image by computer simulation [Fig. 6] Imaging model simulation 앞서서술한쌍곡면실린더형반사체의광각파노라마영상획득성능을검증하기위해반사체를제작하였다. 그림 8에실제제작한반사체를보인다. 2120
광각파노라마영상획득방법 [Fig. 8] Hyperbolic cylinder mirror 그림 9는본영상계의측정가능화각을보이기위한실험이다. 그림 9 (a) 와같이 간격으로 5개의원통형구조물을설치하고양끝에 간격으로 2개의구조물을추가로설치하였다. 양끝의구조물은최대화각의크기를확인하기위한것이다. 카메라렌즈의초점거리는 (1 픽셀을 1mm로환산하였을때 ) 이며, 이는카메라렌즈자체의화각이약 50도인렌즈에해당한다. 그림 9 (b) 에서영상의중심부에카메라자체에의해가려지는영역이존재하기때문에반사체전면에설치한구조물은영상에서보이지않는다. 그러나영상의양쪽끝을보면 간격으로설치한구조물을볼수있다. 따라서본쌍곡면실린더형반사체를이용하여촬영한영상이수평화각 에이름을알수있다. 그림 10은동일한시점 (view point) 에대한화각의크기를비교하기위해일반적인평면반사체를이용하여얻은영상과본논문의실린더형쌍곡면반사체를이용하여얻은영상을비교한것이다. 평면반사체를이용하는경우는카메라렌즈자체의화각과동일한화각을갖게된다. 광각영상을얻기위한기존의방법들과본영상시스템의장단점을표 2에서비교하였다. 표에서볼수있는바와같이각방법들은각기장단점을가지고있으나, 부가적인영상처리과정없이실시간파노라마광각영상을얻는다는측면에서본영상시스템의장점이있다. (a) Image with planar mirror (b) Image with hyperbolic cylinder mirror [Fig. 10] FOV comparison [Table 2] Comparison of Wide FOV image acquisition methods (a) Experiment setup (a) Wide FOV panorama image Methods Real-time Horizontal Angular FOV(deg.) resolution Panorama Cost Rotating camera[1] x 360 High o High Camera array[2] o 360 High o High Fisheye lens[3] o 180 Medium x Low Omnidirecti onal mirror[4] o 360 Low x Low Cylinder mirror o 210 Medium o Low [Fig. 9] Wide FOV panorama image acquisition 2121
한국산학기술학회논문지제 16 권제 3 호, 2015 5. 결론본논문에서는광각파노라마영상획득을위한쌍곡면실린더형반사체영상시스템을제안하였다. 영상의수평각해상도분석을위해광선추적법에따라본영상계의영상획득모델을구하였고, 반사체제작및실험을통해영상획득성능을입증하였다. 본반사체는수평방향으로쌍곡면이므로넓은수평화각을가질수있고, 수직방향으로는평면거울과같은특성을지니므로실공간물체의수직성분이영상면에서도그대로수직하게유지되는특성을가지고있다. 따라서얻어지는영상은별도의영상처리없는파노라마형태를갖게된다. 본쌍곡면실린더형반사체영상은중심부에카메라자체에의한가려짐영역이존재한다는단점이있다. 카메라에의해가려지는영역은본영상계로얻을수있는최대화각에비해크지는않지만향후본영상시스템의실용성을높이기위해서는해결해야할것이다. Intelligence, vol. 24, no. 2, pp.224-236, 2002. DOI: http://dx.doi.org/10.1109/34.982902 [8] http://www.neovision.cz/ 김순철 (Soon-Cheol Kim) [ 준회원 ] < 관심분야 > 로봇비전, 이동로봇 2014 년 2 월 : 서울과학기술대학교전기정보공학과 ( 공학사 ) 2014 년 3 월 현재 : 서울과학기술대학교전기정보공학과대학원석사과정재학중 이수영 (Soo-Yeong Yi) [ 정회원 ] References [1] R. Szeliski and H. Shum, Creating Full View Panoamic Image Mosaics and Environment Maps, Proc. of the 24 th annual conf. on Computer Graphics and Interactive Techniques (SIGGRAPH 97), pp.251-258, 1997. [2] J. Foote and D. Kimber, FlyCam: Practical Panoramic Video and Automatic Camera Control, Proc. of IEEE Int l Conf. on Multimedia and Expo, vol. 3, 2000, pp. 1419-1422. DOI: http://dx.doi.org/10.1109/icme.2000.871033 [3] G. Kim and Y. Choi, Image-processing Based Panoramic Camera Employing Single Fisheye Lens, Jour. of Optical Society of Korea, Vol. 14, no3, pp. 245-259, 2010. DOI: http://dx.doi.org/10.3807/josk.2010.14.3.245 [4] S. Baker and S. Nayar, A Theory of Single-Viewpoint Catadioptric Image Formation, Int l Jour. of Computer Vision, vol. 35, no. 2, pp. 175-196, 1999. DOI: http://dx.doi.org/10.1023/a:1008128724364 [5] V. Nalwa, A true omnidirectional viewer, Bell Lab. Technical Report, 1996. [6] H. Hua and N. Ahuja, A High-Resolution Panoramic Camera, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, vol. 1, pp. I-960 I-967, 2001. DOI: http://dx.doi.org/10.1109/cvpr.2001.990634 [7] J. Gluckman and S. Nayar, Rectified catadioptric stereo sensors, IEEE Trans. on Pattern Analysis and Machine 1988 년 2 월 : 연세대학교전자공학과 ( 공학사 ) 1990 년 2 월 : KAIST 전기및전자공학과 ( 공학석사 ) 1994 년 8 월 : KAIST 전기및전자공학과 ( 공학박사 ) 1995 년 3 월 1999 년 8 월 : KIST 시스템연구부선임연구원 1999 년 9 월 2007 년 2 월 : 전북대학교전자정보공학부부교수 2007 년 3 월 현재 : 서울과학기술대학교전기정보공학과교수 < 관심분야 > 보행로봇, 로봇비전, 이동로봇 2122