Journal of the Korea Academia-Industrial cooperation Society Vol. 16, No. 6 pp. 4108-4114, 2015 http://dx.doi.org/10.5762/kais.2015.16.6.4108 ISSN 1975-4701 / eissn 2288-4688 Catadioptric 전방향스테레오영상시스템및 3 차원좌표복원 김순철 1, 이수영 1* 1 서울과학기술대학교전기정보공학과 Catadioptric Omnidirectional Stereo Imaging System and Reconstruction of 3-dimensional Coordinates Soon-Cheol Kim 1, Soo-Yeong Yi 1* 1 Dept. of Electrical and Information Engineering, Seoul National University of Science and Technology 요약광학반사체를이용하여카메라영상을얻는방법을 catadioptric 영상법이라고부른다. Catadioptric 영상법은 360도모든방향의시각정보를한장의영상면에담기위한전방향영상획득시스템에많이사용된다. 대표적인전방향광학반사체로서그릇모양의 3차원쌍곡면형거울이있다. 본논문에서는쌍곡면형반사체를이용한 catadioptric 전방향영상시스템에간단히오목렌즈를추가함으로써하나의카메라로시점이다른전방향스테레오영상을얻는방법에관해연구하였다. 시점이다른전방향스테레오영상정합을통해대상물체의 3차원좌표를복원할수있다. 본전방향스테레오영상시스템은한대의카메라를사용하므로경제적이며, 스테레오영상간에카메라내재매개변수가같으므로정합이쉽다는장점이있다. 본논문에서는 3차원좌표값측정에필요한매개변수들을 3 단계캘리브레이션을이용하여추출하였고, 실험을통해전방향 3차원거리측정성능을검증하였다. 또한거리측정정밀도를분석하여본스테레오영상시스템의신뢰할만한측정범위를제시하였다. Abstract An image acquisition by using an optical mirror is called as a catadioptric method. The catadioptric imaging method is generally used for acquisition of 360-degree all directional visual information in an image. An exemplar omnidirectional optical mirror is the bowl-shaped hyperbolic mirror. In this paper, a single camera omnidirectional stereo imaging method is studied with an additional concave lens. It is possible to obtain 3 dimensional coordinates of environmental objects from the omnidirectional stereo image by matching the stereo image having different view points. The omnidirectional stereo imaging system in this paper is cost-effective and relatively easy for correspondence matching because of consistent camera intrinsic parameters in the stereo image. The parameters of the imaging system are extracted through 3-step calibration and the performance for 3-dimensional coordinates reconstruction is verified through experiments in this paper. Measurable range of the proposed imaging system is also presented by depth-resolution analysis. Key Words : Calibration, Catadioptric, Omnidirectional stereo image, Reflection, Refraction 법을 catadioptric 방식이라하는데, 360도모든방향의시야각을갖는전방향영상시스템을구성하는데많이영상시스템은시야각 (FOV: Field-Of-View) 이넓을사용된다 [1]. 수록한장의영상에담을수있는정보의양이많아진서로다른시점 (view point) 을갖는두장의영상으로다. 넓은시야각을갖기위한여러방법들중기존카메부터삼각법을이용하여대상물체의 3차원좌표를얻는라에거울과같은광학소자를조합하여영상을얻는방스테레오영상방식과전술한전방향영상방식을결합본논문은서울과학기술대학교교내연구비의지원으로수행되었음 * Corresponding Author : Soo-Yoeng Yi(Seoul National University of Science and Technology) Tel: +82-2-970-6407 email: suylee@seoultech.ac.kr Received December 15, 2014 Accepted June 11, 2015 1. 서론 Revised (1st May 12, 2015, 2nd May 14, 2015) Published June 30, 2015 4108
Catadioptric 전방향스테레오영상시스템및 3 차원좌표복원 하여 360도모든방향대상물체의 3차원좌표정보를얻을수있다. 전방향스테레오영상을획득하기위한방법으로서간단하게는두개의전방향성거울과두대의카메라를이용하는방법이있으며 [2], 두대의카메라와한개의전방향거울, 그리고추가적으로빔스플리터를사용한방법도제안된바있다 [3]. 두대의카메라와전방향성거울, 또는빔스플리터등의광학소자를조합하는방법은상대적으로고비용이들며두카메라영상간에렌즈의초점거리, 조도와같은내재매개변수 (intrinsic parameter) 가달라서영상정합이어렵다는문제점이있다. 한편두대의카메라가아닌한대의카메라와광학소자들을조합하여전방향스테레오영상을획득하는방법들이제안되기도하였다. 여기에는한대의카메라와부분적으로곡률이다른하나의전방향성곡면거울을사용한방법 [4,5,6] 이있으며, 이와유사하게한대의카메라와두개의전방향성곡면거울을이용한방법 [7] 이있다. 또한 [8,9] 에서는한대의카메라와하나의전방향성곡면거울, 그리고오목렌즈를조합하는방법이제안되었다. 한대의카메라를이용하여전방향스테레오영상을획득하는방법은상대적으로저비용에영상시스템을구축할수있고설치가쉬우며, 스테레오영상간의카메라의내재변수가같으므로정합이용이하다는장점이있다. 본논문에서는 [8,9] 와같은단일카메라전방향스테레오영상시스템에서 3차원좌표복원에필요한매개변수들을캘리브레이션과정을통해추출하고, 추출한매개변수를이용해전방향의물체에대해 3차원좌표측정성능을검증하고자한다. 참고문헌 [9] 에서는대상물체를영상시스템의한방향에만설치하였기때문에전방향의거리측정성능을확인할수는없었으며, 또한영상시스템의측정가능거리가 150mm 이내로서가까운영역에국한되어있었다. 본논문에서는영상시스템의매개변수를조정하여보다먼영역에서도거리측정이가능하도록하였으며, 모든방향의거리측정이가능함을보이고자한다. 매개변수캘리브레이션에서는카메라내재변수와전방향스테레오영상시스템변수로나누어단계적으로캘리브레이션함으로써전체시스템의매개변수를추출한다. 이렇게추출된시스템매개변수들은다시 360도전방향의대상물체 3차원좌표측정에사용된다. 본논문의구성은다음과같다. 2장에서단일카메라전방향스테레오영상시스템의거리측정원리에대해서간단히성명하고, 3장에서영상시스템의매개변수캘리브레이션방법을소개한다. 그리고 4장에서실험을통해거리측정성능을검증한후, 5장에서결론을맺는다. 2. Catadioptric 전방향스테레오영상 시스템 Catadioptric 전방향스테레오영상시스템은전방향성거울의반사특성과볼록렌즈의굴절특성을이용한것이다. 전방향거울로는단일시점조건을만족하는쌍곡면형 (hyperbolic) 거울을사용하였다. 그림 1에서물체점 는물체점의 3차원좌표를원통좌표계로나타낸것이다. 방향각은모든방향에동일하므로별도로표기하지않았다. 경로 I과경로 II는모두동일한물체점 으로부터출발한빛의경로이다. 경로 I에서는빛이물체점에서출발해거울면위의반사점인 에서반사되어카메라의핀홀인 을통과해영상면에상이맺히게된다. 경로 II에서는거울면위의반사점 에서반사된빛이오목거울을통해굴절되어핀홀을통과한후영상면에상을맺는다. 즉, 동일한물체점에서출발한빛은시각편차를갖는한쌍의스테레오영상점을만들게된다. 두영상점은쌍곡면거울에서반사법칙과오목렌즈에서굴절법칙을따른다. 기하광학법칙과삼각법을통해대응되는영상점으로부터물체점 의 3차원좌표를계산할수있다. Fig. 1. Catadioptric single camera omnidirectional stereo imaging[8] 4109
한국산학기술학회논문지제 16 권제 6 호, 2015 3차원좌표계산에필요한매개변수들은다음과같다. - 카메라렌즈의초점거리 : - 카메라핀홀의높이 : - 오목렌즈의높이 : - 오목렌즈의초점거리 : 그림 1 에서쌍곡면의함수는다음과같이표현된다. 여기서쌍곡선면함수의매개변수,, 는거울제조사로부터제공된다. (1) (7) 식 (6) 의좌표값은모든방향에대해적용할수있으므로물체점의 3차원좌표값이된다. 영상면에서두대응영상점의측정값은광축으로부터영상점까지의거리, ( ) 로나타난다. 측정값 과 와카메라렌즈의초점거리 로부터그림 1 에서의 과 는다음과같이구할수있다. (2) 경로 II에서는오목렌즈에서의굴절로인해다음과같은식이성립한다. (3) (4) 물체점의좌표값 는연립방정식 (5-1) 과 (5-2) 로부터식 (6) 으로구해진다 : - 경로 I: (5-1) - 경로 II: (5-2) (6) 3. 캘리브레이션대상물체의 3차원좌표값을구하기위해서는계산에필요한매개변수들을구하는것이선행되어야한다. 영상시스템에서매개변수캘리브레이션은미리크기와모양을알고있는패턴을관측한패턴과비교하여매개변수를역산하는방법으로수행된다. 본논문의전방향스테레오영상시스템의매개변수캘리브레이션은카메라내재변수와영상시스템변수들로나누어 3 단계로진행된다. 1 단계 : 이단계에서는카메라의렌즈에의해발생하는방사왜곡과접선왜곡을보정한다. 이과정을통해카메라자체는이상적인핀홀카메라모델로생각할수있다. 2 장에서기술한거리계산식은카메라를이상적인핀홀모델로가정하고있으므로 1 단계의카메라내재변수캘리브레이션과정은반드시선행되어야한다. 본논문에서는잘알려진매트랩캘리브레이션툴박스 [10] 를사용하여캘리브레이션작업을수행하였다. 이과정에서렌즈의초점거리 를구할수있다. 그림 2는렌즈왜곡을보정한결과이다. 위식에서각중간변수들은식 (1)~(4) 로부터다음과같이구할수있다. (a) Fig. 2. Camera calibration (a) Before calibration (b) After calibration (b) 4110
Catadioptric 전방향스테레오영상시스템및 3 차원좌표복원 개변수의값들을통합적으로보정하기위해기준격자패턴과관측한영상을비교하는최소제곱오차과정을적용하였다. 식 (6) 의거리계산식은식 (10) 과같이나타낼수있다. 격자패턴각꼭지점들의좌표를원점을기준으로원통좌표계 로변환하고식 (11) 과같이제곱오차를정의한다. (10) Fig. 3. System parameters and [9] 2 단계 : 그림 3에서보이는바와같이핀홀의높이 과오목렌즈의설치높이 는미리알고있는쌍곡면형거울과오목렌즈의크기가영상에서나타나는크기를비교하여간단한비례식을통해구할수있다. 1 단계카메라자체캘리브레이션과정에서구한렌즈초점거리 와 과 사이에는식 (8) 과같은관계가성립한다. (11) 식 (11) 에서위첨자 는격자패턴의각꼭지점을나타낸다. 이제각매개변수들에대해서식 (12) 와같은그래디언트 (gradient) 를정의하여제곱오차가최소가되는값을반복탐색을통해서추출할수있다. (12) (8) 여기서 과 는각각전방향거울과오목렌즈의반지름을의미하며, 과 는영상면에서광축 (optical axis) 과해당화소까지의길이를나타낸다. 식 (8) 로부터시스템변수 및 는다음과같이구할수있다. 식 (12) 에서 는영상시스템의매개변수,,, 를나타내며, 는탐색스텝의크기를의미한다. 거리계산식 (6) 이매우복잡하기때문에그래디언트를해석적인방법으로구하기는매우어렵다. 이때문에그래디언트를다음식 (13) 과같이근사하였고, 이를사용해매개변수를추출하였다. (9) (13) 표 1은제조사에서제공되는쌍곡면형거울의매개변수이다. 표 2는그래디언트탐색과정에서사용한초기값과각각의수렴값을타나낸것이다. 초기값은 1단계및 2단계에서구한값이다. Table 1. Parameters of hyperbolic mirror[11] Parameters Value(mm) 28.095 23.4125 45.6654 30.0 3단계 : 일반적으로오목렌즈와카메라렌즈의초점거리는오차가크므로이를기반으로추출한매개변수 및 역시큰오차를갖는다. 따라서앞서구한매 Table 2. Initial value and convergent value of parameters from gradient search Parameters Initial value(mm) Convergence value(mm) 2581.0 2550.99 166.66 157.67 31.42 38.82 50.0 66.36 4111
한국산학기술학회논문지 제16권 제6호, 2015 4. 실험 결과 다음 그림은 본 논문에서 전방향 거리측정 성능을 검 증하기 위해 사용한 단일 카메라 전방향 스테레오 영상 장치이다. (a) Fig. 4. Catadioptric single camera omnidirectional stereo vision system (b) Fig. 6. Experimental image (a) Omnidirectional image (b) Panorama image 모든 방향에서의 거리측정을 위해 그림 5와 같이 전 방향 스테레오 영상장치 주위에 격자 패턴을 설치하였 그림 6 (a)의 전방향 영상에서 한 물체점에 대한 한 다. 이 때, 각각의 격차패턴은 영상장치로부터의 거리가 쌍의 대응점은 같은 반지름 직선상에 위치한다. 그림 6 각각 다르며 격자의 크기 또한 다르다. (b) 파노라마 영상에서는 한 물체점에 대한 한 쌍의 영 상 대응점은 같은 수직선 상에 위치하게 된다. 그림 7은 그림 6에서 측정한 격자의 각 교점 위치정보와 식 (6)을 이용하여 복원한 3차원 거리 측정 결과이다. 계산을 통 해 좌표값 와 기준 격자를 직교좌표계로 변환하여 그린 것이다. Fig. 5. Experimental setup 그림 6은 그림 5의 상황에서 얻은 격자 패턴의 스테 레오 영상과 이를 펼친 파노라마 영상이다. 본 논문에서 는 그림 6 (a)의 전방향 원영상을 그림 6 (b)와 같은 파 노라마 영상으로 펼치는 것이 목적은 아니지만, 참고를 위하여 제시한다. Fig. 7. Result of 3-dimensional distance measurement 다음 표 3는 그림 7의 3차원 거리측정 결과의 측정거 리, 격자 패턴의 크기, 측정오차를 정리한 것이다. 4112
Catadioptric 전방향스테레오영상시스템및 3 차원좌표복원 Table 3. Result of 3-dimensional distance measurement Value Grid no.1 Grid no.2 Grid no.2 Measurement distance 220mm 280mm 350mm Size of grid pattern 8mm, 10 8 11mm, 10 8 16mm, 10 8 Measurement error ~20mm ~20mm ~30mm 그림 7과표 3에서볼수있듯이측정거리 220mm, 280mm, 350mm에서각각약 ~20mm, ~20mm, ~30mm 정도의측정오차를갖는다. 두스테레오영상의시각편차가크지않기때문에측정가능거리가크지않고측정오차도큰편이다. 또한, 화소위치가이산화되어있는영상센서의특성에의해발생하는화소측정오차에따른거리오차도크게나타날수있다. 그림 8은앞서최소제곱법에의해구한매개변수들을이용하여거리계산정밀도 (depth resolution) 를구한것이다. 거리계산정밀도는거리에따른측정값의신뢰성을의미하는데, 그림에서밀도가높을수록정밀도가높다. 그림에서보는바와같이 ~250mm 내에서본시스템의 축방향거리측정오차가 25mm 이내임을알수있다. 한대의카메라를사용하여전방향스테레오영상을얻는방법은하나의영상센서를분할하여스테레오영상을담아야하므로상대적으로영상의해상도가떨어지며스테레오영상간의시각편차 (disparity) 가크지않아측정정밀도가낮은편이다. Fig. 8. Depth resolution 5. 결론 전방향영상시스템은 360도의넓은시야각을갖기때문에한장의영상에많은영상정보를담을수있어 근래에많이연구되고있는분야이다. 특히전방향성거울과오목렌즈를이용하여한대의카메라로부터전방향스테레오영상을획득하기위한단일카메라전방향스테레오영상시스템은경제적이고효과적으로전방향의 3차원정보를획득할수있다는장점이있다. 본논문에서는단일카메라전방향스테레오시스템의영상획득원리및시스템매개변수추출방법에대해서간단히살펴보고, 전방향 3차원좌표측정성능을검증하였다. 본논문에서전방향스테레오영상을얻는방법은경제적이며한쌍의대응점이같은반지름직선위에있어정합이쉽다는장점이있으나, 스테레오영상간의시각편차가크지않아화소측정오차에따른거리측정오차가크다는단점이있다. 본논문에서는최소제곱법을통해거리계산에필요한매개변수를추출하고이를통해거리측정정밀도를분석하고신뢰할만한거리측정범위를제시하였다. 또한매개변수최적화를통해측정성능의향상이가능함을보였다. References [1] S Baker and S. Nayer, A theory of single-view point catadioptric image formation, Int l Journal of Computer Vision, vol. 35, no. 2, pp. 175-196, 1999. DOI: http://dx.doi.org/10.1023/a:1008128724364 [2] P. Doubek and T. Svoboda, Realable 3D reconstruction from a few catadioptric images, Proc. of Third Workshop on Omnidirectional Vision, OMNVIS2002, pp. 71-78, 2002. [3] S. Lin and R. Citris, High resolution catadioptric omnidirectional stereo sensor for robot vision, Proc. of ICRA, 2003. [4] E. Cabral, J. Souza, and C. Hunoid, Omnidirectional stereo vision with a hyperbolic double lobed mirror, Proc. of Int l Conf. on Pattern Recognition 04, pp. 1-4, 2004. DOI: http://dx.doi.org/10.1109/icpr.2004.1333989 [5] D. Southwell, A. Basu, M. Fiala, and J. Reyda, Panoramic Stereo, Proc. of ICPR 96, pp. 378-382, 1996. DOI: http://dx.doi.org/10.1109/icpr.1996.546053 [6] M. Fiala and A. Basu, Feature extraction and calibration for sterero reconstruction using non-svp optics in a panoramic stereo-vision sensor, Proc. of Third Workshop on Omnidirectional Vision, OMNVIS2002, 4113
한국산학기술학회논문지제 16 권제 6 호, 2015 pp.79-86, 2002. [7] G. Jang, S. Kim, and I. Kweon, Single camera catadioptric stereo system, Proc. of Workshop on Omnidirectional Vision, Camera Networks and Non-Classical Cameras(OMNIVIS2005), 2005. [8] S. Yi and B. Choi, Single camera omnidirectional stereo imaging system, Journal of Institute of Control, Robotics and Systems (in Korean), vol. 15, no. 4, pp. 400-405, 2009. DOI: http://dx.doi.org/10.5302/j.icros.2009.15.4.400 [9] S. Yi and S. Kim, Depth measurement using an omnidirectional stereo vision system with a single camera, Journal of Institute of Control, Robotics and Systems (in Korean), vol. 19, no. 11, pp. 955-959, 2013. DOI: http://dx.doi.org/10.5302/j.icros.2013.13.9028 [10] Camera Calibration Toolbox for Matlab, http://www.vision.caltech.edu/bouguetj/calib_doc/, (accessed Dec., 10, 2014) [11] http://www.neovision.cz/prods/panoramic/h3s.html, (accessed Dec., 10, 2014) 이수영 (Soo-Yeong Yi) [ 정회원 ] 1988 년 2 월 : 연세대학교전자공학과 ( 공학사 ) 1990 년 2 월 KAIST 전기및전자공학과 ( 공학석사 ) 1994 년 8 월 : KAIST 전기및전자공학과 ( 공학박사 ) 1995 년 3 월 ~ 1999 년 8 월 : KIST 시스템연구부선임연구원 1999 년 9 월 ~ 2007 년 2 월 : 전북대학교전자정보공학부부교수 2007 년 3 월 ~ 현재 : 서울과학기술대학교전기정보공학과교수 < 관심분야 > 보행로봇, 로봇비전, 이동로봇 김순철 (Soon-Cheol Kim) [ 준회원 ] 2014 년 2 월 : 서울과학기술대학교전기정보공학과 ( 공학사 ) 2014 년 3 월 ~ 현재 : 서울과학기술대학교전기정보공학과대학원석사과정재학중 < 관심분야 > 로봇비전, 이동로봇 4114