선박안전운항용대구경렌즈적외선스테레오비전시스템의거리측정기법 오문균 (M.K. Oh) 허영순 (Y.S. Heo) 강현서 (H.S. Kang) 김영선 (Y.S. Kim) 김시경 (S.K. Kim) 지역산업기술개발실책임연구원 지역산업기술개발실선임연구원 지역산업기술개발실실장 호남권연구센터센터장 공주대학교전기전자제어공학부교수 스마트유무선네트워크특집 Ⅰ. 서론 Ⅱ. 양안식측정원리 Ⅲ. 시스템구성 Ⅳ. 적외선스테레오비전거리측정알고리즘 Ⅴ. 결론 본논문에서는야간및해무상태에서선박의안전운항을지원할수있는해상적외선스테레오비전대구경감시시스템용거리측정기법을제안하였다. 선박의안전운항을위한감시시스템에는스테레오비전정보를이용하여거리를측정하는알고리즘이필요하며물체의이미지및물체까지의거리정보를디스플레이하는기능을구현하였다. 원거리측정및야간측정기능을구현하기위해적외선스테레오비전및대구경렌즈를이용하였으며, 해상에서파고에의한흔들림으로이미지의연속적인처리가어려운측면이있어물체의비전정보를이용하여거리를계산하는알고리즘및계산된거리정보를디스플레이하는프로그램을개발하였다. 이러한실험결과가선박안전운항을위한유용한시스템이될것으로예상하고있다. 2013 한국전자통신연구원 127
Ⅰ. 서론 해양을운항하는선박은안전운항을위하여각종전자장비 ( 자동항해시스템, Radar, AIS: Automatic Identification System, ECDIS: Electronic Chart Display and Information System 등 ) 를탑재하고있다. 그러나이러한안전항해를위한전자장비들의일부는대형선박에만의무적으로탑재하도록 IMO(International Maritime Organization, 국제해사기구 ) 에서규정하고있으며, 중소형선박에는강제사항이아닌권고사항으로되어있어안전운항을위한전자장비의탑재가미약한실정이다. 중소선박의경우안전운항을위한전자장비의고비용및선박의위치노출등의이유로안전운항을위한전자장비의탑재를꺼려하므로이를보완하기위하여적외선스테레오비전시스템을이용하여해상의물체까지거리를측정할수있는저렴한가격의시스템을개발하는것이필요하다. 스테레오비전에대한기본적인이론은많은연구들 [1][2][3] 에자세하게설명되고있고기본적인원리는 3 차원물체를두개의카메라로본이미지쌍의차이를이용하는것이다. 그러므로삼각법으로두개의카메라이미지를이용하여물체의실제위치를계산할수있다. 본연구에서는야간및해무상태에서선박의안전운항을지원할수있는해상적외선스테레오비전대구경감시시스템용거리측정기법을제안하였다. 다양한해상조건에서도안정적으로선박과선박사이의거리를측정하기위하여 Global Cut 알고리즘과 Dynamic Programming 알고리즘을통하여스테레오영상의 Disparity 를구하였으며, Reprojection Method를통하여거리정보를디스플레이하는기능을구현하였다. ( 그림 1) 전형적인양안식스테레오비전하여삼각법에기본을둔양안식측정방법을이용한다. 목표물체와동일한레벨에있는두개의카메라는목표물체와삼각형을형성하며, 두카메라의이미지차이로부터목표물체의특징에대한 3차원정보를계산한다. ( 그림 1) 에보여진바와같이 P는목표점이며, O L 과 O R 은동일한초점거리카메라의시축센터이고, P L 과 P R 은각각목표물을바라보는왼쪽과오른쪽의투시점, x L 과 x R 은카메라이미지의 P L 과 P R 에대응하는왼쪽과오른쪽의수평좌표이다. 양안식스테레오비전측정방법 [5][6] 의원리에따르면 O L, O R, P L, P R 은이미지좌표를설명하며, B는두카메라의이격거리, f는카메라의초점거리, x L -x R 은 disparity(d) 로정의된시차오차, D를카메라와목표물 (P) 까지의거리를나타내고다음의식으로표현된다. D = (B x f) / (x L x R ) (1) f = w x (D / W) (2) Ⅱ. 양안식측정원리 ( 그림 1) 에보여진바 [4] 와같이전형적인양안식스테레오비전시스템은목표물체의 3차원정보를얻기위 (1) 과 (2) 에서f는렌즈의초점거리 (mm), w는 CCD (Charge-Coupled Device) 에의한목표물이미지의폭 (mm), W는 CCD 에의하여표시될수있는목표물의크기를의미한다. 따라서 (1), (2) 를이용하여카메라로부 128 전자통신동향분석제 28 권제 6 호 2013 년 12 월
< 표 1> CCD chip size Specifications 1/10 1/8 1/6 1/4 1/3.6 W(mm) 1.28 1.60 2.40 3.20 4.00 터목표물까지의거리를계산할수있다. < 표 1> 에의하여 CCD chip 크기로부터 W를알수있다. ( 그림 2) 적외선스테레오비전감시시스템거리측정기능도 IV. 적외선스테레오비전거리측정알고리즘 Ⅲ. 시스템구성본연구에서개발한적외선스테레오비전대구경감시시스템의개략적인시스템구조는 ( 그림 2) 와같다. 여기서적외선스테레오비전대구경감시시스템은야간및해무상태에서도측정관련다양한시나리오를충실히수행할수있고유연한유지보수특징을구비하여야하므로다음과같은기능을가지도록설계하였다. 제어부 : 다양한디바이스의초기화및제어 각종정보출력부 - 적외선감시카메라와초기화접속및연결해제기능 - 시스템의 FSM(Finite State Machine) 상태출력 - 카메라와통신정보를포함한통계자료출력및카메라의상태정보 History 관리부 - 통신 history 및각종통계정보관리 - 메모리 DB(Data Base) 관리 영상처리전처리부 - 카메라로부터입력된영상정보전처리 - 카메라로부터입력된영상정보의에러보완처리 거리정보추출부 : 적외선스테레오영상정보로부터 3D(3-Dimension) 정보추출및거리정보계산 1. 스테레오비전주요파라미터 2장으로부터해상의상대선박에대한스테레오영상을이용하여스테레오영상내부좌표에대응하는 3차원공간내좌표를구하기위하여서는상대선박과카메라와의거리 (depth: D), 스테레오좌 우영상차이 (disparity:d), 렌즈의초점거리 (focal length: f) 와좌우카메라중심사이의길이가 (base line: B) 주어지면물체좌표를구할수있으며, 이들간의관계식은다음과같다 [5][6][7]. D = fb / D (3) 스테레오비전주요파라미터인적외선대구경렌즈와적외선스테레오비전의거리측정관련주요파라미터인 Base line을결정하기위해서스테레오비전측정거리에러 (resolution) 에대한식을이용하였다 [8][9]. dd = (dd D 2 ) / fb (4) 여기서 dd = 측정거리에러 (resolution, depth error) dd = disparity error(accuracy) 본연구에서는대구경렌즈의초점거리 f=600(mm), 오문균외 / 선박안전운항용대구경렌즈적외선스테레오비전시스템의거리측정기법 129
측정거리 (depth) D=5,000(m), 측정오차가측정거리의 5(%) 인조건에서 dd= 5(%) D=250(m) 이다. 사용한적외선카메라는 1/4" CCD(3.2mm 2.4mm) 이고픽셀사이즈가 320 240(pixel) 이다. 2. 거리검출스테레오비전알고리즘가. 스테레오비전의전처리먼저카메라영상의좌표계산단계에서정제된카메라영상과 3D 영상의메트릭스파라미터를얻으며, 이는후에 back-projection 단계에서사용한다. 나. ROI(Region of Interest) 추출단계해상선박동체는연료와에너지를이용하여항해하기때문에수면의온도에비하여동체온도가상승하여적외선이많이방출되는특징을가진다. 해상암초의경우수면아래에위치해있으며, 수온과온도차가크지않은관계로본연구의고찰대상에서제외되었다. 해상선박피사체에서많이방출하는적외선은중파장에서장파장대역을가지므로적외선영상을취득후영상에서온도분포가다른고밀도영역에대한 ROI 를추출한다. 다. 거리측정을위한경계박스 (bounding boxes) 설정전처리과정스테레오비전의우측영상 ROI 에대하여열 (thermal) 방향히스토그램분석을통하여피사체의거리를측정하기위한경계박스 (bounding boxes) 를설정한다. 라. 스테레오영상정합스테레오영상 Disparity를추출하기위한스테레오 영상정합은정합요소에따라크게특징기반 (feature based) 기법과영역기반 (area based) 기법으로나눌수있다. 본연구의영역기반기법에서의정합요소는적외선영상밝기정보의변화, 경계박스영역의모양, 평균밝기및면적등을이용하였으며, 영상정합의블록매칭 (Basic Block Matching) 처리를하였다. 블록매칭은오른쪽이미지의모든픽셀에대하여행 (row) 단위의 7 7 픽셀블록으로왼쪽이미지와가장잘정합하는블록을찾는다. 본연구에서는하나의픽셀주위의영역으로 +/-15픽셀에대한 SAD(Sum of Difference) 를이용하여열 (column) 단위로찾는다. 이는전처리단계에서영상을정제했으므로행 (row) 단위로는찾지않는다. 마. 동적프로그래밍을사용한 disparity map 의최적화영상정합후에 disparity 에노이즈가생성되며이는최종단계에서오류를발생하므로이를완화 (smoothness) 할필요가있다. 최적의 disparity 를찾는문제는행 (row) 의픽셀들을예측하는것으로이미지의한쪽에서다른측면으로최적의 path를찾는문제이다. 최적의 path를찾기위해서는블록매칭매트릭스를비용함수 (cost function) 와픽셀간의변화량에제약을두는점을사용하며, 이러한방법이동적프로그래밍기법을사용하여최적의 disparity 를찾는문제를효과적으로해결할수있다 [10][11]. 바. Back projection 스테레오영상정합이끝난단계에서 Disparity 데이터를 3차원점군데이터 (3D point cloud data) 로표현하기위하여 back projection 을하였고, 이를이용하여피사체객체까지거리와움직임을포착하였다. ( 그림 3) 은본연구에서제시한알고리즘에맞춰기존측정한영상에대해거리를측정한결과를보이고있다. ( 그3(a)) 130 전자통신동향분석제 28 권제 6 호 2013 년 12 월
(a) 스테레오좌측영상 연구에서제안한전체시스템은현재개발중에있으며현재까지스테레오비전영상거리측정알고리즘까지확인된상황이며, 전체하드웨어시스템은보완제작상태에있다. Global Cut 알고리즘과다이나믹프로그래밍을통하여스테레오영상의 Disparity를구하였으며 Reprojection Method 를통하여측정한영상에대한거리를확인할수있었다. (b) Disparity 약어정리 3D AIS CCD DB ECDIS FSM IMO ROI SAD 3-Dimension Automatic Identification System Charge Coupled Device Data Base Electronic Chart Display and Information System Finite State Machine International Maritime Organization Region of Interest Sum of Difference (c) 3차원점군데이터 (3d point cloud data) ( 그림 3) [12] 는원영상이고, ( 그림 3(b)) 는 Disparity 데이터, ( 그림 3(c)) 는 3차원점군데이터 (3D point cloud data) 와원영상을비교하여나타낸다. 카메라가위치한원점에서피사체까지근접거리는 (Zmin) 4.17[m] 이고원거리 (Zmax) 까지는 8.08[m] 이였다. V. 결론본연구에서는야간및해무상태에서선박의안전운항을지원할수있도록해상적외선스테레오비전대구경감시시스템용거리측정기법을개발하였다. 본 참고문헌 [1] O. Faugeras, Three-Dimensional Computer Vision, The MIT Press,1993. [2] E. Trucco and A. Verri, Introductory Techniques for 3-D Computer Vision, Prentice Hall Publishing,1998. [3] R. Hartley anda. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2003. [4] A. Kaehler and G. Bradski, Learning Open CV, O Reilly, USA, 2008, pp.415-460. [5] J. Shi, C. Tomasi, Good features to track, IEEE- Comput. Soc. Conf., Computer Vision and Pattern Recognition, 1994, pp. 593-600. [6] H. Sunyoto, Wannes, and D. M Gavrila. A Comparative Study of Fast Dense Stereo Vision Algorithms, IEEE Intelligent Vehicles Symposium, London, 2004, pp. 319 324. [7] C. F. Olson et al., Wide-Baseline Stereo Vision for Mars Rovers, Proc. IEEE/RSJ International Conf. 오문균외 / 선박안전운항용대구경렌즈적외선스테레오비전시스템의거리측정기법 131
Intelligent Robots and Syst., 2003,pp.1302-1307. [8] D. G. Lowe, Object recognition from local scaleinvariant features, Proc. International Conf. Comput. Vision, Kerkyra Greece, vol.2, 1999, pp.1150-1157. [9] K. Mikolajczyk and C. Schmid, A performance evaluation of local descriptors, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 17, no. 10, 2005, pp. 1615-1630. [10] O. Veksler, Stereo Correspondence by Dynamic Programming on a Tree, Comput.Vision and Pattern Recognition, vol. 2, 2005, pp.384-390. [11] C. S. Park and H. W. Park, A robust stereo disparity estimation using adaptive window search and dynamic Programming search, Pattern Recognition, 2000, pp. 2573-2576. [12] Computer Vision System Toolbox, http://www.mathw orks.co.kr/kr/help/vision/ug/stereo-vision.html, Math Works 2013a, 2013. 132 전자통신동향분석제 28 권제 6 호 2013 년 12 월