전자통신동향분석제 22 권제 2 호 2007 년 4 월 지능형로봇스테레오비전처리기술 Stereo Vision System for Intelligent Robot 지능형로봇특집 조재일 (J.I. Cho) 최승민 (S.M. Choi) 장지호 (J.H. Chang) 황대환 (D.H. Hwang) H/W컴포넌트연구팀팀장 H/W컴포넌트연구팀연구원 H/W컴포넌트연구팀연구원인지로보틱스연구그룹그룹장 목차 Ⅰ. 서론 Ⅱ. 국내외기술개발동향 Ⅲ. 스테레오비전처리기술 Ⅳ. 결론 지능형로봇에사용되는필수적인여러센서들중시각센서는로봇지각의중추적인역할을담당한다. 로봇시장의확대와함께이러한시각센서를기반으로인간과로봇과의자연스러운상호작용에대한연구가활발히진행되고있으며최근에학교와연구소를중심으로대상체의삼차원거리영상정보를함께얻을수있는스테레오비전처리기술개발이활발히진행되고있다. 본고에서는스테레오비전처리에대한국내외연구개발동향에대해살펴보고 ETRI에서개발중인지능형로봇의스테레오비전처리기술에대하여소개한다. 38
조재일외 / 지능형로봇스테레오비전처리기술 I. 서론 최근로봇산업은산업용로봇에서출발하여군사용이나과학기술용도를벗어나가정용로봇으로까지그활동영역을넓혀나가고있다. 네트워크기반지능형로봇분야는고성능서버를통해로봇의지능과능력을외부로분산시켜 언제어디서나나와함께하면서나에게필요한서비스를제공하는로봇 이란개념으로연구개발되고있다. 지능형로봇개발에는여러종류의센서기술이필요하다. 로봇의충돌회피, 장애물감지등을위한거리센싱시스템, 로봇의위치파악을위한위치추정시스템그리고로봇의시각정보획득을위한시각센싱시스템등이필요하게된다. 그중에서도시각센서는변화하는주위환경에융통성있게대처할수있는정보를제공해주는로봇지각의중추적인역할을담당한다. 시각센서는주로카메라를이용하여실시간으로영상을취득하고, 취득된방대한양의영상데이터를실시간으로처리하여영상으로부터물체의크기, 위치, 색깔등의정보를분석하여물체를인지하며이를통해로봇의자율주행분야, 사용자의도및행위인식분야에까지이용될수있다. 최근에는이러한시각센서를두개이상사용하여물체의실시간 3차원영상정보를추출하는연구가학계및연구소를중심으로진행중에있다. 기술적측면에서볼때실시간거리영상의생성기술은로봇자율주행및장애물인식등의지능형로봇분야의응용뿐만아니라영화, 애니메이션, 방송, 가상현실등의여러분야에서요소기술로서응용될수있으므로그기술적파급효과가크다고할수있다. 실시간거리영상취득시스템은 1980년대말부터유수의연구기관 (CMU, 동경공대, INRIA, Teleos Research) 에서연구되어왔고, 카네기멜론대학의로봇공학연구소는 1990년대초반부터실시간거리영상취득을위한알고리듬과하드웨어장치를개발해오고있다. 2~6개의카메라영상으로부터실시간으로거리영상을생성하며, 이를이용하여 여러가지응용시스템을개발하고있다. 국내에서 3차원거리영상취득을위한연구는주로알고리듬위주로여러대학과연구소에서연구되고있다. 2003 년 KIST에서 3차원복원이가능한병렬처리형고속영상처리하드웨어 / 소프트웨어시스템의개발이발표된바있다 [1]. 본고에서는지능형로봇에적용될수있는스테레오비전처리에대한국내외연구개발동향에대해살펴보고 ETRI에서개발중인 URC 로봇의스테레오비전처리기술개발에대해소개하고자한다. Ⅱ. 국내외기술개발동향 1. 스테레오정합개념 인간은두눈과뇌에서의시각피질을이용하여입체공간을인식할수있듯이이와유사하게한쌍의카메라로부터들어오는영상을이용하여관측공간상의거리및관측물체의삼차원형태를감지할수있다. 그원리는한쪽카메라의영상상의임의의패턴을삼차원공간상의같은지점으로매핑되는다른카메라영상상에서찾아내는것이다. 이러한패턴의대응관계와삼각기법을사용하여역으로삼차원공간상의위치를알아낼수있다. 여기서패턴은픽셀, 윈도블록, feature(edge, 궤적 ) 등여러가지를사용한방법들이시도되어왔다. 두대의카메라를이용한스테레오매칭기법의 용어해설 URC (Ubiquitous Robotic Companion): 언제어디서나나와함께하면서나에게필요한서비스를제공하는로봇 이란개념으로 2004 년부터정보통신부주관으로개발되고있는 IT 기반지능형서비스로봇으로, 모든기능을로봇내에서해결하는기존로봇개념대신네트워크를통해외부서버에주요기능을분담시켜낮은가격으로로봇을제작할수있게하고동시에세계적으로기술우위에있는우리의 IT 인프라를최대한활용하는 IT 인프라와로봇의융합개념이다. 39
전자통신동향분석제 22 권제 2 호 2007 년 4 월 Camera Head Frame Grabber r A/D & #1 Frame Memory #2 #3 #6 Multiple Images with Different Base Lines d l 원리를 ( 그림 1) 을이용해간략히설명하면다음과같다. 임의의 base line(b) 의거리를두고배치된두대의카메라를통해촬영된두개영상에서의피사체간거리차 ( 변위, disparity) 를구하고렌즈의초점거리 (f) 를알면카메라로부터피사체사이의거리는 ( 그림 1) 의기하학적구조를통해다음식을이용하여추출할수있다. b r = f d 여기서, r은피사체와카메라와의거리, b는두대카메라사이의 base line 거리, f는카메라렌즈의초점거리이고, d는두개영상에맺힌동일피사체사이의거리차로서 d l -d r 이다. 2. 학계연구동향 f b Image planes 스테레오카메라를이용한실시간거리측정장치의초기연구로서 CMU에서는 ( 그림 2) 의블록도와같이여섯개의카메라를동시에사용하고 FPGA를이용하고 VME bus에기초한실시간매칭시스템을개발하였다 [2]. Ruhr University에서는 ( 그림 3) 의블록도와같이스테레오영상간의 phase 정보를이용하여실시간으로매칭하는시스템을개발하였다 [3]. 그러나이기법은영상의에지부분의거리정보는정확하게추출할수있는반면영상의에지부분이아닌경우거리정보를추출하지못하는단점이존재한다. f d r Lens ( 그림 1) 스테레오매칭시스템의기하학적구조 VME Bus LOG LOG & #1 Data Compression LOG to SAD I/F SSAD Computation 1 Absolute Difference with Rectification #1 SSAD Computation 2 #1 #5 Vertical Sum Horizontal Sum Minimum Finder #2 #6 #2 #3 #6 #2 #3 #6 I/F & Graphics Function DSP Array VxWorks Real-time Processor Sum of Absolute Difference #3 #7 Depth Map Communication Port Ethernet #4 #8 Sun Workstation SSAD LOG Outputs Curve of Sum of SAD SSAD Disparity 캐나다의토론토대학에서개발된스테레오매칭시스템의경우 360 256 크기의영상을초당 30프레임속도로처리가능하며비교적작은크기의하드웨어로구성하였다 [4]. 국내에서는포항공과대학교를중심으로시스톨릭배열 (systolic array) 기반 DP 방식에기반을둔실시간병렬처리스테레오비전칩을개발한바있으나상용까지는성능상의제약이많이남아있는상황이다 [5],[6]. 0m d * Disparity Subpixel Disparity Detection Depth Map ( 그림 2) CMU 스테레오매칭시스템의블록도 40
조재일외 / 지능형로봇스테레오비전처리기술 Left 0 255Pixel Brightness Resonator Response H Right 0.5Pixel -1 0 255Pixel Resonator Response 0.5Pixel -1 Φ Phasecomparator Brightness H LP 0.5Pixel -1 0.5Pixel -1 Nonnormalized Disparity ( 그림 3) Ruhr 스테레오매칭시스템의블록도 3. 제품개발동향 가. 미국 TYZX Tyzx DeepSea Processor RAM Flash Boot 미국 TYZX사에서개발된 DeepSea G2라는스테레오매칭시스템은 VGA급 CMOS 카메라를사용하고있으며 census transform 을사용하여계산량을줄이면서스테레오매칭을초당 200 프레임정도의고속으로처리할수있는기능을가지고있다. ( 그림 4) 는 DeepSea G2의하드웨어구성과스테레오카메라의사진을나타내며임베디드프로세서 (Power PC), Tyzx DeepSea 칩, DSP 그리고 FPGA로구성된다. ( 그림 5) 는 DeepSea G2 시스템을이용한실제영상과스테레오매칭결과에의한실시간 depth 이미지를나타낸다. 또한 TYZX사에서는스테레오비전시스템의응용소프트웨어패키지로사람추적과장애물검출및제스처인식소프트웨어를함께제공하고있다 [7]. Left Imager Right Imager FPGA DRAM SRAM Blackfin DSP PowerPC 440GX Flash Boot Compact Flash Ethernet RAM ( 그림 4) TYZX 사의스테레오매칭시스템 41
전자통신동향분석제 22 권제 2 호 2007 년 4 월 (a) Rectified Intensity Image (a) Raw Images (b) Real-time Depth Image ( 그림 5) TYZX 사의스테레오영상결과 Real-time depth image (b) Depth Image ( 그림 7) Point Grey 사의스테레오영상결과 나. 캐나다 Point Grey Research 캐나다 Point Grey Research사의 bumblebee 라는스테레오비전카메라시스템은스테레오비전분야에서현존하는최고의선도기술로평가되고있다. Bumblebee는 1/3 고성능 CCD 카메라를사용하고있고, QVGA급에서초당 2~3 프레임을처리하고있으며 ( 그림 6) 과같은스테레오카메라를사용하고있다. 카메라캘리브레이션오차는 0.05 픽셀이하로상당히정교한카메라캘리브레이션성능을가지고있다. 교정된좌 / 우영상을 IEEE1394를통해 PC에서수집한후 PC에서 SAD 알고리듬을이용해스테레오정합을소프트웨어로구현하고있다. Maximum bumblebee TM ( 그림 6) Point Grey 사의스테레오카메라사진 disparity 는 64~230까지지원하며 ( 그림 7) 은 bumblebee 시스템을이용한실제영상과스테레오매칭결과에의한 3차원 depth 이미지를나타낸다. Point Grey Research사에서도스테레오매칭결과를이용해사람추적, 제스처인식등의다양한응용소프트웨어를제공하고있다 [8]. 다. 미국 Videre Design 상기 Point Grey Research 사에서제작공급하고있는스테레오비전카메라시스템과비슷한저가형제품으로미국의 Videre Design사의 STH- MDCS 제품이있다. 저가격화를위해 30만화소의 CMOS 카메라를채택하고있고 QVGA급에서초당 16~17 프레임을처리하고있으며두대카메라사이의거리 (base line) 를가변적으로조정할수있는제품을출시하고있다. ( 그림 8) 은 STH-MDCS 제품사진이며 Point Grey Research 사와마찬가지로 IEEE1394 I/F를통해 PC로한쌍의영상을전송하고 PC에서스테레오정합기능을구현하고있다. ( 그림 9) 는 STH-MDCS 시스템을이용한실제영상 42
조재일외 / 지능형로봇스테레오비전처리기술 ( 그림 8) Videre Design 사스테레오카메라사진 과 disparity image 결과이다. 또한 Videre Design사에서는기존제품과는달리 STOC라는모듈이장착된 ( 그림 10) 과같은블록의제품을출시하고있는데, 이는 disparity image 생성을비교적작은용량의 FPGA 를이용해하드웨어로구현한제품이다 [9]. Ⅲ. 스테레오비전처리기술 ( 그림 9) Videre Design 사의스테레오영상결과 Imager module STOC board 1394 module 1394 imaging commands Left imager Left rectified image Digital video stream 8bit pixels 12MHz per imager Stereo processing 1394 interface electronics 1394 digital cable Disparity image Right imager 1394 commands ( 그림 10) Videre Design 사 STOC 제품구성도 다음은 ETRI에서개발중인스테레오비전처리기술을소개한다. ( 그림 11) 은현재개발중인스테레오비전처리부의구성도를나타낸것으로좌 / 우영상을취득하기위한두대의카메라와전처리부, 스테레오매칭부그리고후처리부로구성된다. 가정용서비스로봇에장착을목표로하고있고저가로구현하기위해시각센서로는 CMOS 이미지센서를사용하고있으며스테레오정합을포함한영상처리전체를하드웨어로처리하며하나의칩으로집적하여개발하고있다. 따라서, 로봇에장착된상태에서로봇의주행과장애물회피에직접사용될수있도록스테레오정합을통해피사체와의거리를실시간으로제공하게된다. 또한로봇제어용임베디드프로세서와함께연동되어로봇클라이언트로부터의다양한영상정보를무선네트워크를이용하여서버로전송하는동시에서버의처리결과를수신할수도있다. Left CMOS image Pre-processing 1) Camera calibration 2) Brightness control 3) Rectification Stereo matching Right CMOS image Post-processing 1) Disparity refinement 2) Segmentation 3) Labeling 스테레오비전전용칩 WLAN ( 네트워크서버연결 ) Embedded processor ( 그림 11) ETRI 스테레오비전시스템구성도 43
전자통신동향분석제 22 권제 2 호 2007 년 4 월 1. 전처리부전처리부는 rectification 과좌우영상의독립적인밝기조절등의기능을통해카메라의왜곡을최소화함으로써스테레오정합의성능을향상시킬수있다. 스테레오영상의 geometry 에서한쪽영상의한점은다른영상에서라인으로대응되는데, 이대응될수있는라인을 epipolar line이라한다. 이러한 epipolar 제한조건을이용하여찾고자하는대응점을영상전체에서찾는것이아니라해당 epipolar line으로범위를한정시킬수있다 [10]. ETRI에서개발중인스테레오비전처리기술도이러한 epipolar 제한조건을전제로하여알고리듬을구성하였기때문에스테레오정합부에입력되기전에좌우영상의 epipolar line을정확하게맞추어입력시켜주는것이성능에영향을많이주게된다. 이러한 epipolar line을맞추기위해서스테레오카메라전방에좌우카메라의베이스라인벡터와평행하도록스테레오카메라앞에 rectification용패턴을이용하여바로 rectification parameter를추출한다. 이렇게미리계산되어진변수들을전처리부의레지스터파일에저장하여두고초기화작업시위의 parameter들을이용하여 epipolar line을수평이되게함으로써영상을 rectification 하게된다 [11]. ( 그림 12), ( 그림 13) 은이런방식을통해서 epipolar line이정렬된영상을보여주고있다. 또한, 좌우카메라의물리적인특성차이또는한쪽카메라에게만센빛이입력되는현상등으로인해발생되는좌우영상의밝기차이를보정하기위한밝기보정 (brightness control) 기능이구현되어있다. 2. 스테레오정합부스테레오정합부는전처리부에서처리된좌우의영상입력으로부터 disparity 를계산하여이를밝기정보로서나타내어주는부분이다. 다음은스테레오정합부에서실제구현을위한알고리듬이다. 일반적으로스테레오비전에서 3차원영상을나타내는기준영상을정할때좌, 우영상중하나를택하는경우와이들사이의중심에가상의영상을정의하여이영상을사용하는경우가있다. Disparity를이용하여영상의 depth 정보를표현할때, 어느한쪽의이미지만가지고정보를나타내는경우는다른한쪽의불연속에대한이미지손실이많을수있는반면, center referenced disparity를사용한다면이러한표현에있어서의균형을이룰수있다. 또한불연속한공간을해석하고솔루션을찾는데있어서많은장점을가지고있다. ( 그림 14) 는스테레오정합부에서사용된알고리듬의기반이된 center referenced disparity가어떻게형성되는지를나타내고있다 [5]. Center referenced disparity의좌표는좌, 우두영상이생성 ( 그림 12) 입력된영상 left image f l p l p c p r f r right image center disparity ( 그림 13) Rectification 후의영상 ( 그림 14) 평행광축카메라의중앙양안차모델 44
조재일외 / 지능형로봇스테레오비전처리기술 할수있는영역을모두포함하고있으며, 각각의영상이 N 라인으로구성된다면, 중앙양안차영상은 2N+1개의인덱스를갖는것을확인할수있다. ( 그림 15) 는평행광축시스템의 center referenced disparity 영상에서 N=5일때생성되어지는 center referenced disparity 격자구조와이러한격자구조에서 dynamic programming을이용하여공간내에서최적의경로를찾는과정을보여준다 [12],[13]. 4 3 2 1 image pixel 0 l r l r l r l r l r f f 1 1 f f 2 2 f 3 f 3 f f f f 4 4 5 5 0 1 2 3 4 5 6 7 8 9 10 site ( 그림 15) 평행광축카메라의양안차격자구조본스테레오정합부에서는병렬구조를가지며비터비 (viterbi) 알고리듬을근간으로하여최적의경로를찾아내는데 O(N) 의시간복잡도를가짐으로써빠른속도의실시간계산이가능하다. ( 그림 16) 은실제구성된시스템을이용하여얻어진 (a) 좌측카메라영상, (b) 우측카메라영상, (c) 스테레오정합결과영상이다. 스테레오정합결과영상에서는가까운물체는밝게하고, 멀어질수 록어둡게표시하여대상체의거리정보를표시하게된다. 3. 후처리부후처리부는스테레오정합부에서얻어진 disparity map에서노이즈를제거하고, 밝기정보에따라대상체를구분하고이를각각출력할수있도록설계되어있다. 연구자료에서많이활용하는 tsukuba 영상을이용하여후처리부의실제처리과정을 ( 그림 17)~( 그림 19) 에단계별로나타내었다. ( 그림 17) 은 tsukuba 영상의스테레오정합부의결과인 disparity map이다. 이 map의 disparity 값은영상에서밝기정보로매핑되어카메라로부터가까운물체는밝게나타나고, 멀어질수록어둡게표시된다. 그러나, disparity map은구현상의다양한이유로인해실제상황에서는 ( 그림 17) 에서와같은노이즈성분을가지게되며, 이것은 map을활용한응용의성능에영향을미치게된다. 따라서, 후처리부에서는 refinement 과정을통해노이즈를제거하여 ( 그림 18) 과같이정제된 disparity map을출력 ( 그림 17) Raw Disparity Map ( 그림 16) 스테레오정합결과영상 ( 그림 18) 정제된 Disparity Map 45
전자통신동향분석제 22 권제 2 호 2007 년 4 월 며저가의 CMOS 이미지센서를사용하고스테레오정합을포함한영상처리전체를하드웨어로처리하는하나의칩으로집적하여개발하고있다. 약어정리 ( 그림 19) 각객체의거리및영역정보출력한다. 그리고, 마지막으로정제된 disparity map을이용하여 ( 그림 19) 에서보듯이밝기값이비슷한점들을그룹화하여 4개의객체로구분하며, 이객체들을독립적으로출력하는기능과객체들의거리, 폭, 높이정보를외부에서읽기가능한 register 로제공하는기능을수행한다. 이와같이, 후처리부는스테레오정합의결과를가공하여대상체를구분하여출력하고동시에객체정보를제공해줌으로써함께연동되는임베디드프로세서나서버에서수행될응용프로그램의복잡한연산부하를덜어줄수있도록설계되었다. Ⅳ. 결론 지능형로봇개발에는여러종류의인지기술이필요하며그중에서도시각처리관련기술은변화하는주위환경에융통성있게대처할수있는정보를제공해주는지각의중추적인역할을담당한다. 본고에서는지능형로봇에적용될수있는시각처리분야중스테레오비전처리에대한국내외연구개발동향에대해서살펴보았고 ETRI에서개발중인 URC 로봇의스테레오비전처리기술개발에대해소개하였다. ETRI에서개발중인스테레오비전처리시스템은가정용서비스로봇에장착을목표로하고있으 CCD CMOS DP DSP FPGA SAD STOC URC VGA VME Charge Coupled Device Complementary Metal-Oxide Semiconductor Dynamic Programming Digital Signal Processor Field-Programmable Gate Array Sum of Absolute Differences Stereo-on-a-Chip Ubiquitous Robotics Companion Video Graphics Array VERSA Module Eurocard 참고문헌 [1] 조동일, 지능형로봇센서, 주간기술동향, 통권 1183 호, 2005. 2., pp.31-41. [2] Takeo Kanade, Atsushi Yoshida, Kazuo Oda, Hiroshi Kano, and Masaya Tanaka, A Stereo Machine for Video-rate Dense Depth Mapping and Its New Applications, Proc. of IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, 18-20 June 1996, pp.196 220. [3] Bernd Porr, Alex Cozzi, and Florentin Wörgötter, How to Hear Visual Disparities: Real-time Stereoscopic Spatial Depth Analysis Using Temporal Resonance, Biological Cybernetics, Vol.78, No.5, June 1998, pp.329-336. [4] A. Darabiha, J. Rose, and W.J. MacLean, Videorate Depth Measurement on Programmable Hardware, IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR 03), June 2003, pp.203-210. [5] Hong Jeong and Yuns Oh, A Parallel Real Time Implementation of Stereo Matching, Proc. of 15th Int l Symp. on Parallel and Distributed Processing, Apr. 2001, pp.23-27. 46
조재일외 / 지능형로봇스테레오비전처리기술 [6] H. Jeong and S.C. Park, Generalized Trellis Stereo Matching with Systolic Array, In Lecture Notes in Computer Science, Vol.3358, 2004, pp.263-267. [7] John I. Woodfill, Gaile Gordon, Dave Jurasek, Terrance Brown, and Ron Buck, The Tyzx DeepSea G2 Vision System, A Taskable, Embedded Stereo Camera, Proc. of IEEE Computer Society Workshop on Embedded Computer Vision, Conf. on Computer Vision and Pattern Recognition, June 2006. [8] http://www.ptgrey.com/products/bumblebee2/bumblebee2_xb3_datasheet.pdf, Bumblebee Stereo Vision Camera Systems, Point Grey Research, Jan. 2007. [9] http://www.videredesign.com/docs/stoc-1.2.pdf, Stereo-on-a-Chip [STOC] Stereo Head User Manual 1.2, Videre Design, Aug. 2006. [10] Stuart Geman and Donald Geman, Stochastic Relaxation, Gibbs Distributions and the Bayesian Restoration of Images, IEEE Trans. On PAMI, PAMI, Vol.6, No.6, 1984, pp.721-741. [11] Charles Loop and Zhengyou Zhan, Computing Rectifying Homographies for Stereo Vision, Proc. IEEE Computer Vision and Pattern Recognition, Vol.1, June 23-25, 1999, pp.125 131. [12] H.H. Baker and T.O. Binford, Depth from Edge and Intensity Based Stereo, Proc. of the Int l Joint Conf. on Artificial Intelligence, 1981, pp.631-636. [13] Y. Ohta and T. Kanade, Stereo by Intra- and Interscanline Search, IEEE Trans. PAMI, PAMI, Vol.7, No.2, 1985, pp.139-154. 47