10_krs_08_0025.hwp

Similar documents
untitled

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

DBPIA-NURIMEDIA

LIDAR와 영상 Data Fusion에 의한 건물 자동추출

(JBE Vol. 24, No. 2, March 2019) (Special Paper) 24 2, (JBE Vol. 24, No. 2, March 2019) ISSN

3 : OpenCL Embedded GPU (Seung Heon Kang et al. : Parallelization of Feature Detection and Panorama Image Generation using OpenCL and Embedded GPU). e

02( ) SAV12-19.hwp


... K-vision Fig.. K-vision camera tracking screen Drummond [3] 3. 3 (lines), (edge) 3. (target). (homography perspective transform) [4]. (drifting).

À±½Â¿í Ãâ·Â

<313120C0AFC0FCC0DA5FBECBB0EDB8AEC1F2C0BB5FC0CCBFEBC7D15FB1E8C0BAC5C25FBCF6C1A42E687770>

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

(JBE Vol. 23, No. 6, November 2018) (Regular Paper) 23 6, (JBE Vol. 23, No. 6, November 2018) ISSN 2

(JBE Vol. 23, No. 2, March 2018) (Special Paper) 23 2, (JBE Vol. 23, No. 2, March 2018) ISSN

09권오설_ok.hwp

2 : 3 (Myeongah Cho et al.: Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method) (Special Paper) 23 2

1 : 360 VR (Da-yoon Nam et al.: Color and Illumination Compensation Algorithm for 360 VR Panorama Image) (Special Paper) 24 1, (JBE Vol. 24, No

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3

°í¼®ÁÖ Ãâ·Â

19_9_767.hwp

(JBE Vol. 21, No. 1, January 2016) (Special Paper) 21 1, (JBE Vol. 21, No. 1, January 2016) ISSN 228

融合先验信息到三维重建 组会报 告[2]

PowerPoint 프레젠테이션

(JBE Vol. 20, No. 5, September 2015) (Special Paper) 20 5, (JBE Vol. 20, No. 5, September 2015) ISS

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

<372DBCF6C1A42E687770>

제3장.ppt

26 이경승(394~400).hwp

09김수현_ok.hwp

(JBE Vol. 7, No. 4, July 0)., [].,,. [4,5,6] [7,8,9]., (bilateral filter, BF) [4,5]. BF., BF,. (joint bilateral filter, JBF) [7,8]. JBF,., BF., JBF,.

PowerPoint 프레젠테이션

(JBE Vol. 22, No. 2, March 2017) (Regular Paper) 22 2, (JBE Vol. 22, No. 2, March 2017) ISSN

#Ȳ¿ë¼®

[ReadyToCameral]RUF¹öÆÛ(CSTA02-29).hwp

example code are examined in this stage The low pressure pressurizer reactor trip module of the Plant Protection System was programmed as subject for

232 도시행정학보 제25집 제4호 I. 서 론 1. 연구의 배경 및 목적 사회가 다원화될수록 다양성과 복합성의 요소는 증가하게 된다. 도시의 발달은 사회의 다원 화와 밀접하게 관련되어 있기 때문에 현대화된 도시는 경제, 사회, 정치 등이 복합적으로 연 계되어 있어 특

1. 3DTV Fig. 1. Tentative terrestrial 3DTV broadcasting system. 3D 3DTV. 3DTV ATSC (Advanced Television Sys- tems Committee), 18Mbps [1]. 2D TV (High

<33312D312D313220C0CCC7D1C1F820BFB0C3A2BCB12E687770>

한 국 산 업 규 격 KS

차분 이미지 히스토그램을 이용한 이중 레벨 블록단위 가역 데이터 은닉 기법 1. 서론 멀티미디어 기술과 인터넷 환경의 발달로 인해 현대 사회에서 디지털 콘텐츠의 이용이 지속적 으로 증가하고 있다. 이러한 경향과 더불어 디지털 콘텐츠에 대한 소유권 및 저작권을 보호하기

(JBE Vol. 24, No. 1, January 2019) (Regular Paper) 24 1, (JBE Vol. 24, No. 1, January 2019) ISSN 2287

06박영수.hwp

Analyses the Contents of Points per a Game and the Difference among Weight Categories after the Revision of Greco-Roman Style Wrestling Rules Han-bong

8-VSB (Vestigial Sideband Modulation)., (Carrier Phase Offset, CPO) (Timing Frequency Offset),. VSB, 8-PAM(pulse amplitude modulation,, ) DC 1.25V, [2

DBPIA-NURIMEDIA

김기남_ATDC2016_160620_[키노트].key

45-51 ¹Ú¼ø¸¸

<31325FB1E8B0E6BCBA2E687770>

DBPIA-NURIMEDIA

44-4대지.07이영희532~

6.24-9년 6월

<4D F736F F D20B1E2C8B9BDC3B8AEC1EE2DC0E5C7F5>

2 : (Juhyeok Mun et al.: Visual Object Tracking by Using Multiple Random Walkers) (Special Paper) 21 6, (JBE Vol. 21, No. 6, November 2016) ht

3 : 3D (Seunggi Kim et. al.: 3D Depth Estimation by a Single Camera) (Regular Paper) 24 2, (JBE Vol. 24, No. 2, March 2019)

탄도미사일 방어무기체계 배치모형 연구 (Optimal Allocation Model for Ballistic Missile Defense System by Simulated Annealing Algorithm)

우리들이 일반적으로 기호

산선생의 집입니다. 환영해요

07.045~051(D04_신상욱).fm

05( ) CPLV12-04.hwp

(JBE Vol. 21, No. 1, January 2016) (Regular Paper) 21 1, (JBE Vol. 21, No. 1, January 2016) ISSN 228

(JBE Vol. 20, No. 6, November 2015) (Regular Paper) 20 6, (JBE Vol. 20, No. 6, November 2015) ISSN

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: 3 * The Effect of H


원고스타일 정의

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: : Researc

1 : (Sunmin Lee et al.: Design and Implementation of Indoor Location Recognition System based on Fingerprint and Random Forest)., [1][2]. GPS(Global P

Microsoft PowerPoint - ch03ysk2012.ppt [호환 모드]

R을 이용한 텍스트 감정분석

서강대학교 기초과학연구소대학중점연구소 심포지엄기초과학연구소

PowerPoint 프레젠테이션


I

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI: * The

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 27, no. 8, Aug [3]. ±90,.,,,, 5,,., 0.01, 0.016, 99 %... 선형간섭

04서종철fig.6(121~131)ok

09구자용(489~500)

±è¼ºÃ¶ Ãâ·Â-1

DBPIA-NURIMEDIA

김경재 안현철 지능정보연구제 17 권제 4 호 2011 년 12 월

서론 34 2

???? 1

Microsoft PowerPoint - 27.pptx

(


< FC1A4BAB8B9FDC7D D325FC3D6C1BEBABB2E687770>

DBPIA-NURIMEDIA

1

정보기술응용학회 발표

ePapyrus PDF Document

에너지경제연구 Korean Energy Economic Review Volume 17, Number 2, September 2018 : pp. 1~29 정책 용도별특성을고려한도시가스수요함수의 추정 :, ARDL,,, C4, Q4-1 -

ecorp-프로젝트제안서작성실무(양식3)

975_983 특집-한규철, 정원호

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: * Strenghening the Cap

Output file

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: Educational Design

Ⅱ. Embedded GPU 모바일 프로세서의 발전방향은 저전력 고성능 컴퓨팅이다. 이 러한 목표를 달성하기 위해서 모바일 프로세서 기술은 멀티코 어 형태로 발전해 가고 있다. 예를 들어 NVIDIA의 최신 응용프 로세서인 Tegra3의 경우 쿼드코어 ARM Corte

감각형 증강현실을 이용한

<32392D342D313020C0FCB0C7BFED2CC0CCC0B1C8F12E687770>

DBPIA-NURIMEDIA

Transcription:

동적환경에강인한장면인식기반의로봇자율주행 245 동적환경에강인한장면인식기반의로봇자율주행 Scene Recognition based Autonomous Robot Navigation robust to Dynamic Environments 김정호, 권인소 1 Jungho Kim, In So Kweon 1 Abstract Recently, many vision-based navigation methods have been introduced as an intelligent robot application. However, many of these methods mainly focus on finding an image in the database corresponding to a query image. Thus, if the environment changes, for example, objects moving in the environment, a robot is unlikely to find consistent corresponding points with one of the database images. To solve these problems, we propose a novel navigation strategy which uses fast motion estimation and a practical scene recognition scheme preparing the kidnapping problem, which is defined as the problem of re-localizing a mobile robot after it is undergone an unknown motion or visual occlusion. This algorithm is based on motion estimation by a camera to plan the next movement of a robot and an efficient outlier rejection algorithm for scene recognition. Experimental results demonstrate the capability of the vision-based autonomous navigation against dynamic environments. Keywords : Motion Estimation, Autonomous Navigation, Scene Recognition, Outlier Rejection 1. 서론 1) 로봇자율주행을위해환경인지 (environment perception) 기술과로봇조작 (robot operation) 간의관계를규정해야한다. 비전센서들은환경인지를위한다양한정보를제공하기때문에이를이용한자율주행방법론들이소개되고있다. 비전기반의주행기술은환경을표현하는방법론에따라크게두가지로나눌수있다. 모델기반 (model-based) 의방법론들은 [1-2] 환경을랜드마크 (landmark) 들과특징량 (feature) 들에대한서술자 (descriptor) 들로표현한다. 이를위한방법은자연 (natural) 또는인공 (artificial) 랜드마크들을이용한지도작성 (map building) 에기반한다. 또다른방법으로, 외형기반 (appearance-based) 의방법론은센서중심의환경표현 (representation) 을이용한다. 비전기반의방법론에서는환경을키프레임 (key-frame) 영상들로부터그래프 (graph) 를구성하거나, 영상을주행에적합하도록변형한다. 대 이논문은한국과학재단의국가지정연구실사업 (Grand number M1-0302-00-0064) 의지원에의하여연구되었음. 교신저자 :KAIST 전자전산학과박사과정 1 KAIST 전자전산학과교수 (E-mail : iskweon@kaist.ac.kr) 표적인예로, Yagi는전방향파노라마영상으로부터영상패턴을구성하는 iconic memory기반의주행방법을소개하였다 [3]. Gaspar [4] 은단일전방향카메라를이용한비전기반의주행방법을소개했다. Chen과 Birchfield [5] 는학습단계 (teaching step) 에서획득된영상과현재영상사이의대응점들을비교함으로써, 로봇이주행할수있는알고리즘을제안하였다. Booij [6] 는위상학적 (topological) 지도와대응점계산을통한방향추정기반의주행방법을소개하였다. 또한, 효율적인영상정합방법을이용한자율주행방법이소개되었다. [7] [8] 에서 Segvic은환경표현을위하여키프레임영상들로구성된그래프와 3D 복원을계층적 (hierarchical) 으로결합하고, 이를이용한주행방법을제안하였다. 하지만기존의방법론들은환경변화나움직이는물체또는사람이존재하는동적 (dynamic) 환경에의한영향을고려하지않기때문에이와같은환경에서주행의성공을보장할수없다. 본논문에서는동적환경또는환경변화에강인한새로운비전기반의주행방법론을소개한다. 제안된방법론은학습-재현전력을사용한다. 학습단계에서로봇은임의의환경을주행하며, 지도를작성하고, 대표되는키프레임영상들을저장한다. 재현

246 로봇공학회논문지제 3 권제 3 호 (2008.9) 단계에서는지도와키프레임영상들을기반으로자율주행을한다. 동적환경에서강인성을확보하기위해, kidnapping 문제를해결해야한다. Kidnapping 문제는로봇이외부환경으로부터의영향으로현재위치를추정할수없을경우, 새롭게현재위치를재추정하는문제를말한다. 본문제에서가장핵심되는기술은시점변화및조명변화에도강인하게이전에생성된지도와현재영상사이의대응관계를계산하는것이다. 이를위해많은비전알고리즘들이제안되었다. [9-11] 하지만기존의방법은계산량이많기때문에실시간처리가불가능하다. 그러므로본논문에서는시점및조명변화가있는두영상에서강인하게대응점들을계산하는방법에대해서소개한다. 먼저 2장에서자율주행을위한전처리단계로 visual SLAM(Simultaneous Localization And Mapping) 방법을소개한다. 3장에는새로운비전기반주행방법및목적지인식 (recognition) 을위한대응점계산방법을제안한다. 4장에서는로봇이처음임의의위치에있을때, 글로벌로컬라이제이션 (global localization) 을위한대응점계산및위치추정방법에대해소개한다. 5장에서우리는다양한실험을통하여제안된방법의성능을검증한다. 브픽셀 (sub pixel) 로계산하기때문에그림 1에서보여준것처럼기존의방법보다정확한 3차원위치를계산할수있다. KLT 추적기의 2차원계산을에피폴라라인방향으로의 1차원추적으로변형하기위해, 우리는왼쪽영상 에서의한점, 는오른쪽영상 에서 과대응된다고가정한다. 그리고 Taylor 급수전개로부터식 (1) 과같이근사화를한다. (1) 여기서, 은최소디스페러티 (disparity) 문턱치 (threshold) 이고, 는수평축에대한영상밝기의차를나타낸다. 식 (2) 와같이 SSD(sum of squared difference) 로정의되는오차를최소화하는 를식 (3) 으로부터계산한다. (2) 여기서 2. 학습단계 (teaching step) 학습단계에서는스테레오카메라를이용한 Visual SLAM 방법론으로부터주변환경에대한지도를작성하고, 키프레임 (key-frame) 영상들을저장한다. 2.1 특징점추출 (feature extraction) 스테레오영상에서우리는코너점 (corner point) [12] 를추출한다. 코너점은적은영상변화에대해안정된검출성능을보이고, 특히, 계산량 (computational complexity) 이적다는장점을가진다. MMX 프로그래밍을이용하여, 320 240화소 (pixel) 의영상에서코너점을추출하는데소요되는시간은 5ms 미만이다. 2.2 스테레오정합 (stereo matching) 스테레오정합으로부터우리는검출된특징점의 3차원위치를추정할수있다. 만약스테레오영상이보정 (rectification) 되었다면, 에피폴라 (epipolar) 라인은영상에서수평축과동일하기때문에스테레오정합문제가쉬워진다. 스테레오영상에서대응점을계산하기위해 Kim과 Kweon [13] 에의해제안된개선된 KLT 추적기 (tracker) 를사용한다. KLT 추적기 [14] 는대응점위치를서 그림 1. 3D reconstruction by NCC-based and proposed methods (top : NCC-based, middle : proposed, bottom : a left image among stereo)

동적환경에강인한장면인식기반의로봇자율주행 247 를계산하기위해우리는식 (2) 의미분치 (derivative) 을 0으로둔다. 만약그림 2와같이에피폴의 좌표, 가프린시펄포인트 보다오른쪽에있다면로봇은오른쪽으로회전한다. 반대의경우에로봇은왼쪽으로회전한다. (3) 2.3 움직임추정및지도작성 (motion estimation and map building) 많은비전기반의 SLAM 방법들중, Nister는 Visual Odometry [15] 를제안하였다. 여기서사용된 3점알고리즘 (3-point algorithm) [16-17] 은 3차원위치와현재영상과의대응관계를알고있을때현재카메라의위치를계산해준다. 2.4 키프레임영상획득만약이전의키프레임영상과현재영상사이의대응점이부족할경우우리는현재영상을새로운키프레임영상으로지정하고, 데이터베이스 (database) 에저장한다. 이저장된키프레임영상들은환경지도와더불어자율주행을위해서사용된다. 3. 재현단계 (replay step) epipole epipole epipole 그림 2. Naivgation strategy by epipole coordinates 그러므로, 우리는식 (5) 와식 (7) 과같이주행전략을요약할수있다. 만약로봇이목적지점근처에있지않을경우로봇은식 (5) 에의해자율주행을한다. 여기서 는임의의양수이다. 로봇이목적지점에도착했다는것을결정하기위해우리는식 (6) 과같이목적지점과현재위치사이의거리를계산한다. (5) 3.1 주행전략 (navigation strategy) 두영상에서기하학적관점 (geometrical view) 은로봇이다음목적지로이동하기위한좋은추론방법이된다. 목적지로의귀환 (homing) 을위해서우리는에피폴 (epipole) [18] 의위치가다음로봇조작을위한기초가된다. 만역카메라가목적지점을향해있을경우에피폴은프린시펄 (principal) 포인트 [18] 근처에존재한다. 에피폴을계산하기위해서펀더멘탈 (fundamental) 행렬 [18] 을계산해야한다. 하지만두장의영상에서카메라중심 (center) 를잊는직선이영상에투영되는위치가에피폴의위치이기때문에우리는식 (4) 로부터에피폴을계산한다. (4) 여기서 는카메라행렬, 는목적지점의위치, 그리고 는현재카메라의위치를나타낸다. (6) 여기서, 와 는각각목적지점과현재위치를나타낸다. 로봇이목적지점에도착하였을경우로봇을회전시키고, 식 (7) 과같이로봇의방향을조정한다. 여기서 는임의의양수이고, 와 는키프레임영상과현재영상의대응점으로부터계산한평균 좌표이다. 로봇이식 (7) 에의해멈추었을때, 로봇이목적지점까지도달했다는것을의미하므로, 다음키프레임영상으로다시주행을한다. (7)

248 로봇공학회논문지제 3 권제 3 호 (2008.9) 3.2 특징점정합에의한위상학적장소인식위상학적장소인식은로봇이이전에방문했던곳에다시도착했는지를결정하는것이고, 이를위해우리는영상간의대응점을계산한다. 특징점정합을위해우리는학습단계에서만들어진 3차원지도와현재카메라자세 (pose) 를이용한예측-최적화 (prediction-optimization) 방법을제안한다. 식 (8) 과같이 3차원랜드마크를현재영상으로투영 (projection) 함으로써, 대응점을예측한다. 대응점을계산한결과이다. (8) 여기서, 은 3 차원위치 를현재위 치 로부터현재영상에투영한좌표를나타낸다. 예측된점으로부터 KLT 추적기는강인하게대응점을계산할수있다. (9) 여기서 는매우작은값이되므로, 식 (9) 와같이 1차 Taylor 근사화가가능하다. (10) 여기서,, 와 는각각키프레임영상과현재영상을나타낸다. 식 (10) 에서정의된 SSD를최소화하는, 를식 (11) 과같이계산한다. (11) (12) 그림 3. Correspondences under viewpoint variations 4. 글로벌로컬리제이션 (global localization) 장면인식을위해시점및조명변화가있는영상에서코너대응점계산을위해서 Kim 과 Kweon [19] 은외곽점 (outlier) 을제거할수있는방법을제안하였다. 4.1 Pairwise 각도제약조건에의한외곽점제거 (outlier rejection by pairwise angular constraints) 논문 [20] 에서, 두대응점집합에서광학적 (photometric) 유사도 (similarity) 와기하학적 (geometric) 양립성 (compatibility) 을고려한외곽점제거알고리즘을제안하였다. 두개의대응점사이에제공되는기하학적각도제약조건은그림 4에서각도 가서로유사하다는것을의미한다. 만약이두각도의차가클경우, 두대응점은잘못된대응점이라는것을나타낸다. 주어진 개의대응점들 에서우리는유사성과양립성을대표하는 행렬 을계산할수있다. 여기서,, 그림 3 은제안된방법으로큰변화가있는영상에서 x 1 α x 2 1 β 2 그림 4. Pairwise angular constraints

동적환경에강인한장면인식기반의로봇자율주행 249 - 는두영상에서대응점의광학적유사성으로, 식 (13) 과같이 NCC(normalized cross correlation) 으로정의한다. (13) 을중지하고, 아닐경우 step 3로돌아간다. 그림 5는각도제약조건에의한방법과기존의대표적인방법인에피폴라제약 (epipolar constraints) 에의한대응점계산결과를보여준다. 이결과로부터우리는각도제약조건에의한외곽점제거결과가초기외곽점에대해강인하고, 에피폴라제약과는달리 8점이상의대응점들이요구되지않기때문에유용하다. - 는두대응점들에의해계산된기하학적오차를나타낸다. (14) 여기서 는영상에서두점을잇는직선과영상의수평축이이루는각도를나타내고, 는임의의작은양수이다외곽점제거문제는아래의 를최대로하는인라이어 (inlier) 무리 를계산하는것이다. (15) (16) 는행렬 의가장큰고유치 (eigenvalue) 에해당하는고유벡터 (eigenvector) 로부터계산된다 [20]. 그러므로우리는아래와같이각도제약조건을이용한외곽점제거알고리즘을요약할수있다. Step 1: 행렬 을식 (13) 과 (14) 에의해구성한다. Step 2: eigenvalue decomposition으로부터 를계산한다. 그림 5. Outlier rejection by epipolar and pairwise angular constraints (top : initial NCC, middle : epipolar constraints, bottom : pairwise angular constraints) 4.2 스케일제약조건에의한외곽점제거 (outlier rejection by pairwise scale constraints) 비록각도제약조건이초기외곽점에강인하지만, 시점변화가클경우모든외곽점을제거할수없다. 뿐만아니라, 그림 6과같이영상에서겹쳐지는부분이없을때에도항상대응점을제공하기때문에장면인식을위한방법으로유용하지않다. Step 3: 를계산하고, 만약 은알고리즘을끝낸다. 우리는 와각특징점사이의각도오차를아래의식으로부터계산한다. 만약 이면 으로둔다. 반대의경우 를인라이어집합 에넣는다. Step 4: 만약더이상의외곽점이없을경우알고리즘 그림 6. Correspondences using pairwise angular constraints when there is no overlapping area. 그러므로각도제약조건에의해외곽점을제거한후, 우리는스케일제약조건에의해남겨진외곽점을제거

250 로봇공학회논문지제 3 권제 3 호 (2008.9) 한다. 즉, 2개의대응점은두점으로부터원영역을만들수있고, 같은영역이라면그원영역으로부터계산된 SIFT 서술자 (descriptor) [9] 가유사해야한다. SIFT 서술자는영역의스케일과회전또는조명변화에강인하다. 그러므로우리는그림 7과같이두점으로부터생성된원영역으로부터 SIFT 서술자를계산함으로써, 두영역이대응하는지를조사한다. 우리는위두부등식을만족하는공통영역을식 (19) 와같이정의할수있다. (19) 그러므로우리는식 (20) 으로부터스케일을결정한다. x 1 r min 1 r 1 x 2 1 r min 2 r 2 2 (20) 그림 7. Circle regions generated by a set of two points 하지만많은영역들이영상의범위를넘어서생성되고, 영역이클경우계산량이많기때문에우리는두영역의스케일비율 (scale ratio) 을유지하면서적당한스케일을그림 8처럼결정한다. x 1 s 1 r 1 x 2 1 s 2 r 2 2 영역의최대스케일을 로고정하면서, SIFT 서술자를계산하는데소요되는시간을줄일수있다. 4.1장에서 는특징점 의대응관계에대한확률을나타내기때문에가장확률이낮은대응점부터검증함으로써, 전체대응점에대한 SIFT 서술자계산을필할수있다. 그러므로각도제약에의해외곽점을검출한후, 남겨진 의대응점들로부터스케일제약을이용하여나머지외곽점들을검출한다. 전체과정을아래와같이정리할수있다. 그림 8. Scale selection 두원영역들사이의스케일은식 (17) 과같은조건을만족해야한다. (17) 여기서, 은영상의경계와특징점사이의최소거리를나타내고, 은두점사이의거리로부터계산된다. 그리고 은 SIFT 서술자를계산하기에충분한최소영역의스케일을의미한다. 우리가 가된다고가정하면, 즉 일경우식 (17) 로부터우리는식 (18) 을유도할수있다. Step 1: 를계산한다. Step 2: 와거리가 보다큰최소거리의대응점 를계산한다. Step 3: 와 를이용하여식 (20) 으로부터스케일을계산하고, SIFT 서술자를계산한다. Step 4: 만약 이면알고리즘을멈추고, 그렇지않을경우, 집합 에서대응점 를제거하고, step 1으로돌아간다. 여기서, 는 SIFT 서술자들사이의유클리디안 (Euclidean) 거리를의미하고, 는서술자정합을위한문턱치이다. 5. 실험결과 (experimental results) (18) 주행실험을위해서우리는 Bumblebee 스테레오카메라가탑재된 Pioneer 2 로봇을이용하고, 주처리장치로는 1.86 GHz, 1.5 GRAM 사양의노트북을사용하였다.

동적환경에강인한장면인식기반의로봇자율주행 251 5.1 외곽점제거외곽점제거에대해제안된알고리즘의성능을분석하기위해서, 우리는시점변화및조명변화가있는영상에서대응점을계산한다. 그림 9는공통된영역이있는두영상에서대응점을계산한결과이다. (c) 에서각도제약조건만을사용하였을경우파란색원으로표시된 2 개의외곽점이남아있는것을확인할수있다. 하지만각도및스케일제약조건을이용하였을경우이두외곽점이제거된것을확인할수있다. 그림 9와같이두영상에서영역의겹침이없을경우제안된방법은두개의외곽점을검출하지못하지만다른방법에비해적은외곽점을가진다. 표 1은두영상에서대응점을계산하는데소요되는시간을나타낸다. 두장의영상에서대응점을계산하는데소요되는시간은 50ms 미만이고, 기존의방법에비해계산량이적다. 표 2는 20쌍의영상에서대응점을계산한후, 외곽점과올바른대응점 (inlier) 의수를비교한결과를보여준다. 그림 10. Correspondences when there is no overlapping region (first(a) : initial NCC matching, second(b) : epipolar constraints, third(c) : pairwise angular constraints, fourth(d) : pairwise angular and scale constraints) 표 1. 각단계별계산량 단계 시간 (ms) 두장의영상에서코너추출 26.9 NCC를이용한초기대응점검출 2.8 pairwise angular constraints를이용한외곽점검출 15 scale constraints를이용한외곽점검출 4.2 전체계산시간 48.9 표 2. 대응점계산성능비교 각도제약조건각도 + 스케일제약조건 그림 9. Correspondences when there exist overlapping regions (first(a) : initial NCC matching, second(b) : epipolar constraints, third(c) : pairwise angular constraints, fourth(d) : pairwise angular and scale constraints) 겹쳐지는영역이있을경우 Inlier / outlier 겹쳐지는영역이없을경우 Inlier / outlier 5.1 장면인식결과 440 / 47 431 / 8 0 / 126 0 / 8 장면인식실험을위해우리는로봇을가정환경에서

252 로봇공학회논문지제 3 권제 3 호 (2008.9) 주행하며 1104개의영상을획득하였다. 이영상들중에 서 27개의영상을선택하여데이터베이스 (database) 를 구성하고, 나머지영상으로부터장면인식을수행하였 다. 표 3은 SIFT [9] 를이용한방법과제안된방법사이에 장면인식결과를나타낸다. 표 3. 대응점계산성능비교 SIFT Proposed 인식된영상 / 전체테스트영상 676/1104 761/1104 잘못인식된영상 / 전체테스트영상 2/1104 2/1104 에서주행경로를보여준다. 또한, 로봇이주행중사람에의해강제적으로다른위치로옮겨졌지만, 제안된방법으로부터위치를회복하고다시주행을성공적으로수행할수있다. 로봇은약 20m를주행하였고, 주행하는데걸리는시간은약 5분이다. 그림 13은자율주행의일부영상들을보여준다. 아래그림 12와 13에서보여준것처럼로봇은사람이움직이는동적환경, 급격한움직임 (erratic motion) 또는시각적인가려짐 (visual occlusion) 이발생할경우에도강인하게주행할수있음을보여준다. 5.3 정적환경에서주행결과그림 11의 (a) 는움직이는물체또는사람이없는환경에서로봇이약 30분주행하여얻어진경로와학습단계에서만들어진지도를보여준다. 파란색선은자율주행에서계산된로봇의경로를보여주고, 붉은색점은키프레임영상이생성된위치를나타낸다. 검은색점들은코너점들의 3차원위치를수평면에투영한것이다. (b) 는최종위치에서얻어진스테레오영상을이용하여 3차원복원을한것으로 ( 붉은색점들 ) 현재위치에대한오차가거의없다는것을확인할수있다. 그림 12. Navigation path from dynamic environments 그림 13. Navigation results 5.5 장거리주행결과 그림 14는로봇이장거리주행을위해서건물 1층로비로부터약 60m 가량주행을하였을때주행결과를보여준다. 그림 11. Navigation path from static environments (top(a) : navigation path, bottom(b) : 3D reconstruction at the last pose) 5.4 동적환경에서주행결과 그림 12 는환경변화및움직이는사람이있는환경 그림 14 Long-distance navigation from the lobby of the EE building

동적환경에강인한장면인식기반의로봇자율주행 253 4. 결론 (conclusion) 본논문에서는동적인환경에서비전기반의강인한자율주행방법을제안하였다. 이를위해움직임추정 (motion estimation) 기반의자율주행방법론과강인한위상학적장소인식방법을소개하였다. 그리고움직이는물체또는사람들에의해주행이방해를받았을경우, 강인하게현재위치를다시추정할수있는장면인식방법을제안하였다. 다양한환경에서주행하여그강인성을검증하였고, 장면인식방법에대한통계적인결과분석을수행하였다. 참고문헌 [1] D. Burschka and G.D. Hager, Vision-based control of mobile robots, IEEE International Conference on Robotics and Automation, 2001. [2] Stepha Se, David Lowe and Jim Little, Mobile Robot Localization and Mapping with Uncertainty using Scale-Invariant Visual Landmarks, International Journal of Robotics Research, Vol. 21, No. 8, 2002. [3] Yasushi Yagi, Kousuke Imai, Kentaro Tsuji and Masahiko Yachida, Iconic Memory-Based Omnidirectional Route Panorama Navigation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 1, 2006. [4] Jose Gaspar, Niall Winters and Jose Santos-Victor, Vision-based Navigation and Environment Representations with an Omni-directional Camera, IEEE Transactions on Robotics and Automation, Vol. 16, No. 6, 2000. [5] Zhichao Chen and Stanley T. Birchfield, Qualitative Vision-based Mobile Robot Navigation, IEEE International Conference on Robotics and Automation, 2006. [6] O.Booij, B.Terwijn, Z.Zovkovic and B.Krose, Navigation using an appearance based topological map, IEEE International Conference on Robotis and Automation, 2007. [7] Friedrich Faundorfer, Christopher Engles and David Nister, Topological mapping, localization and navigation using image collection, IEEE/RSJ International Conference on Robots and System, 2007. [8] Sinsa Segvic, Anthony Remazeilles, Albert Diosi and Francois Chumette, Large scale vision-based navigation without an accurate global reconstruction, IEEE Conference on Computer Vision and Pattern Recognition, 2007. [9] D. Lowe, Distinctive image features from scaleinvariant Keypoints, International Journal of Computer Vision, Vol. 60, No. 2, 2004. [10] J.Matas, O.Chum, U.Martin and T.Pajdla, Robust wide baseline stereo from maximally stable extremal regions, British Machine Vision Conference, 2002. [11] Sungho Kim and In So Kweon, Biologically Motivated Perceptual Feature : Generalized Robust Invariant Feature, LNCS 3852:350-364 (ACCV 06), 2006. [12] C.Harris and M.J.Stephen, A combined corner and edge detector, In Alvey Vision Conference, page 147-152, 1988. [13] Jungho Kim and In So Kweon, Robust Feature Matching for Loop Closing and Localization, IEEE/RSJ International Conference on Robots and Systyems, 2007. [14] Jianbo Shi and Carlo Tomasi, Good Features to Track, IEEE Conference on Computer Vision and Pattern Recognition, 1994. [15] David Noster, Oleg Naroditsky and James Bergen, Visual Odometry, IEEE Conference on Computer Vision and Pattern Recognition, 2004. [16] R.Haralick, C.Lee, K.Ottenberg and M.Nolle, Review and Analysis of Solutions of the Three Point Perspective Pose Estimation Problem, International Journal of Computer Vision, Vol. 13, No. 3, 1994. [17] David Nister, A Minimal Solution to the Generalized 3-Point Pose Problem, IEEE Conference on Computer Vision and Pattern Recongition, 2004. [18] R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, ISBN 0-521-62304-9, 2000. [19] Jungho Kim, Ouk Choi and In So Kweon, Efficient

254 로봇공학회논문지제 3 권제 3 호 (2008.9) Feature Tracking for Scene Recongition using Angular and Scale Constraints, IEEE/RSJ International Conference on Robots and Systems, 2008. [20] Marius Leordeanu and Martial Herbert, A Spectral Technique for Correspondence Problems Using Pairwise Constraints, IEEE International Conference on Computer Vision, 2005. 김정호 2004 경북대학교전자전기공학부 ( 공학사 ) 2006 한국과학기술원전자전산학과 ( 공학석사 ) 2006~ 현재한국과학기술원전자전산학과박사과정관심분야 : Vision-based Autonomous Navigation, Visual SLAM 권인소 1981 서울대학교기계설계학과 ( 공학사 ) 1983 서울대학교기계설계학과 ( 공학석사 ) 1990 Carnegie Mellon Univ. Robotics Institute( 공학박사 ) 현재 KAIST 교수관심분야 : 컴퓨터비전, 3D 비전, 카메라보정, 물체인식및분류, SLAM