출한다. 계산부는 RGB 컬러이미지로부터외관거리를계산하고, 깊이이미지로부터기하학적거리를계산하고, 그리고, 평면법선벡터를계산한다. 리파인부는평면상에존재하는특징부를리파인 (refine) 한다. 워드매칭부는사전에저장된시각워드데이터베이스부를이용하여특징부와워드를매칭한다. 위치추

Size: px

Start display at page:

Download "출한다. 계산부는 RGB 컬러이미지로부터외관거리를계산하고, 깊이이미지로부터기하학적거리를계산하고, 그리고, 평면법선벡터를계산한다. 리파인부는평면상에존재하는특징부를리파인 (refine) 한다. 워드매칭부는사전에저장된시각워드데이터베이스부를이용하여특징부와워드를매칭한다. 위치추"

세례 피
5 years ago
Views:

1 (19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (45) 공고일자 2014년11월14일 (11) 등록번호 (24) 등록일자 2014년11월04일 (51) 국제특허분류 (Int. Cl.) G06T 7/60 ( ) (21) 출원번호 (22) 출원일자 2013 년 05 월 24 일 심사청구일자 (56) 선행기술조사문헌 KR B1* 2013 년 05 월 24 일 * 는심사관에의하여인용된문헌 (73) 특허권자 중앙대학교산학협력단 서울동작구흑석동 221 (72) 발명자 홍현기 서울송파구양재대로 1218, 102 동 1003 호 ( 방이동, 올림픽선수기자촌아파트 ) 이인표 경기부천시원미구부천로 65 번길 57, B 동 502 호 ( 심곡동, 쌍용빌라 ) (74) 대리인 송경근전체청구항수 : 총 5 항심사관 : 이주미 (54) 발명의명칭시각특징과기하정보를이용한로봇의위치추정장치및방법 (57) 요약 시각특징과기하정보를이용한로봇의위치추정장치가개시된다. 이미지입력부는 3 차원깊이정보를포함하는깊이이미지 (depth image) 와컬러정보를포함하는 RGB 컬러이미지 (color image) 가입력된다. 특징부추출부는입력된깊이이미지로부터 3 차원적인기하학적정보를추출하고, 컬러이미지로부터 2 차원컬러정보를추 ( 뒷면에계속 ) 대표도 - 도 1-1 -

2 출한다. 계산부는 RGB 컬러이미지로부터외관거리를계산하고, 깊이이미지로부터기하학적거리를계산하고, 그리고, 평면법선벡터를계산한다. 리파인부는평면상에존재하는특징부를리파인 (refine) 한다. 워드매칭부는사전에저장된시각워드데이터베이스부를이용하여특징부와워드를매칭한다. 위치추정부는워드매칭한정보를토대로로봇의현위치를추정한다. 본발명에따르면, 3차원깊이정보 (3D depth data) 를이용하여로봇의위치를추정함에있어위상지도에서인덱스워드를생성할수있다. 이를통해, 시각특징과기하정보를이용하여로봇의위치를정확하게파악할수있다

3 특허청구의범위청구항 1 3차원깊이정보를포함하는깊이이미지 (depth image) 와컬러정보를포함하는 RGB 컬러이미지 (color image) 가입력되는이미지입력부 ; 상기입력된깊이이미지로부터 RANSAC(RAndom SAmple Consensus) 알고리즘을이용하여 3차원적인기하학적정보인구조적평면 (structural plane) 및상기구조적평면의표면법선정보 (surface normal information) 를추출하여특징점을추출하고, 상기컬러이미지로부터 2차원컬러정보를추출하는특징부추출부 ; 상기 RGB 컬러이미지로부터외관거리를계산하고, 상기깊이이미지로부터기하학적거리를계산하고, 그리고, 복수의상기평면을상호비교함으로써평면법선벡터를계산하는계산부 ; 상기평면상에존재하는특징부를리파인 (refine) 하는리파인부 ; 사전에저장된시각워드데이터베이스부를이용하여상기특징부와워드를매칭하되, 상기사전에저장된시각워드데이터베이스부와비교하기전에상기특징점을인덱스워드 (index word) 로표시하는워드매칭부 ; 및상기워드매칭한정보를토대로로봇의현위치를추정하는위치추정부 ; 를포함하는것을특징으로하는시각특징과기하정보를이용한로봇의위치추정장치. 청구항 2 삭제청구항 3 삭제청구항 4 제 1항에있어서, 상기이미지입력부는스테레오카메라또는키넥트카메라중어느하나에의해촬영된이미지를입력받는것을특징으로하는시각특징과기하정보를이용한로봇의위치추정장치. 청구항 5 시각특징과기하정보를이용한로봇의위치추정장치에의해수행되는로봇의위치추정방법에있어서, (a) 3차원깊이정보를포함하는깊이이미지 (depth image) 와컬러정보를포함하는 RGB 컬러이미지 (color image) 가입력되는이미지입력단계 ; (b) 상기입력된깊이이미지로부터 RANSAC(RAndom SAmple Consensus) 알고리즘을이용하여 3차원적인기하학적정보인구조적평면 (structural plane) 및상기구조적평면의표면법선정보 (surface normal information) 를추출하여특징점을추출하고, 상기컬러이미지로부터 2차원컬러정보를추출하는특징부추출단계 ; (c) 상기 RGB 컬러이미지로부터외관거리를계산하고, 상기깊이이미지로부터기하학적거리를계산하고, 그리고, 복수의상기평면을상호비교함으로써평면법선벡터를계산하는계산단계 ; (d) 상기평면상에존재하는특징부를리파인 (refine) 하는리파인단계 ; (e) 사전에저장된시각워드데이터베이스부를이용하여상기특징부와워드를매칭하되, 상기사전에저장된시각워드데이터베이스부와비교하기전에상기특징점을인덱스워드 (index word) 로표시하는, 워드매칭단계 ; 및 (f) 상기워드매칭한정보를토대로로봇의현위치를추정하는위치추정단계 ; 를포함하는것을특징으로하는시각특징과기하정보를이용한로봇의위치추정방법

4 청구항 6 삭제청구항 7 삭제청구항 8 제 5항에있어서, 상기 (a) 단계는스테레오카메라또는키넥트카메라중어느하나에의해촬영된이미지를입력받는것을특징으로하는시각특징과기하정보를이용한로봇의위치추정방법. 청구항 9 제 5항또는제 8항에기재된시각특징과기하정보를이용한로봇의위치추정방법을컴퓨터에서실행시키기위한프로그램을기록한컴퓨터로읽을수있는기록매체. 명세서 [0001] 기술분야본발명은시각특징과기하정보를이용한로봇의위치추정장치및방법에관한것으로, 더욱상세하게는, 3 차원깊이정보 (3D depth data) 를이용하여로봇의위치를추정하는시각특징과기하정보를이용한로봇의위치추정장치및방법에관한것이다. [0002] [0003] [0004] 배경기술로봇이란사람의모습을한인형내부에기계장치를조립해넣고, 손발과그밖의부분을본래의사람과마찬가지로동작하도록만든자동인형을말한다. 그러나최근에는사람의모습여부를떠나서자율적으로어떠한임무를수행하는자동장치를통칭하게되었다. 특히이동로봇의경우, 극한환경또는위험지역에서사람을대신하여작업을수행할수있기때문에많은각광을받고있다. 또한, 청소로봇과같이자율적으로집안을돌아다니면서가사업무를도와주는가정용이동로봇도다수보급되었다. 이동로봇이자율적으로이동하면서임무를수행하기위해서는자기위치인식기술이필수적이며, 대표적인위치인식기술로는 SLAM(Simultaneous Localization And Mapping) 기법이있다. SLAM은로봇이주변환경정보를검출하고얻어진정보를가공하여임무수행공간에대응되는지도를작성함과동시에자신의절대위치를추정하는방법을말한다. 즉, 이동로봇이미지의영역을주행하면서주변환경을인지하고그환경에대한로봇의상대적인위치를동시에추정하는것이다. 기존위치인식과달리, SLAM 기법은자기위치나주변환경에대하여아무런사전정보가없는경우에유용하다. 선행기술문헌 [0005] 특허문헌 ( 특허문헌 0001) 한국특허공개공보제 호 ( 전방위영상을이용한로봇의위치결정방법 ) 에는전방위카메라를이용하여카메라주변의 360도영상을획득하고, 획득된 360도영상의수평면선에대한 1차원원형영상과미리저장된지도상의각노드의수평면사이의상관계수를고속푸리에변환 (FFT) 기법을이용하여상관계수를계산하여로봇의현위치가어느노드부근인지인식할수있는방법을개시하고있다. ( 특허문헌 0002) 한국특허공개공보제 호 ( 자기위치인식을수행하는로봇및그의운용방법 ) 에 는로봇의자기위치인식을오류없이수행할수있도록지원하는운용방법을개시하고있다

5 발명의내용 [0006] [0007] 해결하려는과제본발명이이루고자하는기술적과제는, 3차원깊이정보 (3D depth data) 를이용하여로봇의위치를추정함에있어위상지도에서인덱스워드를생성하는시각특징과기하정보를이용한로봇의위치추정장치및방법을제공하는데있다. 본발명이이루고자하는다른기술적과제는, 3차원깊이정보 (3D depth data) 를이용하여로봇의위치를추정함에있어위상지도에서인덱스워드를생성하는시각특징과기하정보를이용한로봇의위치추정방법을컴퓨터에서실행시키기위한프로그램을기록한컴퓨터로읽을수있는기록매체를제공하는데있다. [0008] [0009] [0010] 과제의해결수단상기의기술적과제를달성하기위한본발명에따른시각특징과기하정보를이용한로봇의위치추정장치는, 3차원깊이정보를포함하는깊이이미지 (depth image) 와컬러정보를포함하는 RGB 컬러이미지 (color image) 가입력되는이미지입력부 ; 상기입력된깊이이미지로부터 3차원적인기하학적정보를추출하고, 상기컬러이미지로부터 2차원컬러정보를추출하는특징부추출부 ; 상기 RGB 컬러이미지로부터외관거리를계산하고, 상기깊이이미지로부터기하학적거리를계산하고, 그리고, 평면법선벡터를계산하는계산부 ; 상기평면상에존재하는특징부를리파인 (refine) 하는리파인부 ; 사전에저장된시각워드데이터베이스부를이용하여상기특징부와워드를매칭하는워드매칭부 ; 및상기워드매칭한정보를토대로로봇의현위치를추정하는위치추정부 ; 를구비한다. 상기의다른기술적과제를달성하기위한본발명에따른시각특징과기하정보를이용한로봇의위치추정방법은, (a) 3차원깊이정보를포함하는깊이이미지 (depth image) 와컬러정보를포함하는 RGB 컬러이미지 (color image) 가입력되는이미지입력단계 ; (b) 상기입력된깊이이미지로부터 3차원적인기하학적정보를추출하고, 상기컬러이미지로부터 2차원컬러정보를추출하는특징부추출단계 ; (c) 상기 RGB 컬러이미지로부터외관거리를계산하고, 상기깊이이미지로부터기하학적거리를계산하고, 그리고, 평면법선벡터를계산하는계산단계 ; (d) 상기평면상에존재하는특징부를리파인 (refine) 하는리파인단계 ; (e) 사전에저장된시각워드데이터베이스부를이용하여상기특징부와워드를매칭하는워드매칭단계 ; 및 (f) 상기워드매칭한정보를토대로로봇의현위치를추정하는위치추정단계 ; 를갖는다. 상기의다른기술적과제를달성하기위한본발명에따른컴퓨터로읽을수있는매체는상기한방법중어느하나를컴퓨터에서실행시키기위한프로그램을기록한다. [0011] 발명의효과본발명에따른시각특징과기하정보를이용한로봇의위치추정장치및방법에의하면, 3차원깊이정보 (3D depth data) 를이용하여로봇의위치를추정함에있어위상지도에서인덱스워드를생성할수있다. 이를통해, 시각특징과기하정보를이용하여로봇의위치를정확하게파악할수있다. [0012] 도면의간단한설명 도 1 은본발명에따른시각특징과기하정보를이용한로봇의위치추정장치의구성을도시한블록도, 도 2는본발명에따른시각특징과기하정보를이용한로봇의위치추정방법을도시한흐름도, 도 3은실내, 실외환경에서로봇상에탑재된카메라에의해획득된모델이미지를도시한도면 ( 좌측상단부터 1~20), 도 4는스테레오시스템에의한디스패리티맵 (disparity map) 을도시한도면, 도 5는 2개의구조적평면간키포인트와기하학적관계를인코딩 (encoding) 하는방법을도시한도면, 도 6은모델이미지와요청이미지의키포인트와구조적평면상매칭된후보군을도시한도면, 도 7은입력된요청이미지의파저티브 (positive) 이미지및네거티브이미지 (negative) 이미지, 그리고, 모바일로봇상에탑재된스테레오시스템을도시한도면, - 5 -

6 도 8은본발명의일실시예에따른각씬 (scene 6, 10, 11) 별키포인트와탐지된특징부, 디스패리티맵및확인된키포인트를도시한도면, 그리고, 도 9는본발명에따른시각특징과기하정보를이용한로봇의위치추정방법의수행능력을비교한그래프이다. [0013] [0014] [0015] [0016] [0017] [0018] [0019] [0020] [0021] 발명을실시하기위한구체적인내용이하에서첨부의도면들을참조하여본발명에따른시각특징과기하정보를이용한로봇의위치추정장치및방법 ( 이하에서는, ' 로봇의위치추정장치및방법 ' 이라함 ) 의바람직한실시예에대해상세하게설명한다. 본발명에따른로봇의위치추정장치및방법은입력된영상에서추출한 3차원기하학적인정보와 2차원컬러정보를토대로로봇의위치를추정하는알고리즘이다. 본발명은로봇주행환경에서스테레오카메라 (stereo camera) 또는키넥트센서 (kinect sensor) 를통해획득된 3차원정보를이용한다. 도 1은본발명에따른로봇의위치추정장치 (100) 의구성을도시한블록도이고, 도 2는본발명에따른로봇의위치추정방법을도시한흐름도이다. 도 1 내지도 2를참조하면, 본발명에따른로봇의위치추정장치 (100) 는이미지입력부 (200), 특징추출부 (300), 계산부 (400), 리파인부 (500), 워드매칭부 (600) 및위치추정부 (700) 를포함한다. 이미지입력부 (200) 는 3차원깊이정보를포함하는깊이이미지 (depth image) 와컬러정보를포함하는 RGB 컬러이미지 (color image) 가입력된다. 특징추출부 (300) 는깊이이미지로부터 3차원기하학적정보를추출하고, 컬러이미지로부터 2차원컬러정보를추출한다. 이때, 본발명은 RANSAC(RANdom Sample Consensus) 알고리즘을이용하여 3차원정보로부터구조적평면 (structural plane) 과구조적평면의표면법선정보 (surface normal information) 를추출한다. 이를통해특징점을얻을수있고, RGB 컬러히스토그램을토대로특징점의외관정보 (appearance information) 를설명할수있다. 구조적평면상외관및기하학적특징모두모델이미지의인덱스워드로표시되고, 이는요청이미지과비교되고, 이를통해요청이미지와가장유사한이미지를고를수있다. 게다가, 본발명의성능을향상시키기위해세미로컬제약 (semi-local constraints) 은매칭과정에서조사된다. 이러한과정에서아웃라이어 (outlier) 와미스매칭 (mismatching) 을처리하기위해추출된특징부와매칭후보군의상대적순서관계를비교한다. 도 3은실내, 실외환경에서로봇상에탑재된키넥트또는스테레오카메라에의해획득된모델이미지를도시하고있다. 3차원정보로부터 RANSAC 알고리즘을적용함으로써, 많은 3차원정보가분포되어있는메인평면 (main plane) 을차례로얻을수있다. 또한, PCA(Principal Component Analysis) 알고리즘을이용하여메인평면의 3차원정보로부터최소고유값 (smallest eigenvalue) 의고유벡터 (eigenvector) 를나타내는표면방향 (surface orientation) 을계산할수있다. 백페이스컬링 (backface culling) 은카메라의뷰포인트 (view point) 에따라구조적평면의시각표면법선 (visual surface normail) 을결정한다. 그리고나서, 평면상의특징점들을 3차원키포인트로그룹짓고, 3차원키포인트의디스크립터 (descriptor) 는모델이미지의인덱스워드를생성하고요청이미지를보팅 (voting) 하는데사용될수있도록저장한다. 계산부 (400) 는 RGB 컬러이미지로부터외관거리를계산하고, 깊이이미지로부터기하학적거리를계산하고, 그리고, 복수의평면을상호비교함으로서평면법선벡터를계산한다. 이때, 리파인부 (500) 에의해추가적으로평면상에존재하는특징부를리파인 (refine) 하는과정을거칠수있다. 그리고나서, 워드매칭부 (600) 에의해사전에저장된시각워드데이터베이스부를이용하여특징부와워드를매칭하여, 위치추정부 (700) 에의해로봇의현위치를추정하게된다. 구체적으로, 본발명에따른로봇의위치추정방법은특징부사이의유사한외관그리고 3차원거리를측정하며, 이는추가적인추정 (assumption) 없이이미지상의물체 (object) 를클러스터 (cluster) 할수있다. 아래수학 식 1 에서, 은특징부의기하학적인정보를나타내는데정규화된거리를의미한다. 또한, 는 3 차원공간에서이웃하는특징부지점을나타내며, 그리고, 는카메라위치 (position) 를나타낸다

7 수학식 1 [0022] 수학식 2 [0023] [0024] 각특징부의외관은특징부위치주변의 15x15 픽셀이미지패치상에각채널당 16 빈 (bins) 을가지고 1 차원 RGB 히스토그램을이용하여특징화한다. 상기수학식 2 는특징부사이의유사도 ( ) 를나타낸다. 그리고컬러히스토그램거리 ( ) 를계산할수있다. 와은각거리함수의 동일한확률범위를세팅하는데사용되는스켈링파라미터 (scaling parameter) 이다. 는기하학적용어의상대적중요도 (relative weight) 를나타낸다. 도 4는스테레오시스템에의한디스패리티맵 (disparity map) 을나타내는데, 이는특징부를탐지하고레드 (red) 컬러와그린 (green) 컬러를가진 2개의평면을분할한다. [0025] [0026] 인덱스워드 (index word) 는로봇이위치하는장소를제안하는데유용하다. 기존방법은주로이미지특징부에의존했기때문에그수행능력은잘못매칭된특징부에의해영향을많이받았다. 대조적으로, 본발명에따른방법은시각특징부와기하학적정보 ( 즉, 좌우상하방향내의키포인트의세미로컬제약 (semi-local constraints) 와상대적일관성 ) 를결정한다. 본발명에따른로봇의위치추정방법에서제안하는기본아이디어는각단어가선택된횟수를합하는것이다. 자주선택된씬 (scene) 은가장매칭이잘될수있다. 따라서본발명에따른로봇의위치추정방법은키포인트의특징부와기하학적정보를나타내는모델이미지를베이스 (base) 로삼는다. 다시말해서, 학습단계 (learning stage) 에서모델이미지의키포인트와기하학적정보를얻을수있고, 이는로봇의위치추정을위한요청이미지의키포인트와기하학적정보와비교된다. 도 5는 2개의구조적평면간키포인트와기하학적관계를인코딩 (encoding) 하는방법을도시하고있다. 그린및레드컬러를가진키포인트를가진 2개평면의표면법선벡터는각각 θ1과 θ2 사이의각도를가진다. 구조적평면간사이각도는 2개의표면법선벡터의내적을이용하여계산된다. [0027] 아래수학식 3 을이용하여사이의컬러히스토그램내에서특징부의유사성 ( ) 을계산할수있다. 수학식 3 [0028] - 7 -

8 [0029] 여기서, 는각각의히스토그램과평균히스토그램의번째빈 (bin) 을나타낸다. 최소거 리값 ( ) 은입력된특징부 ( ) 는모델이미지의시각워드 ( ) 와유사하다는것을의미한다. 따라서잘못된매칭을해결하기위해, 실험적으로 0.4에해당하는스레쉬홀드값 (threshold value) 을설정한다. BRISK(Binary Robust Invariant Scalable Keypoints) 디스크립터 (descriptor) 는컬러히스토그램대신사용하면이진해밍거리 (binary hamming distance) 를이용하여요청이미지의키포인트로요청이미지의특징부를매칭할때효과적으로결정할수있다. 수학식 4 [0030] [0031] 외관과기하학적거리의측정을최소화하는워드 ( ) 는상기수학식 4 를이용하여계산할수있다. 먼저, 은제안하는과정의전체수를의미하고, 는수학식 3 에서시각유사성테스트에서통과된특 징부의수를의미한다. 그리고구조적평면중에사이각도의절대적차이를이용하여요청이미지와모델이미 지간기하학적유사성을결정한다. 여기서, 는각각모델이미지와요청이미지의사이각을 의미한다. 은요청이미지에서사이각의수를나타낸다. 이웃하는평면간차이각 (difference angle) 은 0~180도의범위를가지며, 이는상술한차이각이보이는표면 (visible surface) 의법선으로간주되기때문이다. 예를들어, 2개의평면이서로마주보고있을때, 차이각은 180도가된다. 구조적기하학적용어 (structural geometric term) 는정규화를위해 180개로분할된다. 라는 2개의용어는상대적기여도 (relative contribution) 를제어한다. 실험결과로부터외관특징부와기하학적정보가동등하게고려될때더좋은수행결과가얻어짐을알수있다. 따라서 2가지용어의가중치는각각 0.5로설정될수있다. [0032] [0033] 이미지내의평면의수가 1 일때, 상기수학식 4에서을의미하며, 본발명에따른로봇의위치추정방법은사이각대신구조적평면상키포인트의상대적순서를결정하게된다. 게다가, 다양한수행과정은잘못매칭되는특징부의영향을감소시키게된다. 더욱상세하게는, 모델이미지의입력된특징부와키포인트를매칭할때, 잘못매칭된쌍은대부분의케이스에서발생하게된다. 따라서미스매칭 (mismatching) 문제를해결하기위해도 6에서시각특징부사이에 LRUD(Left-to-Right and Up-to-Down) 의상대적순서를결정한다. 또한, 3차원센서는땅위를주행하는모바일로봇상에탑재되므로, 롤 (roll) 이라불리는앞뒤축 (front-to-back axis) 에대한회전이부존재한다. 도 6에도시된바와같이, 본발명에따른로봇의위치추정방법은요청이미지내이웃하는특징점들사이의이미지좌표차이가방향순서 (directional order) 를만족하는지여부를확인해야한다. 이미지좌표차이를만 족하도록설정되는키포인트는연결리스트로저장된다. 예를들어, 탐지된지점 ( ) 은의좌하 ( 左下 ) 면에위치한다. 상대적위치순서 (relative position order) 를만족하는매칭된후보키포인트들을검사함으로 서, 는도 6 의 (d) 에서찾을수있다. 다음으로, 사이와동일한관계를가지는 2 가지후보군 - 8 -

9 은이다. 첫번째세트는새로운연결관계를의미하며, 두번째세트는이전연결관계와링크된연결관계를의미한다. 각각의후보세트는각단계에서생성되지만, 연속되는세트중지속적으로기하학적관계를만족시키기는어렵다. [0034] 이때, 도 6 의 (d) 는연결관계를나타낸다. 스카이블루박스는모델이미지의구조적평면과매칭됨을나타내는 최장길이를가지는연결관계를나타낸다. 매칭된후보들중에올바른관련성이없다면, 리스트는잘못연결된 것을의미한다. 이케이스에서과같은포인트의다른결합쌍 (combination pair) 을확인할수있다. 이러한고려는최장길이를가진연결리스트가 2개이상이고, 미스매칭된지점이많은경우유용하다. [0035] [0036] [0037] [0038] [0039] [0040] 마지막으로, 모델이미지내에서중심위치의메인키포인트부터다른포인트까지의거리를합하는계산을수행한다. 모델이미지의거리합과요청이미지의거리합을비교한후, 최소거리를가진연결관계를결과로결정한다. 요청이미지와모델이미지간특징부의기하학적영속성을평가하는본발명에따른로봇의위치추정방법은미스매칭된특징부가많음에도불구하고이미지회복단계에서인덱스언어를생성하고시각언어를매칭하는데적용가능하다. 본발명에따른로봇의위치추정장치및방법의성능을테스트하기위한테스트환경은다음과같이설정하였다. 계산장비는 Nvidia GTX680 그래픽카드를가진 IntelCore(TM) i GHz, 8GB RAM 을포함한다. 스테레오이미지는 15 fps(frame per second) 속도로 Point Grey Inc. 의 Bumblebee 3와 30 fps의속도로각씬을 3차원깊이를탐지하는키넥트센서에의해촬영되었다. 스테레오매칭은 GPGPU 아키텍쳐상에서 12~15 fps의속도로수행되었고, 병렬스레드 (parallel thread) 내에서처리되었다. 로봇주행환경의 20개의씬 (scene) 은로봇이현위치를학습하고매칭하며, 본발명에따른수행능력을비교하기위해타겟씬 (target scene) 으로동일한외관특징부를가진 379 파저티브이미지 (positive image) 와 209 네거티브이미지 (negative image) 를도 7의 (a) 및 (b) 에도시된바와같이사용하였다. 도 8은좌측부터구조적평면상의키포인트, 입력이미지내에서탐지된특징부, 디스패리티맵, 그리고확인된키포인트를도시하고있다. 대부분의경우, 60~70 개의키포인트가학습과정에서검출되며, 그것들중 3~5 포인트는도 7에도시된바와같이최종적으로제안된접근방법에서남게된다. 도 9를참조하면, 입력된씬 ( 도 3 참조 ) 에서본발명에따른로봇의위치추정방법과기존방법을비교하여결과그래프가도시되어있다. 본발명에따른로봇의위치추정방법은컬러히스토그램또는 BRISK를이용하여모델이미지내의키포인트를생성한다. BRISK 디스크립터를이용하는것은컬러히스토그램을사용하는것보다입력이미지의대부분의경우에서더좋은수행결과를얻을수있다. 그러나 BRISK를이용하는방법은도 3 의씬 5와 11과같은규칙적이고반복적인외관패턴과같은이미지특징에의해많은영향을받는다. 게다가, 몇개의키포인트는작은질감의특징이있는표면을가진씬 5에서구조적평면을추출한다. 대조적으로, 컬러히스토그램을사용하는방법은컬러의분포가다른모델이미지와유사하기때문에씬 19를식별하기어렵다. 기존방법과본발명에따른방법 ( 컬러히스토그램및 BRISK) 을이용한평균인식률은각각 41.52%, 61.73%, 그리고 74.94% 이다. 따라서제안하는수행능력은특징부의공간적분포를고려하면더욱향상된다는것을알수있다. 표 1은컬러히스토그램과 BRISK를사용한본발명에따른로봇의위치추정방법의계산시간을나타내고있다. [0041] Learning step Voting step Methods Time(msec.) Methods Time(msec.) Corner GoodFeatureToTrack Feature RGB histogram 표 1 detection AGAST(in BRISK) matching 3D point cloud generation BRISK Plane segmentation(ransac) PCA Visual word matching Feature clustering

10 Descriptor generation RGB histogram RLDU verification BRISK [0042] [0043] [0044] [0045] 시각단어와기하학적단어를생성하는학습단계 (learning stage) 에서상기 2가지방법은각각 msec와 7.41 msec가소요되었다. 보다자세하게, BRISK를이용한접근방법은구석탐지 (corner detection), 특징부클러스터링 (feature clustering), 그리고디스크립션생성 (description generation) 을제외하고동일한처리과정을가진다. 계산결과는키포인트의컬러히스토그램을생성하는데대부분의계산시간을소모한다는것을보여준다. 모델이미지와함께요청이미지를매칭하기위한수행단계 (voting stage) 에서각각 msec 와 msec가소요되었다. BRISK 디스크립터의경우, 계산의효율성을위해이진해밍거리 (binary hamming distance) 를사용하였다. 오직외관정보만을이용한기존방법은 msec가소요되었다. 그러나요청이미지와키포인트간기하학적영속성을평가하는것은잘못미스매칭된특징부가많더라도정확한매칭이수행되도록한다본발명에따른로봇의위치추정장치및방법은로봇위치추정문제에있어위상지도에대해인덱스워드를생성하는유용한알고리즘이다. 오직외관특징 (appearance features) 만을이용한기존방법은잘못미스매칭된것에의해많은영향을받았다. 그러나본발명은구조적평면을 3차원깊이정보를이용하여주행환경을분할하여모델이미지내의시각특징부와특징부의표면법선벡터를얻을수있고, 이를입력이미지의시각특징부와특징부의표면법선벡터를비교한다. 제안된수행능력을향상시키기위해기하학적정보를이용하여확인하는과정을거치며, 이때, 기하학적정보란구조적평면사이의각도와키포인트의 LRUD 영속성검증을의미한다. 본발명은또한컴퓨터로읽을수있는기록매체에컴퓨터가읽을수있는코드로서구현하는것이가능하다. 컴퓨터가읽을수있는기록매체는컴퓨터시스템에의하여읽혀질수있는데이터가저장되는모든종류의기록장치를포함한다. 컴퓨터가읽을수있는기록매체의예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광데이터저장장치등이있으며, 또한캐리어웨이브 ( 인터넷을통한전송 ) 의형태로구현되는것도포함한다. 또한, 컴퓨터가읽을수있는기록매체는유무선통신망으로연결된컴퓨터시스템에분산되어분산방식으로컴퓨터가읽을수있는코드가저장되고실행될수있다. 이상에서본발명의바람직한실시예에대해도시하고설명하였으나, 본발명은상술한특정의바람직한실시예에한정되지아니하며, 청구범위에서청구하는본발명의요지를벗어남이없이당해발명이속하는기술분야에서통상의지식을가진자라면누구든지다양한변형실시가가능한것은물론이고, 그와같은변경은청구범위기재의범위내에있게된다. 부호의설명 [0046] 100 : 시각특징과기하정보를이용한로봇의위치추정장치 200 : 이미지입력부 300 : 특징추출부 400 : 계산부 500 : 리파인부 600 : 워드매칭부 700 : 위치추정부

11 도면 도면 1 도면

12 도면 3 도면

13 도면 5 도면

14 도면 7 도면

15 도면

특허청구의범위청구항 1 복수의영상검출부로부터출력되는영상의히스토그램 (histogram) 을계산하는단계 ; 상기복수의영상검출부로부터출력되는영상을히스토그램평활화 (histogram equalization) 하는단계 ; 상기복수의영상검출부중하나의영상검출부를선택하는단계 ; 및

특허청구의범위청구항 1 복수의영상검출부로부터출력되는영상의히스토그램 (histogram) 을계산하는단계 ; 상기복수의영상검출부로부터출력되는영상을히스토그램평활화 (histogram equalization) 하는단계 ; 상기복수의영상검출부중하나의영상검출부를선택하는단계 ; 및 (19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (45) 공고일자 2014년12월18일 (11) 등록번호 10-1473415 (24) 등록일자 2014년12월10일 (51) 국제특허분류 (Int. Cl.) G06T 5/40 (2006.01) H04N 5/217 (2011.01) (21) 출원번호 10-2012-0156871 (22) 출원일자 2012