김한솔, 감제원, 황성수 Han Sol Kim, Jae Won Kam, Sung Soo Hwang 1. 서론오늘날많은분야에서활용되는증강현실 기술은영상센서를통해획득한실제환경정보에가상의이미지나정보를합성하는기술이다 정교하고실감있는증강현실기술을구현하기위해서는주변환경인식및사용자의위치추정등많은세부적인기술들이필요하다 특히사용자의위치추정을위해서는다양한기법들이제안되어왔으며 또한이러한기법들중하나로주변환경에대하여지도를제작하고이를활용하여자신의위치를추정하는기법이다 지도제작을위해서는거리센서 센서 영상센서등다양한종류의센서들이활용되며 특히영상센서를활용하여지도를제작하는기술을 이라고한다 을통해제작된지도는지도의완성도에따라사용자위치추정의성능이달라진다 하지만대부분의 알고리즘은지도제작과정이사용자의경험에의존하여수행된다 이로
인해지도제작경험이없는일반사용자들이 지도를제작하는과정에서다음과같은 가지형태의문제상황이발생할수있다 첫째 사용자가한정된영역에대한정보만을수집할경우 그외의영역에대해서는정확한위치추정이불가능한경우가발생할수있다 둘째 정보를수집했지만특정영역에있어수집한정보의양이부족한경우 해당영역에서위치추정이부정확한경우가발생할수있다 마지막으로사용하는영상특징점의한계로인해수집된정보가다른위치에서식별이불가능한경우 위치추정이부정확한경우가발생할수있다 이러한문제에기반하여본논문에서는 지도제작시수집되는데이터를바탕으로위 가지문제상황을해결하는지도완성도평가시스템을제안한다 제안시스템은크게 가지단계로구성된다 먼저동일한공간에대한중복된정보수집으로인해발생하는 을포착하여주변공간전체에대한정보를획득한것을확인한다 이후획득된지도를일정간격으로분할하여각각의영역내맵포인트 가충분한지를파악하여지도내에정보수집이부족한영역이없게이루어졌는지를판단한다 끝으로각각의정보들이수집된위치와일정이상거리차가있는곳에서도동일하게식별가능한지를판단한다 제안시스템은객관적인판단기준을제시함으로써 시스템의안정성을높일수있을것이며 또한사용자들은지도제작에대한사전지식과경험없이안정된지도제작이가능할것으로기대된다 본논문의구성은다음과같다 장에서는시스템을구성하는데사용된관련연구들에대하여설명하고 장에서는구현 장에서는실험결과에대해서논한다 마지막으로 장에서는결론을맺는다 2. 관련연구 은영상센서를활용하여영상내의특징점을추적하고매핑하는과정을기반으로동작한다 이러한 은사용되는영상정보와센서의종류그리고결과로얻어지는 차원구조의정보처리방법등에따라여러기법이존재한다 본논문에서는특징점을기반으로동작하는 의한기법인 를사용하였다 에서제작되는지도는크게맵포인트와 키프레임이라는데이터구조로구성되어있다 맵포 인트는영상의특징점을기반으로획득되어지도상 의 차원좌표에맵핑되는점으로위치정보와해당 특징점에대한기술자 를포함하고있다 키프레임 은맵포인트를획득한카메라 의위치정보와해당위치에서식별가능한맵포인트 의정보를포함하고있다 이러한데이터구조를기 반으로 은 그 리고 이라는 가지의모듈이병렬적으 로수행된다 은연속적인영상내에특징 점을추출해이동을추적하여지도내의사용자의 위치를추정한다 은새로발견된키 프레임내의신규특징점을활용하여삼각측량법 을수행함으로서지도내의맵포인트를생성한다 은새로운키프레임발견시해당키프 레임내특징점과유사한맵포인트가지도내에존재 하는지를판단한다 는동일한지점에대한 정보가판단되기이전의지도로동일한지점으로판 단시중복된점들을융합하고루프의양쪽을정렬시 켜 와같은오차가최소화된지도로수정된 다 앞선 가지모듈을통해 에서는위치 추정및지도제작그리고전역지도최적화가가능 하다 뿐만아니라대부분의 에서는사용자의위치추정방법을개선하여지도 의정확도를향상시키는연구가활발히진행되고 있다 하지만위치추정의척도가되는지도 의 완성도평가를통해정확도를향상시키는연구는 부재한상황이다 따라서본논문에서는공간지도 제작시발생하는문제상황을통해완성도검증에 필요성을보여주고검증에따른해결방법을제시하 여위치추정의신뢰성이보장된지도제작에초점 을맞추었다 Fig. 1. (a) Map before loop closing (b) Map after loop closing.
제작과정에서누적된오차를감소시켜지도의정확도를향상시키는과정을의미한다 따라서 내부의 과정이필연적으로발생한다 제안하는시스템은이러한 과정이발생하는것을탐색하여사용자가지면과수평한모든방향에대해정보를획득한것을판단한다 만약 이발생하지않았다면지도제작과정에서정보가누락되거나부족한것이기에영상을재획득하여해당정보를보충하도록사용자에게피드백을제공한다 이를통해제작된지도가지면과수평한모든방향에대한정보를포함하고있음을판단할수있다 3.2 지도상의정보가부족한영역여부판단 Fig. 2. System overview. 3. 본론 는제안된시스템의구성도이다 에서는처음획득한영상을통해지도공간상의카메라의자세를초기화한다 이후획득한영상들에서특징점을추출하여지도공간상에맵포인트로매핑을수행한다 제안된시스템은이러한과정을통해생성된지도의완성도를평가하며 평가된정보들을바탕으로시스템은사용자에게피드백을제공한다 제공된피드백에따라사용자는위치추정이원활히이루어질수있도록추가적으로영상을획득한다 제작중인지도가모든단계를충족할시 지도제작을종료한다 3.1 전체공간에대한정보수집여부판단지도를제작하는상황에서사용자가한정된영역에대한정보만을수집할경우 그외의영역에대해서는정확한위치추정이불가능한경우가발생할수있다 이를해결하기위해본논문에서는사용자가지면과수평한방향으로영상획득하였다고가정한다 이경우지도제작시지면과수평인모든방향에대한정보가수집되면 이후수집되는정보는이미지도에수집된정보와중복된정보이다 이란지도제작과정에서이미지도상에존재하는곳을재방문하여정보를수집할경우 수집된정보와지도상에이미존재하는정보의차이를통해 지도를제작하는상황에서정보를수집했지만특정영역에있어수집한정보의양이부족한경우 해당영역에서위치추정이부정확한경우가발생할수있다 사용자가 을통해카메라위치추적을원활하게하기위해서는맵포인트가지도내에전반적으로일정량이상분포해야한다 이를위해제안된시스템은지도를지면과수직한축의값을 으로가지는이미지로투영하고영상처리기법을활용하여수집한정보의양이부족한경우를판단한다 지도를이미지로투영하기위해지도내의임의의맵포인트의좌표를 라하고해당맵포인트가투영된이미지상의픽셀의좌표는 로하면 와 의관계는식과같이표현된다 만약임의의맵포인트 와같이 와 좌표가일치되는점이존재할경우 이미지상의동일한점인 로투영되기때문에해당점의밝기값을식를통해중복된점을표현한다 식는 에해당하는점의중복이발생했을때상수 를통해밝기값 이 으로변경되는것을표현한식이다 위두식을통해지도가 이미지로투영된다 투영된 이미지의 들을제거하여 를획득한다 이후지도에서수집한정보의양이부족한영역을판단하기위하여 를이
Fig. 3. (a) Image of map (b) Image with outlier eliminated (c) Divided area (d) Image with divided area. 미지중점을기준으로일정각도 로분할되어각각의영역이구분된 이미지를획득한다 의서로다른색은구분된각각의영역을의미한다에서 에각각의구분된영역에해당하는픽셀을추출하여 이미지를획득한다의같은색의픽셀은 의구분된영역에서동일한영역에존재하는픽셀을의미한다 제작된 내 번째영역의픽셀을 픽셀의개수를 이라하고해당영역내 번째점의밝기값을 으로하면식 을통해 가획득가능하다 가일정기준 을초과할경우해당영역내맵포인트가충분히존재한다고판단한다 일정기준 이하의 가발생하는경우는해당영역에서영상을획득할때맵포인트가생성될충분한정보를제공받지못한경우이다 따라서사용자에게이러한영역에대해영상을재획득하도록피드백을제공함으로써문제를해결할수있다 지도의모든영역에서 을초과한다면지도전체에수집한정보의양이부족한영역이없다고판단할수있다 3.3 수집된정보의유효성판단지도를제작하는상황에서사용되는영상특징점의한계로인해수집된정보가다른위치에서식별이불가능한경우 위치추정이부정확한경우가발생할수있다 따라서수집된정보의유효성을판단하기위해맵포인트가특정한위치에서만식별되는것이아니라일정거리 이상차이가있는다른위치에서도동일하게식별가능한지를확인한다 의맵포인트는자신을식별하고있는키프레임들의정보를저장하고있다 또한키프레 임에는자신의위치정보가저장되어있다 따라서특정맵포인트를식별하고있는키프레임 와 사이의거리인 는식을통해계산가능하다 이후식를통해계산된거리차가지도의가로길이인 와세로길이인 의평균값보다일정비율 을초과하게되면해당맵포인트를집합 에저장한다 이렇게얻어진맵포인트의수를 라하고전체맵포인트의수를 라했을때식과같이일정비율 를초과하면대부분의맵포인트가거리차가있는다른위치에서도식별가능한것을의미한다 이를통해수집된정보의유효성을판단할수있다 4. 실험실험에사용된기기는 이며 은 의 모델을사용하였다 모바일기기에서 의많은계산량을처리하는데한계가있어별도로서버컴퓨터에 을설치하고네트워킹을통해모바일기기에서찍은영상을서버컴퓨터로전송하는방식으로구현하였다 본실험에서는 값을 로설정하여지도를중앙을기준으로 개의영역으로분할하였다 수집된정보량및분포확인조건에서일정기준 을 으
로설정하여맵포인트가 개이상존재하면해당영역에맵포인트가충분히존재한다고판단하였다 수집된정보의유효성판단에있어서특정맵포인트를식별하고있는키프레임들의거리차의기준 를구하기위한 를 로설정하여지도의가로길이와세로길이의평균값의 을초과하여거리차이가나는키프레임을가진맵포인트의경우서로다른위치에서도유효한맵포인트라고판단하였다 이후유효성검사를위한일정비율 을 로설정하였다 본실험에서는지면과수평한방향으로영상이획득되었다는가정하에실제공간과해당공간에서제작된지도를공간의 축에해당하는정보를제거하여평면으로투영하여비교하였다는평면으로투영된실제공간을간략화한그림이고 는동일한공간에서제작된 차원지도를평면으로투영시킨지도이다 실제공간상의점 에서의영상을통해획득한지도상의점을 실제공간의점 에서동일한방법으로획득한지도상의점을 라할때점 과 사이의선분 을지도상의트랙으로설정하였다 이후실제공간상의점 에서 사이의선분인 을따라이동하며촬영된영상을통해지도상에서추정된위치좌표 을획득하였다 이후식 을통해 와 사이의거리 를계산하였는데실험에서사용한 모델에서발생하는지도마다다른크기문제를해결하기위해추가적으로 의길이로나누었다 정의정확도에대한기준으로설정하였으며해당값 은작을수록높은정확도를가진것을뜻한다 또한 들이얼마나평균값인 주변에모여있 는지를나타내는수식 을통하여표준편차 을 계산해위치추정의안정성의기준으로설정하였으 며해당값은작을수록높은안정성을가진것을뜻 한다 실험에사용된공간 는서로다른공간으로 각각의공간에서본논문에서제안된방법으로검증 된지도와아닌지도를획득하여서로비교하였다 그래프의 축은지도상의점 에 서트랙 을따라점 로이동하였을때추정된 위치 를뜻하고 축은추정된위치 와트랙 사이의거리를의미한다 는공간 에서제작된본논문에서제안 된수집된정보의유효성판단을통과하지못한지도로 값과 값이각각 이다 같은공간의검증된지도인 는 값과 값이각각 으로검증되지 않은지도에비해 값과 값이각각 감소하였다 은공간 에서제작된본논문에서제안 된공간전체에대한정보수집판단을통과하지못 식 을통해 의평균인 를계산해위치추 Fig. 4. (a) Image of projected actual space (b) Projected map produced by Visual SLAM. Fig. 5. (a) Unverified map of space A (b) Distance of unverified map of space A ((c) Verified map of space A (d) Distance of verified map of space A
때 검증된지도를사용한경우 검증이되지않은지도에비해값들이모두낮게측정이된것을확인되었다 이는검증된지도를사용한위치추정의정확도와안정성이기존에비해개선된것을뜻한다 5. 결론및향후연구방향 Fig. 6. (a) Unverified map of space B (b) Distance of unverified map of space B (c) Verified map of space B (d) Distance of verified map of space B. 한지도로 값과 값이각각 이다 같은공간의검증된지도인 는 값과 값이각각 으로검증되지 않은지도에비해 값과 값이각각 감소하였다 은공간 에서제작된본논문에서제안 된수집된정보의유효성판단을통과하지못한지도로 값과 값이각각 이다 같은공간의검증된지도인 는 값과 값이각각 으로 검증되지않은지도에비해 값과 값이각각 감소하였다 본실험에서얻은 값과 값들을비교했을 제안한시스템은공간전체에대한정보수집여부판단 지도상의정보가부족한영역여부판단 수집된정보의유효성판단을통해 을통해제작된지도의자율적완성도를평가한다 공간지도제작시모든방향에대한정보수집이후에는중복된정보수집으로 이필연적으로발생한다 이를확인하여모든방향에대한정보수집여부를판단한다 이후지도내카메라자세의원활한추정을위해맵포인트가지도전반에일정량이상존재하는것을판단한다 이를위해맵포인트를이미지로투영하여다양한영상처리기법을활용한다 마지막으로맵포인트가서로다른위치에서도식별가능한것을확인하여수집된정보의유효성을판단한다 검증된지도는실험을통해기존의지도에비해위치추정의정확도와안정성이높은것을확인할수있었다 이를통해사용자들은지도제작에대한사전지식과경험없이정확도와안정성이보장된지도제작이가능하게될것이며더나아가지도를기반으로한다양한증강현실콘텐츠개발에긍정적인영향을줄것으로기대된다 향후다양한공간에서최적화된지도의완성도를판단하는방법에대한연구와검증된지도의위치추정의정확도와안정성을더욱향상시킬수있는방법에대한연구가필요하다 REFERENCE Fig. 7. (a) Unverified map of space C (b) Distance of unverified map of space C (c) Verified map of space C (d) Distance of verified map of space C.
년 현재한동대학교전산전자공학부학사관심분야 영상처리 자율주행 년 현재한동대학교전산전자공학부학사관심분야 그래픽스 패턴인식 영상처리 년한동대학교입학 년한동대학교졸업 전산전자복수전공 년한국과학기술원전기및전자공학과입학 년석사학위취득 년박사학위취득 년 현재한동대학교전산전자공학부조교수관심분야 컴퓨터비전을활용한자율주행이동체개발 증강현실콘텐츠개발 차원데이터생성과부호화 장애인을위한인터페이스개발