AUTOMATION SYSTEMS Tech Insight 센서 융합 기반 정밀 측위 시스템과 자율 주행 기술 일반적으로 센서 융합 기반 정밀 측위 시스템은 기존에 사용되던 GPS, IMU와 함께 환경 인식 센서와 정밀 지도를 융합하여 자차의 위치를 추정하는 방식을 사용한다. 그 예로 구글의 자율주행 자동차는 전파항법, 관성항법과 더불어 Velodyne lidar의 infrared reflectivity를 기반으로 미리 생성해 놓은 정밀 지도를 사용한다. 반면, 양산 가능한 센서들만을 사용해서 자율주행을 수행한 다임러의 경우는 정밀 측위를 위해서 전파항법, 관성항법과 더불어 스테레오 카메라와 미리 생성해 놓은 정밀 지도를 사용한다. 서재규 한양대학교 자동차전자제어연구소 연구조교수 정호기 한양대학교 미래자동차공학과 조교수 머리말 용하는 관성항법 방식이 활용되고 있다. 이 방식은 전파 수신 상황에 무관하며 짧은 주행 거리에서 자차의 위치를 추정하는 측위 기술은 최근 관심이 높아지 정밀한 상대 위치를 제공한다는 장점을 갖지만, 누적 기반 고 있는 자율 주행 자동차와 첨단 운전자 보조 시스템 위치 추정 방법의 한계로 인해 시간이 지속됨에 따라 오차가 (ADAS)에 반드시 필요한 기술이다. 자차의 위치를 정확히 지속적으로 증가한다는 한계를 가진다. 알게 되면 이를 통해 획득할 수 있는 사전 지식을 기반으로 위와 같은 기존 방법의 한계를 극복하기 위하여 최근 센서 주변 환경 인식, 주변 지형에 최적인 차량 제어, 지형에 따른 융합 기반 정밀 측위에 대한 연구가 활발하게 진행되고 있 주행 전략 변경을 통한 연비 향상 등의 다양한 기술을 보다 다. 일반적으로 센서 융합 기반 정밀 측위 시스템은 기존에 효과적으로 수행될 수 있게 된다. 사용되던 GPS, IMU와 함께 환경 인식 센서(카메라, lidar 측위 기술 중 가장 널리 사용되고 있는 것은 GPS(Global Positioning System) 등의 위성 정보를 활용하는 전파항법 방식이다. 등)와 정밀 지도를 융합하여 자차의 위치를 추정하는 방식을 사용한다. 이 글에서는 자율주행 부문의 IT업계 선두 주자인 구글 이 방식은 지구 좌표계에서의 절대 위치를 제공하고 위치 (Google)과 완성차 업계 선두 주자인 다임러(Daimler)에서 오차가 누적되지 않는다는 장점이 있는 반면, 전파 수신 상 사용한 센서 융합 기반 정밀 측위 기술들과 이의 활용 예들 황에 따라 위치 정밀도가 좌우된다는 한계를 가진다. 이를 을 설명한 후, 저자들이 수행하고 있는 저가형 센서 융합 기 보완하기 위해 IMU(Inertial Measurement Unit) 등을 활 반 정밀 측위 시스템을 소개하고자 한다. 42
센서 융합 기반 정밀 측위 시스템과 자율 주행 기술 구글의 센서 융합 기반 정밀 측위 시스템 가의 INS를 기반으로 생성된다. 그림 2는 다임러가 사용하 는 지도의 예를 보여준다. 좌상단은 차선 수준 지도를 보여 구글의 자율주행 자동차는 전파항법, 관성항법과 더불어 주며 이는 스테레오 카메라 영상을 우상단과 같이 조감도로 Velodyne lidar의 infrared reflectivity를 기반으로 미리 변형시킨 후 수동으로 차선 정보를 입력해서 획득한다. 좌하 생성해 놓은 정밀 지도를 사용한다[1]. 그림 1의 좌상단은 구 단은 특징 수준 지도를 보여주며 이는 스테레오 카메라 영상 글의 자율주행 자동차이며 빨간색 원은 Velodyne lidar이 에서 취득된 특징점과 이의 3차원 위치 및 특징을 저장하여 다. 좌하단은 Lidar에서 획득된 infrared reflectivity를 보 획득한다. 자차의 위치는 스테레오 카메라에서 획득된 차선 여준다. 정보와 차선 수준 지도에 존재하는 차선 정보를 정합하고, 차량의 초기 위치는 DGPS(Differential GPS)와 고가의 후방 카메라에서 취득된 특징 정보와 특징 수준 지도에 존재 INS(Inertial Navigation System)로 추정되며 해당 위치에서 실시간으로 획 득된 infrared reflectivity와 미리 생 성해 놓은 정밀 지도의 인근 지역 정보 를 비교하여 두 정보가 가장 잘 정합되 는 위치를 자차의 위치로 추정한다. 그림 1의 우상단은 Velodyne lidar로 미리 생성해 놓은 정밀 지도이며 우하단 Google car Pre-acquired map 은 이에서 자차 위치 인근의 정보를 가 져온 결과이다. 자차의 위치는 좌하단의 현재 측정된 정보와 우하단의 미리 측정 된 정보를 정합함으로써 추정된다. 다임러의 센서 융합 기반 정밀 측위 시스템 Infrared reflectivity Map around ego-vehicle 그림 1. 구글의 센서 융합 기반 정밀 측위 시스템[1] 구글이 사용하고 있는 Velo dy ne lidar는 내구성, 디자인, 가격의 문제로 인해 양산 측면에서 한계를 갖는다. 완 성차 및 부품 업체에서는 이를 대체할 센서로 스테레오 카메라를 도입하고 있 다. 양산 가능한 센서들만을 사용해서 자율주행을 수행한 다임러의 경우, 정 Lane-level map Top-view generation Feature-level map Feature point extraction 밀 측위를 위해서 전파항법, 관성항법 과 더불어 스테레오 카메라와 미리 생 성해 놓은 정밀 지도를 사용한다[2]. 다임러는 측위를 위해 차선 수준 지 도와 특징 수준 지도를 사용한다. 두 지 도는 모두 스테레오 카메라, DGPS, 고 그림 2. 다임러의 센서 융합 기반 정밀 측위 시스템[2] 자동화기술 2015 4 43
AUTOMATION SYSTEMS Tech Insight 하는특징정보를정합함으로써추정된다. 태및색상을갖기때문에카메라만을사용하여인식하기매우어렵다. 이를해결하기위해구글은측위와지도정보를 측위와지도의응용예 측위와지도를사용하면차량에장착된센서들만을사용하여수행하기어려운작업들을효율적으로수행할수있게된다. 첫번째응용예는신호등인식이다 [3]. 신호등은차량과인프라스트럭쳐간통신이제공되지않는상황에서자율주행을수행하기위해서반드시인식해야하는교통정보이다. 하지만신호등은그림 3의좌측과같이크기가매우작고전방차량의후미등혹은나뭇잎등의다른물체와유사한형 그림 3. 측위와지도를활용한신호등과연석인식 [3], [4] Stop Line Reference Line S 0 그림 4. 측위와지도를활용한로터리에서의제어계획수립 [2] 활용하였다. 먼저정밀지도에주행하기원하는도로에존재하는모든신호등의 3차원위치를미리입력한다. 주행시에는정밀하게추정된자차의위치및자세정보와지도상의신호등위치정보를사용하여신호등이촬영될영상의대략적인위치를추정하게된다. 따라서신호등인식은신호등이있을것으로예상되는좁은영역에서만수행된다. 이러한방법으로구글은신호등앞 100m에서 100% 에근접한신호등인식률을달성했다. 두번째응용예는연석 (curb) 인식이다 [4]. 연석은차선이존재하지않는상황에서차로와인도를구분하는역할을하기때문에자율주행을위해서반드시인식해야하는물체이다. 하지만연석은도로와색상이유사하고높이차이가크지않기때문에카메라혹은 lidar 만으로인식하기어려운물체이다. 다임러는이를안정적으로인식하기위해측위와지도정보를활용했다. 먼저지도에연석의위치를미리입력해놓는다. 주행시에는정밀측위를통해자차의위치를추정한후, 현재위치에서촬영된영상상에연석이존재할영역을추정한다. 그후, 연석이존재할영역인근에서만높이정보와영상밝기정보를활용하여연석을인식한다. 다임러는이를통해약 95% 의정확도로연석을인식하는데성공했다. 세번째응용예는차량제어이다 [2]. 측위와지도를활용하면지형에최적인행동을효율적으로생성하여제어를수행할수있게된다. 다임러는측위와지도를로터리 (roundabout) 에서의양보판단및제어에사용했다. 만일, 측위와지도정보가없다면차량은자차에부착된센서만을사용하여전방로터리존재여부, 로터리의지형, 타차의움직임등의매 S Stop S Other 우많은정보를알아내야한다. 하지만측위와지도정보를활용하면차량은전방로터리존재여부와로터리지형을사전정보를바탕으로손쉽게파악할수있기때문에타차의위치및속도등의매우적은정보만을차량 44
센서융합기반정밀측위시스템과자율주행기술 에부착된센서로알아내면된다. 또한, 사전에로터리에서 의양보와관련된이벤트위치를지도에입력해놓고해당위 치를어떤차가먼저통과할것인가만을계산하여양보여부 를쉽게판단하고이를제어에사용할수있게된다. 그림 4 는다임러가로터리에서측위및지도정보를활용 하여차량제어를수행하는개념도를보여준다. 이그림을 통해측위및지도정보를활용하면복잡한로터리를이동하 는자차와타차가일차원도로를이동하는것과같이표현할 수있다는것을확인할수있다. 이들응용외에도측위와지도정보 는전방도로의고도를파악하여하이 브리드혹은전기차의배터리사용여 부및충전시점제어등의용도로도사 용할수있다. 상용저가 GPS 국토정보지리원 소프트가, GPS 기반전파항법은세스트가, 카메라기반차 로표시인식은한양대학교가, IMU 기반관성항법및센서 융합측위부분은주관기관인위드로봇이맡고있다. 해당 기술을상용화할경우, 지도와카메라모듈을제외한추가 비용을 20 달러이하로예상하고있다. 개발중인시스템은기본적으로 GPS 기반전파항법과 IMU 기반관성항법의결과를기반으로차량의위치를추적 하며, 전파수신상황에따른 GPS 의오차와시간에따라증 가하는 IMU 의누적오차를카메라기반으로인식된노면표 블루투스또는기타 IF UART NMEA Adv-GPS Module 위드로봇 현대엠엔소프트 한양대학교 산업통상자원부센서융합기반정밀측위과제 저자들은현재산업통상자원부의지 원을받아 GPS-DR, 영상및도로정 보를융합한횡방향정밀도 20cm 이내 의저가형측위시스템개발 이라는센 서융합기반정밀측위과제를수행하 고있다. 그림 5 는개발중인시스템의 구성도와각부분을맡고있는기관을 보여준다. 정밀지도생성은현대엠엔 EMS 전방카메라 Wheel speed CAN Image LVDS FECU EDM (Extended Digital Map) Vision Module Enhanced GPS UART NMEA 그림 5. 센서융합기반정밀측위과제의시스템및팀구성도 ( 과제명 : GPS-DR, 영상및도로정보를 융합한횡방향정밀도 20cm 이내의저가형측위시스템개발 ) 세스트 상용 Navigator 그림 6. 정밀지도생성 자동화기술 2015 4 45
AUTOMATION SYSTEMS Tech Insight 시와 정밀 지도에 입력되어 있는 노면표시를 정합하여 해소 사용하여 획득한 3차원 점들로 구성된 초기 지도이고, 이로 해주는 방식으로 동작한다. 부터 수동으로 차로 표시, 노면 표시 등의 다양한 특징들을 그림 6은 개발 중인 시스템에서 사용하고 있는 지도를 보 추출하여 우측과 같은 축약된 형태의 정밀 지도를 생성한다. 여준다. 좌측은 MMS(Mobile Mapping System) 장비를 이 지도는 차로의 노드 및 링크, 횡단보도, 방향 표시, 정지 Diamond No straight Straight right Stop-line 그림 7. 차로 및 노면 표시 인식 결과 센서 융합 결과 GPS 결과 센서 융합 결과 GPS 결과 그림 8. 개발 중인 센서 융합 기반 정밀 측위 시스템의 결과 46 센서 융합 결과
센서 융합 기반 정밀 측위 시스템과 자율 주행 기술 선 등의 다양한 정보를 담고 있다. 그림 7은 전방 카메라를 않은 지역을 위주로 약 200km를 주행한 결과 차로 구별이 가 사용하여 차로 및 노면 표시 인식을 수행한 결과를 보여준 능한 수준인 약 1m의 오차를 확보할 수 있음을 확인했다. 이 다. 이 과제에서는 차선, 정지선, 횡단보도 예고 표시, 8가지 는 1차년도 결과이며 2차년도에는 더욱 향상된 결과를 얻을 화살표의 위치와 유형을 인식하여 측위에 사용한다. 수 있을 것으로 예상하고 있다. 자세한 설명과 동영상은 주관 그림 8은 개발 중인 시스템의 측위 결과를 보여준다. 해당 기관인 위드로봇 홈페이지에서 확인할 수 있다[5]. 예제는 차량이 고가 아래를 지나가는 상황이다. 상단은 전방 카메라 영상을, 하단은 지도상의 자차 위치를 보여준다. 지 맺음말 도에서 갈색 화살표는 GPS만 사용한 결과를, 보라색 화살표 는 센서 융합 기반 결과를 보여준다. 자율 주행 및 첨단 운전자 보조 시스템을 위해서는 정밀 측 좌측 영상에서 고가를 진입하기 전에 비교적 정확하던 위가 반드시 필요하며, 도심 상황에서 이를 달성하기 위해서 GPS 기반 측위 결과가 중앙 영상에서 고가를 진입한 후에 오 는 전파항법 및 관성항법 기술과 더불어 정밀 지도와 환경 인 차가 커지다가 우측 영상에서는 지도 밖으로 나갈 정도로 오 식 센서를 융합하는 기술을 함께 사용해야 한다. 차가 매우 커지는 것을 확인할 수 있다. 하지만 센서 융합 기 측위 및 지도 정보는 객체 인식, 차량 제어, 연비 향상 등의 반 측위의 경우 고가 진입 전과 후에 모두 안정적인 결과를 보 다양한 용도로 사용할 수 있으며, 측위, 인식, 제어 등을 위 이며, 자차가 1차선에서 2차선으로 차선을 변경하는 것을 정 한 다양한 정보가 포함된 통합 주행 환경 지도를 도입하면 자 확하게 추정하고 있음을 확인할 수 있다. 기준값을 출력하는 율주행 기술의 복잡도를 정해진 경로만을 운행하는 트램과 지도 생성 차량에 시제품을 장착하여 GPS 수신이 원활하지 유사한 수준으로 감소시킬 수 있을 것으로 예상된다. AM 참 고 문 헌 [1] J. Levinson, et al., Robust Vehicle Localization in Urban Environments Using Probabilistic Maps, International Conference on Robotics and Automation, 2010. [2] J. Ziegler, et al., Making Bertha Drive - An Autonomous Journey on a Historic Route, IEEE Intelligent Transportation Systems Magazine, [3] N. Fairfield, et al., Traffic Light Mapping and Detection, IEEE International Conference on Robotics and Automation, 2011. [4] M. Enzweiler, et al., Towards Multi-Cue Urban Curb Recognition, IEEE Intelligent Vehicle Symposium, 2013. [6] WITHROBOT, http://www.withrobot.com/handspan/ 2014. New Product 지멘스 러기드 셀룰러 라우터, 광대역 무선 연결 구현 지멘스 러기드컴 RX1400 은 멀티프로토콜 지능형 노드로서 이더넷 스위칭, 라우팅, 방 화벽 기능 및 각종 WAN 연결 옵션을 제공한다. 이 장치는 IP40 등급으로 냉각팬을 사용하 지 않으며 -40 ~+85 까지의 온도 범위에서 연속 작동하고 단단한 금속 케이스를 사용 해 DIN 레일, 패널 또는 랙 장착이 용이하다. 러기드컴 RX1400은 전자기 간섭, 강전 서지, 극한의 온도 습도에 대한 내구성이 뛰어나 혹독한 환경에서도 안정적으로 작동하며 GNSS(GPS/GLONASS) 기능도 내장되어 있어 대규모 환경에서 자산 추적 시 해당 위치를 알려준다. 이 제품은 또 상용 LTE 네트워크상의 주요 통신을 모두 지원하도록 설계되었고 QoS 관 리를 위해서 LTE의 강화된 성능을 활용한다. 문의 : 지멘스 02-3450-7106 자동화기술 2015 4 47