지능형자동차인식시스템개발동향특집 특집 자동차용스테레오비전개발동향 Stereo Vision Systems for Automotive Applications 서재규 한양대학교 Jae Kyu SuhrHanyang University 정호기 한양대학교 Ho Gi JungHanyang University 1. 서론 스테레오비전은카메라두대로구성되어있는스테레오카메라를사용하여주변환경을인식하는방식을의미한다. 스테레오카메라는삼각법을기반으로거리정보를획득할수있는센서로서영상과거리정보를동시에제공할수있다는장점을갖는다. 이방식은모노 ( 단안 ) 카메라사용방식에비해하드웨어가격및알고리즘복잡도가높다는단점을갖지만, 최근하드웨어가격의하락, 프로세서성능의향상, 효율적인알고리즘의개발로인해장점이부각되고있는상황이다. 최근, 스테레오비전이근중거리주행환경인식분야에서부각되는이유는크게두가지로설명될수있다. 첫번째이유는스테레오비전이자율주행측면에서 3D Scanning Lidar와단안카메라의조합을대체하는용도로주목받고있기때문이다. Google과대부분의대학들은자율주행자동차의주행환경인식목적으로 3D Scanning Lidar와단안카메라의조합을선호하고있다. 하지만완성차및자동차부품업체에서는센서의높은가격, 구동장치로인한약한내구성, 차량외관을심하게변형시켜야하는센서부착방법등의이유로 3D Scanning Lidar의사용을기피하고있는상황이다. 이러한이유로차량용인식시스템개발의선두업체인독일 Daimler의경우, 3D Scanning Lidar와카메라조합을스테레오비전으로대체하여 103km 완전자율주행을수행하였다. Auto Journal_ 014. 08 31
Special Edition 지능형자동차인식시스템개발동향 < 그림 1> 은대표적인자율주행차량인 Google Car와 Daimler Bertha를보여준다. 차량디자인, 센서가격, 내구성측면에서 Daimler Bertha가선호됨을쉽게알수있다. 스테레오비전이부각되는두번째이유는 ADAS(Advance Driver Assistance System) 측면에서의필요성때문이다. 유럽자동차안전성등급판정기관인 Euro NCAP(New Car Assessment Programme) 은 AEB(Autonomous Emergency Braking System) 를자동차안전등급판정항목으로추가할예정이다. 이를제공하지않을경우최고등급을받지못할것으로보이며, 단계적인의무장착규제가진행될가능성또한높다. 다양한종류의장애물을매우낮은오인식률로인지해야하는 AEB의특성으로인해, 3차원거리정보와물체의형상정보를동시에제공하는스테레오카메라가이를위한효율적인센서로대두되고있다. 또한추후높아지게될안전성평가기준을만족하기위해서스테레오비전센서의필요성이높아지고있다. (a) Google car (b) Daimler Bertha < 그림 1> 대표적인자율주행차량인 Google Car 와 Daimler Bertha. Stereo Matching 스테레오카메라로부터거리정보를획득하기위해서는두카메라의내 / 외부변수를추정하는카메라칼리브레이션과정과두카메라에서획득된영상상에서서로대응되는위치를찾는스테레오매칭과정이반드시필요하다. 카메라칼리브레이션의경우 Offline으로비교적간단하게수행될수있기때문에오랜기간구동하면서발생하는카메라의작은변화를 Online으로보정하는것이주요연구대상이다. 스테레오매칭은오랜기간연구되어온주제로다양한방법들이존재하며많은연산량을필요로한다. 이러한연산량의문제로인해과거에는세로 Edge만을매칭하는것과같은단순한방식들이주로개발되었다. 하지만최근효율적인알고리즘들의개발및프로세서의성능의향상으로인해영상전체를매칭하여사용하는방법이선호되고있다. 이렇게계산된조밀한스테레오매칭결과를 Dense Disparity Map이라고부른다. 자동차용스테레오비전연구자들이다양한스테레오매칭방법을비교분석하였으며, 그결과 SGM(Semi-Global Matching) 이성능및연산량을모두고려하였을때가장합리적인방법으로알려지게되어자동차응용에서널리사용되고있다. 이방식은 Benz S-class의스테레오비전시스템에양산된방식 3 Auto Journal_ 014. 08
지능형자동차인식시스템개발동향특집 으로알려져있다. SGM은픽셀단위의매칭 Cost와다수의 1D Constraint로근사화된 D Smoothness를최소화함으로써스테레오매칭을수행하는방법이다. < 그림 > 는스테레오카메라의좌측영상과 SGM을통해계산된 Dense Disparity Map의예를보여준다. (a) 스테레오카메라좌측영상 (b) SGM 으로생성된 Dense Disparity Map < 그림 > 스테레오카메라의좌측영상과 SGM 을통해계산된 Dense Disparity Map 의예 3. General Obstacle Detection (GOD) GOD란주행상황에존재하는일반적인장애물을검출하는방식을의미한다. 단안카메라를사용하는모노비전은영상의밝기정보만을제공하기때문에보행자, 차량과같이유형이정해진물체의외형을학습하는방법으로만물체를검출할수있다. 이에반해스테레오비전은조밀한거리정보를제공하기때문에물체의유형과관계없이거리정보를기반으로장애물을인식할수있다. 이러한 GOD는모노비전에비해스테레오비전이갖는가장큰장점중하나이다. GOD는중간수준표현 (Medium-level Representation) 으로볼수있으며, 이에대한연구는다음과같은중요성을갖는다. 다양한응용시스템들 ( 보행자, 차량, 차선인식기등 ) 이모두스테레오비전센서로부터저수준 (Low-level) 의정보 (Color Image, Dense Disparity Map) 를가져가서사용하게되면, 차량내부통신으로전달해야하는정보양과불필요한중복연산이증가하게된다. 따라서주행상황을간략화하여다양한응용시스템들이공통적으로사용할수있는중간수준의형태로표현하여공유하게되면위의문제를해결할수있게된다. 먼저 GOD 혹은중간수준표현단계를효과적으로수행하기위해서는전방도로면의형태를추정하는과정이필요하다. 도로면은일반적으로 3차원곡면이다. 따라서평면, 차곡면, B-spline 곡면등의 3차원곡면모델을사용하여추정할수있다. 하지만일반적인포장도로상황에서는좌 / 우방향의기울기는무시가능하기때문에대부분의경우 차원곡선모델을사용하여 V-disparity 혹은 YZ-plane 도메인에서추정한다. 이러한근사화는도로면추정연산량을줄여주며, 스테레오매칭오류와장애물에서생성된 3차원점들에대한강인성을확보해줄수있다는장점을갖는다. Auto Journal_ 014. 08 33
Special Edition 지능형자동차인식시스템개발동향 도로면모델링에사용되는 차원곡선모델로는 1, 차다항식 (Polynomial), 구분적선형 (Piecewise Linear) 함수가있으며, 이를일반화한형태인 B-spline 함수도있다. 이러한모델들중 Cubic B-spline 함수가높은자유도로인해다양한형태의도로면을정확하게표현할수있다고알려져있다. 하지만이는높은자유도로인해스테레오매칭오류와장애물에서생성된 3차원점들에강인하게추정되기힘들다는한계를갖기때문에이에대한추가연구가필요한상황이다. < 그림3> 은도로면추정결과의예를보여준다. GOD 혹은중간수준표현으로사용 < 그림 3> 도로면추정결과의예 되는대표적인방법은세가지가있다. 첫번째는 Occupancy Grid 기반방법이다. 이는전방주행환경을격자로표현한후격자를구성하는각칸이점유되었을확률을스테레오비전센서를기반으로계산하여전방상황을표현하는방법으로로보틱스분야에서오랜기간사용되어온방법 (a) Occupancy Grid 이다. 두번째는 Digital Elevation Map 기반방법이다. 이는주행환경을격자로표현한후, 격자를구성하는각칸에존재하는장애물의높이를계산하여이를기반으로전방상황을표현하는방법으로주로루마 (b) Digital Elevation Map 니아의 S. Nedevschi 교수에의해연구되고있다. 세번째는 Stixel 기반방법이다. 이는장애물과도로면의경계와장애물의높이를추정하여이를이어주는다수의막대들로전방상황을표현하는방법으로 Stixel은 Stick과 Pixel의합성어이다. 이방법은주 (c) Stixel 로 Daimler의 U. Franke 팀에의해연구되 < 그림 4> 대표적인 GOD 방법의예고있다. < 그림 4> 는세가지대표적인 GOD 34 Auto Journal_ 014. 08
지능형자동차인식시스템개발동향특집 (a) Static Stixel (b) Dynamic Stixel (c) Stixel Segmentation < 그림 5> Stixel 처리방법의예 방법의예를보여준다. GOD 방법들중가장활발히연구되고있는방법은독일 Daimler에서개발중인 Stixel 기반방법이다. 이는매우많은정보량을갖는 Dense Disparity Map을위치, 높이, 움직임정보를갖는 Stixel이라불리는소수의막대로표현하는방법으로정보축약측면에서매우효율적이라고알려져있다. 이방법은전방주행상황에존재하는장애물이도로면에수직하게서있다는가정하에이를고정픽셀너비의 Stixel로모델링한다. 그후 SGM을통해생성된 Dense Disparity Map을사용하여 Stixel의위치및높이를추정한다. 검출된 Stixel 의움직임은 Dense Optical Flow와 Kalman Filter를기반으로추정되며, 이와같은움직임정보를포함하는 Stixel을 Dynamic Stixel이라고부른다. 마지막으로 Dynamic Stixel들은위치, 높이, 움직임의유사성을기반으로구분되어실세계에서서로같은물체를구성하는 Stixel들끼리묶여지게된다. < 그림 5> 는 Daimler에서진행하고있는 Stixel 처리방법의예를보여준다. 4. Classifier-based Object Detection (COD) COD란물체의외형을학습시켜생성한 Classifier를사용하여영상에서차량, 보행자등을검출하는방식을의미한다. COD 관점에서스테레오비전을사용함으로써얻을수있는이점은크게세가지로설명될수있다. 첫째, GOD 및도로면추정결과를사용하여 COD 과정을효율화할수있다. 도로면굴곡정보혹은 GOD에서검출된장애물의위치및높이정보를사용하면영상의각위치별로예상되는보행자혹은차량의크기를예상할수있기때문에 COD를적용할관심영역을제한할수있다. 보다적극적으로는 GOD 결과를기반으로장애물뒤혹은장애물사이와같은위험지역을검출하고, 그위치에만 COD를적용할수도 Auto Journal_ 014. 08 35
Special Edition 지능형자동차인식시스템개발동향 있다. 이러한 GOD 기반관심영역설정방법은 COD 과정의연산량을줄여줄수있을뿐만아니라오검출을낮춰주는효과또한가져올수있다. 둘째, Dense Disparity Map과영상의밝기정보를융합하여 COD에사용되는 Classifier의성능을향상시킬수있다. 일반적으로모노비전을사용하는경우에는영상의밝기정보를사용하여 COD에사용되는 Classifier를학습한다. 스테레오비전의경우에는영상의밝기정보뿐만아니라거리에대한정보를담고있는 Dense Disparity Map을함께제공하기때문에이둘을융합하여 Classifier의성능을향상시킬수있다. 보행자검출의경우, 영상의밝기정보와 Dense Disparity Map에각각 Classifier를적용하여그결과를융합하는방법이인식률을향상시킨다는결과가보고되었다. 셋째, 원거리차량의거리추정정확도를높일수있다. 모노비전의경우에는 Classifier로인식된차량의거리를추정하기위해차량의너비혹은하단위치정보를사용한다. 하지만이는원거리에서심한거리오차를발생시킨다는한계를갖는다. GOD의경우에도 Disparity Map의분별력이원거리로갈수록급격히저하되기때문에원거리물체검출에실패할가능성이높으며, 원거리물체가검출된다하더라도 Disparity (a) 관심영역설정을통한효율화 Map의 Resolution 한계로인하여올바른거리정보를추출하기힘들게된다. 이러한한계는 COD 방법으로먼저물체위치를인식하고해당물체영역에만정밀한스테레오매칭방법을적용하여거리정보를획득함으로써보완가능하다. (b) 영상과거리정보융합을통한 Classifier 성능향상 < 그림 6> 은스테레오비전을기반 으로 COD를수행하는방법의예를보여준다. 5. 적용사례본고에서는 Daimler에서 Benz S-class와자율주행차량 Bertha에스테레오비전을적용한사례를소 Input Segmentation MultiSeg Disp (c) 원거리차량의거리추정정확도향상 < 그림 6> 스테레오비전기반 COD 의예 36 Auto Journal_ 014. 08
지능형자동차인식시스템개발동향특집 개한다. Benz S-class에양산된스테레오비전센서는다음과같은다양한기능을수행한다. 첫번째는보행자, 전방차량, 교행차량에대한제동보조기능이다. 이기능에서스테레오카메라는레이더와융합되어보행자및전방차량을검출하는용도와교차로에서교행하는차량과의위험상황을예측하는용도로사용된다. 두번째는 ACC(Adaptive Cruise Control) 와 Stop & Go 기능이다. 이기능에서는차선과전방차량이스테레오카메라로인식되어종 / 횡방향제어를보조하는데사용된다. 마지막은 Active Suspension 기능이다. 이는스테레오카메라에서획득한조밀한거리정보로부터근거리도로면의굴곡을추정하여현가시스템의제어를최적화한다. Daimler의자율주행차량인 Bertha는 013년 8월 103km의완전자율주행을수행하였다. 이차량은주행환경인식을위해스테레오및모노카메라, 레이더, 정밀지도를사용하며, 스테레오카메라는주행가능영역검출과차량및보행자인식에이용된다. 주행가능영역은 Stixel 검출및추적을실시한결과를기반으로장애물이존재하지않는영역을계산하여얻어지며, 차량및보행자는영상의밝기정보와 Dense Disparity Map 정보의융합을통해학습된 Classifier를사용하여검출된다. 이때근중거리차량인식의관심영역은 Stixel 생성결과를기반으로설정되고, 원거리차량인식의관심영역은영상밝기기반차량검출기를기반으로설정되며, 보행자인식의관심영역은도로면추정결과를기반으로설정된다. 6. 개발방향 장기적으로하드웨어의저가화와실시간스테레오매칭의범용화가진행되고신차안전성평가기준과 ADAS 의무장착요구가높아지게되면, 기존의모노비전기반방법들이스테레오비전기반방법으로대체될가능성이높아지게될것으로예상된다. 이에따라국내에서도스테레오비전에대한연구가활발히수행될것으로기대된다. 앞서설명한내용을기반으로현재진행중이고추후에진행될스테레오비전기반주행환경인식에대한연구개발방향을정리하면다음과같다. 단기적으로는스테레오매칭과 Optical Flow 등의기반알고리즘에대한연구가필요하고, 중기적으로는주행상황을중간수준으로표현하는 GOD 방법과영상의밝기와거리정보를융합하여개별물체를인식하는 COD 방법에대한연구가필요하다. 장기적으로모노비전이수행하던일들을스테레오비전이대체하여응용분야가늘어나게되면, GOD와 COD를효과적으로통합하여전체시스템을효율화하는연구가필요하다. 또한스테레오매칭, Optical Flow, GOD, COD 기술들을하드웨어기반으로구현하여실시간성을확보할필요가있다. Daimler의경우스테레오매칭과 GOD를 FPGA로, Optical Flow를 GPU로구현하여 Benz S-class와자율주행차량인 Bertha에적용한것으로보고된바있다. < 서재규교수 : jksuhr@hanyang.ac.kr> Auto Journal_ 014. 08 37
Special Edition 지능형자동차인식시스템개발동향 < 참고문헌 > E. Guizzo, How Google s Self-Driving Car Works, IEEE Spectrum, 011, http://spectrum.ieee.org/automaton/ robotics/artificial-intelligence/how-google-self-driving-car-works, 014. J. Ziegler, P. Bender, M. Schreiber, H. Lategahn, T. Strauss, C. Stiller, T. Dang, U. Franke, N. Appenrodt, C. G... Keller, E. Kaus, R. G. Herrtwich, C. Rabe, D. Pfeiffer, F. Lindner, F. Stein, F. Erbs, M. Enzweiler, C. Knoppel, J. Hipp, M. Haueis, M. Trepte, C. Brenk, A. Tamke, M. Ghanaat, M. Braun, A. Joos, H. Fritz, H. Mock, M. Hein and E. Zeeb, Making Bertha Drive? An Autonomous Journey on a Historic Route, IEEE Intelligent Transportation Systems Magazine, Vol.6, No., pp.8-0, 014. R. Erbs, B. Schwarz and U. Franke, From Stixels to Objects - A Conditional Random Field based Approach, IEEE Intelligent Vehicles Symposium, pp.586-591, 013. A. Wedel, H. Badino, C. Rabe, H. Loose, U. Franke and D. Cremers, B-Spline Modeling of Road Surfaces With an Application to Free-Space Estimation, IEEE Transactions on Intelligent Transportation Systems, Vol.10, No.4, pp.57-583, 009. T.-N. Nguyen, B. Michaelis, A. Al-Hamadi, M. Tornow and M. Meinecke, Stereo-Camera-Based Urban Environment Perception Using Occupancy Grid and Object Tracking, IEEE Transactions on Intelligent Transportation Systems, Vol.13, No.1, pp.154-165, 011. F. Oniga, and S. Nedevschi, Processing Dense Stereo Data Using Elevation Maps: Road Surface, Traffic Isle, and Obstacle Detection, IEEE Transactions on Vehicular Technology, Vol.59, No.3, pp.117-118, 010. M. Enzweiler, M. Hummel, D. Pfeiffer and U. Franke, Efficient Stixel-Based Object Recognition, IEEE Intelligent Vehicles Symposium, pp.1066-1071, 01. C. G. Keller, M. Enzweiler, M. Rohrbach, D. F. Llorca, C. Schnorr and D. M. Gavrila, The Benefits of Dense Stereo for Pedestrian Detection, IEEE Transactions on Intelligent Transportation Systems, Vol.1, No.4, pp.1096-1106, 011. P. Pinggera, U. Franke and R. Mester, Highly Accurate Depth Estimation for Objects at Large Distances, Lecture Notes in Computer Science, Vol.814, pp.1-30, 013. U. Franke and S. Gehrig, How Cars learned to See, The 54th Photogrammetric Week, pp.3-10, 013. 한국자동차공학회회원가입및논문집구독문의 Tel : 0-564-3971 Fax : 0-564-3973 e-mail : account@ksae.org www.ksae.org 자동차공학은한국의힘! 38 Auto Journal_ 014. 08