순차적최적화방법을사용한스틱셀파라미터튜닝 이선영 1) 서재규 1) 정호기 *2) 한양대학교자동차전자제어연구소 1) 한양대학교미래자동차공학과 *2) Stixel Parameter Tuning Using Sequential Optimization Sunyoung Lee 1) Jae Kyu Suhr 1) Ho Gi Jung *2) 1) Research Institute of Automotive Electronics and Control, Hanyang University, 222 Wangsimni-ro, Seongdong-gu, Seoul 133-791, Korea *2) Department of Automotive Engineering, Hanyang University, 222 Wangsimni-ro, Seongdong-gu, Seoul 133-791, Korea Abstract : Stixels are rectangular sticks utilized for representing obstacles in driving environments. Stixel generation procedure consists of two main stages: free space computation and obstacle height estimation. In these stages, several essential parameters are used to control the behavior of the algorithms. Thus, those parameters should be tuned to achieve better performances. Although evaluating all parameter combinations is the best way to find their optimal values, it is unrealistic in terms of computational costs. To overcome this problem, this paper proposes a Stixel parameter tuning method based on a sequential optimization. Assuming that the parameter space has a single mode, the proposed method repetitively conducts the procedure that finds the optimal value of one parameter while fixing the other parameters until the performance converges. Experimental results show that the proposed method can properly tune the parameters used in the Stixel generation procedure with a feasible computational complexity compared with the method that evaluates all parameter combinations. Key words : Driver assistant system( 운전자보조시스템 ), Stereo vision( 스테레오비전 ), Stixel( 스틱셀 ), Free space( 장애물경계검출 ), Obstacle height( 장애물높이추정 ), Parameter optimization( 파라미터최적화 ), Sequential optimization( 순차적최적화 ). 1. 서론스테레오비전은 2차원영상정보와 3차원거리정보를동시에획득할수있다는장점으로인하여주행환경인식을위해널리사용되고있다. 스테레오비전기반주행환경인식에대한연구는특정물체 ( 보행자, 차량, 차선등 ) 인식에집중하는연구와주행상황을중간수준 (medium-level) 으로표현하는연구로구분될수있다. 스테레오비전으로주행상황을인식하는경우, 다양한응용시 * 교신저자성명 : 정호기, E-mail: hogijung@hanyang.ac.kr. 스템들이모두저수준 (low-level) 의영상혹은거리정보를가져가서사용하면불필요한중복연산이증가하고차량내부통신으로전달해야하는정보의양이증가하게된다. 이러한문제를해결하기위해주행상황을간략화하여다양한응용시스템들이공통적으로사용할수있는형태로표현하는방법에대한연구가수행되고있으며, 이를중간수준표현 (medium-level representation) 방법이라고부른다. 스테레오비전기반중간수준표현방법은크게 occupancy grid 1), digital elevation map 2), Stixel 3) 기반방법들이있다. 이들중, Daimler AG 631
사에서제안된 Stixel 기반방법이가장활발하게연구되고있다. 이방법은전방상황을위치와높이정보를갖는 Stixel(stick와 pixel의합성어 ) 이라불리는다수의막대로표현하는방법이다. Fig. 1의마지막그림은 Stixel 생성결과의예를보여준다. 전방주행상황을 Stixel 로표현하는것은일차장애물경계를검출하는단계와일차장애물의높이를추정하는단계로구성된다. 각단계에사용되는알고리즘은해당알고리즘의성능에영향을미치는다수의파라미터들을가지고있으며, 이파라미터들을튜닝함으로써 Stixel 생성성능을향상시킬수있다. 이러한파라미터튜닝작업을위해모든파라미터들이가질수있는값의범위내에서가능한파라미터값의조합들을모두평가하여보는것이가장이상적이나이는막대한연산량을필요로하기때문에비현실적인방법이다. 본논문에서는파라미터튜닝시에발생하게되는연산량문제를해결하기위해효율적인순차적최적화방법을이용한 Stixel 파라미터튜닝방법을제시한다. 제안된방법은파라미터공간상에서알고리즘의성능이 single mode를형성한다는가정하에 n개의파라미터중 (n-1) 개의파라미터값을고정시킨후나머지 1개의파라미터값을튜닝하는방법을순차적으로적용한다. 상기작업을반복적으로수행하게되면, 모든파라미터조합에대한평가를수행하지않고도파라미터튜닝을효과적으로수행할수있다. 2. Stixel 생성방법및파라미터 3차원거리정보인 dense disparity map으로부터 Stixel을생성하는과정은 Fig. 1과같이 dense disparity map 생성단계 ( 첫번째그림 ), 장애물경계검출단계 ( 두번째그림 ), 장애물높이추정단계 ( 세번째그림 ), Stixel 생성단계 ( 마지막그림 ) 로구성된다. 이중핵심이되는장애물경계검출및장애물높이추정단계에는다수의파라미터들이사용되며, 이값들을어떻게설정하느냐에따라 Stixel 생성알고리즘의성능이달라진다. 각단계에서사용된알고리즘에대한설명과이에서도출된주요파라미터들은다음과같다. Fig. 1 Stixel 생성과정 2.1 절장애물경계검출방법및파라미터장애물경계검출은도로면과일차장애물의경계를검출하는과정으로자동차의주행을방해하는장애물을인식하는중요한단계이다. 본논문에서는 dense disparity map에서도로면으로부터 1m 이내의관심영역에대한 disparity 누적을통해 u- disparity를생성하여 data term으로설정하고, 인접한 column 들간의 disparity 차이값을 smoothness term으로설정하여 dynamic programming을수행함으로써장애물경계를검출하였다. Table 1은장애물경계검출단계에서사용된주요파라미터의목록을보여준다. 632
Table 1 장애물경계검출파라미터 No. 파라미터 의미 1 scaleudis Disparity의 scaling 값 2 maxudisacc u-disparity의정규화과정시사용되는누적의한계값 3 maxsmoothness Smoothness cost의최대값 4 heightroi u-disparity 생성시사용되는관심영역높이 5 wsmoothness Smoothness term의 weight 행해야하며이는연산량측면에서비현실적이다. 이러한문제를해결하기위해본논문은효율적이면서도현실적인파라미터튜닝방법을제시한다. 제안된방법은파라미터공간상의성능이 single mode를형성한다고가정하고, 순차적최적화를실시하는방법이다. 즉, n개의파라미터중 (n-1) 개의파라미터값을고정시킨후나머지 1개의파라미터값을최적화하는방법을순차적으로적용하는것이다. 2.2 절장애물높이추정방법및파라미터장애물높이추정과정은장애물경계상에존재하는장애물의높이를알아내는단계이다. 이단계는장애물경계에존재하는장애물은장애물경계와동일한 disparity 값을가져야한다는특성을기반으로 membership voting을수행한후, 해당값이반전되는위치를 dynamic programming 을통해알아냄으로써장애물높이를추정한다. Table 2는장애물높이추정단계에서사용된주요파라미터의목록을보여준다. P 2 P 1 =m 3 P 2 =n 3 P 1 =m 2 P 2 =n 2 P 1 =m 1 P 2 =n 1 Fig. 2 순차적최적화의개념 Initial parameter P 1 Table 2 장애물경계검출파라미터 No. 파라미터 의미 Membership voting 시에 1 deltaz disparity 차이를거리에따라정규화하는데사용되는값 2 differencez Smoothness cost 생성시인접한 column 간장애물경계의거리차이가 differencez 이상인경우 smoothness cost을 0으로설정 3 wsmoothness Smoothness term의 weight 3. 파라미터최적화방법알고리즘의성능을향상시키기위해서는알고리즘에서사용되는파라미터를튜닝하는작업이필수불가결하다. 다수의파라미터들은상호연동하여알고리즘의성능을결정하므로파라미터튜닝작업은원칙적으로모든파라미터조합을평가하여수행해야한다. 예를들어, 4개의파라미터 (para parb, parc, pard) 가존재하고, para, parb, parc, pard가가질수있는값들이각각 h개, i개, j개, k개인경우, 총 (hⅹiⅹjⅹk) 번의평가를진 3.1 절순차적최적화방법어떤알고리즘에 2개의파라미터 (P 1,P 2 ) 가존재하고, 2D 파라미터공간상의성능이 Fig. 2와같다고가정하자. 먼저, P 1 을초기값 (m 1 ) 으로고정한후, 다양한 P 2 값에대하여알고리즘을평가하여 P 2 의최적값 (n 1 ) 을구한다. 이어서 P 2 를 n 1 으로고정한후, 다양한 P 1 값에대하여알고리즘을평가하여 P 1 의최적값 (m 2 ) 을구한다. 상기과정을 P 1 과 P 2 에반복적으로적용하면, 2D 파라미터공간상의최적위치로두파라미터값들이수렴하게된다. Fig. 2에서는 (m 3,n 3 ) 으로두파라미터의값이수렴하게된다. 제안된순차적파라미터최적화방법을사용할때, 4개의파라미터 (para, parb, parc, pard) 에필요한실험은기본적으로 (h + i + j + k) 번이되며, 알고리즘의성능이특정수준으로수렴할때까지순차적으로각파라미터에대한최적화작업을반복하면된다. 가령, 각파라미터에대한튜닝세번씩반복하게된다면총 (h + i + j + k)ⅹ3번의실험이필요하게된다. 그러므로 (hⅹiⅹjⅹk) 번의실험이필요한파라미터조합방법과비교했을때, 제안된방법의연산량이압도적으로줄어듦을확인할수있다. 여기서한파라미터의최적값을구하는방법은 coarse-to-fine 기법을사용하였다. 633
3.2 절 Coarse-to-fine 방법 각파라미터에대한평가를실시할때에는 coarse-to-fine 방법을사용하였다. 제안된 coarse-to-fine 방법은두단계에걸쳐파라미터값을탐색한다. 첫번째단계에서는파라미터가가질수있는최대한넓은범위를넓은간격으로검색하고, 두번째단계에서는첫번째단계에서선택된최적값근처에서좁은간격으로검색을실시한다. 첫번째단계의파라미터범위와간격은경험적으로선택하였으며, 두번째단계에서는첫번째단계에서사용된간격의 1/5로설정된간격으로첫번째단계에서선택된최적값근방 9개값에대한평가를실시하였다. Fig. 3은단일파라미터에제안된 coarse-tofine 방법을적용한결과를보여준다. 이그림의첫번째단계 (a) 에서는 10에서 120까지범위를 10 의간격으로검색하여가장작은오차를낸 70을최적값으로획득하였으며, 두번째단계 (b) 에서는 70 근방에서 2의간격으로 9개의값에대한평가를실시하여가장작은오차를낸 64를최적값으로획득하였다. 4. 실험결과 본논문에서는 Stixel 생성을위해사용되는장애물경계검출방법과장애물높이추정방법의파라미터에대한최적화작업을수행하였다. 최적화작업을위한알고리즘평가지표로는수작업으로입력된장애물경계와알고리즘으로추정된장애물경계의세로축평균차이와수작업으로입력된장애물높이와알고리즘으로추정된장애물높이의세로축평균차이를사용하였다. 식 (1) 은장애물높이추정오차계산방법을설명한다. 1 W GT EST error = pu pu (1) W u = 1 여기서, W 은이미지의너비를의미하고, EST p u GT p u 는각각 u 번째 column 에대하여수작업으로입력된장애물경계와알고리즘으로추정된장애물경계의픽셀위치를의미한다. 장애물높이의오차또한이와동일한방법으로측정된다. 본실험은 6D-Vision Scene Labeling Database 4) 에서일반적인주행상황을대표하는 120 장을선택하여사용하였다. 와 Error (pixel) Error (pixel) 6.5 6 5.5 5 4.5 4 4.155 4.15 4.145 4.14 4.135 4.13 10 20 30 40 50 60 70 80 90 100 110 120 Parameter (a) 첫번째단계 62 64 66 68 70 72 74 76 78 Parameter (b) 두번째단계 Fig. 3 Coarse-to-fine 방법 4.1 절장애물경계검출파라미터최적화 2.1 절에서언급한장애물경계검출에필요한총 5개의파라미터에대한최적화작업을수행하였다. Table 3은각파라미터의초기값. 검색범위, 최적화작업후의결과값및그때의오차값을보여주며, Fig. 4는반복수행횟수에따른오차의변화를보여준다. 반복수행횟수는하나의파라미터대한검색이종료되면증가하게된다. 이그림을통해반복수행횟수가증가함에따라오차가작아지면서수렴하는것을확인할수있다. Iteration no. Table 3 파라미터검색범위및최적화결과 파라미터 ( 장애물경계검출 ) 초기값 ( 검색범위 ) 최적값 Error (pixel) 1 scaleudis 2 (0.5:7) 5.3 4.3305 2 maxudisacc 50 (10:120) 56 4.3104 3 maxsmoothness 10 (1:18) 10 4.3104 4 heightroi 1.0 (0.5:4.5) 1.2 4.2466 5 wsmoothness 0.2 (0.2:2.4) 0.1 4.2352 6 scaleudis 5.3 (0.5:7) 2.4 4.1685 7 maxudisacc 56 (10:120) 64 4.1369 8 maxsmoothness 10 (1:18) 10 4.1369 9 heightroi 1.2 (0.5:4.5) 1.2 4.1369 10 wsmoothness 0.1 (0.2:2.4) 0.1 4.1369 634
Error (pixel) 4.35 4.3 4.25 4.2 4.15 4.1 1 2 3 4 5 6 7 8 9 10 Iteration number Fig. 4 반복수행횟수에따른오차의변화 ( 장애물경계검출 ) 4.2 절장애물높이추정파라미터최적화 2.2 절에서언급한장애물경계검출에필요한총 3개의파라미터에대한최적화작업을수행하였다. Table 4는각파라미터의초기값, 검색범위, 최적화작업후의결과값및그때의오차값을보여주며, Fig. 5는반복수행횟수에따른오차의변화를보여준다. 이그림을통해반복수행횟수가증가함에따라오차가작아지면서수렴하는것을확인할수있다. Iteration no. Error (pixel) Table 4 파라미터검색범위및최적화결과 파라미터 ( 장애물높이추정 ) 초기값 ( 검색범위 ) 최적값 Error (pixel) 1 deltaz 4 (1:10) 5.6 16.4549 2 differencez 5 (1:15) 13.8 16.3482 3 wsmoothness 4 (1:10) 3 16.2896 4 deltaz 5.6 (1:10) 5.6 16.2896 5 differencez 13.8 (1:15) 14.6 16.2761 6 wsmoothness 3 (1:10) 3 16.2761 16.5 16.45 16.4 16.35 16.3 16.25 1 2 3 4 5 6 Iteration number Fig. 5 반복수행횟수에따른오차의변화 ( 장애물높이추정 ) 4.3 절연산량비교일반적으로생각될수있는모든파라미터조합을평가하는방법과제안된순차적최적화방법의연산량을장애물경계검출알고리즘측면에서비교하면다음과같다. (1) 모든조합을평가하는방법 [(14 12 18 9 12) + (9 9 9 9 9)] 120장 8초= 4, 285일 (2) 제안된순차적최적화방법 [(14 + 12 + 18 + 9 + 12) + (9 + 9 + 9 + 9 + 9)] 2번 120장 8초 = 2.4일 여기서 120장은평가에사용된영상의개수를의미하고, 8초는 MATLAB 으로장애물경계검출알고리즘을수행하는데소요되는시간을의미한다. 순차적방법은모든파라미터를총 2번반복하여실험하였다. 위수식을통해제안된방법을사용하면현실적인연산량만을사용하여파라미터튜닝을수행할수있음을확인할수있다. 5. 결론 본논문은순차적최적화방법을이용한 Stixel 파라미터튜닝방법을제안한다. 제안된방법은파라미터공간상의성능이 single mode를형성한다고가정하고다수의파라미터를하나씩순차적으로최적화하여최종적으로모든파라미터에대한튜닝을수행하는방식이다. 실험을통하여제안된방법이모든파라미터조합을평가하는방법에비하여현저히적은연산량만을가지고파라미터튜닝을효과적으로수행할수있음을확인할수있었다. 파라미터공간상의성능이 multiple mode를형성하는경우에는다수의초기값을사용하여제안된방법을수행한후, 가장작은오차를보이는파라미터를선택하는방식을사용하면지역최소값에빠지는것을방지할수있을것으로예상된다. 사사본논문은현대모비스의지원을받아이루어졌습니다. References 1) T. Nguyen, B. Michaelis, A. Al-Hamadi, M. Tornow, and M. Meinecke, Stereo-Camera- 635
Based Urban Environment Perception Using Occupancy Grid and Object Tracking, IEEE Trans. Intell. Transp. Syst., vol. 13, no. 1, pp. 154-165, March 2012. 2) F. Oniga and S. Nedevschi, Processing Dense Stereo Data Using Elevation Maps: Road Surface, Traffic Isle, and Obstacle Detection, IEEE Trans. Vehicular Tech., vol. 59, no. 3, pp. 1172-1182, March 2010. 3) D. Pfeiffer and U. Franke, Modeling Dynamic 3D Environments by Means of The Stixel World, IEEE Intell. Transp. Syst. Mag., vol. 3, no. 3, pp. 24-36, Aug. 2011. 4) T. Scharwächter, M. Enzweiler, S. Roth, and U. Franke. "Efficient Multi-Cue Scene Segmentation", Proc. of the German Conference on Pattern Recognition (GCPR), 2013. 636