PDF

Size: px

Start display at page:

Download "PDF"

보검 누
7 years ago
Views:

1 도심지역적용을위한 uv-disparity 기반장애물검출개선방안 서재규 1) 정호기 *2) 한양대학교자동차전자제어연구소 1) 한양대학교기계공학부 2) Enhancement of uv-disparity-based obstacle detection in urban environments Jae Kyu Suhr 1) Ho Gi Jung *2) 1) Research Institute of Automotive Electronics and Control, Hanyang University, 222 Wangsimni-ro, Seongdong-gu, Seoul , Korea *2) School of Mechanical Engineering, Hanyang University, 222 Wangsimni-ro, Seongdong-gu, Seoul , Korea Abstract : Obstacle detection based on v-disparity is one of the popular methods for detecting obstacles using a stereo camera. However, when applying this method to urban environments, v-disparity can severely be affected by buildings beside the roads. Therefore, this paper proposes a method to remove building surfaces from uv-disparity for enhancing the performance of v- disparity-based obstacle detection in urban environments. The proposed method first finds pixels consisting road surface and detects lanes to estimate the location of vanishing point. Then, u-disparity is divided into left and right parts according to the location of the vanishing point. Finally, building surfaces are detected and eliminated by estimating lines in each part of u- disparity by using Hough transformation. Experimental results reveal that the uv-disparity with the proposed method more clearly shows obstacle regions compared to the uv-disparity without it. Key words : Obstacle detection( 장애물검출 ), uv-disparity(uv- 변위 ), stereo vision( 스테레오비전 ), urban environment ( 도심지역 ) 1. 서론 지능형자동차연구에서장애물을검출하는것은매우중요한주제중하나이다. 이러한연구에서 2차원영상정보와 3차원거리정보를함께사용가능한스테레오카메라기반방법이널리연구되고있다. 이와같은스테레오비전을사용한방법은크게 disparity map 기반 1), inverse perspective mapping (IPM) 기반 2), v-disparity 기반 3) 분류될수있다. 이들중 disparity map의세로축좌표히스토그램을구하여이로부터지표면과그위에존재하는장애물을검출하는 v- disparity 기반방식은도로면에대한 online calibration과장애물검출을동시에수행할수있다는장점을갖기때문에유용하게사용되고있다. 하지만이러한 v-disparity 기반방식을도심지역에적용할경우에는도로양측건물면에서생성된 disparity map의값들이 v-disparity에다수반영되어주로관심이되는전방차량등의장애물을검출하는데혼란을주게된다. Fig. 1은이러한상황의예를보여준다. Fig. 1 는세로방향에지의 disparity map을보여주고, 는 로부터생성된 v-disparity를보여준다. 이그림을통해서도심지역에서건물이존재하는경우에는 v- disparity에전방차량에해당하는장애물이부각되어나타나지않는것을확인할수있다.

2 Fig. 1 Difficulties in v-disparity-based obstacle detection in urban environments. 따라서본논문에서는도심지역에서 v- disparity 기반장애물검출방법을적용할경우의성능을향상시키기위해서 u-disparity 기반건물검출및제거방법을제안하였다. 제안된방법은 Fig. 2에나타난순서도와같이진행된다. 1) 스테레오카메라로부터획득된두영상각각에서수직방향에지픽셀들을추출한다. 2) 주변픽셀과의차이를코드화하는픽셀분류를통해고속으로스테레오매칭을실시함으로써 disparity map을생성한다. 3) 획득된 disparity map의가로축과세로축누적을통해 uv-disparity 생성한다. 4) v-disparity를사용하여도로면을추출하고도로면을이루는픽셀들을사용하여차선을검출하여소실점의위치를계산한다. 5) 소실점의위치를기준으로 u-disparity를좌우두영역으로구분한후, 각각의영역에서직선을추출함으로써도로주변의건물면들을추출한다. 6) 건물면과도로면에해당하는픽셀을 disparity map에서삭제한후 uv-disparity 생성하여장애물검출을실시한다. 본논문은다음과같이구성된다. 2장에서는스테레오영상을사용한 disparity map 생성에대하여설명하고, 3장에서는 v-disparity 생성과이를사용한바닥면추정에대하여소개한다. 4장에서는 u-disparity 생성과이를사용한건물면추정에대하여설명하고, 5장에서는 uv-disparity 기반장애물검출방법을기술한다. 마지막으로 6장에서는실험결과를보이고, 7장에서는논문의결론을맺는다. Fig. 2 Flowchart of the proposed method. 2. Disparity Map 생성 자동차응용의경우, 빠른연산을위해서전체영상에대해조밀한 disparity map을생성하기보다는수직에지에대한 disparity map만을생성하는것이일반적이다. 4) 따라서본논문에서도수직에지픽셀들만을사용하여주위픽셀과의밝기차이를기반으로픽셀을분류한후분류된코드를사용하여스테레오매칭을실시하는방법을사용하였다. 4) 픽셀분류를위해서픽셀의밝기값과이의상하좌우네픽셀들의밝기값들을비교하여임계치이상으로밝은지여부와임계치이하로어두운지여부를각각 1bit로표현한다. 주위네픽셀과의비교결과를표현하기위해서는 8bit의코드가사용된다. 다시말해, 왼쪽, 위쪽, 오른쪽, 아래쪽픽셀과의비교결과 2bit씩을차례로나열하여코드를만든다. 예를들어, 좌측픽셀이임계치이상으로더밝고우측픽셀이임계치이하로더어두운경우에, 해당 pixel에이진수 을코드로부여한다. 이러한픽셀분류방법은최근여러패턴인식문제에서우수한성능이보고된 Local Binary Pattern(LBP) 과유사한형태를가지고있다고할수있겠다. 5) 좌측과우측영상에서이렇게코들을생성한후코드가같으면서같은수평선위에존재하는점을대응되는점으로설정함으로써스테레오매칭을실시하게된다. Fig. 3은이러한

3 Fig. 4 Generation of v-disparity by accumulating the pixels with the same disparity values at the same vertical location. disparity map generated v-disparity. (c) Fig. 5 Estimation of ground plane using Hough transform-based (c) Fig. 3 Generation of disparity map. stereo image pair coded vertical edge pixels (c) generated disparity map. 방식으로생성된 disparity map을보여준다. 이그림에서 는스테레오영상쌍을보여주며, 는 의수직에지를추출한후픽셀분류를실시한결과를보여준다. 마지막으로 (c) 는픽셀분류결과를바탕으로생성된 disparity map을보여준다. 3. v-disparity 기반바닥면추정 3.1 절 v-disparity 생성 v-disparity란 disparity map에서같은세로축위치에존재하면서같은 disparity 값을갖는픽셀들을누적시킴으로써획득된다. 3) Fig. 4 는 line estimation in v-disparity. v-disparity line estimation result (c) disparity map of detected ground plane. disparity map을보여준다. 이 disparity map에서같은세로축에위치하면서동시에같은 disparity 값을가지는픽셀들은 v-disparity의동일세로축에누적되며, 누적되는가로축위치는픽셀의 disparity 값이된다. Fig.4 는이러한방식으로생성된 v-disparity를보여준다. 3.2 절바닥면추정바닥면이평면을이루고있으며영상의가로축과바닥면이평행하도록카메라를설치하였다고가정한다면, 바닥면을이루는픽셀들은 v- disparity에서직선을이루게된다. Fig. 5 은 v-disparity 상에서직선으로나타나게되는바닥면을이루는픽셀들을표시한것이다. 따라서

4 Fig. 6 Generation of u-disparity by accumulating the pixels with the same disparity values at the same horizontal location. disparity map generated u-disparity. (c) Fig. 7 Estimation of building surfaces using Hough transformbased line estimation in u-disparity. u-disparity line estimation result (c) disparity map of detected building surfaces. 바닥면을검출하기위해서는 v-disparity로부터가장우세한직선을추정하면된다. 하지만 v- disparity에는바닥면을이루는직선상의점들뿐만아니라다른물체들을이루는점들또한다수존재하기때문에단순히 least square 추정법을사용할수없게된다. 따라서본논문에서는 outlier에강인한파라미터추정법인 Hough transform 기반직선추정방법을사용하였다. 6) Fig. 5 는 v-disparity에 Hough transform을적용하여추정한직선을보여주고, (c) 는직선추정결과를기반으로 disparity map에서바닥면을이루는픽셀들만을추출하여그려준결과를보여준다. 4. u-disparity 기반건물면추정 4.1 절 u-disparity 생성 u-disparity를생성하는방법은누적을실시하는방향이가로축이라는것을제외하고는 v- disparity를생성하는방법과동일하다. 7) Fig. 6 는 disparity map을보여준다. 이 disparity map에서같은가로축에위치하면서동시에같은 disparity 값을가지는픽셀들은 u-disparity의동일가로축에누적되며, 누적되는세로축위치는픽셀의 disparity 값이된다. Fig. 6 는이러한 방식으로생성된 u-disparity를보여준다. 4.2 절건물면추정일반적으로도심지역에서는건물들이도로를기준으로좌우측에존재하며도로에인접한건물면은대부분평면으로이루어져있게된다. 이러한가정하에건물면들은 u-disparity 상에서도로를기준으로좌측건물면을이루는하나의직선과우측건물면을이루는또하나의직선으로나타나게된다. Fig. 7 은 u-disparity 상에서두개의직선으로나타나는양측건물면을이루는픽셀들을표시한것이다. u-disparity 상에나타나는두직선을검출하기위하여먼저 Fig. 5(c) 에서보여지는바닥면의 disparity map 정보를사용하여차선을검출 8) 한후두차선이교차하는소실점위치의가로축좌표를도로의좌 / 우측을구분하는기준으로설정하였다. 그후좌측에해당하는 u-disparity에 Hough transform을적용하여도로좌측건물면에해당하는직선을검출하였고, 우측에해당하는 u- disparity에도동일한동작을수행하여도로우측건물면에해당하는직선을검출하였다. Fig. 5 는검출된두직선을보여준다. Fig. 5(c) 의좌우영상은각각추출된도로좌측과우측에존재하는건물면들의 disparity map을보여준다.

5 Fig. 8 Obstacle detection using the proposed uv-disparity-based method. 5. uv-disparity 기반장애물검출 앞서설명된도로면검출과건물면검출을실시한후에는 uv-disparity 상에서안정적으로장애물을검출하기위하여목표장애물이아닌도로와건물을이루는픽셀들을제거해준다. Fig. 8은제안된 uv-disparity 기반방식을사용하여도로면과건물면을제거한후보정된 disparity map과그로부터획득된 uv-disparity를보여준다. 본그림은통해제안된방법을사용한경우에 uvdisparity 상에서지표면위에존재하는장애물 ( 전방차량 ) 의영역이선분으로명확히나타나게됨을알수있다. Fig. 9 Comparison of uv-disparity with and without the proposed method. 6. 실험및결과비교제안된방법은실제차량에설치된스테레오카메라에서주행중에취득된두가지상황의영상에적용되었다. Fig. 9와 10은제안된건물면제거방법을사용하였을경우와이를사용하지않았을경우에생성된 uv-disparity의결과를비교한그림을보여준다. 두상황에서살펴볼수있듯이제안된방법을통해건물면들을제거한후획득한 uv-disparity에서는그렇지않은경우에비해장애물에해당하는수직과수평방향선분들이더욱명확히나타남을알수있다. 이는제안된방법을사용하였을경우가그렇지않은경우에 비하여 uv-disparity를사용한장애물검출이유리하다는것을보여준다. 특히두경우모두건물면을제거하지않았을경우에는 v-disparity 에건물면들에해당하는잡음성분이다수첨가되어장애물에해당하는선분을추출하기매우힘든형태가됨을확인할수있다. 제안된방법을사용하였을경우가그렇지않은경우에비하여 uv-disparity를사용한장애물검출이유리하다는것을보여준다. 특히, 두경우모두건물면을제거하지않았을경우에는 v-disparity 에건물면들에해당하는잡음성분이다수첨가되어장애물에해당하는선분을추출하기매우힘든형태가됨을확인할수있다.

6 를적용하지않은경우에비해서장애물검출에유리한 uv-disparity를획득할수있음을확인할수있었다. References Fig. 10 Comparison of uv-disparity with and without the proposed method. 4. 결론본논문은 uv-disparity 기반장애물검출방법을도심지역에적용할경우에발생하는도로주변건물들에의한문제를해결하는방법을제안하였다. 제안된방법은 v-disparity에서바닥에해당하는픽셀들을알아내고이들로부터차선을검출하여소실점의위치를추정한후이를기준으로 u-disparity를좌우두영역으로나누어각각의영역에서건물면에해당하는직선들을검출하여제거함으로써장애물검출에유리한 uv-disparity 를획득하는순서로진행된다. 제안된방법을실제주행상황에서취득한영상에적용한결과이 1) Z. Sun, G. Bebis, and R. Miller, On-Road Vehicle Detection: A Review, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, No. 5, pp. 1-18, ) C. Gao, Vehicle Detection, Lecture Material of Advanced Topics in Mobile Robotics: The DARPA Urban Challenge (CSE / ), LEHIGH University, ) R. Labayrade, D. Aubert, J.-P. Tarel, Real Time Obstacle Detection in Stereovision on Non Flat Road Geometry Through V- disparityrepresentation, IEEE Intelligent Vehicles Symposium, pp , ) U. Franke, and I. Kutzbch, Fast stereo based object detection for stop & go traffic. IEEE Intelligent Vehicles Symposium, pp , ) T. Ojala, M. Pietikäinen, T. Mäenpää, Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 7, pp , ) P.V.C. Hough, Method and Means for Recognizing Complex Patterns, U.S. Patent 3,069,654, ) Z. Hu, K. Uchimura, "U-V-disparity: an efficient algorithm for stereovision based scene analysis," Intelligent Vehicles Symposium, pp , ) H. G. JUNG, Y. H. LEE, H. J. KANG, J. Kim, SENSOR FUSION-BASED LANE DETECTION FOR LKS+ACC SYSTEM, International Journal of Automotive Technology, Vol. 10, No. 2, pp , 2009.

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a low-resolution Time-Of- Flight (TOF) depth camera and