2 : HOG-SP (Myungwoo Lee et al.: Recognition of Symbolic Road Marking using HOG-SP and Improved Lane Detection) (Regular Paper) 21 1, 2016 1 (JBE Vol. 21, No. 1, January 2016) http://dx.doi.org/10.5909/jbe.2016.21.1.87 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) HOG-SP a), b), a) Recognition of Symbolic Road Marking using HOG-SP and Improved Lane Detection Myungwoo Lee a), Sooyeong Kwak b), and Hyeran Byun a). HOG-SP(Histogram of oriented Gradients-Split Projection) 11,. 81.99%,., 7.64%. Abstract Recently, there is a need for automatic recognition of a variety of symbols on roads because of activation of information services using digital maps on the Web or mobile devices. This paper proposes a method which automatically recognizes 11 kinds of symbolic road markings on the road surface with HOG-SP(Histogram of oriented Gradients-Split Projection) descriptor and shows improvement of lane position detection with recognized symbolic road markings. With the proposed method, recognition rate of 81.99% has been proven on NAVER road view images and the experiments proves the superiority of proposed method by comparisons with other existing methods. Moreover, this paper shows 7.64% higher lane position detection rate by recognizing road surface marking beforehand than only detecting lanes' positions. Keyword : symbolic road marking recognition, lane detection, digital map, HOG-SP a) (Yonsei University, Dept. Computer Science) b) (Hanbat National University, Dept. Electronics and Control Engineering) Corresponding Author : (Hyeran Byun) E-mail: hrbyun@yonsei.ac.kr Tel: +82-2-2123-2719 ORCID: http://orcid.org/0000-0002-3082-3214 2015 ( ) (No.B0101-15-0307, SW ( )). Manuscript received January 11, 2016; Revised January 20, 2016; Accepted January 20, 2016.
(JBE Vol. 21, No. 1, January 2016).. (navigation).,,.,..... 1-, 1-.,,.. Aly [1] (Hough Transform),. Satzoda [2],. Projection [3] HOG [4]. Projection,. HOG [4,5,6]. Object proposal [7]... 1. Fig. 1. Example of road marking recognition on road surface and lane detection road marking recognition lane detection 2. Top-view.,.,..
이명우 외 인 를 이용한 방향지시기호 인식 및 향상된 차선 검출 89 2 : HOG-SP (Myungwoo Lee et al.: Recognition of Symbolic Road Marking using HOG-SP and Improved Lane Detection) 그림 2. 제안하는 시스템의 흐름도 Fig. 2. Flow chart of the proposed system 1. Top-view 변환 영상이 입력되면 카메라 각도에 의한 왜곡을 제거하기 위하여 Top-view영상으로 변환한다. 도로 영역부분만 Top-view영상으로 변경하기 위해 Marco와 Luis가 제안한 방법을 이용하여 소실점을 검출 하고, 그림 3-와 같이 소실점 아래 영역에서 하단 영역을 제외한 영상만을 사용 하여 그림 3-와 같은 Top-view 영상을 생성한다. [8] 2. 로 영역만 분석한다. 본 논문에서는 중앙선 검출을 위해 색 상정보를 사용하였다. 입력영상을 HSV칼라 모델로 변환하 여 수식 (1)과 같이 Hue값을 이용하여 그림 4-의 노란색 후보 영역을 검출한다. 후보 영역이 검출되면 그림 4-와 같이 x축으로 투영(projection)한 히스토그램을 생성하여 빈의 값이 가장 높은 부분을 중앙선으로 검출하게 된다. 검 출 결과를 그림 4-에 나타내었다. 중앙선 검출 제안하는 시스템은 주행방향 도로영역에서만 방향지시 기호 및 차선을 검출하기 때문에 Top-view로 변환한 영상 에서 중앙선을 먼저 검출한다. 차도는 중앙선을 기준으로 대칭되는 특성을 가지기 때문에, 중앙선 검출 후 오른쪽 도 3. (1) 방향지시기호 후보 검출 및 인식 중앙선 검출 후 운전자 주행 방향인 중앙선 오른쪽 도로 영역에서만 방향지시기호를 검출하게 된다. 그림 5는 방향 지시기호 후보 영역을 구하는 과정이다. 후보 영역을 구하 그림 3. Top-view 영상 변환 과정 입력 영상 소실점 검출 입력 영역 소실점 검출 결과 top-view 영상 Fig. 3. Top-view image transformation process input image cropped image vanishing point detection result top-view image
90 방송공학회논문지 제21권 제1호, 2016년 1월 (JBE Vol. 21, No. 1, January 2016) 그림 4. 중앙선 검출 과정 입력영상 노란색 후보 픽셀의 이진 영상 노랑 후보 픽셀의 히스토그램 중앙선 검출 결과 Fig. 4. Centerline detection process input image binary image of yellow candidate pixels histogram of yellow pixels centerline detection result 기 위해 중앙선을 기준으로 잘린 그림 4-영상의 이진화 가 필요하다. 본 논문에서는 정확한 후보 검출을 위해 도로 영상 이진화에 많이 사용되는 Foucher 가 제안한 방법을 사용하였다. 그림 5-와 같이 이진 영상이 생성되면 방향 지시기호 영역을 검출하기 위해 흰색 화소들의 연결된 영 역인 블랍(blob)을 추출한다. 블랍 추출 전 노이즈를 제거하 기 위해 모폴로지 연산을 수행한 후 블랍을 추출하게 된다. 많은 블랍 중에 방향지시기호 블랍을 찾아내는 것이 중요 한데 본 논문에서는 방향지시기호는 가로 및 세로 비율이 1: 2이고, 블랍의 가로 너비가 일정 이상인 특징을 가진다 는 특성을 사용하였다. 그림 5-는 입력된 이진 영상에서 방향지시기호 후보 영역을 녹색박스로 표기한 결과이다. [9] 그림 5. 방향지시기호 후보 영역 검출 과정 이진 영상 후보 블랍 검출 결과 Fig. 5. Process of symbolic road marking candidate detection binary image results of candidate blob detection 후보영역이 검출되고 나면 인식 단계가 수행된다. 일반적 으로 단순한 에지 정보를 가지는 물체 인식에 HOG(Histogram Oriented Gradients)서술자를 많이 사용한다. HOG 서술자는 그림자나 마모로 인하여 기호의 모양 등이 훼손 되었을 경우, 에지의 형태변화가 심하기 때문에 인식률이 낮은 문제점이 있다. 본 논문에서는 이러한 문제점을 해결 하기 위하여 기존의 HOG 서술자에 SP(Split Projection)특 징을 결합한 HOG-SP(Histogram Oriented Gradients- Split Projection)서술자를 제안한다. SP는 기존에 있는 Projection방법에서 착안한 것으로 그림 6-, 처럼 검출된 방항 지시기호 영역을 수평, 수직 방향으로 3등분하여 각각의 영 상에서 추출한 특징이다. 검출하는 방향지시기호들의 모양 특징이 잘 분류 될 수 있도록 3등분의 기준을 제안하였다. 그림 6. projection과 Split Projection 비교 vertical split projection horizontal split projection Fig. 6. Comparison of projection and split projection vertical split projection horizontal split projection
2 : HOG-SP (Myungwoo Lee et al.: Recognition of Symbolic Road Marking using HOG-SP and Improved Lane Detection) 1. PCA reconstruction Tabel 1. Result of PCA reconstruction Straight Left Right Straight/ left Straight/ right Diamond U-turn Left/ u-turn No straight No left No right Ex, SP Projection 3 Projection. SP, 4 (quantization). 64x128, HOG Top-hat [4] SP., HOG 3,780 SP 114 (Concatenation) 3892 HOG-SP. SVM(Support Vector Machine)., PCA., SVM (reconstruction).. 1 PCA. 4. 7-. 7-, LSWMS(Line Segment detection using Weighted Mean Shift procedure) [10]. 7-,, 70-100 7-. x,.. 1. Microsoft Visual studio 2013 OpenCV 3.0 C++, Intel i5-3.40ghz PC. 2000x2000 (road view), 7. Fig. 7. Process of lane detection input image line detection candidate lane detection histogram
(JBE Vol. 21, No. 1, January 2016) 2. Tabel 2. Training set Straight Left Right Straight/ left Straight/ right Diamond U-turn Left/ u-turn No straight No left No right Negative # 205 205 205 193 193 205 31 42 129 205 205 1000 Ex 600x600. 11 2. 2 1000. A B, A B. 3, 8. 3. Tabel 3. Test set Name Number of Images Number of symbolic road marking A 235 556 B 203 436 A+B 438 992 Projection [3], HOG [4]. (2) F-measure. 4 A. HOG HOG-SP,, 3.97%. HOG HOG-SP HOG-SP Projection False positive. False positive 2.14%. 5 B, HOG, HOG- SP, HOG-SP. HOG-SP HOG 4.77%. B HOG A. A B 8. A B Fig. 8. Examples of test set example of A test set example of B test set
2 : HOG-SP (Myungwoo Lee et al.: Recognition of Symbolic Road Marking using HOG-SP and Improved Lane Detection) 4. A F-measure Tabel 4. F-measure results of testset A Name Projection [3] HOG [4] HOG-SP (proposed) HOG-SP (with validation) Straight 89.33 89.37 91.63 91.64 Left 76.93 93.33 92.11 93.33 Right 57.14 80 93.75 89.66 Straight/ left 77.14 91.8 90 93.1 Straight/ right 76.29 91.57 86.67 82.35 Diamond 80.78 91.64 92.98 92.04 U-turn 66.67 82.35 82.35 82.35 Left/ u-turn 66.67 76.19 80 80 No straight 26.09 30.77 38.09 44.44 No left 33.34 43.48 50 55.56 No right 11.11 33.33 50 66.67 AVG 60.14 73.08 77.05 79.19 5. B F-measure Tabel 5. F-measure results of testset B Name Projection[3] HOG[4] HOG-SP (proposed) HOG-SP (with validation) Straight 91.3 94.42 94.07 95.79 Left 87.22 93.65 95.16 95.16 Right 74.29 86.67 90.32 89.29 Straight/ left 87.38 96.77 95.74 96.77 Straight/ right 81.25 90.91 86.96 86.36 Diamond 81.31 95.79 96.77 96.74 U-turn 26.66 60 80 80 Left/ u-turn 82.35 85.71 93.33 93.33 No straight 70 72.73 80 84.21 No left 16.67 33.33 28.57 40 No right - - - - AVG 69.84 81 84.09 85.77 1.34%. 4 5 X,. X X., A B F-measure HOG-SP 81.99% HOG 75.06% 6.93%. 9 HOG HOG-SP. 9-, HOG, HOG-SP 9-,. 10 HOG-SP. 10-,
94 방송공학회논문지 제21권 제1호, 2016년 1월 (JBE Vol. 21, No. 1, January 2016) 그림 9. 차선 검출 입력 영상 검출 과정 HOG 결과 HOG-SP(제안) 결과 Fig. 9. Comparison of HOG and HOG-SP HOG result HOP-SP result(proposed) 그림 10. 방향 지시 기호 검출 결과의 예 좋은 예 나쁜 예 Fig. 10. Examples of symbolic road marking detection result good examples bad examples 있다. 반면, 그림 10-와 같이 노면의 흠으로 인해 방향지 시기호 모양의 분별이 어렵거나, 그림 10-처럼 방향지시 기호가 크게 마모되어 분할의 정도가 심한 경우에는 오인 식을 보여준다. 2. 차선 검출 실험 결과 제안하는 시스템에서는 차선 검출의 정확도를 높이기 위해 방향지시기호를 먼저 검출한 후 이 영역을 제거하 고 차선을 검출하도록 하였다. 표 6은 방향지시기호 검출을 한 뒤 차선을 검출 하였을 때와 기호를 검출하지 않고 차선 을 검출한 결과를 비교하여 나타내었다. GT(Ground Truth) 는 검출해야할 총 차선 개수를 의미하며 FP는 false positive, TP는 true positive를 나타낸다. 방향지시기호 검출 후 차선을 검출한 결과가 기호를 검출하지 않은 결과에 비해 7.64% 높은 검출률을 보이는 것을 확인 할 수 있다. 그림 11은 방향지시기호 검출 유무에 따른 차선 위치 검 출 결과의 예를 보여준다. 그림 11-, 는 방향지시기호
2 : HOG-SP (Myungwoo Lee et al.: Recognition of Symbolic Road Marking using HOG-SP and Improved Lane Detection) 6. Tabel 6. Lane detection result Existence of symbolic road marking detection #GT #FP #TP Precision Recall F-measure With 1231 138 1046 88.34 84.97 85.22 Without 1231 217 1014 82.37 82.37 77.58 11. Fig. 11. Examples of lane detection except symbolic road marking detection or not examples of lane detection examples of lane detection with symbolic road marking detection, 11-,. 11-,,. 11-,,.. HOG-SP. Pro- jection [3] HOG [4],..,. (References) [1] Mohamed Aly, Real time Detection of Lane Markers in Urban Streets, in Proc. IEEE Intelligent Vehicles Symposium, pp. 7 12, June, 2008 [2] Ravi Kumar Satzoda and Mohan M. Trivedi, Efficient Lane and Vehicle detection with Integrated Synergies(ELVIS), in Proc. IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 708 713, June, 2014
(JBE Vol. 21, No. 1, January 2016) [3] Jumpei Yamamoto, Stephen Karungaru and Kenji Terada, Road Surface Marking Recognition using Neural Network, in Proc. IEEE International Symposium on System Integration, pp. 484 489, December, 2014 [4] Jae Kyu Suhr and Ho Gi Jung, Fast Symbolic Road Marking and Stop-line Detection for Vehicle Localization, in Proc. IEEE Intelligent Vehicles Symposium, pp. 186-191, June, 2015 [5] Tairui Chen, Zhilu Chen, Quan Shi and Xinming Huang, "Road Marking Detection and Classification Machine Learning Algorithms", in Proc. IEEE Intelligent Vehicles Symposium, pp. 617-621, June, 2015 [6] Wei Liu, Jin Lv, Bing Yu, Weidong Shang and Huai Yuan, Multi-type road marking recognition using adaboost detection and extreme learning machine classification, in Proc. IEEE Intelligent Vehicles Symposium, pp. 41 46, June, 2015 [7] Tairui Chen, Zhilu Chen, Quan Shi and Xinming Huang, "Road Marking Detection and Classification Machine Learning Algorithms", in Proc. IEEE Intelligent Vehicles Symposium, pp. 617-621, June, 2015 [8] Marcos Nieto and Luis Salgado, Real-time robust estimation of vanishing points through nonlinear optimization, SPIE International Conference on Real-Time Image and Video Processing, Volume 772402, May, 2010 [9] Philippe Foucher, Yazid Sebsadji, Jean-Philippe Tarel, Pierre Charbonnier and Philippe Nicolle "Detection and recognition of urban road markings using images", in Proc. IEEE conference on Intelligent Transportation Systems, pp. 1747 1752, Oct, 2011 [10] Marcos Nieto, Carlos Cuevas, Luis Salgado and Narciso Garcı a, Line segment detection using weighted mean shift procedures on a 2D slice sampling strategy, Pattern Analysis & Applications, Volume 14, pp.149-163, 2011-2008 : - 2014 ~ : - ORCID : http://orcid.org/0000-0002-1927-5149 - :, - 2010 : ( ) - 2010 ~ 2011 1 : - 2011 ~ : - ORCID : http://orcid.org/0000-0002-4064-5108 - :,, - 1980 : ( ) - 1983 : ( ) - 1987 : University of Illinois, Computer Science(M.S.) - 1993 : Purdue University, Computer Science(Ph.D.) - 1994 ~ 1995 : - 1995 ~ 1998 : - 1998 ~ 2003 : - 2003 ~ : - ORCID : http://orcid.org/0000-0002-3082-3214 - :,,