PDF

Size: px

Start display at page:

Download "PDF"

애경 채
4 years ago
Views:

1 야간차량검출기의후미등분류기를위한색특징추출 김가현 *1) 임준택 2) 정호기 3) 한양대학교 1) 만도 2) 한양대학교미래자동차공학과 3) Color Feature Extraction for Tail-Ligt Classification of Nigttime Veicle Detection Gayun Kim *1) Jun-Taek Lim 2) Ho Gi Jung 3) *1) Hanyang University 2) Mando Corp. 3) Te Department of Automotive Engineering of Hanyang University Abstract : Ligt blob detection is one of te most important tecniques for a nigt time veicle detection system. Ligt blob detection results could be used for intelligent eadligt control (IHC) and forward collision warning (FCW). Since ligt blobs are detected according to teir brigtness, it is ard to discriminate tail-ligts from traffic signs. To overcome tis drawback, tis paper proposes a novel metod to effectively classify tail ligts from detected ligt blobs. Te proposed metod utilizes te fact tat tail-ligts are red colored unlike most of traffic signs. Tis metod determines weter te detected ligt blob is red colored based on ue value in HSV color space. In particular, we extract redness of ligt blob by applying a weigting function to all pixels of ligt blob rater tan generating ue istogram. Tis approac enables te ligt blob detector to reduce memory consumption and to avoid quantization noise compared wit te previous ue istogram-based metod. Experimental results reveal tat te proposed metod successfully discriminates trail ligts from traffic signs. Key words : nigttime veicle detection( 야간차량검출기 ), tail-ligt classification( 후미등분류기 ), color feature( 색특징 ) 1. 서론 안전운행을위한시스템인지능형전조등제어시스템 (IHC: Intelligent Headligt Control) 과야간충돌방지시스템 (FCW: Forward Collision Warning) 의구현을위해서는야간차량검출이필수적이다. 외형 (appearance) 기반방법으로차량을검출하는주간차량검출과는달리, 야간차량검출은 ligt blob(lb) 을검출함으로써차량을검출한다 1),2). 일반적으로야간에주행중인차량은전조등이나후미등과같은광원을켜야하고, 이러한광원은영상상에서주변보다밝은영역으로나타난 다. 이러한영역을 LB라부르며, 주변조명이어두워외형확인이어려운야간에는 LB를차량과동일시하여검출하는것이다. 전조등의경우매우밝기때문에주변영역보다현저히밝은영역을검출하는방법만으로검출이가능하지만, 후미등은상대적으로어둡기때문에도로표면이나갓길에설치된교통표시들과구별되지않는상황이발생한다. 따라서, 비교적어두운 LB들중에서후미등을선별하기위해서는후미등분류기가필요하다. 후미등은좌우대칭이고적색을띄도록규제되고있다. 따라서, 색정보는후미등분류기의중요한특징으로사용된다 3)-5). 본논문은검출된 LB가적

2 색인지여부를판단하기위하여 RGB의 red 값을사용하는방법보다 HSV의 ue 값을사용하는방법이성능면에서더우수함을보이고, 특히, ue 값을사용함에있어 ue 히스토그램에가중함수를곱하여 red에해당하는성분을강조하는방식이 ue 값을그대로사용하는방식보다더효과적임을보인다. 한편, 한영상에서검출되는 LB의수가가변이기때문에정적메모리할당방법을사용한다면 ( 일반적으로 embedded system에서는동적메모리할당방법을사용하지않기때문에 ), 검출가능한 LB의최대수만큼히스토그램용메모리를할당해놓아야한다. 이러한방식은가용메모리가제한적인 embedded system의메모리요구사양을높이고시스템개발에부담으로작용한다. 또, 히스토그램은일정한구간의 ue 값을갖는픽셀빈도를측정하는것으로, 양자화잡음을발생시킨다. 양자화잡음을줄이기위해히스토그램구간의크기인 bin 크기를줄이면, bin 개수가증가하여메모리소모가증가한다. 반대로, 메모리소모를감소시키기위해 bin 개수를감소시키면, bin 크기가증가하여양자화잡음이증가하게된다. 본논문에서는히스토그램상의가중함수를 LB의모든픽셀에가함으로써히스토그램을명시적으로만들지않으면서유사한결과를얻을수있는특징추출방법을제안한다. 제안방법은히스토그램을만들지않기때문에, 메모리를절약할뿐만아니라양자화잡음을피할수있다. 본논문은다음과같이구성되었다. 2장에서는본논문에서제안하는방법이포함된전체시스템구조를소개하며, 3장에서는색표현방법에대해설명하고, 4장에서는제안방법에대해상세히설명한다. 5장에서실험결과및분석을다루고, 6 장에서결론을맺는다. 2. 시스템구조야간차량검출시스템은그림 1과같이고안되었으며, 본논문에서제안한색특징추출부분은 Fig. 1의점선상자에해당한다. LB 검출을위해저노출 (LE: low exposure) 영상과자동노출 (AE: auto exposure) 영상을모두사용한다. LE 영상은근거리에위치한전조등과후미등, 원거리에위치 LE 영상획득 LE 영상 ligt blob 검출 AE 영상획득 FROI 설정 AE 영상 ligt blob 검출 Ligt blob 검출결과통합 Ligt blob tracking Ligt blob 특징추출 Ligt blob 분류 Post-processing Ligt blob pairing 차량검출 Fig. 1 System block diagram for nigt time veicle detection 한전조등의검출을위해사용되며, AE 영상은오직원거리에위치한후미등의검출을위해사용된다. AE 영상에서의 LB 검출은차선검출결과를활용해설정되는관심영역에한하여이루어진다 6). LE 영상과 AE 영상에서검출된 LB는통합된후, 칼만필터알고리즘을이용하여추적된다. 야간차량검출시스템은검출된 LB를전조등, 후미등, 가로등과기타중하나의 class로분류하고, 이를기반으로차량을검출한다. LB는영상에나타나는주변과의밝기차에근거하여검출되므로, 후미등과전조등, 가로등과같은광원으로부터유래한경우와교통표시와같은반사체로부터유래

한경우를포함된다. 차량검출에필요한 LB는전조등과후미등에서유래한경우이므로, 가로등과교통표시로부터유래한 LB를분류할필요가있다. 본논문에서는패턴인식분야에서널리사용되는 SVM classifier를사용하였다.

각단일영상에서의 LB들은전조등, 후미등, 가로등, 기타중하나로분류되는데, 이결과가올바르지않은경우가발생하기때문에 postprocessing을통해분류결과를보완한다.

차량은유사한높이에크기가비슷한두개의 LB를쌍으로갖기때문에, pairing에성공한두 LB는하나의차량으로검출된다. 3. 색정보표현방법본논문은 LB의색정보를효과적으로추출하는방법을개발하기위하여 RGB, HSV, Acyanic 방법을비교하였다. 색표현을위해일반적으로사용되는 RGB 색공간은색을혼합하면명도가올라가는가산혼합방식이다.

3 한경우를포함된다. 차량검출에필요한 LB는전조등과후미등에서유래한경우이므로, 가로등과교통표시로부터유래한 LB를분류할필요가있다. 본논문에서는패턴인식분야에서널리사용되는 SVM classifier를사용하였다. 분류를위한특징으로는각각의 LB로부터추출된위치, 속도, 저노출영상과자동노출영상에서의 LB 크기, 밝기의평균값과최대값, 색정보, 자동노출영상에서 LB alo의색정보등을사용하였다. 특히, 색정보는전조등에비하여현저히어두운후미등을분류하기위하여사용되었는데, 후미등이전조등이나가로등, 기타교통표시와달리적색을띤다는점을이용하였다. 각단일영상에서의 LB들은전조등, 후미등, 가로등, 기타중하나로분류되는데, 이결과가올바르지않은경우가발생하기때문에 postprocessing을통해분류결과를보완한다. Postprocessing은각각의단일영상에서독립적으로적용된분류기결과를바로사용하는대신, 연속영상의분류결과를통합하여사후확률 (a posteriori probability) 이최대가되도록 LB의종류를판단하는방식으로, 분류결과의신뢰도를개선할수있다. 전조등혹은후미등으로분류된 LB는차량검출의근거로활용된다. 차량은유사한높이에크기가비슷한두개의 LB를쌍으로갖기때문에, pairing에성공한두 LB는하나의차량으로검출된다. 3. 색정보표현방법본논문은 LB의색정보를효과적으로추출하는방법을개발하기위하여 RGB, HSV, Acyanic 방법을비교하였다. 색표현을위해일반적으로사용되는 RGB 색공간은색을혼합하면명도가올라가는가산혼합방식이다. RGB 색공간의삼원색은빨강 (red), 초록 (green), 파랑 (blue) 으로, 각성분을일정비율로혼합하여색을표현한다. 각성분은 0에서 255 로표현되며, 구성성분 ( 빨강, 초록, 파랑 ) 이 (255,0,0), (0,255,0), (0,0,255) 일때각각빨강, 초록, 파랑을표현한다. 이에반해 HSV 색공간은색상 (ue), 채도 (saturation), 명도 (value) 를기준으로색을구성한다. Hue는 0 에서 360 의 (a) (b) (c) Fig. 2 Hue istogram of (a) street ligt, (b) green traffic ligt, (c) tail-ligt in HSV color space. Hue is represented by a value ranging from 0(0 ) to 1(360 ). 각도로표현되며, 색을표현하는성분의비율을의미한다. Hue 성분이 0 ( 또는 360 ) 일때는빨강, 180 일때는시안 (Cyan) 이표현된다. 채도는 0에서 1의값으로표현되며, 색이명확한정도를의미한다. 채도가줄어들경우성분차이가감소하여무채색이된다. 마지막으로명도는색을표현하는성분의절대적크기이다. 영상상의후미등은거리에따라밝기의변화가크기때문에, 명도정보를사용하는것은효과적이지않다. 또, 채도정보도후미등종류나거리에따라변화가심하기때문에활용이어렵다. 반면, ue 정보는색의종류를직접적으로표현하기때문에후미등분류에적합한것으로판단된다. Fig. 2 는조명색에따라상이한 ue 히스토그램이나타남을보여준다. 적색의경우 ue 히스토그램은 Fig. 2 (c) 와같이 0 와 360 에서큰값이나타난다. 이러한특성을이용하여 0 와 360 에가까울수록큰값을가지면서 180 에가까울수록작은값을가지는가중함수를 ue 히스토그램에적용한다면, 적색을강조하여다른색과차별화할수있고이를적색의측도로사용할수있다. 본논문에서는이러한적색측도를 Acyanic(cyan이아닌정도 ) 이라정의하고, 임의의 LB에서 Acyanic은수식 (1) 과같이계산한다. Acyanic = w( ) p( ) (1) 여기서 는 ue, w() 는가중함수, p() 는 ue가 일확률을의미한다. 따라서수식 (1) 은수식 (2) 와같이표현될수있다.

4 Acyanic = w( ) c ( ) c ( ) (2) 여기서 c() 는 ue 에해당하는히스토그램값이다. c ( ) 는히스토그램도수의전체합이므로 LB내픽셀수와동일하다. LB 내픽셀수를 C로정의하면수식 (2) 는수식 (3) 과같다. 1 Acyanic = w( ) c( ) (3) C 본논문에서는수식 (4) 와같이 2 w ( ) = ( 0.5) 을사용하였으며, Acyanic 값을 0 에서 1 사이로정규화하기위해 4를곱해주었다. 4 2 Acyanic = ( 0.5) c( ) (4) C 4. 색정보추출방법 Acyanic은각 LB마다 ue 히스토그램을생성해야하므로, 정적메모리할당방법을사용하는 embedded system이사용하기에는부담스러운면이있다. 검출되는 LB 수는가변이기때문에검출가능한 LB의최대수만큼 ue 히스토그램을생성해야하기때문이다. 본논문에서는히스토그램을명시적으로만들지않으면서도더정확한계산결과를얻을수있는특징추출방법을제안한다. 임의의 LB에서생성된 ue 히스토그램 c() 는수식 (5) 와같이델타함수로표현가능하다. ( ) = δ ( ( p) ) c p LB 1, x = 0 이때, δ ( x) = (5) 0, oterwise 여기서 p는 LB내픽셀을뜻한다. 수식 (5) 를수식 (3) 에대입하면수식 (6) 을구할수있다. 1 Acyanic( LB) = w( ) δ ( ( p) ) C p LB 1 = w( ) δ ( ( p) ) C p LB 1 = w( ) δ ( ( p) ) C p LB 1 = w( ( p) ) (6) C p LB 수식 (6) 으로부터 Acyanic 은 LB 의각픽셀에서의 ue 값에가중함수를가하여계산할수있음을알수있다. 따라서히스토그램을생성치않아도각 LB 의 Acyanic 계산이가능하다. 히스토그램은일정한구간의 ue 값을갖는픽셀빈도를측정하는것으로, 양자화잡음을발생시킨다. 양자화잡음을줄이기위하여 bin 크기를감소시키면, bin 개수가증가하여소요메모리가증가한다. 반대로소요메모리를감소시키기위하여 bin 개수를줄이면, bin 크기가증가하여양자화잡음이증가한다. 하지만수식 (6) 과같이히스토그램을생성하지않고 Acyanic 을계산하면, 메모리를절약할수있을뿐아니라양자화잡음을피할수있다. 5. 실험결과 제안한색정보추출방법의성능평가에앞서, 제안방법과같이히스토그램을생성하지않았을때계산되는 Acyanic과히스토그램을생성했을때의 Acyanic이유효범위내에서유사함을 Table 1에서보였다. 히스토그램을생성한경우, bin 크기에따라 Acyanic의값이달라짐을보이기위해 bin 크기를 50과 250으로설정하여실험하였다. Table 1에서알수있듯이, bin 크기가작을수록양자화잡음이증가하여 Acyanic 값의정밀도가떨어진다. 제안방법은양자화잡음이비교적적은경우인 bin 크기가 250일때와거의유사한값으로계산된다. 이를통해제안방법이양자화잡음을피하면서히스토그램의만들지않기때문에메모리를절약할수있음을알수있다. 제안방법의성능평가실험에사용된영상의해상도는 1280( 가로 )ⅹ800( 세로 ) 이며초당약 15프레임의속도로취득되었다. 각시퀀스마다 900장의영상으로구성된총 6개의시퀀스가사용되었으며, Table 1 Acyanic comparison between different LBs LB 영상 Acyanic 히스토그램생성 50 bins 250 bins 제안방법 가로등 녹색신호등 후미등

Table 2 Te number of LBs used for learning and test of tail-ligt classifier 후미등기타 후미등기타합 학습 11377 14402 25779 평가 5615 6406 12021 Table 3 Te recognition rate depending on te extraction metod of color

RGB 색공간의 red 정보를그대로사용하는방법, HSV 색공간의 ue 정보를그대로사용하는방법, Acyanic을사용하는방법의인식률을비교하였다. 세가지색정보활용방안을비교하기위해, 후미등분류기에서사용하는다른특징들은동일하게유지하면서색정보의활용방법만을바꾸며인식률을평가하였다.

이에비해, Acyanic은 ue 공간전체에가중치를적용하기때문에잡음및오류에강인한것으로분석된다. Fig. 3은제안방법으로검출된 LB를후미등또는교통표시같은반사체로분류한결과의예시영상이다. 빨간색네모는후미등으로분류된 LB를의미하고, 초록색원은교통표시같은반사체로분류된 LB를의미한다. Fig. 3에서보듯이, 제안방법은검출된 LB를후미등과기타로잘분류함을알수있다. Fig. 3 Example images tat te detected LBs are classified as tailligt or etc.

5 Table 2 Te number of LBs used for learning and test of tail-ligt classifier 후미등기타 후미등기타합 학습 평가 Table 3 Te recognition rate depending on te extraction metod of color feature RED HUE Acyanic 후미등기타 인식률 (%) 그중3개시퀀스는분류기학습, 이외 3개는평가를위해사용하였다. 각영상으로부터전방차의후미등과기타광원의 LB만을사용하였으며, 학습과평가에사용된 LB의수는 Table 2와같다. RGB 색공간의 red 정보를그대로사용하는방법, HSV 색공간의 ue 정보를그대로사용하는방법, Acyanic을사용하는방법의인식률을비교하였다. 세가지색정보활용방안을비교하기위해, 후미등분류기에서사용하는다른특징들은동일하게유지하면서색정보의활용방법만을바꾸며인식률을평가하였다. Table 3에서알수있듯이, 제안방법과같이 HSV 색공간의 ue 값으로부터 Acyanic을계산하여색정보를활용한결과, RGB 색공간의 red 정보를그대로사용하는방법이나 HSV 색공간의 ue 정보를그대로사용하는방법보다향상된성능을보였다. 후미등이적색을띄므로 red나 ue 정보를그대로사용하는것이일정부분유효하나, 거리에따른밝기및포화의변화때문에한계가있는것으로보인다. 이에비해, Acyanic은 ue 공간전체에가중치를적용하기때문에잡음및오류에강인한것으로분석된다. Fig. 3은제안방법으로검출된 LB를후미등또는교통표시같은반사체로분류한결과의예시영상이다. 빨간색네모는후미등으로분류된 LB를의미하고, 초록색원은교통표시같은반사체로분류된 LB를의미한다. Fig. 3에서보듯이, 제안방법은검출된 LB를후미등과기타로잘분류함을알수있다. Fig. 3 Example images tat te detected LBs are classified as tailligt or etc. (traffic sign) 6. 결론 본논문은 HSV 색공간의 ue 히스토그램에가중함수를적용하여적색을기타색과차별화하는색정보활용방법 (Acyanic) 을제안하였고, 이방법이후미등을교통표시와구별하는데더효과적임을실험을통해서보였다. 특히, Acyanic을계산하는데에있어히스토그램을명시적으로생성하지않는방법을제안함으로써메모리를절약하면서 bin 크기에따른양자화잡음을피할수있었다. References 후미등기타 1) Y-.L. Cen, B.-F. W, H.-Y. Huang, and C.-J. Fan, A Real-Time Vision System for Nigttime Veicle Detection and Traffic Surveillance, IEEE Trans. Industrial

6 Electronics, vol. 58, no. 5, pp , May ) P. F. Alcantarilla, L. M. Bergasa, P. Jiménez, I. Parra and D. F. Llorca, M. Sotelo, and S. Mayoral, Automatic LigtBeam Controller for driver assistance, Macine Vision and Applications, vol. 22, no. 5, pp , ) Yen-Lin Cen and Cuan-Yen Ciang, Embedded on-road nigttime veicle detection and tracking system for driver assistance, IEEE International Conference on Systems Man and Cybernetics (SMC), pp , ) Tammakaroon, P. and Tangamcit, P., Predictive brake warning at nigt using tailligt caracteristic, IEEE International Symposium on Industrial Electronics, pp , ) Racana A. Gupta and Wesley E. Snyder, Detection of Multiple Preceding Cars in Busy Traffic Using Tailligts, Lecture Notes in Computer Science, Image Analysis and Recognition, Volume 6754, pp , ) 음성민, 정호기, 차선인식을활용한지능형전조등제어용야간차량검출개선, 한국자동차공학회학술대회및전시회, pp , 2011.

(JBE Vol. 22, No. 3, May 2017) (Special Paper) 22 3, (JBE Vol. 22, No. 3, May 2017) ISSN (O

(JBE Vol. 22, No. 3, May 2017) (Special Paper) 22 3, 2017 5 (JBE Vol. 22, No. 3, May 2017) https://doi.org/10.5909/jbe.2017.22.3.282 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) a), a), a), a), a) Vehicle