논문 11-36-12-16 한국통신학회논문지 '11-12 Vol. 36 No. 12 Block-DCT를이용한속도제한표지판실시간인식알고리듬의설계 준회원한승화 *, 정회원조한민 *, 김광수 **, 황선영 * Design of a Real-time Algorithm Using Block-DCT for the Recognition of Speed Limit Signs Seung-Wha Han* Associate Member, Han-Min Cho*, Kwang-Soo Kim** Regular Members, Sun-Young Hwang* Lifelong Member 요 약 본논문에서지능형안전자동차시스템을위해연산량를줄인속도제한표지판실시간인식방법을제안한다. 제안된방법은관심영역의전체픽셀정보를특징으로사용한기존방법의큰연산량을줄이기위해적은수의 DCT 계수를선택하고, 격자구조로분할된영상에대해 Block-DCT를이용하여산술연산을효과적으로줄였다. 제안된알고리듬은연산량을줄이기위해제안된상관계수와분산을이용한판별식에따라 DCT 계수를선택하고이를선형판별법과 Mahalanobis Distance를이용하여속도제한표지판을인식한다. 인식성능을높이기위해연속프레임의누적분류결과를사용한다. 실험결과연속된프레임에대하여 100.0 % 의인식률을보이며기존방식대비곱셈연산량은 69.3 %, 덧셈은 67.9 % 감소를확인할수있었다. Key Words : ASV, TSR, Speed Limit Signs, Block-DCT, Intelligent Vehicle ABSTRACT This paper proposes a real-time algorithm for speed limit sign recognition for advanced safety vehicle system. The proposed algorithm uses Block-DCT in extracting features from a given ROI(Region Of Interest) instead of using entire pixel values as in previous works. The proposed algorithm chooses parts of the DCT coefficients according to the proposed discriminant factor, uses correlation coefficients and variances among ROIs from training samples to reduce amount of arithmetic operations without performance degradation in classification process. The algorithm recognizes the speed limit signs using the information obtained during training process by calculating LDA and Mahalanobis Distance. To increase the hit rate of recognition, it uses accumulated classification results computed for a sequence of frames. Experimental results show that the hit rate of recognition for sequential frames reaches up to 100 %. When compared with previous works, numbers of multiply and add operations are reduced by 69.3 % and 67.9 %, respectively. Start after striking space key 2 times. 본연구는교육과학기술부의재원으로한국연구재단의지원에의해수행되었습니다. (#2011-0005093). * 서강대학교전자공학과 CAD & ES 연구실 (hwang@sogang.ac.kr), ( : 교신저자 ) ** 서강대학교전자공학과 Semicondoctor Device 연구실 (kimks@sogang.ac.kr) 논문번호 :KICS2011-10-467, 접수일자 :2011 년 10 월 15 일, 최종논문접수일자 : 2011 년 12 월 2 일 1574
논문 /Block-DCT 를이용한속도제한표지판실시간인식알고리듬의설계 Ⅰ. 서론광범위한범위의전자 정보 통신기술기반시스템이적용된지능형자동차는운전의안전과편의성을강조하는소비자의요구및정부의각종안전규제강화에따라그시장이급격히팽창하고있다 [1]. 특히, 운전자의안전을목적으로하는지능형안전자동차는운전자의노령화에따른그수요의증가및자율주행기술, 제어기술등관련기술의발달로주목의대상이되고있다 [2]. 지능형안전자동차의안전시스템은스스로차량주변환경을인식하여운전자에게안전한주행에필요한정보를제공하여운전자의안전을추구하며 [3], 시스템이제공하는정보중높은비율을차지하고있는시각적정보를제공하는컴퓨터비전시스템의중요성이커지고있다 [2]. 컴퓨터비전이접목된안전시스템은카메라센서로측정한차량주변정보를종합처리하며, 차선이탈경보, 차간거리유지경보, 보행자경보, 주차보조시스템, 교통표지판인식등다양한어플리케이션을포함한다 [2]. 이들중도로교통특성상간과할수없는교통표지판인식은그중요성에도불구하고다른기술에비하여많은발전이이루어지지않았다 [4]. 속도제한표지판인식기술과밀접한관계를갖는전체교통사고중과속에의한사고수는 2009년 422 건으로기준전체교통사고 231,962 건의 0.2 % 에불과하지만, 그사망자수는전체사망자수의 2.8 % 를차지하며사고발생건당사망자비율이 38.6 % 로전체교통사고건당사망자비율 2.5 % 에비하여매우높고부상자대비사망자비율역시 26.0 % 로전체평균 1.6 % 에비해매우높다 [5]. 기존연구결과속도표지판인식기술은다른표지판인식기술에비하여상대적으로낮은 90 % 초반의인식률을갖는다 [4]. 이는속도제한표지판이다른표지판에비하여크기가작고속도제한표지판간에형태가비슷한내용을갖고있어발생하는문제이다. 이러한문제점을해결하기위하여확률분포를누적하여인식률을높인연속프레임기반의속도제한표지판인식방법이제안되었다 [6]. 동영상의연속프레임을사용할경우, 단일프레임의인식률이상대적으로낮더라도연속된프레임의인식결과를누적활용하여인식률을높인다. 연속프레임을활용할경우인식률이높아지는반면, 프레임을누적처리하여속도제한표지판분류에요구되는총연산량이증가하므로중복될수있는연산의최적화가필요하다. 기존의단일프레임연산에서픽셀정보를분류과정의특징 으로사용하는선형판별법 (LDA: Linear Discriminant Analysis) 을이용한인식방법 [6] 은속도제한표지판의고유한픽셀정보를모두활용할수있는장점이있으나, 연산량이큰단점이있어연속프레임을기반으로하는속도제한표지판인식방법에적용하기어렵다. 임베디드환경인지능형안전자동차시스템에적용하기위해서높은인식률을유지하면서낮은시스템파워에적합하게연산량을줄이는연구가필요하다. DCT(Discrete Cosine Transform) 계수를선택적으로활용하여연속프레임영상에적용한방식 [7] 은선형판별법과유사한성능을갖고연산량을줄였으나, 아직까지 DCT에서요구되는연산이많고 DCT 계수를선택하기위한판별기준이단순하여불명확한단점이있다. 본논문에서는학습샘플간의상관관계와분산을활용하여 DCT 계수를효과적으로선택하는판별기준과격자구조의 Block-DCT의사용을통하여높은인식성능을유지하면서도효과적으로연산량을줄인속도제한표지판인식알고리듬을제안한다. 동영상의단일프레임영상에서검출된관심영역에대한전처리과정을거친후표지판을분류한다. DCT의연산량을감소시키기위해 Block-DCT를이용하여연산을분산처리한다. 분류과정에서연산량을줄이기위해최소의 DCT 계수선택을위한판별요소와기준을결정하고사용하며, 단일프레임의인식결과를연속적으로누적하여확률기반의속도제한표지판인식을수행한다. 본논문의구성은다음과같다. 2절에서는표지판인식에대한배경과관련연구를기술하고, 3절에서는제안하는속도제한표지판인식방법을보인다. 4절에서는제안된속도제한표지판인식알고리듬의연산량과인식률에대한실험결과를제시하며, 마지막으로 5절에서결론및추후과제를제시한다. Ⅱ. 관련연구 1987년 Akatsuka와 Imai [8] 가최초로운전자의안전을위하여특정한표지판을인식할수있는방안을제시하였고표지판의지속성을기반으로표지판인식의효율성을증대해나갔다. 일반적으로컴퓨터비전기반의실시간교통표지판인식기술은검출 (Detection), 분류 (Classification), 추적 (Tracking) 의 3 가지기술로나뉜다. 검출기술은카메라센서를통하여시스템에입력으로제공된영상에서교통표지판으로추정되는관심영역을검출한다. 분류기술은검 1575
한국통신학회논문지 '11-12 Vol. 36 No. 12 과값을미리저장하여활용한다. 반면, 색상공간의단점을극복하기위하여표지판의외형특징을활용하는방법으로허프변환 (Hough-Transform) [10] 이제안되었다. 허프변환은원형과사각형, 직선을추출할수있도록변형되어높은성능을보이나, 전체영상에대하여수행될경우실시간처리가어려운단점이있다. 색상과외형이외의특성을적용한검출방법으로 Viola-Jones 검출기를적용한방법 [4], 유전알고리듬 (Genetic Algorithm) [11] 을이용한방법, 빠른방사대칭알고리듬 (Fast Radial Symmetry) [12] 를이용한방법등이제안되었다. 그림 1. 일반적인교통표지판인식과정출된관심영역 (ROI : Region of Interest) 에대하여다중분류를수행하여특성에따라표지판을분류한다. 마지막으로추적기술은연속프레임에서기존에검출된관심영역을토대로현재의관심영역을추적해나간다. 검출기술은표지판의외형이나색상을이용하는다양한방법이제시되고있으며, 추적기술은칼만필터등다양한필터를활용하는방법들이제시되고있다. 분류기술은다중차원분류에활용되는특징선택과분류기알고리듬의종류가매우다양함에도불구하고, 검출및추적기술에비하여처리속도가느리고분류성능이떨어지므로이를보완하기위한연구가필요하다. 그림 1은일반적인교통표지판인식과정의개요를보인다. 2.1 검출기술특정한색상과형태로설계되어있는교통표지판의관심영역검출을위하여색상정보를이용하거나외형을활용하는두가지방법이제시되고있다. 색상분할검출방법은교통표지판의색상정보를활용하는가장대표적인방법으로입력영상의색상모델특징을활용한다. 가장직관적인방법은 RGB 색상공간을활용하는방법 [9] 이지만, 빛의밝기 (Illumination) 변화에민감한단점이있어 RGB 색상공간을 HSV, YCbCr, LUV 등의다른색상공간으로변형하여검출하는방법이제안되었다. 교통표지판검출기술은입력영상전체부분에대하여관심영역을추출하기때문에최초연산량이크다 [8]. 변환을위한추가적이연산이필요한색상변환방법은연산량을줄이기위하여복잡한변환식을사용하는대신, LUT에변환결 2.2 분류기술검출기술로선택된 ROI들의외형과기호를분류하는교통표지판분류기술은후보들의특징정보를추출하기위한특징선택방법과선택된특징을이용한분류방법으로구성된다. 검출기술은분류에사용되는특징과분류방법의선택에따라서성능과연산량의변화폭이넓기때문에어플리케이션에최적화된특징과분류기선택이중요하다. 검출기술과마찬가지로특징선출과정에서도교통표지판이갖는특정한색상과외형정보를활용하여특징을추출하는방법이제안되었다. 이방법들은선택한특징에대하여픽셀값을사용하거나히스토그램 [13], 웨이블릿변환값 [14] 을사용한다. 픽셀값을활용하는방법 [11],[14],[15] 은영상의변환없이바로픽셀정보를활용할수있는장점이있으나특징의개수가많고연산량이큰단점이있다. 특징의개수를줄이고성능을보완하기위하여 DCT [15], FFT(Fast Fourier Transform) [12] 을사용하여주파수특성을활용하는방법이제안되었으나변환과정에서의연산량이증가하거나기존의픽셀정보가유실되는단점이있다. 그외에도 Gabor 필터 [14], Haar 웨이블릿필터 [12], HOG [16], 기울기크기 [10] 등을활용한방법이있다. 선택된특징을이용하는분류기술은일반적으로패턴인식에서사용되는다양한분류방법이사용된다. 선형판별법 [6], 템플릿매칭을사용한기법 [16], Support Vector Machine을이용한기법 [17] 과이들의다양한변형방법들이제안되었다. 가장일반적인신경회로망 (Neural Network) 을이용한방법 [11],[13],[14] 의경우, 그변형으로 Back-propagation 신경회로망 [12], Kohonem 신경회로망 [18] 등을표지판인식에적용하는방법이제안되었다. 또한성능을개선하기위하여단일분류기를형성하지않고약한분류기를이용하는 Adaboost [4] 를이용한방법등이제안되었다. 1576
논문 /Block-DCT 를이용한속도제한표지판실시간인식알고리듬의설계 2.3 추적기술단일프레임영상만을이용하는검출방법은검출정확도가낮고연속프레임영상을활용할경우검출에필요한연산을반복적으로수행해야하는한계가있다. 자동차주행특성상프레임이지나갈수록표지판은운전자에게가까워지며검출및분류확률이높아지므로연속프레임에대한표지판검출과정의연산량을줄일수있는추적기술이반드시적용되어야한다. 표지판추적은검출된관심영역의다음프레임에서크기와형태특성이변화할것을예측하여, 이전프레임에서검출된관심영역의특성과비교하는방법을활용한다. 가장일반적인칼만필터를사용한추적방법 [19] 은알고리듬이단순하고연산량이작으나, 비선형적인움직임에대하여강인하지못한단점이있다. 이를극복하기위하여파티클필터 [20] 를이용한방법이제시되었다. 순차적인몬테카를로방법을사용하는파티클필터기반추적방법은칼만필터보다효과적이나연산량이증가하는단점이있다. Ⅲ. 제안된속도제한표지판분류알고리듬본절에서는검출된 ROI에대해제안된속도제한표지판분류방법을설명한다. 그림 2는관심영역으로부터속도제한표지판분류를수행하는전과정을나타낸다. 제안된속도제한표지판분류방법은검출과정에서검출된 ROI를선명하도록처리하는전처리그림 2. 제안된속도표지판분류방법의전체과정 과정을수행한다. DCT 계수를선별하여연산량과성능에최적화된특징을추출하고이에따라결과를분류한다. 이들단일프레임에대한결과를누적한연속프레임의분류결과를생성하여속도제한표지판을분류한다. 3.1 제안된전처리과정검출된단일프레임영상은카메라센서의촬영환경에따라서밝기정보가다르기때문에이를바로특징추출과정에서사용하기어렵다. 일반적으로촬영환경에대해강건한영상을만들기위하여전처리과정을활용한다. 검출된관심영역의크기는카메라센서의촬영시점의표지판과차량간거리에따라변한다. 일반적으로영상의크기를보정할때에는최근접이웃보간법 (Nearest Neighbor Interpolation), 쌍일차보간법 (Bilinear Interpolation) 이나쌍이차보간법 (Bicubic Interpolation) 을사용한다. 최근접이웃보간법은가장빠르지만연속톤을가진영상에부적합하다. 쌍이차보간법은정확하지만연산량이많고쌍일차보간법은두보간법의중간정도의성능과연산량을보인다. 본논문에서는정확도를높이기위하여쌍이차보간법을사용하여검출된관심영역의크기를정규화한다. 표지판의숫자에해당하는영역만을남기기위하여정규화된영상에서 Cropping을수행한다. Cropping은표지판의전경에속하는숫자내용을배경과분리시켜분류성능을향상시킨다. Cropping으로픽셀데이터수를감소시키면차후전처리및분류과정에서선택되는특징의개수가줄어들어연산량이감소한다. 검출된단일프레임영상을히스토그램으로변환하면주위의광원, 날씨, 장애물등의환경조건에따라밝기분포의편차를보인다. 이특성은쌍이차보간법을통하여정규화한영상에도계승되며, 정규화과정에서발생하는색상특성변화와결합되어분류성능을낮춘다. 그림 3은날씨조건에따라서촬영된속도표지판의히스토그램특성과속도표지판의크기를정규화및 Cropping 하였을때의히스토그램을나타낸다. 그림3(a) 는각각다른환경에서검출된 60kmh 속도표지판이며, 그림 3(b) 는이들의히스토그램을나타낸다. 그림 3(c) 는그림 3(a) 의크기를정규화한결과이며, 그림 3(d) 는그림 3(c) 의히스토그램특성을나타낸다. 연산량을감소시키기위하여컬러영상을 8-Bit gray 영상으로변환한후선명화를수행한다. 환경조건에따라영상의특성이변화할경우분류기의성능이감소하게되므로이를극복하기위하여 White Balance 조정과 Contrast 확장 1577
한국통신학회논문지 '11-12 Vol. 36 No. 12 라고정된수만큼수행된다. Cropping된크기의입력영상에대하여 DCT 연산을수행할경우연산에요구되는픽셀정보는각각한개의행과열전체픽셀정보에해당하며다음식 (2), 식 (3) 과같은연산량을요구하게된다. _ (2) _ _ (3) _ 은영상의가로혹은세로픽셀수를의미 그림 3. 속도제한표지판의히스토그램특성. (a) 다른조건에서측정된속도표지판영상, (b) (a) 의히스토그램, (c) 쌍이차보간의결과영상, (d) 이에대한히스토그램 을이용한선명화를수행한다. 선명화는식 (1) 과같이수행된다. (1) 는선명화과정의결과변화된좌표 의픽셀값, 는선명화이전의좌표 의픽셀값, 는선명화이전의픽셀값중최대값, 은선명화이전의픽셀값중최소값이다. 속도표지판의배경과속도표지내용은각각흰색과검은색으로고정되어있기때문에검출된 ROI에서이들의값이각각최대, 최소픽셀값으로선명화과정의기준값이된다. 3.2 제안된 DCT의연산량감소를위한방법특징의추출을위하여영상을변환하는경우변환과정의연산이추가적으로요구된다. 연속프레임을사용한실시간처리를가능하게하기위해서는변환과정의연산으로인한오버헤드를감소시켜야한다. 본절에서는특징수감소를위한 DCT 활용방법과 DCT의사용으로인한연산오버헤드를줄이기위한방법을제안한다. 하며, 영상의크기가증가할수록연산량은자승으로증가하며, 연산량을줄이기위해서는 _ 을감소시켜야한다. 입력영상에대하여 Block-DCT를수행할경우 Macro-Block 크기의행, 열에해당하는픽셀정보만으로 DCT 연산을수행하게되어 _ 이감소하여연산량이감소하게된다. Macro-Block은 의크기를갖도록설정하고 Chen의 Fast-DCT 방법에서사용된버터플라이방식을활용하여연산량을크게줄일수있다. 그림 4는 4-bit 영상데이터를입력으로갖는 1-D Block-DCT의버터플라이구조를보인다. 그림 4에서검은원은연산없음, 하얀원은덧셈연산, -1은부호변경, Cn은해당하는 Cosine 계수와의곱셈연산을의미한다. 부호변경의경우덧셈연산을뺄셈연산으로대체하므로연산량이증가하지않는다. 작은크기의 Block-DCT를사용할경우연산량이줄어들며하드웨어로구성할때에복잡도와면적이감소하는장점이있다. 제안된알고리듬은입력영상을격자구조로분할하여격자구조각각을의미하는 Macro-Block에해당하는픽셀값이 Block-DCT 연산에사용되며 Macro-Block 간의 DCT 변환값은서로연관성이없어진다. 그림 5는격자구조분할방식의 3.2.1 연산량을줄이기위한격자구조 Block-DCT 전처리과정을통하여변형된입력영상의크기가모두동일하므로 DCT 연산은입력영상의크기에따 그림 4. 4-bit 영상데이터를입력으로갖는 1-D Block-DCT 의버터플라이구조 1578
논문 /Block-DCT 를이용한속도제한표지판실시간인식알고리듬의설계 성능을기존방식수준으로향상시키고연산량을줄인다. 그림 5. 격자구조분할방식의예시. (a) 기존방식, (b) 격자구조방식 예를보인다. 격자구조의분할방법은숫자분류알고리듬에서널리활용되며 [23] 그성능이증명되었다. 속도표지판역시큰의미의숫자인식방식중한가지집합이므로격자구조분할방법이적용가능하다. 격자구조분할방법을사용할경우 Macro-Block 간에상관성이없으므로그림 4와같이 DCT를위한하드웨어를구성할경우파이프라인구조로만들기용이하며널리쓰이고있는 GPGPU (General-Purpose computing on Graphics Processing Units) 를사용할경우병렬연산이가능하여연산속도를증대할수있는장점이있다. 입력된 ROI에대하여격자구조 Block-DCT를수행할경우 Macro-Block 크기의행, 열에해당하는픽셀정보만으로 DCT 연산을수행하게된다. 다음식 (4) 와식 (5) 는각각변화한곱셈, 덧셈연산량을나타낸다. _ (4) _ _ (5) 은 Macro-Block의개수를의미하며 이커질수록 Macro-Block의크기는작아진다. 식 (4), 식 (5) 에따라 이작을수록곱셈과덧셈의연산량이줄어들며하드웨어로구성할경우복잡도와면적이감소한다. 격자구조에대하여 Block-DCT를수행할경우변환결과값이전체 ROI에대한기존방식의변환결과값보다양자화간격이성기기때문에분류성능이낮아진다. 만약입력되는 ROI들의중심위치가다를경우격자화의한계로인하여 DCT 변환후 Macro-Block 별로차이가발생하므로검출단계에서 ROI를정확히찾아중심을고정시켜야한다. 이를보완하기위하여 3.2.2절에서제안된특징선택방법을이용하여분류 3.2.2 제안된알고리듬의 DCT 계수선택방법 전처리과정의결과정규화및선명화된영상을속도표지에따라분류하기위한특징의선택이필요하다. 일반적으로특징의차원이증가할수록분류기의성능이증가하지만, 대부분의학습알고리듬에서연산의복잡도와메모리요구치는입력되는특징의차원수와비례하므로, 의미없는차원을줄여비용을절감해야한다 [21]. 예를들어, 4x4 block의 gray 단일픽셀에대하여 Chen의버터플라이를적용한방식 [22] 으로 2-D DCT를수행할경우각행, 열에대하여 3.2.1절의그림 4에따라곱셈, 덧셈이각 8회씩요구된다. Block-DCT의연산량을줄이기위해서는각 Macro-Block의 DCT 계수의선택수를줄여 1-D DCT의수행횟수를감소시켜야한다. DCT 계수는기저벡터 (Basis Vector) 가고정되어있고일반적인 Gray영상에서특징을선택하였을때보다비교적적은수의특징으로영상을표현할수있으므로 DCT 계수를분류과정의특징으로사용하여특징의차원을줄일수있다. 분류에가장큰영향을미치는의미있는 DCT 계수의선택은분류성능을유지하면서차원을줄이기위해중요하다. DCT 계수선택과정은학습과정에서수행되며학습과정에서선택된 DCT 계수의정보를분류과정에서활용한다. 본논문에서는각 DCT 계수중동일클래스의샘플에서표준편차가작고, 다른클래스의샘플과의표준편차가큰계수를선택한다. 표준편차를고려함과동시에샘플의변화양상을고려하기위하여피어슨상관계수 (Pearson correlation coefficient) 를이용한상관분석방법 [24] 을이용한다. 피어슨상관계수는두변수간의관련성을구하기위하여보편적으로활용되며식 (6) 과같다. (6), 는상관관계를확인하려는두대상, 와 는두대상의평균값, 은두대상의변수개수를의미한다. 피어슨상관계수는 1에서 1까지의값을갖으며계수가음수일경우음의방향선형관계, 양수일경우양의방향선형관계를의미하며, -0.1부터 0.1까 1579
한국통신학회논문지 '11-12 Vol. 36 No. 12 지의값을갖는경우선형관계가없음을나타낸다. 제안된방법은특징을선택할수없는선형판별법과달리전체계수중일부만을선택하여특징의개수를최적화할수있으며, 학습을위한샘플의변화양상을고려하여환경변화에강건하며의미있는특징을선택할수있다. 식 (7) (9) 은판별방법을정의한다. (7) (8) (9) 는클래스, 는샘플의행 / 열좌표를의미하며, 는 클래스의 좌표의 DCT 계수를의미한다. 식 (7) 의 는해당클래스및좌표에해당하는샘플과동일한클래스에속하는다른좌표의샘플간의피어슨상관계수의평균을의미한다. 식 (8) 의 는각기다른클래스에속하는해당좌표샘플값들간의피어슨상관계수의평균을의미한다. 식 (9) 는판별식으로 는비교상수, 는해당좌표의샘플과다른클래스의픽셀간의표준편차를의미하며 는해당좌표의샘플과동일클래스 의다른픽셀들사이의표준편차를의미한다. 각계수별로클래스간의판별요소의값의순위를연산하여, 클래스별로상위의계수를선택하고이들을다시중첩하여 1-D DCT 계수로활용한다. 식 (9) 에서는상관관계가크고작은정도를확인하기위하여피어슨상관계수의절대값을활용한다. 비례상수 는상관관계의영향과표준편차의영향을선형적으로조절하며실험적으로구한다. 선택된계수좌표에해당하는영상의 DCT 변환값을구하기위하여, 2-D DCT 연산은 1-D DCT로행렬을나누어수행하는행렬-분해형 (Row-Column Decomposition) 방법을사용한다. 이를적용할경우, 선택된 DCT 계수만를구할때행또는열의순서와상관없이 1-D DCT를수행할수있으므로 DCT 계수의선택에따라연산량을줄일수있다. 그림 6은 DCT 계수에따라선별적으로 1-D DCT를적용한예시를보인다. 그림 6(a) 에따라각픽셀을입력으로행방향 1-D DCT가수행될때, 그림 6(c) 의선택된계수를얻기위해요구되는픽 그림 6. 선택된 DCT 계수에대해행렬 - 분해형방법을사용한 DCT 연산의예. (a) 행 (row) 방향 1-D DCT 에사용되는계수, (b) 열 (column) 방향 1-D DCT 에사용되는계수, (c) 선택된 DCT 계수선자구조분할방식의예시. (a) 기존방식, (b) 격자구조방식 셀의값이그림 6(b) 과같이행별로두개이므로그림 4에서보인 DCT 연산을모두수행하지않고연산과정에서필요한두픽셀의해당연산만수행한다. 열방향 1-D DCT를수행할경우도행방향 1-D DCT 를수행할경우와동일하게그림 6(c) 의선택된 DCT 계수를얻기위해필요한픽셀에대해서만연산을수행하여연산량이줄어든다. 3.3 속도제한표지판분류전처리과정과제안된방법으로 DCT 변환된단일프레임영상의값을분류하고, 연속프레임에서이를누적하여최종적으로인식을수행한다. 실시간처리를가능하게하기위하여선형판별법 (Linear Discriminant Analysis) [6] 을학습에활용하여분류과정의연산량을줄인다. 단일프레임의분류성능이낮더라도적절한기준으로선택된연속된프레임의결과를종합하여성능을보장한다. 제안된 DCT 계수선택법에따라선택된표지판의특징은선형판별법을통해분류하려는각클래스의수로차원이줄어들어분류가쉬워진다. 충분한숫자의샘플은선형판별법을통해변형하여학습에적용하면클래스별로군집화된단일가우시안분포모델로가정할수있다. 선형판별의학습결과에의해변형된단일프레임영상의선별적 DCT 결과는선형판별법을통하여군집화된각클래스와의 Mahalanobis Distance를측정하여분류된다. 식 (10) 은 Mahalanobis Distance를보인다. (10) 는클래스를의미하며, 는선형판별법에의하여변환된 DCT 계수의 ( 클래스의수-1) 차원벡터, 는 와동일하게변환된평균의벡터, 은선형판별법으로학습된 DCT의계수들의공분산행렬의역행렬이다. Mahalanobis Distance는입력샘플과클래스간 1580
논문 /Block-DCT 를이용한속도제한표지판실시간인식알고리듬의설계 의단순거리와함께표준편차와상관계수를동시에고려하기때문에, 군집분석에유리하다 [21]. 입력된샘플과각각클래스간의 Mahalanobis Distance를연산하여가장가까운클래스로분류한다. 단일프레임을대상으로얻은결과를연속적으로누적하여속도제한표지판을최종적으로분류한다. 식 (11) 은 개의입력의클래스에대한분류확률을표현한다. (11) 는 번째샘플의 Mahalanobis Distance가클래스 에대하여최소일경우에만 1을갖는다. 는단일입력되는프레임간의크기차이에따라실험적으로주어지는가중치이다. 이를 개의샘플에대하여누적한후식 (12) 로최종분류한다. 누적할프레임의개수는실험적으로선정하며, 한프레임씩슬라이딩하며누적을반복한다. (12) Ⅳ. 실험결과 제안된속도표지판인식시스템은 Matlab 과 OpenCV 2.1 라이브러리를이용한 Visual C++ 으로구현하였다. 학습및분류에사용된샘플은국내일반국도및고속도로, 시가지에서촬영한 30fps 속도의 640x480 해상도영상에서추출하였다. 속도표지판에해당하는최소 11x11 픽셀크기로부터최대 30x30 픽셀크기까지의관심영역을원본동영상에서프레임별로추출하였다. 학습에사용된영상은동일한방식으로추출된관심영역중 15x15 픽셀크기로부터 30x30 픽셀크기위주로선택되었으며, 20km/h 로부터 110km/h 까지총 10개의클래스로구분하여실험을수행하였다. 각클래스의학습에사용된샘플수는클래스당 200 개씩총 2,000 개이며, 분류의실험에사용된테스트샘플은클래스당 100 개씩 1,000 개가사용되었다. 시스템에최초입력되는관심영역은 32x32 크기로정규화, 그레이레벨변환, 20x20크기로 Cropping 후마지막으로선명도향상과정을거친 그림 7. 전처리과정의예시. (a) 16x16 해상도원본영상, (b) 30x30 해상도정규화결과, (c) 20x20 해상도 Cropping 결과, (d) 그레이레벨변환결과, (e) 선명도향상결과 다. 그림 7은전처리과정의예를보인다. 전처리과정을거친영상을참고문헌의선형판별법 [6], DCT를이용한방법 [7] 두가지와제안된방법으로분류하고인식률을비교한다. 20x20 영상을서로겹치지않는 25 개의격자구조로분할한후각 Macro-Block 별로 4x4 Block-DCT를적용하여실험을수행하였다. 표 1과 2는저해상도와고해상도속도제한표지판영상에대해제안된방법과기존방법의인식률을비교를보인다. 특징선택과정에서기존 DCT를이용한방식 [7] 은 18개의행 / 열의범위에서상위 60개의특징을선택하였으며, 제안된방법은행 / 열을고려하지않고, 20x20 픽셀범위에대하여격자구조에관계없이제안된판별식에대한결과값을기준으로상위 60개의 DCT 계수를선택하였다. 단일프레임에대하여제안된방식은 DCT를이용하여특징을변환시키며, 특징의선택수를제한하므로원래의전체영상을활용하는선형판별법을이용한기존분류방식보다인식률이감소하게된다. 격자구조로영상을분할한후 DCT 변환을수행하므로원본영상에대한 DCT 변환결과보다정보량이줄어들기때문에 DCT를이용한기존의방식보다인식률이감소한다. 정보량감소에 표 1. 저해상도 (15x15 미만 ) 속도제한표지판영상의기존방식과제안된방식의인식률비교 판별방법선형 DCT 제안된 (1), (2) (1), (3) [%] 판별법방법방법의의속도 (1) (2) (3) 차이차이 [km/h] 20 76.0 70.0 74.0-6.0-2.0 30 88.0 96.0 84.0 8.0-4.0 40 86.0 76.0 80.0-10.0-6.0 50 78.0 66.0 72.0-12.0-6.0 60 70.0 64.0 68.0-6.0-2.0 70 90.0 80.0 94.0-10.0 4.0 80 82.0 78.0 62.0-4.0-20.0 90 92.0 94.0 92.0 2.0 0.0 100 88.0 90.0 96.0 2.0 8.0 110 86.0 82.0 84.0-4.0-2.0 평균 83.6 79.6 80.6-4.0-3.0 1581
한국통신학회논문지 '11-12 Vol. 36 No. 12 표 2. 고해상도 (15x15 이상 ) 속도제한표지판영상의기존방식과제안된방식의인식률비교 판별방법 [%] 속도 [km/h] 선형판별법 (1) DCT 방법 (2) 제안된방법 (3) (1), (2) 의차이 (1), (3) 의차이 20 88.0 78.0 84.0-10.0-4.0 30 96.0 96.0 96.0 0.0 0.0 40 94.0 88.0 92.0-6.0-2.0 50 90.0 78.0 98.0-12.0 8.0 60 88.0 74.0 84.0-14.0-4.0 70 100.0 100.0 100.0 0.0 0.0 80 80.0 92.0 72.0 12.0-8.0 90 98.0 96.0 98.0-2.0 0.0 100 100.0 96.0 98.0-4.0-2.0 110 94.0 86.0 88.0-8.0-6.0 평균 92.8 88.4 91.8-4.4-1.8 의한인식률저하는연속프레임을이용한인식으로보상이되며, 단일프레임의인식률은큰의미가없다. 실험결과단일프레임의경우인식률이저해상도에서선형판별법에대하여평균 4. %, 기존 DCT를사용한방법에대하여평균 3.0 % 감소하고, 고해상도에서각각평균 4.4 %, 1.8 % 감소한다. 70 km/h의경우외형적특징이다른클래스와차별화되어저해상도영역에서인식률이향상되었다. 저해상도영역에서 50 km/h, 60 km/h, 그리고 80 km/h의경우그외형적특징이서로유사하여인식률이낮은편이다. 80 km/h의경우인식률이상대적으로낮은데이는이전에설명한바와같이외형적특징이유사하여 50 km/h와 60 km/h로오인되는경우가많고격자구조 Block-DCT을사용하는과정에서숫자의전체적경향을사용하지못하며양자화간격이성기기때문이다. 80 km/h의낮은성능은연속프레임의사용과다른속도의정확도향상에의하여해소된다. 표 3은단일프레임의분류결과를연속프레임에대하여확장하였을경우에대한인식률을나타낸다. 연속프레임에대하여적용한결과, 6 프레임을누적할경우저해상도와고해상도에서각각 96.8 %, 98.8 % 의인식률을보였으며, 누적프레임이증가할수록인식률이높아져 9 프레임을누적한결과 100.0 % 의인식률을보인다. 모수가크기가클수록표지판의정규분포를근사적으로따르기때문에사용되는연속프레임의누적수가커질수록인식률이보장된다. 이는단일프레임에대해낮아진인식률을연속프레임의사용을통하여보상할수있음을보여주며, 저해상도 표 3. 속도표지판의누적프레임에대한인식률 연속프레임 3 6 9 속도 저해상도고해상도저해상도고해상도저해상도고해상도 [km/h] 20 90.0 92.0 94.0 98.0 100.0 100.0 30 96.0 100.0 98.0 100.0 100.0 100.0 40 96.0 100.0 98.0 100.0 100.0 100.0 50 90.0 98.0 96.0 100.0 100.0 100.0 60 88.0 94.0 96.0 96.0 100.0 100.0 70 98.0 98.0 91.0 96.0 100.0 100.0 80 86.0 90.0 92.0 94.0 100.0 100.0 90 98.0 98.0 100.0 100.0 100.0 100.0 100 98.0 98.0 100.0 100.0 100.0 100.0 110 94.0 96.0 98.0 100.0 100.0 100.0 평균 93.2 96.2 96.8 98.8 100.0 100.0 에서도높은인식률은원거리에서촬영되는 15x15 픽셀크기이하의표지판의인식이가능함을보인다. 단, 누적프레임수가늘어날수록인식결과가운전자에게전달되는시간이늦어지고, 자동차의속도변화에따라누적되는단일입력프레임영상의크기와인식률이달라지므로, 자동차의속도에따라누적되는프레임수가변경되고합산시의가중치가달라야한다. 표 4는기존 DCT 방법들과제안된방법의곱셈 / 덧 셈연산량과연산시간의비교를보인다. 제안된특징선택방법에의하여상위 60개의 DCT 계수를선택하였으며, Macro-Block들을모은 20개의행 / 열에서 14 개의행 /17개의열이선택되었으며격자구조의 25개 Macro-Block 중 5개 Block이연산을수행하지않는다. 제안된 Block-DCT를적용한알고리듬은기존 LDA를수행한것보다곱셈은최대 69.3 %, 덧셈은최대 67.9 % 의연산량감소를보인다. 행-열선택적 DCT에대해서는곱셈은최대 27.5 %, 덧셈은최대 49.4 % 의연산량을감소시킨다. 제안된방법은기존방법들에대하여각각 55.8%, 29.6% 연산시간이감 표 4. 기존 DCT 방법과제안된방법의연산량비교 알고리듬 비교대상 곱셈연산 [ 회 ] 덧셈연산 [ 회 ] 연산시간 [ms] 선형판별법 [1] DCT 방법 [2] 제안된방법 [3] 감소량 [%] [1] 과 [3] [2] 와 [3] 4000 1656 1200 69.3 27.5 3990 2463 1246 67.9 49.4 17.5 10.9 7.7 55.8 29.6 1582
논문 /Block-DCT 를이용한속도제한표지판실시간인식알고리듬의설계 소되었다. 연산량에비하여연산시간의감소정도가낮은이유는연산의제어와메모리접근에대한지연시간이추가되기때문이다. 기존방법은전체픽셀에대하여 DCT 계수를모두사용하였으나, 제안된방법은선택기준을제시하여 DCT계수의수를제한하였고, 격자구조로 Block-DCT를수행하여곱셈 / 덧셈연산을최소화하였다. 특징의차원을줄임으로써전체분류시스템의연산량을감소시켜실시간처리가가능하도록한다. Ⅴ. 결론본논문에서는격자구조의 Block-DCT와효과적인 DCT 계수선택을통하여연산량을줄인속도제한표지판의인식방법을제시하였다. 제안된알고리듬은 640x480 해상도와 30fps 속도를갖는연속프레임영상의관심영역을전처리한후특징을추출한다. 적은연산량에최적화된특징추출을위하여 DCT 계수의선택기준을제시하였으며, 격자구조 Block- DCT 방법의적용을제안하여연산과정을최소화하였다. 제안된알고리듬을실제교통환경에서촬영한 2,000 개의학습을위한샘플과 1,000 개의실험용샘플을이용하여확인한결과단일프레임영상에대하여분류성공률이평균 85.8 % 로기존방식의인식률을유지하였으며, 연속프레임영상에대하여최대 100.0 % 로기존방식보다높은인식률을보인다. 제안된알고리듬은실시간처리를위한임베디드시스템에적합하도록기존방식보다연산량을줄이면서도인식률은유지되며, 연속프레임영상을활용하여원거리의저해상도표지판에대한인식이가능하다. 원거리의표지판의인식을통하여운전자에게더빠르고정확하게제한속도를경고할수있는환경을제공한다. 추후과제로제안된분류알고리듬에적합하도록관심영역검출및추적알고리듬이개선된실시간처리가가능하고임베디드환경에적합한전체인식시스템에대한연구가필요하다. 참고문헌 [1] 전형호, 문종덕, 박종만, 우창화, 지능형자동차분야의지식경제부연구개발지원현황, 한국자동차공학회오토저널, 제 32권, 제 7호, pp.64-69, 2010년 11월. [2] 이기용, 송광열, 이준웅, 컴퓨터비전과지능형안전자동차, 한국멀티미디어학회지, 제 14권, 1 호, pp.42-49, 2010년 3월. [3] 양인범, 정도현, 지능형자동차의기술로드맵과연구개발방향, 한국자동차공학회심포지엄, pp.74-93, 2005년 8월. [4] X. Baro, S. Escalera, J. Vitria, O. Pujol, and P. Radeva, Traffic Sign Recognition Using Evolutionary Adaboost Detection and Forest- ECOC Classification, IEEE Trans. Intelligent Transportation Systems, Vol.10, No.1, pp.113-126, Mar. 2009. [5] 경찰청교통관리관교통안전과, 2010년판교통사고통계, 경찰청교통안전담당관실, 2010 년 8월. [6] C. Bahlmann, Y. Zhu, R. Visvanathan, M. Pellkofer, and T. Koehler, A System for Traffic Sign Detection, Tracking, and Recognition Using Color, Shape, and Motion Information, in Proc. IEEE Intelligent Vehicles Symposium 2005, Las Vegas, pp.255-260, June 2005. [7] 강병휘, 조한민, 김재영, 황선영, 김광수, DCT 계수를이용한속도제한표지판인식실시간알고리듬의설계, 한국통신학회논문지, 제 35권, 12호, pp.1766-1774, 2010년 12월. [8] H. Akatsuka and S. Imai, Road Signposts Recognition System. SAE transactions, Vol.96, Issue 1, pp.936-943, Feb., 1987. [9] S. Buluswar and B. Draper, Color Recognition in Outdoor Images, in Proc. Sixth International Conf. Computer Vision, pp.171-177, Jan., 1998. [10] G. Loy and N. Barnes, Fast Shape-based Road Sign Detection for a Driver Assistance System. in Proc. IEEE/RSJ International Conf. Intelligent Robots and Systems, Sendai, pp.70-75, Oct., 2004. [11] Y. Aoyagi and T. Asakura, A Study on Traffic Sign Recognition in Scene Image Using Genetic Algorithms and Neural Networks, in Proc. IEEE International Conf. Industrial Electronics, Control, and Instrumentation, Taipei, Vol.3, pp.1838-1843, Aug. 1996. [12] A. de la Escalera, J. Armingol, and M. Mata, Traffic Sign Recognition and Analysis for Intelligent Vehicles, Image and Vision Computing, Vol.21, Issue 3, pp.247-258, Mar., 1583
한국통신학회논문지 '11-12 Vol. 36 No. 12 2003. [13] R. Vicen-Bueno, R. Gil-Pita, M. Rosa-Zurera, M. Utrilla-Manso, and F. Lopez-Ferreras, Multilayer Perceptrons Applied to Traffic Sign Recognition Tasks, in Proc. Int. Work- Conference on Artificial Neural Networks, Barcelona, Spain, pp.865-872, Jun., 2005. [14] S. Hsu and C. Huang, Road Sign Detection and Recognition Using Matching Pursuit Method, Journal of Image and Vision Computing, Vol.19, Issue 3, pp.119-129, Feb., 2001. [15] H. M. Yang, C. L. Liu and S. M. Huang, Traffic Sign Recognition in Disturbing Environments, in Proc. the 14th Int. Symp. Methodologies for Intelligent Systems, Maebashi, Japan, pp.28-31, Oct., 2003. [16] A. de la Escalera, J. Armingol, J. Pastor, and F. Rodriguez, Visual Sign Information Extraction and Identification by Deformable Models for Intelligent Vehicles, IEEE Trans. Intelligent Transportation Systems, Vol.5, Issue 2, pp.57-68, Jun., 2004. [17] S. Maldonado-Bascon, S. Lafuente-Arroyo, P. Gil-Jimenez, H. Gomez-Moreno, and F. Lopez- Ferreras, Road-Sign Detection and Recognition Based on Support Vector Machines, IEEE Trans. Intelligent Transportation Systems, Vol.8, Issue 2, pp.264-278, Jun., 2007. [18] R. Luo, H, David and W. Hislop, Neural Network Based Landmark Recognition for Robot Navigation, in Proc. Int. Conf. Power Electronics and Motion Control, Industrial Electronics, Control, Instrumentation, and Automation, Vol.2, pp.1084-1088, Nov. 1992. [19] C. Fang, S. Chen, and C. Fuh, Road-Sign Detection and Tracking, IEEE Trans. Vehicular Technology, Vol.52, No.5, pp.1329-1341, Sep., 2003. [20] M. Meuter, A. Kummert, and S. Muller- Schneiders, 3D Traffic Sign Tracking Using a Particle Filter, 11th International IEEE Conf. Intelligent Transportation Systems, pp.168-173, Oct., 2008. [21] E. Alpaydin, Introduction to Machine Learning, MIT Press, 2nd edition, 2004. [22] Y. Lee, T. Chen, and L. Chen, A Cost-Effective Architecture for 8x8 Two-Dimensional DCT_IDCT Using Direct Method, IEEE Transactions on Circuits and Systems for Video Technology, Vol.7, No.3, pp.459-467, Jun., 1997. [23] R. Duda, P. Hart, and G. Stork, Pattern Classification, John Wiley & Sons, INC. 2nd edition, 2001. [24] J. Cohen, P. Cohen, S. West, and L. Aiken, Applied multiple regression/correlation analysis for the behavioral sciences, Routledge, 3rd edition, 2003. 한승화 (Seung-Wha Han) 준회원 2010년 2월서강대학교전자공학과학사 2010년~현재서강대학교전자공학과 CAD & ES 연구실석사과정 < 관심분야 > 지능형자동차, 패턴인식, 흐림영상개선조한민 (Han-Min Cho) 정회원 2004년 2월서강대학교전자공학과학사 2006년 2월서강대학교전자공학과석사 2006년~2009년삼성전자 ( 주 ) 선임연구원 2009년~현재서강대학교전자공학과대학원 CAD & ES 연구실박사과정 < 관심분야 > 지능형자동차, 패턴인식, 센서네트워크 1584
논문 /Block-DCT 를이용한속도제한표지판실시간인식알고리듬의설계 김광수 (Kwang-Soo Kim) 정회원 1981년 2월서강대학교전자공학과학사 1983년 2월서강대학교전자공학과석사 1992년 2월서강대학교전자공학과박사 1983년 ~1997년한국전자통신연구원책임연구원 1998년 ~2005년정보통신연구진흥원책임연구원 2005년~2008년대구경북과학기술원책임연구원 2008년~2011년 8월서강대학교 MOT대학원교수 2011년 9월 ~ 현재서강대학교전자공학과교수 < 관심분야 > 지능형센서시스템, 센서네트워크, 지능형자동차, Power Device 설계등 황선영 (Sun-Young Hwang) 종신회원 1976년 2월서울대학교전자공학과학사 1978년 2월한국과학원전기및전자공학과공학석사 1986년 10월미국 Stanford대학전자공학박사 1976년~1981년삼성반도체 ( 주 ) 연구원, 팀장 1986년~1989년 Stanford 대학 Center for Integrated System 연구소책임연구원및 Fairchild Semiconductor Palo Alto Research Center 기술자문 1989년~1992년삼성전자 ( 주 ) 반도체기술자문 1989년 3월~현재서강대학교전자공학과교수 < 관심분야 > SoC 설계및 framework 구성, CAD시스템, Computer Architecture 및 DSP System Design 등 1585