DBPIA-NURIMEDIA

Size: px

Start display at page:

Download "DBPIA-NURIMEDIA"

채연 방
5 years ago
Views:

1 선택적 선명화에 의한 스마트톨링용 차량 번호판 인식 Vehicle License Plate Recognition for Smart Tolling by Selective Sharpening 김진호 경일대학교 전자공학과 Jin-Ho 요약 고속도로 톨게이트에서 요금정산을 위해 속도를 줄이거나 차선을 변경하지 않고 CCTV로 차량 번호판 을 인식하여 통행료를 정산할 수 있는 스마트톨링에 관한 연구들이 활발히 진행되고 있다. 톨게이트 상단 에 설치된 CCTV를 이용하여 통과 차량들을 촬영하면 블러링으로 인해 화질이 저하되는 경우가 발생할 수 있다. 본 논문에서는 차량 영상에 대해 화질의 선명도를 자동으로 판단해서 일정한 수준 이하로 저하된 경우에만 영상 선명화 알고리즘을 적용하고 정상적으로 촬영된 영상에 대해서는 과 선명화가 발생하지 않 도록 함으로써 번호판의 인식 성능을 제고시킬 수 있는 선택적 선명화 방식의 스마트톨링용 차량 번호판 인식 알고리즘을 제안하였다. 제안한 알고리즘을 시험 주행용 고속도로에서 반복 주행하는 시험 차량들의 전면 및 후면을 촬영한 6,245장의 영상을 대상으로 실험한 결과 선택적 선명화 알고리즘을 적용하지 않았 을 때 보다 2.1% 증가한 98.6%의 인식 성능을 얻을 수 있었다. 중심어 : 차량 번호판 번호판 인식 스마트 톨링 고속도로 톨게이트 Abstract Smart tolling is widely studied which is able to pay toll fee without reducing speed or changing lanes in tollgates of highway by vehicle plate recognition using CCTV. When vehicle images are captured by using CCTV on top of tollgate, there can be occurred some image degradation which is caused by blur. In this paper, a sophisticate vehicle license plate recognition algorithm using selective sharpening to prevent over-sharpness for clean images by only applying unsharp masking algorithm to degraded image which is automatically decided by using the sharpness estimation value, is proposed. The recognition accuracy was 98.6% increasing by 2.1% against not using selective sharpening for 6,245 vehicle images which were captured the front and back sides of test driving vehicles on the test driving highway for smart tolling. keyword : Vehicle License Plate License Plate Recognition Smart Tolling Highway Tollgate Ⅰ. 서 론 하이패스 미 장착 차량에 대해서는 번호판 영상 인식을 통해서 통행료 고지서를 발부함으로써 사후 통행료를 국토교통부에서는 2016년을 목표로 하이패스 성능을 정산하는 방식의 무정차 통행료 납부가 가능한 스마트 개선시키면서 보급률을 높인 다음 톨게이트를 없애고 톨링 프로젝트를 추진하고 있다[1]. 스마트톨링은 고속 접수일자 : 2014년 09월 30일 수정일자 : 2014년 12월 01일 심사완료일 : 2014년 12월 02일 교신저자 : 김진호, ho@kiu.ac.kr

2 2 한국콘텐츠학회논문지 '14 Vol. 14 No. 12 도로진출입로에하이패스와번호판영상인식장치를혼용설치하여무정차, 고속주행및다차로기반의차량진출입이가능한차세대요금지불시스템으로알려져있다. 최근하이패스보급률이 50% 정도임에도불구하고하이패스부착차량의요금미납건수가연간 370 만건을넘어서고있기때문에 [2] 하이패스가 100% 보급되더라도미납차량자동확인을위한번호판영상인식시스템의필요성이더욱높아질것으로예상된다. 차량영상으로부터번호판을인식하기위해서번호판을검출하는기술과검출된번호판의문자를인식하는기술들이활발하게연구 [3-7] 되고있다. 기울어진번호판검출 [3], 불균일조명환경에강인한번호판검출 [4], 저해상도와부족한명암대비에서의번호판검출 [5] 또는저조도차량영상에서의번호판검출 [6] 등의연구들이진행되고있고템플릿매칭에의한번호판문자인식 [5] 및신경망을이용한번호판문자인식 [6][7] 등에관한연구들이다양하게진행되고있다. 고속도로진출입로에설치된고정식 CCTV를이용하여정속주행차량의영상을촬영할경우느린속도로차량이진출입하는주차장출입구에서촬영한차량영상 [3-5] 들과는달리모션블러또는아웃포커싱블러등으로인해영상의화질이저하되는경우가발생할수있다. 화질이저하될경우번호판의영상을이진영상으로변환하여선명한문자들을추출하는것이어렵기때문에영상을선명화하기위한별도의알고리즘이추가될필요가있다. 하지만정상적인차량영상에대해서도선명화알고리즘을적용하면문자들의가장자리나배경영역까지강조 [8] 되어서이진영상으로변환했을때잡음이포함될수있다. 따라서블러링으로인해저하된화질을개선시키기위해선명화알고리즘을적용할때블러링정도를추정하여일정수준이상블러링이발생한경우에만선택적으로선명화를시킨다면과도한선명화를방지하면서도차량번호판인식성능을높일수있을것이다. 본논문에서는 CCTV 로촬영한차량영상에대해블러링정도를자동으로판단해서일정한수준이상으로블러링된경우에만영상선명화알고리즘을적용하여정상적으로촬영된영상에대해서는과선명화가발생 되지않도록함으로써번호판의인식성능을제고시킬수있는선택적선명화 (selective sharpening) 방식의스마트톨링용차량번호판인식알고리즘을제안하였다. 번호판영역을검출한다음검출에사용된문자획의선명도를추정하고블러링에의해선명도가낮아진번호판영상들에대해서만선명화알고리즘을적용하였다. 실시간번호판영상인식을위한고속선명화를위해계산양이많은커널추정방식의디블러링알고리즘 [9] 을사용하지않고빠른처리가가능한언샤프마스킹 (unsharp masking) 알고리즘 [8] 을사용하였다. 제안한알고리즘을이용하여시험주행용고속도로에서주야로일주일동안반복주행하는시험차량들의전면및후면을촬영한 6,245 장의차량영상데이터베이스를대상으로번호판검출및인식시뮬레이션을해보고그성능을분석하였다. Ⅱ. 스마트톨링용번호판인식알고리즘개요고속도로스마트톨링을위한차량번호판인식을위해블러링으로인해저하된번호판영상의선명도를자동으로추정하고이를바탕으로선택적선명화알고리즘을적용함으로써번호판에기록된문자들의세그멘테이션및인식성능을높일수있도록하였다. [ 그림 1] 은차량영상으로부터추출한번호판영상을언샤프마스킹으로선명화하고영상개선작업을수행한결과를보인것이다. 그림 1. 번호판영상의선명화및영상개선결과를보인예이와같은선택적선명화를위해서는기존의차량번호판인식알고리즘에선명도추정및선택적선명화과정이추가되어야한다. 즉번호판영역을검출한다음크기정규화및회전보정처리과정을수행하기전

선택적선명화에의한스마트톨링용차량번호판인식 3 에문자획의가장자리화소들을대상으로번호판영상의선명도를추정하여선명도가임계치이하로낮을경우영상선명화과정을먼저적용하고영상개선알고리즘을수행하였다. 번호판영상의선명도가임계치이상으로높을경우영상선명화과정을생략함으로써과선명화로인해배경이나문자획의가장자리부분이강조되어번호판인식성능의저하가발생하지않도록하였다.

번호판검출, 영상개선및문자인식전체적인번호판인식과정은차량영상이진화, 문자후보블롭해석을통한번호판영역검출, 선명도추정, 크기정규화및회전보정, 선택적선명화, 영상개선, 번호판유형추정, 개별문자분할, 문자크기정규화및문자인식등의세부적인단계들로구성된다. 1.

3 선택적선명화에의한스마트톨링용차량번호판인식 3 에문자획의가장자리화소들을대상으로번호판영상의선명도를추정하여선명도가임계치이하로낮을경우영상선명화과정을먼저적용하고영상개선알고리즘을수행하였다. 번호판영상의선명도가임계치이상으로높을경우영상선명화과정을생략함으로써과선명화로인해배경이나문자획의가장자리부분이강조되어번호판인식성능의저하가발생하지않도록하였다. 따라선택적으로언샤프마스킹을하고영상개선작업을수행한다. 번호판영상을이진영상으로변환한다음배치된문자블롭들의위치를해석하여번호판의유형을추정하고개별문자영역을분할해서인식한다. III. 번호판검출, 영상개선및문자인식전체적인번호판인식과정은차량영상이진화, 문자후보블롭해석을통한번호판영역검출, 선명도추정, 크기정규화및회전보정, 선택적선명화, 영상개선, 번호판유형추정, 개별문자분할, 문자크기정규화및문자인식등의세부적인단계들로구성된다. 1. 번호판영역검출 CCTV로부터입력된영상으로부터문자획들이잘보전된이진영상을추출하고이진영상에서문자획으로추정되는블롭들을찾아서문자배열을해석하는방법으로번호판영역을추출한예를 [ 그림 3] 에보였다. 그림 2. 스마트톨링을위한번호판인식알고리즘흐름도 (a) 원본차량영상 (b) 에지누적이진화영상 고속도로스마트톨링을위한차량번호판인식알고리즘의전체흐름도를 [ 그림 2] 에도시하였다. CCTV로촬영한차량영상을연결에지누적기반 [6] 의이진영상으로변환하고연결화소 (connected components) 들의집합으로구성된블롭 (blob) 들을추출한다. 이진영상에서문자후보로추정되는블롭들의배치형태를해석하여번호판후보영역을검출한다. 검출된번호판영상에서문자블롭의가장자리화소들을기준으로주변화소들사이의명도변화정보를계산하여선명도를추정한다. 검출된번호판영상에대해회전보정및크기정규화알고리즘을적용하여일정한크기의번호판영상을생성한다. 번호판영상을대상으로추정된선명도에 (c) 문자후보블롭해석 (d) 번호판영역을추출한예 그림 3. 고속도로톨게이트에서 CCTV 로촬영된블러링차량영상으로부터번호판영역을검출한예 조명의불균형으로어둡거나카메라의흔들림또는초점문제등으로블러링된차량영상에서도문자획이잘보전된이진영상을추출하기위해서 DoG 필터를이용한에지누적기반이진영상추출기법 [6] 을사용하였다. 문자획으로추정되는연결화소블롭들을별도로추출하기위해서사전에정의한문자획의크기정

4 한국콘텐츠학회논문지 '14 Vol. 14 No. 12 보를이용하여임계값보다크거나작은블롭들을제거하였다. 문자획후보들로구성된블롭들을대상으로번호판유형에따른사전지식 (prior knowledge) 기반으로번호판의표준문자열배열과정합되는정도를해석하여번호판위치를검출하였다. 검출된위치를기반으로번호판영상을크로핑한다음번호판영상의회전을보정하고크기를정규화하였다. 2.

4 4 한국콘텐츠학회논문지 '14 Vol. 14 No. 12 보를이용하여임계값보다크거나작은블롭들을제거하였다. 문자획후보들로구성된블롭들을대상으로번호판유형에따른사전지식 (prior knowledge) 기반으로번호판의표준문자열배열과정합되는정도를해석하여번호판위치를검출하였다. 검출된위치를기반으로번호판영상을크로핑한다음번호판영상의회전을보정하고크기를정규화하였다. 2. 선명도추정및영상개선알고리즘 CCTV로입력된차량영상에서번호판검출에사용된문자들의가장자리화소들을대상으로선명도를추정한다음선택적선명화및영상개선작업을수행하였다. 선명도가사전에설정한임계값이하일경우번호판영상에블러링이많이발생한것으로판단하고영상선명화작업을수행하였다. 한편임계값이상일경우번호판에기록된문자들의인식에적절한영상으로판단하여영상선명화과정을생략함으로써문자영역이아닌부분이과도하게강조되어잡음으로유입되는것을방지하였다 선명도추정 문자획의에지에존재하는화소들을기준으로좌우에연속된화소들의값이얼마나급하게변하는가에대한정도를계산하여선명도를추정하였다. [ 그림 4] 는선명도추정에사용된에지화소들을표시한것이다. 선명도추정에사용된화소들은번호판영역검출단계에서찾은문자후보화소들의가장자리화소들이다. 그림 4. 선명도추정에사용된문자들의에지화소들을흰점으로표시한예 획의가장자리에존재하는에지화소명도값에대한우측화소들과의명도값차이와좌측화소들과의명도값차이를구하고다시이들의차성분, 을계산하는방식의 Kumar[10] 알고리즘을사용하였다. 중간값필터링은에지성분은유지하면서잡음에의해명도값이급격하게변하는것을방지할수있다. 수평방향의에지선명도 은다음식 (1) 과같이계산할수있다. (1) 여기서 는중간값필터링영상의 에위치한화소의명도값이다. 식 (1) 과같은방식으로수직방향의차성분 도계산할수있다. 문자에지화소값들의기울기변화인 은경사가클수록에지값이빨리변하기때문에급격한에지일수록더욱큰값을가지게된다. 에지의폭은에지화소들의기울기에반비례한다. 따라서기울기변화, 은 2차미분의이산치형태로표현된것이다. 크기 의윈도우내의화소들에대해서 을계산하여합하면다음과같이에지폭 에반비례하게된다. (2) 콘트라스트값이증가할수록블러링폭은감소하기때문에문자에지에서의콘트라스트값을이용하여식 (2) 의값을정규화할필요가있다. 정규화에사용할콘트라스트 는 을계산할때적용했던것과동일한 크기의윈도우내의화소들을대상으로다음과같이계산할수있다. (3) 본논문에서는번호판영상의선명도를추정하기위해번호판영상의중간값필터링결과영상에서문자 영상의 위치의화소에서의수평방향의선명도 는식 (2) 및 (3) 을이용하여다음과같이계산

선택적선명화에의한스마트톨링용차량번호판인식 5 할수있다. (4) [ 그림 7] 에표시된문자들의전체에지화소선명도 는수평및수직방향으로구한개별화소들의선명도가사전에설정한임계값이상인화소들의개수를전체에지화소의개수로나눈값으로다음식 (5) 와같이정의할수있다. (5) 식 (5) 에서 은전체에지화소들의개수를의미하고 은화소 의선명도가임계값 이상일경우 1이되고반대일경우 0이된다.

5 선택적선명화에의한스마트톨링용차량번호판인식 5 할수있다. (4) [ 그림 7] 에표시된문자들의전체에지화소선명도 는수평및수직방향으로구한개별화소들의선명도가사전에설정한임계값이상인화소들의개수를전체에지화소의개수로나눈값으로다음식 (5) 와같이정의할수있다. (5) 식 (5) 에서 은전체에지화소들의개수를의미하고 은화소 의선명도가임계값 이상일경우 1이되고반대일경우 0이된다. 선명도추정방식의타당성을검토하기위해서모션블러나아웃포커싱블러를가우시안블러링모델로단순화시켜차량영상을블러링시킨다음번호판영역을검출하고영상의선명도를계산하였다. 페인트샵가우시안블러링도구를이용해서블러링정도, Blur를변화시켜가면서블러링영상을생성하고선명도 를계산한예를 [ 그림 5] 에도시하였다. 페인트샵의가우시안블러링도구에서블러링정도를설정하는입력값, Blur가높아지더라도문자블롭들을해석하여번호판영역을정확하게추출하였으며추출된번호판영역의문자획에지화소들을대상으로계산한선명도 는블러링이많이일어날수록점점낮아지는것을볼수있다 선택적언샤프마스킹및영상개선번호판검출단계에서추정한선명도를기준으로사전에설정한임계값이하의선명도를갖는번호판영상들은블러링이발생한것으로판단하고선택적으로언샤프마스킹을하여영상을선명화를하였다. 실시간번호판인식을위해계산양이많은커널추정방식의디블러링알고리즘 [9] 을사용하지않고고속처리가가능한언샤프마스킹방식의필터링알고리즘 [8] 을사용하였다. 선택적언샤프마스킹처리를통한국소콘트라스트개선이후에번호판영상전체의전역코트라스트를개선함으로써문자인식을위한이진영상이깨끗하게추출될수있도록하였다. 언샤프마스킹은국소콘트라스트개선기술로서입력영상에고주파컨투어성분을더함으로써입력영상의콘트라스트를높이게된다. 번호판영역을추출한다음회전을보정하고크기를정규화한번호판영상을생성하고번호판추출단계에서추정한선명도가임계값이하인번호판영상에대해서만다음과같은언샤프마스킹을적용하였다. (6) 그림 5. 여러단계로가우시안블러링된차량영상으로부터번호판영역을추출하고선명도를계산한예 식 (6) 에서 는입력명도영상이고 는가우시안저역필터커널이며 는샤프닝정도를제어하는파라미터이다. 그리고 는가우시안필터커널과입력영상사이의 2차원컨볼루션을의미한다. 선택적으로번호판영상을언샤프마스킹처리하여국소콘트라스트를개선시킨다음에히스토그램의시그모이드변환알고리즘 [11] 를이용하여영상의전역콘트라스트도높일수있도록하였다. 히스토그램의좌우

6 한국콘텐츠학회논문지 '14 Vol. 14 No. 12 끝부분에시그모이드전달함수를매핑시킨다음양쪽끝부분이 0 255 사이의값을갖도록시그모이드변환함수를이용하여화소값을변환시킨다. 영상변환결과문자와배경으로이루어진번호판영상의특성상히스토그램의좌우끝부분에많은화소들이분포하게되어이진영상추출에매우효과적으로사용될수있는명도영상이생성된다. 2-3.

(7) 식 (7) 에서 및 는각각국소영역내의화소값들의평균과표준편차이다. 는이진레벨을결정하기위한상수로서일반적으로 0.5의값을가지며 는영상내전체화소들의표준편차가가질수있는최대값으로 128로설정한다. 번호판영상의색상정보와기록된문자들의위치정보를분석하여 [ 그림 6] 과같이번호판의유형을결정하였다.

선명도에따라선택적으로언샤프마스킹을하고영상을개선한다음이진영상으로변환하여문자영역을분할한예 [ 그림 7] 의영상개선에는선택적선명화를통한국소콘트라스트개선방법과시그모이드전달함수에의한전역콘트라스트개선방법이같이사용되었다. 선택적선명화적용을위한선명도임계치는실험데이터베이스를대상으로경험적으로구한값인 0.4로하였다. 즉, 번호판검출과정에서계산한선명도가 0.

6 6 한국콘텐츠학회논문지 '14 Vol. 14 No. 12 끝부분에시그모이드전달함수를매핑시킨다음양쪽끝부분이 사이의값을갖도록시그모이드변환함수를이용하여화소값을변환시킨다. 영상변환결과문자와배경으로이루어진번호판영상의특성상히스토그램의좌우끝부분에많은화소들이분포하게되어이진영상추출에매우효과적으로사용될수있는명도영상이생성된다 번호판유형구분, 문자분할및인식 번호판영역을추출하고회전보정및크기를정규화한다음에선택적언샤프마스킹처리를하여국소콘트라스트를개선시키고시그모이드함수를이용한전역콘트라스트도개선시켜생성한번호판영상에대해적응적이진화를수행하여이진영상을추출하였다. 적응적이진화를위해 Sauvola 등 [12] 이제안한다음과같은방법을사용하였다. (7) 식 (7) 에서 및 는각각국소영역내의화소값들의평균과표준편차이다. 는이진레벨을결정하기위한상수로서일반적으로 0.5의값을가지며 는영상내전체화소들의표준편차가가질수있는최대값으로 128로설정한다. 번호판영상의색상정보와기록된문자들의위치정보를분석하여 [ 그림 6] 과같이번호판의유형을결정하였다. 번호판의유형에따라한글또는숫자영역을분할하고크기를정규화한다음문자를인식한다. 그림 6. 차량번호판의 10 가지유형구분예 (a) 번호판영상 (b) 영상개선 (c) 문자분할 (d) 선명도 그림 7. 선명도에따라선택적으로언샤프마스킹을하고영상을개선한다음이진영상으로변환하여문자영역을분할한예 [ 그림 7] 의영상개선에는선택적선명화를통한국소콘트라스트개선방법과시그모이드전달함수에의한전역콘트라스트개선방법이같이사용되었다. 선택적선명화적용을위한선명도임계치는실험데이터베이스를대상으로경험적으로구한값인 0.4로하였다. 즉, 번호판검출과정에서계산한선명도가 0.4 이하일경우블러링이과도하게발생한것으로판단하고언샤프마스킹을수행하여국소콘트라스트를먼저개선하였으며그다음시그모이드전달함수에의한전역콘트라스트를개선함으로써문자인식에적합한이진영상을생성할수있도록하였다. 문자분할영상은영상개선결과를이진영상으로변환하고문자들을분할해서크기를정규화시킨결과를보인것이다. 그리고번호판의흐림정도를계산한선명도 S도같이표시하였다. 영상개선결과를이진영상으로변환하고번호판유형에따른문자배치규칙정보에따라문자블롭을해석하여문자영역을분할한다음크기를정규화한여러가지예를 [ 그림 8] 에보였다. 선명도가각각다른차량영상으로부터추출한번호판영상에대해선택적언샤프마스킹및영상개선을하고이진화한다음번호판유형에따라문자영역을분할하여크기를정규화한예를 [ 그림 7] 에보였다. 그림 8. 번호판문자열분할및크기정규화예

선택적 선명화에 의한 스마트톨링용 차량 번호판 인식 분할한 문자들은 번호판 유형에 따른 위치 정보를 바 7 레이션을 해보고 그 성능을 분석하였다. 탕으로 지역 명, 독립 한글 그리고 숫자 등 세 가지 종 류로 구분된다. [그림 9]와 같이 문자 종류에 따라 별도 로 구현한 신경망을 이용하여 문자 인식을 수행하였다. 그림 10.

번호판 문자들의 위치에 따라 지역 명, 독립 한글 및 숫자를 구분하여 인식하기 위한 신경망 구조 녹색 번호판 차량으로 구성되어있으며 1920x1080 크기 의 8비트 영상으로 촬영되었다.

7 선택적 선명화에 의한 스마트톨링용 차량 번호판 인식 분할한 문자들은 번호판 유형에 따른 위치 정보를 바 7 레이션을 해보고 그 성능을 분석하였다. 탕으로 지역 명, 독립 한글 그리고 숫자 등 세 가지 종 류로 구분된다. [그림 9]와 같이 문자 종류에 따라 별도 로 구현한 신경망을 이용하여 문자 인식을 수행하였다. 그림 10. 차량 번호판 인식 시뮬레이션을 위한 인터페이스 [그림 11]에 시험용 데이터베이스의 예를 보였다. 데 이터베이스는 4,989장의 흰색 번호판 차량과 1,256장의 그림 9. 번호판 문자들의 위치에 따라 지역 명, 독립 한글 및 숫자를 구분하여 인식하기 위한 신경망 구조 녹색 번호판 차량으로 구성되어있으며 1920x1080 크기 의 8비트 영상으로 촬영되었다. 지역 명, 독립 한글 및 숫자를 위한 신경망은 역전파 알고리즘을 이용해서 구현하였으며 출력층 뉴런의 개 수는 인식 대상 문자 종류에 따라 각각 17개 지역, 66개 한글 및 10개 숫자와 같이 설정하였다. 중간층 뉴런은 각각 70개, 70개 및 35개로 하였으며 입력층 뉴런은 288 개, 144개 및 144개로 하였다. 분할된 각 문자를 가로 및 그림 11. 시험용 데이터베이스의 차량 영상 예 세로, 32 및 42 크기로 정규화하고 그물망 피쳐 56개, 외 접 사각형으로부터의 거리 피쳐 44개, 투영 피쳐 22개 시험용 데이터베이스의 6,245장의 차량 영상에 대해 그리고 크로싱 피쳐 22개 등 전체 144개의 피쳐를 추출 선택적 선명화의 적용 여부에 따른 인식 성능을 [표 1] 하였다. 그물망 피쳐는 문자영역을 격자 형태로 나누어 에 보였다. 흑색 화소의 분포비율을 계산한 것이고 거리 피쳐는 외 접 사각형에서 문자 획까지의 수평 및 수직 거리를 계 산한 것이다. 투영 피쳐는 수평 및 수직 방향으로 흑색 화소를 누적시켰을 때의 분포를 계산한 것이고 크로싱 표 1. 시험용 데이터베이스 6,245장의 차량 영상 대상 선택 적 선명화 방법 적용 여부에 따른 인식 성능 알고리즘 선명화 미적용 일률적 선명화 선택적 선명화 번호판 검출 6,190(99.1%) 6,190(99.1%) 6,190(99.1%) 피쳐는 수평 및 수직 방향으로 가로지르는 선이 문자 문자열 분할 6,051(96.9%) 6,020(96.4%) 6,169(98.8%) 획과 만나는 회수를 계산한 것이다. 번호판 인식 6,027(96.5%) 6,002(96.1%) 6,159(98.6%) IV. 시뮬레이션 및 결과 고찰 제안한 알고리즘을 스마트톨링 시험 주행용 고속도 로에서 일주일동안 주야간으로 40대의 승용차, 버스 및 화물차 등 시험 주행 차량들의 전면 및 후면을 촬영한 6,245장의 영상을 대상으로 [그림 10]과 같이 인식 시뮬 선택적 선명화 알고리즘은 번호판 검출 이후 추출된 번호판 영상에 적용되므로 번호판 검출 성능은 모두 동 일하다. 문자열 분할 성능은 번호판에 기록된 문자들이 완전하게 분할된 번호판의 개수를 의미하며 번호판 인 식 성능은 번호판에 기록된 문자들이 모두 인식된 번호 판의 개수를 의미한다. 따라서 번호판에 기록된 문자들

8 8 한국콘텐츠학회논문지 '14 Vol. 14 No. 12 중하나라도잘못분할되거나잘못인식되면번호판검출또는인식에실패한것으로처리하였다. 선택적선명화방법이가장우수한성능을보였으며모든영상에대해서일률적으로선명화를적용했을경우에는선명화를적용하지않았을때보다오히려성능이저하되었다. 이는블러링이발생하지않은영상에서과선명화로인해배경이나문자주위의잡음이강조되어인식을위한이진영상이올바르게생성되지않아문자분할이정확하게되지않았기때문인것으로판단된다. [ 표 2] 에기존연구결과에서번호판검출및인식에사용된알고리즘들과의성능을비교한결과를보였다. 착된기간이오래되어번호판이낡았기때문인것으로판단된다. [ 표 4] 에주간및야간촬영에따른차량의번호판검출, 문자분할및번호판인식성능을도시하였다. 표 4. 주야간촬영시기에따른번호판검출, 문자분할및번호판인식성능비교 구분주간촬영야간촬영소계 번호판검출 5,667(99.4%) 523(95.8%) 6,190(99.1%) 문자열분할 5,658(99.3%) 511(93.6%) 6,169(98.8%) 번호판인식 5,654(99.2%) 505(92.5%) 6,159(98.6%) 계 5, ,245 표 2. 기존연구결과들과번호판검출및인식성능비교 알고리즘 번호판 번호판 번호판 검출 / 인식 개 수 검출률 인식률 투영 / 영상개선 + 신경망 [4] % 투영 / 템플릿매칭 [5] % 95.0% 아다부스트 / HoG+ 신경망 [7] 5, % 98.4% 블롭해석 / 신경망 (Proposed) 6, % 98.6% 번호판검출을위해본논문의블롭해석에의한방법이에지추출후투영에의한알고리즘 [4][5], 아다부스트 (adaboost) 분류기에의한알고리즘 [7] 들에비해비교적우수한성능을얻을수있었다. 그리고본논문의신경망을이용한번호판문자인식성능이다른방법들에비해우수한인식성능을보였다. [ 표 3] 에번호판의색상에따른번호판검출, 문자분할및번호판인식성능을도시하였다. 표 3. 번호판색상에따른번호판검출, 문자분할및번호판인식성능비교 구분 흰색번호판 녹색번호판 소계 번호판검출 4,972(99.7%) 1,218(97.0%) 6,190(99.1%) 문자열분할 4,962(99.5%) 1,207(96.1%) 6,169(98.8%) 번호판인식 4,956(99.3%) 1,203(95.8%) 6,159(98.6%) 계 4,989 1,256 6,245 녹색번호판이흰색번호판에비해낮은인식성능을보인것은문자와배경사이의명도대비가더낮고녹색번호판이흰색번호판에비해구형이어서차량에부 주간에촬영된차량영상의경우차량의전면부또는후면부에부착된번호판에대해 99.2% 의인식률을보였으나야간에촬영된차량영상의경우화질의저하로인해번호판검출, 문자열분할및번호판인식성능이모두저하되었다. 시험영상전체에대해 98.6% 의인식률을보였으며프레임당평균 0.087초정도의속도로인식하였다. V. 결론본논문에서는스마트톨링을위해톨게이트에설치된고정식 CCTV로촬영한차량영상에서발생할수있는블러링정도를자동으로판단해서심하게블러링된경우에만선명화를수행하고정상적으로촬영된영상에대해서는과선명화가발생하지않도록함으로써번호판의인식성능을제고시킬수있는선택적선명화방식의스마트톨링용차량번호판인식알고리즘을제안하였다. 시험주행용고속도로에서주행중인시험차량들의전면및후면을촬영한 6,245 장의차량영상에대해서 98.6% 의인식률을보였으며프레임당평균 0.087초의인식속도를보였다. 선택적선명화를적용한방법이선명화를적용하지않았거나일률적으로선명화를적용한방법들에비해높은인식성능을보였다. 스마트톨링을위한번호판인식엔진으로활용하기위해서향

선택적선명화에의한스마트톨링용차량번호판인식 9 후녹색번호판의검출및문자분할에대한알고리즘을보완하는작업과야간촬영영상에대한개선작업이계속되어야할것으로사료된다. 참고문헌 [1] 김영국, 장순응, 이진우, 하이패스없어도민자고속도로요금소무정차통과본격착수, 보도자료, 국토교통부, 2014. [2] http://joongang.joins.com/r/?

9 선택적선명화에의한스마트톨링용차량번호판인식 9 후녹색번호판의검출및문자분할에대한알고리즘을보완하는작업과야간촬영영상에대한개선작업이계속되어야할것으로사료된다. 참고문헌 [1] 김영국, 장순응, 이진우, 하이패스없어도민자고속도로요금소무정차통과본격착수, 보도자료, 국토교통부, [2] [3] 문성원, 장언동, 송영준, 기울어진차량번호판영역의검출, 한국콘텐츠학회논문지, 제4권, 제3 호, pp , [4] 김병형, 한영준, 한헌수, 불규칙조명환경에강인한번호판문자분리기법, 한국컴퓨터정보학회논문지, 제14권, 제11호, pp.61-71, [5] 염희정, 운성종, 황보택근, 휴대단말기영상에서의기하학적정보를이용한차량번호판인식, 한국콘텐츠학회논문지, 제10권, 제10호, pp.1-8, [6] 김진호, 저조도영상에서말레이시아차량번호판인식, 한국콘텐츠학회논문지, 제13권, 제10호, pp.19-26, [7] 진문용, 박종빈, 이동석, 박동선, 적응휴리스틱분할알고리즘을이용한실시간차량번호판인식시스템, 정보처리학회논문지, 제3권, 제9호, pp , [8] J. Fan, Enhancement of Camera-captured Document Images with Watershed Segmentation, CBDAR 2007, Brasil, pp.87-93, [9] Q. Shan, J. Jia, and A. Agarwala, High-quality Motion Deblurring from a Single Image, ACM Trans. on Graphics, Vol.27, No.7, [10] J. Kumar, F. Chen, and D. DoerMann, Sharpness Estimation for Document and Scene Images, ICPR 2013, Tsukuba, Japan, 2013(11). [11] N. Hassan and N. Akamatsu, A New Approach for Contrast Enhancement Using Sigmoid Function, Int. Arab J. of Information Technology, Vol.2, pp , 2004(7). [12] M. Feng, Contrast Adaptive Binarization of Low Quality Document Images, IEICE Electronics Express, Vol.1, No.16, pp , 저자소개김진호 (Jin-Ho Kim) 정회원 1986년 2월 : 경북대학교전자공학과 ( 공학사 ) 1988년 2월 : 경북대학교전자공학과 ( 공학석사 ) 1992년 2월 : 경북대학교전자공학과 ( 공학박사 ) 1992년 3월 ~ 현재 : 경일대학교전자공학과교수 < 관심분야 > : 패턴인식, 영상처리, 컴퓨터비젼

Gray level 변환 및 Arithmetic 연산을 사용한 영상 개선

Gray level 변환 및 Arithmetic 연산을 사용한 영상 개선 Point Operation Histogram Modification 김성영교수 금오공과대학교 컴퓨터공학과 학습내용 HISTOGRAM HISTOGRAM MODIFICATION DETERMINING THRESHOLD IN THRESHOLDING 2 HISTOGRAM A simple datum that gives the number of pixels that a