(19) 대한민국특허청 (KR) (12) 공개특허공보 (A) (51) 국제특허분류 (Int. Cl.) G06T 7/20 (2006.01) (21) 출원번호 10-2011-0125814 (22) 출원일자 2011 년 11 월 29 일 심사청구일자 전체청구항수 : 총 5 항 2011 년 11 월 29 일 (54) 발명의명칭터널유고시스템의객체인식방법 (11) 공개번호 10-2013-0059700 (43) 공개일자 2013년06월07일 (71) 출원인 동의대학교산학협력단 부산광역시부산진구가야대로 657-7 ( 가야동 ) (72) 발명자 유윤식 부산광역시해운대구해운대해변로 117, 110 동 1501 호 ( 우동, 대우마리나아파트 ) 박장식 부산광역시해운대구재송동센텀파크 112 동 280 4 호 ( 뒷면에계속 ) (74) 대리인 김홍길 (57) 요약 본발명은터널유고시스템의객체인식방법에관한것으로, 보다상세하게는, 검출된객체의크기비율의범위에따라이동객체의종류를구분할수있는터널유고시스템의객체인식방법에관한것이다. 카메라영상을통해이동객체를검출하는터널유고시스템의객체인식방법에있어서, 본발명의터널유고시스템의객체인식방법에따르면, 영상에서검출된이동객체의외각을따라사각형으로레이블링하는단계와, 레이블링의가로, 세로비율의범위에따라상기이동객체의종류를구분하는단계를통하여객체의종류를구분해낼수있어터널유고상황시신속한대응이가능하다. 또한, 현재프레임영상의레이블링비율과이전프레임영상의레이블링비율을비교하여두비율이서로다르면상기이동객체의겹침이발생한것으로판단함으로써이동객체의겹침을검출해낼수있어계속적인추적을수행할수있다. 대표도 - 도 3-1 -
(72) 발명자 김현태 부산광역시수영구광안 2 동 SK 뷰아파트 105-1601 김규영 부산광역시동래구온천 3 동반도보라스카이뷰 @ 10 3 동 803 호 이발명을지원한국가연구개발사업 과제고유번호 B1100-010-0010 부처명 지식경제부 연구사업명 정보통신기반구축사업 연구과제명 IT특화연구소설립지원 ( 부산IT융합부품연구소 ) 주관기관 동의대학교산학협력단 연구기간 2011.01.01 ~ 2011.12.31-2 -
특허청구의범위청구항 1 카메라영상을통해이동객체를검출하는터널유고시스템의객체인식방법에있어서, 상기영상에서검출된이동객체의외각을따라사각형으로레이블링하는단계 ; 상기레이블링의가로, 세로비율의범위에따라상기이동객체의종류를구분하는단계 ; 를포함하는것을특징으로하는터널유고시스템의객체인식방법. 청구항 2 제 1항에있어서, 상기레이블링의가로및세로의수치는상기영상에서감지되는범위에서구간별로상기이동객체를검출할수있도록구분되어있는거리와상기구분된거리의위치에있는이동객체의종류에따라미리저장되어있는것을특징으로하는터널유고시스템의객체인식방법. 청구항 3 제 2항에있어서, 상기거리의최소값은상기영상에서일부분만나타난상기이동객체의전체외형이최초로모두표시되었을때의좌표를기준으로하는것을특징으로하는터널유고시스템의객체인식방법. 청구항 4 제 1항에있어서, 상기이동객체종류구분단계는, 상기레이블링의상기가로, 세로비율이 0.4 이상 2.0 미만인경우상기이동객체는차량으로인식하고, 상기비율이 2.0 이상 6.0 미만인경우상기이동객체는사람으로인식하는것을특징으로하는터널유고시스템의객체인식방법. 청구항 5 제 1항에있어서, 상기이동객체의종류를구분하는단계후현재프레임영상의레이블링비율과이전프레임영상의레이블링비율을비교하여두비율이서로다르면상기이동객체의겹침이발생한것으로판단하는단계를더포함하는것을특징으로하는터널유고시스템의객체인식방법. 명세서 [0001] 기술분야 본발명은터널유고시스템의객체인식방법에관한것으로, 보다상세하게는, 검출된객체의크기비율의범위 에따라이동객체의종류를구분할수있는터널유고시스템의객체인식방법에관한것이다. [0002] [0003] 배경기술일반적으로터널과같은한정된공간에서의차량사고는일반도로의상황보다심각한사고가발생할가능성이많다. 이와같은유고상황에대한조기대응및관리를위해터널내영상감지시스템이도입되고있다. 터널영상유고감지시스템은 CCTV 영상자료를분석하여정지차량, 역주행차량, 보행자, 낙하물등유고유형을감지하여관리자에게알려주는시스템이며, 도로터널방재시설설치및관리지침 (2009.8) 에서는이러한시스템에사용되는카메라를 3m ~ 3.5m 높이에 100m ~ 150m 간격으로설치하도록권고하고있다. 한국도로공사및국토관리청등도로유지관리관련기관에서는터널내영상유고감지시스템을일부설치하여운영하고있으며, - 3 -
이는점차확대될전망이다. [0004] [0005] [0006] 도 1은도로터널방재시설지침에따른카메라의감지범위와거리를나타낸도면이다. 도 1에서볼수있듯이, 터널내에는일정간격으로카메라가설치되어있으며, 상황실에서는 CCTV 영상을통해각카메라의감지범위내에서유고상황을확인할수있도록되어있음을알수있다. 객체추적에관한연구는크게영역기반추적, 특징점기반추적, 모델기반추적, 필터기반추적으로나눌수있다. 그러나이러한방법들모두객체의종류를파악할수없어유고상황시신속한대응이어려운경향이있으며, 유고상황을감지하는데있어서객체들의겹침현상이발생할경우객체추적에실패하는문제점이있었다. 위와같은이유로, 객체의종류를구분하는동시에객체의겹침현상을검출하여추적할수있는알고리즘이필요하게되었다. 발명의내용 [0007] [0008] 해결하려는과제본발명은이와같은종래의문제점을개선하기위해제안된것으로, 터널내유고상황을감지하는데있어객체의종류를정확하게구분해내고, 이와더불어객체의겹침을검출하여계속적으로추적할수있는방법을제공하는것을목적으로한다. [0009] [0010] [0011] [0012] 과제의해결수단상기의목적을달성하기위해본발명의터널유고시스템의객체인식방법은, 카메라영상을통해이동객체를검출하는터널유고시스템의객체인식방법에있어서, 상기영상에서검출된이동객체의외각을따라사각형으로레이블링하는단계 ; 상기레이블링의가로, 세로비율의범위에따라상기이동객체의종류를구분하는단계 ; 를포함하는것이바람직하다. 또한, 본발명의터널유고시스템의객체인식방법의상기레이블링의가로및세로수치는상기영상에서감지되는범위에서구간별로상기이동객체를검출할수있도록구분되어있는거리와상기구분된거리의위치에있는이동객체의종류에따라미리저장되어있는것이바람직하며, 상기거리의최소값은상기영상에서일부분만나타난상기이동객체의전체외형이최초로모두표시되었을때의좌표를기준으로하는것이바람직하다. 그리고, 본발명의터널유고시스템의객체인식방법의상기이동객체종류구분단계는, 상기레이블링의상기가로, 세로비율이 0.4 이상 2.0 미만인경우상기이동객체는차량으로인식하고, 상기비율이 2.0 이상 6.0 미만인경우상기이동객체는사람으로인식하는것이바람직하다. 마지막으로, 본발명의터널유고시스템의객체인식방법은상기이동객체의종류를구분하는단계후현재프레임영상의레이블링비율과이전프레임영상의레이블링비율을비교하여두비율이서로다르면상기이동객체의겹침이발생한것으로판단하는단계를더포함하는것이바람직하다. [0013] [0014] [0015] 발명의효과본발명의터널유고시스템의객체인식방법에따르면, 영상에서검출된이동객체의외각을따라사각형으로레이블링하고, 레이블링의가로, 세로비율을계산하여비율범위를판단함으로써이동객체의종류를구분해낼수있어터널유고상황시신속한대응이가능하다. 또한, 현재프레임영상의레이블링비율과이전프레임영상의레이블링비율을비교하여두비율이서로다르면상기이동객체의겹침이발생한것으로판단함으로써이동객체의겹침을검출해낼수있어계속적인추적을수행할수있다. [0016] 도면의간단한설명 도 1 은도로터널방재시설지침에따른감지범위와거리를나타낸도면이다. 도 2 는본발명의일실시예에따른구성도이다. - 4 -
도 3 은본발명의일실시예에따른객체구분단계의구성도이다. 도 4 는본발명의일실시예에따른겹침검출을나타낸개념도이다. 도 5 는본발명의일실시예에따른실험결과이다. [0017] 발명을실시하기위한구체적인내용 이하에서는도시된도면을참조하여본발명의터널유고시스템의객체인식방법의실시예에관하여구체적으 로설명하기로한다. [0018] [0019] 도 2 및도 3은본발명의터널유고시스템의객체인식방법의일실시예에따른구성도이다. 도 2에도시된바와같이, 본발명의터널유고시스템의객체인식방법을적용시키기위해서는먼저, 카메라영상을통해이동객체를검출하여야하며이를위해영상입력단계 (100), 객체후보검출단계 (200) 및객체검출단계 (300) 가선행될것이다. 이후본발명인레이블링단계 (400) 와객체구분단계 (500) 를거쳐객체의종류를구분해내고, 겹침검출단계 (600) 단계에서겹쳐있는이동객체를검출하여계속적인객체추적이가능하도록한다. 그러므로앞선 3단계인영상입력단계 (100), 객체후보검출단계 (200) 및객체검출단계 (300) 는본발명의기술적사상에는포함되지는않으나본발명을적용시키기위해전제되어있어야할과정이므로본발명의이해를돕고자각부분의명칭과정의에대해서먼저간략하게설명하기로한다. [0020] 먼저, 영상입력단계 (100) 은 CCTV 의카메라를통해서처리하고자하는영상을입력받는단계이다. 영상은카메라 의해상도에따라 320 X 240, 640 X 480, 720 X 480. 1080 X 720, 1280 X 720 등으로나눌수있으며, 본발명 에서는 1280 X 720 p 영상을기준으로설명하기로한다. [0021] 다음, 객체후보검출단계 (200) 에서는이동객체를정확하게검출해내기위한사전작업을수행하는단계이다. 한편, 본발명에서설명하는객체의종류는터널내유고상황시추적해야할대상인차량, 사람임이바람직하다. 또한, 본발명에서설명하는이동객체란현재이동중인객체만으로한정하는의미로해석되어서는안되며, 이동중인객체뿐만아니라정지해있지만이동가능한객체도포함되어해석되는것이바람직하다. 그리고, 본발명을설명하는데있어서, 객체도기본적으로이동가능한것을전제로하기때문에객체와이동객체는혼용되어사용될것이다. [0022] [0023] [0024] 객체후보검출 (200) 단계는다시배경추정과정과노이즈제거과정으로나눌수있다. 이중, 배경추정을위해서는배경과객체를분리할수있는가우시안혼합모델 (MoG:Mixture of Gaussian), 커널밀도추정 (KDE:Kernel Density Estimate), 러닝가우시안 (RGA:Running Gaussian Average) 알고리즘등을사용할수있다. 또한, 노이즈제거를위해주어진마스크영역의값들을크기순서대로정렬한후중간크기의값을선택하는필터인미디언필터 (TMF:Temporal Median Filter) 를적용시킬수있으며, 모폴로지 (Morphology) 의팽창연산 (Dilation) 을통해객체의특성은확대시켜강조하고배경은축소시키거나, 반대로침식연산 (Erosion) 을통해객체는축소시키고배경을강조하는기법을사용할수있다. 이처럼, 배경추정과정과노이즈제거과정을통해객체후보를검출해낸다. [0025] 다음, 객체검출단계 (300) 에서는검출하고자하는객체를학습시키는에이다부스트 (Adaboost) 알고리즘을통하여 객체와비객체를구분하며, 앞서검출된객체후보중에서객체를검출해낸다. [0026] 상기과정을거쳐검출된이동객체는레이블링단계 (400) 에서객체의외곽을따라사각형의프레임으로레이블링 되며, 객체구분단계 (500) 에서이동객체의크기비율에따라객체의종류를구분해내고, 복수개의객체가겹쳐 있을경우겹침검출단계 (600) 단계에서이를검출하여계속적으로추적이가능하도록한다. - 5 -
[0027] 여기서, 객체구분단계 (500) 은도 3 에도시된바와같이다시구간별검출 (510), 차량판단 (520), 사람판단 (53 0) 으로구성될수있다. 하지만, 이는필수적인구성요소들이아니며검출목적으로하는객체에따라그구성을 추가, 삭제또는변경이가능하다. [0028] 구간별검출 (510) 에서는영상에서감지되는범위에서구간별로이동객체를검출할수있도록일정거리별로구분하여검출한다. 본발명의일실시예로 1구간 (511):20m이전, 2구간 (512):20~50m, 3구간 (513):50~100m, 4구간 (514):100~150m, 5구간 (515):150m 이후로구분할수있으나한구간의거리나분할구간의개수는감지및작업의효율에따라조정가능하다. [0029] [0030] 이후, 각구간별로차량판단 (520), 사람판단 (530) 과정을거쳐차량인식 (521) 또는사람인식 (531) 을하게된다. 한편, 객체의구분및겹침검출을위해서는일정거리및객체의종류에따른객체의높이수치와폭수치를포함하는크기정보데이터가미리저장되어있는것이바람직하며이에관한실시예는 [ 표 1] 과같다. [0031] 표 1 거리및차량종류에따른크기 [ 단위 : 픽셀 (Pixel) ] [0032] 본발명의일실시예로 [ 표 1] 은차량, 사람을검출할객체로하고, 차량은크기별로다시 CAR, SUV, TRUCK 의종류로구분되며, 각객체는카메라에서멀어질수록영상에서보여지는크기역시줄어들게되므로일정거리마다 ([ 표 1] 에서는 10m 간격 ) 달라지는가로수치 (W:Wide) 및세로수치 (H:Height) 데이터를포함하는것이바람직하다. ( 참고로, 가로및세로수치의단위는 1280 X 780 p 화면의픽셀 (Pixel) 단위이다.) 또한, 거리의최소값 (0m) 은영상에서일부분만나타난객체의전체외형이최초로모두표시되었을때의좌표를기준으로하는것 - 6 -
이바람직하다. [0033] [0034] [0035] [0036] [0037] [0038] [0039] 이러한구성에따른객체구분방법은아래와같다. 영상에서객체가검출되면레이블링단계 (400) 에서이동객체의외곽을따라사각형의프레임으로레이블링을한뒤, 객체구분단계 (500) 에서레이블링의폭수치대높이수치비율의범위에따라이동객체의종류를구분한다. 이때, 객체의종류를구분하기위해서우선, [ 표 1] 처럼저장된객체의크기정보를바탕으로가로, 세로비율을계산하여저장시킨다. 가로대세로수치의비율인경우를식으로나타내면, " 비율 = 세로 / 가로 " 가되며, 계산된비율의범위에따라객체를구분하여인식한다. 만약, 그비율이 0.7 이상 1.2 미만인경우상기이동객체는낙하물로인식하고, 상기비율이 1.2 이상 2 미만인경우상기이동객체는차량으로인식하고, 상기비율이 2 이상 5 미만인경우상기이동객체는사람으로인식하는것이다. 이렇게크기를비교하여객체의겹침을검출해내는과정과비율을판단하여객체의종류를구분하는과정은상기에서언급한 1구간 (411) ~ 5구간 (415) 에걸쳐각구간마다반복되어진행된다. 예컨대, 2구간 (512):20~50m에서이동객체가검출되면객체를레이블링하고, 레이블링된객체의가로가 105 픽셀, 세로가 98 픽셀이면 2구간중에서도대략 30m 지점에객체가있다는것을알수있다. 또한, 앞서언급한식에따라가로세로비율을계산하면 98 / 105 = 0.93 으로, 비율이 0.7 이상 1.2 미만에속하므로, 이동객체는차량이며, 차량중에서도 SUV 임을알수있다. 한편, 감지영역에서 0m 지점과 150m 지점은객체의추적이시작되거나끝나는영역이며, 이두영역밖으로벗어나는경우객체가감지영역을벗어나는경우가되며이에관한정보는이전프레임에서객체위치및크기정보를이용하여알수있다. [0040] [0041] [0042] 이동객체의종류를구분한후에는겹침검출단계 (600) 를추가적으로실행할수있다. 겹침검출단계 (600) 에서는현재프레임영상의레이블링비율과이전프레임영상의레이블링비율을비교하여두비율이서로다르면상기이동객체의겹침이발생한것으로판단한다. 도 4는본발명의일실시예에따른겹침검출을나타낸개념도이다. 도 4에도시된바와같이, 겹침검출단계 (600) 에서는이동객체의개별적인검출이이루어졌다가이후에객체겹침이발생하는경우와처음부터객체겹침이발생했다가이후에객체의이동으로객체가개별적으로분리되어객체겹침이해체경우에서모두객체를겹침을검출해내어강인한추적이가능하게된다. 예컨대, 이전프레임의레이블링비율이 0.93 였는데현재프레임의레이블링비율이 0.5 라면, 각프레임의레이블링비율이다르고 [ 표 1] 을참조했을때이전프레임의레이블링비율만 [ 표 1] 과일치하는비율 ( 가로 105, 세로 98 경우 ) 이존재하므로이전프레임의비율은그비율이검지영역내에서이동객체가검출되었다가다른객체의이동으로인하여겹쳐지는경우라고해석할수있다. 이와반대의경우로, 이전프레임의레이블링비율이 0.5 였는데현재프레임의레이블링비율이 0.93이라면, 각프레임의레이블링비율이다르고 [ 표 1] 을참조했을때현재프레임의레이블링비율만 [ 표 1] 과일치하는비율이존재하므로검지영역내에서처음부터여러개의객체가겹쳐져있다가각각의객체의이동으로인해겹침이해제된경우라고해석할수있다. [0043] [0044] [0045] 도 5는본발명의영상감지시스템의객체겹침검출및추적방법의일실시예에따른실험결과이다. 참고로, 실험은 Intel Core2 Quad Q9300 2.5GHz CPU에서 Visual Studio 2010과영상처리용오픈소스라이브러리인 OpenCV를사용했으며, 1280 X 720p 영상을바탕으로본발명의영상감지시스템의객체겹침검출및추적방법에따른알고리즘을적용시켜실험하였다. 실험결과는 CPU, SW 통합개발환경, 라이브러리, 영상규격등에따라약간의오차는있을수있으나유의한차이를내지는않을것이다. 도 5에알수있듯이, 터널내설치되어있는카메라를통해출력되는영상, 즉, 원본영상 (700) 에서는화면의우측편에차량 3대가지나가고있음을관찰할수있으며, 본발명을적용시킨결과영상 (710) 에서는이를각각의차량으로모두검출해내어레이블링하고이를추적함을확인할수있다. - 7 -
[0046] 이처럼, 본발명을통하여영상에서검출된이동객체를레이블링하고, 레이블링의가로, 세로비율범위를판단함으로써이동객체의종류를구분해낼수있어터널유고상황시에도신속하게대응할수있다. 또한, 현재프레임영상의레이블링비율과이전프레임영상의레이블링비율을비교하여이동객체의겹침을검출해낼수있어강인한추적을수행할수있게된다. [0047] 이상, 본발명의터널유고시스템의객체인식방법의일실시예에대하여설명하였으나, 해당기술분야에서통상의지식을가진자라면특허청구범위에기재된본발명의사상으로부터벗어나지않는범위내에서, 구성요소의부가, 변경, 삭제또는추가등에의해본발명을다양하게수정및변경시킬수있을것이며, 이또한본발명의권리범위내에포함된다고할것이다. [0048] 부호의설명 100 : 영상입력단계 200 : 객체후보검출단계 300 : 객체검출단계 400 : 레이블링단계 500 : 객체구분단계 510 : 구간별검출 511 : 1구간 512 : 2구간 513 : 3구간 514 : 4구간 515 : 5구간 520 : 차량판단 521 : 차량인식 530 : 사람판단 531 : 사람인식 600 : 겹침검출단계 700 : 원본영상 710 : 결과영상 도면 도면 1-8 -
도면 2 도면 3-9 -
도면 4 도면 5-10 -