(19) 대한민국특허청 (KR) (12) 공개특허공보 (A) (51) 국제특허분류 (Int. Cl.) B60W 30/10 (2006.01) B60W 30/12 (2006.01) B60W 40/02 (2006.01) G06T 7/00 (2006.01) (21) 출원번호 10-2013-0071751 (22) 출원일자 2013 년 06 월 21 일 심사청구일자 전체청구항수 : 총 7 항 2013 년 06 월 21 일 (54) 발명의명칭지능형차량의차선검출방법 (11) 공개번호 10-2014-0148171 (43) 공개일자 2014년12월31일 (71) 출원인 가천대학교산학협력단 경기도성남시수정구성남대로 1342 ( 복정동 ) (72) 발명자 한기태 경기성남시분당구양현로 192, 1012 동 601 호 ( 이매동, 이매촌삼성아파트 ) 허환 경기성남시수정구수정로 87 번길 24-1, 101 호 ( 태평동 ) 김성훈 경기성남시수정구제일로 214-4, ( 태평동 ) (74) 대리인 김일환 (57) 요약 본발명은지능형차량의차선검출방법에관한것으로, (a) 입력받은영상의최초프레임에서 RANSAC 알고리즘을이용하여도로의소실점을검출하는단계 ; (b) 상기소실점주변의일정영역을템플릿매칭에사용할템플릿영역 (TA) 으로저장하는단계 ; (c) 상기소실점을기준으로하단으로내려가면서차선을예측하는단계 ; (d) 예측된상기차선을기반으로투시변환계수를추출하는단계 ; (e) 상기추출된투시변환계수를역투시변환하여역투시변환계수를추출하고, 상기역투시변환계수를이용하여원근감이제거된영상을획득하는단계 ; 및 (f) 상기원근감이제거된영상에서차선필터를적용하여차선을검출하는단계를포함한다. 이와같은본발명은영상의카메라파라미터가필요없는역투시변환기술및제안한차선필터를사용하여경사진도로환경에서도강인한실시간차선검출방법을제공한다. 대표도 - 도 1-1 -
이발명을지원한국가연구개발사업 과제고유번호 C0037819 부처명 중소기업청 연구관리전문기관 ( 사 ) 한국산학연협회 연구사업명 산학연공동기술개발지역사업 연구과제명 스마트폰센서와영상인식기술을이용한안전운전서비스 SW 개발 기여율 1/1 주관기관 가천대학교산학협력단 연구기간 2012.06.01 ~ 2013.05.31-2 -
특허청구의범위청구항 1 지능형차량의차선검출방법에있어서, (a) 입력받은영상의최초프레임에서 RANSAC 알고리즘을이용하여도로의소실점을검출하는단계 ; (b) 상기소실점주변의일정영역을템플릿매칭에사용할템플릿영역 (TA) 으로저장하는단계 ; (c) 상기소실점을기준으로하단으로내려가면서차선을예측하는단계 ; (d) 예측된상기차선을기반으로투시변환계수를추출하는단계 ; (e) 상기추출된투시변환계수를역투시변환하여역투시변환계수를추출하고, 상기역투시변환계수를이용하여원근감이제거된영상을획득하는단계 ; 및 (f) 상기원근감이제거된영상에서차선필터를적용하여차선을검출하는단계를포함하는것을특징으로하는지능형차량의실시간차선검출방법. 청구항 2 제1항에있어서, 상기 (a) 단계는, 입력받은영상을그레이 (Gray) 영상으로변환하는단계 ; 상기그레이영상을캐니에지변환으로에지를검출하는단계 ; 표준허프변환을이용하여상기영상내의선분들의집합 S를생성하는단계 ; 상지집합 S에서임의로두선분을선택하고, 상기두선분의교차점 (p) 를산출하는단계 ; 상기교차점 (P) 를통과하는선분들의집합 Sp를산출하는단계 ; 상기집합 Sp 중가장큰집합을가지는점을소실점으로선택하는단계를포함하는것을특징으로하는지능형차량의실시간차선검출방법. 청구항 3 제1항또는제2항에있어서, 상기 (c) 단계이후, 상기검출된소실점을기준으로관심영역 (ROI) 을지정하는단계를더포함하는것을특징으로하는지능형차량의실시간차선검출방법. 청구항 4 제3항에있어서, 상기입력받은영상이최초프레임이아니거나상기 (d) 단계이후에, 상기저장된템플릿영역에원본영상과비교하여유사영역 (Similar Area:SA) 을검출하는단계 ; 상기템플릿과유사영역의좌표를비교해상기템플릿영역이 Y축으로이동한경우, 변동된영역을새로운템플릿영역으로저장하는단계 ; - 3 -
상기새로운템플릿영역의중심점을소실점으로재설정하는단계 ; 상기재설정된소실점을기준으로관심영역 (ROI) 를재설정하는단계 ; 및상기재설정된소실점을적용하여투시변환계수를다시추출하는단계를더포함하는것을특징으로하는지능형차량의실시간차선검출방법. 청구항 5 제3항에있어서, 상기관심영역 (ROI) 은상기소실점을기준으로하부영역인것을특징으로하는지능형차량의실시간차선검출방법. 청구항 6 제4항에있어서, 상기 (C) 단계는, 상기역투시변환에사용되기위해호모그래피행렬을산출하는단계를포함하는것을특징으로하는지능형차량의실시간차선검출방법. 청구항 7 제4항에있어서, 상기템플릿매칭은, 정규화된상관관계 (NCC:Normalized Cross-Correlation) 매칭방법을사용하는것을특징으로하는지능형차량의실시간차선검출방법. 명세서 [0001] 기술분야본발명은지능형차량의차선검출방법에관한것으로, 보다상세하게는카메라파라미터를산출할필요없이카메라에입력되는영상만으로경사진도로환경등에서도역투시매핑 (IPM) 방법과같은성능을가지는차선검출방법에관한것이다. [0002] [0003] [0004] 배경기술최근 IT융합기술이발전함에따라자동차산업에서도여러 IT기술과융합된스마트카 (Smart Car) 의기술이떠오르고있다. 스마트카진화의핵심은기존최첨단텔레매틱스서비스를적극수용함에따라폭넓은서비스가가능하게된것이다. 이러한서비스를이용한고안전지능형차량 (Advanced Vehicle Safety: AVS) 은사고예방및회피, 충돌등위험상황으로부터운전자및탑승자를보호하여교통사고및피해를줄일수있는기술로평가된다. 고안전지능형차량의구성요소중하나인차선이탈경고시스템 (Lane Departure Warning System) 은영상, 레이더, 레이저등의입력센서로부터영상정보를입력받아주행중인차량의차선이탈여부를판별하여운전자의전방주시태만이나졸음운전등을경고하여안전운전기능을구현하는기술이다. 이러한기능을구현하기위해서는각종센서를유기적으로잘활용하는것이중요하지만수동센서인영상센서를사용하는것이일반적이다. 영상입력센서를사용하여차선이탈여부를판별하기위한실시간차선검출알고리즘은단순하고적은연산 - 4 -
으로처리시간을단축시켜실시간으로사용할수있어야한다. 차선검출알고리즘의경우색정보 [ 대한민국, 공개번호 10-2013-0028610] 나차선에지정보를이용하여판단하는데색정보는에지정보 [ 대한민국, 공개번호 10-2011-0001427호 ] 보다정확하게검출이가능하지만특정한색을추출하기때문에특징추출선택의폭이제한적이다. 또한에지정보를사용하는허프변환의경우잡음이나도로의상태에강건하게직선추출이가능하지만연산량이많아실시간검출에적용하기힘든단점이있다. [0005] [0006] 차량검출방법에는여러가지방법이있는데, Y. Wang은 B-Snake 기반의차선검출방법을제안하였다. 이방법은 B-Spline에필요한제어점을찾기위하여 Snake 알고리즘을사용해제어점을설정하여어떠한형태의차선이라도검출가능한강건한차선검출방법을제안하였으나검출시간이길어실시간차선검출에는사용의제약을가지고있다. Alberto Broggi는카메라파라미터를이용하여영상의원근효과를제거해탑뷰 (top view) 영상을생성하여차선을검출하는방법을제안하였다. 영상의원근효과를제거하기위하여역투시매핑 (IPM: Inverse Perspective Mapping) 방법으로차선을평행하게만들어영상전체를사용하지않고차선이나타나는영역만을사용할수있어검출시간을단축시킬수있었다. 그러나이방법은역투영변환을하기위하여카메라의파라미터를사전에알아야하는단점이존재한다. 발명의내용 [0007] 해결하려는과제상술한문제를해결하고자하는본발명의과제는, 카메라파라미터를산출할필요없이빠른속도로차선을검출할수있고, 도로경사변화에강건하게실시간으로차선을검출할수있는지능형차량의차선검출방법을제공하고자함이다. [0008] 과제의해결수단제안하는방법은영상최초프레임에서소실점을검출하여소실점을기준으로하는최초차선을예측하고소실점주변영역을템플릿으로저장하고이를이용하여다음프레임에대한소실점영역을추적하도록한다. 예측된소실점영역으로부터차선을예측하고, 예측된차선으로부터생성한이상형차선을설정하며, 이를이용하여투시변환에사용할호모그래피행렬을추출한다. 추출된호모그래피행렬을사용하여원근효과가제거된영상을생성하며, 여기에 5x1 차선필터를사용하여차선을검출한다. [0009] [0010] 발명의효과이와같은본발명은영상의카메라파라미터가필요없는역투시변환기술및제안한차선필터를사용하여경사진도로환경에서도강인한실시간차선검출방법을제공한다. 또한, 본발명은경사진도로환경에서도차선검출이견고하며, 처리영역을축소하고처리과정을단순화함으로서초당 40 frames 정도의양호한차선검출결과보여준다. [0011] 도면의간단한설명 도 1 은본발명의실시예에따른지능형차량의실시간차선검출방법의흐름을나타낸블록구성도이고, 도 2는본발명의실시예에따른차선검출방법에적용되는소실점획득을위한처리과정을나타내는모식도이고, 도 3은본발명의실시예에따른차선검출방법에적용되는투시변환의예를나타낸모식도이고, 도 4는정상도로인상태와경사도로의상태에서동일한변환계수를적용했을때의문제점을나타낸사진이고, 도 5는입력된영상과입력된영상의소실점을기준으로템플릿영역을지정한모습을나타낸사진이고, 도 6은본발명의실시예에따른차선검출방법으로최초차선의예측의결과를나타낸사진이고, 도 7은본발명의실시예에적용되는관심영역 (ROI) 지정을나타낸사진이고, 도 8은본발명의실시예에따라예측된차선과이상형차선을나타낸사진이고, - 5 -
도 9는본발명의실시예에적용되는역투시변환의예를나타낸모식도이고, 도 10은본발명의실시예에따라예측되는차선과이상형차선의상관관계를나타낸모식도이고, 도 11은본발명의실시예에따라예측된 2개의타입의차선의예를나타낸모식도이고, 도 12는도로경사가변화하는경우재지정딘소실점영역을나타낸사진이고, 도 13은본발명의실시예에따라호모그래피행렬을이용하여역투시변환한결과를나타낸사진이고, 도 14는본발명의실시예에서사용되는차선필터의예를나타낸모식도이고, 도 15는본발명의실시예에따라예측되는차선히스토그램에서의그레이값을나타낸그래프이고, 도 16은본발명의실시예에적용되는차선필터에따라검출된차선을나타낸사진이고, 도 17은도로의상태가직선이고장애물이존재하지않는상황에서차선검출의예를나타낸사진이다. 도 18은도로의상태가곡선이고도로의환경이이상적인경우의실험결과를나타낸사진이고, 도 19는도로의상태가불규칙하거나그림자가껴있는경우와도로의환경변화나문양이생기는경우의실험결과를나타낸사진이고, 도 20은차선의상태가불규칙하거나차선위로다른차량이끼어들기를하는경우의실험결과를나타낸사진이다. [0012] [0013] [0014] [0015] [0016] 발명을실시하기위한구체적인내용이하에서본발명의바람직한실시예를도면을참조하여상세히설명하기로한다. 도 1은본발명의실시예에따른지능형차량의실시간차선검출방법의흐름을나타낸블록구성도이다. 도 1 에나타낸바와같이, 본발명의실시예에따른차선검출방법은, (a) 입력받은영상의최초프레임에서 RANSAC 알고리즘을이용하여도로의소실점을검출하는단계 (S110); (b) 상기소실점주변의일정영역을템플릿매칭에사용할템플릿영역 (TA) 으로저장하는단계 (S130); (c) 상기소실점을기준으로하단으로내려가면서차선을예측하는단계 (S150); (d) 예측된상기차선을기반으로투시변환계수를추출하는단계 (S170); (e) 상기추출된투시변환계수를역투시변환하여역투시변환계수를추출하고, 상기역투시변환계수를이용하여원근감이제거된영상을획득하는단계 (S310); 및 (f) 상기원근감이제거된영상에서차선필터를적용하여차선을검출하는단계 (S330) 를포함하여구성된다. 이와같은본발명의실시예는사전에카메라파라미터를산출할필요없이카메라에입력되는영상만으로경사진도로환경등에서도역투시매핑 (IPM) 방법과같은성능을가지는차선검출방법을제안한다. 보다구체적으로는, 본발명에따른차선검출방법은영상최초프레임에서소실점을검출하여소실점을기준으로하는최초차선을예측하고소실점주변영역을템플릿으로저장하고이를이용하여다음프레임에대한소실점영역을추적하도록한다. 그리고나서예측된소실점영역으로부터차선을예측하고, 예측된차선으로부터생성한이상형차선을설정하며, 이를이용하여투시변환에사용할호모그래피행렬을추출한다. 추출된호모그래피행렬을사용하여원근효과가제거된영상을생성하며, 여기에 5x1 차선필터를사용하여차선을검출한다. 즉, 본발명에서제안하는차선검출방법은알고리즘이단순하고관심영역을지정하여첫프레임에서허프변환을적용하고이후소실점영역을템플릿으로추적하기때문에전체영상을사용하는허프변환방법보다빠른속도로차선을검출할수있고또한 IPM 방법과달리카메라파라미터를필요로하지않는다는장점이있으며입력영상마다소실점추적을통하여도로경사변화에강건하게차선을검출할수있다. 이하에서도 1을참조하여전체프로세스를상세히설명하기로한다. [0017] [0018] RANSAC 알고리즘을이용한소실점을검출 Fichier 과 Bolles 가제안한 RANSAC 알고리즘은노이즈가심한원본데이터로부터모델파라미터를예측하는방법이다. 일반적으로파라미터를예측하는방법들은가능한많은데이터를사용하여유효하지않은데이터를제거하는반면에 RANSAC 알고리즘은가능한적은양의초기데이터를사용하여일관된데이터의집합 (Consensus - 6 -
Set) 을확장시켜가는방식을사용한다. [0019] [0020] RANSAC 알고리즘은추정 (Hypothesis) 단계와검사 (Verification) 단계로이루어진다. 추정단계에서원본데이터중에서임의로 N개의샘플데이터를선택하고선택된데이터를정상적인데이터로보고모델파라미터를예측한다. 검사단계에서는이렇게선택된데이터를가지고원본데이터가예측된모델에잘맞는지검사한다. 만일원본데이터가유효한데이터인경우유효한데이터집합에추가한다. 이러한추정과검사단계를 N회반복수행하여파라미터를구하게된다. 반복횟수 N은최소한하나의샘플집합이유효한데이터 (Inlier) 만을포함할확률 P를보장할수있도록충분히높게설정되어야하는데일반적으로 P는 0.99 로설정한다. 선택되는샘플데이터에서유효한데이터가선택될확률을 u, 유효하지않은데이터의확률을 v라할때 v = 1 - u로표현가능하다. 샘플데이터의수를 m 이라고할때, 다음과같은 [ 수학식 1] 과 [ 수학식 2] 로반복횟수 N을구할수있다. 수학식 1 [0021] 수학식 2 [0022] [0023] [0024] [0025] 입력된영상에대하여 RANSAC 알고리즘을이용해직선들의교차점을구하는방법으로소실점을획득한다. 도 2 는본발명의실시예에따른차선검출방법에적용되는소실점획득을위한처리과정을나타내는모식도이다. 도 2에나타낸바와같이, 소실점획득을위한처리과정은 1) 입력받은영상을 Gray 영상으로변환단계, 2) 캐니에지변환으로에지검출하는단계, 3) 표준허프변환을이용하여에지영상내선분들의집합 S를생성하는단계, 4) 무작위로두선분 S1, S2를선택하고샘플로부터교차점 p를계산하는단계, 5) 교차점 p를통과하는 S내의선분들의집합 Sp를계산하는단계, 및 6) 가장큰집합 Sp을가지는점 p를소실점으로선택하는단계를포함하여구성된다. 여기서, 반복횟수 N은다음과같이설정한다. 영상내에소실점이존재한다고가정한다면영상내에소실점을교차점으로하는직선은 2개이상존재한다. 영상내에직선의개수를 n 이라고한다면 [ 수학식 2] 를사용하여다음 [ 수학식 3] 으로반복횟수 N을설정할수있다. 수학식 3 [0026] [0027] 투시변환 (S170) - 7 -
[0028] [0029] 본발명에서는입력된영상의원근감을제거하는방법을사용하기위해투시변환을이용한다. 투시변환은하나의 2차원객체를서로다른두개의평면으로투영하여생긴두영상사이의관계를규정하는것이다. 이를이용하면도 3에나타낸바와같이직사각형형태의영상을사다리꼴형태의영상으로바꿀수있다. 도 3은본발명의실시예에따른차선검출방법에적용되는투시변환의예를나타낸모식도이다. 평면호모그래피는하나의평면을다른평면으로옮기는투영변환을의미한다. 호모그래피행렬은 [ 수학식 4] 와같이크기가 3x3인행렬 H로표현한다. 수학식 4 [0030] [0031] 실세계이상형영상을 Q, 투시변환된영상을 Q' 스케일인자를 s, 호모그래피행렬을 H 라고할때다음 Q' 는 [ 수 학식 5] 로표현된다. 수학식 5 [0032] [0033] 호모그래피행렬 H 는오직 8 개의자유도가존재하기때문에이 1 인 3x3 행렬이다. 호모그래피행렬 H 는카메라 내부행렬 M 과회전행렬 R, 이동벡터 t 로표현하여 [ 수학식 6] 처럼표현이가능하다. 수학식 6 [0034] [0035] 여기서 M 은다음의 [ 수학식 7] 과같다. 수학식 7 [0036] [0037] W 는회전행렬 R 과이동벡터 t 로표현되며 W 와 R 은다음 [ 수학식 8] 과같다. - 8 -
수학식 8 [0038] [0039] 호모그래피행렬 H 의회전행렬에서 R=[r1, r2, r3] 은각각 X, Y, Z 축의회전에관여한다. 여기서객체평면에 대하여 Z=0 인경우 r3 을없애고다음 [ 수학식 9] 와같이쓸수있다. 수학식 9 [0040] [0041] 식을정리하면 H 는다음 [ 수학식 10] 과같다. 수학식 10 [0042] [0043] 호모그래피행렬 H 는원본영상평면위의점 P src 와목적지영상평면위의점 P dst 사이의관계를규정하며, 이는다음 [ 수학식 11] 로표현된다. 수학식 11 [0044] [0045] [0046] [0047] 템플릿매칭템플릿매칭은추적하고자하는이미지를템플릿으로만들어입력영상과비교하여매칭을하는방식이다. 여기에는크게 3가지방법이존재하는데제곱차 (Squared Difference), 상관관계 (Correlation), 상관계수 (Correlation coefficient) 매칭방법이다. 본발명에서는정규화된상관관계방법을이용하였다. 상관관계는신호처리분야에서각신호의관계를정량화하는데사용된다. 상관관계방법은템플릿으로저장된영상과원본입력영상의곱을모두제곱하여더한다. 이경우값이완벽하게일치하면높은값이나오고, 그렇지않을경우작은값이나오거나 0이나오게된다. 입력영상은 I 라고하고템플릿영상을 T, 결과영상을 R 로표현할때상관관계에대한식은다음 [ 수학식 12] 와같고식을적용하여상관관계맵을생성하게되면가장큰값을가지는위치가탐색된템플릿영역의위치가된다. - 9 -
수학식 12 [0048] [0049] 템플릿매칭방법의정확도향상과조명의간섭을줄여주기위하여정규화를시킬수있다. 정규화된방법은입 력영상과템플릿영상사이에조명의차이가존재할때, 그영향을크게줄여준다. 정규화계수는다음 [ 수학 식 13] 과같다. 수학식 13 [0050] [0051] [ 수학식 11] 을정규화시킨식은 [ 수학식 14] 로나타낼수있다. [0052] 상술한알고리즘을바탕으로본발명의실시예에따른지능형차량의차선검출방법의프로세스를도 1 을참조 하여상세히살펴보면, 크게 3 단계로구분지을수있다. [0053] [0054] [0055] [0056] [0057] [0058] [0059] 1단계는영상의시작프레임일경우에적용하며알고리즘은다음과같다. [1단계알고리즘 ](S100) 1) 영상내에존재하는소실점을 RANSAC 알고리즘을이용하여검출 (S110) 2) 검출된소실점기준으로일정영역을템플릿영역으로저장 (S130) 3) 소실점의하단에서가장가까이에위치한일정한폭을가진직선을차선으로간주 4) 검출된소실점을기준으로관심영역을지정 (S155) 5) 예측된차선을기준으로투시변환계수를추출 (S170) [0060] [0061] [0062] [0063] [0064] [0065] [0066] 2단계는영상의시작프레임이아닐경우혹은 1단계를거친경우에적용하며알고리즘은다음과같다. [2단계알고리즘 ](S200) 1) 저장된템플릿영역을원본영상과비교하여유사영역 (SA) 검출 2) 템플릿영역 (TA) 이 Y축으로이동한경우템플릿영역을변화된 Y축만큼이동 (S230) 3) 템플릿영역의중심점을소실점으로재설정 (s240) 4) 관심영역 (ROI) 재설정 (S250) 5) 변화된소실점을적용하여투시변환계수를다시추출 (S260) [0067] - 10 -
[0068] [0069] [0070] [0071] [0072] 3단계알고리즘은다음과같다. [3단계알고리즘 ] 1) 추출된계수를사용하여영상을역투시변환하고원근감이제거된영상을생성 (S310) 2) 역투시변환된영상으로부터차선을검출 (S330) 첫프레임이후소실점이검출된상황에서는 2단계와 3단계의반복만으로차선을검출한다. [0073] [0074] [0075] 소실점위치기반템플릿지정입력된영상에대하여 RANSAC 알고리즘을사용해소실점을획득하였다. 본발명의실시예에서는소실점을기준으로관심영역 (ROI) 을지정하여역투시변환을사용하는데, 이때경사진도로영상이입력되면소실점의위치가변하게되어이를반영해주지않는다면차선예측에문제가발생하게된다. 도 4는정상도로인상태와경사도로의상태에서동일한변환계수를적용했을때의문제점을보여준다. 이러한문제점을해결하기위하여본발명의실시예에서는소실점의주변일정영역을템플릿영역 (TA) 로저장하고 TA를다음프레임의소실점영역예측에사용한다. 본발명의실시예에서사용한템플릿영역의크기는가로세로가각각 100픽셀인사각형을사용하였다. 도 5는입력된영상과입력된영상의소실점을기준으로템플릿영역을지정한모습을보여주고있다. [0076] [0077] 최초차선예측 (S150) 본발명실시예에서는역투시변환에사용하는호모그래피행렬을구하기위하여차선을예측하는단계를거친다. 차선예측단계에서는연산속도가느리더라도정확한예측을위하여허프변환과차선의특징을이용한다. 차선의특징은일반적인도로의영상에서소실점아래에위치하고일정한두께를가지고있다. 또한차선에서검출된직선은소실점을지나가게된다. 이러한특징을이용하여소실점을수직으로지나는직선을긋고소실점하단부를스캔하여차선의특징을만족하는직선을찾는다. [0078] [0079] 관심영역지정 (S155) 실시간으로처리되어야하는차선검출방법에서는검출시간을단축하는것이중요한의미를가진다. 소실점의윗부분은도로와상관없는하늘이나기타배경을나타내기때문에소실점아래부분만을관심영역으로지정한다. 이러한관심영역을지정하는이유는연산량을줄이고필요없는영상영역을제거하여도로영역만을역투시변환의대상으로하기위함이다. 본발명의실시예에서사용하는관심영역은도 7에서나타내고있다. [0080] [0081] 관심영역영상의역투시변환방법 (S310) 본발명의실시예에서는 IPM방법과달리카메라파라미터가필요없는상황에서예측된차선을기준으로역투시변환을수행하는기법을제안하였으며, 이를위하여이전단계에서예측된차선을기반으로좌, 우차선이평행한가상의이상형차선을생성하기위해예측된차선의중심점을기준으로이상형차선을설정하였다. 도 8은예측된차선과이상형차선을그림으로나타낸것이다. [0082] 일반적인개념의투시변환을역으로적용하여탑뷰 (top view) 형태의영상을만들수있다. 도 9 와같이투시 변환이적용된입력영상에서역투시변환을적용하여원근효과가제거된영상을만들어낼수있다. [0083] 예측된차선과이상형차선의시작과끝점을이용하여역투시변환에사용할호모그래피행렬을구할수있다. 호모그래피행렬 H는앞서설명한것과같이카메라내부파라미터 M 과회전행렬 R, 이동벡터 t로구할수있지만다음도 9와같이예측된차선과이상형차선의좌표로만든사각형의꼭지점좌표를알고있다면역으로계산하여호모그래피행렬 H를계산할수있다. 도 10에서 P 1 은예측된차선의좌표이고은이상형차선의좌표 - 11 -
이다. [0084] 이경우역투시변환을위한식은다음 [ 수학식 15] 와같다. w 는스케일인자를의미한다. 수학식 15 [0085] [0086] 각점들의대응관계를다음 [ 수학식 16], [ 수학식 17] 과같이표현한다. 수학식 16 [0087] 수학식 17 [0088] [0089] 이를정리하면다음과같은식으로만들수있다. 수학식 18 [0090] 수학식 19 [0091] [0092] 호모그래피행렬 H 의원소 8 개를알기위해서는위의식과관련하여영상위의한점 P 와대응되는점 p 를 4 개 만알고있으면구할수있다. 따라서앞서구했던이상형차선의점과예측된차선의점을이용하여호모그래 피행렬 H 를추출한다. 다음 [ 수학식 20] 을이용하여호모그래피행렬 H 의계수를추출할수있다. - 12 -
수학식 20 [0093] [0094] 본발명의실시에서도 10 의두사각형으로구한호모그래피행렬은예측된차선의집합 P 로이루어진사각형 의좌표와이상형차선로이루어진사각형의좌표를도 11 로나타날때 H 는 [ 표 1] 과같다. [0095] 표 1 Table 1. An Example of Homography Matrix H i 1 2 3 a i -23.2735-64.1076 8168.701 b i 2.45E-14-47.1822 887.467 c i 8.76E-17-0.19044 1 [0096] [0097] [0098] [0099] 템플릿영역검색본발명의실시예에서는앞서소실점을검출하고소실점주변영역을템플릿매칭에사용할영역 (TA:Template Area) 으로저장하였다. 템플릿매칭을위한방법으로는연산속도가빠르고정확하게템플릿을매칭할수있으며입력영상과템플릿영상간에조명의간섭을크게줄여주는효과가있는정규화된상관관계 (NCC:Normalized Cross-Correlation) 매칭방법을이용하였다. 검출된소실점의위치와비교하여템플릿영역의위치가 Y축으로변화된경우변화한위치를템플릿영역으로저장하고템플릿영역의중심점을소실점으로설정하여사용한다. 새로운소실점이설정되면설정된소실점을기준으로관심영역을다시지정한다. 이와같이소실점을추적하고관심영역을재설정함으로써도로주행중갑작스런경사변화에도강인하게역투시변환을사용할수있게된다. 도 12는도로경사가변화하는경우재지정된소실점영역을나타낸다. 도 12의 E에서붉은색점은초기소실점위치이고푸른색점은추적된새로운소실점의위치와각소실점을기준으로하는템플릿영역을나타내고있다. [0100] [0101] [0102] 차선검출 (S330) 앞서구한호모그래피행렬을사용하여영상의원근감을제거한영상을생성한다. 추출한호모그래피행렬을이용하여역투시변환한결과는도 13과같다. 이러한탑뷰영상은위그림과같이차선이대체적으로직선으로표현된다. 따라서본발명에서는원근감이제거된영상에서차선검출을위해 5x1 필터를사용한다. 5x1 필터는수직의에지를중점적으로검출해낼수있으며영상을그레이영상으로변환후필터를적용한다. 일반적인경우차선의색은도로에비하여밝은색으로분포되는데이를참조하여차선을검출한다. 도 14에서필터는왼쪽 2픽셀, 오른쪽 2픽셀의각각의합을구하여두값의차이가 ( 최대밝기값 - 영상화소 - 13 -
평균값 ) 이상일경우현재화소를에지성분으로결정한다. I 는이미지, c 는현재픽셀, L 은현재픽셀의왼쪽 부분, R 은현재픽셀의오른쪽부분이라할때, [ 수학식 21] 과같이나타낼수있다. 수학식 21 [0103] [0104] [0105] [0106] 이는도 15에서나타나듯이밝기값이차선부분에서큰변화량을가지게되므로이를이용하여필터를설정하였다. 도 16은필터를이용하여검출된에지영상을나타낸다. 도 16의 (a) 는입력영상이고, 도 16의 (b) 는차선필터를이용해검출된영상의결과이다. 역투시변환의특징상변환된영상의상단부분의영상정보는영상정보가부족하기때문에영상이퍼져보일수있다. 따라서영상의하단부분에위치하는정보를이용하는것이차선추출에있어서더욱정확한결과를나타낼수있으므로검출된차선영상에대하여하단부분부터탐색하여차선을검출한다. [0107] [0108] [0109] [0110] [0111] 실험결과본발명의실시예에서제안한차선검출방법차량앞창문에카메라를설치하여입력된영상을이용하여비교적단순한고속도로의영상을가지고실험을하였다. 도 17은도로의상태가직선이고장애물이존재하지않는이상적인상황에서의실험결과를나타낸다. 왼쪽은입력영상이고, 오른쪽은차선검출결과를나타낸사진이다. 도 18은도로의상태가곡선이고도로의환경이이상적인경우의실험결과를보여준다. 도 19는도로의상태가불규칙하거나그림자가껴있는경우와도로의환경변화나문양이생기는경우의실험결과를보여준다. 도 20은차선의상태가불규칙하거나차선위로다른차량이끼어들기를하는경우의실험결과를보여준다. [0112] [0113] 이처럼, 차량은일반적으로평평한도로에서운전하게되지만순간적으로나타나는도로의장애물이나도로자체상태에따라오르막이나내리막이나타날수있다. 이경우 IPM 방법은도로와카메라가이루는각도가순간적으로변하기때문에탑뷰영상이나타나는영상이평행하지않고퍼지거나모아지는형태로나타날수있다. 이러한문제점은순간적으로짧게나타나고영향이크게나타나지않을수있지만차선이탈경고시스템에서는문제를일으킬수있다. 본발명에서는소실점을추적하는방법으로이와같은문제점을해결할수있었다. 본발명의실시예에서제안하는방법은편의를위해 OpenCV로개발되었으며 Intel Core2 Duo 2.6GHz, 2GB RAM 컴퓨터에서 640*480 크기의영상을 1초에 40frame 가량처리할수있었다. [ 표 2] 는 B-Snake를이용한방법과 IPM방법을이용한방법을본발명의실시예에서제안한방법과의비교를처리속도와카메라파라미터사용유무로나타내었다. - 14 -
표 2 [0114] [0115] 이와같이, 본발명은소실점을이용하여차선을예측후소실점영역을템플릿으로저장한후, 소실점기준하단영역을관심영역으로설정하고, 이영역에대하여투시변환이로원근효과를제거한영상으로부터차선을검출하는방법을제안한다. 차선검출과정에관심영역을지정하고처리방법을단순화하여검출시간을현저하게단축할수있고카메라파라미터를알필요도없다. 또한도로의노면상태가고르지않거나갑작스런오르막이나내리막에도영향을받지않는강인한차선검출방법을제안하고, 기존방법과의처리속도를비교한결과타당성을검증되었음을알수있다. 도면 도면 1-15 -
도면 2 도면 3-16 -
도면 4 도면 5 도면 6 도면 7-17 -
도면 8 도면 9 도면 10-18 -
도면 11 도면 12 도면 13-19 -
도면 14 도면 15 도면 16 도면 17-20 -
도면 18 도면 19-21 -
도면 20-22 -