(19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (51) 국제특허분류 (Int. Cl.) H04N 13/00 (2006.01) (21) 출원번호 10-2012-0128809 (22) 출원일자 2012 년 11 월 14 일 심사청구일자 2012 년 11 월 14 일 (65) 공개번호 10-2013-0058611 (43) 공개일자 2013 년 06 월 04 일 (30) 우선권주장 1020110124203 2011 년 11 월 25 일대한민국 (KR) (56) 선행기술조사문헌 JP08331607 A* KR1020100087685 A* JP08331607 A* KR1020100087685 A* * 는심사관에의하여인용된문헌 기술이전희망 : 기술양도 (45) 공고일자 2013년12월27일 (11) 등록번호 10-1344943 (24) 등록일자 2013년12월18일 (73) 특허권자 경북대학교산학협력단 대구광역시북구대학로 80 ( 산격동, 경북대학교 ) (72) 발명자 문병인 서울특별시은평구은평로 12 길 7-14, 202 호 ( 응암동, 경원하이빌 ) 옥승호 부산광역시서구남부민로 12 번길 39-4 ( 남부민동 ) ( 뒷면에계속 ) (74) 대리인 이형석, 김종선 전체청구항수 : 총 11 항심사관 : 김광식 (54) 발명의명칭실시간스테레오정합시스템 (57) 요약 본발명은실시간스테레오정합시스템에관한것으로서, 보다상세하게는스테레오정합에사용되는변위범위 (disparity range) 를이전프레임영상의스테레오정합결과를통해점진적으로최적화시킴으로써불필요한정합연산을줄여스테레오정합속도및정합율을향상시키는스테레오정합시스템에관한것이다. 대표도 - 도 6-1 -
(72) 발명자 배경렬 대구광역시동구아양로 37 길 41-19 ( 신암동 ) 손현식 대구광역시동구송라로 109( 신암동 ) 이발명을지원한국가연구개발사업 과제고유번호 201200070000 부처명 지식경제부 연구사업명 정보통신기술인력양성 연구과제명 스마트자동차를위한 AUTOSAR 기반차량내외부통신플랫폼및응용기술 기여율 1/1 주관기관 경북대학교산학협력단 연구기간 2012.01.01 ~ 2012.12.31-2 -
특허청구의범위청구항 1 N 번째프레임영상의스테레오정합결과로부터깊이맵정보를생성하는깊이맵생성부 ; 상기깊이맵정보를이용하여변위범위정보를생성하는변위범위제어부 ; 및상기변위범위정보를이용하여 N+1 번째프레임영상의스테레오정합연산을수행하는스테레오정합부 ; 를포함하는스테레오정합시스템.( 단, N은자연수 ) 청구항 2 제 1항에있어서, 상기깊이맵정보를이용하여일련의윈도우기반필터링연산을수행후, 이를이용하여변위범위정보를생성하는것을특징으로하는스테레오정합시스템. 청구항 3 제 1항에있어서, 상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해기준변위값을설정하는기준변위설정부 ; 및상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해오프셋변위값을설정하는오프셋변위설정부 ; 를포함하는것을특징으로하는스테레오정합시스템. 청구항 4 제 3항에있어서, 초기설정된기준변위범위값을저장하는초기기준변위범위저장부 ; 및초기설정된오프셋변위범위값을저장하는초기오프셋변위범위저장부 ; 를더포함하는것을특징으로하는스테레오정합시스템. 청구항 5 제 4항에있어서, 상기깊이맵정보의신뢰도여부를판단하는깊이맵신뢰도판단부를더포함하는것을특징으로하는스테레오정합시스템. 청구항 6-3 -
제 5항에있어서, 상기깊이맵정보의신뢰도값에따라초기기준변위범위또는상기기준변위설정부에의해설정된기준변위값을선택할수있는제1 MUX부 ; 및상기깊이맵정보의신뢰도값에따라초기오프셋변위범위또는상기오프셋변위설정부에의해설정된오프셋변위값을선택할수있는제2 MUX부를더포함하는것을스테레오정합시스템. 청구항 7 제 1항에있어서, N 번째프레임및 N+1 번째프레임의일방향영상정보를이용하여움직임벡터정보를생성하는움직임벡터생성부 ; 를더포함하고, 상기움직임벡터정보를추가적으로이용하여변위범위정보를생성하는것을특징으로하는스테레오정합시스템. 청구항 8 제 7항에있어서, 상기깊이맵정보및상기움직임벡터정보를이용하여일련의필터링연산을수행후이를통해기준변위값을설정하는기준변위설정부 ; 및상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해오프셋변위값을설정하는오프셋변위설정부 ; 를포함하는것을특징으로하는스테레오정합시스템. 청구항 9 제 8항에있어서, 초기설정된기준변위범위값을저장하는초기기준변위범위저장부 ; 및초기설정된오프셋변위범위값을저장하는초기오프셋변위범위저장부 ; 를더포함하는것을특징으로하는스테레오정합시스템. 청구항 10 제 9항에있어서, 상기깊이맵정보의신뢰도여부를판단하는깊이맵신뢰도판단부를더포함하는것을특징으로하는스테레오정합시스템. 청구항 11 제 10 항에있어서, - 4 -
상기깊이맵정보의신뢰도값에따라초기기준변위범위또는상기기준변위설정부에의해설정된기준변위값을선택할수있는제1 MUX부 ; 및상기깊이맵정보의신뢰도값에따라초기오프셋변위범위또는상기오프셋변위설정부에의해설정된오프셋변위값을선택할수있는제2 MUX부를더포함하는것을특징으로하는스테레오정합시스템. 명세서 [0001] 기술분야본발명은실시간스테레오정합시스템에관한것으로서, 보다상세하게는스테레오정합에사용되는변위범위 (disparity range) 를이전프레임영상의스테레오정합결과를통해점진적으로최적화시킴으로써불필요한정합연산을줄여스테레오정합속도및정합율을향상시키는스테레오정합시스템에관한것이다. [0002] [0003] [0004] [0005] 배경기술스테레오정합 (stereo matching) 은동일시간에서로다른위치에서획득한둘이상 2차원영상으로부터 3차원정보를획득하는기술로써, 좌 / 우두영상내에서동일지점에해당하는대응점을찾아두대응점간의시차 (disparity) 정보를획득함으로써영상의 3차원깊이 (depth) 정보를획득하는일련의대응점문제 (correspondence problem) 이다. 이러한대응점문제를해결하는방법으로는크게특징기반정합법 (feature-based matching) 및영역기반정합법 (area-based matching) 이있다. 특징기반정합법의경우꼭지점및경계선등영상의특징영역에서만정합을함으로써두영상에서의특징점을찾을수있지만특징영역을제외한나머지영역의정보는제공을하지못하는단점이있다. 영역기반정합법은좌 / 우영상의동일평행선상일정크기의윈도우영역내부상관도를측정하여영상전체의대응점을찾을수있기때문에조밀한 3차원정보를획득할수있어많이사용되고있다. 도 1은좌 / 우영상에서일정한윈도우크기및일정한크기의변위범위 (disparity range) 를사용하는기존의영역기반정합법을나타낸다. 도 1을통해예를나타내면, 좌영상의 A 지점에대한우영상에서의대응점을찾기위해를일정크기의변위범위인 B 지점에서부터 B' 지점까지의범위내에서동일평행선상일정크기의윈도우영역내부의상관도가가장높은지점을찾는다. 그리고또다른예로 C 지점에대한우영상에서의대응점을찾기위해 D 지점에서 D' 지점까지의일정한변위범위내에서상관도가가장높은지점을찾는다. 이러한좌 / 우영상내일정크기의윈도우영역내부상관도를측정하기위한방법으로는 SAD (sum of absolute difference), SSD (sum of squared difference), NCC (normalized correlation) 및 census transform 등과같은다양한방법이사용된다. 하지만이러한기법들은영상전체영역의상관도를측정해야하기때문에윈도우의크기가커지고좌 / 우영상의동일평행선상상관도를측정하기위한변위범위가길어질수록대응점을찾기위한연산량이급격히증가하고 3차원정보를획득하는데많은시간이소모되는문제를가지고있다. 종래의영역기반스테레오정합법에서많은연산량줄이고, 정합시간을줄이기위한기존의방법으로는윈도우영역내부상관도측정시중복되는연산을제거하는방법과, 상관도를측정하기위한탐색영역의변위범위를미리예측하는방법등이사용되었다. 선행기술문헌 [0006] 특허문헌 ( 특허문헌 0001) 대한민국공개특허제 10-2011-0087303 호 발명의내용 해결하려는과제 - 5 -
[0007] [0008] 본발명이이루고자하는과제는좌 / 우영상의동일평행선상상관도를측정하기위한탐색영역의변위범위 (disparity range) 를이전프레임영상의정합결과를통해점진적으로최적화시킴으로써정합에사용되는불필요한연산을줄여정합속도및정합율을높이기위한스테레오정합시스템을제공하는데있다. 특히, 본발명은이전프레임영상의스테레오정합결과를통해현재스테레오정합에사용되는변위범위를설정할때, 연속된영상데이터를정합하여생성된움직임벡터정보를추가적으로참조함으로써동적환경에서의스테레오정합율을향상시킬수있는스테레오정합시스템을제공하는데있다. [0009] [0010] [0011] [0012] [0013] [0014] [0015] [0016] [0017] [0018] [0019] [0020] 과제의해결수단본발명의일측면에따른스테레오정합시스템은 N 프레임영상의스테레오정합결과로부터깊이맵정보를생성하는깊이맵생성부 ; 상기깊이맵정보를이용하여변위범위정보를생성하는변위범위제어부 ; 및상기변위범위정보를이용하여 N+1 프레임영상의스테레오정합연산을수행하는스테레오정합부 ; 를포함한다. 이때, 상기깊이맵정보를이용하여일련의윈도우기반필터링연산을수행할수있다. 본발명에적용가능한실시예에서 상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해기준변위값을설정하는기준변위설정부 ; 및상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해오프셋변위값을설정하는오프셋변위설정부 ; 를포함할수있다. 또한, 초기설정된기준변위범위값을저장하는초기기준변위범위저장부 ; 및초기설정된오프셋변위범위값을저장하는초기오프셋변위범위저장부 ; 를더포함할수있다. 바람직하게는, 상기깊이맵정보의신뢰도여부를판단하는깊이맵신뢰도판단부를더포함할수있다. 이때, 상기깊이맵정보의신뢰도값에따라초기기준변위범위또는상기기준변위설정부에의해설정된기준변위값을선택할수있는제1 MUX부 ; 및상기깊이맵정보의신뢰도값에따라초기오프셋변위범위또는상기오프셋변위설정부에의해설정된오프셋변위값을선택할수있는제2 MUX부를더포함할수있다. 본발명에적용가능한다른실시예에서, N 프레임및 N+1 프레임의일방향영상정보를이용하여움직임벡터정보를생성하는움직임벡터생성부 ; 를더포함하고, 상기움직임벡터정보를추가적으로이용하여변위범위정보를생성할수있다. 이때, 상기깊이맵정보를이용하여일련의윈도우기반필터링연산을수행할수있다. 본발명에적용가능한실시예에서 상기깊이맵정보및상기움직임벡터정보를이용하여일련의필터링연산을수행후이를통해기준변위값을설정하는기준변위설정부 ; 및상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해오프셋변위값을설정하는오프셋변위설정부 ; 를포함할수있다. 또한, 초기설정된기준변위범위값을저장하는초기기준변위범위저장부 ; 및초기설정된오프셋변위범위값을저장하는초기오프셋변위범위저장부 ; 를더포함할수있다. 바람직하게는, 상기깊이맵정보의신뢰도여부를판단하는깊이맵신뢰도판단부를더포함할수있다. 이때, 상기깊이맵정보의신뢰도값에따라초기기준변위범위또는상기기준변위설정부에의해설정된기준변위값을선택할수있는제1 MUX부 ; 및상기깊이맵정보의신뢰도값에따라초기오프셋변위범위또는상기오프셋변위설정부에의해설정된오프셋변위값을선택할수있는제2 MUX부를더포함할수있다. - 6 -
[0021] [0022] 발명의효과이상과같은본발명에의하면, 변위범위를이전프레임영상의스테레오정합결과를통해점진적으로최적화시킴으로써, 스테레오정합시불필요한연산을줄여정합속도를높일수있으며, 불필요한영역의상관도를측정하지않음으로써정합오류를최소화하여정합율을높일수있다. 특히, 이전프레임및현재프레임의영상데이터를정합하여생성된움직임벡터정보를추가적으로참조함으로써, 스테레오정합율을보다높게향상시킬수있다. [0023] 도면의간단한설명 도 1 은좌 / 우영상에서일정한윈도우크기및일정한크기의변위범위 (disparity range) 를사용하는종래의 영역기반정합법을나타낸도면, 도 2는본발명의일실시예에따른스테레오정합시스템을나타낸도면, 도 3은스테레오카메라로부터획득된좌 / 우영상및이를정합한결과인깊이맵 (depth map) 을나타낸도면, 도 4는본발명의일실시예에따른변위범위제어부의변위범위설정방법을나타낸도면, 도 5는본발명의일실시예에따른스테레오정합부의스테레오정합연산을수행하는방법을나타낸도면, 도 6은본발명의다른실시예에따른스테레오정합시스템을나타낸도면, 도 7은본발명의다른실시예에따른움직임벡터성분의생성개념을설명하기위한도면, 도 8은본발명의다른실시예에따른움직임벡터성분의생성범위를설명하기위한도면, 도 9는본발명의다른실시예에따른움직임벡터성분생성을위한정합방법을나타낸도면, 및도 10은본발명의다른실시예에따른스테레오정합부의스테레오정합연산을수행하는방법을나타낸도면이다. [0024] [0025] [0026] [0027] 발명을실시하기위한구체적인내용본발명은다양한변환을가할수있고여러가지실시예를가질수있는바, 특정실시예들을도면에예시하고상세한설명에상세하게설명하고자한다. 그러나, 이는본발명의특정한실시형태에대해한정하려는것이아니며, 본발명의사상및기술범위에포함되는모든변환, 균등물내지대체물을포함하는것으로이해되어야한다. 본발명을설명함에있어서관련된공지기술에대한구체적인설명이본발명의요지를흐릴수있다고판단되는경우그상세한설명을생략한다. 제1, 제2 등의용어는다양한구성요소들을설명하는데사용될수있지만, 상기구성요소들은상기용어들에의해한정되어서는안된다. 상기용어들은하나의구성요소를다른구성요소로부터구별하는목적으로만사용된다. 본출원에서사용한용어는단지특정한실시예를설명하기위해사용된것으로, 본발명을한정하려는의도가아니다. 단수의표현은문맥상명백하게다르게뜻하지않는한, 복수의표현을포함한다. 본출원에서, " 포함하다 " 또는 " 가지다 " 등의용어는명세서상에기재된특징, 숫자, 단계, 동작, 구성요소, 부품또는이들을조합한것이존재함을지정하려는것이지, 하나또는그이상의다른특징들이나숫자, 단계, 동작, 구성요소, 부품또는이들을조합한것들의존재또는부가가능성을미리배제하지않는것으로이해되어야한다. 이하, 본발명의실시예를첨부한도면들을참조하여상세히설명하기로한다. [0028] 도 2 는본발명의일실시예에따른스테레오정합시스템을나타낸도면이다. [0029] 도 2 에도시된바와같이, 본발명에적용가능한바람직한실시예에서스테레오정합시스템은 N 프레임영상의 스테레오정합결과로부터깊이맵정보를생성하는깊이맵생성부 (100); 상기깊이맵정보를이용하여변위 - 7 -
범위정보를생성하는변위범위제어부 (200); 및상기변위범위정보를이용하여 N+1 프레임영상의스테레오 정합연산을수행하는스테레오정합부 (300); 를포함한다 ( 단, N 은자연수 ). [0030] 깊이맵생성부 (100) 는 N 프레임영상데이터를스테레오정합하여깊이맵정보를생성한다. 본발명에적용가능한실시예에서상기깊이맵생성부 (100) 는좌측및우측영상데이터를이용하여스테레오정합연산을수행하여깊이맵정보를생성할수있다. 상기와같은방법으로생성된깊이맵정보는깊이맵저장부 ( 미도시 ) 에저장되고, 필요한경우상기깊이맵저장부로부터추출하여활용할수있다. [0031] 변위범위제어부 (200) 는상기깊이맵생성부 (100) 를통해생성된깊이맵정보를이용하여스테레오정합연산에필요한변위범위정보를생성한다. 이때, 상기변위범위제어부 (200) 는상기깊이맵정보를이용하여일련의윈도우기반필터링연산을수행할수있다. 이와같은방법을통해, 영상데이터의잡음제거및데이터저장에필요한메모리크기를줄일수있는효과가있다. [0032] [0033] 본발명에적용가능한실시예에서상기변위범위제어부 (200) 는상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해기준변위값을설정하는기준변위설정부 (210); 및상기깊이맵정보를이용하여일련의필터링연산을수행후이를통해오프셋변위값을설정하는오프셋변위설정부 (220); 를포함할수있다. 이때, 상기기준변위설정부 (210) 및오프셋변위설정부 (220) 는상기필터링연산을통해잡음제거및데이터저장에필요한메모리크기를줄일수있다. 본발명에있어서, 기준변위값은, 특정지점에있어, 좌 / 우영상간대응점을찾기위한기준변위크기를나타내는값이고, 오프셋변위값은, 상기기준변위를중심으로좌 / 우일정크기만큼의변위오차값을의미한다. 즉, 본발명에적용가능한실시예에서이전프레임영상의깊이맵정보를통해생성된변위범위정보는기준변위정보및오프셋변위정보를포함하여스테레오정합연산시의변위범위를설정할수있다. 보다상세하게는도 3을통해상세히설명한다. [0034] 도 3 은스테레오카메라로부터획득된좌 / 우영상및이를정합한결과인깊이맵 (depth map) 을나타낸도면이 다. [0035] [0036] 도 3에도시된바와같이, A, B 및 C 지점의특징을살펴보면거리가가장먼 B 지점의경우좌 / 우영상에서의시차차이가거의없는반면, 가장가까운 C 지점의경우좌 / 우영상에서의시차가가장큰것을알수있다. 그리고정합결과인깊이맵을살펴보면거리가가장먼 B 지점, 즉시차가작은부분은가장어두운값을가지고, 거리가가장가까운 C 지점, 즉시차가가장큰부분은가장밝은값을가지는것을알수있다. 실시간으로연속적인영상을획득하는스테레오비전시스템의경우, 이전프레임영상의깊이맵정보는다음프레임영상의깊이맵정보와매우유사한특성을가진다. 따라서이러한특성을사용하여스테레오정합에사용되는변위범위를점진적으로최적화함으로써스테레오정합시불필요한연산을줄임으로써정합속도및정합율을높일수있다. [0037] 도 4 는본발명의일실시예에따른변위범위제어부의변위범위설정방법을나타낸도면이다. [0038] [0039] 도 4에도시된바와같이, 본발명에적용가능한실시예에서는특정지점의대응점을찾고자할때, 이전프레임영상의스테레오정합결과인깊이맵정보를이용하여설정되는기준변위값을활용할수있다. 그리고, 상기깊이맵정보를이용하여설정되는오프셋변위값을이용하여상기기준변위를중심으로일정크기만큼의범위를오프셋변위범위로설정할수있다. 이때상기오프셋변위값은이전프레임영상의깊이맵정보를참조하여시차의크기에따라상대적으로설정된다. 도 4의일실시예를살펴보면, A 지점의변위범위정보는 N 프레임의깊이맵정보를이용하여기준변위값이 - 8 -
7, 오프셋변위값이 5 로설정되었다. 이때, 본발명의일실시예에서는상기기준변위값및오프셋변위값 을이용하여 B 지점부터 B' 지점까지의변위범위를설정하여스테레오정합을수행할수있다. C 지점및 E 지 점의경우또한 A 의경우와동일하게변위범위를설정하여스테레오정합을수행할수있다. [0040] 도 4의경우, 각지점의기준변위값및오프셋변위값으로미루어보아, A 지점의경우 E 지점에비해시차가크지않기때문에기준변위값이상대적으로작게설정되었으며, 다음프레임영상에서의시차의변화정도또한작게예상되므로오프셋변위값도상대적으로작게설정되었음을알수있다. 다만, 도 4의각지점에대한기준변위값및오프셋변위값은스테레오정합연산을수행하는방법을쉽게설명하기위해설정된값으로, 본발명에적용가능한또다른실시예에서는도 4의실시예와다른기준변위값및오프셋변위값이적용될수있다. [0041] 도 5 는본발명의일실시예에따른스테레오정합부의스테레오정합연산을수행하는방법을나타낸 도면이다. [0042] [0043] [0044] [0045] [0046] 도 5에도시된바와같이, 기준변위설정부 (210) 는이전프레임영상의스테레오정합결과인깊이맵정보를바탕으로다음프레임영상의스테레오정합에사용될기준변위를설정하기위한모듈로써, 잡음제거및데이터저장에필요한메모리크기를줄이기위해일정크기의윈도우가지정될수있다. 기준변위값은이전프레임영상의깊이맵으로부터생성되며, 윈도우크기는영상의한픽셀단위인 1x1 크기부터설정이가능하다. 본발명에적용가능한실시예에서는 2x2 크기의윈도우가기준변위설정부 (210) 에적용되었으며, 윈도우내부의데이터는일련의필터링연산을통해동일한값이적용될수있다. 다만, 본발명은상기실시예로한정되지않는다. 오프셋변위설정부 (220) 는다음프레임영상의스테레오정합에사용될오프셋변위값을설정하기위한모듈로써, 상기기준변위설정부 (210) 와같이일정한크기의윈도우가적용될수있으며, 오프셋변위값의설정은윈도우에해당하는기준변위값을참조하여값의변화에따라상대적인값이적용될수있다. 본발명에적용가능한실시예에서는 A 지점인어두운영역의경우시차가좁은영역이며, C 지점인밝은영역의경우시차가넓게나타나는영역이기때문에 A 지점의오프셋변위값보다 C 지점의오프셋변위값을상대적으로더크게설정할수있다. 이러한오프셋변위값의설정은다양한방법이사용될수있다. 도 5를통해본발명의실시예를설명하면, 이전프레임영상의스테레오정합결과로부터깊이맵정보가획득되면, 기준변위설정부 (210) 는상기깊이맵정보를이용하여기준변위값을설정하고, 오프셋변위설정부 (220) 는상기깊이맵정보를이용하여오프셋변위값을설정한다. 그리고현재입력된영상의스테레오정합과정이수행됨에있어서, 상기기준변위값및오프셋변위값을활용하여스테레오정합과정에필요한변위범위를설정한다. 도 5의실시예에서는, 좌영상 A지점에서의대응점을우영상에서찾기위해기준변위설정부 (210) 에서는기준변위값 1이출력되고오프셋변위설정부 (220) 에서는오프셋변위값 3이출력되어기준변위값지점을중심으로오프셋변위범위만큼의좌 / 우지점인 B지점부터 B' 지점까지의변위범위가설정되어스테레오정합과정이수행된다. 그리고 C 지점의경우, 깊이맵정보로미루어보아 A 지점보다시차가더욱크기때문에 C 지점의대응점을찾기위한오프셋변위범위가더욱크게설정된다. 상기와같은방법으로생성된각지점또는일정크기의윈도우에대응되는기준변위값및오프셋변위값은기준변위저장부 ( 미도시 ) 및오프셋변위저장부 ( 미도시 ) 에저장되고, 필요한경우상기기준변위저장부및오프셋변위저장부로부터추출하여활용할수있다. [0047] 본발명에적용가능한실시예에서, 상기변위범위제어부 (200) 는, 초기설정된기준변위범위값을저장하는초기기준변위범위저장부 (215); 및초기설정된오프셋변위범위값을저장하는초기오프셋변위범위저장부 (225); 를더포함할수있다. 보다상세하게는, 상기초기기준변위범위저장부 (215) 및초기오프셋변위범위저장부 (225) 는깊이맵정보로부터추출된기준변위값및오프셋변위값을활용할수없는등의경우에대비하여초기기준변위범위값및초기오프셋변위범위값을저장할수있다. - 9 -
[0048] 본발명에적용가능한바람직한실시예에서, 상기변위범위제어부 (200) 는, 상기깊이맵정보의신뢰도여부를판단하는깊이맵신뢰도판단부 (230) 를더포함할수있다. 상기깊이맵신뢰도판단부 (230) 는미리설정된문턱값을시용하여수집된깊이맵정보를활용가능한지를판단할수있다. 이때, 상기문턱값으로는깊이맵의잡음및정합오류를판단하기위한값이적용될수있다. [0049] [0050] 본발명에적용가능한실시예에서상기변위범위제어부 (200) 는상기깊이맵정보의신뢰도값에따라초기기준변위범위값또는상기기준변위설정부 (210) 에의해설정된기준변위값을선택할수있는제1 MUX부 (240); 및상기깊이맵정보의신뢰도값에따라초기오프셋변위범위또는상기오프셋변위설정부 (220) 에의해설정된오프셋변위값을선택할수있는제2 MUX부 (245) 를더포함할수있다. 보다상세하게는, 상기깊이맵신뢰도판단부 (230) 를통해상기깊이맵정보가활용가능하다고판단되는경우, 상기제1 MUX부 (240) 및제2 MUX부 (245) 는기준변위설정부 (210) 및오프셋변위설정부 (220) 에의해설정되는기준변위값및오프셋변위값을이용하여스테레오매칭연산을수행하도록할수있다. 반대로, 상기깊이맵신뢰도판단부 (230) 를통해상기깊이맵정보가활용불가능하다고판단되는경우, 상기제1 MUX부 (240) 및제2 MUX부 (245) 는초기기준변위범위및초기오프셋변위범위를이용하여스테레오매칭연산을수행하도록할수있다. 상기와같은방법을통해이전프레임영상의깊이맵정보의신뢰도가기준이하이거나, 스테레오정합과정이처음수행되는경우에는초기기준변위범위및초기오프셋변위범위를이용하여스테레오매칭연산을수행할수있다. [0051] 도 6 은본발명의다른실시예에따른스테레오정합시스템을나타낸도면이다. [0052] [0053] 도 6에도시된바와같이, 본발명에적용가능한바람직한실시예에서상기스테레오정합시스템은 N 프레임및 N+1 프레임의일방향영상정보를이용하여움직임벡터정보를생성하는움직임벡터생성부 (150) 를더포함하고, 상기변위범위제어부 (200) 는, 상기움직임벡터정보를추가적으로이용하여변위범위정보를생성할수있다. 본발명에적용가능한실시예에서상기움직임벡터생성부 (150) 는 N 프레임의좌측영상데이터및 N+1 프레임의좌측영상데이터를이용하여움직임벡터를생성할수있다. 또다른실시예에서, 상기움직임벡터생성부 (150) 는 N 프레임의우측영상데이터및 N+1 프레임의우측영상데이터를이용하여움직임벡터를생성할수도있다. 본발명은일정방향영상정보를이용하여움직임벡터정보를생성하는것을기술적특징으로하는기술에관한것으로, 상기실시예로국한되지않는다. [0054] 도 7 은본발명의다른실시예에따른움직임벡터성분의생성개념을설명하기위한도면이다. [0055] 도 7 에도시된바와같이, 본발명에적용가능한실시예에서는현재프레임영상의특정윈도우움직임벡터정 보를추출하기위해이전프레임영상의일정탐색영역내부에서스테레오정합을수행할수있다. 즉, 현재 프레임영상의윈도우중앙픽셀 a 의움직임벡터를추출하기위해, 이전프레임영상에서윈도우픽셀인 b i ~ b q 에서스테레오정합을수행할수있다. 상기움직임벡터의추출을위한탐색영역은미리설정되거나, 사용 자로부터입력받은값으로설정될수있다. [0056] 도 8 을참조하면, 본발명의일실시예에서움직임벡터 (u, v) 추출은하기 [ 수학식 1] 과같이수행되며, u, v 의범위는하기 [ 수학식 2] 와같이설정될수있다. - 10 -
수학식 1 [0057] 수학식 2 [0058] [0059] [0060] 도 8의실시예는 p=2 일경우의예이며, 각 u, v 범위에서스테레오정합결과최대정합위치에서의 u, v 값이최종벡터값이된다. 예를들어현재영상프레임의윈도우중앙픽셀위치가 a(2,2) 이고, 스테레오정합연산을통해최대정합윈도우의중앙픽셀위치가 b(1,1) 이었다면, a(2,2) 에서의최종벡터값 (u, v) 는 (-1, -1) 이된다. 상기와같은방법으로생성된각지점또는일정크기의윈도우에대응되는움직임벡터정보는움직임벡터저장부 ( 미도시 ) 에저장되고, 필요한경우상기움직임벡터저장부로부터추출하여활용할수있다. 상기도 8의실시예의경우, 상기 a(2,2) 에서의최종벡터값 (u, v) 은상기움직임벡터저장부의 a(2,2) 의위치에저장될수있다. 그리고상기수학식 1은영역기반스테레오정합알고리즘으로주로사용되는 SAD(sum of absolute difference) 연산이며, 본발명에적용가능한정합알고리즘은상기실시예로국한되지않는다. [0061] 도 9 은본발명의다른실시예에따른움직임벡터성분생성을위한정합방법을나타낸도면이다. [0062] 도 9 에도시된바와같이, 본발명에적용가능한실시예에서는움직임벡터정보를추출하기위하여스테레오 정합연산을평형병렬방향으로수행할수있다. 다만, 이는일실시예로, 본발명의스테레오정합연산방법 은다양한방법이적용될수있다. [0063] 도 10 는본발명의다른실시예에따른스테레오정합부의스테레오정합연산을수행하는방법을나타낸도면 이다. [0064] [0065] 도 10에도시된바와같이, 본발명에적용가능한실시예에서상기변위범위제어부 (200) 는추출된움직임벡터정보를추가적으로이용하여변위범위를설정할수있다. 보다상세하게는, 본발명에적용가능한바람직한실시예에서상기변위범위제어부 (200) 가상기움직임벡터정보를추가적으로이용하여변위범위를설정하는경우, 현재픽셀의 (x,y) 위치및상기위치에대응되는움직임벡터정보 (u,v) 값이더해진 (x+u, v+y) 좌표값정보를이용하여기준변위값을설정할수있다. 상기와같은방법을통해, 기준변위설정부 (210) 는깊이맵정보및움직임벡터정보를이용하여기준변위값을설정할수있고, 오프셋변위설정부 (220) 는깊이맵정보및움직임벡터정보를이용하여오프셋변위값을설정할수있다. [0066] 스테레오정합연산의수행방법및기타구성에대해서는상세히설명하였으므로, 이하생략한다. - 11 -
[0067] 이제까지본발명에대하여그바람직한실시예들을중심으로살펴보았다. 본발명이속하는기술분야에서통상의지식을가진자는본발명이본발명의본질적인특성에서벗어나지않는범위에서변형된형태로구현될수있음을이해할수있을것이다. 그러므로개시된실시예들은한정적인관점이아니라설명적인관점에서고려되어야한다. 본발명의범위는전술한설명이아니라특허청구범위에나타나있으며, 그와동등한범위내에있는모든차이점은본발명에포함된것으로해석되어야할것이다. [0068] 부호의설명 100: 깊이맵생성부 150: 움직임벡터생성부 200: 변위범위제어부 210: 기준변위설정부 215: 초기기준변위범위저장부 220: 오프셋변위설정부 225: 초기오프셋변위범위저장부 230: 깊이맵신뢰도판단부 240: 제1 MUX부 245: 제2 MUX부 300: 스테레오정합부 도면 도면 1-12 -
도면 2 도면 3-13 -
도면 4 도면 5-14 -
도면 6 도면 7-15 -
등록특허 10-1344943 도면8 도면9-16 -
도면 10-17 -