영상에서의분할정보를사용한스테레오조밀시차맵생성 517 DOI: 10.3745/KIPSTB.008.15-B.6.517 영상에서의분할정보를사용한스테레오조밀시차맵생성 이범종 박종승 김정규 요 약 스테레오비전은시차가있는양안영상으로부터깊이맵에해당하는시차맵을생성하고시차맵과카메라정보로부터 3차원구조를복원하는기법이다. 시차맵생성은정합비용을계산하고, 전체정합비용을최소화하여시차를계산하는단계로이루어진다. 본논문에서는스테레오영상으로부터빠르고안정된시차맵을생성하기위해서후처리과정으로각스캔라인에대해서분산을이용하여분할한후에분할영역정보를사용하여객체간영역을구분할수있도록한다. 시차맵의계산시에영역의균일성정보를사용하면잘못된매치가발생되지않도록억제할수있다. 조밀시차맵을생성하기위해서는시차계산에실패한픽셀들에대해서도인접픽셀의값을사용한보간기법을통한홀메우기로시차값을계산하여조밀한시차맵이형성되도록한다. 실제환경에서의다양한스테레오영상에대한실험결과는제안된시차맵생성과홀을메우는방법이기존의방법보다안정적이고다양한응용에적용될수있음을보여준다. 키워드 : 조밀시차맵, 스테레오비전, 홀메우기 Computation of Steeo Dense Dispait Maps Using Region Segmentation Bum-Jong Lee Jong-Seung Pak Chung-Kue Kim ABSTRACT Steeo vision is a fundamenta method fo measuing 3D stuctues b obseving them fom two cameas paced on diffeent positions. In ode to econstuct 3D stuctues, it is necessa to ceate a dispait map fom a pai of steeo images. To ceate a dispait map we compute the matching cost fo each point coespondence and compute the dispait that minimizes the sum of the whoe matching costs. In this pape, we popose a method to estimate a dense dispait map using egion segmentation. We segment each scanine using egion homogeneit popeties. Using the segmented egions, we pohibit fase matches in the steeo matching pocess. Dispaities fo pixes that faied in matching ae fied b intepoating neighbohood dispaities. We appied the poposed method to vaious steeo images of ea envionments. Expeimenta esuts showed that the poposed method is stabe and potentia viabe in pactica appications. Kewods : Dense Dispait Map, Steeo Vision, Hoe-Fiing 1. 서론 1 최근실감나는영상의구현으로가상환경에서실제처럼느낄수있도록하는 3차원그래픽기술, 가상현실에서의사람이공간적으로상호작용을할수있는체감상호작용기술, 실환경과가상환경의혼합환경을구현하는증강현실기술, 양안영상으로부터의입체데이터획득을위한스테레오비전기술등에대한연구가활발히진행되고있다. 특히 3차원영상기술이발전함에따라 3차원응용분야에대한관심이고조되고있다. 3차원영상응용분야를구현하기 본연구는지식경제부지방기술혁신사업 (RTI05-03-01 의지원으로수행되었음. 준회원 : 인천대학교컴퓨터공학과석사 종신회원 : 인천대학교컴퓨터공학과조교수 ( 교신저자 정회원 : 인천대학교컴퓨터공학과교수논문접수 : 007 년 9 월 4 일수정일 :1 차 008 년 8 월 19 일심사완료 : 008 년 9 월 5 일 위해서는고전적인스테레오비전기술에대한이해가필요하다. 스테레오비전은컴퓨터비전에서가장광범위하게연구되고있는분야중에하나이며, 같은장면의시차가다른두영상에서정합되는점들을찾아이점들의차이를표현하는시차맵을생성하는것을목표로하고있다. 스테레오비전에서한장면의두영상에서대응되는점을찾는대응관계문제 (coespondence pobem 는스테레오계산에서가장중요한단계에속한다. 한장면에대해서두개이상의스테레오영상이주어진다면, 대응관계는그점이각영상평면의점들중에서어디에투영되었는지를찾아내는것이다. 다시말해서, 참조영상의점이다른영상들에서어느부분에나타나는지를찾아내는것을말한다. 대응관계문제를풀기위한방법으로는영역기반 (egionbased 방법과특징기반 (featue-based 방법으로나눌수있다. 영역기반의스테레오기법은한영상에서한픽셀의이웃하는픽셀들의밝기패턴과다른영상에서대응되는픽
518 정보처리학회논문지 B 제 15-B 권제 6 호 (008.1 셀의이웃하는픽셀들의밝기패턴사이의연관성을사용한다. 즉한영상에서의각픽셀에대해다른영상에서정합되는위치의이웃픽셀들의밝기의유사도로일치점을찾아내는것이다. 영역기반의기법은각픽셀의명암값을바로사용하기때문에한장면에대한여러카메라의위치에따라명암값이변하는것에서나타나는왜곡등에매우취약하다는단점이있다. 다른물체와의가려짐 (occusion 으로인한깊이정보의오류가나타난다는단점도있다. 매칭에있어서의탐색범위의설정과윈도우의크기설정은계산시간뿐만아니라정확도에도큰영향을미친다. Koo 등은보다안정된대응관계문제의해결을위해적응적인탐색범위와윈도우의크기를사용함으로써정확도를높이는방법을제안하였다 [1]. Stefano 등은좀더신뢰할수있는정합을찾으면이전의정합을버리는방식을제안하였다 []. 유일성제약으로부터신뢰할수없는매치들을탐지하며이러한매치들은보다더나은매치들로대치된다. 속도의향상을위해서일반적인양방향매칭기법대신에단방향매칭기법을선택하였다. 특징기반의스테레오기법은명암영상으로부터특징들을획득하고각특징들을매칭하는기법이다. 이기법은주변의빛의변화에더안정적이다. 사용되는특징으로는모서리점들을연결하여만든모서리세그먼트가흔히사용된다. 특징기반의스테레오기법은정합되는특징의속성만비교하기때문에영역기반에비해서속도가빠르다는장점이있다. Tao는특징기반의스테레오매칭결과로부터물체의표면을복원하는방법을제시하였다 [3]. 아주작은영역에대한매칭결과가주어지더라도특징들의매칭결과가정확하다면전체표면을재구성할수있음을보여준다. 특징기반스테레오매칭에있어서특징점의선정은매칭의정확성을결정하는매우중요한과정이다. Lew 등은학습을통한최적의특징점을선택하는방법을제안하였다 [4]. 대응되는영상에서특징점의모션과명암의불연속에민감한문제를해결하는방법도있다 [5]. 이방법은영역기반분석모듈과에지기반스테레오분석모듈등의여러분석모듈들을혼합하여서계층적인장면의추론이가능하도록하였다. 두에피폴라인의 1차원적인스캔라인매칭에있어서도특징기반스테레오매칭접근이연구되었다. McKeown 등은 1차원파형의정합을위한계층적인매칭알고리즘을제안하였다 [6]. 기존의스테레오정합방법들은각각특정응용에따른장단점을가지고있다. 본논문에서의연구의목표는가상현실과같은시각적인표현이중요한응용에서안정적으로사용될수있는시차맵생성기법의개발이다. 본논문에서제안하는방법은두장의스테레오영상을입력으로하여조밀시차맵을생성한다. 두입력스테레오영상에대해서 SSD 방법을사용하여정합비용을계산하고비용을집성하여시차맵을계산하고, 분산기법을이용하여스캔라인별로분할한후에분할구간별로평균을적용하여객체간의좀더명확한구분이되도록하여영역내에서의일관성있는매칭이시도되도록한다. 매칭이실패한영역들에대해 서는후처리작업으로홀메우기를실시한다. 홀메우기에서는인접영역들의색상정보를보간하여홀의각픽셀의색상값을결정한다.. 관련연구본절에서는스테레오매칭을통한시차맵생성의관련연구들을설명하고장단점및문제점을기술한다. ( 그림 1 은스테레오비전에대한카메라설정을보여주는그림이다. 두장의스테레오입력영상에대해서왼쪽의영상을 I 이라하고, 오른쪽의영상을 I 이라하고, 두입력영상에대한카메라의중심 (optica cente 은각각 O 과 O 이라하자. P는장면의 3D점을의미하며, 그점이두스테레오영상에각각 p 과 p 로투영된다. O는평면직각좌표계 (Catesian coodinate sstem 에서의원점이고, f는초점거리 (foca ength, B는두카메라중심사이의거리인베이스라인길이 (baseine distance 를의미한다. 스테레오비전기술은스테레오영상에대해서 3차원정보인시차맵을계산하는데매우유용하며다음과같은세단계절차에의해수행된다 [7]. (1 정합비용계산 ( 비용집성 (3 시차계산및최적화왼쪽영상에서의픽셀 ( 이오른쪽영상에서는 ( x', ' 의위치에서보여진다면그변이의차이인 ( x' ' 를시차 (dispait 라고하고 ( d x, d 로표시한다. 정확한시차를계산하는것이스테레오매칭의목표이다. 첫번째단계인정합비용 (matching cost 계산단계는좌우의영상에서대응되는부분을찾기위해픽셀간의유사도를계산한다. 왼쪽영상에서의한픽셀 ( 에서의시차가 ( d, d x 라면그픽셀은오른쪽영상에서 ( x + d + d 의위치에나타나야한다. 시차가얼마나정확한지에대한측도는왼쪽영상의픽셀 ( 의밝기와오른쪽영상의픽셀 ( x + d ( 그림 1 스테레오의기하구조및카메라설정상태
영상에서의분할정보를사용한스테레오조밀시차맵생성 519 + d 의밝기의차이로정의할수있다. 픽셀기반의정합비용을계산하는가장대표적인방법으로는식 (1 과같이좌우영상의명암값의차이의제곱으로비용을계산하는명암차의제곱 (SD; Squaed Intensit Diffeences[8] 과식 ( 와같이좌우영상의명암값의차이의절대값으로비용을계산하는명암차의절대값 (AD; Absoute Intensit Diffeences[9] 이있다. ( I ( I ( x + d + d (1 I ( I ( x + d + d ( 한픽셀에서의시차는그픽셀을중심으로하는영상블록을고려하여계산한다. 영상블록을윈도우라고하며윈도우내의각픽셀들의오차의총합을중심픽셀에서의정합비용으로간주한다. 블록기반의정합비용을계산하는대표적인방법으로는식 (3 과같이계산되는정규화된교차상관 (NCC; Nomaized Coss Coeation[10] 과식 (4 와같이계산되는차의제곱합 (SSD; Sum of Squaed Diffeences 과식 (5 에의해계산되는차의절대값합 (SAD; Sum of Absoute Diffeences 이있다. 정합비용단계에서는위의방법들을사용하여모든픽셀과일정범위의시차에걸쳐서시차공간영상 (DSI; Dispait Space Image 을만들게된다. ( I ( I ( I ( I ( I ( x + d, + d ( I x I ( x + d, + d ( I ( I ( x + d x, + d I ( I ( x + d + d x I 두번째단계인비용집성 (cost aggegation 단계에서공간과윈도우기반의방법은시차공간영상에서올바른영역에걸쳐합계나평균의방법으로정합비용을집성한다. 올바른영역은고정된시차에서 차원공간에서의영역이거나또는 3차원공간에서의영역이될수있다. 차원공간의경우는정사각윈도우, 이동할수있는윈도우 [11], 적응적인크기의윈도우 [1] 등과같은복합윈도우를사용하여집성한다. 3차원공간의경우는제한된시차의차이 [13] 를이용하거나, Pazdn의연관성원리 [14] 를사용하여집성한다. 고정된영역으로집성하는것은직사각형의윈도우의경우에는 차원이나 3차원회선 (convoution 을사용하거나, 효율적인박스필터를사용하여수행될수있다. 이동할수있는윈도우의경우에는최소필터를사용하여효율적으로구현될수있다. 반복확산 (iteative diffusion 과같은집성방법은각픽셀의비용에이웃하는픽셀의비용들의가중치값을반복적으로더함으로써구현된다 [15]. (3 (4 (5 마지막단계인시차 (dispait 를계산하고최적화하는단계는공간방법, 전역최적화, 동적계획법으로나눌수있다. 공간방법에서는정합비용계산단계와집성단계를강조하며, 시차계산은간단하게각픽셀에서최소의비용을갖는값과관련한시차를선택함으로써이루어진다. 공간방법은각픽셀에서 WTA(Winne-Take-A 기법을적용하여수행한다. 공간방법의단점은실제참조영상에대해단지하나의정합만을허용하지만, 다른영상에서점은여러점과정합될수있다는것이다. 전역최적화는거의대부분시차를계산하는단계에서집성하는단계까지수행하거나집성단계를생략한다. 많은전역최적화는에너지기반의방법 [16] 으로공식화되며, 에너지기반의방법은다소복잡하긴하지만전체의정합결과가에너지식을최소화하는시차를구하기때문에가장좋은성능을보인다 [17]. 최근, 전역최적화문제를특별한방법으로풀어내기위한방법들이제안되었다 [18]. 전역최적화의또다른방법은동적계획법에기반하는방법이다. 동적계획법은독립적인스캔라인에대해최소값을찾을수있다. 동적계획법은조밀스캔라인의최적화문제에초점을맞추고있다 [19]. 동적계획법은두대응되는스캔라인들사이의정합비용들로이루어진행렬을사용하여최소비용의경로를계산한다. 3. 제안된조밀시차맵생성기법스테레오영상으로부터시차맵을생성하기위해서본논문에서는영역기반의방법을사용한다. 영역기반의방법으로는색상의유사도 (simiait 에기반하여주어진윈도우에서픽셀의가중치를조정하는가변가중치를사용하여대응관계를찾는방법 [0] 이있고, 영역에기반하여두영상사이의공통의정보를최대화하여유사도를측정하는방법 [1] 이있다. Vekse[][3] 는유용한윈도우의크기와형태를발견하였지만, 너무많은인자값들을정의해야하는단점이있다. 제안하는시차맵생성방법에서는 SSD 비용함수로정합비용을계산하고스캔라인매칭시에영역정보를사용하여잘못된매치가일어나지않도록억제시켜서정확한매칭결과를얻을수있도록한다. 3.1 분할및평균을사용한시차맵생성본논문에서제안하는시차맵생성방법에있어서유사도측정을위해서 SSD 비용함수를사용한다. SSD 비용함수는식 (4 와같이계산되며, 그원리는한영상의각위치에대해서대응영상에서대응후보위치들에서의픽셀값의차이의제곱한값을사용하여두픽셀간의차이를양의실수로표현하게된다. SSD 비용함수를사용하여시차공간영상을생성한후에 WTA 방법으로시차를계산할경우에객체간의가려짐등의이유로인해잘못된매치가발생할수있다. 이러한잘못된매치들은객체간의구분을애매하게만들며, 동일객체를여러영역으로분리
50 정보처리학회논문지 B 제 15-B 권제 6 호 (008.1 시킬수도있다. 이러한객체간의구분의애매함을제거하기위해서본논문에서는영역의균일성 (homogeneit 정보를사용하여잘못된매치가발생하지않도록억제하는방법을제안한다. 생성된시차맵에대해서분산을이용하여시차맵을평가할경우객체간의구분이되는부분즉, 분산값이크게변하는부분을객체의외곽선으로판정할수있다. 이러한분산정보를이용하여일정임계치이상의변화에대해서객체들을구분한다. 객체들을구분한후에는같은객체에대해서균일성을보장하기위해임계치이하의분산변화량에대해서는같은객체로판정하고, 그영역들에대해서평균의방법으로객체의균일성을보장하는방법을제안한다. 본논문에서제안하는스테레오영상으로부터시차맵을생성하는전체과정이 ( 그림 에나타나있다. 가장먼저두영상의스캔라인을맞춰주기위해보정 (ectification 을한다. 보정은두영상에서의대응되는에피폴라인들이동일한행으로배치되도록변환하는절차이다. 두영상의보정은두영상의에피폴기하학을사용하여변환관계를구한후에정합영상을참조영상에맞추게된다. 두스테레오카메라가직각으로정확히배치되어있다면촬영되는두영상의각행이에피폴라인에일치하므로별도의보정과정이필요없다. 그러나촬영시의두카메라의배치가정확한직각이아닌경우에는보정과정을수행하도록한다. 보정된두스테레오영상에서의매칭은단순히각행의매칭문제로간주될수있으므로매칭을빠르게수행할수있다. 빠른매칭의수행을위해서는두카메라를직각스테레오장치에부착하여촬영하도록하여입력영상들의보정과정이생략될수있도록하자. 다음으로, 식 (4 의 SSD 비용함수를사용하여두영상에대한유사도를측정한다. 이단계에서는두영상이보정되어있다고가정하므로두영상에대해동일행의라인들을대응되는스캔라인으로하여정합비용을계산하고, 이들은집성한다. 이단계에서는시차의단계별로식 (4 의결과인시차공간영상을생성하게된다. 보정된후에는매칭을스캔라인별로수행하므로시차는하나의스칼라값으로표현된다. 시차공간영상은 3차원배열의형태이고첫번째와두번째인덱스는기준영상에서의위치 (,c 이고, 세번째인덱스는위치 (,c 에서의시차 d이다. 시차공간영상에서의각픽셀은시차 d에대한유사성측도값을가진다. 다음으로, 시차를계산하게되는데, 시차별로생성된시 차공간영상에대해서각픽셀에서비용이가장적은픽셀을선택하는 WTA(winne-take-a 방법을사용하여시차를생성한다. WTA는각지점 (,c 에서의시차공간영상에서최소정합비용을가지는시차 d를선택한다. 선택된시차 d를 (,c 에서의시차로지정한다. SSD 비용함수로계산된정합비용만을사용하여시차맵을생성하게되면, 다른물체와의가려짐이나, 매치에실패한픽셀들때문에시차맵이거칠게나타난다. 본논문에서는이러한문제를해결하기위해영역분할을실시하여세그먼트들을생성한다. 영역분할에서의영역균일성측도는균일한밝기값의분포영역에기반한다. 각지점에서의밝기값의평균과분산의변화율을구하고이로부터평균밝기가변하는영역을세그먼트경계로지정한다. 에지의강도를동시에고려하면보다정확한영역들을구할수있다 [4]. 영역균일성측도로밝기의균일성을고려한다. 영상의위치 (,c 에서의분산 s(,c 는식 (6 과같이정의한다. 1 s(, c = n p W (, c ( p m c 여기서 W(,c 는 (,c 를중심으로하는윈도우내의모든픽셀들을포함하는픽셀집합이고 N은 W(,c 내의픽셀들의개수이고 mc 는 W(,c 의모든픽셀들의밝기의평균이다. 영역균일성측도로밝기의균일성과더불어밝기의변화량을고려한다. 밝기의변화량은 (,c 에서의그래디언트 (gadient 의크기 (magnitude 로측정된다. 위치 (,c 에서의수평과수직방향으로의그래디언트를 Gx 와 G 라고하면 위치 (,c 에서의그래디언트의크기는 e (, c = G x + G 이다. 보다빠른계산을위해서그래디언트의크기를 e (, c = G x + G 로근사할수있다. 그래디언트의크기가클수록에지의강도가큼을의미하므로그래디언트의크기도영역의균일성측정에사용될수있다. 위치 (,c 에서의균일성측도 H(,c 는식 (7 과같이정의한다. H(,c 는 1 이하의양수값을가지며 1에가까울수록영역이균일함을의미하며값이작아질수록다른영역과인접한위치임을의미한다. 1 H (, c = 1+ s(, c e(, c (6 (7 ( 그림 제안된방법의전체과정
영상에서의분할정보를사용한스테레오조밀시차맵생성 51 SSD 비용함수를기준으로시차를계산한후에그시차가올바른지를검사하는과정을거친다. 왼쪽영상에서의한픽셀의대응되는오른쪽영상에서의픽셀이서로다른영역에속한다면그픽셀에서의시차를무효화시킨다. 그픽셀에서의시차는쌍선형보간법을사용하여이웃시차들로부터다시계산한다. ( 그림 3 은좌우입력영상의각픽셀에서의밝기값들을보여준다. 각영상에대해서영역의균일성측도를사용하여각스캔라인들을세그먼트들로분할한다. 분할되는세그먼트들의경계를그림에서다른색들로표시하였다. ( 그림 4 는영역분할된세그먼트경계정보들로부터잘못된매치들을수정한예를보여준다. 왼쪽그림은 SSD 비용함수와 WTA 방법으로생성된초기시차맵이다. 시차맵에서 X 는가려진영역으로시차가계산되지않은위치들이며그외의위치들에서는시차들이모두계산되었다고가정한다. 분산의변화량으로시차들을검사하여 a 와 j 에서의시차가임계치이상의값을가지므로잘못된매치로판단하고이위치에서의시차를보간으로다시계산하여지정한다. 오른쪽그림은수정후의시차맵의모습 을보여준다. 3. 인접픽셀값의사용을통한홀메우기조밀시차맵의생성을위해서는시차의계산에실패한픽셀들에대해서도보간을통하여적절한시차값을구하여빈홀을채우는과정이필요하다. 조밀시차맵은부드러운 3차원형상의생성을위해서는반드시필요한과정이다. 시차맵에조밀하지않으면삼각화를통한메시생성이어렵게되고따라서텍스처매핑이나셰이딩을통한입체적인 3차원렌더링이적용될수없다. 본논문에서는조밀시차맵의생성이목표이므로모든홀들에대해서보간으로메우기를수행하도록한다. 다만한쪽영상에서만보이는영역이나가려진영역과같이보간이적용되어서는안될부분들은메우기에서제외시키도록한다. 홀메우기를위해서동일세그먼트의인접픽셀들의시차값들을사용하여쌍선형보간 (biinea intepoation 을실시한다. 주어진홀픽셀에대해서동일영역내의인접픽셀들로사각형을구성할수있는경우에한해서쌍선형보간을실시한다. 먼저각홀픽셀에대해서가장인접한 ( 그림 3 스테레오영상의밝기값들과세그먼트분할의예 : 왼쪽영상 ( 왼쪽, 오른쪽영상 ( 오른쪽 ( 그림 4 초기시차맵 ( 왼쪽 과수정된시차맵 ( 오른쪽
5 정보처리학회논문지 B 제 15-B 권제 6 호 (008.1 입력 : 홀이메워지지않은시차맵 (I d 출력 : 홀을메운조밀시차맵 (I f 인자 : width, height( 시차맵의폭과높이, winsizemax( 윈도우최대크기 begin winsize := 1 fo ( 시차맵 I d 에서의각위치 (,c 에대해 do if (I d (,c 가홀일경우 then epeat { 위치 (,c 에서크기가 winsize 인윈도우를설정. 설정윈도우내에서 (,c 를포함하는동일영역의최소사각형찾기. if ( 최소사각형을찾을수없으면 then winsize 를 1 증가시켜다시시도함. ese { I f (,c := 최소사각형내에서의쌍선형보간으로시차값결정. 루프를빠져나감. } } unti (winsize < winsizemax; ese I f (,c := I d (,c end if end fo end ( 그림 5 인접픽셀정보를사용한홀메우기알고리즘 픽셀을찾는다. 이픽셀과동일한영역내의인접픽셀들로최소사각형을구성하도록시도한다. 최소사각형이란그홀픽셀을포함하는가장작은사각형이다. 최소사각형이구성이가능하면그홀픽셀의시차를인접픽셀들의시차로부터보간하여구한다. 인접픽셀들이동일영역의픽셀들이므로매우정확한시차값들을얻을수있다. 인접한최소사각형을구성할수없는경우라면영상의변두리에위치한홀이거나영역들사이에위치한홀에있는픽셀인경우이다. 이경우는두스테레오영상에서한쪽영상에서만보이는위치이거나가려진위치에해당한다. 이러한위치들에서는강제로보간을하게된다면틀린결과를얻을수있는위치들이므로홀메우기를수행하지않도록한다. 홀메우기의전체적인절차가 ( 그림 5 에있다. ( 그림 6 84 16 크기의 Map 의좌우스테레오영상 4. 실험결과제안된방법의유효성을증명하기위해본논문에서제안된조밀시차맵생성기법을윈도우플랫폼에서구현하였다. PC는.4GHz 코어 프로세서로 1GB DDR RAM의메모리를장착하고 51MB DRAM의 GeFoce 6800 GPU 의그래픽카드를사용하였다. 제안된방법의유효성을보이기위한스테레오영상으로는 ( 그림 6~( 그림 9 의영상을사용하였다. 모든입력영상들은직각인스테레오고정장치로촬영되어서보정과정은별도로수행할필요가없다. 조밀시차맵생성을위한제안된기법의기존의방법들 ( 그림 7 434 380 크기의 Sawtooth 의좌우스테레오영상 ( 그림 8 384 88 크기의 Tsukuba 의좌우스테레오영상
영상에서의분할정보를사용한스테레오조밀시차맵생성 53 ( 그림 9 434 383 크기의 Venus 의좌우스테레오영상 과의비교를위해서 Schastein와 Szeiski[7] 의실험데이터및코드를사용하였다. ( 그림 10~( 그림 13 은각각 ( 그림 6~( 그림 9 의영상을입력으로시차맵을생성한결과로서윗줄의왼쪽은실제시차맵 (gound tuth, 가운데는 1 1 크기의이동윈도우 (shiftabe window 방식의 SSD, 오른쪽은 DP(Dnamic Pogamming, 아랫줄의왼쪽은 SO(Scanine Optimization, 가운데는 GC(Gaph Cuts, 오 ( 그림 13 Venus 의시차맵의생성결과 른쪽은제안한방법 (PM: Poposed Method 으로시차맵을생성한것이다. 실제시차맵은 Schastein과 Szeiski[7] 의연구에서사용된데이터를사용하였다. < 표 1>~< 표 4> 는각각 ( 그림 10~( 그림 13 의시차맵생성결과에따른성능을분석한결과를표로나타낸것이다. RMS 에러 (oot mean squaed eo 는식 (7 과같이계산되며실제시차맵과얼마나많은차이를가지는지 d t 를의미한다. 여기서 N 은픽셀의수를의미하며, I 와 I 는각각시차맵과실제픽셀값을의미한다. 정확하지않은정합 (bad match 은식 (8 과같이계산되며부정확하게정합된픽셀들의비율을나타낸다. 여기서 δ 는부정확하게정합된픽셀을판별하는임계치를의미하며, 본논문에서는 1.0으로설정하여실험하였다. ( 그림 10 Map 의시차맵의생성결과 R B e e 1 1 d (, (, t = ( I x I x ( x, N 1 d t = ( I ( I ( > δ ( N (7 (8 ( 그림 11 Sawtooth 의시차맵의생성결과 각방법들의수행시간이 < 표 1>~< 표 4> 에있다. 수행시간은입력스테레오영상으로부터조밀시차맵을생성하는데걸리는모든시간들을합한시간이다. 측정된시간을보면제안한방법 (PM 이기존의방법들중에서가장빠른방법인이동윈도우방식의 SSD 방법과수행시간이거의비슷하게나타나면서, RMS 에러및부정확한정합이다른방법에비해더좋은성능을나타내는것을확인할수 < 표 1> Map의시차맵생성결과에따른성능분석 SSD DP SO GC PM RMS 에러 4.93591 4.88630 6.68418 6.30781 4.460 Bad match 0.05448 0.05575 0.07069 0.05635 0.04651 시간 ( 초 4.6500 4.3800 5.46900 89.593 4.51500 ( 그림 1 Tsukuba 의시차맵의생성결과 < 표 > Sawtooth의시차맵생성결과에따른성능분석 SSD DP SO GC PM RMS 에러 1.9158 1.5816 1.9316 1.8404 1.4713 Bad match 0.09961 0.0971 0.09907 0.0997 0.09954 시간 ( 초 11.5780 1.030 15.4690 866.75 11.90
54 정보처리학회논문지 B 제 15-B 권제 6 호 (008.1 < 표 3> Tsukuba의시차맵생성결과에따른성능분석 SSD DP SO GC PM RMS 에러 1.9046 1.9733 3.11331.9175 1.89033 Bad match 0.1119 0.13135 0.13773 0.11733 0.11055 시간 ( 초 8.0300 8.3500 10.0780 153.40 7.87500 < 표 4> Venus의시차맵생성결과에따른성능분석 SSD DP SO GC PM RMS 에러 1.6791.55647 3.4638 1.8457 1.7354 Bad match 0.0537 0.11038 0.10605 0.03836 0.0631 시간 ( 초 11.7180 1.970 15.660 565.53 11.9530 있다. SSD 방법에있어서수행시간이제안방법보다더길어지는경우도발생하였는데이는비교대상인 SSD 방법이정확한시차맵을생성할수있도록윈도우의크기를충분히크게하였고또한움직이는윈도우방법으로계산시간이더늘어났기때문이다. ( 그림 14~( 그림 17 은생성된시차맵에가려짐 (occusion 을표시한결과로서, 왼쪽영상을기준으로오른쪽영상에 ( 그림 17 Venus의시차맵에가려짐을표시한결과서정합되는픽셀을찾을수없는경우에는녹색, 반대의경우에는파란색으로표시하였으며, 본논문에서는왼쪽영상을참조영상으로설정하였기때문에파란색의경우는영역으로나타나지않고선과같은경계로나타나는것을확인할수있다. ( 그림 18~( 그림 1 은생성된시차맵에서홀에해당 ( 그림 14 Map 의시차맵에가려짐을표시한결과 ( 그림 18 Map 의시차맵에서홀을메운결과 ( 그림 15 Sawtooth 의시차맵에가려짐을표시한결과 ( 그림 19 Sawtooth 의시차맵에서홀을메운결과 ( 그림 16 Tsukuba 의시차맵에가려짐을표시한결과 ( 그림 0 Tsukuba 의시차맵에서홀을메운결과
영상에서의분할정보를사용한스테레오조밀시차맵생성 55 ( 그림 1 Venus의시차맵에서홀을메운결과하는부분들을인접한픽셀들로부터보간하여홀을메운조밀시차맵을보여준다. 5. 결론본논문은두스테레오영상으로부터영역기반매칭을통해조밀시차맵을생성하는기법을제안하였다. 스테레오영상으로부터빠르고안정된조밀시차맵을생성하기위해서각스캔라인에대해서분산을이용하여분할한후에각분할구간별로평균을내어객체간의구분을명확하게해주는과정을도입하였다. 영역의균일성특성에따라상이한영역으로의잘못된매칭을억제하여올바른시차맵이생성되도록하였다. 3차원구조를복원하기위해서는시차맵의모든픽셀에대해서시차를계산해야하는데매칭에실패한픽셀들로부터발생되는시차맵에서의홀에대해서소속되어야할영역의인접한사각형을얻고쌍선형보간으로시차값을구하여메우게된다. 제안된방법을다양한스테레오영상에대해서적용하고, 다른조밀시차맵생성방법들과비교하였다. 실험결과들은제안된방법이다른방법들에비해시간비용을많이들이지않고도좋은결과를얻을수있다는것을보여주었다. 제안된조밀시차맵기법은형상의실사기반렌더링과물체표면의조밀한메시생성등의응용에사용될수있다. 향후연구과제로가려짐에따른영역분할문제와물체나카메라의움직임에따른모션분할문제가해결되어야할것이다. 영역의분할문제에있어서가려짐과움직임을탐색하고그정보를분할에적용할수있다면실용적인대화형응용시스템에도조밀시차맵생성기법이적용될수있을것이다. 참고문헌 [1] Han-Suh Koo and Chang-Sung Jeong, An Aea-Based Steeo Matching Using Adaptive Seach Range and Window Size, Poceedings of the Intenationa Confeence on Computationa Science-Pat II, pp.44-56, 001. [] L. Di Stefano, M. Machionni and S. Mattoccia, A Fast Aea-Based Steeo Matching Agoithm, Image and Vision Computing, Vo., No.1, pp.983-1005, 004. [3] Camio J. Tao, Suface Reconstuction fom Featue Based Steeo, IEEE Intenationa Confeence on Compute Vision, Vo.1, pp.184-190, 003. [4] M. S. Lew, T. S. Suang and K. Wong, Leaning and Featue Seection in Steeo Matching, IEEE Tansaction on Patten Anasis and Machine Inteigence, Vo.16, No.9, pp.869-881, 1994. [5] S. B. Maapane and M. M. Tivedi, Muti-Pimitive Hieachica (MPH Steeo Anasis, IEEE Tansaction on Patten Anasis and Machine Inteigence, Vo.16, No.3, pp.7-40, 1994. [6] D. M. McKeown and Y. C. Hsieh, Hieachica Wavefom Matching: A New Featue-Based Steeo Technique, In Compute Vision and Patten Recognition, pp.513-519, 199. [7] Danie Schastein and Richad Szeiski, A Taxonom and Evauation of Dense Two-Fame Steeo Coespondence Agoithms, Intenationa Jouna of Compute Vision, Vo. 47, No.1-3, pp.7-4, 00. [8] P. Anandan, A Computationa Famewok and An Agoithm fo The Measuement of Visua Motion, Intenationa Jouna of Compute Vision, Vo., No.3, pp.83-310, 1989. [9] Takeo Kanade, Deveopment of a Video-Rate Steeo Machine, Poceedings of the 1994 ARPA Image Undestanding Wokshop, pp.549-558, 1994. [10] R. C. Boes, H. H. Bake and M. J. Hannah, The JISCT Steeo Evauation, DARPA93, pp.63-74, 1993. [11] Aaon F. Bobick and Stephen S. Intie, Lage Occusion Steeo, Intenationa Jouna of Compute Vision, Vo.33, No.3, pp.181-00, 1999. [1] Sing Bing Kang, R. Szeiski and Jinxiang Chai, Handing Occusion in Dense Muti-View Steeo, In Compute Vision and Patten Recognition, Vo.1, pp.103-110, 001. [13] W. E. L. Gimson, Computationa Expeiments with a Featue Based Steeo Agoithm, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo.7, No.1, pp.17-34, 1985. [14] K. Pazdn, Detection of Binocua Dispaities, Readings in Compute Vision: issues, pobems, pincipes, and paadigms, pp.73-79, 1987. [15] D. Schastein and R. Szeiski, Steeo Matching with Noninea Diffusion, Intenationa Jouna of Compute Vision, Vo.8, No., pp.155-174, 1998. [16] D. Tezopouos, Reguaization of Invese Visua Pobems Invoving Discontinuities, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo.8, No.4, pp.413-44, 1986. [17] C. L. Zitnick and T. Kanade, A Coopeative Agoithm fo
56 정보처리학회논문지 B 제 15-B 권제 6 호 (008.1 Steeo Matching and Occusion Detection, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo., No.7, pp.675-684, 000. [18] Y. Bokov, O. Vekse and R. Zabih, Fast Appoximate Eneg Minimization via Gaph Cuts, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo.3, No.11, pp.1-139, 001. [19] S. Bichfied and C. Tomasi, A Pixe Dissimiait Measue That Is Insensitive to Image Samping, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo.0, No.4, pp.401-406, 1998. [0] Kuk-Jin Yoon and In So Kweon, Adaptive Suppot-Weight Appoach fo Coespondence Seach, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo.8, No.4, pp.650-656, 006. [1] Z. Zivkovic and B. Kose, On Matching Inteest Regions Using Loca Desciptos: Can an Infomation Theoetic Appoach Hep?, Bitish Machine Vision Confeence, 005. [] O. Vekse, Steeo Coespondence with Compact Windows via Minimum Ratio Cce, IEEE Tansactions on Patten Anasis and Machine Inteigence, Vo.4, No.1, pp.1654-1660, 00. [3] O. Vekse, Fast Vaiabe Window fo Steeo Coespondence using Intega Images, In IEEE Compute Vision and Patten Recognition, Vo.1, pp.556-561, 003. [4] S. Henandez, K. E. Bane and Y. Yuan, Region Meging using Homogeneit and Edge Integit fo Wateshed-based Image Segmentation, Optica Engineeing, Vo.44, pp.1-14, 005. 이범종 e-mai:eeanga@incheon.ac.k 006년인천대학교컴퓨터공학과 ( 공학사 008년인천대학교컴퓨터공학과 ( 공학석사 관심분야 : 동작기반인터페이스, 증강현실, 가상현실 박종승 e-mai:jong@incheon.ac.k 199년경북대학교전자계산학과 ( 이학사 1994년포항공과대학교컴퓨터공학과 ( 공학석사 1999년포항공과대학교컴퓨터공학과 ( 공학박사 1999년~001년한국전자통신연구원가상현실연구부선임연구원 001년~003년디지탈아리아시각정보처리연구소책임연구원 004년~현재인천대학교컴퓨터공학과조교수관심분야 : 영상처리, 3D 비전, 증강현실, 게임공학 김정규 e-mai:ckkim@incheon.ac.k 1974년연세대학교 ( 이학사 1981년일본치바 ( 千葉 대학 ( 공학석사 1985년일본토카이 ( 東海 대학 ( 공학박사 1989년~현재인천대학교교수 1999년~000년 UNSW(Sdne, Austaia Visiting Schoa 1985년~1989년 KAIST 시스템공학센터선임연구원 1984년~1985년정보과학전문학교이와사키 ( 岩崎 학원강사 1981년~1985년일본토카이 ( 東海 대학정보기술센터연구원 1979년~1981년일본치바 ( 千葉 대학영상격측연구센터연구원