DBPIA-NURIMEDIA

Size: px

Start display at page:

Download "DBPIA-NURIMEDIA"

병기 우
8 years ago
Views:

1 2012 년 11 월전자공학회논문지제 49 권제 11 호 47 논문 차원형상복원을위한다중시점영상디블러링 (Multi-View Image Deblurring for 3D Shape Reconstruction ) 최호열 *, 박인규 ** * (Ho Yeol Choi and In Kyu Park ) 요 약 본논문에서는객체의모션블러 (motion blur) 를포함하고있는다중시점 (multi-view) 영상을이용하여객체의 3 차원형상복원시영상을효과적으로디블러링 (deblurring) 하여 3 차원형상복원의정확도를높이는기법을제안한다. 다중시점영상의디블러링수행시다중시점영상간의기하학적상관관계를고려하여보다정확히 PSF (point spread function) 를구함으로써결과적으로보다정확한 3 차원형상복원을수행할있다. 제안하는기법은각각의입력영상에서초기 2D PSF 를독립적으로구한후, 3 차원 PSF 의후보를각입력영상의카메라행렬에의해투영했을때이들에전역적으로가장잘부합하는 3D PSF 를탐색한다. 3D PSF 는방향과밀도성분으로구성되며이는결국 3 차원공간에서의물체의움직임궤적과동일하다. 추정된 3D PSF 는각영상으로다시투영되어각영상의 2D PSF 로추정되고, 이에의해각영상의디블러링을수행한다. 본논문에서제안하는기법을이용하여다중시점영상디블러링과 3 차원형상복원을수행한결과, 단일영상만을이용하여복원할경우에비하여디블러링과 3 차원형상복원모두현저히개선된결과를확인할수있다. Abstract In this paper, we propose a method to reconstruct accurate 3D shape object by using multi-view images which are disturbed by motion blur. In multi-view deblurring, more precise PSF estimation can be done by using the geometric relationship between multi-view images. The proposed method first estimates initial 2D PSFs from individual input images. Then 3D PSF candidates are projected on the input images one by one to find the best one which are mostly consistent with the initial 2D PSFs. 3D PSF consists with direction and density and it represents the 3D trajectory of object motion. 야to restore 3D shape by using multi-view images computes the similarity map and estimates the position of 3D point. The estimated 3D PSF is again projected to input images and they replaces the intial 2D PSFs which are finally used in image deblurring. Experimental result shows that the quality of image deblurring and 3D reconstruction improves significantly compared with the result when the input images are independently deblurred. Keywords : 다중시점, 디블러링, 3 차원형상복원, PSF, 모션블러 Ⅰ. 서론 최근영상취득기술의발전으로인해누구나쉽게영상을취득하고편집하며전달할수있다. 또한영상 * ** 학생회원, 평생회원, 인하대학교정보통신공학부 (School of Information and Communication Engineering, Inha University) 이논문은 2011년도정부 ( 교육과학기술부 ) 의재원으로한국연구재단의지원을받아수행된연구임 ( ). 접수일자 : 2012년8월13일, 수정완료일 : 2012년10월17일. 은뛰어난정보전달기능으로인해다양한분야에서효과적인정보전달의매개체로써각광받고있다. 기술의발전으로인해고화질영상의취득이용이해짐으로써한장의영상내에더많은양의정보를담을수있게되었다. 이러한흐름에따라영상내에서원하는정보를빠르고정확하게처리해야할필요성이대두되고있다. 컴퓨터비전, 영상처리분야에서는이러한영상내의정보를복원, 추적, 정합, 분류, 합성등의다양한목적으로사용해왔다. 하지만취득된영상이여러요인 (689)

2 48 3 차원형상복원을위한다중시점영상디블러링최호열외 그림 1. 블러된영상의사례. 모션블러에의한블 러링, 손떨림에의한블러링. Fig. 1. Examples of blurred image. Motion blurred image, Blurred by hand shaking. 에의해변형, 훼손되어부정확한정보를포함하고있는경우영상으로부터올바른정보를추출하기어렵다. 정확한영상을취득하는데방해가되는주요요인중에하나는영상취득시피사체의움직임또는영상취득장비의움직임으로인한모션블러이다. 영상취득시그림 1 와같이카메라셔터속도에비해빠른물체의움직임이있는경우영상내의물체는블러를포함한다. 또한그림 1 와같이손떨림으로인한카메라의움직임은영상전체가블러되는원인이된다. 영상이블러되면이후정확한알고리즘수행은매우어려워지며, 따라서적절한디블러링 [1~2] 을수행하여블러되지않은선명한영상을복원하는노력이필요하며, 이과정은크게 PSF (point spread function) 추정과디콘볼루션 (deconvolution) 의두단계로구성된다. 본논문에서는다중시점영상을이용한 3차원형상복원시입력영상에블러가존재하는상황을다룬다. 디블러링을수행하지않고 3차원형상복원을수행하거나입력영상을독립적으로디블러링하여 3차원형상복원을수행할경우복원된 3차원형상은부정확한결과를보인다. 본논문에서는이를해결하기위하여다중시점영상간의기하학적상관관계를고려한효과적인디블러링기법을제안한다. 제안하는알고리즘의흐름도를그림 2에제시하였다. 우선각각의입력영상에서초기 2D PSF를독립적으로구한후, 3차원 PSF의후보를각입력영상의카메라행렬에의해투영했을때이들에전역적으로가장잘부합하는 3D PSF를탐색한다. 3D PSF는방향, 길이, 밀도성분으로구성되며이는결국 3차원공간에서의물체의움직임궤적과동일하다. 추정된최적의 3D PSF는각영상으로다시투 그림 2. 제안하는알고리즘의블록구성도. Fig. 2. Block diagram of the proposed algorithm. 영되어각영상의 2D PSF로추정되고, 이에의해각입력영상을디콘볼루션하여디블러링을수행한다. 최종적으로디블러링된영상을이용하여객체의 3차원형상복원을수행한다. 본논문의구성은다음과같다. 제 Ⅱ장에서는본논문에서제안하는다중시점영상기반 3D PSF 추정알고리즘을소개한다. 제 Ⅲ장에서는추정된 3D PSF를이용하여다중시점영상의각영상을디블러링하는기법을제안한다. 제 Ⅳ장에서는다중시점디블러링된다중시점영상을이용하여 3차원형상복원을수행하며. 제 Ⅴ장에서는다양한입력데이터에대한실험결과를제시한다. 마지막으로 Ⅵ장에서는본논문의결론을맺는다. Ⅱ. 다중시점영상기반의 3D PSF 추정 본논문에서제안하는알고리즘은물체의등속선형움직임을가정한다. 또한영상에서의 PSF는모두균일한상황을가정한다. 입력으로쓰이는다중시점영상은모두보정 (calibration) 되어있고따라서카메라행렬이알려져있다. 1. 초기 2D PSF 추정본논문에서는 3D PSF를추정하기위한관찰정보로서개별시점에서추정한 2D PSF를사용한다. 다중시점영상을이용한 3차원형상복원환경의경우개별시점의 PSF는복원대상물체의 3차원상의움직임이 2 (690)

2012 년 11 월전자공학회논문지제 49 권제 11 호 49 그림 3. 다중시점영상에대한초기 2D PSF. Fig. 3. Initial 2D PSF about multi-view image dataset. 차원상의영상으로투영된것을나타낸다. 그러므로개별영상으로부터추정된 2D PSF는 3차원상의블러의원인을추정하는데중요한근거가된다.

3 2012 년 11 월전자공학회논문지제 49 권제 11 호 49 그림 3. 다중시점영상에대한초기 2D PSF. Fig. 3. Initial 2D PSF about multi-view image dataset. 차원상의영상으로투영된것을나타낸다. 그러므로개별영상으로부터추정된 2D PSF는 3차원상의블러의원인을추정하는데중요한근거가된다. 본논문에서는콘볼루션을이용한블러모델을가정하며블러된영상 는식 (1) 과같이표현된다. (1) 여기서,, 은각각모션블러커널 (PSF), 선명한원본영상, 그리고잡음을나타낸다. 본논문에서는각각의입력영상의초기 PSF를생성하기위한알고리즘으로 Shock 필터를이용하여영상내의에지정보를강화시켜 PSF를추정하는 Cho [3] 의알고리즘을사용하였다. 그림 3은다중시점영상에대한초기 2D PSF 추정결과이며, 일부영상의경우매우부정확한결과가얻어짐을알수있다. 2. 주성분분석을통한 2D PSF 방향성추정다중시점영상에대해서개별영상만을이용하여각시점의 2D PSF를추정하는경우영상내의잡음, 개별시점에따른최적의파라미터값들의상이함등의이유로정확한 PSF를추정하지못한다. 그림 3에나타낸바와같이 3차원상의선형적인움직임을가지는물체임에도불구하고추정된 2D PSF는선형적이지않고많은잡음을포함하고있다. 따라서선형적인움직임의가정에따라추정된 2D PSF의방향을다시추정해야할필요가있다. 이를위하여본논문에서는 PSF 내의데이터에대하여주성분분석 (principal component analysis) 을수행 그림 4. 초기 2D PSF의주성분분석결과. 올바른방향성추출결과. 부정확한 PSF 로인한잘못된방향성추출결과. Fig. 4. PCA of initial 2D PSF. Correct result. Incorrect result of orientation estimation. 하여 2D PSF의주방향과신뢰도를계산한다. 주성분분석을통해 2D PSF 내의값의분포에대한고유치와고유벡터를얻을수있다. 그림 4는주성분분석의결과로얻어진고유벡터, 를나타낸다. 은주성분분석으로부터얻어진주성분벡터이며 는 에직교하는벡터이다. 그림 4 는주성분벡터 이 PSF의방향성을잘표현하고있음을보여주고있다. 그러나그림 4 는 PSF가방향성을가지고있지못하며심각한잡음을포함하고있어주성분분석결과가올바른방향성을보여주지못한다. 벡터, 에해당하는교유치, 의비율은 PSF의중요도를나타낸다. PSF 내부의데이터의분포가일정한방향성을가지는선형적인분포를가질수록 의값이 0에가까워지며, 방향성을가지지못하고 넓은분포를가질수록 1에가까워진다. 이러한속성은 3D PSF를추정함에있어서초기 2D PSF 정보의신뢰도로나타내어질수있다. 이와같이구한초기 2D PSF의신뢰도는 3D PSF를추정함에있어서가중치로사용된다. 3. 3D PSF 추정 3D PSF를추정하기위하여 1절의결과인개별영상에서추정한 2D PSF와 2절에서추정한 2D PSF의방향정보와신뢰도를이용한다. 신뢰도가낮은초기 PSF 는본과정에서제외되며, 3D PSF 추정후이를투영시켜대체한다. 본논문에서는블러의원인인물체의 3차원움직임을방향, 길이, 밀도성분을가진 3D PSF로표현한다. (691)

50 3 차원형상복원을위한다중시점영상디블러링최호열외 (1) 방향성추정 본논문에서는 3차원공간상의표현가능한모든방향을균일하게샘플링하여다수의방향성후보들을생성하고개별 2D PSF와의비교를통하여 3D PSF의최적의방향성을추정하는기법을제안한다. 3차원공간에서의 PSF 후보방향성은구샘플링알고리즘 [4] 을이용하여생성한다.

4 50 3 차원형상복원을위한다중시점영상디블러링최호열외 (1) 방향성추정 본논문에서는 3차원공간상의표현가능한모든방향을균일하게샘플링하여다수의방향성후보들을생성하고개별 2D PSF와의비교를통하여 3D PSF의최적의방향성을추정하는기법을제안한다. 3차원공간에서의 PSF 후보방향성은구샘플링알고리즘 [4] 을이용하여생성한다. 이기법의장점은구의위도와경도에관계없이등간격의각도를가지는방향성샘플링이 가능한점이다. 이때, 방향성샘플은 로표현되어 축과 축에대한회전각으로구성되며 개의샘플로표현된다. 와 는각각식 (2) 와식 (3) 으로나타낼수있다. 여기서 은샘플의수이며 ( 논문의실험에서는 =800) 는샘플인덱스이다. (2) (3) 생성된 3차원상의방향샘플 PSF들은각시점으로투영되어 2절에서구한초기 2D PSF와방향의유사성을계산한다. 유사성은각시점으로투영된방향샘플의영역에해당하는 2D PSF내부의모든값들의합으로정의된다. 신뢰할수있는모든시점에대해서 개의방향샘플에대한유사도를계산한뒤최종적으로가장높은유사도를가지는방향성샘플을결정한다. 를가지는 2D PSF와길이를비교한다. 투영된 3D PSF 길이샘플영역내부에해당하는 2D PSF의화소값들의합이더이상증가하지않을때까지 3D PSF 샘플의길이를증가시켜가며 2D PSF와비교한다. 그림 5는다양한 3D PSF 길이샘플이특정시점으로투영된영상이다. 이과정을통해각각의 2D PSF는최적의 PSF 길이라고판단되는길이값을가지게된다. 얻어진길이값을토대로각시점으로부터 voting을수행하여최적의길이라고판단되는최종 3D PSF의길이를결정한다. (3) 밀도추정 3D PSF의밀도를추정하기위하여이전단계에서추정한방향과길이정보를이용하여가상의 3D PSF 를생성한다. 우선, 생성된 3D PSF를이산의점들로샘플링하고개별시점의모든초기 PSF로투영한다. 다음으로, 그림 6에도시한바와같이각각의투영된점들에대해설정된지지영역 (supporting region) 에서의 PSF 화소의평균값을구하고이를지지값 (supporting value) 이라고한다. 3D PSF의특정한샘플점의밀도는모든영상에대한지지값의평균값으로결정하며이를모든샘플점에대해반복하여구한다. (2) 길이추정 3D PSF의길이를추정하기위해길이가서로다른가상의길이샘플 PSF를생성한다. 생성된가상의 3D PSF 길이샘플은개별시점으로투영되어높은신뢰도 그림 6. 3D PSF의밀도추정과정. 투영된 3D PSF 샘플. 에해당하는 2D PSF 영역. Fig. 6. Density estimation of 3D PSF. Projected point of 3D PSF sample points. Supporting region of 2D PSF. Ⅲ. 3D PSF 를이용한영상디블러링 그림 5. 3D PSF 의길이후보샘플링. Fig. 5. Length samples of a 3D PSF. 본장에서는 Ⅱ장에서추정된 3D PSF를이용하여블러된영상을복원하는기법을설명한다. 추정된 3D PSF를 3차원공간에생성한뒤카메라행렬을이용하여다중시점영상의각영상으로투영시킨다. 기술한 (692)

5 2012 년 11 월전자공학회논문지제 49 권제 11 호 51 그림 7. 다중시점 영상의 개별 영상으로 투영된 3D PSF. Fig. 7. 3D PSF projection onto each view of multi-view images. 바와같이본논문에서가정하는 PSF는물체의선형적인등속 3차원운동에의한모션블러이므로투영된 3D PSF는일정한방향성을가지는선형형태를가지게된다. 그림 7은개별시점으로투영된 3D PSF의사례이다. 본논문에서는추정된 3D PSF로부터각영상의디블러링을수행하기위하여 Richardson-Lucy deconvolution [5~7] 기법을이용하였다. 식 (4) 의 는 번째반복의결과영상을나타내며 는초기의블러된영상을나타낸다. 와 는각각콘볼루션연산자와 3D PSF로부터투영된개별시점의개선된 2D PSF를나타낸다. 식 (4) 의반복적인디콘볼루션과정을통하여해당영상의디블러링을수행한다. (4) Ⅳ. 디블러링된영상을이용한 3 차원형상복원 본장에서는디블러링된각시점들의영상을이용하여 3차원형상복원을수행한다. 3차원형상복원에사용된알고리즘은 surfel을이용한다중시점스테레오알고리즘 [8] 이다. 3차원형상복원과정은 GPU를이용하여병렬화되어, 수분정도의빠른시간에 3차원형상복원이수행가능하다. 알고리즘의수행과정은다음과같다. 우선입력받은다중시점영상의깊이지도를추출하기위하여 SAD (sum of absolute difference) 또는 NCC (normalize cross correlation) 등을수행하여초기깊이지도를생성한다. 다중시점의초기깊이지도로부터 3차원상의화소의초기위치를계산하며이는 surfel로표현된다. 여러시점의영상을이용하여 surfel의방향을 voting 한 다. 초기깊이지도만을이용하여 surfel을추정하였을경우다양한후보 surfel 및잡음이존재하게되는데이를다중시점영상에재투영하여세부보정을수행하고최종적으로 graph cut 기법을이용하여물체의표면을구성하는최적화의 surfel 집합을추출한다. 전과정은병렬화에적합한구조로설계되었으며실제로 NVIDIA CUDA를이용하여구현되었다. 복원된 3차원형상은최적화된점집합과이에해당하는법선벡터의집합으로구성된다. 또한 3차원형상복원의결과를메쉬모델로재구성하기위하여 Poisson surface reconstruction 기법 [9] 을적용하였다. Ⅴ. 실험결과제안하는알고리즘의성능을확인하기위하여가상의 3차원상의물체의움직임을 OpenGL 을이용하여시뮬레이션하여블러된다중시점영상과참값의 PSF 를취득하였다. 또한수평방향으로움직이는물체를다수의카메라로동시에실제취득하여실험영상을구성하였다. 본실험은 Intel Core i GHz CPU, 4 GB 메모리를장착한컴퓨터에서수행되었다. 1. 다중시점영상복원결과그림 8은블러된영상과제안하는다중시점디블러링을수행한결과와의비교영상이다. 실험영상은총 36장의합성영상으로구성되어있으며해상도는 이다. 그림 8 에블러되지않은원본영상을제시하였으며그림 8 는참값 PSF를나타낸다. 그림 8 는그림 8 와그림 8 의 convolution으로생성된블러된영상을나타낸다. 그림 8(d) 는본논문에서제안하는다중시점영상을이용한 3D PSF를추정한뒤각영상의시점으로투영시켜개선된 2D PSF를얻은결과이다. 그림 8 의 ground truth PSF와비교하였을때방향, 길이, 밀도의분포가매우유사한형태를가지는것을확인할수있다. 그림 8(e) 는그림 8(d) 를이용하여디블러링을수행한결과이다. 그림 8 의블러된영상과비교하여물체의경계부분과텍스처가뚜렷하게복원됨을확인할수있다. 그림 9는단일시점영상만을이용하여독립적으로디블러링을수행한결과와본논문에서제안하는다중시점기반의영상복원결과와의비교결과를나타낸 (693)

6 52 3차원 형상 복원을 위한 다중시점 영상 디블러링 최호열 외 (d) 그림 9. Fig. (d) 9. 디블러링 결과 비교. 부정확한 단일시점 영 상 복원 결과. 의 확대 영상. 제안하는 다중시점 디블러링 결과. (d) 의 확대 영상. Comparison of deblurring result. Inaccurate result of independent single-view deblurring. Close up of. Improved result using proposed multi-view deblurring. (d) Close up view of. (e) 그림 8. Fig. 8. 합성 다중시점 영상에 대한 알고리즘 수행 결 과 (36장 중 4장만 도시). 원본 영상. 참 값 PSF. 블러된 영상. (d) 추정된 2D PSF. (e) 디블러링 결과 Deblurring result of synthetic multi-view images (4 out of 36 images). Original images. Ground truth PSF. Blurred image. (d) Estimated 2D PSFs. (e) Result of multi-view deblurring. 다. 그림 9에 나타난 바와 같이 모든 다중시점 영상 에 대하여 동일한 파라미터를 적용하여 디블러링을 수 행하는 경우 매우 부정확한 복원 결과가 생성된다. 다 중시점 영상은 시점에 따라 에지 정보, 블러의 정도 등 정보의 손실량이 서로 다르므로 개별적인 파라미터 최 적화가 필요하다. 그림 9는 부정확한 복원결과의 확 그림 10. 실제 취득된 다중시점 영상의 복원 결과. 블 러된 영상, 독립적인 단일시점 디블러링 결 과, 제안하는 다중시점 디블러링 결과. Fig. 10. Multi-view deblurring result of real dataset. Blurred image set. Result of independent single-view deblurring. Result of proposed multi-view deblurring. 대영상이다. 그림 9와 (d)는 제안하는 다중시점 복원 알고리즘을 이용하여 복원한 결과이다. 그림 9, 와 비교하였을 때 물체의 경계부분이 잘 복원됨을 확인할 수 있으며 텍스처 또한 선명하게 복원되어 물체 표면의 글씨를 식별 가능하다. (694)

7 2012년 11월 전자공학회 논문지 제 49 권 제 11 호 53 제안하는 알고리즘 수행과정에서 초기 2D PSF 추정 과정에서 부정확한 2D PSF가 추정된 영상은 3D PSF 추정시 배제되거나 매우 낮은 가중치를 가지게 된다. 결과적으로 양질의 정보만을 이용하여 3D PSF를 추정 하여 디블러링에 이용하므로 부정확한 초기 2D PSF가 얻어진 시점일지라도 3D PSF를 이용하여 그 2D PSF 를 대치함으로써 정교한 디블러링이 가능하다. 그림 10은 수평 방향으로 이동하는 물체를 5개의 카 메라를 이용하여 동시에 취득한 영상에 대한 실험 결과 이다. 그림 10는 움직임에 의해 블러된 입력 영상이 (d) 며 그림 10는 단일 영상 디블러링 알고리즘을 이용 하여 독립적으로 디블러링 한 결과이다. 단일 영상 디 블러링 알고리즘을 이용하여 추정한 2D PSF는 수평방 향의 선형적인 형태를 가지고 있지만 매우 두꺼우며 많 은 잡음을 포함하고 있다. 반면에 그림 10에 나타낸 바와 같이 다중시점 영상을 이용한 디블러링 결과로 개 선된 2D PSF는 잡음을 포함하지 않은 완벽하게 선형 적인 형태를 가진다. 복원된 영상 역시 그림 10와 비 교하여 물체의 텍스처가 선명하게 복원되는 것을 확인 할 수 있다. 그림 11. 3차원 형상 복원을 위한 다중시점 영상. 원 본 영상. 블러된 영상. 독립적인 단일시 점 디블러링을 수행한 복원 결과. (d) 제안하는 다중시점 디블러링을 수행한 복원 결과. Fig. 11. One of multi-view images for 3D shape reconstruction. Original image. Blurred image. Result of independent single-view deblurring. (d) Result of proposed multi-view deblurring. 2. 3차원 형상 복원 결과 3차원 형상 복원은 Middlebury 다중스테레오 영상을 이용하여 실험을 수행하였다. 원 실험 영상에는 모션 블 [8] 러가 존재하지 않으므로, 다중시점 스테레오 알고리즘 을 이용하여 3차원 형상을 복원하고 이를 이용하여 모 션 블러를 합성하여 입력 다중시점 영상을 생성하였다. 그림 11은 3차원 형상 복원의 결과를 확인하기 위한 다중시점 영상 중 한 시점의 영상이다. 물체를 구형으 과 기둥 사이의 영역에 블러로 인한 잘못된 전경/배경 로 바라보는 47개의 서로 다른 시점에서 취득되었으며 정보가 존재하게 된다. 따라서 그림 12에 나타난 바 해상도를 가진다. 제안하는 다중시점 디블러 와 같이 3차원 형상 복원 시 3차원 상의 물체의 형상을 링 알고리즘의 이용한 3차원 형상 복원의 개선 정도를 추정하는데 매우 부정확한 결과를 초래한다. 그림 12 비교하기 위하여 원본 영상(그림 11), 블러된 영상 는 단일 영상 디블러링 알고리즘을 이용하여 개별 시점 (그림 11), 단일시점에서의 독립적인 디블러링 결과 의 영상을 디블러링 한 뒤 3차원 형상 복원을 수행한 영상(그림 11) 그리고 다중시점 디블러링 결과 영상 결과이다. 그림 12의 결과 보다는 3차원 형상이 올바르게 (그림 11(d))을 나타낸다. 그림 12는 그림 11의 영상에 대한 3차원 형상 복원 복원됨을 확인할 수 있다. 그러나 물체의 표면의 울퉁 결과이다. 그림 12는 블러되지 않은 원본 영상에 대 불퉁한 영상과 같이 여전히 부정확한 복원 결과를 보인 한 복원 결과이므로 비교를 위한 참값이라고 할 수 있 다. 이는 다중시점 영상에 대해서 개별 영상만을 이용 다. 그림 12는 블러된 영상을 이용한 3차원 형상 복 하여 디블러링을 수행한 경우 각 시점간의 위치관계는 원 결과이다. 블러된 영상은 시점에 따라 물체의 기둥 고려되어지지 않기 때문에 정확한 디블러링이 수행되지 (695)

54 3 차원형상복원을위한다중시점영상디블러링최호열외 과적으로디블러링을수행하는알고리즘을제안하였다. 다양한실험을통하여기존의독립적인단일시점디블러링알고리즘을이용하여다중시점영상의디블러링을수행하는것에비해디블러링결과가괄목할만하게개선됨을보였다. 또한제안하는알고리즘이블러링된영상을이용한다중시점스테레오형상복원의결과를크게개선함을보였다.

8 54 3 차원형상복원을위한다중시점영상디블러링최호열외 과적으로디블러링을수행하는알고리즘을제안하였다. 다양한실험을통하여기존의독립적인단일시점디블러링알고리즘을이용하여다중시점영상의디블러링을수행하는것에비해디블러링결과가괄목할만하게개선됨을보였다. 또한제안하는알고리즘이블러링된영상을이용한다중시점스테레오형상복원의결과를크게개선함을보였다. 제안하는알고리즘은다시점영상의물체내부의텍스처를정확히복원함으로써 3차원형상복원시다중스테레오정합의정확성을높인다. 또한다시점영상정보를이용하여 3차원상의유일한 3D PSF를추정하므로개별시점의최적의파라미터추정과정을수행하지않아도된다. 따라서빠른시간내에자동으로형상복원이가능하게한다. 참고문헌 그림 12. 3차원형상복원결과. 원본영상을이용한복원결과. 블러된영상을이용한복원결과. 독립적인단일시점디블러링결과영상을이용한복원결과. (d) 제안하는다중시점디블러링영상을이용한복원결과. Fig D shape reconstruction result. Result using original image. Result using blurred image. Result using single-view deblurred result. (d) Result using multi-view deblurred result. 않았기때문이다. 그림 12(d) 는본논문에서제안하는알고리즘을이용한디블러링결과영상을이용하여 3차원형상복원을수행한결과이다. 다중시점기반의디블러링알고리즘은독립적인단일시점기반의디블러링에비하여보다정확한디블러링을수행하였고, 따라서물체의형상이그림 12 와그림 12 의결과에비해정확히복원되었을뿐만아니라물체의표면또한그림 12 의참값에매우근접한결과를보인다. Ⅵ. 결론 본논문에서는블러가존재하는다중시점영상에대하여영상간의상호기하학적연관관계를이용하여효 (d) [1] Q. Shan, J. Jia and A. Agarwala, High-quality motion deblurring from a single image, ACM Trans. on Graphics, vol. 27, no. 3, article 73, August [2] R. Fergus, B. Singh, A. Hertzmann, S. Roweis and W. Freeman, Removing camera shake from a single photograph, ACM Trans. on Graphics, vol. 25, no. 3, pp , July [3] S. Cho and S. Lee, Fast motion deblurring, ACM Trans. on Graphics, vol. 28, no. 5, article 145, December [4] E. B. Saff and A. B. Kuijlaars, Distributing many points on a sphere, The Mathematical Intelligencer, vol. 19, no. 1, pp. 5-11, [5] L. B. Lucy, An iterative technique for the rectification of observed distributions, Astronomical Journal, vol. 79, no. 6, pp , [6] W. H. Richardson, Bayesian-based iterative method of image restoration, Journal of Optical Society of America, vol. 62, no. 1, pp , [7] D. A. Fish, A. M. Brinicombe, E. R. Pike and J. G. Walker, Blind deconvolution by means of the Richardson-Lucy algorithm, Journal of the Optical Society of America A, vol. 12, no. 1, pp , [8] J. Y. Chang, H. Park, I. K. Park, K. M. Lee, and S. U. Lee, GPU-friendly multi-view stereo reconstruction using surfel representation and graph cuts, Computer Vision and Image (696)

2012 년 11 월전자공학회논문지제 49 권제 11 호 55 Understanding, vol. 115, no. 5, pp. 620-634, May 2011. [9] M. Kazhdan, M. Bolitho, and H. Hoppe, Poisson surface reconstruction, Proc.

9 2012 년 11 월전자공학회논문지제 49 권제 11 호 55 Understanding, vol. 115, no. 5, pp , May [9] M. Kazhdan, M. Bolitho, and H. Hoppe, Poisson surface reconstruction, Proc. of the Eurographics Symposium on Geometry Processing, pp , June 최호열 ( 학생회원 ) 2010 년 2 월인하대학교정보통신공학부학사 2012 년 8 월인하대학교로봇공학전공석사 2012 년 2 월 ~2012 년 7 월전자부품연구원멀티미디어 IP 센터위촉연구원 2012 년 8 월 ~ 현재 ( 주 ) 디알텍연구원 < 주관심분야 : GPU 병렬처리, 의료영상처리, 임베디드컴퓨팅 > 저자소개 박인규 ( 평생회원 )- 교신저자 1995 년 2 월서울대학교제어계측공학과학사 1997 년 2 월서울대학교제어계측공학과석사 2001 년 8 월서울대학교전기컴퓨터공학부박사 2001 년 9 월 ~2004 년 3 월삼성종합기술원 (SAIT) 멀티미디어랩전문연구원 2007 년 1 월 ~2008 년 2 월미국 Mitsubishi Electric Research Laboratories (MERL) 방문연구원 2004 년 3 월 ~ 현재인하대학교정보통신공학부부교수 < 주관심분야 : 컴퓨터그래픽스및비전 ( 영상기반 3 차원형상복원, 3 차원카메라, Mobile computational photography), GPGPU> (697)

(JBE Vol. 20, No. 5, September 2015) (Special Paper) 20 5, (JBE Vol. 20, No. 5, September 2015) ISS

(Special Paper) 20 5, 2015 9 (JBE Vol. 20, No. 5, September 2015) http://dx.doi.org/10.5909/jbe.2015.20.5.676 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) 4 Light Field Dictionary Learning a), a) Dictionary