2011 년 11 월전자공학회논문지제 48 권 SP 편제 6 호 27 논문 2011-48SP-6-4 스마트폰에서의능동적 3 차원형상취득기법 (Active 3D Shape Acquisition on a Smartphone ) 원재현 *, 유진우 *, 박인규 ** * (Jae Hyun Won, Jin Woo Yoo, and In Kyu Park ) 요 약 본논문에서는스마트폰단말기에장착되어있는카메라와플래시를이용한 photometric stereo 기반의능동적 3 차원형상취득기법을제안한다. 조명의위치변화에따라여러장의입력영상을취득하기위헤고정된위치에서영상을취득하는스마트폰한대와위치를변화시키며조명을투사하는스마트폰한대를이용하여시스템을구성한다. 우선카메라렌즈의왜곡과카메라센서의비선형성반응함수에의한 3 차원형상취득의오차를줄이기위해카메라보정을수행한다. 또한스마트폰카메라간의자세를추정하기위해 5-point 알고리즘을적용한후이를이용하여광원의방향벡터를추정한다. 그후취득된영상과추정된광원의방향벡터를이용하여 photometric stereo 기법으로 3 차원형상을취득한다. 실험결과본논문에서제안하는기법을통하여스마트폰이저비용고품질의소형화된 3 차원카메라의역할을수행할수있는것을확인할수있다. Abstract In this paper, we propose an active 3D shape acquisition method based on photometric stereo using camera and flash on a smartphone. Two smartphones are used as the master and slave, in which the slave projects illumination from different locations while the master captures the images and processes photometric stereo algorithm to reconstruct 3D shape. In order to reduce the error, the smartphone's camera is calibrated to overcome the effect of the lens distortion and nonlinear camera sensor response. We apply 5-point algorithm to estimate the pose between smartphone cameras and then estimate lighting direction vector to run the photometric stereo algorithm. Experimental result shows that the proposed system enables us to use smartphone as a 3D camera with low cost and high quality. Keywords : Active 3D shape acquisition, photometric stereo, smartphone Ⅰ. 서론 최근잇따른 3차원영화의개봉에힘입어 3차원영상과실감미디어에대한대중의관심이크게증가하였고나아가가정용 3차원 TV의보급에도크게기여하고있다. 뿐만아니라컴퓨터성능의발전과 3차원형상복원기술의진보로전문가가아닌일반사용자들도손쉽 ** * 학생회원, 평생회원, 인하대학교정보통신공학부 (School of Information and Communication Engineering, Inha University) 본연구는 ( 주 ) 삼성전자의지원으로수행되었음. 본연구는지식경제부및정보통신산업진흥원의대학 IT연구센터지원사업의연구결과로수행되었음 (NIPA-2011-(C1090-1111-0003)). 접수일자 : 2011년9월8일, 수정완료일.: 2011년10월5일. 게 3차원영상및실감미디어로의접근이가능하게되었다. 그러나이러한접근용이성에비하여 3차원콘텐츠저작은여전히많은비용과시간이필요하고, 특히일반사용자들이손쉽게 3차원콘텐츠를저작하는것은아직쉽지않은상황이다. 한편고해상도의카메라와고성능의프로세서를장착한스마트폰의개발은꾸준히이루어져왔고이에따라현재의스마트폰에서는고해상도의동영상재생뿐만아니라고품질의 3차원모델을실시간으로렌더링하는것이가능해졌다. 이러한고성능의스마트폰을사용하는사용자의수는급격히증가하고있으며결과적으로스마트폰에서다양한어플리케이션의수요가급격히증가하고있다. 따라서 2차원영상, 동영상등에서 3차원 (775)
28 스마트폰에서의능동적 3 차원형상취득기법원재현외 실감콘텐츠로의자연스러운수요변화가예상된다. 한편컴퓨터비전기술을이용한 3차원카메라의개발은오랫동안연구가진행되어왔으며디지털카메라에서두개의광학계를장착하여좌, 우영상을취득함으로써입체영상을취득하는방법은이미상용화되었다. 그러나이러한입체영상기법은물체의 3차원형상을직접복원하지않기때문에다양한 3차원실감미디어어플리케이션에서의활용도가제한될수밖에없다. 스마트폰등의모바일단말기를이용하여 3차원형상을복원하는연구는거의수행되지않았거나매우초기단계에머물러있다. Lee 등은스마트폰에서여러각도에서취득된영상을이용하여물체의윤곽선정보로부터 shape from silhouette 방법을적용하여 3차원형상을취득하는연구를수행하였다 [1]. 그러나이기법은정확한전경과배경분리과정이필요하고오목한 (convex) 영역에대한복원이어렵다. Higo 등은조명이장착된카메라를이용하여조명의위치를변화시키는 photometric stereo기법과다시점의영상으로부터여러개의변이지도 (disparity map) 를획득하고이로부터 3차원으로형상을복원하는 multi-view stereo기법을결합하여소형화된 3차원카메라시스템을제안하였다 [2]. 그러나수십장의영상취득이필요하며많은연산량을필요로하기때문에스마트폰에서직접구현하기어려운단점이있다. 본논문에서는스마트폰카메라를이용하여 3차원형상을취득하기위하여, 기존의수동적인 (passive) 기법과달리스마트폰단말기가장착하고있는플래시를 이용하는능동적인 (active) 취득기법을제안한다. 제안하는시스템은두대의스마트폰을이용하여서로다른위치에서의조명에대한영상을취득하고 photometric stereo기법을적용하여복원하고자하는물체의법선지도 (normal map) 를복원한다. 복원된법선지도로부터 Poisson 방정식의풀이과정을거쳐깊이영상을취득한다. 본논문에서제안하는스마트폰기반 3차원형상취득시스템의블록구성도는그림 1에도시하였다. 본논문의구성은다음과같다. 제 Ⅱ장에서는 photometric stereo 기법을소개하고제 Ⅲ장에서영상전처리과정으로서의카메라보정및전경과배경의영역분리에대하여설명한다. 제 Ⅳ장과제 Ⅴ장에서는 SURF, RANSAC, 그리고 5-point 알고리즘을이용한카메라간의자세추정과깊이영상생성방법에대해각각기술한다. 제 Ⅵ장에서실험결과를제시하고제 Ⅶ장에서본논문의결론을맺는다. Ⅱ. Photometric Stereo 기법 1. Photometric Stereo 기법개요 Photometric stereo 기법은조명광원의위치변화에따른물체의반사특성을이용하여 3차원형상을취득하는기법이다. 밝기가일정한광원이 Lambertian 반사특성을가지는물체에조명을투사할때영상에서관찰되는특정화소위치에서의밝기값 는식 (1) 과같이표면의반사도 와표면의법선벡터, 그리고광원의방향벡터 의내적으로표현된다. (1) 그러나위와같은식을만족하는해는무수히많기때문에조명변화에따른여러장의영상을취득하여위식의해를구한다 [3~4]. 서로다른위치에서조명을투사할경우고정된카메라위치에서각각취득된 장영상의밝기값은식 (2) 와같이식 (1) 을확장하여표현할수있다. (2) 그림 1. 제안하는시스템의블록구성도 Fig. 1. Block diagram of the proposed system. 식 (2) 로부터최소자승해 (least square solution) 를이용하여해를구하면표면의반사도와표면의법선벡터 (776)
2011 년 11 월전자공학회논문지제 48 권 SP 편제 6 호 29 (a) (b) (c) (d) 그림 2. 전경과배경의분리과정 (a) 초기의직사각형영역지정의사용자입력 (b) 초기의영역분리결과 (c) 사용자 스트로크입력 (d) 영역분리결과 Fig. 2. Segmentation of foreground and background (a) Intial user input by specifying a rectangular region (b) Initial segmentation result (c) Further user input by drawing strokes on the foreground (d) Final result. 를구할수있다. 2. 스마트폰을이용한 Photometric Stereo 기법본논문에서는스마트폰의카메라와플래시를각각영상취득과조명장치로사용하는 photometric stereo 기법을제안한다. 카메라와플래시는고정되어있기때문에제안하는기법에서는두대의스마트폰을이용하여, 첫번째스마트폰은위치를바꿔가며플래시의조명을투사하고두번째스마트폰은고정된위치에서첫번째스마트폰의플래시조명에의해음영이변화된영상을취득한다. 즉, 첫번째스마트폰은보조 (slave) 역할을하여플래시조명을투사하는역할을하고, 두번째스마트폰은물체의영상을취득하고주요연산을수행하는주 (master) 역할을한다. Photometric stereo 기법을적용하기위하여카메라와조명위치의상대적변환관계의추정이필요하다. 이를위하여보조스마트폰에서도물체의영상을취득하고주스마트폰의영상과의특징점정합을통해두스마트폰간의변환관계를구한다. 스마트폰의카메라와플래시간의거리는물체까지의거리에비하여무시할정도로작기때문에두번째스마트폰의카메라와플래시의위치가같다고가정할수있다. Ⅲ. 영상전처리 1. 카메라보정조명을이용하는능동적형상취득은카메라왜곡, 물체의반사특성, 조명의속성등에영향을받는다. 따라서본논문에서는기하학적 (geometric) 보정및방 사도 (irradiance) 보정을수행하여 3차원형상취득의정확성을향상시킨다. (1) 기하학적보정스마트폰카메라는초점거리가짧은소형렌즈를이용하기때문에렌즈의제조과정상접선왜곡과 (tangential distortion) 구면렌즈로인한방사왜곡 (radial distortion) 이존재할가능성이크다. 이를보정하기위해본논문에서는 Matlab의카메라보정툴박스 [5] 를오프라인으로처리하여영상을보정한다. (2) 방사도보정카메라에서취득되는화소의밝기값은카메라의반응함수에의해실제입사되는빛의양과선형적으로비례하지않기때문에능동적형상취득에오차를발생시킨다. 일반적인카메라의반응함수는단조증가이기때문에반응함수의역함수를구하여방사도값을추정하고선형적으로보정한다. [6] 여기서반응함수는노출시간을다르게하여여러영상을취득한후 Robertson [7] 의알고리즘을이용하여얻을수있다. 2. 전경과배경분리카메라에서취득되는영상은복원하고자하는물체뿐만아니라배경을함께포함하고있다. 취득된영상의모든영역에대하여연산을수행할경우연산과다및메모리부족의문제가발생한다. 따라서전경과배경을분리하고전경영역에대해서만복원을수행하는것이효율적이다. 본논문에서는사용자입력을활용한전역적최적화기반의 GrabCut [11] 기법을이용하여전경 (777)
30 스마트폰에서의능동적 3 차원형상취득기법원재현외 과배경의분리를수행한다. 그림 2 (a) 와같이사용자로부터사각형영역을입력받아초기의전경과배경영역을분리하고그림 2 (c) 와같이오차가발생하는부분에대하여사용자스트로크입력을통하여정교한전경과배경의분리를수행한다. Ⅳ. 두대의스마트폰의상대적자세추정 Photometric stereo기법을적용하기위해서는광원의방향벡터추정이필요하다. 보조스마트폰의조명의방향벡터는두스마트폰에서취득된영상을이용한상대적자세추정을통해구할수있다. 이를위해본논문에서는각각의스마트폰에서취득된영상을 SURF (speeded-up robust features) [8] 를이용하여특징점추출및정합을수행하고정합된점으로부터 RANSAC (random sample consensus) [9] 과 5-point [10] 알고리즘을이용하여스마트폰카메라간의자세를추정한다. 우선보조스마트폰에서영상을취득하고 SURF를이용하여 64차원벡터정보를가지는 SURF 기술자 (descriptor) 를구한뒤 Bluetooth 통신을통해주스마트폰으로전송한다. 주스마트폰에서도마찬가지로플래시조명에의해음영변화된영상을취득하고동일한 SURF 기술자를구하여보조스마트폰에서전송된특징점들의기술자와정합을수행한다. 두영상에서추출한 SURF 기술자를이용하여정합을수행한사례를그림 3 (a) 에제시하였다. 이렇게찾아진대응점을이용하여 5-point 알고리즘으로두카메라간의변환행렬을구하는과정은다음과같다. 우선무작위로 5개의점을선택하고 5-point 알고리즘으로초기의필수 (essential) 행렬을구하면최소 1 개에서최대 10개의필수행렬후보를얻을수있다. 각각의후보행렬 에대해정확하지않은대응점을제거하기위하여식 (3) 의값이임계값 τ ( 본논문에서는 5) 보다작을때대응점을 inlier로선택한다. (3) 여기서 과 는주영상과보조영상에서의대응점의좌표를나타내고 과 는주카메라와보조카메라의내부인자행렬을의미한다. 이때필요한두카메라의내부인자는 Matlab 카메라보정툴박스 [5] 를이용해오프라인연산으로추정하였다. 검출된 inlier에해당하는 (a) 그림 3. 두영상간의초기대응점정합 (a) RANSAC 수행 전 (b) RANSAC 수행 후 (Inlier는녹색으로표시 ) Fig. 3. Initial matching of feature points. (a) Before performing RANSAC (b) After performing RANSAC (Inlier matching is in green). 대응점을그림 3 (b) 의녹색선으로나타내었다. 이때 RANSAC의추정오차는개의모든 inlier에대한누적오차의합으로식 (4) 와같이정의한다. 따라서선택된 5-point에대한최선의행렬 E는누적오차 ε가최소인행렬로선택한다. (4) 그러나무작위로 5개의점을선택하는과정에서 outlier가포함될수있으므로상기과정을충분한회수만큼 ( 본논문에서는 3,000회 ) 반복적으로수행하여누적오차가최소인행렬을최종필수행렬 로선택한다. 추정된필수행렬 는식 (5) 과같은회전행렬 과이동벡터 로이루어져있으며 SVD (singular value decomposition) 를통해 과 를추정할수있다. 여기서, (b) (5) (778)
2011 년 11 월전자공학회논문지제 48 권 SP 편제 6 호 31 Ⅴ. 법선지도및깊이영상생성 Ⅵ. 실험결과 전장에기술한바와같이서로다른조명의영상으 로부터카메라와조명의상대적자세를추정하면식 (2) 를통해각화소에서의법선벡터를추정할수있다. 이과정을모든화소에대해수행하여영상의법선지 도를추정한다. 깊이영상의생성은추정된법선벡터로부터 Poisson 방정식의풀이과정을거쳐취득한다 [12]. 그과정을간 략히기술하면다음과같다. 어떤화소위치에서의법 선벡터 는그위치에해당되는곡면에수 직이므로영상에서 x, y 방향으로의차분벡터와곡면 의법선벡터의내적이 0이다. 이를수식으로표현하면 식 (6) 및식 (7) 과같다. (6) (7) 모든좌표 에대해과적 (overdetermined) 연립 방정식을생성한후행렬로표현하면식 (8) 과같이표 현된다. (8) 여기서 은전경영역에서법선벡터의 방향값으로 이루어진희소 (sparse) 행렬, 는법선벡터의 방향, 방향의값으로이루어진열벡터, 는구하고자하는 깊이값으로구성된열벡터를나타낸다. 희소행렬로표 현된과적연립방정식은 conjugate gradient 방법을이용 하여해를구할수있다 [13]. 본논문에서는이와같은과 정으로깊이영상을생성한다. 그림 4. 실험구성환경 Fig. 4. Experimental setup. 본실험에서는 8백만화소의카메라와 LED 플래시, 그리고듀얼코어 1.2GHz CPU (ARM Cortex A9) 를장착하고있는삼성전자의 SHW-M250S ( 갤럭시 SⅡ) 스마트폰을사용하였으며알고리즘은 Android OS 2.3 기반에서구현하였다. 실험구성은그림 4와같이두대의스마트폰으로구성하였다. 보조스마트폰은위치를변화시키며플래시조명을투사하며주스마트폰은고정된위치에서영상을취득하고주요계산과정을수행한다. 입력영상으로는 640 480 해상도의 10장의영상을취득하여실험을수행하였으며, 영상취득시주변조명은모두소등하였다. 그림 5, 그림 6, 그림 7, 및그림 8에두가지실험데이터에대한입력영상및실험결과를제시하였다. 그림 5와그림 7과같은 10장의영상을사용하여그림 6 (a) 와 (b), 그림 8 (a) 와 (b) 와같은법선지도와깊이영상을복원하였다. 또한 OpenGL을이용하여 3차원점군 (points cloud) 모델로렌더링한결과를그림 6 (c) 와그림 8 (c) 에제시하였다. 실험결과에서보는바와같이모델의 3차원형상이성공적으로복원되었음을알수있다. 본논문에서제안하는기법으로취득된 3차원형상은구조적조명기법및레이저스캐너등의고정밀 3 차원형상취득시스템에서의형상취득결과와비교하였을때어느정도오차가존재한다. 그원인은다음과같다. 우선스마트폰의플래시를이용한조명은물체의크기에비해조명의위치가가깝기때문에 photometric stereo 기법에서가정하는평행입사광선과는차이를보인다. 또한플래시조명은모든방향으로균일한밝기를보이지않는다. 그리고스마트폰카메라의비네팅 (vignetting) 효과가완벽히보정되지않았다. 이와같은이유로취득된 3차원형상에는그림 8 (c) 와같이육안으로관찰할수있는오차가존재하지만본논문에서는스마트폰을이용한 3차원형상취득의가능성을충분히보였다고할수있다. 그림 5 및그림 6에제시한실험과정에대한알고리즘수행시간은표 1에제시하였다. 표 1에나타낸바와같이깊이영상생성과정에서소요되는시간이가장높은비율을갖는것을확인할수있다. 이는 conjugate gradient 기법에서 300회반복수행하여수렴된해를구한결과이다. SURF, 영상정합, 두스마트폰간의자 (779)
32 스마트폰에서의능동적 3 차원형상취득기법원재현외 그림 5. 10장의입력영상 Fig. 5. Ten input images. (a) (b) (c) 그림 6. 3차원형상복원결과 (a) 법선지도 (normal map) (b) 깊이영상 (c) 3 차원컬러점군모델 (color points cloud) Fig. 6. Reconstructed 3D shape (a) Normal map (b) Depth image (c) Color points cloud. 그림 7. 10장의입력영상 Fig. 7. Ten input images. (a) (b) (c) 그림 8. 3차원형상복원결과 (a) 법선지도 (normal map) (b) 깊이영상 (c) 3 차원컬러점군모델 (color points cloud) Fig. 8. Reconstructed 3D shape (a) Normal map (b) Depth image (c) Color points cloud. (780)
2011 년 11 월전자공학회논문지제 48 권 SP 편제 6 호 33 표 1. 알고리즘수행시간 (ms) Table 1. Execution time in milliseconds. 수행단계 수행시간 SURF 특징점추출 4,960 특징점정합 1,410 카메라간의자세추정 14,660 전경과배경분리 3,350 법선지도생성 685 깊이영상생성 18,452 합계 43,517 세추정의경우 10장의입력영상모두에대한수행시간을나타낸다. Ⅶ. 결론및향후연구 본논문에서는스마트폰의카메라와플래시를이용한능동적 3차원형상취득기법을제안하였다. 제안하는기법은두대의스마트폰이서로협업하는시스템으로서 photometric stereo 기법을이용하여성공적으로 3차원형상을취득하였다. 제안하는시스템은전처리과정으로카메라보정및전경에대한영역을분리하고, 두대의카메라간의자세를추정하며, 법선지도와깊이영상을복원함으로써물체의 3차원형상취득을수행한다. 본논문에서제안하는스마트폰을이용한 3차원취득기법은스마트폰의카메라와플래시를이용한최초의시스템으로볼수있다. 따라서저비용, 고품질의소형화된 3차원카메라로서일반사용자가 3차원콘텐츠의저작및응용이가능하다. 그러나일반적으로조명을이용하는능동적형상취득기법은영상취득환경이제한적이기때문에일반적인야외환경에서의사용이어렵다. 더욱이제안하는시스템에서스마트폰의플래시조명은밝지않으므로주변조명을소등해야한다는단점을가지고있다. 또한스마트폰에서의계산환경은 PC에비해연산속도가여전히느리며상대적으로작은화면으로인해사용자의인터페이스조작이불편하다는한계점을가지고있다. 이와같은한계점에도불구하고본논문에서제안하는시스템은스마트폰의 3차원형상취득을위한가능성을충분히보였다고할수있으며, 향후 HDRI (high dynamic range imaging) 기법또는고조도의플래시의사용을통해좀더일반적인환경에서의형상취득으로연구를확장할수있다. 또한스마트폰 GPU 등의적절한활용및 CPU 성능향상을통해수행속도의향상이가능할것으로기대된다. 참고문헌 [1] W. Lee, K. Kim, and W. Woo, Mobile phone-based 3D modeling framework for instant interation, Proc. IEEE international Workshop on 3D Digital Imaging and Modeling, pp.1755-1782, October 2009. [2] T. Higo, Y. Matsushita, N. Joshi, and K. Ikeuchi, A hand-held photometric stereo camera for 3D modeling, Proc. IEEE International Conference on Computer Vision, pp.1234-1241, September 2009. [3] R. J. Woodham, Photometric method for determining surface orientation from multiple images, Optical Engineering, vol. 19, no. 1, pp. 139-144, February 1980. [4] C. Hernandez, G. Vogiatzis, and R. Cipolla, Multiview photometric stereo, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 30, no. 3, pp. 548-554, March 2008. [5] J. Y. Bouguet, Camera calibration toolbox for Matlab, http://www.vision.caltech.edu/bouguetj/ calib_doc/. [6] A. Livinov and Y. Y. Schechner, Addressing radiometric nonidealities: A unified framework, Proc. IEEE Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 66-59, June 2005. [7] M. A. Robertson, S. Borman, and L. Stevenson, Dynamic range improvement through multiple exposures, Proc. IEEE International Conference on Image Processing, vol. 3, pp. 159-163, October 1999. [8] H. bay, A. Ess, T. Tuytelaars, and L. V. Gool, SURF: Speeded up roburst features, Computer Vision and Image Understanding, vol. 110, no. 3, pp.346-359, June 2008. [9] M. fischler, R. Bollers, Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography, Communications of the ACM, vol. 24, pp. 381-395, June 1981. [10] D. Nister, An efficient solution to the five-point relative pose problem, IEEE Trans. on Pattern (781)
34 스마트폰에서의능동적 3 차원형상취득기법원재현외 Analysis and Machine Intelligence, vol. 26, pp. 756-770, June 2004. [11] C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. on Graphics, vol. 23, pp. 309-314, August 2004. [12] L. C. Evans, Partial Differential Equations, American Mathematical Society, 1998. [13] W. H. Press, S. A. Teukolsky, W. T. Vetterling, and B. P. Flannery, Numerical Recipes: The Art of Scientific Computing, Third Edition, Cambridge University Press, 2007. 저자소개 원재현 ( 학생회원 ) 2010 년 2 월인하대학교정보통신공학부학사 2010 년 3 월 ~ 현재인하대학교정보통신공학과석사과정 < 주관심분야 : 컴퓨터그래픽스및비전 ( 영상기반 3 차원형상복원 ), GPGPU> 유진우 ( 학생회원 ) 2010 년 2 월인하대학교정보통신공학부학사 2010 년 3 월 ~ 현재인하대학교정보통신공학과석사과정 < 주관심분야 : 컴퓨터그래픽스및비전 ( 영상기반 3 차원형상복원 ), GPGPU> 박인규 ( 평생회원 )- 교신저자 1995 년 2 월서울대학교제어계측공학과학사 1997 년 2 월서울대학교제어계측공학과석사 2001 년 8 월서울대학교전기컴퓨터공학부박사 2001 년 9 월 ~2004 년 3 월삼성종합기술원 (SAIT) 멀티미디어랩전문연구원 2007 년 1 월 ~2008 년 2 월미국 Mitsubishi Electric Research Laboratories (MERL) 방문연구원 2004 년 3 월 ~ 현재인하대학교정보통신공학부부교수 < 주관심분야 : 컴퓨터그래픽스및비전 ( 영상기반 3 차원형상복원, 3 차원카메라, Mobile computational photography), GPGPU> (782)