Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.2, February (2016), pp. 09-17 http://dx.doi.org/10.14257/ajmahs.2016.14 저가의 스캐너를 이용한 3차원 형상 깊이 정보 추출 오복진 1), 최두현 2) 3D Objects Depth Extraction Using a Low-cost Scanner Bok-Jin Oh 1), Doo-Hyun Choi 2) 요 약 본 논문에서는 현재 많이 보급되고 있는 저가의 3차원 스캐너를 활용하여 피사체의 형상과 깊이 정보를 획득하는 방법을 구현하고자 한다. 일반적으로 스캐너를 활용하여 스캔하면 obj 파일이 생성 된다. 생성된 obj파일을 분석하면 꼭짓점에 대한 피사체의 상대적인 깊이 정보를 추출할 수 있다. 이 를 위해 먼저 위치를 나타내는 x와 y 좌표를 1에서 512의 값으로 정규화 하였다. 가시화를 위해 깊이 혹은 거리 정보를 나타내는 z 좌표를 8비트로 정규화한 후, 상대적인 깊이 맵을 생성하였다. 추출된 정보가 실제 깊이 정보와 유사함을 확인하기 위해 사전에 깊이 정보를 알고 있는 정물에 대해 스캔 및 가시화하여 그 결과를 확인하였다. 아울러 사람과 유사한 형태로 제작된 마네킹 두상에 대해 실험 을 진행하여 깊이 정보로서 의미가 있는 지 확인하였다. 실험을 위해 마이크로소프트의 키넥트를 이 용하여 깊이 맵을 추출하였고, 이를 스캐너로 측정한 상대적인 깊이 맵과 비교하였다. 최종적으로 저 가의 3차원 핸드 스캐너로 획득한 상대적인 깊이 맵을 분석하여 오차 정도와 활용 가능성을 확인하 였다. 핵심어: 저가의 스캐너, obj 파일 포맷, 3차원 정보, 깊이 지도, 마네킹 머리 Abstract This paper implements a method to extract depth and/or shape information of an object using a widely used low-cost 3D scanner. An obj file is generated after scanning objects using scanners in general. Relative depth information of the vertices of the objects can be extracted by analysing the obj file. For the purpose x and y coordinate values corresponding to position are normalized to values in the range 1 to 512. The relative depth map is created after normalizing the corresponding z coordinate values which is related to depth or distance of the vertices for visualization. A stationary object having known depth is scanned and visualized to verify the similarity between real depth and scanned depth. Also, it is tried to confirm the usefulness of the depth information through a scanning and visualization experiment using human-like mannequin head. After real depth of the mannequin is extracted by Microsoft's Kinect, the real depth is compared with relative depth from the scanner. Error range and applicability of the low-cost 3D Received (December 17, 2015), Review Result(January 4, 2016) Accepted(January 11, 2016), Published(February 29, 2016) 1 School of Electronics Engineering, Kyungpook National Univ., 80 Daehakro, Bukgu, Daegu, 41566, S. Korea email: obj83@ee.knu.ac.kr 2 (Corresponding Author) School of Electronics Engineering, Kyungpook National Univ., 80 Daehakro, Bukgu, Daegu, 41566, S. Korea email: dhc@ee.knu.ac.kr Copyright c 2016 HSST 9
3D Objects Depth Extraction Using a Low-cost Scanner scanner is confirmed by analyzing the relative depth extracted by the scanner. Keywords: low-cost scanner, obj file format, 3D information, depth map, mannequin head 1. 서론 스테레오 카메라는 3차원 영상 처리 기술 분야에서 활용되고 있는 영상 획득 장치이다. 지금까 지 인간과 유사한 형태로 3차원 정보를 획득할 수 있는 스테레오 카메라를 이용한 3차원 정보 획 득에 많은 관심과 연구가 진행되었다. 특히, 최근 몇 년 사이 많은 정보량을 처리할 수 있는 하드 웨어 기술이 발전하면서, 스테레오 영상 기술을 이용한 3차원 영화 및 방송 관련 산업이 급속도로 발전하고 있다. 최근에서는 이종의 카메라에서 획득한 영상들을 스테레오 매칭하여 깊이 정보를 획득하는 기술이 연구되고 있다. 또한, 색상 카메라와 깊이 카메라로 획득된 장면에서 전경 영역을 분리하고, 영상의 깊이 정보를 획득하는 연구도 진행되고 있다[1,2]. 본 논문은 [3]에서 분석과 내용 을 확대한 것으로, 최근 3D 프린터와 함께 보급이 확대되고 있는 3D 스캐너로 획득한 피사체 표 면의 꼭짓점 정보를 이용하여 피사체의 깊이 정보를 획득하는 방법을 제안하였다. 2. 3D 스캐너 3D 프린터의 등장으로 3D 스캐너, 3D CAD, 3D 컴퓨터그래픽에 대한 연구가 활발히 진행되고 있으며, 실제로 많은 분야에서 응용되고 있다. 3D 프린터, 3D 컨텐츠의 등장 이전에는 3D 모델링 된 객체를 표현하기 위해서는 3D 정보를 2D 정보로 변환하여 정보를 전달하였다. 3D 스캔은 스캐 너와 물체와의 거리를 점 데이터들을 측정하고 저장하는데, 이러한 점의 배열을 포인트 클라우드 라고 한다. 많은 포인트 클라우드를 선으로 연결해 3D 모델링 데이터로 변화시키고 사물 모양 추 론에도 사용할 수 있으며, 점 데이터는 x, y, z 좌표와 컬러 정보를 수집하여 관리된다. 포인트 클 라우드 방식의 3D 모델링을 그림 1에 나타내었다[4]. [그림 1] 포인트 클라우드 방식의 3D 모델링[4] 10 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.2, February (2016) [Fig. 1] 3D modeling of point cloud[4] 3D 스캐너의 응용 분야는 3D 영상 콘텐츠 제작, 제조업 분야의 역설계와 품질 관리, 문화재 형 상복원, 성형수술과 치과치료, 의류와 신발 등의 패션 및 디자인 분야 등의 분야에서 활용되고 있 다. 이처럼 다양한 분야에서 적용 가능한 이유는 객체의 3D 스캐닝을 위한 다양한 3D 스캐너가 개발되었기 때문이다. 표 1에 3D 스캐닝 기술의 종류에 대하여 기술하였다. [표 1] 3D 스캐닝의 종류 [Table 1] Type of 3D scanning 종류 광간섭 컴퓨터 단층 촬영 광삼각측량 스캔 물체 크기 100mm 이하 100mm ~ 5m 100mm ~ 5m 비행시간측정 Phase Shift Pulsed 100mm ~ 100m 1m 이상 분해능 10μm 이하 1μm ~ 1mm 1μm ~ 1mm 100μm 이상 1mm 이상 광원 레이저, 백색광 X-ray, 초음파 (패턴)레이저, (패턴)백색광 레이저 레이저 측정범위 표면 표면, 내부 표면 표면 표면 측정속도 느림(적층) 느림(적층) ~ 300만pps ~ 100만pps 1~10만pps 응용분야 의료, 바이오 의료, 산업용 부품 산업용 부품, 의류, 신발, 문화재, 치과 건축물, 문화재 대형 구조물 (a) (b) [그림 2] (a) 치아 3D 스캔[8], (b) 문화재 복원[9] [Fig. 2] (a) 3D scan of dental[8] and (b) restoration of cultural properties[9] 의료분야에서는 MRI(magnetic resonance imaging)로 인체를 3D로 형상화하는데 사용되고 있다. MRI는 횡단면만 촬영 가능한 CT(computed tomography)와 다르게 관상면과 시상면을 촬영할 수 있으며 높은 해상도를 가진다. 이러한 장점으로 의료 분야에서 널리 쓰이고 있지만, 높은 검사 비 Copyright c 2016 HSST 11
3D Objects Depth Extraction Using a Low-cost Scanner 용과 촬영시간이 길다는 단점을 가지고 있다. 치과에서는 임플란트나 보철물을 제작하기 위해 3D 스캐너가 보급되어 사용되고 있다. 산업분야에서는 삼성전자, Sony, Hiachi, 현대자동차, GM 등에 서 3D 스캐너를 제품 생산에 활용하고 있다. 또한, 대기업에 부품을 납품하는 중소기업들에서도 품질검사와 생산성 향상을 위해 인-라인(in-line) 스캐닝 시스템 도입을 추진하고 있다. 의류분야에 서는 미국의 패션업체들이 양복, 속옷, 신발 등 맞춤형 의류를 제작하기 위해 3D 스캐너가 사용되 고 있다. 문화재 분야에서는 정부가 주도하여 주요 문화제를 3D 데이터로 디지털화하는 작업이 추 진하여 문화재 관리 및 복원에 사용되고 있다. 예술 분야에서도 활용되고 있다. 일례로, 현재까지 유명화가가 그린 그림을 일반인이 직접 만져볼 수는 없었다. 하지만 최근에는 3D 스캔 기술 향상 으로 예술 작품의 색상과 텍스쳐를 섬세하게 스캔할 수 있으며, 붓놀림까지 잡아낼 수 있다[5-7]. 3D 스캐너는 다양한 분야에 활용되고 된다. 그림에 그중 2가지 사례를 나타내었다. 그림 2(a)는 치 아를 3D 스캐너로 모델링한 결과 영상이고, 그림 2(b)는 3D 스캐너로 문화재를 스캔하고 복원하는 영상을 나타내었다. 3. obj 파일 포맷을 이용한 깊이 정보 추정 3D 프린터 및 3D 스캐너 등 3D 영상 장비 보급과 더불어 장비로부터 추출한 파일에 대한 이해 및 처리가 반드시 필요하다. 본 논문에서는 3D 스캐너를 통해 얻어진 파일로 부터 깊이 정보를 추 출하는 방법을 제안하였으며, 개념도를 그림 3에 나타내었다. 3D 스캐너로부터 obj 파일을 획득하 고, obj 파일의 꼭짓점(vertex) 좌표를 회전하고 정규화 하여 꼭짓점 분포(Vertex distribution)를 얻 는다. 꼭짓점 분포 내의 빈 공간을 인접한 꼭짓점의 색상으로 채워서 깊이 지도를 획득하였다. [그림 3] 깊이 정보 추출 개념도 [Fig. 3] Concept for extracting depth information 3.1 obj 파일 포맷 Wavefront Technologies에서 개발한 obj 파일 포맷은 기하 꼭짓점(geometirc vertex), 꼭짓점 법 선 벡터(vertex normal), 꼭짓점의 집합인 폴리곤의 정보를 담은 표면(face) 등의 3D 기하 정보를 담고 있으며, obj 좌표계의 단위는 정해져 있지 않으며, 표 1에 기하 정보를 나타내었다[10]. 본 논 문에서는 기하 꼭짓점을 활용하여 obj 파일에서 상대적인 깊이 지도를 생성하였다. 12 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.2, February (2016) [표 1] obj 파일 포맷[10] [Table. 1] obj file format[10] 3D Geometric Data Geometric vertices Texture coordinates vertex normals Polygonal face elements Definition # List of geometric vertices, with (x,y,z[,w]) coordinates, w is optional and defaults to 1.0. v 0.123 0.234 0.345 1.0 v...... # List of texture coordinates, in (u, v [,w]) coordinates, these will vary between 0 and 1, w is optional and defaults to 0. vt 0.500 1 [0] vt...... # List of vertex normals in (x,y,z) form; normals might not be unit vectors. vn 0.707 0.000 0.707 vn...... # Polygonal face element f 1 2 3 f 3/1 4/2 5/3 f 6/4/1 3/5/3 7/6/5 f... 3.2 obj 파일 획득 (a) (b) [그림 4] 실험 환경: (a) 피사체, (b) 3D 스캐너를 이용한 피사체 스캔 [Fig. 4] Experiment environment: (a) a subject and (b) scanning a subject with 3D scanner 피사체에 대한 obj 파일 획득은 3D Systems사의 Sense 3D 스캐너 및 스캐너용 소프트웨어를 통 해 이루어졌다. 획득한 obj 파일 내에서 깊이 정보 추출을 위해 기하 꼭짓점(이하 꼭짓점)의 x, y, Copyright c 2016 HSST 13
3D Objects Depth Extraction Using a Low-cost Scanner z좌표를 활용한다. obj 파일에는 스캐너와 피사체 간의 거리 정보는 없으므로, 꼭짓점의 z 좌표를 상대적인 깊이 정보로 가정했다. 그림 4는 피사체를 3D 핸드 스캐너로 스캔하는 모습이다. 3D 핸 드 스캐너의 피사체 인식 범위가 35~300cm이며, 본 논문에서는 피사체로부터 40cm 거리에서 스캔 을 실시하였다[11,12]. 3.3 깊이 정보 추출 획득한 obj 파일에서 깊이 정보를 추출하기 위해, 파일 내부 데이터에서 꼭짓점의 x, y, z 값을 추출하고 회전하였으며, 최종적으로 z 좌표의 크기를 0~255 사이의 값으로 정규화하였다. 개발 환 경은 Microsoft Visual Studio 2010, OpenGL, OpenCV를 사용하였다. OpenCV는 영상 저장을 위 해 사용하였고, OpenGL은 obj파일에서 꼭짓점 값을 획득하는데 사용되었다. 그림 5(a)는 박스 스캐너 거리가 40cm일 때 얻은 3D 영상이고, 그림 5(b)는 얻은 3D 영상의 obj 파일에서 꼭짓점 분포를 출력한 영상이다. 그림 5(c)는 꼭짓점 분포에서 빈 공간을 꼭짓점 사 이의 색으로 채워서 얻은 깊이 영상이다. z 좌표 값을 피사체의 깊이 정보로 가정하였으며, 획득된 z 좌표의 값을 0~255 사이의 값으로 정규화하여 꼭짓점 분포를 획득하였다. 꼭짓점의 색상이 밝을 수록 z 값의 크기가 크고 이는 깊이 정도가 큰 것을 의미한다. 즉, 먼 거리를 의미한다. 그림 5(c) 를 보면 깊이 지도의 왼쪽 부분이 진한 것을 알 수 있고, 이는 피사체인 박스의 모서리 부분을 의 미한다. (a) (b) (c) [그림 5] 박스 스캔 결과: (a) 3D 영상, (b) 정규화 된 꼭짓점 분포, (c) 깊이 지도 [Fig. 5] Box of scanning box: (a) 3D image, (b) normalized vertex distribution and (c) depth map 그림 6(a)는 마네킹 스캐너 거리가 40cm일 때 얻은 3D 영상이고, 그림 6(b)는 얻은 3D 영상의 obj 파일에서 꼭짓점 분포를 출력한 영상이다. 그림 6(c)는 꼭짓점 분포에서 빈 공간을 꼭짓점 사 이의 색으로 채워 얻은 깊이 영상이다. 박스와 마네킹을 3D 핸드 스캐너로 스캔한 결과, 피사체의 표면에 대한 정보는 얻을 수 없었지만 피사체의 윤곽을 구분할 수 있는 꼭짓점 분포를 획득하였 다. 14 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.2, February (2016) (a) (b) (c) [그림 6] 박스 스캔 결과: (a) 3D 영상, (b) 정규화 된 꼭짓점 분포, (c) 깊이 지도 [Fig. 6] Box of scanning box: (a) 3D image, (b) normalized vertex distribution and (c) depth map 3D 핸드 스캐너는 피사체 전체를 스캔하면, 마네킹의 전면, 측면, 후면 등의 여러 방향에서 깊 이 정보를 획득할 수 있다. 그림 7(a)는 마네킹의 전체를 스캔한 결과 영상이고, 그림 7(b)는 얻은 3D 영상의 obj 파일에서 꼭짓점 분포를 출력한 영상이다. 그림 7(c)는 꼭짓점 분포에서 빈 공간을 꼭짓점 사이의 색으로 채워 얻은 깊이 영상이다. 마네킹의 깊이 지도를 분석한 결과, 한 면만을 촬 영하여 스캔한 방식과 마네킹 전체를 스캔한 방식 모두 동일한 깊이 지도를 획득 가능함을 확인하 였다. (a) (b) (c) [그림 7] 마네킹 스캔 결과: (a) 3D 영상, (b) 정규화 된 꼭짓점 분포, (c) 깊이 지도 [Fig. 7] Result of scanning mannequin: (a) 3D image, (b) normalized vertex distribution and (c) depth map obj파일로 획득한 상대적인 깊이 영상을 키넥트로 획득한 깊이 영상과 비교하였다. 키넥트에서 획득한 깊이 영상은 비교를 위해 배경을 제거하였고, 이를 그림 8(a)에 나타내었다. 키넥트로 획득 한 깊이 영상에서 키넥트와 가장 가까운 코끝이 어둡게 나타났으며, 가장 멀리 있는 목 부분이 밝 게 나타났다. obj파일에서 획득한 상대적인 깊이 영상도 키넥트에서 획득한 깊이 영상과 동일하게 나타났다. 하지만, 상대적인 깊이 영상은 스캐너와의 거리 정보가 포함되지 않았기 때문에 스테레 Copyright c 2016 HSST 15
3D Objects Depth Extraction Using a Low-cost Scanner 오 카메라, 키넥트 등에서 획득한 깊이 정보를 보정하는 용도로만 사용 가능하다. (a) (b) [그림 8] 깊이 영상 비교: (a) 키넥트에서 획득한 깊이 영상, (b) 상대적인 깊이 영상 [Fig. 8] Comparison of depth image: (a) a depth map in Kinect (b) a relative depth map 3. 결론 본 논문은 저가 모델의 3D 핸드 스캐너로부터 얻은 3D 영상 파일 포맷인 obj 파일에서 꼭짓점 좌표를 이용하여 상대적인 깊이 정보를 추출하는 방법에 대해 기술하였다. 꼭짓점 좌표를 0~255 사이의 값으로 정규화한 후 꼭짓점 좌표의 분포를 가시화하여 깊이 지도를 생성하였다. 깊이 지도 는 스캐너와 피사체 사이의 상대적인 깊이 정보를 제공하는 것으로, 생성된 깊이 지도를 실제 피 사체와 비교한 결과 깊이 분포가 깊이와 유사함을 알 수 있었다. 구현된 시스템을 활용하여 실제 거리를 알고 있는 3차원 박스와 마네킹을 스캔하여 획득한 깊이 정보와 실제 거리의 정확도를 확 인하였다. 향후 연구할 과제는 obj 파일을 통해 얻은 3D 영상의 깊이 정보가 스테레오 비전을 통한 깊이 정보 추출 등 다른 깊이 정보 추출에 대해 비교 자료로 활용 가능한지 여부를 확인할 예정이다. 또한, 스테레오 카메라로 획득한 깊이 지도와 3D 핸드 스캐너로 획득한 상대적인 깊이 지도 사이 의 정량적인 비교 분석이 필요하다. References [1] H. C. Shin, S. H. Kim, and K. H. Sohn, Journal of Broadcast Engineering. (2011), vol. 16, no. 4, pp. 602-613 [2] Y. S. Kang, and Y. S. Ho, Journal of Communications and Networks. (2012), vol. 37C, no. 9, pp. 751-756 [3] B. J. Oh and D. H. Choi, Relative Depth Extraction using a 3D Hand Scanner. Proceeding of Winter Conference of The Convergent Research Society Among Humanities, Sociology, Science, and Technology 16 Copyright c 2016 HSST
(2016) January 22, Soonchun, S. Korea Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.2, February (2016) [4] J. A. Lee, and H. J. Yoon, NIA IT and Future Strategy Report. (2014), no. 5. pp. 1-35 [5] S. Y. Jin, and C. S. Oh, Jounal of the Korean Society of Design Culture. (2014) vol. 20. no. 4. pp. 76-86 [6] H, S, Yoo, KISTI Market Report. (2014), vol. 4, no. 3. pp. 16-19 [7] http://designdb.com/dtrend/trend.r.asp?menupkid=315&pkid=22600, 16 December (2015). [8] I. M. Cho, Journal of the Korean Society of Ceramic Art. (2012), vol. 9. no. 2. pp. 127-141 [9] http://www.artec3d.com/ko/news/daeyeongbagmulgwan-sojang-asiria-yujeog-3dro-seukaen, 5 February (2105). [10] https://en.wikipedia.org/wiki/wavefront_.obj_file, 3 November (2015). [11] J. Straub, and S. Kerlin, Development of a Large, Low-Cost, Instant 3D Scanner (2014), pp.76-78 [12] http://www.3dsystems.com/press-releases/3d-systems-delivers-sense-consumer-3d-scanner Copyright c 2016 HSST 17