3 : 3D (Regular Paper) 24 2, 2019 3 (JBE Vol. 24, No. 2, March 2019) https://doi.org/10.5909/jbe.2019.24.2.281 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) 3D a), a), a), a) 3D Depth Estimation by a Single Camera Seunggi Kim a), Young Min Ko a), Chulkyun Bae a), and Dae Jin Kim a) 3D 3D. 3D. 1 2 3D. 1 DSLR 250 mm. 2 150 mm 250 mm DSLR 200 mm 300 mm 3D. Abstract Depth from defocus estimates the 3D depth by using a phenomenon in which the object in the focal plane of the camera forms a clear image but the object away from the focal plane produces a blurred image. In this paper, algorithms are studied to estimate 3D depth by analyzing the degree of blur of the image taken with a single camera. The optimized object range was obtained by 3D depth estimation derived from depth from defocus using one image of a single camera or two images of different focus of a single camera. For depth estimation using one image, the best performance was achieved using a focal length of 250 mm for both smartphone and DSLR cameras. The depth estimation using two images showed the best 3D depth estimation range when the focal length was set to 150 mm and 250 mm for smartphone camera images and 200 mm and 300 mm for DSLR camera images. Keyword : Depth from Defocus, Focus Distance of Camera, 3D Depth Estimation, Depth Camera a) (Dept. of Electronics and Computer Engineering, Chonnam National University) Corresponding Author : (Dae Jin Kim) E-mail: djinkim@jnu.ac.kr Tel: +82-62-530-1756 ORCID: https://orcid.org/0000-0002-0767-2526 This study was financially supported by Chonnam National University (Grant number: 2017-2864). 2018. Manuscript received September 4, 2018; Revised February 18, 2019 ; Accepted February 22, 2019. Copyright 2019 Korean Institute of Broadcast and Media Engineers. All rights reserved. This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
(JBE Vol. 24, No. 2, March 2019). [1]. VR(Virtual Reality) AR(Augmented Reality) 3D. 3D. 3D xy- xyz- 3. 3D,, (ToF; Time of Flight), (DFD; Depth from Defocus).,, 3D. 3D. DFD 3D. DSLR 3D. DFD, 3D [2][3]. DFD. DFD,.. DFD 3D., 100 mm 2,000 mm. DFD 3D. [4]. DFD.,. 3D., 3D. 1 DFD 2 DFD. 3D.. 3D 1. [ 1].. (1) [5].,., (2).
3 : 3D 1. Fig. 1. The geometric structure of a camera. f (f-number),. 2. 1 DFD..,., [ 2]..,, [6]. [ 1].. 2. 1 DFD Fig. 2. Calculation method of blur size by using a DFD image
(JBE Vol. 24, No. 2, March 2019) (4)..,.. 2 DFD. 3D. 3D. 3D. 3D. 3. 2 DFD 2...,. 2 DFD,,. [ 3] 2...,, [7]. (5) 3.. d D LS, r 1, r 2. Fig. 3. Geometry of the thin-lens model. A scene point at depth d is in focus at distance D LS behind the lens. Its blur kernel in the input images has radius r 1 and r 2, respectively
김승기 외 인 단일 카메라를 이용한 깊이 추정 방법 3 : 3D 285 초점에 따른 두 가지의 흐림 정도를 나타낸다. 첫 번째 초점 을 짧게 설정하면 모든 물체가 초점거리보다 멀리 위치하 게 되어 거리가 멀수록 물체의 흐림 정도가 크게 된다. 두 번째 초점을 길게 설정하면 멀리있는 물체의 흐림 정도의 변화를 크게 하여 깊이 정보의 정확도를 높일 수 있다. 그래 서 초점거리가 다른 두 개의 영상을 이용하면 깊이 추정의 오류를 줄이고 유효범위를 크게 할 수 있다. Ⅲ. 3D 깊이 추정을 최적화하기 위한 파라미터 설계 그림 4]는 물체의 경계 부분의 흐림 정도의 크기를 이용 한 DFD 알고리즘의 순서도를 나타낸다. 먼저 카메라를 통 해 얻은 영상과 촬영에 사용된 카메라 파라미터를 입력한 다. 이후 물체의 경계 부분을 찾기 위해 경계선(Edge) 검출 을 수행하고, 경계선에서 흐림 정도 크기를 구한 다음 DFD 를 수행하여 최종적으로 깊이 맵이 출력되는 구조를 가진 다. 다초점 렌즈를 장착한 DSLR 카메라의 경우 f값, 렌즈 의 초점길이, 피사체와 카메라의 거리 등 다양한 파라미터 [ 그림 4. 물체의 경계 부분에서 흐림 정도의 크기를 이용한 DFD 알고리즘 순서도 Fig. 4. Flowchart of DFD algorithm using blur size of boundary of object 를 조절함으로써 영상으로부터의 흐림 정도의 크기를 조절 할 수 있다. 하지만 대부분의 스마트폰 카메라는 고정된 초 점길이를 갖는 렌즈와 고정된 f값을 사용한다. DSLR 카메 (b) (c) (d) (e) (a) 그림 5. (a) 문턱값 추출을 위한 테스트 사진, (b)-(e) 문턱값에 따라 추출된 경계, 문턱값은 (b)부터 (e)까지 각각 0.01, 0.03, 0.05, 0.07이다. Fig. 5. (a) is test image for threshold extraction, (b)-(e) boundary images are extracted according to the threshold of 0.01, 0.03, 0.05, and 0.07, respectively
286 방송공학회논문지 제24권 제2호, 2019년 3월 (JBE Vol. 24, No. 2, March 2019) 라 중에서도 단일 초점길이를 갖는 DSLR 카메라는 렌즈의 초점길이를 변경시킬 수 없다. 영상에서 흐림 정도의 크기 를 변화시키는 파라미터 중 카메라의 초점은 스마트폰을 포함한 모든 카메라가 조절이 가능하다. 어느 거리에 있는 물체에 초점을 맞추는지에 따라서 영상의 흐림 정도의 크 기가 달라지기 때문에 깊이 맵 추출하는데 카메라의 초점 설정이 중요하다. 3D 깊이를 구할 때 경계선을 정확히 추출하는 것이 매우 중요하며, 물체의 경계선을 추출할 때 사용하는 문턱값이 깊이 맵의 결과에 영향을 준다. 본 논문에서는 경계 검출 기법으로 오류율이 낮으며 잡음에 강한 장점이 있는 캐니 경계선 검출기(Canny Edge Detector)를 사용하였다. 깊이 맵 추출 알고리즘은 MATLAB을 기반으로 구현되었는데, MATLAB에서 캐니 경계선 검출기는 문턱값을 조정하면 서 실험하는 것이 가능하다. 문턱값이 낮아질수록 얇은 경 계까지도 검출할 수 있지만 너무 낮은 값에서는 영상의 잡 음이나 햇빛의 반사면, 물체의 표면에 나타난 무늬들까지 도 경계부분으로 판단하는 오류가 발생한다. 이러한 오류 를 줄이기 위해 여러 영상에서 캐니 경계선 검출기의 문턱 값을 다양하게 변경해가며 적절한 깊이 맵을 찾는 실험을 진행하였다. [그림 5]는 적절한 문턱값을 얻기 위한 영상 테스트 결과 의 한 예이다. [그림 5]에서 (a)는 원본 영상이며, (b), (c), (d), (e)는 문턱값에 따라 추출된 경계선이다. [그림 5]의 (b) 와 같이 문턱값을 0.01로 낮게 설정한 경우에는 실제 물체 의 경계선 뿐만 아니라 물체 표면에서 약간의 밝기 변화 또는 패턴의 변화도 경계선으로 인식하여 오류가 나타나게 된다. 반대로 [그림 5]의 (e)와 같이 문턱값을 0.07로 크게 설정한 경우에는 카메라로부터 먼 곳의 경계를 추출하지 못해 깊이 맵을 제대로 생성하지 못한다. 문턱값이 0.05인 경우보다 문턱값이 0.03인 경우에 멀리 있는 물체의 경계를 더 잘 찾는 것을 확인할 수 있었다. 여러가지의 다른 영상을 이용한 동일한 절차의 실험에서 0.03에서 0.04사이의 문턱 값을 갖는 캐니 경계선 검출기를 사용한 DFD가 가장 좋은 성능을 나타낸다는 것을 확인하였다. 그래서 본 논문에서 는 캐니 경계선 검출기의 문턱값을 0.03으로 설정하여 실험 을 진행하였다. [8] Ⅳ. 실험 결과 1. 3D 깊이 맵 생성을 위한 실험 환경 구축 본 논문에서는 DFD를 적용한 3D 깊이 추정 실험을 실내 에서 수행하였다. 추정한 깊이와 실제 거리의 차이를 확인 하기 위하여 피사체를 [그림 6]와 같이 배치하였다. 각각의 피사체 거리를 카메라로부터 50 mm 간격으로 100 mm부 터 2000 mm까지 배치하였다. 그리고 스마트폰 카메라와 DSLR 카메라 두 종류를 사용하여 실험을 진행하였다. 그림 6. DFD를 적용한 3D 거리 추정에 사용된 테스트 환경 Fig. 6. The test environment used for 3D depth estimation with DFD 실험에 사용한 스마트폰 카메라는 렌즈의 초점길이가 로 고정되어 있으며, 렌즈의 구경은 4 mm, 조리개 f값은 1.8, 그리고 ISO는 50으로 설정하였다. 실험에 사용 된 DSLR 카메라의 파라미터는 다음과 같다. 600만 화소의 APS-C 1.5 크롭바디를 사용하고, 그 위에 52 mm 렌즈를 장착하여 사용하였다. 사용된 렌즈는 초점길이 조절이 가 능하고 렌즈의 구경은 52 mm인 줌렌즈이다. 렌즈의 초점 길이는 36 mm로 설정하였으며, 조리개 f값은 4, ISO는 200 으로 설정하여 실험을 진행하였다. 본 논문에서 피사체의 거리 측정의 정확도 판단 기준으 로 깊이 추정 오차(Depth Error)를 정의하였다. 깊이 추정 오차는 실제 피사체의 거리와 측정 오차의 백분율로 식 (6) 4.43 mm
3 : 3D., DFD.. 10% 3D. 2. DFD 3D 1 3D 500 mm 100 mm DFD. 250 mm, 250 mm 750 mm. [ 1] 1, 2 DFD 3D (a) 7. (a) 1 3D, (b) 2 3D Fig. 7. (a) Depth error of 3D depth estimated using one image taken by a smartphone camera. (b) Depth error of 3D depth estimated using two images taken by a smartphone camera (b)
(JBE Vol. 24, No. 2, March 2019) 1.. (a) 1 3D. (b) 2 3D Table 1. The effective 3D depth with a single smartphone camera. (a) The effective 3D depth range estimated using one image. (b) The effective 3D depth range estimated using two images focal distance 3D effective depth range Length of effective 3D depth 100 100 ~ 450 350 150 150 ~ 500 450 200 200 ~ 750 550 250 250 ~ 800 550 300 300 ~ 800 500 (a) focal distance Image 1 Image 2 3D effective depth range Length of effective 3D depth 100 150 100 ~ 450 350 100 200 100 ~ 700 600 150 200 100 ~ 750 650 150 250 100 ~ 800 700 150 300 150 ~ 800 650 200 250 150 ~ 750 600 200 300 200 ~ 800 600 (b). 1 2. 150 mm, 250 mm 100 mm 800 mm. 3. DSLR DFD 3D 2. DSLR 1 Table 2. The effective depth range estimated by one image with a DSLR camera focal distance 3D effective depth range Length of 3D distance effective range 100 100 ~ 500 400 150 150 ~ 550 400 200 200 ~ 800 600 250 250 ~ 850 600 300 300 ~ 850 550 350 350 ~ 850 500 400 400 ~ 850 450 450 450 ~ 900 450 500 500 ~ 900 400 DSLR 1 DFD 3D, 250 mm. DFD 100 mm 150 mm 3D. 500 mm. DSLR 2 DFD 3D,. 100 mm 500 mm 250 mm 750 mm. 100 mm 1 DFD, 500 mm 1 DFD. DSLR 2 DFD 200 mm 300 mm. 100 mm 900 mm.
3 : 3D (a) (b) 8. (a) DSLR 1 3D, (b) DSLR 2 3D Fig. 8. (a) Depth error of 3D depth estimated using one image taken by a DSLR camera. (b) Depth error of 3D depth estimated using two images taken by a DSLR camera 2. 2 3D 3D, 150 mm 250 mm 200 mm 300 mm. 2,. 150 mm 250 mm 2 3D.
(JBE Vol. 24, No. 2, March 2019) 3. DSLR 2 Table 3. The effective depth range calculated by two images with a DSLR camera focal distance 3D effective depth range Length of 3D distance effective focal distance Image 1 Image 2 range image 1 image 2 3D effective depth range Length of 3D distance effective range 100 150 100~500 400 200 400 200~900 700 100 200 100~750 650 200 450 200~900 700 100 250 100~800 700 200 500 200~850 650 100 300 100~750 650 250 300 150~850 700 100 350 150~750 600 250 350 150~900 750 100 400 250~700 450 250 400 200~900 700 100 450 250~700 450 250 450 200~900 700 100 500 250~750 500 250 500 200~900 700 150 200 100~750 650 300 350 200~850 650 150 250 100~800 700 300 400 200~900 700 150 300 100~750 650 300 450 200~900 700 150 350 150~750 600 300 500 200~900 700 150 400 150~750 600 350 400 200~900 700 150 450 150~750 600 350 450 200~900 700 150 500 200~700 500 350 500 200~900 700 200 250 100~850 750 400 450 250~900 650 200 300 100~900 800 400 500 250~900 650 200 350 150~850 700 450 500 250~900 650. 3D DFD 3D. 3D 2 3D.,., 1 DFD DSLR 250 mm. 2 DFD 150 mm 250 mm DSLR 200 mm 300 mm 3D. 2 3D. CNN(Convolution Neural Network),. (References) [1] Jong O Ban, Digital cameras and virtual reality, Yeonhaksa, pp.33, 2011. [2] H. Tang, S. Cohen, B. Price, and S. Schiller, Depth from defocus in the wild, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nov. 2017, doi: 10.1109/CVPR.2017.507. [3] S. Suwajanakorn, C. Hernandez, and M. Seitz, Depth from focus with your mobile phone, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.3497-3506, Oct. 2015, doi: 10.1109/CVPR.2015.7298972. [4] W. Balley, I. Echevarria, B. Bodenhelmer, and D. Gutierrez, Fast depth from defocus from focal stacks, The Visual Computer, Vol.31, No.12, pp.1697-1708, Dec. 2015. [5] C. Bae, Y. Ko, S. Kim, and D. Kim, 3D depth estimation by using a single smartphone camera, Proceedings of the Korean Society of Broadcast Engineers Conference, pp.240-243, Jul. 2018. [6] S. Zhuo and T. Sim, Depth map estimation from a single image, Pattern Recognition, Vol.44, No.9, pp. 1852-1858, Sep. 2011. [7] H. Tang, S. Cohen, B. Price, S. Schiller, and K. N. Kutulakos, Supplementary material for depth from defocus in the wild, http://www.dgp.toronto.edu/wilddfd/supp.pdf (accessed Oct. 1, 2017). [8] J. Canny, A computational approach to edge detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.PAMI-8, No.6, pp.679-698, Nov. 1986, doi: 10.1109/TPAMI.1986.4767851.
3 : 3D - 2014 2 : - 2017 8 : - 2017 9 ~ : - 2018 10 ~ : - :,, IoT - 2015 2 : - 2017 8 : - 2017 9 ~ : - :, IoT, - 2015 8 : - 2015 9 : - 2017 9 ~ : LG - :,, IoT - 1984 2 : - 1986 2 : - 1991 8 : - 1991 7 ~ 1996 12 : LG - 2009 3 ~ 2011 2 : / TV/ PD - 1997 1 ~ : - ORCID: https://orcid.org/0000-0002-0767-2526 - :,, IoT