(JBE Vol. 21, No. 1, January 2016) (Special Paper) 21 1, 2016 1 (JBE Vol. 21, No. 1, January 2016) http://dx.doi.org/10.5909/jbe.2016.21.1.36 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) a), a) Robust Semi-auto Calibration Method for Various Cameras and Illumination Changes Dong-Won Shin a) and Yo-Sung Ho a) 3 3.... FAST.... Abstract Recently, many 3D contents have been produced through the multiview camera system. In this system, since a difference of the viewpoint between color and depth cameras is inevitable, the camera parameter plays the important role to adjust the viewpoint as a preprocessing step. The conventional camera calibration method is inconvenient to users since we need to choose pattern features manually after capturing a planar chessboard with various poses. Therefore, we propose a semi-auto camera calibration method using a circular sampling and an homography estimation. Firstly, The proposed method extracts the candidates of the pattern features from the images by FAST corner detector. Next, we reduce the amount of the candidates by the circular sampling and obtain the complete point cloud by the homography estimation. Lastly, we compute the accurate position having the sub-pixel accuracy of the pattern features by the approximation of the hyper parabola surface. We investigated which factor affects the result of the pattern feature detection at each step. Compared to the conventional method, we found the proposed method released the inconvenience of the manual operation but maintained the accuracy of the camera parameters. Keyword : camera calibration, pattern feature detection, circular sampling, homography estimation a) (School of Information and Communication) Corresponding Author : (Yo-Sung Ho) E-mail: hoyo@gist.ac.kr Tel: +82-62-715-2258 ORCID: http://orcid.org/0000-0002-7220-1034 Manuscript received November 16, 2015; Revised January 17, 2016; Accepted January 18, 2016.
1 : (Dong-Won Shin et al.: Robust Semi-auto Calibration Method for Various Cameras and Illumination Changes)., 3 3. 3 TV, 3 3D [1]. 3.. 3.... 2 3.. Zhang [2]........ 1. [3]. 1. FAST FAST (Features from Accelerated Segment Test) 1. Fig. 1. Flowchart of the proposed method
38 방송공학회논문지 제21권 제1호, 2016년 1월 (JBE Vol. 21, No. 1, January 2016) 검출 알고리즘은 영상에서 특징 점을 검출하는데 사용되는 은색이고 영역 1과 영역 3의 원형 샘플 화소가 알고리즘으로서 재현성이 이 후보 점을 패턴 특징 점으로 결정한다. 높고 속도가 빠른 장점이 있다. 본 논문에서는 FAST 알고리즘을 이용하여 영상으로 [4] 부터 패턴 특징 점의 후보를 추출한다. FAST 특징 검출 준 경 위치한 화소들의 값을 검사하여 연속한 n개의 화소들이 모두 상위 문턱치 값( )보다 크거나, 모두 하위 문턱 치 값( )보다 작으면 특징 점으로 판단한다. 알고리즘은 원점 를 기 으로 반 이 3인 원주 상에 흰색이면 경 원형 샘플 화소 검사 단계에서는 원주의 반 과 개수가 능 를 보여준다. 검사 성 을 좌우한다. 그림 3은 원주의 특성에 따른 결과 2. 원형 샘플 화소 검사 원형 샘플 화소 검사 단계에서는 FAST 특징 검출 단계 에서 획득한 특징 점을 원점으로 하는 원을 두고 그 원주 (a) radius=10, num=3 그림 3. 원주의 특성에 따른 결과 Fig. 3. Result depending on the property of the circumference 상에 존재하는 샘플 화소의 값을 검사하여 패턴 특징 점의 후보군을 줄이는 방법이다. 이전의 FAST 특징 검출 알고 (b) radius=30, num=3 경 그림 3(a)는 원주의 반 이 10이고 원의 개수가 3인 준 경우 리즘은 영상 내의 일반적인 특징 점을 검출했기 때문에 카 의 원형 샘플 화소 검사 결과를 보여 다. 패턴 특징 점의 메라 캘리브레이션에 필요한 패턴 특징 점 외에도 다양한 위치를 정확하게 특징 점이 포함되어 있다. 따라서 그 결과에서 패턴 특징 려 점을 추 내기 위해 원형 샘플 화소 검사를 수행해야 한다. 그림 2는 원형 샘플 화소 검사를 도식화한 그림이다. 녹색으로 표시된 패턴 특징 후보 점을 원점으로 하는 원 잘 찾는 것을 확인 할 수 있다. 다음으로 그림 3(b)는 원주의 반경이 30이고 원의 개수가 3인 경우의 결과를 보여준다. 정확한 패턴 특징 점의 위치에서 다소 엇 나간 위치를 결과로 보이는 것을 확인 할 수 있다. 이러한 원주의 특성은 영상의 크기와 영상에서 평면의 체스보드 려 절 위의 점이 원형 샘플 화소이다. 이 화소들의 값을 검사하는 패턴이 차지하는 크기를 고 하여 적 한 값을 선택해야 데 체스보드 패턴의 한다. 경우 패턴 특징 점에는 2가지 경우가 존재한다. 그림 2(a)의 경우, 영역 1과 영역 3의 원형 샘플 화소가 흰색이고 영역 2와 영역 4의 원형 샘플 화소가 검은 다음으로 그림 4는 조명의 변화에 따른 원형 샘플 화소 준 검사의 결과를 보여 다. 색이면 이 후보 점을 패턴 특징 점으로 결정한다. 다음으로 그림 2(b)의 경우, 영역 1과 영역 3의 원형 샘플 화소가 검 그림 4. 조명의 변화에 따른 결과 그림 2. 원형 샘플 화소 검사 Fig. 2. Circular sample pixel Fig. 4. Result depending on the change of the illumination 그림 4의 결과로부터 의미 있는 패턴 특징 점을 추출했
신동원 외 1인 : 다양한 카메라와 조명의 변화에 강건한 반자동 카메라 캘리브레이션 방법 (Dong-Won Shin et al.: Robust Semi-auto Calibration Method for Various Cameras and Illumination Changes) 빛의 포화 현상 때문에 일부 점들이 손실된 것을 알 수 있다. 다음 절에서는 이 문 지만 캘리브레이션 패턴 좌상단의 제를 해결하기 위해 호모그래피 예측을 수행하여 완전한 패턴 특징 점을 획득하는 방법에 대해 3. 설명한다. 산 환 된 형태를 얻을 수 있다. 획득된 호모그래피 행렬을 앞서 을 계 하여 변 해주면 그림 5(c)와 같이 두 점군이 일치 임의 투 환 관계를 예측하는 방법으로 주어진 두 평면 위의 점군으로부터 호모그래피 변환행렬을 계산한다. 본 논 문의 호모그래피 예측 단계에서는 이전 단계의 결과에서 빛 의 포화 또는 부족 현상 때문에 패턴 특징 점을 찾지 못하는 의 원근 영변 운 것을 기준으로 짝을 지어준다. 검출된 패턴 특징 점군에 대해서 모든 매칭을 수행한 다음 매칭되지 않은 점 은 손실된 점으로 간주하고 다음 단계인 호모그래피 계산 가 가까 에서 제외된다. 다음으로 두 점군 사이의 호모그래피 행렬 호모그래피 예측 호모그래피 예측은 3차원 공간에서 두 평면에 대한 9 3 제외한 점에 대해서 적용해주면 그림 5(d)와 같은 완전한 패턴 특징 점을 획득 할 수 있다. 문제를 해결하기 위하여 이상적인 패턴 특징 점군과 검출된 산 패턴 특징 점군 사이의 호모그래피를 계 하여 점의 손실을 보완하는 방법을 제안한다. 그림 5는 호모그래피 예측을 통 한 패턴 특징 점 검출 과정을 도식화한 그림이다. [5] (a) scale factor=0.4 (b) scale factor=0.9 그림 6. 크기 인자에 따른 차이 (c) scale factor=1.3 Fig. 6. Difference depending on the scale factor 호모그래피 예측 단계에서는 두 점군간의 므 매칭 쌍을 정확 하게 선택해야하 로 이상적인 패턴 특징 점군의 크기를 조 절하는 크기 인자를 적절하게 선택하는 것이 중요하다. 그 림 6은 크기 인자에 따른 차이를 보여주는 그림이다. 그림 6에서 세모 점군은 이상적인 패턴 특징 점군이고 네 모 점군은 이전 단계에서 검출된 패턴 특징 점군이다. 그림 경우를 보여주고 있는데 세모 점 아 제대로 매칭이 이루어지 지 않고 있다. 그림 6(b)는 크기 인자가 0.9인 경우인데 두 점군의 크기가 비슷하여 매칭이 잘 이루어지고 있다. 마지막 으로 그림 6(c)는 크기 인자가 1.3인 경우이며 세모 점군의 크기가 네모 점군에 비해 상대적으로 커서 거리에 기반을 둔 매칭이 제대로 이루어지지 못한다. 따라서 크기 인자 역시 6(a)는 크기 인자가 0.4 인 (a) 군의 크기가 네모 점군에 비해 작 (b) 그림 5. 호모그래피 예측 (c) (d) Fig. 5. Homography estimation 먼저 그림 5(a)와 같이 이상적인 패턴 특징 점군(세모)과 져 있을 때 두 점군 간 의 중심을 그림 5(b)와 같이 일치시킨다. 그림의 X 표시는 각 점군의 중심을 나타낸다. 그리고 검출된 패턴 특징 점군 을 기준으로 매칭 쌍을 만들어주는데 이 때 각 점에서 거리 영상의 해상도와 영상에서 체스보드 패턴이 차지하는 영역을 잘 고려하여 적절하게 선택해야 한다. 본 논문에서는 크기 인자의 값을 0.9의 값을 이용하여 패턴 특징 점을 추출한다. 검출된 패턴 특징 점군(네모)이 주어 4. 화소 정확성 향상 호모그래피 예측을 통해 손실된 점이 없는 완전한 패턴
40 방송공학회논문지 제21권 제1호, 2016년 1월 (JBE Vol. 21, No. 1, January 2016) 었 풀 특징 점은 얻을 수 있 지만 결과가 정확한 패턴 특징 점의 수의 교점이 된다. 따라서 수식 (2)와 같은 선형방정식을 위치에서 게 되면 우리가 얻고자 하는 안장점 (x,y)의 위치를 구할 수 약간 어긋나거나 정수 단위의 정확성을 가지게 되는 약점이 있다. 따라서 좀 더 정밀한 실수 단위의 정확 있다. 성을 확보하기 위해 본 논문에서는 쌍곡포물면 근사 방법 킨 을 이용하여 정확성을 향상시 다[6]. (2) 따라서 이 결과로 쌍곡포물면 함수의 안장점 (x,y) 위치 를 구하게 되면 이는 이전 단계에서 얻은 정수 단위의 패턴 특징 점의 위치보다 더 정확한 실수 단위의 위치로 (a) 수 있게 된다. (c) (b) 그림 7. 화소 정확성 향상 방법 Ⅲ. 실험 결과 Fig. 7. Improvement of sub-pixel accuracy 화소 정확성 향상 단계에서는 먼저 그림 7(a)와 같이 영 심 상에서 하나의 패턴 특징 점을 중 으로 하는 영역을 추출 한다. 다음으로 이 영역을 그림 7(b)와 같이 가우시안 함수 든 이유는 다음 단계에서 미분 연산을 수행하는데 있어 이산 적인 형태보다 연속적인 형태가 적절하기 때문이다. 그림 7(c)는 흐림 영상을 3차원 그래프로 나타내며 여기서 우리 가 구하고자 하는 것은 이 3차원 그래프 표면의 안장점이 다. 이 안장점을 찾기 위해 먼저 이 표면을 쌍곡포물면 함 수로 정의하고 그 계수를 찾는다. 를 이용하여 흐림 영상으로 만 다. 흐림 영상으로 만드는 (1) 수식 (1)은 쌍곡포물면의 계수를 실험에서 사용된 색상 카메라는 Basler사의 pia190032gc이고 해상도는 1920 1080이다. 하나의 카메라로부터 10장의 체스보드 패턴 영상을 촬영했고 한 장의 패턴 영상 에 가로 5개, 세로 3개의 패턴을 사용했다. 따라서 한 장의 며 전체 영상에 대해서는 총 240 패턴 영상에 대해 24개이 개의 패턴 특징 점을 추출한다. 종 결과를 나타내며 그림 8은 제안하는 방법으로 얻은 최 분 서 확인할 수 있듯이 카메라 캘리브레이션에 필요한 패턴 특징 점의 위치를 잘 찾아내는 것을 알 수 있고 좌상단의 빛의 포화 현상이 있는 부분에 대해서도 패턴 특징 점이 잘 획득된 것을 확인할 수 있다. 원으로 표시된 부 이 얻어진 패턴 특징 점이다. 그림 8에 찾는 비용함수를 나타 낸다. 이 식에서 는 쌍곡포 물면의 함수를 나타내고 는 영상에서 (x,y) 위치 든 화소 의 화소 값을 의미한다. 따라서 사각영역내의 모 곱 차 합이 최소가 되는 계수 a, b, c, d, e, f를 찾는 것이 목적이다. 이 함수의 최적 해를 찾 위치에서 두 값의 제 기 위해서는 비선형 최적화 방법인 Gauss-Newton 방법이 나 Levenberg-Marquardt 방법을 이용하여 계수를 얻는다. 다음으로 이 함수의 안장점의 위치를 갱신할 찾아야 하는데 이는 쌍 곡포물면 함수의 x에 대한 1계 도함수와 y에 대한 1계 도함 그림 8. 제안하는 방법의 최종 결과 Fig. 8. The final result of the proposed method
1 : (Dong-Won Shin et al.: Robust Semi-auto Calibration Method for Various Cameras and Illumination Changes) (ground truth)... 1. 1. Table 1. Distance between the ground-truth position and the position from the proposed method for the color images Average distance image 1 1.05 image 2 1.38 image 3 2.76 image 4 1.99 image 5 2.13 image 6 1.88 image 7 1.57 image 8 1.70 image 9 2.10 image 10 2.34 Total average 1.89 1.89. 1920 1080.. (3) (4). A t (5).. 11mm x 2 y 13. x 3mm, y 19mm, z 18mm. R x, y, z. (6). x, y, z (-6.1380, -1.0777, 89.5321 ) (-6.0843, -1.0691, 89.5559 )..
(JBE Vol. 21, No. 1, January 2016)... FAST... 1.89, 0.76. (References) [1] C. Fehn, "A 3D-TV approach using depth-image-based rendering (DIBR)," Proc. of 3rd IASTED Conference on Visualization, Imaging, and Image Processing, pp. 482-487, 2003. [2] Z. Zhang, "A Flexible New Technique for Camera Calibration," Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, 2000. [3] D. Shin and Y. Ho, Pattern Feature Detection for Camera Calibration using Circular Sample Pixel," Proc. of 2015 Korean Society of Broadcast Engineers Summer Conference, vol. 2015, no. 7, pp. 433-434, 2015. [4] E. Rosten and T. Drummond, "Machine learning for high-speed corner detection," Proc. of the 9th European conference on Computer Vision, Berlin, Heidelberg, vol. Part I, no. 34, pp. 430-443, 2006. [5] R. Hartley, A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge University Press, Cambridge, pp. 200-204, 2003. [6] L. Lucchese and S. K. Mitra, "Using saddle points for subpixel feature detection in camera calibration targets," Circuits and Systems, vol. 2, no 2, pp. 191-195, 2002. - 2013 : () - 2015 : () - 2015 ~ : - ORCID : http://orcid.org/0000-0002-2769-3957 - : 3D,,, - 1981 : () - 1983 : () - 1989 : Univ. of California, Santa Barbara, Dept. of Electrical and Computer Engineering.() - 1983 1995 : - 1990 1993 : Philips, Senior Research Member - 1995 : - ORCID : http://orcid.org/0000-0002-7220-1034 - :,, TV TV,, MPEG, 3 TV,