논문번호 12-37A-06-07 한국통신학회논문지 '12-06 Vol.37A No.06 다양한스테레오카메라배열을위한효율적인깊이지도생성방법 정회원장우석 *, 이천 *, 종신회원호요성 * Efficient Depth Map Generation for Various Stereo Camera Arrangements Woo-Seok Jang *, Cheon Lee * Regular Members, Yo-Sung Ho * Lifelong Member 요 약 본논문에서는평행형카메라배열뿐아니라수렴형카메라배열에서도깊이지도를직접적으로구할수있는방법을제안한다. 기존의스테레오정합방법들은복잡도를줄이고정확도를향상시키기위해서영상정렬화를수행한다. 하지만수렴형배열에서의영상정렬화는원치않는결과를발생시킨다. 따라서제안하는방법은문제가되는영상정렬화과정을생략하고, 영상자체의에피폴라제약사항을이용하여깊이값을직접적으로추출한다. 깊이지도의정확도를보다향상시키기위해서폐색영역을탐지하고처리하는과정을추가적으로수행한다. 탐지한폐색영역은보이는주변영역의화소들과의거리와색상차를고려하여적절한깊이값으로채워진다. 실험을통해제안한방법이기존의방법에비해카메라배열에대한제약이적고, 안정적으로깊이지도를생성할수있음을확인했다. Key Words : epipolar constraint, image rectification, occlusion handling, stereo matching ABSTRACT In this paper, we propose a direct depth map acquisition method for the convergence camera array as well as the parallel camera array. The conventional methods perform image rectification to reduce complexity and improve accuarcy. However, image rectification may lead to unwanted consequences for the convergence camera array. Thus, the proposed method excludes image rectification and directly extracts depth values using the epipolar constraint. In order to acquire a more accurate depth map, occlusion detection and handling processes are added. Reasonable depth values are assigned to the obtained occlusion region by the distance and color differences from neighboring pixels. Experimental results show that the proposed method has fewer limitations than the conventional methods and generates more accurate depth maps stably. Ⅰ. 서론 3차원영상획득을위해서는 3차원장면의거리정보를표현하는깊이지도를획득해야한다. 깊이정보를이용하면실제로획득하지못한시점의영상을깊이영상기반렌더링 (Depth Image Based Rendering) 을통해서합성할수있다 [1]. 깊이정보는능동적깊이센서방식 (active depth sensors), 수동적깊이센서방식 (passive depth sensors) 으로획득할수있다. 능동형센서방식은물리적센서장치를이용하여깊이정보를직접획득하는반면에, 수동적센서방식은두대이상의카메라로얻은영상으로부터깊이정보를계산해서획득한다 [2,3]. * 광주과학기술원정보통신공학과 ({jws, leecheon, hoyo}@gist.ac.kr) ( o : 교신저자 ) 논문번호 :KICS2012-02-094, 접수일자 :2012 년 2 월 28 일, 최종논문접수일자 :2012 년 5 월 27 일 458
논문 / 다양한 스테레오 카메라 배열을 위한 효율적인 깊이 지도 생성 방법 수동형 센서 방식의 하나인 스테레오 정합은 서 로 다른 시점으로부터 얻어진 동일한 장면의 두 영 상으로부터 한 영상의 화소와 일치하는 화소를 다 른 영상에서 찾음으로써 3차원 데이터를 얻는다 [4]. 지금까지의 스테레오 정합 방법들은 주로 평행형 배열(parallel array)로 촬영되었다는 가정 하에 개발 되었다. 하지만 최근 3차원 영상을 촬영 시 두 카 메라의 시야 범위를 비슷하게 하기 위해서 수렴형 카메라 배열(convergence array)이 많이 이용되기 그림 1. 수렴형 카메라의 정렬화 Fig. 1. Image rectification in the arc camera array 때문에 이전 평행형 배열에서의 방법들을 적용하면 수렴형 배열에서 영상 정렬화의 원본 영상 훼손 문제가 발생한다. 기존의 스테레오 정합은 보통 정확도와 속도 향 문제는 수렴각을 갖는 두 평면을 동일 평면으로 옮 상을 위해 두 영상을 정렬화하여 동일한 스캔 라인 위에서 정합 과정을 수행한다. 하지만 이러한 정렬 겨서 발생한다. 그 예로 원본 영상에서 서로 다른 영역에 있는 여러 화소가, 정렬화된 평면의 한 화소 화는 평행형 배열에서는 유용하지만, 수렴형 배열에 로 옮겨지거나, 옮겨진 화소가 영상 평면의 밖에 있 서는 영상 왜곡을 발생시킨다. 이는 평행형 배열은 두 영상이 거의 동일한 평면에 놓여있지만, 수렴형 게 되는 경우이다. 그림 2는 수렴형 배열의 카메라 로 획득된 두 장의 영상에 정렬화 과정을 수행한 배열은 수렴각이 존재하기 때문이다. 결과과 왜곡이 발생함을 보여준다. 결과 영상의 스 캔 라인은 거의 일치하지만, 원본 영상의 일부가 정 본 논문에서는 기존 스테레오 정합 방법들에서 전제로 하고 있는 정렬화의 문제점을 지적하고, 이 를 극복하기 위해서 에피폴라 제약 사항을 이용한 직접적인 깊이 값 추출 방법에 대해서 제안한다. 또 렬화를 거치면서 소실되었다. 이와 같이 영상 정렬 화를 이용해서는 수렴형 배열의 카메라로 획득된 영상을 보존하면서 3차원 정보를 얻기가 어렵다. 한 깊이 지도의 질을 향상시키기 위해서 폐색 영역 의 탐지와 처리 방법을 제시한다. 이는 기존의 방법 들에 비해서 제약이 적고, 좀 더 유연한 깊이 지도 생성에 기여한다. Ⅱ. 영상 정렬화를 통한 3차원 정보 획득의 문제점 그림 2. 실제 영상에서의 정렬화 과정을 거친 후 상태 Fig. 2. Rectified result of left and right images 영상 정렬화는 임의의 두 시점에서 촬영된 영상 을 2차원 변환을 통하여 모든 에피폴라 선(epipolar line)이 평행하도록 만드는 작업으로 보통 스테레오 Ⅲ. 에피폴라 제약 사항을 이용한 깊이 지도 획득 정합에서 필수적이다. 정렬화된 두 영상은 한 평면 상에 위치한 각각의 영상 평면을 가지며, 동일 선상 에 위치한 두 카메라에서 촬영된 영상의 특성을 가 3.1 스테레오 영상에서의 에피폴라 제약 사항 영상 정렬화를 통해서 수직 방향의 변위를 제거 하는 방법은 영상의 왜곡 때문에 모든 화소의 변위 진다. 두 영상의 대응점들은 동일한 수직 좌표를 가 를 구하기 어렵다. 그렇다고 대응점을 찾기 위해서 지며, 결과적으로 두 영상 사이에는 수평 방향의 변 [5] 위만이 존재하게 된다. 그림 1은 수렴형 카메라에 수평 방향 뿐 아니라 수직 방향까지 스캔하는 방법 은 너무 소모적일 뿐 아니라 정확도 또한 떨어진다. 서의 영상 정렬화 과정을 보여준다. 서로 다른 평면 에 존재하던 두 카메라는 동일한 평면으로 옮겨지 우리는 에피폴라 제약 사항 (epipolar constraint)을 고, 대응점에 대한 에피폴라 선은 일치하게 된다. 사용하여 이를 해결한다. 에피폴라 선은 좌시점에서 카메라 중심과 영상 평면에 맺힌 화소를 연결한 직 그림 1에서 pl과 pr은 각각 좌우 영상에서의 일 치하는 임의의 한 점을 나타낸다. 두 일치점이 실제 선을 3차원 공간으로 보내고, 이를 우영상에 투영하 여 획득한다. 그림 3에서 에피폴라 선 위에, 좌영상 3차원 공간에 있는 위치를 P로 나타냈다. ll과 lr은 에 존재하는 화소 p1의 대응점인 p 1이 놓여있다. 각 좌우 영상의 에피폴라 선이다. 보통 1차원 변위는 쉽게 깊이 정보로 변환할 수 있 459
한국통신학회논문지 '12-06 Vol.37A No.06 지만, 제안한방법으로변위를구할경우 2차원변위가발생하고음의변위도발생할수있기때문에, 변위로객체가카메라에서얼마나떨어져있는지판단할수없다. 따라서본논문에서는변위값을추출하지않고직접깊이값을구한다. 그림 3. 에피폴라제약사항에따른변위 Fig. 3. Disparity according to epipolar constraint 3.2. 직접적인깊이값추출본논문에서는깊이값을추출하기위해서마르코프랜덤필드 (Markov Random Field, MRF) 에의한에너지함수를정의하고최적화한다 [6]. 정합을위한에너지함수는다음과같이정의된다. E ( x, = E data ( x, + E smooth ( x, (1) 여기서 x와 y는각각좌영상의수평, 수직좌표를나타내고, d는깊이값을나타낸다. 에너지 E(x, 는데이터항 (data term) 과평활화항 (smoothness term) 으로구성된다. 데이터항과평활화항은다음과같이정의된다. { I ( x, y), I ( x, )} Edata ( x, = U L R d (2) E smooth ( x, = ( p, q) N W ( p, q) 그림 4. 깊이범위를구하기위한삼각화방법 Fig. 4. Triangulation for range of depth 깊이범위를구한후, 깊이값에맞게좌영상의화소를 3차원워핑기술을이용하여우영상으로투영한다 [7]. 각깊이값의우영상에서의대응좌표가정해지고, 이들은 I R (x, 의화소값을결정한다. 최종에너지, 식 (1) 은시간복잡도를고려한상수공간신뢰확산 (Constance Space Belief Propagation, CSBP) 에의해최적화된다 [8]. 얻어진깊이지도는정확한깊이값을위한초기값으로사용된다. 3.3 폐색영역탐지및처리스테레오영상은한영상에서만보이는폐색영역이존재하기때문에 3.2에서정의한깊이값추출에너지함수로만으로는정확한깊이지도를생성하기가어렵다 [3]. 폐색영역을탐지하기위해서 3.2에서구한초기깊이지도를이용하여좌영상의모든화소를우영상에투영한다. 여기서두가지종류의폐색영역후보를구할수있다. 첫번째로좌영상에서의화소가우영상의영상평면의범위밖으로투영되는화소인데, 이들은우영상과매칭되지않는화소이기때문에폐색영역후보로간주할수있다. 에너지함수는다음과같이정의한다. (3) (4) U{ } 는좌 우영상의화소값차이, N은주변화소의집합이고, W(p,q) 는주변화소들의변위차이, I L (x,y) 는좌영상의좌표가 (x,y) 일때의화소값, I R (x, 는좌영상의좌표 (x,y) 가깊이값이 d일때우영상에매칭되는화소값을나타낸다. I R (x, 을구하기위해서워핑을이용한다. 이를위해먼저깊이의범위를정한다. 깊이범위는그림 4에제시된것처럼최소 최대깊이위치에있는두영상의화소를 3차원공간으로보내서만나는점을찾는삼각화 (Triangulation) 방법을이용하여구한다. 만나는 3차원점을알면그위치의깊이를알수있다. 은우영상평면범위밖으로화소가투영되는지를나타내는이진지도이다. 우영상의평면범위안으로투영이된다면 0, 그렇지않으면 1 로세팅한다. o u,v 는추정에의한폐색영역값이다. 화소가폐색영역으로가정되면 1 로세팅된다. 즉, 정확히예측되면에너지값이작아지게된다. 두번째는좌영상의여러화소가우영상의동일한화소에투영되는경우이다. 이러한화소중일부는실제로 3차원공간에서다른화소에가려진화소이다. 이에관한에너지함수는다음과같다. 460
논문 / 다양한스테레오카메라배열을위한효율적인깊이지도생성방법 (5) 채워진다 [3]. 이와같이얻어진깊이지도는후처리를거쳐서깊이지도의질을향상시킨다 [9]. 에서는우영상의동일한화소에투영된좌영상의다중화소를 1 로세팅한다. 확률적으로다중매칭화소중가장깊이값이큰화소가보이는부분일가능성이가장크기때문에 w w 를이용하여가중치를달리적용한다. 그림 5는투영을사용한두종류폐색영역의검출방법을설명한다. 그림 6. 3 차원공간에서의폐색영역탐지 Fig. 6. Occlusion detection in 3D space Ⅳ. 실험결과 그림 5. 투영을사용한폐색영역의탐지 Fig. 5. Occlusion detection using projection 폐색영역탐지를위한다른방법은대응점이라고판단되는두화소들이실제로 3차원공간에서같은위치에존재하는지를확인하는것이다. 특정화소가폐색영역이아니라면, 두영상에서 3차원공간으로보낸위치는동일해야한다. 3차원공간에서의폐색영역탐지에너지는다음과같다. 표 1은각에너지항의균형을맞추기위해서실험적으로구해진매개변수값들을나타낸다. 그림 7 은수렴형배열에서초기깊이지도와폐색영역지도를보여주고, 그림 8은평행형배열에서얻은초기지도및폐색영역탐지결과를보여준다. 표 1. 실험에사용된매개변수 Table. 1. Experimental parameters 값 7.5 12 3 12 4.2 7 (6) 는두영상에서 3 차원공간으로 보낸위치가동일하면 0, 아니면 1 의값을갖는다. 그림 6은 3차원공간에서의폐색영역을탐지하는방법에대해서나타낸다. 폐색영역을탐지최종에너지함수는상기한에너지함수의합으로다음과같이나타낸다. (a) 원본영상 (7) (b) 초기깊이지도 (c) 폐색영역탐지 그림 7. 수렴형배열영상에서제안한방법으로획득한초기깊이지도및폐색영역지도 Fig. 7. Initial depth and occlusion maps obtained by the proposed method in convergence camera array 식 (7) 은두에너지함수외에도두대응점의휘도성분차이도포함한다. 이는폐색영역탐지조건들에서보이는부분이라고인식된화소라도영상간휘도차이가크다면잘못된정합일수있다는가정에의한것이다. 탐지된폐색영역에는주변의보이는영역에있는화소중폐색영역과비슷한영역이라고판단되는화소를이용하여깊이값이 그림 9는제안하는최종깊이지도와, 영상정렬화를거쳐서얻은변위지도를깊이지도로변환한영상을나타낸다. 그림 9(b) 는상수공간신뢰확산으로초기변위지도를구하고후처리를적용했다 [8,9]. 그림 9(b) 를보면영상의상단부분이정렬화과정에의해우영상에서사라져정확한깊이값을얻을수없었던반면, 그림 9(a) 에서는모든영역에 461
한국통신학회논문지 '12-06 Vol.37A No.06 (a) 원본영상 (b) 초기깊이지도 (c) 폐색영역탐지결과그림 8. 평행형배열영상에서제안한방법으로획득한초기깊이지도및폐색영역지도 Fig. 8. Initial depth and occlusion maps obtained by the proposed method in a parallel array 서깊이값을얻을수있었다. (a) 제안하는방법 (b) 정렬화과정적용그림 9. 수렴형배열에서깊이지도결과비교 Fig. 9. Depth map comparison in an arc camera array 그림 10과그림 11은평행형카메라배열에서제안한방법으로구한깊이지도와영상정렬화과정을거쳐서얻은깊이지도의결과를보여준다. 객관적으로평가하기위해서새로운시점을합성하였다. 시점합성의정확도를계산하기위해서는세개이상의시점이필요하기때문에스테레오영상인수렴형배열영상은객관적평가에서제외하였다. 표 2는제안한방법과기존방법과의 PSNR 차를비교한것이다. 그림 12와그림 13은두방법의시점합성결과를보여준다. 표 2. 실시점합성의 PSNR 비교 Table. 2. PSNR comparison of view synthesis 영상 제안하는방법 기존방법 Newspaper 29.64 db 26.18 db Cafe 33.46 db 32.16 db (a) 제안하는방법 (b) 정렬화과정을적용그림 10. Newspaper 영상에서의깊이지도결과비교 Fig. 10. Depth map comparison on Newspaper (a) 제안하는방법 (b) 기존방법그림 12. Newspaper 영상에서의시점합성결과 Fig. 12. Result of view synthesis on Newspaper (a) 제안하는방법 (b) 정렬화과정을적용그림 11. Cafe 영상에서의깊이지도결과비교 Fig. 11. Depth map comparison on Cafe 평행형배열에서는영상정렬화를이용한기존방법과제안한방법이모두정확한깊이값을예측했지만, 수렴형카메라배열에서는제안한방법이기존방법보다우수한결과를보였다. 실험결과를 (a) 제안하는방법 (b) 기존방법그림 13. Cafe 영상에서의시점합성결과 Fig. 13. Result of view synthesis on Cafe 위실험결과로부터제안하는방법은카메라배열에상관없이정확한깊이값을얻어내는것을알수있다. 따라서제안하는방법은영상촬영전카메라의설치시제약사항을줄여주는효과를낸다. 462
논문 / 다양한스테레오카메라배열을위한효율적인깊이지도생성방법 Ⅵ. 결론 본논문에서는다양한카메라배열에서별다른제약없이스테레오영상의깊이지도를획득하는방법을제시했다. 스테레오정합에서일반적으로사용되는영상정렬화는평행형카메라배열에서는효율적이나, 수렴형배열에서는정확한영상정렬이어려울뿐만아니라원본영상이훼손될수있다. 따라서본논문은에피폴라제약사항에의해서영상정렬화없이깊이값을구하는방법을제안했다. 이방법은기존방법에비해영상전체에대해서깊이값을구할수있는확률을높였다. 또한서로다른위치에서획득되어생긴폐색영역을탐지하고, 주변화소와의관계를이용하여적절한깊이값을할당하여깊이지도의정확도를높였다. 제안하는방법은기존의방법들에비해다양한카메라배열에서보다안정적으로깊이지도를생성했다. 참고문헌 [1] L. Zhang and W.J. Tam, Stereoscopic image generation based on depth images for 3DTV, IEEE Trans. Broadcast., vol. 51, no. 2, pp. 191-199, June 2005. [2] S.Y. Kim, J.H. Cho, and A. Koschan, 3D video generation and service based on a TOF depth sensor in MPEG-4 multimedia framework, IEEE Trans. Consum. Electron., vol. 56, no. 3, pp. 1730-1738, Aug. 2010. [3] W.S. Jang, Y.S. Ho, Efficient Disparity Map Estimation Using Occlusion Handling for Various 3D Multimedia Applications, IEEE Trans. Consum. Electron., vol. 57, no. 4, pp. 1937-1943, Nov. 2011. [4] D. Sharstein and R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, IEEE Workshop on Stereo and Multi-Baseline Vision, pp. 131-140, 2001. [5] Y.S. Kang and Y.S. Ho, An Efficient Image Rectification Method for Parallel Multi-Camera Arrangement, IEEE Trans. Consum. Electron., vol. 57, no. 3, pp. 1041-1048, Aug. 2011. [6] S.Z. Li, Markov Random Field Modeling in Image Analyysis, 2nd ed. New York: Springer-Verlag, 2001. [7] C. Lee and Y.S. Ho, Boundary filtering on synthesized views of 3D video, International Symposium on Signal Processing, Image Processing and Pattern Recognition, pp. 15-18, 2008. [8] Q. Yang, L. Wang, and N. Ahuja, A constant-space belief propagation algorithm for stereo matching, IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1458-1465, 2010. [9] Q. Yang, C. Engels, and A. Akbarzadeh. Near real-time stereo for weakly-textured scenes, British Machine Vision Conference, pp. 80 87, 2008. 장우석 (Woo-Seok Jang) 정회원 2007년전남대학교전자공학과졸업 ( 학사 ) 2009년광주과학기술원정보통신공학과졸업 ( 석사 ) 2009년~현재광주과학기술원정보통신공학과박사과정 < 관심분야 > 디지털영상처리, 3D영상처리, 실감방송 이 천 (Cheon Lee) 정회원 한국통신학회논문지 제37A권, 제4호참조 호요성 (Yo-Sung Ho) 종신회원한국통신학회논문지제37C권, 제4호참조 463