1 : (Special Pape) 3, 15 5 (JBE Vol., No. 3, May 15) http://dx.doi.og/1.599/jbe.15..3.1 ISSN 87-9137 (Online) ISSN 16-7953 (Pint) a), a) Tempoally-Consistent High-Resolution Depth Video Geneation in Backgound Region Dong-Won Shin a) and Yo-Sung Ho a) 3 3.. 3. 3.,.. Abstact The quality of depth images is impotant in the 3D video system to epesent complete 3D contents. Howeve, the oiginal depth image fom a depth camea has a low esolution and a flickeing poblem which shows vibating depth values in tems of tempoal meaning. This poblem causes an uncomfotable feeling when we look 3D contents. In ode to solve a low esolution poblem, we employ 3D waping and a depth weighted joint bilateal filte. A tempoal mean filte can be applied to solve the flickeing poblem while we encounte a esidual spectum poblem in the depth image. Thus, afte classifying foegound and backgound egions, we use an upsampled depth image fo a foegound egion and tempoal mean image fo backgound egion. Test esults shows that the poposed method geneates a time consistent depth video with a high esolution. Keywod : Kinect v, depth flickeing, tempoal consistency, upsampling, waping a) (School of Infomation and Communication) Coesponding Autho : (Yo-Sung Ho) E-mail: hoyo@gist.ac.k Tel: +8-6-715-58 ORCID: http://ocid.og/--7-134 IWAIT 15. Manuscipt eceived Mach 17, 15; evised May 6, 15; accepted May 1, 15.. 3 3. 3D
(JBE Vol., No. 3, May 15) 3DTV 3.... 3 3 3 [1]., 3. 3 []. 3. 1, 1 1 [3]. 1 ToF..,.. 1. Fig 1. Appeaance of Micosoft Kinect V 1. 1 Table 1. Compaison of Micosoft Kinect V1 and Kinect V Kinect V1 Kinect V Depth acqusition method Stuctued Light Time of Flight (ToF) Colo esolution 64 48 19 18 Depth esolution 3 4 51 44 Depth ange.5-4. metes.5-4.5 metes. Fig. Depth video acquied fom Kienct V. 3.. 3
1 : (a) (a) Top-left cone egion 3. Fig 3. Enlaged flickeing egion (b) (b) Unde a table egion... 3 4.. 4 [4].. [5]. 3 [6]... 4. Fig 4. Flowchat of the poposed flickeing elimination
4 방송공학회논문지 제권 제3호, 15년 5월 (JBE Vol., No. 3, May 15) 에 시간적 평균 필터를 수행하여 깜빡임을 제거한다. 그런 데 시간적 평균 필터를 적용하면 깜빡임 문제는 사라지지 만 이전 깊이 프레임의 잔상이 남는다는 문제가 발생한다. 따라서 이러한 잔상 문제를 해결하기 위해 깊이 영상을 정 적 영역과 동적 영역으로 분류하고 영역의 특성에 따라 시 간적 평균 깊이 영상과 업샘플된 깊이 영상을 적응적으로 사용하도록 했다. 1. 깊이 가중치가 추가된 결합형 양방향 필터 이 논문에서는 3차원 워핑을 통해 색상 영상과 깊이 영상 의 시점과 해상도를 일치시킨 다음, 이 단계로부터 획득한 희소한 형태의 깊이 영상에서 깊이 값이 없는 부분에 적절 한 깊이 값을 채워 넣기 위해 깊이 가중치가 추가된 결합형 양방향 필터를 제안한다. 그림 5는 희소한 형태를 가진 깊 이 영상의 예를 보여준다. 그림 5의 왼쪽에 확대된 영역 (1)과 영역 ()를 살펴보면 화소의 모든 위치에 대해 깊이 값이 채워져 있지 않고 희소 하게 깊이 값이 분포되어 있는 것을 확인할 수 있다. 이는 저해상도 깊이 영상의 각 화소들이 고해상도의 색상 영상 의 크기에 맞게 워핑되면서 발생하는 문제이다. 또한 그림 5의 오른쪽에 확대된 영역 (3)과 영역 (4)를 살펴보면 깊이 값이 좀 더 밀집되어 있는 부분을 관찰할 수 있다. 이 부분 또한 워핑에 의해 깊이 카메라 시점이 색상 카메라 시점으 그림 5. 희소한 형태의 깊이 영상 Fig 5. Depth image in a spase fom 로 이동하면서 전경에 대한 깊이 영역과 배경에 대한 깊이 영역이 겹쳐지면서 발생하는 폐색영역 문제이다. 3차원 워핑에 의해 발생하는 이러한 문제점들을 해결하 기 위해 이 논문에서는 기존의 결합형 양방향 필터 에 깊 이 가중치가 추가된 형태를 제안한다. 식 (1)은 제안하는 방법의 계산 구성을 나타낸다. [7] ååw ( u, v ) D ( u, v ) D ( x, y ) = ååw ( u, v ) uîu vîv i o uîu vîv (1) (u = {x -,..., x + }, v = { y -,..., y + }) 는 출력 깊이 화소를 의미하고 는 입력 깊이 화소 를 나타낸다. (x,y)와 (u,v)는 각각 필터 커널에서 중심 화소 의 위치와 이웃 화소의 위치를 나타낸다. 벡터 와 벡터 는 각각 필터커널에서 수평 위치 집합과 수직 위치 집합 을 의미한다. 마지막으로 W는 가중치 인자를 나타낸다. 기 존의 결합형 양방향 필터의 가중치 인자는 개의 가우시안 함수 곱으로 구성되어 있다. 이 가우시안 함수는 중심 위치 에서 가장 높은 값을 가지고 양 끝으로 갈수록 에 가까운 값을 가지는 종모양의 함수이다. 우리는 기존의 가중치 인 자에 중심 화소와 이웃 화소의 깊이 화소 값 차이를 반영하 는 가중치 인자를 추가함으로써 3차원 워핑으로부터 발생
신동원 외 인 배경 영역의 시간적 일관성이 향상된 고해상도 깊이 동영상 생성 방법 5 1 : 하는 문제를 해결한다. 식 ()는 제안하는 가중치 인자 W를 나타낸다. if Di ( u, v ) = ì W ( u, v ) = í g u, v f u, v d u, v othewise î ( ) ( ) ( ) () 와 f(u,v)는 각각 필터 커널의 중심 화소와 이웃 화 소간의 색상 차이와 거리 차이를 반영하는 가중치이다. 여 기까지가 기존의 가중치이고 우리는 여기에 중심화소와 이 웃 화소간의 깊이 차이를 반영하는 가중치 d(u,v)를 추가적 으로 사용한다. 식 (3), 식(4), 식(5)는 각 가중치 인자의 구 성을 나타낸다. g(u,v) ì I ( x, y ) - I u, v ü ( x y) g ( u x, v y ) = exp í ý s g î þ (3) ì ( x - u ) + ( y - v ) ü x y f ( u x, v y ) = exp íý s f î þ (4) ì D ( x, y ) - D u, v ü i i ( x y) d ( u x, v y ) = exp í ý s d î þ (5) 기존의 결합형 양방향 필터 제안하는 필터 그림 6. 기존의 방법과 제안하는 방법의 결과 비교 (b) Fig 6. Compaison with a convention and a poposed method 우리는 이러한 깊이 가중치가 추가된 결합형 양방향 필 터를 이용하여 3차원 워핑으로부터 발생하는 문제들을 해 결할 수 있다. 그림 6은 기존의 결합형 양방향 필터와 제안 하는 필터의 결과를 비교한 그림이다. 두 방법 모두 희소한 형태의 깊이 영상을 적절한 깊이 값으로 채우는 것은 성공했다. 하지만 전경과 배경의 깊이 값이 겹치면서 발생하는 폐색영역(영상에서 손과 얼굴의 오른쪽 부분)에 대해서는 제안하는 방법만이 깊이 값을 잘 채워주는 것을 확인할 수 있다.. (a) 시간적 평균 필터 이 절에서는 앞에서 제안한 방법으로 얻은 업샘플된 깊 이 영상을 이용하여 배경 영역에 대한 깜빡임 문제를 해결 하는 것에 대해 살펴본다. 시간적 평균 필터는 깊이 영상의 시간적 배열에 대해 평균값을 취하는 필터인데 식 (6)은 이 러한 시간적 평균 필터에 대한 구조를 나타낸다. N t o DM ( x, y ) = å D ( x, y ) t =1 (6) N 는 t 프레임에서 (x,y)위치의 업샘플된 깊이 화 소를 의미하고 N은 영상 배열안에 저장된 깊이 영상의 개 수를 의미한다. 즉, 이 식은 영상 배열에 저장된 모든 깊이 영상에 대해서 (x,y) 위치에서의 평균값을 얻는 것을 의미 한다. 깜빡임 현상은 제거할 수 있지만 이전 깊이 영상이 다음 깊이 영상에 영향을 미치는 잔상 문제를 만나게 된다. 이 논문에서는 이러한 잔상 문제를 해결하기 위해 깊이 영 상을 정적 그리고 동적 영역으로 분류하고 영역의 종류에 따라 적응적으로 처리한다.
(JBE Vol., No. 3, May 15) 3.,. (7). MT max ( o ) (, ) t (, ) D x y D x y = t N 7. Fig 7. Depth value extaction along with tempoal flow (x,y).,,..,. 19 18 51 44. GPU(Gaphics pocessing unit) GPU nvidia Qudo K4 [8]. 8, 9, 1. 7.... 1 1 8 6 4 (49, 61) 위치 1 3 5 7 9 11 13 15 17 19 1 3 5 7 9 31 33 35 37 39 41 원본 결과 8. (49, 61) Fig 8. Depth value gaph at (49, 61) 1 9 8 7 6 5 4 3 1 (7, 65) 위치 1 3 5 7 9 11 13 15 17 19 1 3 5 7 9 31 33 35 37 39 41 원본 결과 9. (7, 65) Fig 9. Depth value gaph at (7, 65) 1 1 8 6 4 (134, 575) 위치 1 3 5 7 9 11 13 15 17 19 1 3 5 7 9 31 33 35 37 39 41 43 45 47 49 원본 결과 1. (134, 575) Fig 1. Depth value gaph at (134, 575)
1 :.. 3.,.. 17. (Refeences) [1] P. Kauff, N. Atzpadin, C. Fehn, M. Mulle, O. Schee, A. Smolic, and R. Tange, Depth map ceation and image-based endeing fo advanced 3DTV sevices poviding inteopeability and scalability, Image Commun, vol., no., pp. 17-34, Feb. 7. [] C. Fehn, Depth-image-based endeing (DIBR), Compession and Tansmission fo a New Appoach on 3-D TV, Poc. of SPIE Confeence Steeoscopic Displays and Vitual Reality Systems, vol. 591, pp. 93-14, Jan. 4. [3] http://www.micosoft.com/en-us/kinectfowindows/meetkinect/featues.aspx [4] D. Shin and Y. Ho, Flickeing Elimination Method fo Backgound Region in Depth Video, Poc. of Intenational Wokshop on Advanced Image Technology, OS1-73, Jan. 15. [5] Camea Calibation Toolbox fo MATLAB: http://www.vision. caltech.edu/bouguetj [6] W. R. Mak, L. McMillan, and G. Bishop, "Post-endeing 3D Waping," Poc. of Symposium on Inteactive 3D Gaphics, pp. 7-16, Apil 1997. [7] J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, Joint bilateal upsampling, ACM Tansactions on Gaphics, vol. 6, no. 3, pp. 1-5, July 7. [8] D. Shin and Y. Ho, Real-time Depth Image Refinement using Joint Bilateal Filte, Poc. of 13 Koean Society of Boadcast Enginees Autumn Confeence, vol. 19, pp. 116-119, Nov. 13. - 13 : () - 15 : () - 15 ~ : - ORCID : http://ocid.og/--769-3957 - : 3D, - 1981 : () - 1983 : () - 1989 : Univ. of Califonia, Santa Babaa, Dept. of Electical and Compute Engineeing.() - 1983 1995 : - 199 1993 : Philips, Senio Reseach Membe - 1995 : - ORCID : http://ocid.og/--7-134 - :,, TV TV,, MPEG, 3 TV,