(Special Pape) 20 3, 2015 5 (JBE Vol. 20, No. 3, May 2015) http://dx.doi.og/10.5909/jbe.2015.20.3.414 ISSN 2287-9137 (Online) ISSN 1226-7953 (Pint) a), a) Tempoally-Consistent High-Resolution Depth Video Geneation in Backgound Region Dong-Won Shin a) and Yo-Sung Ho a) 3 3.. 3. 3.,.. Abstact The quality of depth images is impotant in the 3D video system to epesent complete 3D contents. Howeve, the oiginal depth image fom a depth camea has a low esolution and a flickeing poblem which shows vibating depth values in tems of tempoal meaning. This poblem causes an uncomfotable feeling when we look 3D contents. In ode to solve a low esolution poblem, we employ 3D waping and a depth weighted joint bilateal filte. A tempoal mean filte can be applied to solve the flickeing poblem while we encounte a esidual spectum poblem in the depth image. Thus, afte classifying foegound and backgound egions, we use an upsampled depth image fo a foegound egion and tempoal mean image fo backgound egion. Test esults shows that the poposed method geneates a time consistent depth video with a high esolution. Keywod : Kinect v2, depth flickeing, tempoal consistency, upsampling, waping a) (School of Infomation and Communication) Coesponding Autho : (Yo-Sung Ho) E-mail: hoyo@gist.ac.k Tel: +82-62-715-2258 ORCID: http://ocid.og/0000-0002-7220-1034 IWAIT 2015. Manuscipt eceived Mach 17, 2015; evised May 6, 2015; accepted May 12, 2015.. 3 3. 3D
1 : (Dong-Won Shin et al.: Tempoally-Consistent High-Resolution Depth Video Geneation in Backgound Region) 3DTV 3. 2.. 2. 3 3 3 [1]., 3. 3 [2]. 3 2. 1 2, 1 1 2 [3]. 2 1 ToF. 2.,. 2 2. 1. 2 Fig 1. Appeaance of Micosoft Kinect V2 1. 1 2 Table 1. Compaison of Micosoft Kinect V1 and Kinect V2 Kinect V1 Kinect V2 Depth acqusition method Stuctued Light Time of Flight (ToF) Colo esolution 640 480 1920 1080 Depth esolution 320 240 512 424 Depth ange 0.5-4.0 metes 0.5-4.5 metes 2. 2 Fig 2. Depth video acquied fom Kienct V2. 3.. 3
(a) (a) Top-left cone egion 3. Fig 3. Enlaged flickeing egion (b) (b) Unde a table egion.. 2. 3 4.. 4 [4]. 2. [5]. 3 [6]... 4. Fig 4. Flowchat of the poposed flickeing elimination
신동원 외 1인 : 배경 영역의 시간적 일관성이 향상된 고해상도 깊이 동영상 생성 방법 (Dong-Won Shin et al.: Tempoally-Consistent High-Resolution Depth Video Geneation in Backgound Region) 41 7 에 시간적 평균 필터를 수행하여 깜빡임을 제거한다. 그 런 로 이동하면서 전경에 대한 깊이 영역과 배경에 대한 깊이 데 시간적 평균 필터를 적용하면 깜빡임 문제는 사라지지 잔상이 남는다는 문제가 발생한다. 영역이 3차원 워핑에 의해 발생하는 이러한 문제점들을 해결하 만 이전 깊이 프레임의 따라서 이러한 잔상 문제를 해결하기 위해 깊이 영상을 정 겹쳐지면서 발생하는 폐색영역 문제이다. 기 위해 이 논문에서는 기존의 결합형 양방향 필터 에 깊 [7] 적 영역과 동적 영역으로 분류하고 영역의 특성에 따라 시 이 가중치가 추가된 형태를 제안한다. 식 (1)은 제안하는 간적 평균 깊이 영상과 업샘플된 깊이 영상을 적 적으로 방법의 계 사용하도록 했다. 1. 응 깊이 가중치가 추가된 결합형 양방향 필터 이 논문에서는 3차원 워핑을 통해 색상 영상과 깊이 영상 킨 다음, 이 단계로부터 획득한 희소한 형태의 깊이 영상에서 깊이 값이 없는 부분에 적절 한 깊이 값을 채워 넣기 위해 깊이 가중치가 추가된 결합형 양방향 필터를 제안한다. 그림 5는 희소한 형태를 가진 깊 이 영상의 예를 보여준다. 그림 5의 왼쪽에 확대된 영역 (1)과 영역 (2)를 살펴보면 화소의 모든 위치에 대해 깊이 값이 채워져 있지 않고 희소 하게 깊이 값이 분포되어 있는 것을 확인할 수 있다. 이는 저해상도 깊이 영상의 각 화소들이 고해상도의 색상 영상 의 크기에 맞게 워핑되면서 발생하는 문제이다. 또한 그림 5의 오른쪽에 확대된 영역 (3)과 영역 (4)를 살펴보면 깊이 값이 좀 더 밀집되어 있는 부분을 관찰할 수 있다. 이 부분 또한 워핑에 의해 깊이 카메라 시점이 색상 카메라 시점으 의 시점과 해상도를 일치시 그림 5. 희소한 형태의 깊이 영상 Fig 5. Depth image in a spase fom 산 구성을 나타낸다. Do ( x, y ) = ååw ( u, v ) D ( u, v ) ååw ( u, v ) uîu vîv i uîu vîv (1) (u = {x -,..., x + }, v = { y -,..., y + }) 력 깊이 화소를 의미하고 는 입력 깊이 화소 를 나타낸다. (x,y)와 (u,v)는 각각 필터 커널에서 중심 화소 의 위치와 이웃 화소의 위치를 나타낸다. 벡터 와 벡터 는 각각 필터커널에서 수평 위치 집합과 수직 위치 집합 을 의미한다. 마지막으로 W는 가중치 인자를 나타낸다. 기 는 출 존의 결합형 양방향 필터의 가중치 인자는 2개의 가우시안 곱으로 구성되어 있다. 이 가우시안 함수는 중심 위치 에서 가장 높은 값을 가지고 양 끝으로 갈수록 0에 가까운 값을 가지는 종모양의 함수이다. 우리는 기존의 가중치 인 자에 중심 화소와 이웃 화소의 깊이 화소 값 차이를 반영하 는 가중치 인자를 추가함으로써 3차원 워핑으로부터 발생 함수
. (2) W. (, ) W u v ( ) ì 0 if Di u, v = 0 = í î g ( u, v) f ( u, v) d ( u, v) othewise g(u,v) f(u,v). d(u,v). (3), (4), (5). (a) ì g ( ux, vy ) = exp í- î (, ) - (, ) 2 I x y I u v 2s 2 g x y ü ý þ ì f ( ux, vy ) = exp í- î ( x - u ) 2 + ( y - v ) 2 x 2s 2 f y ü ý þ (b) 6. Fig 6. Compaison with a convention and a poposed method ì D x y D u v d ( ux, vy ) = exp í- 2 2s d î (, ) - (, ) 2 i i x y 3. 6.. ( ). 2. ü ý þ. (6). D M ( x, y) = N å t= 1 D t o ( x, y) t (x,y) N., (x,y)... N
1 : (Dong-Won Shin et al.: Tempoally-Consistent High-Resolution Depth Video Geneation in Backgound Region) 3.,. (7). MT max ( o ) (, ) t (, ) D x y D x y = 0 t N 7. Fig 7. Depth value extaction along with tempoal flow (x,y).,,.., 2. 1920 1080 512 424. GPU(Gaphics pocessing unit) GPU nvidia Qudo K4000 [8]. 8, 9, 10. 7.... 120 100 80 60 40 20 0 (429, 610) 위치 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 원본 결과 8. (429, 610) Fig 8. Depth value gaph at (429, 610) 100 90 80 70 60 50 40 30 20 10 0 (700, 605) 위치 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 원본 결과 9. (700, 605) Fig 9. Depth value gaph at (700, 605) 120 100 80 60 40 20 0 (1340, 575) 위치 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 원본 결과 10. (1340, 575) Fig 10. Depth value gaph at (1340, 575)
. 2. 3.,.. 17. (Refeences) [1] P. Kauff, N. Atzpadin, C. Fehn, M. Mulle, O. Schee, A. Smolic, and R. Tange, Depth map ceation and image-based endeing fo advanced 3DTV sevices poviding inteopeability and scalability, Image Commun, vol. 22, no. 2, pp. 217-234, Feb. 2007. [2] C. Fehn, Depth-image-based endeing (DIBR), Compession and Tansmission fo a New Appoach on 3-D TV, Poc. of SPIE Confeence Steeoscopic Displays and Vitual Reality Systems, vol. 5291, pp. 93-104, Jan. 2004. [3] http://www.micosoft.com/en-us/kinectfowindows/meetkinect/featues.aspx [4] D. Shin and Y. Ho, Flickeing Elimination Method fo Backgound Region in Depth Video, Poc. of Intenational Wokshop on Advanced Image Technology, OS10-73, Jan. 2015. [5] Camea Calibation Toolbox fo MATLAB: http://www.vision. caltech.edu/bouguetj [6] W. R. Mak, L. McMillan, and G. Bishop, "Post-endeing 3D Waping," Poc. of Symposium on Inteactive 3D Gaphics, pp. 7-16, Apil 1997. [7] J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, Joint bilateal upsampling, ACM Tansactions on Gaphics, vol. 26, no. 3, pp. 1-5, July 2007. [8] D. Shin and Y. Ho, Real-time Depth Image Refinement using Joint Bilateal Filte, Poc. of 2013 Koean Society of Boadcast Enginees Autumn Confeence, vol. 19, pp. 116-119, Nov. 2013. - 2013 : ( ) - 2015 : ( ) - 2015 ~ : - ORCID : http://ocid.og/0000-0002-2769-3957 - : 3D, - 1981 : ( ) - 1983 : ( ) - 1989 : Univ. of Califonia, Santa Babaa, Dept. of Electical and Compute Engineeing.( ) - 1983 1995 : - 1990 1993 : Philips, Senio Reseach Membe - 1995 : - ORCID : http://ocid.og/0000-0002-7220-1034 - :,, TV TV,, MPEG, 3 TV,