(JBE Vol. 19, No., Mach 014) (Spcial Pap) 19, 014 3 (JBE Vol. 19, No., Mach 014) http://dx.doi.og/10.5909/jbe.014.19..140 ISSN 87-9137 (Onlin) ISSN 16-7953 (Pint) a), a) Ral-tim Dpth Imag Rfinmnt using Hiachical Joint Bilatal Filt Dong-Won Shin a) and Yo-Sung Ho a). Kinct GPU., GPU (thad). CUDA.,, 55. Abstact In this pap, w popos a mthod fo al-tim dpth imag finmnt. In od to impov th quality of th dpth map acquid fom Kinct cama, w mploy constant mmoy and txtu mmoy which a suitabl fo a D imag pocssing in th gaphics pocssing unit (GPU). In addition, w applid th joint bilatal filt (JBF) in paalll to acclat th ovall xcution. To nhanc th quality of th dpth imag, w applid th JBF hiachically using th comput unifid dvic achitctu (CUDA). Finally, w obtain th find dpth imag. Expimntal sults showd that th poposd al-tim dpth imag finmnt algoithm impovd th subjctiv quality of th dpth imag and th computational tim was 60 fams p scond. Kywod : dpth map, finmnt, joint bilatal filt, CUDA, hiachical appoach a) (School of Infomation and Communication) Cosponding Autho : (Yo-Sung Ho) E-mail: hoyo@gist.ac.k Tl: +8-6-715-58 Manuscipt civd Januay 13, 014 Rvisd Mach 18, 014 Accptd Mach 19, 014 013.. 3 UHDTV, IPTV. 3
신동원 외 인 계층적 결합형 양방향 필터를 이용한 실시간 깊이 영상 보정 방법 1 : (Dong-Won Shin t al. : Ral-tim Dpth Imag Rfinmnt using Hiachical Joint Bilatal Filt) 오 시스템은 3차원 비디오 장면 정합, 압축, 렌더링 등의 다양한 주요 요소로 구성되어 있으며, 3차원 비디오 콘 텐츠는 스테레오 카메라, 다시점 카메라, 깊이 카메라와 같은 다양한 영상 제작 도구들을 이용하여 획득할 수 있다. 그리고 이 콘텐츠들은 3차원 비디오 압축 방법을 통해 부호화되어 영상출력장치에 전달되고, 이러한 장 치들은 전달된 영상 정보를 DIBR (dpth imag-basd nding) 기술을 통해 재현해서 영상을 화면에 출력한 다. DIBR 기술은 동일한 시점의 색상 영상과 깊이 영상을 이용해 가상의 시점을 합성할 수 있다. 깊이 영상은 3차원 장면에서 객체와 카메라와의 거리를 나타내는 정보를 포 함하고 있기 때문에, 깊이 영상을 이용하면 사용자가 원 하는 가상 시점에서의 위치를 계산할 수 있다. 가상 시점 영상을 생성하기 위해서는 첫번째로 색상 영상의 모든 화 소들을 카메라 매개변수와 깊이 영상을 통해 세계 좌표계 (wold coodinat)로 역사상 (back-pojction) 시킨다. 그 런 다음, 3차원 공간으로 이동된 이 화소들을 다시 가상 시점의 영상 평면으로 사상한다. 이러한 과정을 3차원 워 핑이라 한다. 현재에 이르러 Micosoft 사의 Kinct 깊이 카메라가 파 격적인 가격으로 출시됨에 따라 일반 가정에서도 3차원 비 디오를 쉽게 접할 수 있게 되었다. 앞서 소개한 DIBR 기술 을 사용해 Kinct 깊이 카메라로부터 획득한 색상 영상과 깊이 영상을 사용하여 3차원 장면을 쉽게 복원할 수 있다. 하지만 그림 1(b)에서 볼 수 있듯이, Kinct 깊이 카메라로 부터 획득한 깊이 영상은 깊이값 추정에 실패한 영역들을 많이 포함하고 있다. 이러한 영역은 Kinct 깊이 카메라에 장착된 적외선 송신기와 수신기의 물리적인 거리 차이로 인한 폐색 영역 발생, 객체의 경계 불일치 등 다양한 센서 잡음 때문에 발생한다. 그림 1(a)와 그림 1(b)에서 볼 수 있 듯이, 원본 깊이 영상에서 책상 위와 물체 주변에 검은색으 로 표현되어 있는 센서 잡음을 확인할 수 있다. 이러한 깊이 영상의 오차는 3차원 비디오 시스템의 부호화, 복호화 등의 계산 과정에서 오차가 그대로 전파되기 때문에 재현단에 이르렀을 때 양질의 합성 영상을 시청자에게 제공할 수 없 게 만든다. [1] [] 색상 영상 (a) (colo imag) (b) 141 깊이 영상 (dpth imag) 그림 1. Kinct 카메라로부터 획득한 영상 Fig 1. Imag fom Kinct cama 깊이 영상 오차를 제거하기 위해 최근 다양한 방법이 연 구되고 있다. 이 가운데 대표적인 방법으로 결합형 양방향 필터 (joint bilatal filt, JBF)를 들 수 있다. 이 방법은 표적 화소와 주변 화소 간의 거리 차이를 반영하는 공간 (spatial) 필터와 화소값 차이를 반영하는 범위 (ang) 필터 를 사용하는데, 범위 필터를 보조 영상, 즉, 색상 영상의 것 으로 대체함으로써 색상 영상의 경계 정보를 깊이 영상에 그대로 반영한다. 따라서, 두 영상 간의 객체 경계 불일치 문제를 효과적으로 제거함과 동시에 깊이값 오차를 보정할 수 있다. 본 논문에서는 결합형 양방향 필터를 기반으로 하여 실 시간으로 깊이 오차를 제거하는 방법을 제안한다. 제안한 방법은 Kinct 깊이 카메라로부터 획득한 색상 영상을 이용 하여 깊이 영상에 대해 결합형 양방향 필터를 적용한다. 이 필터는 성능을 결정하는 다양한 인자와 Gaussian 함수와 같은 복잡한 수식이 포함되는 필터이기 때문에, 이를 실시 간으로 처리하도록 구현하기 위해 CUDA (comput unifid dvic achitctu) 병렬 프로그래밍을 통해 각 화소에 대 한 계산을 동시에 처리함으로써 수행시간을 줄인다. 하지 만, 영상 내에 넓게 존재하는 폐색 영역을 채우기 위해서는 결합형 양방향 필터를 반복적으로 수행해야 한다. 따라서, 본 논문에서는 계층적 결합형 양방향 필터 구조를 통해 폐 색 영역을 고속으로 채우는 방법을 사용한다. 해상도에 따 라 계층을 나누어 하위 계층에서 상위 계층까지 반복적으 로 결합형 양방향 필터를 수행하면 대부분의 홀이 채워진 깊이 영상을 얻을 수 있다. [3]
(JBE Vol. 19, No., Mach 014). CUDA. 3 CUDA. 4 CPU GPU bad pixl at. 5.. 1. CUDA (cntal pocssing unit, CPU), (gaphic pocssing unit, GPU)., NVIDIA CUDA C [4]. R a ḻ tim Kinct dpth cama Dpth imag Txtu mmoy Joint bilatal filt Colo imag Rfind dpth imag Display dvic. CUDA Fig. Flowchat of joint bilatal filt using CUDA Wighting facto Kinct CUDA. CUDA. Kinct CUDA,. GPU.,,. GPU.. Gaussian 1, [5]. (1). åå uîu pvîv p W ( u, D ( u, Do ( x, y) = W ( u, åå uîu pvîv p D i W. (u, D o. u v u p v p.. u p = { x -, L, x + } v p = { y -, L, y + } i
1 : (Dong-Won Shin t al. : Ral-tim Dpth Imag Rfinmnt using Hiachical Joint Bilatal Filt) () (3) 3.. (u, (x,y).. u p v p. (u, 3. Fig 3. Dsciption on a symbol (x,y) u p v p W. ì 0, if Di ( u, = 0 W ( u, = í îg( u, f ( u,, othwis f(u,, g(u,. Gaussian. I( x, y) - I( u, g( u, = xp{ - } σ R ( x - u) + ( y - f u, = xp{ - } ( σ D σ R σ D Gaussian. Gaussian.. Kinct.. [6]. 4. 1. 1/. 640x480 30x40. 3 160x10. 4.. 5. 5... 1..
(JBE Vol. 19, No., Mach 014) Lay 3 Dpth imag Colo imag Lay Dpth imag Updatd dpth imag Colo imag Lay 1 Dpth imag Updatd dpth imag Colo imag Dpth imag updat Dpth imag updat JBF JBF JBF Rfind dpth imag Rfind dpth imag Rfind dpth imag 4. Fig 4. Flowchat of hiachical appoach U p la y L o w la y Dpth imag Occlusion aa x scal up Updatd dpth imag 5. Fig 5. Dpth map finmnt btwn lvls. 6.. 1 [7]. 4. Kinct. (a) 1 (a) on lay 6. Fig 6. Rsult dpth map with incas (b) (b) two lays (c) 4 (c) fou lays
1 : (Dong-Won Shin t al. : Ral-tim Dpth Imag Rfinmnt using Hiachical Joint Bilatal Filt).. CUDA CUDA GPU. CUDA. 1. CUDA. DRAM DRAM GPU 400, 500...,.. Intl Xon CPU (.53Ghz) Gfoc GTX Titan GPU 7 8. 640x480. Kinct 640x480 30x40 OpnNI dpth gnato 640x480. σ R 5, σ D 30. CPU GPU.. CUDA. DRAM., [8].. CUDA 7. CPU Fig 7. Dpth map computd by using CPU 8. GPU Fig 8. Dpth map computd by using GPU
(JBE Vol. 19, No., Mach 014)... GPU CPU. 1 CPU GPU. middlbuy vnus, tsukuba, cons 3. GPU 5000. σ R 15 σ D vnus tsukuba 10, cons 0.6. gound tuth bad pixl at [9]. 9. Vnus tsukuba BPR. cons. 1. CPU GPU Tabl 1. Algoithm unning tim compaison btwn CPU and GPU Sampl (siz) Vnus (434x383) Tsukuba (384x88) Cons (450x375) CPU(ms) GPU(ms) tims 103148 19.93 5175.51 10077 19.99 5038.86 10403 0.17 5076.99 10309 0.09 509.53 10078 0.07 5086.09 68343 13.46 5077.48 68778 13.33 5159.64 67574 13.35 5061.7 67981 13.4 5073.0 66483 13.31 4994.96 115536 1.46 5383.78 118697 0.78 571.07 119631 0.98 570.14 115784 0.66 5604.5 11848 0.99 5633.54 bad pixl at (BPR). SSD (a) (a) Bfo hiachical JBF (b) (b) Aft hiachical JBF 9. Fig 9. Hiachical JBF to sult of sto matching. Bad pixl at Tabl. Compaison of bad pixl at Sampl Bad pixl at(%) Bfo JBF Aft JBF Vnus 1.0 7.96 Tsukuba 8.9 6.43 Cons 16.39 16.3. CUDA.,
1 : (Dong-Won Shin t al. : Ral-tim Dpth Imag Rfinmnt using Hiachical Joint Bilatal Filt).., CPU GPU, GPU CPU. 55. bad pixl at bad pixl at. 3. (Rfncs) [1] C. Fhn, Dpth-imag-basd nding (DIBR), Compssion and Tansmission fo a Nw Appoach on 3-D TV, Poc. of SPIE Confnc Stoscopic Displays and Vitual Rality Systms, vol. 591, pp. 93-104, Jan. 004. [] K. Jung, Y. Pak, J. Kim, H. L, K. Yon, N. Hu, and J. Kim, D/3D Mixd Svic in T-DMB Systm using Dpth Imag Basd Rnding, Poc. of Intnational Confnc on Advancd Communication Tchnology, vol. 3, pp. 1868-1871, Fb. 008. [3] J. Kopf, M. F. Cohn, D. Lischinski, and M. Uyttndal, Joint Bilatal Upsampling, ACM Tansactions on Gaphics, vol. 6, no. 3, pp. 1-5, July 007. [4] NVIDIA, "CUDA C Pogamming Guid," documnt PG-089-001_v5.0, Oct. 01. [5] S. Hwang, Imag Pocssing Pogamming by Visual C++, Hanbit Mdia Inc, pp. 366-370, 007. [6] C. Richadt, C. Stoll, N. Dodgson, H. Sidl and C. Thobalt, "Cohnt Spatiotmpoal Filting, Upsampling and Rnding of RGBZ Vidos," Comput Gaphics Foum, vol 31, pp. 47-56, May. 01. [7] D. Shin, S. L and Y. Ho, "Ral-tim Dpth Map Rfinmnt using Joint Bilatal Filt", Fall Confnc Pocding of Th Koan Socity of Boadcast Engins, Dc. 013. [8] J. Sands and E. Kandot, CUDA by xampl, Addison-Wsly Pofssional, p. 116, 010. [9] http://vision.middlbuy.du/sto/data/ - 013 : ( ) - 013 ~ : - : 3D, - 1981 : ( ) - 1983 : ( ) - 1989 : Univ. of Califonia, Santa Babaa, Dpt. of Elctical and Comput Engining( ) - 1983 1995 : - 1990 1993 : Philips, Snio Rsach Mmb - 1995 : - :,, TV TV,, MPEG, 3 TV,