신동원_3차교정.hwp

Size: px

Start display at page:

Download "신동원_3차교정.hwp"

해숙 장
5 years ago
Views:

1 1 : (Special Pape) 3, 15 5 (JBE Vol., No. 3, May 15) ISSN (Online) ISSN (Pint) a), a) Tempoally-Consistent High-Resolution Depth Video Geneation in Backgound Region Dong-Won Shin a) and Yo-Sung Ho a) ,.. Abstact The quality of depth images is impotant in the 3D video system to epesent complete 3D contents. Howeve, the oiginal depth image fom a depth camea has a low esolution and a flickeing poblem which shows vibating depth values in tems of tempoal meaning. This poblem causes an uncomfotable feeling when we look 3D contents. In ode to solve a low esolution poblem, we employ 3D waping and a depth weighted joint bilateal filte. A tempoal mean filte can be applied to solve the flickeing poblem while we encounte a esidual spectum poblem in the depth image. Thus, afte classifying foegound and backgound egions, we use an upsampled depth image fo a foegound egion and tempoal mean image fo backgound egion. Test esults shows that the poposed method geneates a time consistent depth video with a high esolution. Keywod : Kinect v, depth flickeing, tempoal consistency, upsampling, waping a) (School of Infomation and Communication) Coesponding Autho : (Yo-Sung Ho) hoyo@gist.ac.k Tel: ORCID: IWAIT 15. Manuscipt eceived Mach 17, 15; evised May 6, 15; accepted May 1, D

(JBE Vol., No. 3, May 15) 3DTV 3.... 3 3 3 [1]., 3. 3 []. 3. 1, 1 1 [3]. 1 ToF..,.. 1. Fig 1.

Compaison of Micosoft Kinect V1 and Kinect V Kinect V1 Kinect V Depth acqusition method Stuctued

2 (JBE Vol., No. 3, May 15) 3DTV [1]., 3. 3 []. 3. 1, 1 1 [3]. 1 ToF..,.. 1. Fig 1. Appeaance of Micosoft Kinect V 1. 1 Table 1. Compaison of Micosoft Kinect V1 and Kinect V Kinect V1 Kinect V Depth acqusition method Stuctued Light Time of Flight (ToF) Colo esolution Depth esolution Depth ange.5-4. metes metes. Fig. Depth video acquied fom Kienct V

egion... 3 4.. 4 [4].. [5]. 3 [6]... 4. Fig 4.

3 1 : (a) (a) Top-left cone egion 3. Fig 3. Enlaged flickeing egion (b) (b) Unde a table egion [4].. [5]. 3 [6] Fig 4. Flowchat of the poposed flickeing elimination

4 4 방송공학회논문지 제권 제3호, 15년 5월 (JBE Vol., No. 3, May 15) 에 시간적 평균 필터를 수행하여 깜빡임을 제거한다. 그런 데 시간적 평균 필터를 적용하면 깜빡임 문제는 사라지지 만 이전 깊이 프레임의 잔상이 남는다는 문제가 발생한다. 따라서 이러한 잔상 문제를 해결하기 위해 깊이 영상을 정 적 영역과 동적 영역으로 분류하고 영역의 특성에 따라 시 간적 평균 깊이 영상과 업샘플된 깊이 영상을 적응적으로 사용하도록 했다. 1. 깊이 가중치가 추가된 결합형 양방향 필터 이 논문에서는 3차원 워핑을 통해 색상 영상과 깊이 영상 의 시점과 해상도를 일치시킨 다음, 이 단계로부터 획득한 희소한 형태의 깊이 영상에서 깊이 값이 없는 부분에 적절 한 깊이 값을 채워 넣기 위해 깊이 가중치가 추가된 결합형 양방향 필터를 제안한다. 그림 5는 희소한 형태를 가진 깊 이 영상의 예를 보여준다. 그림 5의 왼쪽에 확대된 영역 (1)과 영역 ()를 살펴보면 화소의 모든 위치에 대해 깊이 값이 채워져 있지 않고 희소 하게 깊이 값이 분포되어 있는 것을 확인할 수 있다. 이는 저해상도 깊이 영상의 각 화소들이 고해상도의 색상 영상 의 크기에 맞게 워핑되면서 발생하는 문제이다. 또한 그림 5의 오른쪽에 확대된 영역 (3)과 영역 (4)를 살펴보면 깊이 값이 좀 더 밀집되어 있는 부분을 관찰할 수 있다. 이 부분 또한 워핑에 의해 깊이 카메라 시점이 색상 카메라 시점으 그림 5. 희소한 형태의 깊이 영상 Fig 5. Depth image in a spase fom 로 이동하면서 전경에 대한 깊이 영역과 배경에 대한 깊이 영역이 겹쳐지면서 발생하는 폐색영역 문제이다. 3차원 워핑에 의해 발생하는 이러한 문제점들을 해결하 기 위해 이 논문에서는 기존의 결합형 양방향 필터 에 깊 이 가중치가 추가된 형태를 제안한다. 식 (1)은 제안하는 방법의 계산 구성을 나타낸다. [7] ååw ( u, v ) D ( u, v ) D ( x, y ) = ååw ( u, v ) uîu vîv i o uîu vîv (1) (u = {x -,..., x + }, v = { y -,..., y + }) 는 출력 깊이 화소를 의미하고 는 입력 깊이 화소 를 나타낸다. (x,y)와 (u,v)는 각각 필터 커널에서 중심 화소 의 위치와 이웃 화소의 위치를 나타낸다. 벡터 와 벡터 는 각각 필터커널에서 수평 위치 집합과 수직 위치 집합 을 의미한다. 마지막으로 W는 가중치 인자를 나타낸다. 기 존의 결합형 양방향 필터의 가중치 인자는 개의 가우시안 함수 곱으로 구성되어 있다. 이 가우시안 함수는 중심 위치 에서 가장 높은 값을 가지고 양 끝으로 갈수록 에 가까운 값을 가지는 종모양의 함수이다. 우리는 기존의 가중치 인 자에 중심 화소와 이웃 화소의 깊이 화소 값 차이를 반영하 는 가중치 인자를 추가함으로써 3차원 워핑으로부터 발생

여 기까지가 기존의 가중치이고 우리는 여기에 중심화소와 이 웃 화소간의 깊이 차이를 반영하는 가중치 d(u,v)를 추가적 으로 사용한다. 식 (3), 식(4), 식(5)는 각 가중치 인자의 구 성을 나타낸다.

5 신동원 외 인 배경 영역의 시간적 일관성이 향상된 고해상도 깊이 동영상 생성 방법 5 1 : 하는 문제를 해결한다. 식 ()는 제안하는 가중치 인자 W를 나타낸다. if Di ( u, v ) = ì W ( u, v ) = í g u, v f u, v d u, v othewise î ( ) ( ) ( ) () 와 f(u,v)는 각각 필터 커널의 중심 화소와 이웃 화 소간의 색상 차이와 거리 차이를 반영하는 가중치이다. 여 기까지가 기존의 가중치이고 우리는 여기에 중심화소와 이 웃 화소간의 깊이 차이를 반영하는 가중치 d(u,v)를 추가적 으로 사용한다. 식 (3), 식(4), 식(5)는 각 가중치 인자의 구 성을 나타낸다. g(u,v) ì I ( x, y ) - I u, v ü ( x y) g ( u x, v y ) = exp í ý s g î þ (3) ì ( x - u ) + ( y - v ) ü x y f ( u x, v y ) = exp íý s f î þ (4) ì D ( x, y ) - D u, v ü i i ( x y) d ( u x, v y ) = exp í ý s d î þ (5) 기존의 결합형 양방향 필터 제안하는 필터 그림 6. 기존의 방법과 제안하는 방법의 결과 비교 (b) Fig 6. Compaison with a convention and a poposed method 우리는 이러한 깊이 가중치가 추가된 결합형 양방향 필 터를 이용하여 3차원 워핑으로부터 발생하는 문제들을 해 결할 수 있다. 그림 6은 기존의 결합형 양방향 필터와 제안 하는 필터의 결과를 비교한 그림이다. 두 방법 모두 희소한 형태의 깊이 영상을 적절한 깊이 값으로 채우는 것은 성공했다. 하지만 전경과 배경의 깊이 값이 겹치면서 발생하는 폐색영역(영상에서 손과 얼굴의 오른쪽 부분)에 대해서는 제안하는 방법만이 깊이 값을 잘 채워주는 것을 확인할 수 있다.. (a) 시간적 평균 필터 이 절에서는 앞에서 제안한 방법으로 얻은 업샘플된 깊 이 영상을 이용하여 배경 영역에 대한 깜빡임 문제를 해결 하는 것에 대해 살펴본다. 시간적 평균 필터는 깊이 영상의 시간적 배열에 대해 평균값을 취하는 필터인데 식 (6)은 이 러한 시간적 평균 필터에 대한 구조를 나타낸다. N t o DM ( x, y ) = å D ( x, y ) t =1 (6) N 는 t 프레임에서 (x,y)위치의 업샘플된 깊이 화 소를 의미하고 N은 영상 배열안에 저장된 깊이 영상의 개 수를 의미한다. 즉, 이 식은 영상 배열에 저장된 모든 깊이 영상에 대해서 (x,y) 위치에서의 평균값을 얻는 것을 의미 한다. 깜빡임 현상은 제거할 수 있지만 이전 깊이 영상이 다음 깊이 영상에 영향을 미치는 잔상 문제를 만나게 된다. 이 논문에서는 이러한 잔상 문제를 해결하기 위해 깊이 영 상을 정적 그리고 동적 영역으로 분류하고 영역의 종류에 따라 적응적으로 처리한다.

(JBE Vol., No. 3, May 15) 3.,. (7). MT max ( o ) (, ) t (, ) D x y D x y = t N 7. Fig 7. Depth value extaction along with tempoal flow (x,y).,,..,. 19 18 51 44.

6 (JBE Vol., No. 3, May 15) 3.,. (7). MT max ( o ) (, ) t (, ) D x y D x y = t N 7. Fig 7. Depth value extaction along with tempoal flow (x,y).,,.., GPU(Gaphics pocessing unit) GPU nvidia Qudo K4 [8]. 8, 9, (49, 61) 위치 원본 결과 8. (49, 61) Fig 8. Depth value gaph at (49, 61) (7, 65) 위치 원본 결과 9. (7, 65) Fig 9. Depth value gaph at (7, 65) (134, 575) 위치 원본 결과 1. (134, 575) Fig 1. Depth value gaph at (134, 575)

1 :.. 3.,.. 17. (Refeences) [1] P. Kauff, N. Atzpadin, C. Fehn, M. Mulle, O. Schee, A. Smolic, and R.

Fehn, Depth-image-based endeing (DIBR), Compession and Tansmission fo a New Appoach on 3-D TV, Poc. of SPIE Confeence Steeoscopic Displays and Vitual Reality Systems, vol. 591, pp. 93-14, Jan. 4.

7 1 :.. 3., (Refeences) [1] P. Kauff, N. Atzpadin, C. Fehn, M. Mulle, O. Schee, A. Smolic, and R. Tange, Depth map ceation and image-based endeing fo advanced 3DTV sevices poviding inteopeability and scalability, Image Commun, vol., no., pp , Feb. 7. [] C. Fehn, Depth-image-based endeing (DIBR), Compession and Tansmission fo a New Appoach on 3-D TV, Poc. of SPIE Confeence Steeoscopic Displays and Vitual Reality Systems, vol. 591, pp , Jan. 4. [3] [4] D. Shin and Y. Ho, Flickeing Elimination Method fo Backgound Region in Depth Video, Poc. of Intenational Wokshop on Advanced Image Technology, OS1-73, Jan. 15. [5] Camea Calibation Toolbox fo MATLAB: caltech.edu/bouguetj [6] W. R. Mak, L. McMillan, and G. Bishop, "Post-endeing 3D Waping," Poc. of Symposium on Inteactive 3D Gaphics, pp. 7-16, Apil [7] J. Kopf, M. F. Cohen, D. Lischinski, and M. Uyttendaele, Joint bilateal upsampling, ACM Tansactions on Gaphics, vol. 6, no. 3, pp. 1-5, July 7. [8] D. Shin and Y. Ho, Real-time Depth Image Refinement using Joint Bilateal Filte, Poc. of 13 Koean Society of Boadcast Enginees Autumn Confeence, vol. 19, pp , Nov : () - 15 : () - 15 ~ : - ORCID : - : 3D, : () : () : Univ. of Califonia, Santa Babaa, Dept. of Electical and Compute Engineeing.() : : Philips, Senio Reseach Membe : - ORCID : - :,, TV TV,, MPEG, 3 TV,

(JBE Vol. 20, No. 3, May 2015) (Special Paper) 20 3, (JBE Vol. 20, No. 3, May 2015) ISSN

(Special Pape) 20 3, 2015 5 (JBE Vol. 20, No. 3, May 2015) http://dx.doi.og/10.5909/jbe.2015.20.3.414 ISSN 2287-9137 (Online) ISSN 1226-7953 (Pint) a), a) Tempoally-Consistent High-Resolution Depth Video