서강대학교영상처리연구실 서봉준 양나은 주혜진

Size: px

Start display at page:

Download "서강대학교영상처리연구실 서봉준 양나은 주혜진"

태경 천
5 years ago
Views:

1 서강대학교영상처리연구실 서봉준 양나은 주혜진

2 연구배경 개요 최근 3D 영상표현수요가증가함에따라다양한콘텐츠의개발이필요 3D 영상촬영을위해서는고가의특수장비가필요 기존의 2D 영상을 3D 영상으로변환하는것의필요성증대 연구목표 간단한조작과단순한장비로 3D 효과얻기 Segmentation 기술을응용하여 2D 영상에서깊이정보추출 추출된깊이정보를바탕으로 3D 영상을출력 2

3 Block diagram I : 입력영상 : marker가입력된영상 : marker에따라 segmentation된영상 : anaglyph 영상 : defocusing 영상 : stereogram 영상 I M I S I E1 I E 2 I E3

4 기능구현방법 시스템구현 3 단계 (marker input, depth map generation, 3D effect) Marker input: 사용자로부터 marker 입력을받을수있는 interface 작성 Depth map generation: graph cut 이론을기반으로깊이별 segmentation 을통한 depth map generation 3D effect: defocusing, anaglyph, stereogram 개발기간 역할분담 날짜 내용 이름 해당업무 5~6월 ( 진행률 : 10%) 프로젝트주제결정 7월 ( 진행률 : 30%) 기존방법조사및구현 8월 ( 진행률 : 50%) 기존방법결과비교및개선 9월 ( 진행률 : 70%) 기존방법개선및단계별알고리즘통합 10~11월 ( 진행률 : 100%) 통합시스템구성및최종시현 양나은 주혜진 서봉준 Segmentation, GUI 구현 3D 효과구현자료조사및정리 4

Depth map generation Depth map generation 사용자로부터영상의깊이 (depth) 정보를입력받아깊이별로 segmentation Step 1: watershed 방법을사용해입력영상을 pre-segmentation [1] Step 2: 사용자가입력한 marker 정보를바탕으로단계별 segmentation (interactive

5 Depth map generation Depth map generation 사용자로부터영상의깊이 (depth) 정보를입력받아깊이별로 segmentation Step 1: watershed 방법을사용해입력영상을 pre-segmentation [1] Step 2: 사용자가입력한 marker 정보를바탕으로단계별 segmentation (interactive graph cut algorithm [2, 3]) Step 3: 각단계별결과를종합하여최종 depth map generation depth _ value 는 depth가깊을수록작은값을가지며 grayscale로표현 [1] Y. Li, J. Sun, C. K. Tang, and H. Y. Shum, Lazy snapping, in Proc. ACM SIGGRAPH, vol. 23, no. 3, pp , Los Angeles, CA, USA, Aug [2] Y. Boykov and M. Jolly, Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images, in Proc. IEEE Int. Conf. Computer Vision, vol. 1, pp , Vancouver, Canada, July [3] Y. Boykov and V. Kolmogorov, An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision, IEEE Trans. Pattern Analysis and Machine 5 Intelligence, vol. 26, no. 9, pp , Sept

6 Anaglyph generation Anaglyph generation Stereo 영상생성 [4, 5] Depth layer에따라시차 ( parallax ) 값을계산 B : ( D + P) = M : P, B = 6. 5 cm BP M = ç æ depth _ value parallax ö = M 1 - è 255 ø D + P 입력영상을 reference라하고, 좌우로 parallax / 2만큼입력영상을 shift하여좌영상과우영상을생성 Reversed stereo 영상 Depth가깊은 layer가더큰 parallax 를계산 depth _ value 를가지도록하여 [4] S. Curti, D. Sirtori, and F. Vella, 3D effect generation from monocular view, in Proc. 1st Int. Symposium, 3D Data Processing Visualization and Transmission, pp , Padova, Italy, June [5] S. Battiato, A. Capra, S. Curti, and M. L. Cascia, 3D stereoscopic image pairs by depth-map generation, in Proc. 2nd Int. Symposium, 3D Data Processing Visualization and 6 Transmission, pp , Thessaloniki, Greece, Sept

7 Anaglyph generation Anaglyph generation (cont.) Red/cyan anaglyph 영상 + = 좌영상 (cyan) 우영상 (red) R/C anaglyph 영상 좌우 Red/cyan (R/C) Red/blue (R/B) Green/magenta (G/M) 특징 가장흔하게사용 제한된색상인식 Ghosting 제거 인쇄물에주로사용 적은색수차 Anaglyph 영상종류 7

8 Defocusing, stereogram generation Defocusing 근경은또렷하게, 원경은흐릿하게하여원근감을강조 Depth layer 에따라다른크기의 kernel 사용 Stereogram generation Stereo 영상생성방식과동일하게좌영상과우영상생성 교차법 (cross) 평행법 (parallel) Display 방식우영상 좌영상좌영상 우영상 초점위치화면앞화면뒤 보는방법양안시선교차양안시선평행 우영상 < 교차법 > 좌영상 좌영상 < 평행법 > 우영상 8

9 3D 효과비교 3D 효과비교및결합 Anaglyph Defocusing Stereogram 원리 양안시차 초점거리 양안시차 장점 간편한방법으로입체감을느낄수있음 입체감을쉽게느낄수있음 특별한도구가필요하지않음 특별한도구가필요하지않음 모든색정보보존 단점 어지러움 Anaglyph 안경필요 원거리의디테일정보를잃어버림 긴연산시간 사용자의노력필요 특징 다양한칼라채널사용가능 Defocusing 정도에따라다양한연출이가능 R/C half-version anaglyph 우영상의 red-channel 에 red-tinted grayscale 영상사용 3D 효과결합 Defocusing+anaglyph, defocusing+intensity Cross 방식을더쉽게볼수있음 9

10 하나의 GUI 시스템환경 Input markers 단계선택 (1~6단계) Save/load markers 깊이계산 Depth map 추출 3D effects Defocusing Anaglyph Stereogram 통합시스템구현 10

11 Depth map generation 실험결과 (1/4) 사용자로부터최대 6단계의깊이정보를입력받고, 이를순차적으로 iteration한뒤최종 depth map을추출 깊이정보입력단계별 segmentation 깊이지도추출 Defocusing 원본영상 Defocusing 11

12 실험결과 (2/4) R/C, R/B anaglyph generation R/C anaglyph Reversed R/C anaglyph 원본영상 R/B anaglyph Reversed R/B anaglyph 12

13 실험결과 (3/4) G/M anaglyph 원본영상 Stereogram generation G/M anaglyph Reversed G/M anaglyph 교차법 평행법 13

14 R/C half-version anaglyph 실험결과 (4/4) 원본영상 R/C anaglyph R/C half-version anaglyph Defocusing + anaglyph Defocusing + intensity 14

15 결론 결론및추후과제 한장의영상에서깊이정보추출 깊이정보를바탕으로양안시차를표현하는영상출력 단일 2D 영상을 3D로변환 추후과제 Depth cue (vanishing line/point, defocus, t-junction 등 ) 를이용해사용자입력없이 depth map 생성자동화 [5, 6, 7] Edge 주변의 segmentation 정확도향상 [5] S. Battiato, A. Capra, S. Curti, and M. L. Cascia, 3D stereoscopic image pairs by depth-map generation, in Proc. 2nd Int. Symposium, 3D Data Processing Visualization and Transmission, pp , Thessaloniki, Greece, Sept [6] S. Bae and F. Durand, Defocus magnification, in Proc. Computer Graphics Forum, vol. 26, no. 3, pp Prague, Czech, Sept [7] M. Dimiccoli and P. Salembier, Exploiting t-junctions for depth segregation in single images, in Proc. IEEE Conf. Acoustics, Speech and Signal Processing, pp , Taipei, Taiwan, Apr

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3 Depth layer partition 2D 3D a), a) 3D conversion of 2D video using depth layer partition Sudong Kim a) and Jisang Yoo a) depth layer partition 2D 3D. 2D (depth map). (edge directional histogram). depth