서강대학교영상처리연구실 20070933 서봉준 20070957 양나은 20071035 주혜진
연구배경 개요 최근 3D 영상표현수요가증가함에따라다양한콘텐츠의개발이필요 3D 영상촬영을위해서는고가의특수장비가필요 기존의 2D 영상을 3D 영상으로변환하는것의필요성증대 연구목표 간단한조작과단순한장비로 3D 효과얻기 Segmentation 기술을응용하여 2D 영상에서깊이정보추출 추출된깊이정보를바탕으로 3D 영상을출력 2
Block diagram I : 입력영상 : marker가입력된영상 : marker에따라 segmentation된영상 : anaglyph 영상 : defocusing 영상 : stereogram 영상 I M I S I E1 I E 2 I E3
기능구현방법 시스템구현 3 단계 (marker input, depth map generation, 3D effect) Marker input: 사용자로부터 marker 입력을받을수있는 interface 작성 Depth map generation: graph cut 이론을기반으로깊이별 segmentation 을통한 depth map generation 3D effect: defocusing, anaglyph, stereogram 개발기간 역할분담 날짜 내용 이름 해당업무 5~6월 ( 진행률 : 10%) 프로젝트주제결정 7월 ( 진행률 : 30%) 기존방법조사및구현 8월 ( 진행률 : 50%) 기존방법결과비교및개선 9월 ( 진행률 : 70%) 기존방법개선및단계별알고리즘통합 10~11월 ( 진행률 : 100%) 통합시스템구성및최종시현 양나은 주혜진 서봉준 Segmentation, GUI 구현 3D 효과구현자료조사및정리 4
Depth map generation Depth map generation 사용자로부터영상의깊이 (depth) 정보를입력받아깊이별로 segmentation Step 1: watershed 방법을사용해입력영상을 pre-segmentation [1] Step 2: 사용자가입력한 marker 정보를바탕으로단계별 segmentation (interactive graph cut algorithm [2, 3]) Step 3: 각단계별결과를종합하여최종 depth map generation depth _ value 는 depth가깊을수록작은값을가지며 grayscale로표현 [1] Y. Li, J. Sun, C. K. Tang, and H. Y. Shum, Lazy snapping, in Proc. ACM SIGGRAPH, vol. 23, no. 3, pp. 303 308, Los Angeles, CA, USA, Aug. 2004. [2] Y. Boykov and M. Jolly, Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images, in Proc. IEEE Int. Conf. Computer Vision, vol. 1, pp. 105 112, Vancouver, Canada, July 2001. [3] Y. Boykov and V. Kolmogorov, An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision, IEEE Trans. Pattern Analysis and Machine 5 Intelligence, vol. 26, no. 9, pp. 1124 1137, Sept. 2004.
Anaglyph generation Anaglyph generation Stereo 영상생성 [4, 5] Depth layer에따라시차 ( parallax ) 값을계산 B : ( D + P) = M : P, B = 6. 5 cm BP M = ç æ depth _ value parallax ö = M 1 - è 255 ø D + P 입력영상을 reference라하고, 좌우로 parallax / 2만큼입력영상을 shift하여좌영상과우영상을생성 Reversed stereo 영상 Depth가깊은 layer가더큰 parallax 를계산 depth _ value 를가지도록하여 [4] S. Curti, D. Sirtori, and F. Vella, 3D effect generation from monocular view, in Proc. 1st Int. Symposium, 3D Data Processing Visualization and Transmission, pp. 550 553, Padova, Italy, June 2002. [5] S. Battiato, A. Capra, S. Curti, and M. L. Cascia, 3D stereoscopic image pairs by depth-map generation, in Proc. 2nd Int. Symposium, 3D Data Processing Visualization and 6 Transmission, pp. 124 131, Thessaloniki, Greece, Sept. 2004.
Anaglyph generation Anaglyph generation (cont.) Red/cyan anaglyph 영상 + = 좌영상 (cyan) 우영상 (red) R/C anaglyph 영상 좌우 Red/cyan (R/C) Red/blue (R/B) Green/magenta (G/M) 특징 가장흔하게사용 제한된색상인식 Ghosting 제거 인쇄물에주로사용 적은색수차 Anaglyph 영상종류 7
Defocusing, stereogram generation Defocusing 근경은또렷하게, 원경은흐릿하게하여원근감을강조 Depth layer 에따라다른크기의 kernel 사용 Stereogram generation Stereo 영상생성방식과동일하게좌영상과우영상생성 교차법 (cross) 평행법 (parallel) Display 방식우영상 좌영상좌영상 우영상 초점위치화면앞화면뒤 보는방법양안시선교차양안시선평행 우영상 < 교차법 > 좌영상 좌영상 < 평행법 > 우영상 8
3D 효과비교 3D 효과비교및결합 Anaglyph Defocusing Stereogram 원리 양안시차 초점거리 양안시차 장점 간편한방법으로입체감을느낄수있음 입체감을쉽게느낄수있음 특별한도구가필요하지않음 특별한도구가필요하지않음 모든색정보보존 단점 어지러움 Anaglyph 안경필요 원거리의디테일정보를잃어버림 긴연산시간 사용자의노력필요 특징 다양한칼라채널사용가능 Defocusing 정도에따라다양한연출이가능 R/C half-version anaglyph 우영상의 red-channel 에 red-tinted grayscale 영상사용 3D 효과결합 Defocusing+anaglyph, defocusing+intensity Cross 방식을더쉽게볼수있음 9
하나의 GUI 시스템환경 Input markers 단계선택 (1~6단계) Save/load markers 깊이계산 Depth map 추출 3D effects Defocusing Anaglyph Stereogram 통합시스템구현 10
Depth map generation 실험결과 (1/4) 사용자로부터최대 6단계의깊이정보를입력받고, 이를순차적으로 iteration한뒤최종 depth map을추출 깊이정보입력단계별 segmentation 깊이지도추출 Defocusing 원본영상 Defocusing 11
실험결과 (2/4) R/C, R/B anaglyph generation R/C anaglyph Reversed R/C anaglyph 원본영상 R/B anaglyph Reversed R/B anaglyph 12
실험결과 (3/4) G/M anaglyph 원본영상 Stereogram generation G/M anaglyph Reversed G/M anaglyph 교차법 평행법 13
R/C half-version anaglyph 실험결과 (4/4) 원본영상 R/C anaglyph R/C half-version anaglyph Defocusing + anaglyph Defocusing + intensity 14
결론 결론및추후과제 한장의영상에서깊이정보추출 깊이정보를바탕으로양안시차를표현하는영상출력 단일 2D 영상을 3D로변환 추후과제 Depth cue (vanishing line/point, defocus, t-junction 등 ) 를이용해사용자입력없이 depth map 생성자동화 [5, 6, 7] Edge 주변의 segmentation 정확도향상 [5] S. Battiato, A. Capra, S. Curti, and M. L. Cascia, 3D stereoscopic image pairs by depth-map generation, in Proc. 2nd Int. Symposium, 3D Data Processing Visualization and Transmission, pp. 124 131, Thessaloniki, Greece, Sept. 2004. [6] S. Bae and F. Durand, Defocus magnification, in Proc. Computer Graphics Forum, vol. 26, no. 3, pp. 571 579. Prague, Czech, Sept. 2007. [7] M. Dimiccoli and P. Salembier, Exploiting t-junctions for depth segregation in single images, in Proc. IEEE Conf. Acoustics, Speech and Signal Processing, pp. 1229 1232, Taipei, Taiwan, Apr. 2009. 15