View Synthesis Reference Software VSRS 기술소개 2010. 06. 29. 이천
발표내용 3 차원비디오시스템 다시점기하학 영상합성참조소프트웨어기술 VSRS 개요 VSRS 환경설정 VSRS 주요기술 3DVC 의표준화동향 맺음말 2
3 차원시스템과영상합성기술
3 차원비디오시스템 3 차원비디오 자유시점 TV 시청시점을자유롭게선택 스테레오장치나 auto-stereoscopic 장치에사용 4
영상합성의필요성 1 다시점입체디스플레이장치 무안경식 Coor C 1 C 2 C 3 Depth D 1 D 2 D 3 View synthesis C 1 V 1.25 V 1.5 V 1.75 C 2 V 2.25 V 2.5 V 2.75 C 3 Paraax Barrier Lenticuar Lens Auto-stereoscopic Dispay 5
영상합성의필요성 2 시청자의거리와위치에따른시점선택 Pos1 R L Pos2 Pos3 R L R L MV 3D Dispay V1 V2 V3 V4 V5 V6 V7 V8 V9 DIBR DIBR V1 D1 V5 D5 V9 D9 Decoded MVD Data 6
영상합성의예 1 2 시점의영상을 20 시점의영상을확장한예 원본영상 Café_2 Café_4 합성한영상 7
영상합성의예 2 6 시점의영상을이용한다시점합성영상 8
다시점기하학
카메라의구조 Vertica Axis Y Horizonta Axis X Vertica Axis Y 000 T = Camera Center x Y y X=X XYZ YZ T X x p x Z Principa Axis C Foca Length f? p Z Principa Axis Z Image Pane f : Z =? : Y? = fy/z 10
Projection Matrix j 3 차원공간의한점을영상의한화소로투영하는행열 3 차원공간의한점을영상의한화소로투영하는행열 XYZ T fx/z fy/z T 0 0 0 X f fx X x PX 0 1 0 0 0 0 0 0 0 0 Z Y f f Z fy fx Z Y 1 0 1 0 0 1 Z 3X4 Homogeneous Camera Projection Matrix P 11
Principa Point p Principa Point Principa Point 카메라의주축 principa axis 과영상평면이만나는점 T T fy fx Z Y X X X T y x T p Z f p Z f Z Y X 0 0 0 0 Y X p f p f Zp fy Zp fx Y X x x 1 0 1 0 0 0 0 1 Z p f Z Zp fy Z y y 12
Camera Intrinsic Parameters 카메라내부파라미터 A f 0 px 0 f py 0 0 1 A: Camera Intrinsic Matrix Represents the intrinsic features of the camera x A[ I 0] X cam X f 0 px 1 0 0 0 Y 0 f py 0 1 0 0 Z 0 0 1 0 0 1 0 1 X cam : Assume that the camera is ocated at the origin of the word coordinate system with the same axes 13
Coordinate Systems 지금까지 카메라좌표계의원점과세계좌표계의원점이일치한조건임 Camera coordinate system = Word coordinate system Y X y C=000 T x p x Z Word Coordinate System 14
Coordinate Systems 일반적으로두좌표계는떨어져있음 Camera Coordinate Pointinhomogeneous: Word Coordinate Pointinhomogeneous: Y X y ~ X ~ X cam C x p x Z C z C x C y Word Coordinate System 15
방향매트릭스와변위벡터 카메라좌표계는세계좌표계로부터일정한거리로떨어져있으며 transation 방향이틀어져있음 rotation ~ X cam ~ ~ R X C R: 3x3 Rotation Matrix ~ C: Camera Center in word coordinate C z C x C y Word Coordinate System 16
변이 - 깊이변환 일반적으로 깊이값을 8 비트영상으로표현 255 Z Z near 255 0. 5 Z far Z near Z far I f / d min Z near I f / d max 17
3D 워핑을이용한시점이동 Forward Projection Word to camera Backward warping Camera to word X R A 1 1 ~ ~ x PX x Dxy R 1 A 1 T X? X X Epipoar pane X? ~ x PX ~ x P X Depth d for x x x x x C C C e e C Forward projection Backward projection Epipoar ine for x 18
변위를이용한시점이동 1 차원평행형카메라구조에서만이용가능 Object 0.0 1 d d <Left> <Center> <Left> <Right> 1.0 Disparity d <Right> <Left> C1 C2 <Center> I L x y I x d y R <Center> I R x y I x d y I x 1 d y L <Right> d I x y :intermediate image d :disparity :fooring :intermediate iew point 19
중간시점영상합성 S/W VSRS VSRS 개요 VSRS 환경설정 VSRS 주요기술
VSRS 개요 View Synthesis Reference Software VSRS MPEG 3DVC 그룹의가상영상합성참조소프트웨어 깊이영상을이용한중간시점영상 MPEG 3DVC 표준화그룹에서 SVN 을통해관리중 Thomson ViSBD 방법통합 가상영상의이용 3차원비디오시스템에서획득되지않은시점에대한재현이필요한경우가상영상을합성 Sender Receier Capturing Caibration Depth Estimation Encoder Transmission i View Decoder or Storage Synthesis Dispay 21
VSRS 개발과정 초기 View Synthesis Toos VSRS by Nagoya Uniersity m15377 ViSBD by Thomson m15696 View Synthesis Toos 통합 N10360 VSRS by Nagoya Uniersity Genera mode ViSBD by Thomson 1D mode Boundary Noise Remoa by GIST 추가적인기술업데이트 View Bending by NTT m16091 최종버전 : VSRS 3.5 22
VSRS 개발환경 프로그래밍환경 :C++ 빌드환경 Visua Studio 6.0 이상 Linux 환경지원 제안하는기술을업데이트하는방법 MPEG 3DVC 그룹에기고문을발표 그룹내토의를거친후업데이트 23
VSRS 내려받기 1 VSRS 내려받기 현재 MPEG 3DVC 그룹에서관리하고있음 MPEG 사이트의접속권한이있어야함 SVN 을통해내려받기가가능함 SVN 설치 SubVersioNSVN 은 CVSCurrent Version System 와함께대표적인 S/W 버전관리프로그램임 http://tortoisesn.net/downoads 에서대표 SVN 프로그램인 TortoiseSVN을내려받은후설치 24
VSRS 내려받기 2 TortoiseSVN 에서 Export 설정 http://wg11.sc29.org/sn/repos/mpeg- 4/test/trunk/3D/iew_synthesis/VSRSsynthesis/VSRS 접속권한 MPEG 사이트접속권한과동일 MPEG Forum 가입을통해얻을수있음 25
VSRS 실행을위한데이터 두참조시점의컬러비디오 두참조시점의깊이비디오 컬러비디오와동일한위치의깊이비디오 깊이비디오의 {Z min Z max} } 카메라파라미터 두시점의카메라파라미터 가상시점의카메라파라미터 26
3D 비디오테스트영상 테스트영상다운로드와기본정보 N11272 Newspaper 9 시점 1024x768 Book_arria 16 시점 1024x768 Champagne_tower 80 시점 1280x960 Loebird1 12 시점 1024x768 Cafe 5 시점 1920x1080 Mobie 3시점 720x540 Baoons 7시점 1024x768 Poznan_street street 9 시점 1920x1088 27
중간시점영상합성 S/W VSRS VSRS 개요 VSRS 환경설정 VSRS 주요기술
OpenCV 설치 1 OpenCV 내려받기 OpenCV 10 1.0 이상 오픈소스이므로인터넷을통해무료로다운가능 OpenCV 설치 Step 1: 내려받은 OpenCV 파일을설치 Step 2: 메뉴에서 Too - Options - Project and Soutions - VC++Directories 탭에서 Incude fies에다음항목을추가 C:\Program Fies\OpenCV\c\incude C:\Program Fies\OpenCV\caux\incude C:\Program Fies\OpenCV\cxcore\incude C:\Program Fies\OpenCV\otheribs\highgui ib \hi h i 29
OpenCV 설치 2 Step 3: Library fies 에아래항목을추가 C:\Program Fies\OpenCV\ib 30
OpenCV 설치 3 Step 4: 새프로젝트생성시메뉴에서 Project - Properties - Configuration Properties - Linker - Input - Additiona Dependencies란에 c.ib cxcore.ib highgui.ib를추가 31
VSRS 환경설정 1 VSRS 환경설정 configuration 파일 앞서설정한 Working Directory 에위치해야함 VSRS 와관련된여러옵션들의설정가능 32
VSRS 환경설정 2 DepthType Boo 형 0 or 1 defaut: 0 0: 카메라로부터의깊이 1: 원점으로부터의깊이 DERS 에서설정한 DepthType 과동일해야함 SourceWidth unsigned int 형 defaut: 1280 입력영상의너비 SourceHeight unsigned int 형 defaut: 960 입력영상의높이 33
VSRS 환경설정 3 StartFrame unsigned int 형 defaut: 0 영상합성을시작할프레임의위치 TotaNumberOfFrames unsigned int형 defaut: 300 영상합성을수행할총프레임수 LeftNearestDepthVaue doube 형 defaut: 0.0 0 좌영상의가장근거리깊이값 34
VSRS 환경설정 4 LeftFarthestDepthVaue doube 형 defaut: 0.0 좌영상의가장원거리깊이값 RightNearestDepthVaue doube형 defaut: 0.0 우영상의가장근거리깊이값 RightFarthestDepthVaue doube 형 defaut: 0.0 0 우영상의가장원거리깊이값 35
VSRS 환경설정 5 CameraParameterFie string 형 defaut: cam_param_dog.txt 카메라매개변수를담고있는파일이름 LeftCameraName string형 defaut: param_dog38 좌시점카메라의이름 VirtuaCameraName string 형 defaut: param_dog39 가상시점카메라의이름 36
VSRS 환경설정 6 RightCameraName string 형 defaut: param_dog41 우시점카메라의이름 LeftViewImageName string형 defaut: dog038.yu 영상합성에이용될좌시점의색상영상파일이름 RightViewImageName string 형 defaut: dog041.yu 영상합성에이용될우시점의색상영상파일이름 37
VSRS 환경설정 7 LeftDepthMapName string 형 defaut: depth_dog038.yu 영상합성에이용될좌시점의깊이영상파일이름 RightDepthMapName string형 defaut: depth_dog041.yu 영상합성에이용될우시점의깊이영상파일이름 OutputVirtuaViewImageName string 형 defaut: dog_irtua039.yu 합성된출력영상의파일이름 38
VSRS 환경설정 8 CoorSpace unsigned int 형 0 or 1 defaut: 0 0: YUV 1: RGB Precision unsigned int형 1 or 2 or 4 defaut: 4 DERS의변이탐색의정확도와동일해야함 1: 정화소 2: 반화소 4:1/4 화소 Fiter unsigned int 형 0-2 defaut: 1 부화소위치에대한업샘플링방법 0: bi-inear 1: bi-cubic 2: H.264 업샘플링방법 39
VSRS 환경설정 9 BoundaryNoiseRemoa unsigned int 형 0 or 1 defaut: 1 경계잡음 boundary noise 제거옵션 0: 사용하지않음 1: 사용함 40
VSRS 환경설정 10 SynthesisMode unsigned int 형 0 or 1 defaut: 0 영상합성모드결정 0: 모든카메라배열 Genera mode 1: 1 차원병렬카메라 1D mode ViewBending unsigned int형 0 or 1 defaut: 0 두워핑된영상의통합방법 0: 거리에따른가중합방법 1: 가까운시점을주로이용하고가까운시점의홀영역을다른시점에서채움 41
중간시점영상합성 S/W VSRS VSRS 개요 VSRS 환경설정 VSRS 주요기술
Genera Mode의영상합성방법 3D Warping 을이용한시점이동 43
Forward Depth Map Warping p p p g 깊이영상의시점이동 깊이영상의시점이동 m m m D D m m m D D warping Z f m m m m t m m D D r r r r warping r r r r r r r Z f m m m m t m m D D 44 < From eft to right warping > < From right to eft warping >
Median Fitering of Depth Map 시점이동한깊이영상의작은홀채움 Median Fitering ' D Median D m ' D r Median D r m r < From eft to right warping > < From right to eft warping > 45
Backward Texture Mapping pp g Using Warped Depth Map Using Warped Depth Map m m m ~ I I r r r r m m m ~ I I warping Z f m t m m r r warping r r r r r Z f m t m m 46 < Synthesized image from eft > < Synthesized image from right >
Hoe Fiing 각합성영상에서빈공간을채움 각합성영상에서빈공간을채움 대부분의빈공간정보는다른참조시점에존재 ~ 1 ~ r r m m m m m I I I ~ 1 ~ r r r r m m m m m I I I <synthesized from eft> <Apha map of eft> <synthesized from right> <Apha map of right> <Bended Image> 47
Inpainting 두참조시점에서존재하지않는빈공간채움 빈공간의주변화소를이용한 Inpainting 기법 < Synthesized image from eft > < Synthesized image from right > 48
부화소를이용한영상합성 1 세밀한영상합성을위한참조영상확장 Haf-pe precision: 가로길이를 2 배로확장 Quarter-pe presicion: 가로길이를 4 배로확장 < 2 배확장한참조영상 > < 시점이동하여합성한영상 > 49
부화소를이용한영상합성 2 정수단위와 ½ 단위영상합성결과 ½ 단위로합성한결과가더자연스러움 객체의경계부근에서자연스러움 < Fu-pe precision > < Haf-pe precision > 50
View Bending 을이용한영상합성 거리에따른가중합방식 I V x y I x y 1 I x y B A I A I V I B 가까운시점중심방식 I V A B x y if I B x y 0 tv tb tv t V x y A A x y otherwise I I t t 거리에따른가중합방식 가까운시점중심방식 51
View Bending 을이용한결과비교 부정확한데이터로인한합성오류를줄여줌 영상합성에영향을주는데이터오류 카메라파라미터와깊이영상의오류 깊이범위 {Z near Z far} } 오류 부정확한깊이범위로인한합성예 <View Bending = 0> <View Bending = 1> 52
경계잡음제거기술 1 BoundaryNoiseRemoa Step 1: 각워핑된영상의홀 hoe 의경계만추출 Step 2: 홀경계에대해배경과인접한화소만추출 변이의차이가 3 이상인경우에전경과배경분리 3 이하인경우모두배경이라간주함 53
경계잡음제거기술 2 Step 3: 배경에인접한경계에대해 7 화소만큼확장 Step 4: 확장으로인해생긴홀을다른시점에서채움 background foreground eft_d right_d 101 155 Background Contour Aternatie Area disoccusion With Boundary Noise Noise Remoed Image 54
경계잡음을제거한영상 1 테스트영상 : Baet < 합성영상과동시점의원본영상 > < 경계잡음이있는영상 > < 경계잡음이제거된영상 > 55
경계잡음을제거한영상 2 테스트영상 : Loebird1 < 합성영상과동시점의원본영상 >< 경계잡음이있는영상 > < 경계잡음이제거된영상 > 56
3 차원비디오의표준화동향
3 차원비디오부호화 3 차원비디오부호화의목적 임의의시점영상을합성 고급스테레오영상처리기능을지원 Auto-streoscopic 디스플레이장치를지원 Left Right Depth 3D Video Mutiiew irtua Estimation Codec Rendering iew Output to Stereo Dispay Left Center Right Depth Estimation 3D Video Codec Mutiiew Rendering irtua iews Output to Auto-Stereo N-iew Dispay 58
3DV의역사 2006 /01 2008 /01 2008 /04 2009 /02 time Request for FTV works Ca for 3D Test Materias EEs in 3DV Vision on 3DV Preparing for CfP Appications and requirements on 3DV Viewing test for eauation Deeopment of depth estimation and iew synthesis Coding experiment 59
향후표준화일정 향후표준화절차 제안요청서배포 2010 년 10 월 부호화한테스트자료배포 2011 년 x 월 주관적인화질평가 2011년 x월 신규기술문서등록 2011년 x월 제안한기술에에대한논의 2011 년 3월 60
3DVC의제안요청서 2010 년 10 월회의이후배포예정 제안기술의평가방법 Test Scenarious In two casses: 2-iew and 3-iew configurations Requirements on Submissions Rendered iews and bitstreams for a sequences in a casses are required Anchors Using MVC encoder e.g. JMVC 8.0 MVC is used for coor and separatey for depth data. 61
3DVC의제안요청서 제안사항 수정가능 No use of pre-processing Ony use post-processing if it is part of the decoding process 주관적화질평가 For both stereoscopic and auto-stereoscopic iewings Proponents wi proide coded bit-streams binary decoding and iew synthesis software for iew extraction. 62
맺음말 3 차원비디오 MPEG 3DVC 그룹에서 3 차원비디오에대한표준화 영상의입체감과자유시점기능제공 VSRS View Synthesis Reference Software 가상시점영상합성참조소프트웨어 두시점에대한색상영상 깊이영상 카메라매개변수를이용하여중간시점영상합성 63
Thank you Questions? http://cab.gist.ac.kr/ http://www.gist.ac.kr/ 64