전자통신동향분석제 25 권제 1 호 2010 년 2 월 유럽 3D 기술동향 A Trends of 3D Technologies in Europe 정광희 (K.H. Jung) 윤국진 (K.J. Yun) 이봉호 (B.H. Lee) 허남호 (N.H. Hur) 김진웅 (J.W. Kim) 실감방송시스템연구팀연구원실감방송시스템연구팀선임연구원실감방송시스템연구팀선임연구원실감방송시스템연구팀팀장방통융합미디어연구부부장 목차 Ⅰ. 서론 Ⅱ. 3D MEDIA CLUSTER Ⅲ. 유럽 3D 기술개발동향 Ⅳ. 결론 * 본연구는방송통신위원회, 지식경제부및한국산업기술평가관리원의 IT 원천기술개발사업의일환으로수행한연구로부터도출되었음 [ 과제관리번호 : 2009-F09-01, 과제명 : 방통융합형차세대모바일방송핵심기술개발 ] 3D 영상기술은사용자에게현실감과몰입감을극대화해줄수있는차세대멀티미디어시장의핵심기술로서최근 3D 실험방송및 3D 영화제작과같은상용화를위한시도가진행되고있다. 이러한흐름과맞물려유럽에서는차세대멀티미디어시장을선점하기위해 3D 영상의획득, 처리, 전송, 디스플레이등여러분야에걸쳐다양한 3D 관련프로젝트를진행하고있으며이를통해새로운 3D 기술개발및표준화를진행하고있다. 본고에서는유럽의 3D 관련프로젝트현황과최신기술을살펴본다. 156 C 2010 한국전자통신연구원 156
정광희외 / 유럽 3D 기술동향 Ⅰ. 서론 1826년프랑스의발명가 Niepce[1] 에의해빛을저장하는방법이발명된이후영상신호의획득, 처리, 저장및전송기술은비약적인발전을이루어왔다. 특히, 최근에는전송기술의진화를기반으로기존의아날로그 TV 방송이고화질과대형화면을목표로하는디지털방식의 HDTV 방송으로전환되고있으며, 이는기존의 2D 영상을이용한서비스뿐만아니라대용량콘텐트전송을통한새로운영상서비스를수용할수있게하였다 [2]. HDTV의상용화를통해기존의아날로그 TV에서는경험할수없었던실감나는고화질콘텐트가댁내로제공되기시작하였지만 HDTV 역시기본적으로는 2D 영상을이용하기때문에실세계가갖고있는입체감을시청자에게느끼게해주지못한다. 이러한 2D 영상이갖는한계점을극복하기위해많은연구기관및대학에서는입체감과몰입감을극대화시켜줄수있는차세대멀티미디어기술에대한연구를진행하고있으며이러한연구의중심에서 3D 기술이차세대멀티미디어핵심기술로비약적인발전을이루고있다. 최근 3D 기술은기술적인발전과동시에산업적인측면에서도많은투자가이루어지고있는데미국헐리우드 (hollywood) 의제임스카메론감독과같은유명영화제작자들과 Disney, Dreamworks 등대규모영화제작사들이 3D 관련산업에투자를시작하면서 3D 기술은새로운부흥기를맞이하고있다. 3D 기술은유럽및일본이국내에비해상대적으로앞선기술력을보유하고있는실정으로일본에서는이미 1996년 NHK에서 3D HDTV 디스플레이시스템시제품을개발하였으며, 1998년나고야 (Nagoya) 동계올림픽에서는 HD급의양안식영상을전송하여입체방송을시연한바있다 [3]. 또한, 위성방송사업자인 BS11 은 2007년부터상용 3DTV 서비스를실시하고있다. 유럽의경우, 1994년부터지속적으로 3D 관련기술에대한프로젝트를진행하고있으며, 최근 3D 영상기술과관련해서 3D MEDIA CLUSTER를구성하고다양한연구분야에걸쳐프로젝트를진행하면서차세대방송서비스시장을선점하기위한노력을하고있다. 본고에서는 3D MEDIA CLUSTER를구성하고있는프로젝트를분석하고, 이를통해유럽의 3D 관련기술개발동향을살펴본다. Ⅱ. 3D MEDIA CLUSTER 1994년 RECE DISTIMA 프로젝트를시작으로 3D 관련프로젝트를진행한유럽은 1995 년에시작된 PANORAMA 프로젝트와 2002년부터진행된 ATTEST 프로젝트를통해 3D 관련기반기술을확보하였으며무안경식디스플레이기반입체영상기술및 3DTV 시스템의요소기술개발, 인간의 3차원인지능력에대한연구를진행함으로써사용자중심의 3D 시스템구조를정의하였다 [4]-[6]. EC의지원으로 2004년부터시작된 3DTV NoE < 표 1> 3D MEDIA CLUSTER 현황 프로젝트명시작일종료일개발분야 3DTV NoE 2004. 9.1. 3D4YOU 2.1. MOBILE3D 1.1. 3DPHONE MUTED 2.1. 2006. 7.1. HELIUM3D 1.1. 2020 3D MEDIA Real3D 3.1. 2.1. 3DPRESENCE 1.1. VICTORY i3dpost 2007. 1.1. 1.1. 8.31. 2010. 7.31. 2010. 12.31. 2011. 1.31. 12.31. 2010. 12.31. 2012. 2.29. 2011. 1.31. 2010. 6.30. 2009. 6.30. 2011. 1.31. 3DTV 3D 콘텐츠생성및분배 모바일 3D 모바일 3D 3D 디스플레이 3D 디스플레이 3D Audio/Video 홀로그래픽 3D 화상회의 Audio-Visual 콘텐트의인텔리전트 P2P 검색엔진인텔리전트 3D 콘텐츠 C 2010 한국전자통신연구원 157
전자통신동향분석제 25 권제 1 호 2010 년 2 월 프로젝트에서는 3D 영상의획득, 전송, 분배, 디스플레이등 3D 관련산업의전반적인분야에대한연구를진행하였으며이를시작으로 3DPHONE, 3D4YOU, 2020 3D MEDIA와같은 3D 응용분야및세부기술에대한다양한프로젝트가진행되고있다 [7]. 최근에는 EC에서지원하고있는프로젝트간의관리및협력을위하여컨소시엄형태의 3D MEDIA CLUSTER를구성하였으며이를통해미래인터넷환경에적합한 3D 기술개발을진행하고있다 [8]. 현재 3D MEDIA CLUSTER는유럽내의 11개의프로젝트로구성되어있으며 < 표 1> 과같이세부과제별로연구개발을진행하고있다. Ⅲ. 유럽 3D 기술개발동향 3D 기술의상용화를위해서는입체영상관련기술뿐만아니라획득, 전송, 저장, 디스플레이등 end-to-end 시스템전체에대한연구개발이필요하다. 앞장에서설명한 3D MEDIA CLUSTER에서는각프로젝트별로상호협력을통한 end-to-end 시스템및응용분야에대한연구개발을진행하고있다. 본장에서는 3D MEDIA CLUSTER 를구성하고있는세부프로젝트의분석을통해유럽의 3D 기술개발동향을살펴본다. 1. 3DTV NoE 3DTV NoE 프로젝트는 EC 6th Framework IST Programme이지원하는과제로 2004년 9월부터 48개월간터키 Bilkent 대학을중심으로총 19개의기관이참여하여진행되었다. 연구분야로는 3D 장면정보의획득및표시, 디지털 3DTV 신호정의, 디지털 3DTV 신호의저장및전송, 3D 장면의재현및디스플레이등 3DTV와관련된모든분야로 3DTV의구현을통한의학, 게임, 멀티미디어, 교육, 시뮬레이션, 화상회의등다양한분야로의응용을계획하였다. 본프로젝트의장면획득분야연구에서는다양한 ( 그림 1) 다시점영상획득시스템종류의다시점 (multi-view) 카메라시스템이제작되었으며카메라간동기화및재조명문제를해결하기위한연구를진행하였다. 이외에도여러대의카메라를이용한아바타생성기술, CCD를이용한홀로그래픽저장, 얼굴인식및 3D 모델링과같은기술의연구를진행하였다. ( 그림 1) 은터키의 Bilkent 대학에서개발한 8대의카메라와 4대의컴퓨터로구성된다시점영상획득시스템을보여준다. 본프로젝트에서개발중인다시점영상획득시스템은카메라간동기화가용이하도록설계되었으며 640 480 크기의 RGB24 포맷의경우초당 30프레임, 780 582 RAW8 포맷의영상은초당 50프레임의획득이가능하며 8대의카메라의영상을동기화하여영상을제작할수있다. 장면표현분야에서는획득단계에서생성된영상정보를표현하는방식에대한연구를진행하였으며일반적으로사용되는점표현방법, 메시표현방법외에도사면체메시 (tetrahedral meshes) 표현방법과같은다양한 3D object 표현방식을개발하였다. 또한, 영상신호뿐만아니라, 음성신호와의동기화를고려하기위해영상에서물체의움직임및동작을인식하여합성하는기술을개발하였다. 영상부호화분야는 3DTV를서비스하기위한효율적인압축및전송기술을위해다양한시스템과전송환경에적응적인데이터압축및전송기술개발을진행하였으며이를위해 3D 비디오의저장포맷및다시점비디오코덱을개발, 실험하였다. 본 158 C 2010 한국전자통신연구원 158
정광희외 / 유럽 3D 기술동향 ( 그림 2) FogScreen 을이용한 3D 영상표현프로젝트에서는개발된포맷및코덱을이용하여국제표준화를진행함과동시에다양한 3D 영상압축기술및워터마킹과같은콘텐트보호기술, 홀로그램부호화기술, 자유시점 (free-view point) 비디오부호화기술의개발을진행하였다. 본프로젝트의주요연구분야중하나인디스플레이분야에서는무안경 (auto-stereoscopic) 방식의 3D 디스플레이를중점적으로개발하였으며시청자의위치를추적하여 3D 영상을제공하는방식을연구하였다. 또한, 다양한공간과광원을이용하여홀로그램영상을제공할수있는기술의개발을추진하였다. ( 그림 2) 는독일 Tuebingen 대학에서개발한 FogScreen을이용한 3D 영상을보여준다. 2. 3D4YOU 본프로젝트는 EC 7th Framework ICT Programme이지원하는과제로 2008년 2월부터 30개월간 Philips와 BBC 등을중심으로총 7개의기관의참여로진행되고있다 [9]. 본프로젝트에서는무안경 3DTV를위한전송기술및콘텐트생성기술개발에초점을맞추고이를이용하여기존 2D 시스템과호환성을유지하면서디스플레이장치에무관한 3DTV 시스템개발을진행하고있다. 세부적으로는 3D 고화질미디어의 end-to-end 전송, 다시점및깊이영상 (depth image) 획득, 획득된 3D 영상의 3D 방송포맷변환, 3D 디스플레이및시청자인지시험과관련된기술들을주로다루고있다. 본프로젝트에서진행하고있는다시점및깊이영상획득기술은여러대의카메라와 HD급의깊이 영상획득이가능한시스템구성을목표로진행되고있으며, 2008년두번의영상획득실험을진행하였다. 1차실험은다시점및깊이영상획득카메라시스템을구성하고획득영상의저장을위한기초실험을진행하였다. 실험에사용된카메라는스테레오영상획득부, 부가영상획득부, 깊이영상획득부의세부분으로나뉘어있으며먼저스테레오영상획득부는소니사의 HD 카메라두대를사용하여구성하였으며, 부가시점영상획득부는 Frauenhofer IIS의 HD 카메라를사용하였다. 마지막으로깊이영상획득부는 TOF 방식의저해상도적외선카메라를이용하였으며이렇게구성된카메라를이용해시점영상및깊이영상을동시에획득하였다. 획득된영상의저장은각부분별로다른방식을사용하였는데, 스테레오영상획득부의경우 HDCAM VTR을이용하였으며, 부가영상획득부는 Frauenhofer MEGACINE 하드디스크비디오저장장치를이용하였다. 마지막으로깊이영상획득부의경우컴퓨터와직접연결하여저장하는방식을사용했다. ( 그림 3) 은실험에사용된카메라를보여준다. 영상포맷과관련해서는 3D 영상을 3D 방송포맷으로변환하기위해획득된영상을 Philips사의스테레오영상최적화시스템인 blue box 를이용하여 LDV 포맷으로변환하는실험을하였다. 2차실험은실내에서이루어졌으며, 소니 X300 카메라 4대와 TOF 카메라를이용하여다시점영상및깊이영상을획득하였다. 획득영상은영상내에다양한사물을배치하거나특수효과를이용하여영상복잡도를다르게하였으며, 영상획득을통해서 LDV 포맷의분석및평가가이루어졌다. LDV 포맷 Left Satellite PMD Right Satellite Regular HD Stereo Camera Inside of Mirror Rig Time-of-Flight Camera SONY HDW-750P Camcorder MEGACINE Mobile Field Recorder SONY HDW-750P Camcorder IIS Ultracompact HDTV Camera ( 그림 3) 다시점및깊이영상획득카메라개념도와실제시스템 (1 차실험 ) C 2010 한국전자통신연구원 159
전자통신동향분석제 25 권제 1 호 2010 년 2 월 SONY HDC-X300 Cameras Cam 2 Time-of-Flight Camera Cam 1 Cam 3 ( 그림 4) 다시점및깊이영상획득카메라시스템 (2 차실험 ) 실험의경우, 기존스테레오스코픽콘텐트와의하위호환성및크기가다른디스플레이장치에적용하기위한방안에대하여실험하였으며획득된영상을통해주관적화질평가를진행하였다. ( 그림 4) 는실험에사용된카메라시스템을보여준다. 2차 3D 콘텐트저장을위한시스템은 1차실험과 2차실험에서다르게적용되었으며 1차실험에는 HD tape을이용한 VTR, MEGACINE을획득부에따라구분적으로사용하였지만, 2차실험에서는 HHI에서개발한 PC 기반저장시스템을이용하여통합하였다. PC 기반저장시스템의경우, HD 영상을무압축저장가능하며서버를통해카메라간동기화및컨트롤이가능하도록설계되었다. 3. MOBILE3DTV Cam 4 2D Monitor 최근 3DTV 기술은가정에서시청할수있는방송분야뿐만아니라케이블, IP, 모바일등방송기술이적용되는대부분의분야에적용하기위한시도가진행되고있다. 특히, 모바일방송의경우단일사용자 (single-user) 를기반으로하기때문에무안경식디스플레이를적용한 3D 시청환경을구성하는데장점을갖는다. 이러한장점을기반으로최근에는 3DTV와모바일방송의결합을위한시도가많이이루어지고있으며, 유럽에서는 MOBILE3DTV 프로젝트와 3DPHONE 프로젝트를통해관련기술을연구하고있다. MOBILE3DTV 프로젝트는모바일방송기술과 3D 기술을통합하기위해제안된과제로유럽의모바일방송시스템인 DVB-H 망을통해하위호환성 (backward-compatibility) 보장이가능한 3D 비디오서비스를개발하고있다 [10]. 본프로젝트는 EC 7th Framework ICT Programme의지원을받는프로젝트로 2008년 1월부터 3년간 6개기관의참여로진행되며 3D 콘텐트의생성, 전송, 부호화, 단말개발및사용자경험 (user experience) 분석을통한최적의무안경식이동형 3D 방송서비스개발을목표로하고있다. 콘텐트생성분야의경우모바일에적합한스테레오스코픽비디오콘텐트생성기술을개발하는것으로고화질신규 3D 콘텐트생성과기존콘텐트의화질개선을위한툴개발, 효율적인압축기술및렌더링기술개발을병행하여진행하고있다. 프로젝트 1 차년도에는 DVB-H 채널에적합한포맷개발을진행하였으며실험을위한데이터베이스를구축하였다 [11],[12]. 데이터베이스는 2채널스테레오비디오시퀀스와비디오 + 깊이영상시퀀스로총 28개로구성되어있다. 여기서비디오 + 깊이영상시퀀스의경우독일의 HHI에서개발한 HRM 기술을각스테레오비디오시퀀스에적용하여생성하였다. HRM은스테레오영상을이용하여깊이정보를추정하는알고리듬으로좌, 우영상의시간적, 공간적차이를블록과픽셀을기반으로분석하여깊이정보를얻어낸다. 이러한기법은기존의방식에비해속도가빠르며시간적, 공간적인정보의연속성을최대한유지할수있다는장점이있지만깊이정보의오류가발생한다는단점을갖고있다. 하지만이는작은크기의디스플레이를사용하는모바일용기기에서는화질의저하를크게나타내지않아현재까지모바일에적용하기적합한방법으로고려되고있다. ( 그림 5) 는 HRM 기법을이용해생성한깊이영상과이를이용하여렌더링한영상을보여준다. 부호화분야에서는일반적인방송에비해모바일방송이갖는한계를극복하기위해시공간해상도, 압축성능및디코더복잡도측면을고려한 3D 비디오부호화기술을개발하고있다. 현재기존에개발 160 C 2010 한국전자통신연구원 160
정광희외 / 유럽 3D 기술동향 (a) 좌영상 (b) 우영상 (c) 깊이정보 (HRM) (d) (c) 를이용해생성한우영상 ( 그림 5) HRM 실험영상된 3D 비디오코딩기술의모바일방송적용가능성검증을위한연구가진행되고있으며프로젝트에서개발한프로토타입단말에적용하기위한다양한 3D 코덱및영상포맷분석과최적화작업을수행중이다. 여기에서사용된코덱및영상포맷은 H.264/ AVC simulcast, ㄱH.264/AVC stereo SEI message, H.264/MVC, ㄱMPEG-C part 3 using H.264 for both video plus depth, ㄱH.264 auxiliary picture syntax for video plus depth 등 5가지이며이를이용한연구결과를기반으로추후영상의해상도가다른비디오에대한코딩방법 (mixed resolution stereo video coding) 개발을추진하여 3D 비디오포맷의확장을계획하고있다 [13]. 3D 효과에대한사용자경험분석연구는 3D 방송시청시인간의인지특성 (human factor) 차이로인해발생되는 3D 경험의차이와이에대한사용자의만족도를분석하였으며연구첫해에는모바일스테레오비디오에대한사용자의요구를독일과핀란드인 342명에게온라인조사를실시하여분석하였다 [14]. 실험대상은 18세이하에서부터 40세이상까지다양한연령층에대해실시하였으며실험에가장많이참여한연령은 18세이상, 40세미만의인원으로전체실험인원의약 90% 정도를차지한다. 성비는여성이약 27%, 남성이약 73% 였으며직종은학생과직장인이 90% 이상이었다. 조사결과일반적으로사람들이관심을갖는콘텐트는영화, 다큐멘터리, 뉴스, 스포츠등의이벤트성 3D 영상에관심을나타내는것으로나타났다. 모바일기기에서 3D 영상을시청하기에적당한디스플레이사이즈로는 4~5인치크기의디스플레이를가장선호하는것으로나타났으며단말의기능으로는 3D 콘텐트의저장및수신, 전송기능등전반적으로현재이용되는휴대폰의 MMS 기능과비슷한서비스를원하는것으로나타났다. 시청시간과관련해서는 15분이내의콘텐트를가장선호하였으며, 상용화시사용요금에대해서는 5~10유로사이의금액을지불할의사가있는것으로나타났다. 이외에도본실험에서는영상의화질에대해주관적화질평가 (subjective test) 를실시하여모바일단말에서최적의영상포맷및전송방법등에대해분석할계획이며이러한결과를바탕으로추후시스템구성및최적화등중요부분에반영할계획이다. 단말개발분야의경우 3D 비디오스트림을수신디코딩하여디스플레이가능한 3D 단말개발을목표로진행되고있으며첫해 OMAP 3430 플랫폼기반스테레오비디오를재생할수있는무안경식단말의프로토타입을개발하였다. 단말의디스플레이방식으로는패럴랙스베리어 (parallax barrier) 와렌티큘러 (lenticular) 타입의무안경식디스플레이를선정, 개발하고있다. 패럴랙스베리어는한국의마스터이미지사에서 4.3인치 WVGA 방식으로 800 480 해상도를지원할수있도록개발하고있으며렌티큘러디스플레이는 NEC LCD에서수평방향의픽셀의해상도를수직방향의픽셀의해상도에비해두배로증가시키는방식인 HDDP 방식을채용하여개발하고있다. 렌티큘러디스플레이는 3.1인치 427 240 해상도를 2D와 3D 동일하게지원하며 OMAP 플랫폼에서 DVI를디스플레이인터페이스로사용한다. 4. 3DPHONE 본프로젝트는 3D 서비스가가능한 3D 모바일폰관련핵심기술을연구하기위하여제안되었으며, EC 7th Framework ICT Programme의지원으로 Bilkent 대학외 5개기관이 2008년 2월부터 3년간 C 2010 한국전자통신연구원 161
전자통신동향분석제 25 권제 1 호 2010 년 2 월 WP7. Integration and user trials WP5. 3D video WP6. 3D user interfaces and applications WP4. Software platform WP3. Hardware platform System overview ( 그림 6) 3DPHONE 프로젝트구성 WP1. Project management WP2. Dissemination/exploitation Antenna LCD RJ45 Ethernet port Bluetooth LED Power LED Power on/off button Volume knob 2.5mm audio in/out jack USB OTG mini-ab port 진행한다. 프로젝트의목표는 end-to-end all-3d imaging mobile phone을개발하는것으로모바일기기에서제공되는디스플레이, UI, PIM 애플리케이션을실감할수있도록해주는기술개발을하고있다 [15]. 본프로젝트는 ( 그림 6) 과같이 7개의분야로구성되어있다. 하드웨어분야에서는모바일 3D 단말의기본이되는디스플레이장치와스테레오카메라모듈에대한연구가진행되고있다. 디스플레이모듈은렌티큘러방식과 Holovizio 모바일 3D 디스플레이방식으로나뉘어진행되고있으며카메라모듈은카메라세팅및파라미터설정과디바이스연동을가능하게하는소프트웨어에대한연구가진행되고있다. 렌티큘러방식의디스플레이장치는실시간 3D 렌더링이가능하도록설계되었으며 Omap Zoom MDK를기반으로제작되었다. 디스플레이는 3.7인치 TFT-LCD 패널을사용하며, 640 480의해상도를지원한다. ( 그림 7) 은렌티큘러방식디스플레이의프로토타입을보여준다. Holovisio 디스플레이방식은유럽의 Holografika 사에서개발한방식을이용하는기술로 UMPC 기반시스템으로개발이진행되고있다 [16]. 기본적으로는렌티큘러방식의디스플레이개발과동일한프로세스로진행되고있으며고품질의영상생성을위한 quasi-holographic 광학엔진설계와 holographic 디스플레이개발이주를이루고있다. Quasi-holographic 광학엔진은각각 1개의 red, blue 입력과 2개의 green 입력을이용한특수광원을이용하는방식이다. DVI port Microphones (a) Connection Diagram for the Baseboard(Front) 3.1-megapixel camera Left speaker Volume knob High-density expantion connector 2.5mm audio in/out jack USB OTG mini-ab port S-video connector Status LEDs Battery connector UART header OMAP 3430 SOM-LV JTAG header Micro SD/MMC Card slot 5-position navigation port (b) Connection Diagram for the Baseboard(Back) Right speaker Enfora module SIM card slot ( 그림 7) 렌티큘러방식디스플레이프로토타입 RJ45 Ethernet port LCD connector DM port System reset button 본프로젝트에서개발하고있는카메라모듈은좌, 우, 정면의영상을찍을수있는 3개의카메라로구성되며현재카메라모듈의설계및동기화문제등을해결하기위한연구가진행되고있다. 162 C 2010 한국전자통신연구원 162
정광희외 / 유럽 3D 기술동향 소프트웨어분야는모바일기기의소프트웨어핵심기술을토대로 3D 디스플레이및 3D 영상획득하드웨어플랫폼을지원하기위한 3D 멀티미디어프레임워크설계및개발을목적으로하고있다. 현재소프트웨어모듈은 multimedia framework에대한개발이주로이루어지고있다. Multimedia framework는스테레오 3D 카메라의영상을고화질의 side-by-side 포맷영상으로변환해주는기능과정면카메라를제어하는기능을제공한다. 파일 시스템에서는코딩후저장된콘텐트를읽거나 2D 영상과 3D 영상, 오디오를포함하는 3D 정보를모바일단말에저장및제어를담당한다. 비디오분야에서는실시간 3D 비디오통신, 다운로드콘텐트에대한재생방법, 3D 비디오녹화와 3DTV, DVB-H, WLAN과같은다양한전송방식에서의 3D 비디오디스플레이를위한연구를진행하고있으며이를위한 3D 영상포맷을개발하고있다. 프로젝트초기모바일환경에서 3D를적용하기위한시스템요구사항을정리하였으며, 이후모바일환경에적합한 3D 영상포맷및렌더링기술개발에중점을두어연구를진행하고있다. 본프로젝트에서개발하고있는영상포맷은 CVS, 비디오 + 깊이영상, MVD, LDV로각영상포맷별렌더링결과화질평가및압축효율에대한실험을진행하고있다. 렌더링파트에서는영상화질저하를발생시키는요인 (crack, hole, stair-edge) 을제거하기위한기술을연구하고있다. UI와관련된연구에서는 direct input에대한처리방법과 3D 위젯 (widget) 과같은 UI 개발을목표로연구가진행되고있다. Direct input에대한처리방법은실제모바일기기의카메라를이용한사용자 (a) (b) (c) ( 그림 8) Direct Input: (a) Camera Mouse, (b) Finger Tracking, (c) Gesture Recognition 상호작용에대한연구로사람의손이나눈을추적하는기술을중심으로연구가진행되고있으며다양한방면의시도가진행되고있다. 대표적인추적기술로는 ( 그림 8) 의 (a) 와같이사람의눈이나코등인체의특징을인식하여동작시키기위한카메라마우스기술과 (b) 와같이사람손가락의움직임을추적하는기술이있다. 이뿐만아니라 (c) 와같이일정동작을정해명령어형식으로모바일기기와상호작용을하는동작인식 (gesture recognition) 기술을연구하고있다 [17]-[19]. 카메라를이용한사용자와의인터랙션방법외에도가속센서와방향센서를이용하여움직임이나위치를인식하여사람과상호작용하는방식이제안되고있다. 3D UI는사용자에게직관적이면서도간단하게단말및애플리케이션을조작할수있도록도와주는기술을개발하는것으로현재 3D 위젯의개발이주를이루고있으며이를가능케해주는다양한메뉴의구성및조작방법이제안되고있다. 이외에도 UI의다시점렌더링및고속렌더링기술과관련된 3D UI 렌더링기술과모바일기기와같은작은디스플레이를사용하는디바이스에서사용자가느끼는 3D 효과를개선하기위해인간의인지특성을분석하고있다. 5. MUTED/HELIUM3D MUTED 프로젝트는 EC 6th Framework IST Programme이지원하는과제로 2006년 7월부터 30 개월프로젝트로계획되어진행되었으며 7개의기관이참여하였다 [20]. 프로젝트의목표는동시에여러명의시청자를수용할수있는무안경식 3D 디스플레이를상용화하는것으로프로젝트초기연구과제설정과관련된작업을 4달간진행하고, 이후 17개월간프로토타입및플랫폼개발을통한데모및평가를진행하였으며마지막 9개월간은각각개발된시스템을통합하며통합된전체시스템의데모및평가하였다. 현재프로젝트기간의종료를앞두고신규프로젝트로제안한 HELIUM3D 프로젝트를통해기존의 C 2010 한국전자통신연구원 163
전자통신동향분석제 25 권제 1 호 2010 년 2 월 연구를이어가고있다. 주연구분야는여러명의사용자를동시에수용할수있는무안경식디스플레이개발로 motion parallax 기술을적용한디스플레이개발과사용자추적기술개발을진행하고있다. 디스플레이는영국의 DMU가 ATTEST 프로젝트를통해프로토타입을개발한뒤현재까지지속적으로연구한것으로 LED를부채꼴모양으로배열하고특수굴절면을이용하여 LED의광원을굴절시켜사용자가볼수있게해주는방식을사용한다. 이때 LED 배열을이용하여광원의움직임을조절할수있기때문에사람의위치에따라빛을이동시킬수있으며여러개의광원을동시에만들수있다. 디스플레이의경우는이런 LED 배열을여러겹으로구성하여스크린을통해보여주며여러겹으로구성된디스플레이장치는 IR 센서를통해사용자의눈을추적하여좌, 우영상을각눈에맞도록보여준다. 최근에는 RGB 컬러영상을제공하기위해 RGB 레이저를광원으로이용하고있으며기존의디스플레이에비해넓은시청각을제공할수있도록개선되었다. ( 그림 9) 의 (a), (b) 는 LED 배열을이용하여광원의위치를변경하는것을보여주며, (c) 는추적된눈으로영상을제공하는장면을보여준다. HELIUM3D 프로젝트는 EC 7th Framework ICT Programme이지원하는과제로 2008년 1월부터 3년간진행되며 6개국 8개기관이참여하고있다. 기본적으로 MUTED 프로젝트의실험결과를토대로추가연구를진행하고있으며 RGB 레이저조명을이용한무안경식 3D 디스플레이개발및이를실험하기위한테스트콘텐트제작, 유저애플리케이션과 3D 디스플레이의새로운표준을만들기위해진행하고있다 [21]. 특히, 본프로젝트에서사용하는 RGB 레이저조명은가격이저렴하면서도소 비전력이적고대량생산이가능하기때문에일반적인 3D 디스플레이의높은가격을낮출수있을것으로기대된다. 6. 2020 3D MEDIA 본프로젝트는 EC 7th Framework ICT Programme이지원하는과제로 2008년 3월부터 4년간계획되었다. 본프로젝트에서는시청자에게보다현장감있는미디어및참여형서비스제공을목표로 3차원공간에오디오및이미지를표현하는기술개발을진행하고있다. 또한새로운 3D surround audiovisual media 개발을위해세부적으로는획득, post production, secure network 전송, 재생및 end-user customization 기능을포함하는 end-toend 시스템기술을개발하고있다 [22]. 영상획득부분에서는현실감있는영상제공을위해 4천만화소해상도를갖는 omnidirectional 카메라시스템을개발하고있다. 이카메라는 ( 그림 10) 과같이어안렌즈 (fish-eye lens) 가장착된고성능카메라와기가비트이더넷연결이가능한네트워크기능을기반으로제작되고있으며, 여기서얻어지는영상을저장하기위한신규코덱을함께개발하고있다. 이뿐만아니라기존의 2D 영상을이용하여 3D 입체영상을생성해내는기술개발을위해 2K 영화에대해서 3D 영상을얻기위한시도를하였으며 2D-3D 변환기술개발을위해패턴영상을이용하여 2D 영상에서 3D 영상효과를얻기위한시도를하였다. 마지막으로 W3C, MPEG, SMPTE, 3D@Home 등표준화단체에서현재진행되고있는 3D 관련표준화작업을분석하고추후진행되어야할표준화안건에대한준비를하고있다. (a) (b) (c) ( 그림 9) MUTED 디스플레이동작 ( 그림 10) Omnidirectional 카메라시스템및획득영상 164 C 2010 한국전자통신연구원 164
정광희외 / 유럽 3D 기술동향 7. Real3D 본프로젝트는 EC 7th Framework ICT Programme이지원하는과제로홀로그래피를이용한 3D 기술개발을계획하고있다 [23]. 홀로그래피는무안경식으로동시에여러명의시청자에게 3D 영상을제공할수있으며, 3D scene의전체정보를갖고있으므로여러각도에서의 3D 영상제공이가능하다는장점을갖는다. 하지만현재까지개발된홀로그래피기술은초기단계이기때문에본프로젝트에서는이를개선하기위한디스플레이장치및영상의획득, 전송등에대한기술을개발한다. 본프로젝트는터키의 Bilkent 대학과핀란드의 OULU 대학등 8개기관이참여하고있으며, 2008년 2월부터 3년간계획되었다. 본프로젝트에서는 CCD array를이용한샘플링기술을통해입체영상의데이터를얻는기술에대해카메라세팅과파라미터에대한연구를진행하고있다. 특히다양한홀로그램기술에대한분석을통한결과를도출하고이를이용한개선방향및프로젝트진행방향을설정하고있다. 또한, 홀로그램영상의어려운기술중하나인영상처리 (high pass filtering) 기술을 ( 그림 11) 과같이실험함으로써기존의홀로그램영상이갖고있는한계를뛰어넘기위하여노력하고있다. ( 그림 12) 3D 화상회의개념도에접속가능한 3D 화상회의시스템개발을진행하고있다 [24]. 3D 화상회의시스템개발을위해본프로젝트에서는전송기술의최적화및효율적인부호화방식, 객체추출을이용한배경교체기술등을개발하고있으며 Philips를포함한 5개기관이참여하고있다. 9. VICTORY 본프로젝트는 EC 7th Framework ICT Programme이지원하는과제로 2008년 3월부터 4년간계획되었다. 본프로젝트에서는분산형 P2P 네트워크를통한 3D audio-visual 콘텐트의검색엔진개발을목표로 3D 객체검색과동시에관련된디지털콘텐트를분류할수있는기술에대한연구를진행하고있다 [25]. 또한개발된기술을모바일환경에접목시키기위한시도와함께 3D 워터마킹기술과같은정보보호기술개발을진행하고있다. 10. i3dpost ( 그림 11) 홀로그램영상처리 : High Pass Filtering 적용전 ( 좌 ) 과후 ( 우 ) 영상 8. 3DPRESENCE 본프로젝트는 EC 7th Framework ICT Programme이지원하는과제로 2008년 1월부터 30개월간진행되며 ( 그림 12) 와같이여러그룹이동시 본프로젝트는 EC 7th Framework ICT Programme이지원하는과제로 3년간진행되며 3D 콘텐트제작비용을줄이기위해디지털영화나게임에서 3D 콘텐트를추출하는기술에대해연구하며 3D 비디오제작, 3D 모션최적화, 후처리툴을개발하고있다 [26]. 또한, 이러한기술을이용해기존 3D 영화와비슷한수준의 3D 콘텐트를저비용으로생성하고이를여러가지미디어플랫폼으로전환할수있는기술을제안하고있다. C 2010 한국전자통신연구원 165
전자통신동향분석제 25 권제 1 호 2010 년 2 월 Ⅳ. 결론 본고에서는 3D MEDIA CLUSTER를구성하고있는세부프로젝트분석을통해유럽의 3D 기술개발동향에대해서살펴보았다. 현재 3D 기술은차세대멀티미디어산업의핵심기술로유럽, 일본과같은선진국을중심으로핵심기술개발및상용화를위한노력이전개되고있다. 특히, 유럽에서는 3D 영상의획득, 부호화, 전송, 디스플레이등과같이다양한분야에서프로젝트를진행하면서차세대멀티미디어시장을선점하기위한노력을기울이고있다. 국내에서도 2002년 FIFA 한일월드컵을위한스테레오입체영상서비스를시연한바있으며지상파 DMB 방송망을이용한 3D 방송시스템개발을추진하여상용화를앞두고있는실정이다. 본고가국내의 3D 기술발전방향을살펴보고앞으로나아갈길을모색하는데조금이나마도움이되기를바라며향후국내 3D 기술이관련산업분야에서선도적인역할을할수있기를기대한다. 3DTV ATTEST CVS 용어해설 깊이영상 (Depth image): 2D 컬러영상에 1:1 로매칭되는 8bit 흑백영상으로, 흑백영상의밝기값을이용해깊이정보를표시하며다시점분야와같은 3D 영상생성분야에서주로사용되고있다. Side-by-Side: 좌우시점영상의가로해상도를각기반으로줄인후좌우로붙여일반영상크기로구성하여 3D 영상포맷예 ) Side-by-Side 영상포맷예 L R L R L R L R L R L R ㆍㆍㆍㆍ 약어정리 3-Dimensional Television Advanced Three-dimensional Television System Technologies Conventional Stereo Video DISTIMA Digital Stereoscopic Imaging & Application DMB Digital Multimedia Broadcasting DMU De Montfort University DVB-H Digital Video Broadcasting Handheld EC European Commission FP Framework Program HELIUM3D High efficiency laser-based multi-user multi-modal 3D display HDDP Horizontal Double Density Pixel HDTV High Definition Television HRM Hybrid Recursive Matching LDV Layered Depth Video MMS Multimedia Messaging Service MPEG Moving Picture Experts Group MVD Multi-view Video plus Depth NoE Network of Excellence P2P Peer-to-Peer PANORAMA Package for New Operational Autostereoscopic Multiview Systems and Applications PIM Personal Information Management SMPTE Society of Motion Picture and Television Engineers TOF Time of Flight UHDTV Ultra High Definition Television UI User Interface W3C World Wide Web Consortium 참고문헌 [1] 김욱중, 김진웅, 국내에서의 3DTV 관련기술개발역사및현재동향분석, 한국방송공학회지, 12권 4호, 2007, pp.40-52. [2] 윤국진, 이광순, 엄기문, 허남호, 김진웅, 3DTV 기술표준화동향, TTA Journal, No.122, 2009, pp.92-97. [3] B. Javidi and F. Okano, Three-Dimensional Video and Display: Devices and Systems, Critical Review CR76, 2001. [4] DISTIMA, European RACE 2045 Project, http:// tnt.uni-hannover.de/plain/project/eu/distima/ [5] PANORAMA, European ACTS AC092 Project, http://tnt.uni-hannover.de/plain/project/eu/panorama/ [6] ATTEST, http://www.hitech-projects.com/euprojects/attest/index.htm 166 C 2010 한국전자통신연구원 166
정광희외 / 유럽 3D 기술동향 [7] 3DTV Network of Excellence, http://www.3dtvresearch.org/ [8] 3D MEDIA CLUSTER, http://www.3dmediacluster.eu/index.html [9] 3D4YOU Project, http://www.3d4you.eu/ index.php [10] MOBILE3DTV Project, http://www.mobile3dtv. eu [11] Stereo-video database, http://www.mobile3dtv. eu/stereo-video [12] Video plus depth database, http://www.mobile- 3dtv.eu/video-plus-depth [13] P. Merkle et al., Mobile3dtv: Technical Report, Adaptation and Optimization of Coding Algorithms for Mobile 3DTV, Nov. 2008, http://sp. cs.tut.fi/mobile3dtv/results/#technical-reports/ [14] D. Strohmeier et al., Mobile3dtv: Technical Report, Report on User Needs and Expectations for Mobile Stereo-video, July 2008, http://sp. cs.tut.fi/mobile3dtv/results/#technical-reports/ [15] 3DPHONE Project, http://the3dphone.eu/ [16] Holografika, http://www.holografika.com/ [17] Hannuksela Jari, Huttunen Sami, Sangi Pekka, and Heikkila Janne, Motion-based Finger Tracking for User Interaction with Mobile Devices, Visual Media Production, IETCVMP. 4th European Conf. on, 2007, pp.1-6. [18] http://www.cameramouse.org/ [19] Wobbrock Jacob O, Wilson Andrew D, and Li Yang, Gestures without Libraries, Toolkits or Training: A $1 Recognizer for User Interface Prototypes, Proc. of the 20th annual ACM symp. on User interface software and technology, 2007. [20] MUTED, http://www.cse.dmu.ac.uk/~mutedusr/index.html [21] HELIUM3D, http://www.cse.dmu.ac.uk/~heliumusr/impact.html [22] 2020 3D Media: Spatial Sound and Vision, http://www.20203dmedia.eu/ [23] REAL3D Project, http://www.digitalholography. eu/ [24] 3DPRESENCE Project, http://www.3dpresence. eu/ [25] VICTORY Project, http://www.victory-eu.org: 8080/victory [26] i3dpost Project, http://www.i3dpost.eu/ C 2010 한국전자통신연구원 167