44 특집 다시점카메라와깊이카메라를이용한 3 차원실감방송콘텐츠제작 호요성 ( 광주과학기술원 ) Ⅰ. 서론 2009 년개봉한영화 아바타 이후, 국내외에서 3차원영상의수요가폭발적으로증가하고있다. 이제 3차원영상은영화뿐아니라, 각가정의 TV나디지털카메라, 모바일단말기등에이르기까지폭넓게보급되고있다. 일부선진방송국들은이미 3차원방송을위한시스템을구축하고 3차원방송서비스를제공하고있으며, 3차원입체상영이가능한스크린의숫자도점점늘어나고있다. 또한 타이타닉 이나 스타워즈 와같은인기영화들은 3차원으로변환되어재개봉을앞두고있고, 2012 년런던올림픽과같이전세계가함께시청하는스포츠중계콘텐츠는이미 3차원촬영, 전송및재현이예고되어있다. 따라서, 이제는 3차원영상의시대가시작되었다고해도과언이아니다. 이러한 3차원영상에대한관심과연구는기원전 300 년경그리스의수학자유클리드 (Euclid) 가양안시차에의한 3차원정보인식개념을정립하면서시작되었다. 이탈리아의레오나르도다빈치 (Leonardo Da Vinci) 역시인간의시각시스템이거리정보를인지한다는것을밝혀냈다. 이후사진기술이발달하면서입체경 (stereoscope) 과양안식입체카메라, 적색과청색을사용하여시차를가지는두장의영상을얻는애너글리프 (anaglyph) 등이개발되었고, 3차원영상은대중들에게조금더친숙하게다가왔다. 1900 년대에이르러서는 TV 방송이시작되면서극장의침체기극복을위한 3차원영화가만들어졌으나, 기술의한계때문에큰인기를얻지못했다 [1]. 최근들어, 3차원입체영상이다시크게주목을받게된가장큰이유는바로기술의발전이다. 영상의촬영과편집뿐아니라, 부호화와전송, 그리고 3차원디스플레이장치에관한기술은일부선진국을중심으로지난수년간눈부신발전 을이룩해왔다. 3차원영상을찍는전문촬영장비와 3차원스튜디오기술이개발되었고, 3차원영상을편집하는영상처리기술또한많이발전했다. 컴퓨터그래픽스기술은실사영상과융합되어더욱실감나는장면을만들어낼수있다. 많은양의정보를효과적으로압축하고전송할수있는기술, 그리고다양한형태의 3차원디스플레이의개발과상용화를통해 3차원영상은이제대중앞에한걸음더다가서게되었다. 이와같이 3차원영상기술이발전하고, 3차원영상에대한관심이높아지고있지만, 아직까지는많은수요를충족시킬만큼양질의 3차원콘텐츠가생산되지못하고있다. 이는고가이면서복잡한촬영장비와촬영시에발생하는많은제약사항, 그리고편집의어려움및작업시간등을그이유로들수있다. 2003 년 8월광주과학기술원에설립된실감방송연구센터에서는 3차원실감방송에대한연구개발을수행하고있다. 다시점입체영상을이용하여사용자에게실감나는방송서비스를제공해줄수있는촬영시스템과스튜디오를구축하고, 촬영, 편집, 부호화등 3차원실감방송시스템을위한요소기술을개발해왔다. 본논문에서는광주과학기술원실감방송연구센터에서 3 차원실감방송콘텐츠촬영을위해개발한 3차원카메라시스템에대해서소개한다. 먼저, 3차원입체영상촬영시스템의개요와동향을살펴보고, 실감방송연구센터에설치된카메라시스템을소개한다. Ⅱ. 3 차원입체영상촬영시스템 3 차원영상의촬영을위해서는일반적으로두대이상의 136 다시점카메라와깊이카메라를이용한 3 차원실감방송콘텐츠제작
45 카메라가필요한데, 이는사람이인지할수있는입체효과가양안시차에서비롯되기때문이다. 따라서한대의디스플레이를시청자가볼때, 왼쪽눈과오른쪽눈으로입력되는영상이올바른시차를가진다면 3차원입체감을느낄수있는것이다. 본절에서는 3차원입체영상을촬영을위한대표적인장비를간략히살펴본다. 1. 양안식카메라시스템양안식 (stereosciopic) 카메라시스템은가장기본적인 3 차원입체영상촬영시스템으로서사람의시각시스템과매우유사하다. 카메라두대를수평방향으로일정한간격으로배치하여영상을촬영한다. 기존의양안식카메라는카메라두대를이용하여구성하는경우가많았으나, 촬영의동기화문제, 색상차이및수평유지문제등의문제점을가지고있었다. 최근에이러한단점을보완하여양안식촬영전용카메라들이많이출시되고있다. < 그림 1> 은양안식영상촬영을위한카메라를보여준다. < 그림 1-> 는 Panasonic 에서출시한양안식캠코더로 HD 급화질의양안식영상을초당 30프레임의속도로촬영할수있다 [2]. < 그림 1-> 는 PointGrey 에서개발한 Bumblebee 라는소형양안식카메라이며, 640x480 해상도의영상을초당최대 48프레임의속도로촬영할수있다 [3]. 위와같은양안식전용카메라는영상을촬영한후별도의처리과정없이직접양안식디스플레이를통해입체영상을볼수있다. 또한크기나무게등의이점으로실내외를불문하고원하는장면을촬영할수있다는장점도있다. < 그림 1> 양안식전용카메라 2. 다시점카메라시스템다시점 (multi-view) 카메라시스템은세대이상의카메라를일정한간격으로배치하여 3차원장면을촬영하는카메라시스템을말한다. 카메라를배열하는형태에따라평행형과수렴형카메라배열로나눌수있고, 카메라를한행, 또는여러행을배치하여사용한다. 따라서카메라의개수는세대부터수십대까지증가할수있으며, 각카메라의동기화를위 < 그림 2> 다시점카메라시스템한동기화장치와많은양의영상데이터를저장할저장장치등이필요하다. 다시점카메라시스템은양안식카메라시스템에비해넓은범위의장면을촬영할수있으며, 시청자의시점위치에따라자연스럽게변하는더실감나는입체영상을제공할수있다. 하지만카메라의개수가많아진만큼, 촬영과편집과정이매우복잡하며, 큰시스템으로인해실외촬영이나카메라의위치를움직이는촬영에제한이있다. < 그림 2> 는 1차원과 2차원으로각각평행하게배열된다시점카메라시스템을보여준다 [4]. 3. 깊이카메라시스템앞에서설명한두종류의카메라시스템을이용하여촬영된영상을사용하여보통 3차원장면의깊이정보를예측하여사용한다. 스테레오정합 (stereo matching) 은시차를가지는두장의영상을이용하여 3차원장면의깊이정보를구하는작업으로써, 결과로얻은깊이정보와기존의색상영상을사용하면새로운시점에서의영상을생성할수있다. 그런데양안식영상, 혹은다시점영상을이용하여장면의깊이정보를정확하게예측하기란쉬운일이아니다. 물체에의한가려짐때문에한쪽시점에서만보이는영역이나무늬가없는영역등에서는정확한깊이정보를찾기가상당히어렵기때문이다. 깊이카메라는 Time-of-flight (TOF) 기술을이용하여장면의깊이를측정하여스테레오정합의취약점을보완할수있다. TOF 의원리는카메라의깊이센서에서나간빛이물체에반사되어돌아오는시간을계산하여장면의깊이를실시간으로측정하는것이다. < 그림 3> 은 3DV 에서개발된깊이카메라인 ZCam 을보인것인데, 이는한대의비디오카메라에깊이측정센서가결합되어촬영하는 3차원장면의색상영상과깊이영상을동시에실시간으로획득할수있다 [5]. 이러한장점에도불구하고깊이카메라의사용은매우제한적이다. ZCam 의경우, 출력되는깊이영상에다량의잡음이포함되어있으며, 적외선특성에의해특정물체혹은특정색상에대해깊이측정이불가능하다. 또한촬영거리가매우제한되어있기때문에, 실내의작은스튜디오환경에서 2011 년 2 월전자공학회지제 38 권제 2 호 137
46 1. 10 시점카메라시스템 < 그림 3> ZCam 만촬영이가능하다. 최근 PMD Technology, MESA Imaging 등에서잡음, 촬영제약조건등을개선한깊이카메라가출시되었으나, QCIF 급의작은출력해상도가여전히한계로남아있다. 4. 혼합형카메라시스템혼합형 (fusion) 카메라시스템은앞에서소개한양안식 / 다시점카메라와깊이카메라를함께사용하여구성한카메라시스템을말한다. 이러한카메라시스템은상호보완적인특성을지니고있다. 이를테면, 깊이카메라에서획득된데이터는양안식카메라에서의스테레오정합의정확도와속도개선을위한정보로사용한다. 최근이러한혼합형카메라시스템관한연구가활발히진행되고있으며, < 그림 4> 와같이주로양안식카메라와한대의깊이카메라를사용한다 [6]. 그러나혼합형카메라시스템을이용하려면서로다른카메라에서획득되는입력영상사이의상관도를높여야한다. 또한이종카메라사이의동기화문제등기계적인제약도극복해야한다. < 그림 4> 혼합형카메라시스템 < 그림 5> 는 10대의카메라를평행하게배열하여구성한 10 시점카메라시스템을보여준다. 각카메라는네트워크장비를통해동기화되어있으며, 1024x768 해상도의영상을초당 30 프레임의속도로촬영할수있다. 평행카메라배열에서카메라사이의간격은 6.5cm 이며, 카메라마운트를이용하여촬영방향을조절할수있다. 촬영된 10시점의영상은몇단계의처리과정을거쳐서 3 차원실감방송콘텐츠로사용될수있다. 먼저카메라보정 (camera calibration) 을통해각카메라의변수 (camera parameters) 를획득하는데, 이는공간상에서카메라의위치와방향, 그리고내부특성을나타내는행렬로구성되어있다. 이렇게구해진카메라변수를이용하여영상정렬 (image rectification) 을수행하는데, 영상정렬은카메라의수동배치에따라영상에나타나는오차를최소화한다. 즉, 카메라의높이차이, 방향과수평위치차이로인해일정하지않게나타나는시점사이의변이값이나수직좌표값에발생하는오차를줄인다. 카메라의색상특성차이와촬영환경에따른조명차이로생기는시점간색상차이를최소화하기위해색상보정 (color correction) 이필요하다. 색상보정은크게세가지기술로분류되는데, 영상의히스토그램을기반으로하는방법, 영상의공통된특징점을추출하여사용하는방법, 색상차트를미리촬영하여사용하는방법이있다. 이밖에도영상의잡음을제거하고, 서로다른초점을일치시키는등, 촬영된영상을여러단계로처리하여 3차원실감방송콘텐츠로직접사용할수있으며, 스테레오정합을통해얻은깊이정보를이용하여중간시점의영상을만들어좀더조밀한간격을가진다시점콘텐츠로변환할수있다. < 그림 6> 은다시점카메라시스템을사용하여실감방송연구센터의가상스튜디오에서촬영된 Newspaper 라는시퀀스이다. 이시퀀스는 MPEG(moving picture experts group) 의 3차원비디오 (3D video, 3DV) 표준화그룹에서채택되어 3차원영상처리와관련된여러실험에사용되고있다 [7]. Ⅲ. 다시점카메라와깊이카메라를이용한 3 차원실감방송콘텐츠제작 본절에서는광주과학기술원실감방송연구센터에서 3차원실감방송콘텐츠제작을위해구축한카메라시스템을소개하고, 각시스템에서콘텐츠를생성하는방법과결과를간단히설명한다. < 그림 5> 10 시점카메라시스템 138 다시점카메라와깊이카메라를이용한 3 차원실감방송콘텐츠제작
47 < 그림 8> 복합형카메라시스템에서생성된 3 차원실감방송콘텐츠 < 그림 6> Newspaper 시퀀스 시퀀스의한장면 영상정렬결과 2. 복합형카메라시스템 < 그림 7> 에나타난복합형 (hybrid) 카메라시스템은다섯대의고화질카메라와 ZCam 을결합하여구성되어있다. 다섯대의카메라는 HD급의색상영상을촬영하고, ZCam 은 SD급의색상및깊이영상을촬영한다. 모든카메라에동기화신호를보내기위해동기화신호재생기가연결되어있다. 카메라사이의수평간격은약 25cm, 색상카메라와깊이카메라간수직간격은약 40cm 이다. 복합형카메라시스템에서촬영된다시점색상영상에대해서는앞절에서설명한다시점영상처리방법이유사하게적용된다. 그러나깊이카메라영상에대해서는별도의처리과정이필요하다. 우선깊이카메라를이용하여측정한거리정보를실제의거리정보에맞게보정하는깊이보정 (depth calibration), 작은해상도의깊이카메라영상을색상영상해상도와맞추기위한 3차원투영 (3D warping) 과정이필요하다. 그다음단 < 그림 9> 사용자상호작용 3 차원실감방송콘텐츠및시연모습 계로색상영역분할기반의스테레오정합을사용하여고화질의깊이정보를생성하고, 생성된깊이정보를이용하여여러중간시점영상을합성하여 3차원실감방송콘텐츠를얻을수있다. < 그림 8> 은복합형카메라시스템에서얻어진색상영상과고화질깊이정보맵을보여준다 [8]. 복합형카메라시스템은사용자상호작용서비스가가능한실감방송콘텐츠제작에도사용될수있다. 광주과학기술원실감방송연구센터에서는 2007 년다시점영상과깊이영상, 컴퓨터그래픽스모델, 다채널오디오, 촉각정보서비스를결합한실감방송콘텐츠를제작하여시연했다. 홈쇼핑을주제로한시연에서, 복합형카메라시스템에서생성된 3차원입체영상과컴퓨터그래픽스모델이합성되고, 그래픽스모델에대한촉감정보가제공되며, 다채널오디오가재생되었다. 시청자는마치현장에있는것과같이물체에대한입체영상과입체적인소리, 그리고물체에대한느낌까지전달받을수있다. < 그림 9> 는복합형카메라시스템으로구현한사용자상호작용형 3차원실감방송콘텐츠와시연모습을보여준다 [9]. 3. 다시점깊이카메라시스템 < 그림 7> 복합형카메라시스템 카메라시스템구성 촬영된영상 < 그림 10> 은다시점깊이카메라 (multi-depth camera) 시스템을보여주고있는데, 이는다섯대의고화질색상카메라와다섯대의소형깊이카메라로구성되어있다. 다시점깊이카메라시스템은복합형카메라시스템과유사하지만, 소형카메라를사용하여카메라사이의수평및수직거리를줄였고, 각시점마다깊이카메라를별도로설치하여효율적으로장면의깊이정보를획득할수있다. 카메라 2011 년 2 월전자공학회지제 38 권제 2 호 139
48 < 그림 11> 다시점깊이카메라시스템에서생성된 3 차원실감방송콘텐츠 초기깊이정보를기반으로하여색상영상들사이에스테레오정합을수행한결과를 < 그림 11> 에나타내었다. 따라서색상영상과깊이정보를이용하여중간시점의영상을합성하면고품질의 3차원실감방송콘텐츠를생성할수있다 [11]. < 그림 10> 다시점깊이카메라시스템 카메라시스템구조 촬영된영상 사의간격은수평방향으로약 6.5cm 이며, 수직방향으로도약 6.8cm 로매우작다. 다시점카메라와깊이카메라는각각동기화장치에연결되어있으며, 현재깊이카메라에서사용할수있는 TOF 주파수가세개로제한되어있어서동영상을촬영할때에는깊이카메라를동시에세대밖에사용할수없는단점이있다. 다시점깊이카메라시스템에서 3차원실감방송콘텐츠를제작하는과정은앞에서소개한복합형카메라시스템과유사하다. 하지만카메라의특성및배치가다르므로몇가지처리과정더필요하다. 다시점깊이카메라시스템에사용된깊이카메라는 MESA Imaging의 SR4000으로, 작은크기의카메라를이용하여잡음에강인하고안정적인깊이영상을실시간적으로얻을수있다 [10]. 그러나해상도가 QCIF 급 (176x144) 으로매우작고, 촬영된영상에렌즈왜곡이많이발생한다. 따라서함께촬영되는색상영상과의상관도를높이기위해서는이렌즈왜곡을줄여야하며, 복합형카메라시스템에서보다더커진해상도차이를극복해야한다. 다시점깊이카메라시스템에서 3차원실감방송콘텐츠를생성하기위해서는역시깊이맵생성과중간시점영상합성이필요하다. 깊이카메라에서획득된깊이정보를 3차원투영하여스테레오정합을위한초기값으로이용한다. 복합형카메라시스템에서는깊이카메라와색상카메라간간격이넓을뿐아니라, 한시점의깊이영상만을사용했기때문에투영결과에오차가많이발생했지만, 다시점깊이카메라의경우에는세개시점의깊이영상을제공하고, 카메라사이의간격도상대적으로좁은편이기때문에투영으로인한오차를상당히줄일수있다. Ⅳ. 결론 본논문에서는다시점카메라와깊이카메라를이용한 3 차원실감방송콘텐츠제작의기술동향을소개했다. 3차원입체영상에대한관심이폭발적으로높아지고있지만, 고품질의 3차원콘텐츠를촬영하고편집하기어렵기때문에급증하는 3차원콘텐츠의수요를감당하기어렵다. 이러한상황에서광주과학기술원실감방송연구센터에서는다시점카메라와깊이카메라를사용하여 3차원실감방송콘텐츠를제작하는방법을연구해왔다. 그결과사용자에게생생한입체감과실감나는방송콘텐츠를제공할수있는시스템을구축했으며, 이를이용하여양질의 3차원실감방송콘텐츠를제작하는다양한기술도개발하고있다. 감사의글 본연구는지식경제부및정보통신산업진흥원의대학 IT연구센터지원사업의연구결과로수행되었습니다 (NIPA-2011- (C1090-1011-0003)). 참고문헌 [ 1 ] 호요성, 김성열, 3DTV 3차원입체영상정보처리, 두양사, 2010. [ 2 ] http://catalog2.panasonic.com. [ 3 ] http://www.ptgrey.com. [ 4 ] ISO/IEC JTC1/SC29/WG11 M12338, Test Sequences with Different Camera Arrangements for Call for Proposals on Multi-view Video Coding, July, 2005. [ 5 ] ZCam Product Data Sheet, StudioGE, 2009. [ 6 ] S.A. Gudmundsson, H. Aanaes, and R. Larsen, Fusion of Stereo Vision and Time-of-Flight Imaging 140 다시점카메라와깊이카메라를이용한 3 차원실감방송콘텐츠제작
49 for Improved 3D Estimation, International Journal of Intelligent Systems Technologies and Applications, Vol.5, No.3, pp.425-433, Nov., 2008. [ 7 ] ISO/IEC JTC1/SC29/WG11 M15419, Multiview Video Test Sequence and Camera Parameters, April, 2008. [ 8 ] E.K. Lee and Y.S. Ho, Generation of High-quality Depth Maps using Hybrid Camera System for 3-D Video, Journal of Visual Communications and Image Representation (JVCIR), Vol.21, Issue 8, pp.501-512, Dec., 2010. [ 9 ] 호요성, 김성열, 사용자상호작용서비스를위한실감방송기술, 방송공학회지제13권, 제2호, pp.45-56, 2008.03. [10] http://www.mesa-imaging.ch. [11] Y.S. Kang, E.K. Lee, and Y.S. Ho, Multi-Depth Camera System for 3D Video Generation, Proc. of International Workshop on Advanced Image Technology (IWAIT), pp.44(1-6), Jan., 2010. 호요성 1981 년 2 월서울대학교전자공학과학사. 1983 년 2 월서울대학교전자공학과석사. 1989 년 12 월 Univ. of California, Santa Barbara, Department of Electrical and Computer Engineering, 박사. 1983 년 3 월 ~1995 년 9 월한국전자통신연구소선임연구원. 1990 년 1 월 ~1993 년 5 월미국 Philips 연구소, Senior Research Member. 1995 년 9 월 ~ 현재광주과학기술원정보통신공학부교수. 2003 년 8 월 ~ 현재광주과학기술원실감방송연구센터센터장. < 관심분야 > 디지털신호처리, 영상신호처리및압축, 멀티미디어시스템, 디지털 TV 와고선명 TV, MPEG 표준, 3 차원 TV, 실감방송 2011 년 2 월전자공학회지제 38 권제 2 호 141