02 가상현실 (VR) 영상제작기술및사례

02 가상현실 (VR) 영상제작기술및사례

Broadcasting Industry White Paper 02 가상현실 (VR) 영상제작기술및사례 지금까지영상콘텐츠제작기술의발전은 SD(Standard Definition) 에서시작하여 HD(High Definition) 와 FHD(Full High Definition) 를거쳐, UHD(Ultra High Definition) 에이르기까지화질을중심으로이루어져왔다. UHD에이르며육안으로는그이상의해상도로제작된콘텐츠와구분하는것이힘들어졌으며, 이에영상콘텐츠제작은화질이아닌촬영방식으로그방향을전환하고있다. 그첫시도는 3D(3 Dimensions) 였다. 제조사들은 3D TV를잇달아출시했으며, 3D 콘텐츠재생을지원하는스마트폰도출시했다. 그러나그시도는대중화되지못하고시도에그치고말았다. 3D 콘텐츠의효과가사용자들의기대에미치지못하였을뿐만아니라콘텐츠제작자들이 3D로영상콘텐츠를제작하지않았기때문이다. 즉, 3D 콘텐츠를중심으로건전한생태계가형성되지못했기때문에 3D는콘텐츠제작의주도권을획득하지못했다. 극장에서상영되는일부영화와애니메이션들에시청자의체감효과를극대화하기위한 3D 기법이적용되기도하지만, 이는국지적으로기술을활용하는수준일뿐대중성을확보했다고보기는어렵다. 3D에이어새로운촬영기술로떠오른것이바로실감형미디어 VR(Virtual Reality) 이다. VR은보통 Hologram 과 AR(Augmented Reality) 그리고 MR(Mixed Reality) 모두를포괄하는개념이지만, 촬영기술과관련해서는다수의카메라로촬영된영상을스티칭 (Stitching) 하여 360 전방향을감상할수있도록하는것을지칭하기도한다. 현재제조사, 플랫폼사업자및콘텐츠제작자등 CPNT 각영역의다양한사업자들을중심으로 VR 촬영과관련된연구와서비스출시가지속적으로이루어지고있으며, 시장에서도 VR 을차세대미디어의한축으로성장시키고자하는의지가보인다. 이에본고에서는 VR 촬영기술개괄과실제사용자들에게제공된사례들을살펴봄으 432

로써, 차세대미디어견인차로서 VR 의의미를확인해보고자한다. 1. VR 의개념및시장전망 VR 촬영기술및그적용사례를살펴보기이전에, VR이란무엇이며향후얼마나성장할수있을것인지에대하여먼저살펴보도록하자. VR은인간의모든감각을사용하여, 실제처럼느낄수있는통합된경험을지칭한다. 즉, Hologram, VR 및 AR 등기술적으로구분되는모든것들이사실상 VR인것이다. 이러한 VR을시장에서는구현기술에따라 VE(Virtual Environment), AR(Augmented Reality), AV(Augmented Virtuality), SR(Substitutional Reality) 및 MR(Mixed Reality) 등으로구분하기도한다. VE는일반적으로 VR이라는용어로통용되는기술이며, VR 카메라로촬영되거나 CG(Computer Graphic) 로제작된가상현실을 HMD(Head Mounted Disaply) 를착용하여경험하는것을지칭한다. AR은 Google Glass 및 < 포켓몬고 > 와같이전용 Glass 혹은스마트폰을활용하여현실세계위에가상의정보를덧입힌것을경험하는것이다. AV 는스크린골프장과같이현실에서취하는행동들이가상의공간에영향을주는경험을제공하는것이다. SR 및 MR은 VE와 AR의장점들을결합한형태의기술이다. SR은현실의인물혹은사물에특정한가상의이미지를덧입히고, HMD를착용하면해당사람혹은사물을가상에존재하는것과같이느낄수있는것이다. 마지막으로 MR은 HMD 같은특정장비를착용하지않고, 여러사람이동일하게현실세계에서가상의현실을체험할수있는기술이다. 01 02 03 04 방송영상 06 07 국내방송영상산업이슈국내방송영상산업현황세계방송영상산업현황방송영상플랫폼이용행태프로그램법제도와정책방송영상산업지원 05 433

Broadcasting Industry White Paper 그림 5-2-1 VR 의기술적분류 Virtual Environment ( 가상현실 ) 시 청 감각정보로가상세계를제공 - HMD(Head Mounted Display) 및동작인식장치들을활용 ex. Oculus Rift, Samsung Gear VR Augmented Reality ( 증강현실 ) 현실위에가상의정보를결합 - 사용자가눈으로보는현실세계에가상의물체를겹쳐보여주는기술 ex. MS Hololens, Google Glasses Virtual Reality ( 가상현실 ) Augmented Virtuality ( 증강가상 ) Substitutional Reality ( 대체현실 ) Mixed Reality ( 혼합현실 ) 가상위에현실의정보를결합 - 사용자의움직임을모니터에투영해주는기술 ex. Nintendo Wii, Golfzon VR 의몰입도와 AR 의 Interaction 을결합 - 현실의사람혹은사람에가상의 Image 를덧입혀, 가상현실경험을 Interaction 을강화 ex. Magic Leap VR 의몰입도와 AR 의정보전달력을결합 - 여러사람이동시에같은상황을체험, 원하는위치에 Image 를배치 ex. Magic Leap 이러한 VR시장이향후얼마만큼성장할지에대하여여러의견들이있으나, 일반적으로 2018 년이후급격하게성장할것이라는것이중론이다. 시장조사기관들은 VR 및 AR 을모두포괄한가상현실시장이 2020 년까지전세계적으로 1,500 억달러규모에이를것이라고전망한다. 초기에는 VR이시장을선도하나향후 AR이보다많은분야에적용됨으로써, AR이실질적인가상현실시장성장을견인할것이라는분석이다. 그러나이러한분석이 VR산업의중요성을폄하하는것은아니다. AR 기술을활용한보다큰시장의도래를이끌어내기위해서는실질적인 VR시장이우선형성되고건전하게운용되는것이필수적인전제가된다. 이는 VR이성공하지못할경우 AR에대한관심및투자자체가형성되기어려울수있기때문이다. 434

AR(Augmented Reality) VR(Virtual Reality) 그림 5-2-2 가상현실시장전망 $120B 2016 2017 2018 2019 2020 2.8 $30B Game Consumer AD Biz Film Voice 2016 2017 2018 2019 2020 1) 가상극장및다큐멘터리등 2) 교육, 헬스케어및군사용등 * 출처 : Digi-Capital(2015) 8.6 15.2 20.2 Film Data Theme Park 29.7 13.9 5.0 3.4 1.4 6.0 AR $120B Theme Park Commerce Niche HW VR $30B Games Films 1) HW Game ( 단위 : Billion Dollar) Theme Park Niche Markets 2) H/W 이와같이가상현실시장은 VR이선두에서개척해나아갈것이며, VR은게임과 VR 촬영콘텐츠를중심으로저변을확대할것이다. VR게임은현재기업과사용자들로부터가장높은관심을받고있는영역이다. Oculus, Vive(HTC 및 Steam) 및 Sony 등이 PC 및게임콘솔을기반으로시장을이끌어나가고있다. 그러나 VR게임은극대화된몰입감을제공하기위하여하드코어게임타이틀중심으로형성돼있으며, 고사양 PC와게임콘솔, 그리고다양한센서를설치해야만한다. 이에사용자들이구매하기에는비교적높은가격대에위치해있으며, 최소한으로설치에필요한공간이있어야하므로마니아층을중심으로시장이형성될것으로예상된다. 그러나 VR 촬영시장은엔터테인먼트및다큐멘 01 02 03 04 방송영상 06 07 국내방송영상산업이슈국내방송영상산업현황세계방송영상산업현황방송영상플랫폼이용행태프로그램법제도와정책방송영상산업지원 05 435

Broadcasting Industry White Paper 터리등다양한영역에적용가능하며스마트폰기반의경량형 HMD 에서도작동되는경 우가많기때문에, VR 게임에비하여초기시장침투가용이하다는장점이있다. 이에통신 사, 방송사및전문 VR 기업들이 VR 촬영콘텐츠시장에적극적으로진입하고있다. 2. VR 촬영의원리 일반적인 2D 영상은하나의카메라로촬영한영상신호를디지털신호로변환하여시청자에게전달하는과정을거친다. VR 영상촬영도일반영상과큰틀에서는동일한절차를거치지만, VR은 360 전방위영상을담아야하므로 5~6개의카메라를사용한다는점에서차이가있다. VR 영상을촬영하기위해서는 VR 촬영장비구성이선행돼야한다. VR 촬영장비는 VR 카메라와스티칭서버 (Stitching Server) 로구성된다. 우선 VR 카메라는 VR 전용으로제작된완성품카메라를사용하기도하지만, 기존제작된카메라들을결합하여사용하는것이일반적이다. 카메라는촬영목적에따라고프로와같은경량형부터 DSLR(Digital Single Lens Reflex) 고사양카메라에이르기까지다양한종류를사용한다. 이때여러개의카메라를결합하여 360 의영상들을모두촬영할수있도록해주는기구물이필요한데이것을리그 (Rig) 라고한다. 그림 5-2-3 VR 카메라및리그 * 출처 : Mooovr 스티칭서버는카메라에서촬영된영상을하나의 360 영상으로결합및변환하는장치이다. VR 영상은 4K 해상도이므로대용량이며, 이를실시간으로스티칭하여 VR 영상으로변환해주기위해서는고사양 PC가필요하다. 실제스티칭을수행하는것은해당 PC에서작동되는별도의솔루션 (Solution) 이며, 세계적으로 Videostitch사 바하나 (Vahana) 와 Kolor사 오토파노 (Autopanolar) 가널리사용되고있다. 이에더하여기존 436

이미지 (Image) 편집툴전문업체인 Adobe 사도 Premier Pro CC 에 VR 콘텐츠편집기능을추가하여출시하는등 VR 관련기능을지원하는소프트웨어의확대는지속될것으로전망된다. 그림 5-2-4 바하나및오토파노 * 출처 : Videostitch 및 Kolor * 출처 : Adobe 그림 5-2-5 Premier Pro CC 이스티칭솔루션들은실시간스트리밍 (Live Streaming) 지원여부에따라그특성을달리하기도한다. 비디오스티치사의 바하나 는스티칭과실시간스트리밍을동시지원하지만, 어도비사의 Premier Pro CC 는편집기능만을제공하기때문이다. 이에촬영기업혹은개인들은상황에따라솔루션을선택하여활용하며필요에따라서는복수의솔루션을결합하여이용하는경우도있다. 다음으로는스티칭의원리에대하여살펴보도록하겠다. 스티칭은말그대로바느질을한다는것이다. VR 영상을제작하기위해다수의카메라를통하여촬영된여러개의영상을이어붙여 360 를아우르는구형태의영상하나를생성하는과정을스티칭이라고한다. 아래그림에서보이는바와같이 VR 영상촬영을위해각방향에맞춰카메라를배치한다. 누락되는부분을최소화하기위해광각렌즈를사용하기도한다. 카메라의개수가증가할수록화면을촘촘하게촬영할수있으므로, 보다고품질의 VR 영상을제작할수있다. 이때촬영된영상은 HDMI 케이블 (High Definition Multimedia Interface Cable) 01 02 03 04 방송영상 06 07 국내방송영상산업이슈국내방송영상산업현황세계방송영상산업현황방송영상플랫폼이용행태프로그램법제도와정책방송영상산업지원 05 437

Broadcasting Industry White Paper 을통하여스티칭서버로전송되며, 스티칭서버는영상별중첩되는영역을인식하여퍼즐맞추기와같이각각의영상을하나로통합하는과정을수행한다. 서버에서자동으로통합해주는단계는정합정확도의한계가존재하기때문에, 통합된 VR 영상을사용자가수작업으로방향과간격에대한미세조정을진행하기도한다. 사용자가최종적으로세부스티칭방식을확정하면, 이후부터미리설정해둔규칙에맞추어카메라에서촬영되는영상을자동으로스티칭하여실시간으로 VR 동영상을생성하게된다. 서로다른카메라로부터촬영된영상이기때문에, 중첩되는부분을완벽하게결합하기는어렵고, 사용자의숙련도에따라 VR 영상의완성도가좌우되는경우가많다. 스치팅된영상은일반 2D 스크린에서는 360 가아닌좌우로길게펼쳐진모습으로확인할수있다. VR 전용플레이어를통하여 PC와스마트폰에서재생시손가락플리킹 (Flicking) 으로상하좌우로내비게이션 (Navigation) 을할수있으며, HMD로재생하면고개의움직임에따라실제해당공간에있는것같이몰입감높은경험을할수있다. 그림 5-2-6 스티칭의원리 촬영 스티칭 VR 영상 5 상단 180 스티칭서버 1 2 3 4 HDMI 케이블 4 3 좌우 90 좌우 90 좌우 90 좌우 90 1 2 6 6 하단 180 5 VR 영상 그림 5-2-7 스티칭된영상 ( 일반 Player 재생시 ) * 출처 : KT 438

3. VR 영상제작사례 국내 VR 영상제작및유통은주로통신사및방송사들을중심으로진행됐다. 첫번 째사례는 KT 의 VR 야구생중계및 genie VR 이다. KT 는세계최초로 VR 야구경기를 스마트폰및 HMD 를사용하여시청할수있는서비스를 2016 년 4 월출시했다. VR 카메 라는 1 루와 3 루응원단상에각 1 대씩설치했고, 소니 DSLR 카메라를사용함으로써보다 높은화질의영상을제공했다. VR 카메라에서촬영한영상은카메라옆에위치한스티칭 서버에서실시간으로 VR 영상으로제작한후 CDN(Content Delivery Network) 과무선 네트워크 (3G/4G 및 Wi-Fi) 를통하여시청자들의단말로전송했다. 시청방식은스마트폰 으로영상을재생하여플리킹으로 360 회전을하며시청할수있는단안모드와스마트 폰을 HMD 에장착하여보다몰입감있게시청할수있는양안모드두가지방식으로제 공됐다. 경기장내 VR 카메라를설치할수없다는규정으로응원단석에설치해야했고, 이로인하여실제선수들이경기하는모습은가까이서감상할수없다는제약이존재했 다. 그러나 VR 을통하여치어리더와팬들이응원하는환경에직접참여하는듯한경험을 제공하고, 세계최초로야구경기를 VR 로생중계했다는것에의의가있다고할수있다. * 출처 : KT 360 촬영 Camera #2 3 루응원석 그림 5-2-8 KT VR 야구중계 스마트폰을 Touch 하여 360 VR 야구영상보기 360 촬영 Camera #1 1루응원석 스마트폰을 HMD 에장착하여 360 VR 야구영상보기 01 02 03 04 방송영상 06 07 국내방송영상산업이슈국내방송영상산업현황세계방송영상산업현황방송영상플랫폼이용행태프로그램법제도와정책방송영상산업지원 05 439

Broadcasting Industry White Paper KT는 VR 야구생중계서비스출시이후 2016 년 6월국내최초로음악전문 VR 서비스 genie VR을출시했다. genie VR은 KT뮤직의음원서비스 genie 안에위치한 VR 전용관서비스로, 다양한아티스트들의 VR 영상을실시간혹은 VOD 로즐길수있도록제공했다. 주목할만한것은 2016 년 8월 나인뮤지스 A 의쇼케이스를 VR 생중계진행하며, 다중카메라활용및방송장비도입등을통하여 VR 촬영기술을일반 TV 방송수준으로끌어올렸다는것이다. 다중카메라활용은 4K Switcher 라는장비를사용하여촬영장안에설치된여러대의 VR 카메라로부터촬영된영상을번갈아가며편집하여한개의채널로제공하는것이다. 이에더하여지미집 (Jimmy Jib) 과같은방송전문촬영장비를도입하여다양한각도에서 VR 촬영이가능한환경을구축했다. 그림 5-2-9 genie VR * 출처 : KT 440

그림 5-2-10 지미집 ( 방송촬영장비 ) 다음으로는 VR과커머스를결합한현대백화점의 VR스토어 이다. 현대백화점은 2016 년 7월가상현실안에서백화점방문및상품탐색을 VR로할수있는신규서비스를출시했다. 현재판교점 ( 아디다스, 나이키, 캐나다구스, 몽블랑, 노비스, 파라점퍼스, 레페토 ), 신촌점 ( 에잇세컨즈 ) 및중동점 (5층전체 ) 을 VR로둘러볼수있도록구성했다. HMD를착용하고실제걸어다닐필요없이, 사용자가원하는방향을응시하면해당방향으로이동하는형태로제작됐으며원하는상품을일정시간동안응시하면보다상세히상품을살펴볼수있다. 아직가상현실에서결제까지지원되지않는다는제약사항은있으나, 가상현실을커머스와결합하여 2차원의평면스크린상의커머스를 3차원으로이동시켰다는것은시장의반향을불러일으킬것으로평가되고있다. 이미중국기업인알리바바 (Alibaba) 는 2016 년 10월 VR을통하여결제가가능한 VR Pay 을공개했다. 자체결제인증방식및보안시스템을적용했고향후생체인식기술을결합할경우보다안전한결제서비스를제공할수있을것이라고한다. 아직상용화시기에대한언급은없었으나, 이와같이 VR 쇼핑에서결제까지가능할경우 VR 커머스시장은보다확대될것으로전망된다. 01 02 03 04 방송영상 06 07 국내방송영상산업이슈국내방송영상산업현황세계방송영상산업현황방송영상플랫폼이용행태프로그램법제도와정책방송영상산업지원 05 441

Broadcasting Industry White Paper 그림 5-2-11 VR 스토어 * 출처 : 현대백화점 그림 5-2-12 VR Pay * 출처 : 알리바바 마지막으로 VR은부동산사업과도접목될수있다. 2016 년 11월현대힐스테이트는 HMD를착용하고오피스텔의내 외부를살펴볼수있는서비스를판교모델하우스에서선보였다. 이러한부동산관련 VR 콘텐츠는직접실사를촬영하거나, CG 기술을활용하여제작할수도있다. 이러한 VR 콘텐츠를활용할경우모델하우스를구축하고운영하는데필요한공간및비용을절감할수있을것으로기대된다. 442

* 출처 : 현대건설 그림 5-2-13 VR 모델하우스 4. VR 영상제작의한계와해결방법 VR 콘텐츠제작을활성화하는데가장큰걸림돌은바로콘텐츠의품질이다. 현재 VR 콘텐츠의화질은 4K 이나이는 360 를모두아우르는것이므로실제사용자들이시 청하는영상은 HD 에못미친다. 아래의표에서확인할수있는바와같이, 사람의눈은 1 만 7,250PPI(Pixel Per Inch) 이나, 현재 HMD 를통하여제공되는콘텐츠의 PPI 는 550 수준이다. 즉, 사람이실제눈 으로확인하는영상의약 1/30 품질로 VR 콘텐츠를감상하고있다는것이다. 이로인해 많은사용자는 VR 콘텐츠를모기장을사이에두고보는것같다는불만을제기하고있는 것이현실이다. 표 5-2-1 VR 콘텐츠품질비교 구분가로픽셀수세로픽셀수 화소수 ( 가로 세로 ) PPI (Pixel Per Inch) 사람의눈 (12K) 10,154 11,424 116,000,000 17,250 Galaxy S7(3.7K) 2,560 1,440 3,700,000 550 * 출처 : 가상현실세상이온다 응답속도지연에따른어지럼증및멀미또한콘텐츠품질저하를유발한다. VR 콘텐 츠는고개를상하좌우로움직이며 360 로영상을자유롭게감상할수있다는장점을갖 고있으나, 실제사용자가고개를움직이는것과영상이전환되는것사이에지연이발생 01 02 03 04 방송영상 06 07 국내방송영상산업이슈국내방송영상산업현황세계방송영상산업현황방송영상플랫폼이용행태프로그램법제도와정책방송영상산업지원 05 443

Broadcasting Industry White Paper 할경우인지부조화로불편함을느낄수있다. 이상적으로지연율은 5msec 이하여야하나대부분의 VR 콘텐츠들은 20msec 정도로그간극이크다. 이런제약들을극복하기위한명확한해결책이아직까지등장하지는못했으나, 다양한시도가이루어지고있다. 우선화질개선을위하여실제사용자가응시하고있는화면에만고해상도의영상을송출하고주변영상들의화질을상대적으로낮춤으로써전체적인콘텐츠용량을줄이고자하는것이다. 또한지연율을최소화하기위해사용자의고개움직임을예측하는알고리즘을개발한다거나, 콘텐츠전송시간자체를단축하기위한연구들이활발히이루어지고있다. 단기간에이모든문제들이해소될수는없겠지만, 다양한시행착오를통하여 VR 콘텐츠의품질은점진적으로개선될것으로기대된다. 지금까지살펴본바와같이가상현실은새로운미디어경험을제공함으로써, 기업과사용자모두새로운가치를획득할수있는기회를창출할수있다. 엔터테인먼트영역에적용하여재미를배가하는것뿐만아니라, 쇼핑및부동산같은다양한영역에가상현실기술을접목함으로써서비스이용편의성및운영효율성을향상시킬수있는것이다. 물론현재의기술적제약사항들로인해, 단기간내 VR 저변이급속히확대되기는어려울것이다. 그러나초기단계에서는콘텐츠기획및촬영기술등을고도화시켜화질과관련된이슈들을극복하고이후고품질의 VR 콘텐츠를제작및유통한다면, VR은대한민국차세대미디어산업의프론티어로서상당한역할을수행할수있을것으로기대된다. 444