10 특집 : 360VR 및몰입형미디어 특집 360VR 및몰입형미디어 360VR 영상제작기술동향 남승진 / KBS 요약 360VR은기존의미디어와차별화된현실감을제공하는장점으로인해차세대미래미디어의대표주자로주목받고있다. 본고에서는이러한 360VR 영상의획득과제작에사용되는장비및기술을살펴보고, 360VR 콘텐츠의제작사례를기반으로몰입형콘텐츠제작기술이방송및기타장르에어떻게융합되고있는지알아보았다. 또한, 몰입형콘텐츠제작의제약요소를살펴보고이에대한대안및몰입형미디어의발전방향을알아보았다. I. 서론 360VR 영상은다수의카메라로 360도전방향을동시에촬영한후, 촬영된영상들을중복되거나끊어짐없이하나의카메라로촬영한것처럼스티칭 (stitching) 한영상이다. HMD를착용하고 360VR 영상을시청하면현실세계와유사한몰입 감을느낄수있다. 360VR 은다양한앵글의영상을하나의채널에동시에제공하는멀티앵글서비스와비교될수있다 [1]. 멀티앵글서비스는 PD가아닌시청자가직접원하는앵글의영상을선택하여시청함으로써, 시청자의결정권을확대할수있는장점이있지만, 다양한각도의앵글중에서시청자가실시간으로특정영상을선택하는것은쉽지않다. 특히, 생방송이진행중일때에는중요한장면을놓치는상황이자주발생할수있어, PD가제공하는최적의영상을시청하는것보다실용성이떨어질수있다. 반면, 360VR 미디어는고개 ( 시선 ) 를돌리는자연스러운동작으로시청자가전체영상에서원하는영역을직관적으로선택할수있는인터페이스를구현하였다. 현실세계와유사한인터페이스를통하여, 시청자는눈앞으로촬영현장이그대로옮겨온것과같은생생함을느낄수있다. 몰입형미디어는여 10 방송과미디어제 23 권 4 호
360VR 영상제작기술동향 323 행, 다큐멘터리, 공연등다양한장르에서기존의 2차원적인영상보다훨씬뛰어난현실감을시청자에게제공할수있을것으로기대된다. 방송및영화제작사들은기존의콘텐츠제작과정에 360VR 촬영장치등을투입하여, 예고편이나홍보영상등을몰입형미디어로제작하고이러한뉴미디어에대한시장성을시험하고있다. 또한, 360VR 영상속의가상카메라를다양하게애니메이션시켜 TV 영상물의특수효과등으로사용하는기술도개발되고있다. 360도촬영장치를사용하여몰입형콘텐츠를제작하는방식은다수의카메라영상을스티칭하는작업이매우중요한데, 이작업을원활히수행하기위해서는각영상의차이를보정하는작업이선행되어야한다. 360VR 카메라는 2대이상의카메라로구성되는데, 각각의카메라의광학시점이한점에일치되지않으면, 피사체의거리에따라시차 (parallax) 가발생한다. 이러한시차가스티칭라인에존재하면자연스러운스티칭이어렵게된다. 이러한상황을피하기위해서는촬영할때, 스티칭라인에다양한거리의피사체가걸쳐있지않도록주의해야한다. 스티칭라인이깨끗해야하는고품질 360VR 영상물의후반작업과정에서위와같은상황이발견되면, 픽셀단위로스티칭라인을수동으로보정할수밖에없다. 스티칭작업은기존의콘텐츠제작단계에는없었던것으로많은시간과비용이소모되어 360VR 의대중화에장애가되고있다. 이러한단점을극복하기위하여일체형 360도카메라가출시되고있는데, 일체형 360도카메라는복잡한스티칭과정을내부적으로처리하여콘텐츠제작시간과비용을획기적으로줄여준다. 다만, 일체형카메라는작은렌즈를사용하여화질이떨어지는경우가많으므 로, 양질의 360VR 콘텐츠를제작하기위해서는보다복잡하고전문적인촬영장비와후반작업이필요한상황이다. 최근에는좌우한쌍의카메라에 180 도어안렌즈를장착하여카메라의앞쪽 180도영상만을촬영하는 VR180 방식이등장하였다 [2]. VR180 영상은시청자의관심도가낮은뒷면의촬영을포기하는대신에앞쪽 180도영역을고해상도의입체영상으로제작하여제작효율성및몰입감을증가시켰다. II. 360VR 촬영장치및제작기술현황 1. 360VR 카메라 상업용 360VR 영상제작에가장많이사용되는카메라는리그 (rig) 형 360도카메라이다 (< 그림 1>). 리그형 360도카메라는범용카메라여러대를특수한리그에장착하는구조이다. 촬영된영상간의스티칭이용이하도록카메라사이의간격을최소화하고있다. 카메라의개수가적을수록스티칭라인이줄어들어촬영및편집이용이하고관리와운용성도좋아진다. 그러나카메라수를줄이면화각이큰광각렌즈를사용해야하기때문에주변부화질이떨어지는단점이있다. 리그방식 360VR 카메라로고품질의상업적콘텐츠를제작하기위해서는모든카메라의셔터타임을일치시키는동기화솔루션이필요하다 [3]. 움직임이큰영상에서카메라간에셔터지연이발생하면눈에거슬리는영상차이가나타나고, 이차이는깔끔한스티칭을불가능하게한다. 소규모프로덕션에적합한 GoPro Omni 는 6대의액션카메라를 2018 년 10 월 11
324 특집 : 360VR 및몰입형미디어 (a) GoPro Omni (b) NextVR 3D360VR < 그림 1> 리그형 360 도카메라 탑재하는리그와펌웨어업데이트를통해모든카메라를동기화할수있는솔루션을제공한다. NextVR 은고가의방송용카메라리그와실시간솔루션을사용하여고품질의몰입형미디어스트리밍 서비스를하고있다. 이와같이다수의카메라를장착한리그방식 360VR 카메라는화질이뛰어난장점이있지만복잡한구조와전문적인스티칭작업이필요하기때문에일반인보다는전문가에게주로 (a) 삼성기어 360 (b) LG360 (c) Ricoh Theta V360 < 그림 2> 일체형 360 도 VR 카메라 12 방송과미디어제 23 권 4 호
360VR 영상제작기술동향 325 사용되고있다. 전문콘텐츠제작영역과는별개로일반대중을위한일체형 360도카메라도다수출시되고있다. 일체형 360도카메라는동기화가되어있고, 자동스티칭솔루션이제공되며, 단일저장매체를사용하는등사용편의성이뛰어나기때문에, 일반인도손쉽게 360VR 콘텐츠를제작할수있다. 저가의일체형카메라는해상도가낮고저조도환경에서화질이떨어지는문제가있지만, 빛이충분한야외에서는만족할만한품질의결과물을보여준다. 일체형카메라덕분에일반인들도많은수의몰입형콘텐츠를제작하여유튜브 (Youtube), 페이스북 (facebook) 등에공유하고있다. 2. 3D 360VR 제작 360VR 이몰입형미디어로주목받았지만, 깊이감의부재로현장의느낌을충실하게재현하기에는점차한계를드러내고있었다. 다수의콘텐츠및장비제작사들은이러한단점을인식하고몰입형입 체콘텐츠인 3D 360VR 서비스로차별화를시도하고있다. HMD는기본적으로양안시야가분리되어입체영상시청에최적의구조를지닌다. 하지만 HMD 에공급할 360VR 영상을입체로제작하기위해서는리그제작및촬영, 그리고편집과정에서 2D 보다훨씬고난도의작업을수행해야한다. 또한, 고품질 360VR 입체영상을시청하기위해서는 HMD 단말의해상도및성능도좀더개선되어야한다. < 그림 3> 에 4K 360VR 영상을 WQHD(Wide Quad HD, 2560*1440) 해상도의 HMD로시청할때의시청해상도를표시하였다. 4K 360VR 영상의시야각 100 에는가로로 1066개의콘텐츠픽셀이대응된다. WQHD 디스플레이는좌, 우눈에각각 1280*1440 픽셀이할당되므로해상도면에서 4K 360VR을재생하기에는충분하다. 그러나이러한해상도는사람눈의최대분해능인 60 pixel/degree 에는미치지못한다. 대부분의사람들은 WQHD 해상도의 HMD에서영상을시청할때픽셀간의경계인격자모양이보이는도어이펙 < 그림 3> 4K 360VR 영상의시청해상도 2018 년 10 월 13
326 특집 : 360VR 및몰입형미디어 트 (door effect) 현상을경험하게된다 [4]. 도어이펙트는입체영상에서자연스러운깊이감을감소시키는 카드보드효과 를발생시킨다 [5]. 이러한문제들은 HMD의디스플레이및콘텐츠의해상도가증가하면점차개선될것이다. 일례로디스플레이가 4K(3840*2160) 급으로향상되고. 6K급의콘텐츠가대중화되면한쪽눈에보이는가로픽셀수는 50% 정도증가하게된다. 3D 360VR 의좌, 우영상의스티칭라인에서양안불일치가발생하고이로인해눈의피로가발생할수있다. 이러한문제는영상보정및처리를통해서해결하기어렵기때문에, 3D 360VR 촬영시에는스티칭라인의위치에주요피사체가오지않도록하는것이더욱중요하게된다. 3. VR180 제작구글은 2017 년 6월유튜브에서 VR180 형식지원을시작한다고발표하였다 [6]. VR180 은대부분의사용자가시청하지않는후면부영상을포기하고전면부영상을어안렌즈가장착된좌, 우 1쌍의카 메라로촬영하여입체영상으로제작하는방식이다. VR180 은 < 그림 4> 의 (a) 와같이카메라의구조가단순하며, 360도 2D 콘텐츠인 360VR 과비교하여차이점이뚜렷하다. VR180 은 180도이상의어안렌즈영상을그대로사용하기때문에스티칭작업을하지않는다. 따라서 360VR 에비해후반작업시간이획기적으로단축되고, 기존의편집장비를그대로이용할수있다. VR180 은카메라뒷면을촬영하지않기때문에좌우 90도 ( 합계 180도 ) 너머로고개를돌리면장면이이어지지않고블랙이표시된다. 이것은사방으로탁트인경치를감상하는경우에는단점이되지만, 공연과같이굳이무대반대쪽관개석의영상을보여줄필요가없는상황에는문제가되지않는다. 오히려촬영관계자나인위적인장치등을숨기고싶은경우에는 VR180 이더좋은해결책이될수있다. 인텔은 < 그림 4> 의 (b) 와같이다수의카메라를사용하는파노라마식 180도카메라를사용하는 TrueVR 시스템을개발하였다. 이론적으로다수의카메라를사용하면, 180도화각전체에대하여보다균일한입체감을표현할수있지만, 스티칭라인 (a) NextVR 180 도카메라 (b) Intel TrueVR 180 도카메라 < 그림 4> 180 도 3DVR 카메라 14 방송과미디어제 23 권 4 호
360VR 영상제작기술동향 327 (a) Z Cam K1 Pro (b) YI Horizon < 그림 5> 일체형 VR180 카메라 으로인해입체영상특유의어지러움이발생할가능성도크다. 현재두방식은오큘러스플랫폼등을통하여모두서비스되고있는데, 서비스되는콘텐츠를통해서각각의특징을확인할수있다. VR180 은구조가단순하여 < 그림 5> 와같이사용이편리한일체형카메라가다수개발되고있으며, 유튜브등에서도 VR180 콘텐츠가빠른속도로증가하고있다. 4. 기술적이슈몰입형콘텐츠가대중화되기위한제작부분에서의이슈를살펴보고자한다. 앞서기술한바와같이, 전문적인 360VR 콘텐츠제작이활성화되기위해서는고품질리그카메라의조작성이우선적으로개선되어야한다. 이를위해서는모든카메라의셔터및노출, 색상등의동기화가내부적으로구현되어야한다. 콘텐츠의현실감을높이기위해서는양안시차에의한입체감이표현되어야하는데, 360VR 영상은스티칭오류로인해입체영상에서시각적부작용을 초래할확률이높다. 노키아 (Nokia), 지캠 (Z Cam) 등이고품질의일체형 3D 360VR 카메라를출시하였지만, 장비가고가이고복잡한구조로인해제작현장에서본격적으로사용하기에는한계가있다고생각된다. 스티칭이필요없는 VR180 카메라는몰입감을높이고눈의부작용을최소화할수있어고품질몰입형콘텐츠제작을위한현실적인대안이될수있다. 180도 3DVR 카메라도근거리에서피사체를촬영하면, 영상의가장자리에서좌, 우영상의크기차이가발생하여어지러움등의부작용이발생한다. 이를피하기위해서는촬영할때피사체와의거리를충분히멀게하여, 양안크기오차를최소화해야한다. 카메라간격이 6.5cm 일때, 피사체와 130cm 정도거리를두게되면, 대략 5% 이하의크기오차로콘텐츠를제작할수있다. 몰입형콘텐츠는프로그램장르, 촬영장소, 스토리전달방법등다양한요소에따라요구조건과제약사항이달라질수있으므로 360도 /180 도, 입체 (3D)/ 모노 (2D) 등다양한제작형식을상황에맞게사용해야한다. 일례로, 드라마는 360도카메라로 2018 년 10 월 15
328 특집 : 360VR 및몰입형미디어 촬영하면조명과스텝등이노출되어드라마의허구성이드러나게되므로 VR180 형식으로촬영하는것이더적합하다. 반면에드라마현장스케치등촬영장소를사실적으로묘사해야하는프로그램에서는조명및스텝을포함할수있게 360VR 형식의사용을우선적으로고려할것이다. 다양한형식의 VR 콘텐츠를시청단말에서자동으로인식하고형식에맞게올바로재생하는것이몰입형콘텐츠의대중화에매우중요한영향을미칠수있다. 이를위해콘텐츠의메타데이터를표준화하는작업도중요하게다루어져야한다. III. VR 영상제작사례 방송사에서는지상파콘텐츠와연계된다양한 360VR 콘텐츠를제작하고있다. KBS에서는숨터 VR 프로그램을기획하여대한민국의아름다운경 관과미래세대에전할문화유산을 360VR 콘텐츠로제작하였다 [7]. 또한고화질의 360VR 콘텐츠에서소행성, 미러볼효과등을이용한클립을추출하여지상파방송콘텐츠제작에사용하는사례도늘고있다 (< 그림 6>). 360VR 콘텐츠제작을위한스티칭작업은보통원거리에있는배경을중심으로작업하게되는데, 스티칭영역에근거리의물체나사람이존재하면이음새부분이잘리는현상이발생한다. 이러한스티칭오류가있는곳은전문적인툴을이용하여해당프레임을수동으로보정하여야한다 (< 그림 7>). 360VR 영상은여러개의카메라영상을이어붙여만들기때문에각각의영상의차이는전체영상의완성도를저해하는요소가된다. 고품질 360VR 콘텐츠제작을위해서는모든카메라의밝기와색상을일치시키는디지털인터미디어트 (Digital Intermediate) 작업을수행해야한다. 마지막으로필요한자막이나로고등의 CG를삽입하여 360VR < 그림 6> VR 제작사례 (KBS 숨터 VR 공중파 ) 16 방송과미디어제 23 권 4 호
360VR 영상제작기술동향 329 (a) 스티칭오류보정전 (b) 스티칭오류보정후 < 그림 7> 스티칭오류보정전, 후 [7] 콘텐츠를완성하게된다. CG 삽입시에는 360VR 영상의왜곡을보상하여 CG를배치할수있는전문적인소프트웨어를사용한다. KBS는위와같이제작한프로그램을자체플랫폼인마이케이 (My K) 와유튜브등을통해서스트리밍서비스하였다. NextVR 과 Intel TrueVR 은자체제작한장비로스포츠, 공연, 패션쇼등다양한장르에서몰입형콘텐츠를제작하여오큘러스플랫폼등을통하여실시간스트리밍서비스하고있다. NextVR은 NBA, NFL, 윔블던테니스, 마술쇼등다수의주요스포츠이벤트와공연을 VR180 형식으로서비스하고있으며, Intel TrueVR 은 MLB 스포츠와제휴하여파노라마형식의 180도 3DVR 콘텐츠를서비스하고있다. 최근 Amaze VR은자체제작한 VR180 카메라를사용하여다양한장르에걸쳐양질의 VR180 콘텐츠를꾸준히공급하고있다. Amaze VR은 2m 내외의근거리촬영을통하여매우생생하고입체적인콘텐츠를제작한다. 이러한근거리촬영은 HMD 단말기해상도의한계를보완하는선명한영상을제공하지만, 렌즈양쪽경계로갈수록양안크기오차가발생하여시각적불편함을초래 한다. 이러한시각적단점은 NextVR 콘텐츠에서도자주찾아볼수있는데, 기술적해결은어려운상황이며, 촬영또는시청할때주의해야한다. IV. 결론 360VR 동영상을기점으로큰관심을받기시작한몰입형콘텐츠는당초기대보다관련시장의확대가늦어지고있다. 일반제작자가접근하기힘든복잡한콘텐츠제작과정도주요이유의하나라고할수있는데, VR180 형식은많은사람이관심을두지않는카메라뒤쪽 180도를포기함으로써, 콘텐츠제작과정을획기적으로단순화시켰다. 또한, 뒷면에낭비되는데이터를중요한앞면에할당하여실질화질을향상시켰고, 양안시차에의한깊이감으로몰입감을극대화하였다. 몰입형콘텐츠는 HMD 착용으로시청환경이다소불편하지만, 이를상쇄할만한매력적인콘텐츠들이지속적으로공급되고있다. 최근에는높은성능의 360VR 및 VR180 일체형카메라가출시되어, 2018 년 10 월 17
330 특집 : 360VR 및몰입형미디어 대부분의사용자가몰입형콘텐츠를쉽게제작할수있는환경이조성되고있다. Youtube VR, Facebook VR 등은가상현실속의혁신적인인터페이스를통해콘텐츠를탐색하고시청하는서비스를시작하였다. 이러한서비스를통해 360VR, VR180 등몰입형콘텐츠뿐만아니라모든종류의동영상을가상현실환경에서시청할수있다. 당장은가상현실환경에서일반콘텐츠를시청하는것이화질면에서만족할수없는상황이 지만, HMD 단말기의성능이개선되고 AI 등새로운인터페이스가도입되면일반 2D 콘텐츠도가상현실의대화면에서편리하고생생하게시청할수있게될것이다. 가까운미래에 HMD가 TV, 모바일디바이스와함께콘텐츠소비단말의주요축으로자리잡을것으로예상되므로, 콘텐츠제작및서비스면에서이시장에대한대비가필요한시점이다. 참고문헌 참고문헌 [1] http://news.chosun.com/site/data/html_dir/2017/04/06/2017040602390.html [2] https://vr.google.com/vr180/ [3] 김철현, 실사기반 VR 360 콘텐츠촬영장치비교연구, 방송공학회논문지, 2016.9 [4] http://www.etnews.com/20180524000233 [5] 네이버지식백과 [6] https://vrscout.com/news/youtube-introduces-vr180-format/# [7] 유남경, 쉼터VR서울미래유산 -100년후보물찾기, 방송과기술, 2017.3 필자소개 남승진 - 1989 년 : 연세대학교공과대학전자공학과학사 - 1991 년 : 연세대학교공과대학전자공학과석사 - 1991 년 ~ : 한국방송공사미래기술연구소연구원 - 주관심분야 : 그래픽, 입체영상, 가상현실 18 방송과미디어제 23 권 4 호