< B0ADBAB4B1E65F333630B5B52E687770>

https://doi.org/10.14400/jdc.2017.15.11.463 360 도파노라마영상기반대화형가상현실서비스구축 강병길, 유석호, 이완복공주대학교게임디자인학과 Development of an Interactive Virtual Reality Service based on 360 degree VR Image Byoung-Gil Kang, Seuc-Ho Ryu, Wan-Bok Lee Dept. Game Design, Kong-Ju National University 요약 VR 영상을활용한가상현실콘텐츠는제작의용이성과사용자편의성으로인해주목받고있으나상호작용이결여된상태이기때문에응용분야와활용성에있어서한계가있다. 본연구에서는이러한문제점을극복하고자 360도파노라마영상과게임엔진을활용하여상호작용이가능한고해상도 VR 서비스를구축하는방안을제시한다. 특히복잡한연산이소요되는배경영상은파노라마영상으로미리렌더링하여생성한것이므로낮은사양의단말기에서도높은프레임수를유지하면서서비스를제공할수있는특징이있으며, 사용자의시점과움직임에반응하여고해상도의배경영상을발췌하여보여주기때문에상당한몰입감을구현할수있다. 본제안방법의효과성을보이기위해가상동물원환경을 VR로구성하여보았으며사용자의상호작용과몰입감을증대시킬수있음을보이기위해상호작용게임을사례로보인다. 주제어 : 가상현실, 3 차원영상, 상호작용, HMD, 다시점카메라영상 Abstract Currently, virtual reality contents using VR images are spotlighted since they can be easily created and utilized. But because VR images are in a state of lack of interaction, there are limitations in their applications and usability.in order to overcome this problem, we propose a new method in which 360 degree panorama image and game engine are utilized to develop a high resolution of interactive VR service in real time. In particular, since the background image, which is represented by a form of panorama image, is pre-generated through a heavy rendering computation, it can be used to provide a immersive VR service with a relatively small amount of computation in run time on a low performance device. In order to show the effectiveness of our proposed method, an interactive game of a virtual zoo environment was implemented and illustrated showing that it can improve user interaction and immersion experience in a pretty good way. Key Words : Virtual Reality, VR Image, Interaction, HMD, Virtual Viewpoint Image * This work was supported by the research grant of the Kongju National University in 2016. Received 1 October 2017, Revised 31 October 2017 Accepted 20 November 2017, Published 28 November 2017 Corresponding Author: Wan-Bok Lee (Kongju National University) Email: wblee@kongju.ac.kr ISSN: 1738-1916 C The Society of Digital Policy & Management. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Journal of Digital Convergence 463

360 도파노라마영상기반대화형가상현실서비스구축 1. 서론 2016년이후가상현실에대한연구와상업적인활용이그어느해보다도활발하게진행되고있다. 2014년 Facebook이 20억달러에 VR 전문업체 Oculus 를인수한것을시작으로삼성, 구글, 소니, HTC 등글로벌 IT 업체들이앞다투어 VR 기기시장에뛰어들고있어 VR 기기가보편화될것이란기대감이높아지고있다. 그러나시장조사업체슈퍼데이터리서치는지난해초 2016년도 VR 시장의규모를 51억달러 (5조7000여억원 ) 로예측했으나최근자료에서작년시장규모를 18억달러 (2조여억원 ) 로최종발표했다. 또다른조사업체인디지털캐피털은 2015년 VR 시장규모가 2020년까지 300억달러 (33조6000여억원 ) 로성장할것으로예측했으나, 올해엔 2021년까지 250억달러 (28조여억원 ) 성장할것이라며전망치를조정하였다 [1,2]. 이러한 VR 시장의부정적인전망의원인중하나로사용자가즐길수있는콘텐츠의부족현상이지목되고있으며, 이러한현상이장기화될수록 VR 시장은제대로피지도못하고, '3D 콘텐츠 ' 전철을밟지않을까하는우려를낳고있다. 이때문에초기 VR 시장단계에서부족한콘텐츠를만회하는방안으로비교적제작과보급이쉬운 VR 영상이주목을받고있으며모바일을중심으로그시장이빠르게형성되고있다. 그러나 VR 영상은 VR 콘텐츠에서중요시되는 ' 상호작용 ' 요소가존재하지않아단순히가상세계를관찰하는데그치고있다. 결과적으로단순히 VR 영상을감상하는수준으로는이러한 VR 콘텐츠생태계의활성화에한계가발생한다 [3,4,15]. 본연구는이러한 VR 영상의한계를극복하기위해서상호작용요소를접목한 VR 영상콘텐츠를개발하고, 이를제공하는플랫폼을구축하는것을목적으로한다. 이를위해서 3D 제작도구인 Unity 3D를이용하여 360도 VR 영상콘텐츠를제작하고상호작용에필요한 3차원공간정보, 객체정보, 상호작용스크립트를데이터화하여사용자의플레이어에서재생하는플랫폼을설계한다. 현재의 VR 산업은 VR 컨텐츠의대중화에초점을맞추어야할것이며, 이런대중화의걸림돌을해결하는연구가어느때보다절실한시점이다 [16]. 그러한의미로상호작용이가능한 VR 영상컨테츠개발과그플랫폼구축은의미있는대안이될수있을것으로기대한다. 2. 관련기술 VR 영상은일반적으로 360도카메라로촬영한영상을의미한다. 실사를합성하였거나, 컴퓨터그래픽을이용하여영상을제작하는경우도포함한다. 그러나사용자와의상호작용이없기때문에 VR 콘텐츠로가기위한초기단계의기술로보고있다 [5]. 이때문에 VR 영상이나 360도사진정보를이용하여상호작용하는다양한방안들이연구되고있다 [6,7]. 매칭모듈을이용한이동객체와 VR 영상의동기화연구는 VR 시스템에어트랙션을적용하고 VR 영상과이동하는객체의움직임을동기화하여지연시간을최소화하는방법을제안하였다 [6]. 이는상호작용요소를접목하는직접적인제안은아니지만, 객체의동기화의방안을통해상호작용을적용하기위한주요기능으로활용될수있다. 실사영상기반 3차원대화형가상현실콘텐츠제작공정은 VR 영상이아닌 360도실사이미지를이용해서 3차원공간을구축하고, 가상의객체를추가하여상호작용하는콘텐츠를개발하는절차에대한연구로, VR 영상으로부터 3차원공간정보를구축하는데활용이가능하다 [8]. 다시점카메라와깊이카메라를이용한 3차원장면의깊이정보생성방법은실사영상을촬영하면서깊이를측정하는카메라를이용해서 3차원정보를획득하는방법의연구로, 가상의카메라위치를계산할수있기때문에실사영상으로부터보다다양한상호작용요소를적용할수있다 [9,10]. 이러한연구사례에서알수있듯이 VR 영상에상호작용요소를적용하려는적극적인연구가다양하게진행되고있다 [11,12,13,14]. 그러나아직기술개발단계로제작방법이자칫복잡해질수있는데, 본연구에서제시하는쉽고빠르게제작하고보급해야하는목적에적합하지않다. 본연구는기존의 VR 영상을그대로활용하면서여기에상호작용이가능한데이터를별도로추가하는형태로, 기존의호환성과장점을살리고부족한상호작용요소를보완하는방법으로접근한다. 464 Journal of Digital Convergence 2017 Nov; 15(11): 463-470

Development of an Interactive Virtual Reality Service based on 360 degree VR Image 3. 시스템설계상호작용기반 VR 영상서비스시스템은 [Fig. 1] 과같이크게데이터서버, 스트리밍서버, 사용자플레이어로구성된다. 데이터서버는 VR 영상데이터와상호작용데이터를관리한다. 사용자플레이어는플랫폼의역할을수행하며, 데이터서버로부터제공되는 VR 영상의목록을안내하고사용자로부터선택하고요청할수있도록한다. 서보이는바와같이크게 3차원공간정보, 3차원객체의위치정보, 상호작용이벤트정보로구성된다. 상호작용데이터의특징은다음과같다. [Fig. 2] Data flow of interaction data and VR video [Fig. 1] Overview of the system architecture 이후데이터서버로부터 VR 영상에맞는고유의상호작용데이터를내려받으며, 데이터를통해서내부적으로 3차원공간을구축하고, 상호작용에필요한객체의 3차원위치를계산한다. 마지막으로각재생타임에맞춰이벤트가발생할수있도록동기화한다. 플레이어의준비가완료되면사용자의요청에따라서스트리밍서버를통해 VR 영상을웹동영상형태로재생되며, 상호작용데이터를통해구축된가상의 3차원공간을 VR 영상과동기화하여재생된다. 본연구에서사용하는상호작용데이터는 [Fig. 2] 에 첫째, 상호작용데이터는 VR 영상이제작될때동시에만들어진다. 처음 VR 영상이 3차원렌더링작업을통해영상으로제작되면, 이때구현된 3차원데이터에서 3 차원공간정보, 객체의위치정보, 실시간상호작용이벤트정보만을추출하여데이터화한다. 이상호작용데이터는사용자플레이어에서 VR 영상이재생될때, 3차원렌더링을제외하고실시간으로 VR 영상과상호작용에필요한정보가동기화되어재생된다. 둘째, VR 영상의시간의흐름에따라달라지는 3차원환경정보 ( 물체의위치, 사용자의위치 ) 를포함한다. 이정보는 VR 영상이재생되는시간과같아야한다. 셋째, 상호작용이벤트정보는사용자플레이어에서 VR 영상재생시간에맞춰동기화되어실시간으로처리된다. 이러한 VR 영상데이터와상호작용데이터 (3차원공간정보, 객제정보, 상호작용스크립트 ) 를구분하여활용하는방안은여러가지장점을확보할수있다. 특히, 상호작용을적용하기어려운하위플랫폼에서는 VR 영상만을재생하는방법으로기존방법과호환성을갖는다. 또한, VR 영상을그대로두고여러개의다른상호작용데이터를생성하여, 변형된콘텐츠를쉽게만들수있고상호작용데이터만을수정보완하여업데이트하여실시간으로이를서비스에반영할수있다. 이외에도 3차원의실시간렌더링을지양하지만 VR 영상을통해미리높은사양의품질로제작하고활용할수있어, 다양한성능의플랫폼제약에서벗어날수있다. 반면에몇가지제약사항이존재하며다음과같은단점도있다. 무엇보다도본연구에서는 VR 영상을이용하기때문에시간의흐름이일방적이다. 사용자는 VR 영상 Journal of Digital Convergence 465

360 도파노라마영상기반대화형가상현실서비스구축 의흐름을자동으로따라야한다. 이를보완하는방안으로, VR 영상에각상황에맞는영상을모두포함하고, 플레이어에서상호작용에따라해당시간으로순간이동시키는방법을고안하였다. 또한, 사용자의선택을입력받기위해서영상을멈추지않고, 영상을예약된구간을반복재생한다. 이방법을통해서상호작용요소를좀더사용자측면에서서비스할수있다. 두번째제한사항으로는스트리밍을통한 VR 영상재생은버퍼링과같은지연이발생할수있으며, 상호작용을위해구축된데이터는이러한 VR 영상의재생과동기화를이루는방안이필요하다. 이외에도 VR 영상을 3차원환경으로구축하고, 상호작용을위한데이터를추출하기위해서 3차원모델로구현된렌더링데이터가활용되어야한다. 실사의 VR 영상으로부터이러한상호작용데이터를구축하기위해서는앞 2장에서살펴본관련연구들의기법들을접목할수있다. 계획된 3차원공간을구축하고상호작용하는객체를배치한다. 시간의흐름에따라일어나는일들을구현하고콘텐츠의시작부터종료까지상호작용없이자동으로진행되도록한다. 결과물을영상으로제작하기때문에사용자의플랫폼성능에대한제약에서벗어날수있다. 특히모바일에서실시간 3차원컨텐츠를렌더링하여보여줄경우에는단말기의하드웨어성능이충분하지못하기때문에해상도와프레임속도를비롯하여품질저하문제가필수적으로생기기마련이다. 콘텐츠의품질저하는사실적표현과몰입감형성이중요한가상현실환경에서큰단점으로작용한다. 그에비해서본연구에서접근하는 VR 영상과게임엔진의영상을합성하여제작할경우, 모바일에서재생하기어려운수준의고품질고해상도 3차원영상연출이비교적쉽게이루어진다. 4. 구현 상호작용기반 VR 영상콘텐츠의핵심은플레이어의개발이다. 플레이어는서버로부터사용자가원하는 VR 영상콘텐츠를내려받아재생하면서내부적으로이벤트처리를위한 3차원물리계산이실시간으로진행된다. 이는재생되는영상과동기화되며, 영상에재생되는객체나이벤트가실제로상호작용을할수있도록한다. 콘텐츠는하나의프로젝트에서두가지형태로개발된다. 첫째는 VR 영상을제작하기위한프로젝트, 두번째는플레이어에서실시간으로재생되는상호작용을위한데이터추출용프로젝트이다. 이방식을통해서상호작용데이터와 VR 영상의동기화를구현할수있다. 4.1 VR 영상제작동물원을가상으로체험하는시나리오를진행하였다. 상호작용요소로체험자가물방울을동물들에게발사하도록하며, 맞출경우하트아이콘이생기면서체험이종료된후맞춘하트의개수를표시하도록하였다. 단순히동물을감상하는것뿐만아니라사용자의액션이반영되어결과가표시된다. 영상제작은유니티엔진 (Unity 3D) 으로진행하였다. [Fig. 3] Screenshot of the developed VR image [Fig. 3] 은 VR 영상을생성하기위해유니티에서개발한장면으로써, 사용자플랫폼의성능제약을받지않기때문에높은해상도와파티클, 이펙트가적용되고다수의객체가등장한다. 유니티에서시나리오를바탕으로제작된프로젝트는 VR 영상제작플러그인을통해실시간으로녹화하여영상데이터로추출한다. 영상은 2K 해상도인 2048 1024 와모노영상 (Equidistant Mono) 기준으로제작되었다. 사실감과화질을높이기위해서 4K인 4096 2048 해상도와스테레오영상으로의확장도비교적쉽다. [Fig. 4] 은스테레오영상을제작했을때얻을수있는결과물이다. 현재제작된영상은재생시간이 2분으로약 380 메가바이트 (Megabyte) 의용량을가진다. 466 Journal of Digital Convergence 2017 Nov; 15(11): 463-470

Development of an Interactive Virtual Reality Service based on 360 degree VR Image [Fig. 4] Stereo VR image 4.2 상호작용데이터구축 [Fig. 5] 은상호작용에해당하는데이터를구축한모습을보인다. 3차원공간정보, 객체의위치및충돌범위정보, 사파리공간을이동하는카메라의이동경로정보등이포함된다. 본연구에서는 3차원모델데이터를영상화하여작업하기때문에상호작용을위한 3차원정보를확보하는것이비교적수월하다. 추후실사의영상으로부터 3차원정보를확보하기위해서는이러한 3차원공간으로변환하는별도의단계를추가하고 3차원정보를확보하는앞서살펴본선행연구의적용을고려할수있다. 영상제작에사용된데이터를유니티의 Asset Bundle 기법을이용해서상호작용정보를데이터화한다. 플레이어에서런타임 (Runtime) 시데이터를로딩하고영상과함께동기화하여재생한다. 4.3 플레이어제작플레이어는앞서완성한 VR 영상콘텐츠와상호작용데이터를가지고실제사용자가 VR 체험을할수있도록재생하는역할을한다. VR 상호작용데이터를바탕으로가상의 3차원공간을구성하고, 카메라의이동경로, 상호작용객체를공간에배치한다. 그리고 3차원렌더링을제외한실시간물리계산이실시간으로수행된다. 3차원렌더링이 3차원콘텐츠에서가장큰비용이발생하기때문에이를 VR 영상으로대체하는것이핵심이다. 또한콘텐츠에따라객체의물리계산이적용될수있는데, 계산시간간격을적절하게늘려부하를줄일수있다. [Fig. 6] 은플레이어에서실제재생시 VR 영상이재생되면서상호작용하는객체가어떻게배치되는지를나타낸다. 객체들은카메라의중심인왼쪽상단의텍스쳐로영상이재생되기때문에객체들의위치와충돌정보만을 3차원공간에배치하고계획된이벤트에반응한다. [Fig. 6] Real-time video playback procedure <Table 1> Performance improvement of playback [Fig. 5] Embedded points for data interaction 3D Rendering Proposed Method (VR Movie) 22.01 55.72 26.53 59.37 19.61 48.55 26.55 46.82 25.86 44.68 Frame per 16.25 45.01 second 18.33 47.38 15.46 45.07 16.77 48.22 20.29 44.42 20.72 47.92 Average 20.76 48.47 Journal of Digital Convergence 467

360 도파노라마영상기반대화형가상현실서비스구축 <Table 1> 는상호작용요소가적용된 VR 영상을재생하였을경우보이는프레임속도와실시간으로 3D 렌더링과정을거쳐영상을재생하는기존방식의프레임속도를비교실험한결과이다. 실험에사용한단말기는삼성갤럭시 S5이고, 데이터수집은 10초간격으로이루어졌다. 3D Rendering 방식은모바일기기의 GPU가실시간적으로렌더링을진행하고있으며평균적으로 20프레임수준을나타냈지만, 본연구에서제안한방법을적용한경우평균 48프레임의성능을보인다. 방안이연구되고있다. 본연구는 VR 영상의기존장점을살리면서상호작용요소를추가하는방안에대해서제안하였다. 사용자플레이어와서버기반의플랫폼을구축하고이를서비스하는시스템을구상하였고, 실제로유니티를이용해서상호작용데이터와 VR 영상콘텐츠를생성하여체험이가능한플레이어를구현하였다. 모바일기기에서 3차원렌더링을통해가상현실을구현하고최적화하는것은개발측면에서많은시간과노력이소요되는어려운작업으로, 상호작용이적용된 VR 영상을활용할경우이러한부담을어느정도개선할수있을것으로본다. 또한, 상호작용을위한방안으로 VR 영상과같은 3차원공간과오브젝트정보를구축하고실시간으로적용하는방안을제안하였는데 3D 렌더링을이용하는기존방식과상호작용이적용된 VR 영상을비교하였을때 2배이상의성능향상이발생하는것을확인할수있었으며, 일반 VR 영상과달리상호작용요소가접목된보다개선된 VR 영상을제작할수있기때문에 VR 시장의대중화에한층기여할수있을것으로기대된다. ACKNOWLEDGMENTS This work was supported by the research grant of the Kongju National University. [Fig. 7] VR video contents supporting user interaction [Fig. 7] 은최종적으로플레이어에 VR 영상을재생하면서객체들과상호작용이진행되는장면이다. 체험자앞으로발사되는물방울이영상의동물을맞추면이펙트가표현된다. 두번째화면은획득한하트수를보여주는마지막결과장면이다. 이는영상재생과별도로사용자의상호작용결과에따라달라진다. 5. 결론현재 VR 시장의위기와함께이를극복할수있을것으로기대를모으는 VR 영상이단순히가상세계를관찰하는단계에머물면서그한계를극복하기위한다양한 REFERENCES [1] Chang-Hoon Kang, "Flow of next generation broadcast video, Present and Future of VR contents", The Korea Contents Association Review, Vol. 14, No. 2, pp. 14-18, 2016. [2] Mansik Kim, Jungho Kang and Moon-seong Jun, "Market and Technical Trends of VR Technologies", The Korea Contents Association Review, Vol. 14, No. 4, pp. 14-16, 2016. [3] Jeong, Woo-Jeong, Cho, Joung-Hyung and Kim. Myung-Soo, "A study of VR contents problem associated with VR market change : Focusing on the mobile VR game contents", KSDS Conference 468 Journal of Digital Convergence 2017 Nov; 15(11): 463-470

Development of an Interactive Virtual Reality Service based on 360 degree VR Image Proceeding,, pp. 200-201, 2016. [4] Lang-Goo Lee, Jean-Hun Chung. "A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement", Journal of Digital Convergence, Vol. 14, No. 11, pp. 495-500, 2016. [5] Kim Joo-yong, "360-degree Image and VR Design", pp. 9-10, CommunicationBooks, 2017. [6] Hyoun-Sup Lee, Eun-Jae You and Jin-deog Kim, "Synchronization of Moving objects and VR images", Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, No. 7, pp. 1435-1440, 2017. [7] Kwang Soo Kim, Yong-hwan Lee, "Comparison and Usage Analysis of 360 Degree VR Video Rigs", The Society of Modern Photography & Video, Vol. 19, No. 1, pp. 87-106, 2016. [8] Keun Hyoung Lee, Soung Hun Han, Ki Sung Jeong, Min Gyu Kim, Ji Won Lee, Seo Won Jung and Jin Mo Kim, "3D Interactive Virtual Reality Contents Production Pipeline based on Photographic Image", Korea HCI Conference,, pp. 357-363, 2016. [9 Hyoun-Sup Lee, Eun-Jae You and Jin-deog Kim, "Synchronization of Moving objects and VR images", Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, No. 7, pp. 1435-1440, 2017. [10] Tae-june Kim, Eun-young Chang, Nam-ho Hur, Jin-woong Kim and Ji-sang Yoo, "Virtual Viewpoint Image Synthesis Algorithm using Multi-view Geometry", The Journal of Korean Institute of Communications and Information Sciences, Vol. 34, No. 12, pp. 1154-1166, 2009. [11] Choe, Yeong-Seon, Lee, Ho-Dong, Park, Min-Chul and Park, Gwi-Tae, "Design of Interactive 3D Calculator for Produce 3D Contents", Korean Broadcast Media Engineering Conference,, pp. 325-326, 2011. [12] Lee, Sang-Ha and Yoo, Jisang, "Development on Multi-view synthesis system for producing 3D image", Korean Broadcast Media Engineering Conference,, pp. 89-91, 2016. [13] Yun-Suk Kang and Yo-Sung Ho, "Generation of High-resolution Disparity Map using Multiple Cameras and Low-resolution Depth Camera", Proceedings of Symposium of the Korean Institute of communications and Information Sciences,, pp. 287-288, 2012. [14] Yo-Sung Ho, "Development of 3D Video Processing Techniques", Communications of the Korean Institute of Information Scientists and Engineers, Vol. 29, No. 12, pp. 9-16, 2011. [15] http://v.media.daum.net/v/20170904181518376 Accessed on 20 Jun 2017. [16] Seung Jo Han, Sun-Uk Kim, Kyo-Chan Koo, Kyun-Joo Lee, Min-Su Cho. "Effects of Virtual Reality Images on Body Stability : Focused on Hand Stability", Journal of Digital Convergence, Vol. 15, No. 8, pp. 391-400, 2017. 강병길 (Kang, Byoung Gil) 2006 년 2 월 : 한밭대학교제어계측과 ( 공학사 ) 2013 년 2 월 : 한밭대학교멀티미어공학과 ( 공학석사 ) 2015 년 9 월 ~ 현재 : ( 주 ) 넥스크루대표 2017 년 2 월 : 공주대학교게임디자인학과 ( 박사수료 ) 관심분야 : 게임엔진, 가상현실 E-Mail : kangeve@hanmail.net 유석호 (Ryu, Seuc Ho) 1997년 2월 : NYIT (Communication Art 예술학석사 ) 2005년 3월 ~ 현재 : 공주대학교게임디자인학과교수 관심분야 : 게임 UI, 게임인터랙션, 게임그래픽 E-Mail : seanryu@kongju.ac.kr Journal of Digital Convergence 469

360 도파노라마영상기반대화형가상현실서비스구축 이완복 (Lee, Wan Bok) 2004년 2월 : KAIST 전자전산학과전기및전자공학전공 ( 공학박사 ) 2007년 3월 ~ 현재 : 공주대학교게임디자인학과교수 관심분야 : 게임엔진, 시뮬레이션, 이산사건시스템 E-Mail : wblee@kongju.ac.kr 470 Journal of Digital Convergence 2017 Nov; 15(11): 463-470