http://dx.doi.org/10.14400/jdc.2016.14.11.495 몰입감향상을위한 VR 영상콘텐츠의시청각유도와구성요소에관한연구 이랑구 *, 정진헌 ** 동국대학교영상대학원멀티미디어학과박사과정 *, 동국대학교영상대학원멀티미디어학과교수 ** A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement Lang-Goo Lee *, Jean-Hun Chung ** Dept. of Multimedia, Graduate School of Digital Image and Contents, Dongguk University, Doctor's course * Dept. of Multimedia, Graduate School of Digital Image and Contents, Dongguk University, Professor ** 요약 2016년을기점으로 VR 시장이급속도로성장하고있으며, 현재 VR 시장에서가장중요한이슈로떠오르고있는것은 VR 콘텐츠이다. 사용자의몰입감과상호작용을최대한충족시킬수있는제작기법과좀더다양한 VR 콘텐츠가필요하기때문이다. 본연구는 VR 콘텐츠중 VR 영상콘텐츠를중심으로몰입감을지속할수있게하고향상할수있는시청각유도의구성요소들을국내외사례분석을통해시청각유도의올바른방향성을찾아보았다. 그결과시청각유도의시각적 청각적구성요소로는촬영, 편집, 조명, 스티칭, 그래픽, 이펙트, 성우내레이션, 더빙, 등장인물의음성, 배경음악및효과음등이있었고, 다시기술적 내용적요소로는촬영기법, 편집기법, 조명, 스티칭, 그래픽과이펙트, 사운드및효과음, 미장센중심의연극적연출, 등장인물의대사및내레이션, 등장인물과오브제의움직임등으로나타났으며, 더불어향후 VR 영상콘텐츠는몰입감을향상할수있는시청각적구성요소들과함께기술적 내용적인구성요소들이필요하며지속적인연구가병행되어야할것이다. 주제어 : VR 콘텐츠, 몰입감, 시청각유도, VR 영상콘텐츠, 시각적 청각적구성요소, 기술적 내용적구성요소 Abstract Since 2016, the VR market has been on the rapid growth. The most critical and arising issue in the VR market is VR contents. That is because it is necessary to develop making techniques and various VR contents to satisfy users' immersion and interaction as much as possible. Therefore, this study focused on VR image contents, conducted domestic and foreign cases of the components of visual and auditory inducement to keep and improve immersion, and thereby tried to find a right direction of visual and auditory inducement. As a result, the visual and auditory components of visual and auditory inducement were found to be photographing, edition, lighting, stitching, graphics, effect, voice actor's narration, dubbing, character voice, background sound, and sound effect; its technical and content components were found to be photographing technique, edition technique, lighting, stitching, graphics and effect, sound and sound effect, and theatric direction based on Mise-en-Scene, lines and narration of characters, and movements of characters and objets. For VR image contents, not only visual and auditory components, but technical and content components are necessary to improve immersion. In the future, it will be necessary to continue to research them. Key Words : VR Contents, Immersion, Visual and Auditory Inducement, VR Image Contents, Visual and Auditory Components, Technical and Content Components Received 26 September 2016, Revised 28 October 2016 Accepted 20 November 2016, Published 28 November 2016 Corresponding Author: JeanHun Chung C The Society of Digital Policy & Management. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial (Dongguk Univ. Dept. of Graduate School of Digital Image and License (http://creativecommons.org/licenses/by-nc/3.0), which Contents. Professor) permits unrestricted non-commercial use, distribution, and Email: evengates@gmail.com reproduction in any medium, provided the original work is properly cited. ISSN: 1738-1916 Journal of Digital Convergence 495
몰입감향상을위한 VR 영상콘텐츠의시청각유도와구성요소에관한연구 1. 서론 1.1 연구배경및목적 2016년은 VR(virtual reality) 시장의원년으로불리고있다. 일반인이사용할수있는 VR 관련제품과콘텐츠등이올해를기점으로대거쏟아지고있기때문이다. VR 즉가상현실기술은매우오래된기술이지만이렇게갑자기부상한이유는대중화가될만한 ICT 기술및인프라가마련되었기때문이다 [1]. 세계적인 ICT 기업들과스타트업기업들이대거참여하고있는상황이며, 대표적으로구글, 삼성, LG, HTC, 애플, 소니, 마이크로소프트, 페이스북이인수한오큘러스외그밖의기업등이 VR 디바이스와플랫폼그리고 VR 콘텐츠를대거출시했거나출시를기다리고있다. 마크저커버그페이스북 CEO는 2015년 7월페이스북실적발표자리에서 영상콘텐츠의다음흐름은명백하게몰입형콘텐츠가될것 이라고밝히기도했다 [2]. 이미디바이스를생산한기업에서는자체앱과플랫폼을통해수많은콘텐츠를제작하여보유하고있으며, SNS 기반의웹플랫폼의대표격인페이스북과유튜브채널에도수백개의콘텐츠가올라와공개되고있다. 이처럼 VR 시장에서현재가장중요한이슈는 VR 콘텐츠라할수있다. VR 콘텐츠는기존의동영상콘텐츠보다강력한몰입감과현장감, 그리고상호작용을불러일으키는게최대장점이다. 이장점들을최대한향상할수있는 VR 콘텐츠의연구개발이앞으로 VR 시장에서더욱더필요하게된것이다. 본연구는 VR 콘텐츠의가장큰특징중하나인몰입감을지속할수있게하고최대한향상할수있는시청각유도의구성요소들은어떤것이있고, 어떻게사용되었는지 VR 영상콘텐츠의사례를중심으로분석하여시청각유도의올바른방향성을찾아보고제언하는것이목적이다. 1.2 연구범위본연구의범위로는 VR 시장의현황및 VR 관련콘텐츠, 그리고선행연구등을참고하고이를토대로 VR 콘텐츠의몰입감을향상하기위한시청각유도의구성요소들은무엇이있고, 어떻게사용되었는지국내외 VR 영상콘텐츠의사례를통해연구를진행하였다. 또한, 시청각유도를위한구성요소들의특징과함께기술적 내 용적인요소로사용된공통점을찾아보았다. 2. 이론적배경 2.1 VR 콘텐츠 VR 산업은콘텐츠, 플랫폼, 네트워크, 디바이스이렇게네가지영역으로구성된다. VR 콘텐츠는생산자에의해만들어지며, 사용자들에게도달하기위해서플랫폼에올려지고, 네트워크를통해확산되어디바이스를통해사용자들이볼수있게된다. VR 콘텐츠는디바이스중하나인 HMD(Head mounted Display) 라고불리는두부장착교시장치를이용하여볼수있는데, 가상으로구현된화면과음향등을통해수용자는마치눈에보이는화면속구현된가상현실에있는것처럼느끼게되도록만들어진콘텐츠를말한다 [3]. 즉, VR 콘텐츠의가장큰특징은몰입감과상호작용성이라할수있다. VR 콘텐츠의유형은크게체험형 VR, 게임 VR, 앱 VR 등이있다. 또세부적으로나누면, 체험형 VR은엔터테인먼트, 헤리티지, 경험지식기반유형으로나뉘며, 게임 VR은방향전환과터치패드이용에따라두가지로분류되고, 앱 VR은 360도영화, 사진, 시사, 다큐멘터리, 정신장애치료등사용자가 VR 콘텐츠를제작하거나공유할수있는프로슈머 VR 플랫폼으로분류된다 [4]. 2.2 몰입감몰입 ( 沒入 ) 의사전적의미는 깊이파고들거나빠짐 이다 [5]. 몰입이란, 다른외부적자극으로부터방해받지않고모든정신이한곳으로집중되는상태또는느낌이라고할수있는데, 물아일체 ( 物我一體 ), 무아지경 ( 無我之境 ), 황홀경 ( 恍惚境 ) 등과비슷한의미를가진다 [6]. 몰입 (Flow) 이론은시카고대학의심리학교수미하이칙센트미하이 (Mihaly Csikszentmihalyi) 가사람들이어떠한일에집중되었을때마치물이흐르듯몰입한다는말로 Flow라고정의하였다. 이는현재의경험을통해스스로최적의경험을느꼈다고생각할때, 사람들은자신의경험을긍정적으로평가하고, 이를통해행복감이나즐거움을느낀다는것이다. [Fig. 1] 과같은함수관계에서보는바와같이미하이칙센트미하이는과제, 그리고실력의함수관계에따른몰입경험의질을걱정, 불안, 496 Journal of Digital Convergence 2016 Nov; 14(11): 495-500
A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement 각성, 몰입, 자신감, 느긋함, 권태, 무관심등 8단계로분석하고있는데최적의몰입경험은과제와실력과같은두변수가모두높을때나타나며, 몰입경험 (Experience) 은학습으로이어지는현상임을알수있다. 또한, 이러한몰입경험이이전단계 (antecedents), 진입단계 (threshold), 경험단계 (experiences) 를거친후상호연결적으로발전하여, 피드백작용까지불러일으킨다고강조하였다 [7]. <Table 1> Classification of human Classificat ion Sensory organs Special Vision, Hearing, Taste, Smell, Vestibular Sense Skin Touch, Pressure, Warmth, Cooling, Pain Deep Kinesthetic sense, Position sense, Deep Pressure sense, Deep pain sense Visceral Organic sense(sense of hunger, nausea, etc.), Visceral pain Source : Dong-hyeon Kim[8], p. 3. Somesthetic Source : https://en.wikipedia.org/wiki/file:challenge_vs_skill.svg [Fig. 1] Quality of Experience according to the functional relation between task and skill 2.3 시청각의이해시청각이란말그대로시각과청각을의미하며, 일반적으로인간의오감이란시각, 청각, 미각, 후각, 촉각을일컫는다. 가상현실을현실로착각하도록하기위해서는감각기관별로가상과현실을동기화시켜야하고, 감각기관간의다중감각동기화가동시에이루어져야한다. 인간의감각의분류에대한도쿄대학 Hirose 교수의정의는 <Table 1> 과같다. 가상현실기술의문제점으로항상대두되는것이이용자가일정기간이지나면멀미나구토증세를호소하는것이다. 이는가상과현실의동기화또는다중감각동기화중어느한쪽이결여되어뇌에서거부반응을일으키기때문이다 [8]. 2.3.1 시각몰입감에최대한빠지기위한가상현실 (VR) 시스템에는반드시인체감각기관의특징인시각, 청각, 후각, 미각, 촉각등이갖춰져야하며, 이중에서도인간이 70 80% 의정보를획득하는데필요한감각기관인시각이가장중요하다 [9]. 인간이시각 (Light Sense) 적으로가상을현실처럼느끼는요소중의하나가입체시 (Stereoscopic Vision) 이고, 인간의망막에투영되는영상은기본적으로 2차원이다. 그럼에도불구하고인간이사물을보고입체감을느끼는것은생리적단서와경험적단서의원리때문이다. 도쿄대학 Hirose 교수는그의저서버추얼리얼리티에서생리적단서로는수정체의초점조절, 폭주운동, 양안시차, 단안운동시차가있고, 경험적단서로는망막상의크기, 선원근법, 섬세함, 대기원근법, 겹쳐짐, 음영이있다고정의하였다 [10]. 이러한시각적원리를통해인간은 3차원공간으로지각하는것이다. 2.3.2 청각인간의청각 (Auditory Sense) 에서가상현실구현의가장중요한기술은 3D 사운드, 즉 3차원입체음향이다. Hirose 교수는청각적임장감을부여하는요소를첫째, 실제공간과유사한음장효과. 둘째, 음원의 3차원공간에서의정위. 셋째, 음원의품질로정의하였다 [11]. 이중음원정위 (Sound localization) 가가장중요하다. 이것은 3차원공간상에서음원을어떤특정위치에놓이도록제어하여마치그곳에서소리가발생하는것처럼들리게한다. 음원정위는두귀간시차 (Interaural Time Difference, ITD) 와두귀간의레벨차 (Interaural Intensity Difference, ITD), 그리고공간단서 (spectralcues) 등에 Journal of Digital Convergence 497
몰입감향상을위한 VR 영상콘텐츠의시청각유도와구성요소에관한연구 의하여이루어진다. 가상현실구현에서필요로하는입체음향이란음의시간정보에공간정보를부가하여음향을입체화하는것으로, 실제음이발생한공간으로부터분리되어있는인간이 3차원적으로동일한공간을공유하고있는것처럼느껴방향감, 거리감및공간감을제공하는음향을말한다 [12]. 3. 연구방법 3.1 연구대상및방법본연구의대상으로는 VR 콘텐츠장르중게임을제외한비교적몰입도가높다고판단되는드라마와영화로한정하고, 국내외 VR 콘텐츠중에서 2015년 9월 5일국내지상파방송 MBC가제작하여자체앱과유튜브채널플랫폼에공개한국내최초 VR 액션드라마 빛나거나미치거나 VR [13] 과 2016년 4월 18일구글에서 VR 콘텐츠제작과파이프라인의연구를목적으로제작한 VR 영화 HELP [14] 를연구대상으로선정하였다. 연구방법으로는관련자료연구와 HMD(Head mounted Display) 를사용하여본연구대상을반복적으로시청하며, 빛나거나미치거나 VR 과 HELP 에사용된시청각유도의구성요소들과각콘텐츠의특징이무엇인지를찾아보았다. 그리고몰입감향상을위한시청각유도의구성요소들을다시기술적 내용적요소로각각나누어세부적으로비교 분석하여공통점을도출해보았다. 3.2 연구문제 [ 연구문제 1] 빛나거나미치거나 VR 과 HELP 의시청각유도의구성요소와특징은무엇인가? [ 연구문제 2] 빛나거나미치거나 VR 과 HELP 의시청각유도의기술적 내용적요소는무엇인가? 4. 연구결과 4.1 시청각유도구성요소분석본연구대상인 빛나거나미치거나 VR 과 HELP 의시청각유도의구성요소와특징을분석한결과는 <Table 2> 와같다. <Table 2> Components and Characteristics of Audio-Visual Shine or Be Mad VR Classification HELP Fixed, jimmy jib, drone, Drone, wire, long take, wire, electronic tilt up one take, shooting shooting Editing replaced by blocking Implication of the plot of characters based on parts of Low lighting previous TV drama, Visual Smooth stitching jump cut elements 3D characters and CGI Partly rough stitching Natural light and strong lighting 2D graphic and special effects Narration and dubbing by voice actor Background music and sound effects Audio elements Voice of characters Surround sound effect and background music 4.1.1 시각적요소먼저 빛나거나미치거나 VR 의시각적요소분석결과, 촬영부분에는고정식, 지미집 (Jimmy Jib), 드론 (drone), 와이어 (wire), 전동틸업 (tilt up) 등의기법들이사용되었고, 편집부분에는기존 TV 드라마의일부영상을사용하여줄거리를암시하는편집과점프컷 (jump cut) 기법을사용하였다. 또한, VR 콘텐츠에서가장중요하다고여겨지는스티칭 (Stitching)[15] 부분은일부매끄럽지못하게나타난것으로확인되었으며, 조명부분에는자연광과밝은조명을사용하였고, 마지막으로그래픽과이펙트부분에는 2D 컴퓨터그래픽과특수효과 (Special Effects) 를사용한것으로나타났다. 다음으로 HELP 의시각적요소분석결과, 촬영부분에는드론 (drone), 와이어 (wire), 롱테이크 (long take), 원테이크 (one take) 촬영기법등이사용되었고, 편집부분에는등장인물의블로킹으로대체한기법이사용되어특별함을나타냈다. 조명부분에는전체적으로어두운조명으로분위기를이끌어갔으며, 스티칭부분은손색없을정도의매끄러움을확인할수있었다. 마지막으로그래픽과이펙트부분에는가상캐릭터를사용한 3D 컴퓨터그래픽과컴퓨터그래픽 (CGI) 을사용한것으로나타났다. 4.1.2 청각적요소 빛나거나미치거나 VR 의청각적요소분석결과, 성 498 Journal of Digital Convergence 2016 Nov; 14(11): 495-500
A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement 우내레이션과더빙, 배경음악과일반적인효과음이사용된것으로나타났으며, HELP 의청각적요소분석결과는등장인물의음성과배경음악및서라운드효과음이사용된것으로나타났다. 두 VR 콘텐츠의공통적인청각적요소로는성우내레이션과더빙을제외한배경음악과효과음이일치하게나타났으며, 시각적요소와더불어몰입감을유도하는장치로사용된것으로나타났다. 4.2 기술적 내용적요소분석 본연구대상인 빛나거나미치거나 VR 과 HELP 에서나타난시청각유도의시각적요소와청각적요소를다시기술적 내용적요소로나누어분석한결과는 [Fig. 2] 와같다. [Fig. 2] Technical and content-related elements of audio-visual induction 4.2.1 기술적요소 빛나거나미치거나 VR 과 HELP 의시청각유도를위해사용된기술적인요소분석결과로는촬영기법, 편집기법, 조명, 스티칭, 그래픽및이펙트, 사운드및효과음이있는것으로나타났다. 4.2.2 내용적요소 빛나거나미치거나 VR 과 HELP 의시청각유도를위해사용된내용적인요소분석결과로는스토리텔링, 미장센중심의연극적연출기법, 등장인물의대사및내레이션, 그리고등장인물과오브제의움직임이있는것으로나타났다. 5. 결론본연구에서는 VR 영상콘텐츠를중심으로몰입감향상을위한시청각유도의구성요소들을사례분석을통해알아보았다. 분석결과먼저 빛나거나미치거나 VR 과 HELP 의공통적인시각적요소로는촬영, 편집, 조명, 스티칭, 그래픽및이펙트가있었으며, 청각적요소로는성우내레이션및더빙, 등장인물의음성, 배경음악및효과음등이있었다. 그리고다시기술적요소로는촬영기법, 편집기법, 조명, 스티칭, 그래픽과이펙트, 사운드및효과음으로나눌수있었으며, 내용적요소로는미장센중심의연극적연출, 등장인물의대사및내레이션, 등장인물과오브제의움직임등으로나타난것을확인할수있었다. 결과적으로 VR 콘텐츠의몰입감향상을위해서는먼저시각과청각을통한시청각유도가필요하며, 세부적으로 VR 콘텐츠의특화된기술적 내용적요소가필요하다는것을도출할수있었다. 더불어청각적인요소로써몰입감향상을위해서는헤드트랙킹을접목한 3D 입체사운드가필요하다고판단된다. 본연구는좀더다양한장르의 VR 콘텐츠의표본분석이한계점으로남았으나향후 VR 영상콘텐츠는 VR 콘텐츠의특성중하나인몰입감을최대한향상하고지속하기위한시청각유도의구성요소들이필요하다는방향으로연구가진행되었다. 본연구를기반으로 VR 영상콘텐츠의몰입감향상을위한시청각유도의다양한장치와기법에관한연구가지속하기를희망한다. REFERENCES [1] Bu-yeon Jeong, Actual Conditions and Suggestions of (VR) Ecosystem, Korea Association for Telecommunications Policies, Vol.28, No.7, Serial No. 621, pp. 2, 2016. [2] http://www.mediatoday.co.kr/?mod=news&act=article View&idxno=130632 [3] Chang-hoon Kang, Flow of next generation broadcast video, Present and Future of VR contents, The Journal of the Korea Contents Association, Vol. 14, No. 2, pp. 15, 2016. [4] Jeong-yeop Han, A Study on the Type of VR Journal of Digital Convergence 499
몰입감향상을위한 VR 영상콘텐츠의시청각유도와구성요소에관한연구 Content Design Founded on Mobile Detachable HMD, Journal of the Korea Institute of the spatial design, Vol. 37, No. 0, pp. 85-86, 2016. [5] http://stdweb2.korean.go.kr/search/view.jsp?idx=42 3167 [6] Tang gun, Dong-min Joh, Jeong-pyo Hong, Gwang-su Joh, A Study on the User Interest of Basic Emotional Image in Character Design, Journal of Digital Design, Vol. 24, No. 1, pp. 80, 2011. [7] Sun-ae Oh, Ji-yeon Gong, Sun-ae Oh, The Study on the Environmental Elements of Exhibitions Applied the Flow Theory in the Museum, Journal of Digital Design, Vol. 11, No. 3, pp. 145-146, 2011. [8] Dong-hyeon Kim, The Past, Present, and Future of VR Technology, Weekly Technology Trends, Serial No. 1749, pp. 3-4, 2016. [9] Digital Contents Strategy Team, Virtual Reality, National IT Industry Promotion Agency, Chinese Digital Contents Trend eeport, Vol. 6, pp. 3, 2016. [10] Dong-hyeon Kim, The Past, Present, and Future of VR Technology, Weekly Technology Trends, Serial No. 1749, pp. 4, 2016. [11] Dong-hyeon Kim, The Past, Present, and Future of VR Technology, Weekly Technology Trends, Serial No. 1749, pp. 6, 2016. [12] Moon-seok Oh, Moon-seok Kim, The Study on the Development of Virtual System Associated with stereo Graphic, Korea Design Forum, Vol. 13, pp. 272-273, 2006. [13] https://www.youtube.com/watch?v=7eo8ddihune [14] https://www.youtube.com/watch?v=g-xzhkqqahu [15] https://ko.wikipedia.org/wiki/vr%ec%98%81%ec %83%81 [16] Ki-Deok Park, Jean-Hun Chung, A study on the Image Augmented Reality Card using Augmented Reality, Journal of the Korea Convergence Society, Vol. 12, No. 8, pp. 467-474, 2014. [17] Chan-Yeub Lee, A Study on Solution of Impeachment Evidence in Criminal Proceedings for Employ by the Convergence, Journal of the Korea Convergence Society, Vol. 6, No. 5, pp. 207-217, 2015. 이랑구 (Lee, Lang Goo) 2012년 2월 : 한국방송통신대학교미디어영상학과 (BA) 2015년 2월 : 홍익대학교영상대학원영상디자인학과 (MFA) 2016년 3월 ~ 현재 : 동국대학교영상대학원멀티미디어학과박사과정 관심분야 : VR, Contents Design, 3D Computer Graphic, Broadcast Graphic Design E-Mail : langgoolee@gmail.com 정진헌 (Chung, Jean Hun) 1992년 2월 : 홍익대학교미술대학시각디자인학과 (BFA) 1999년 11월 : 미국 Academy of Art University Computer Arts(MFA) 2001년 3월 ~ 현재 : 동국대학교영상대학원멀티미디어학과교수 관심분야 : VR, Contents Design, 입체영상, 3D Computer Graphic, Computer Animation, Visual Effects 등. E-Mail : evengates@gmail.com 500 Journal of Digital Convergence 2016 Nov; 14(11): 495-500