: VR (Taekyung Yoo: Study on Storytelling of VR Cartoons) (Special Paper) 23 1, 2018 1 (JBE Vol. 23, No. 1, January 2018) https://doi.org/10.5909/jbe.2018.23.1.45 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) VR a) Study on Storytelling of VR Cartoons Taekyung Yoo a) VR VR VR. VR VR 3. VR..,.. VR. VR VR., VR. Abstract The virtual reality (VR) cartoon is a format of VR contents that leverage the characteristics of webtoons that provides the simple story line and graphical storytelling tools to strategically surmount limitations of VR contents design. The VR cartoon enables people to experience the imaginary three-dimensional space in the webtoon as a real space by the transformation of webtoon contents through VR prototyping. The VR cartoon successfully presents focused environment where people can readily pay attention to the contents without notable motion sickness. People have been familiar with the storytelling strategy in the context of published cartoons and webtoons, likely we ve understood the narrative of a movie through the continuous scenes projected in the screen. Indeed, it has been recognized as a popular toolset of communication, where visual images are sequentially delivered by replacing multiple planar spaces to tell a story narrative. While there are discrete panels with the time and space resolution in the graphical cartoons, people can distill a commit closure based on their past experiences. This is a typical "grammar" of the cartoon, which can be extrapolated to the VR cartoon that provides a seminal storytelling strategy. In this article, we review how the storytelling strategy in webtoons has been transformed into that in VR cartoons, and analyze the key components of VR cartoons. We envision that our research can potentially create keystones to produce variety of new VR contents by reflecting various narrative media including cartoon as a 'sequential art'. Keyword : VR, Webtoon, Storytelling, VR Cartoons, Presence Copyright 2017 Korean Institute of Broadcast and Media Engineers. All rights reserved. This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
(JBE Vol. 23, No. 1, January 2018). VR. VR, VR VR. VR. [1][2] VR VR. VR, VR VR. VR VR 2. VR, VR :. 2, VR VR. VR. 3, VR : VR. a) (Dexter Studios) Corresponding Author : (Taekyung Yoo) E-mail: utd.vfx@gmail.com Tel: +82-2-6391-7562 ORCID: http://orcid.org/0000-0003-1063-4210 Manuscript received November 16, 2017; Revised January 8, 2017; Accepted January 8, 2017.. VR 1. VR VR VR VR [3] VR [4]. Oniride Magnetique VR [5] 360. [6]. VR. VR VR VR. 2. 2.1 VR [7]., [8].,,,. [8].
: VR (Taekyung Yoo: Study on Storytelling of VR Cartoons).,....,., [8]. VR. ( ) ' ' VR. 2.2,, [9]... [10]. VR. [11]. IT,. [9]. OSMU VR. VR. 2.3. VR Spaces'. VR. VR. VR. VR. VR..
(JBE Vol. 23, No. 1, January 2018) VR.. VR. 3. VR 3.1 VR.. VR. VR (presence).., [12]. 1 VR.,,, VR VR VR. VR. 3.2 VR,. VR. VR.. VR 1 3. 1 3.. 1. VR[13] Fig. 1. VR as a progression of the narrative mediums 3.3 VR,. VR VR..
: VR (Taekyung Yoo: Study on Storytelling of VR Cartoons). 1 3.,, (Asset). VR.. 3 (Low-polygon modeling) (Cartoon shading). VR 2.. VR : 1. VR. 2 VR 3 '. VR VR VR. 1 VR 3. UI 3... 2. VR Fig. 2. Diagram of VR Cartoon 2. VR VR VR. VR VR (Frame rate). VR. VR,, 1. VR Table 1. Correspondence between elements of webtoons and elements of VR Cartoons Webtoon VR Cartoon Panel Location Image on panel Image through point of view Gutter Dark change Narration box Narration sound Cartooning Low-poly modeling, Cartoon shading Sound effects on moving cartoon Spatial sound Mouse scroll Gaze selection, Controller input
50 방송공학회논문지 제23권 제1호, 2018년 1월 (JBE Vol. 23, No. 1, January 2018) 다. 그렇다고 카툰 렌더링 기법 자체가 계산 상 이득이 아주 큰 것은 아니지만 카툰 렌더링 기법을 사용하여 웹툰처럼 카툰화하여 표현하기 때문에 대부분의 애셋(Asset)의 경우 폴리곤 수를 줄여서 제작할 수 있고 장면에 배치되는 소품 이나 배경 애셋의 수도 사실적인 표현을 하는 콘텐츠에 비 해 적다. 또한 실제와 같은 사실적인 표현이라는 제약이 없 기 때문에 만약 특정 장면에서 프레임 레이트를 유지하기 위해 데이터의 양을 줄일 필요가 있다면 카툰화 정도를 높 여 더욱 간략화 혹은 추상화 된 형태로 표현할 수 있다. VR 콘텐츠에서는 대개의 경우 화면에 보이는 정보가 많 으면 그렇지 않은 경우에 비해 관객에게 불편한 시각 경험 을 줄 가능성이 높다. 그래서 VR 카툰에서는 말풍선이나 내레이션 박스, 효과음, 효과선을 모두 실제 사운드로 대체 하였다. 웹툰에서 텍스트가 담당하던 부분을 청각적 경험 으로 대체하고 시각은 주로 공간에 펼쳐진 상황을 관찰하 는 역할을 하도록 설계하였다. 이는 스토리텔링의 중추적 인 역할을 할 뿐 아니라 VR 콘텐츠 체험의 특성 상 시각적 정보는 시점을 잘못 두어 놓치거나 눈을 감아 회피할 수 있지만 청각 정보는 대개의 경우 그대로 수용하기 때문에 내용 전개에 있어 사운드 큐가 종종 중요한 역할을 하게 된다. 또한 게임 엔진에서는 입체적인 공간 사운드(Spatial sound)의 구현이 가능하기 때문에 몰입감을 높이는 사운드 디자인을 할 수 있게 된다. VR 콘텐츠 디자인에서 가장 큰 문제 중의 하나가 이동에 대한 결정이다. 플레이어의 실제 이동이 가능하게 할 것인 지, 그렇지 않다면 텔레포팅(Teleporting)과 같은 가상의 자 의적인 이동을 허용할 지, 창작자에 의해 의도된 움직임을 수동적으로 따르게 될 지 등을 결정하는 것이다. VR 카툰 의 경우 플레이어는 룸 스케일 세팅에서 약간의 이동은 가 능하지만 주로 정해진 위치에서 체험할 것을 권장한다. 공 간을 둘러 볼 정도의 이동은 허용되지만 이동을 통한 공간 전환은 허용되지 않는 것이다. 이것은 전혀 어지럽지 않은 VR 콘텐츠를 제작하고자 하는 의도를 반영한 것인 동시에 공간을 전환한 뒤에는 항상 창작자가 의도한 시점에서 장 면을 바라보게 하고자 했기 때문이다. 그래서 VR 카툰에서 는 컨트롤러의 버튼 클릭이나 게이즈 셀렉션(Gaze selection)을 통해서 공간을 넘겨 볼 수 있다. 게이즈 셀렉션을 장면 전환 방법으로 사용하는 이유는 VR 카툰이 카드보드 와 같은 모바일 디바이스에서 컨트롤러가 없이도 체험이 가능하도록 하기 위해서다. 그렇지만 모바일 디바이스에서 는 헤드셋의 회전은 인식되지만 이동은 인식(Positional tracking)이 되지 않기 때문에 공간을 충분히 체험하기에 부 족함이 있다. VR 카툰에서는 컨트롤러를 이용한 적극적인 인터랙션은 없지만 관객의 시선 방향과 위치를 이용하여 스토리텔링 상 중요한 트리깅(Trigging)을 시도한다. 예컨대 그림 3에 서 볼 수 있는 것처럼 처음 제작해 본 호러 장르의 VR 카툰 프로토타입에서 관객을 놀라게 하기 위해 문틈에서 팔이 뻗어 나오는 장면이 있다. 호러 장르의 특성 상 분위기를 고조하고 실제 팔이 뻗어 나와야 할 순간에 관객이 다른 곳을 바라보는 경우가 많았다. 그런 상황을 방지하기 위해 서 헤드셋의 위치와 자세값을 사용하여 관객의 위치와 시 선 방향을 파악하고 관객이 문틈을 일정 시간 바라보게 되 면 팔이 뻗어 나오게 트리거 설정을 했다. 이러한 형태의 트리거 이용은 VR 콘텐츠의 스토리텔링에서 몰입감과 개 연성을 보장할 수 있는 장치로 사용될 수 있다. 그림 3. VR 카툰 프로토타입의 문틈 장면 Fig. 3. Door scene of 'VR Cartoon prototype' 카툰의 스토리텔링을 정리하면 그림 4와 같다. 그림 4는 웹툰의 한 칸에서 다른 칸으로 넘어가는 것과 대응하는 VR 카툰 상의 경우를 나타내고 있다. 관객은 가상현실의 공간 1에서 상황이 전개되고 있는 시간 1의 순간을 보게 된다. 내레이션이나 대사에 의해 장면 1이 진행되지만 캐릭 터들은 멈춰있고 관객은 주변을 둘러볼 수 있다. 장면 1을 VR
: VR (Taekyung Yoo: Study on Storytelling of VR Cartoons) 4. VR Fig. 4. Storytelling of VR Cartoon 2. 2. VR...., VR. VR VR. VR? VR., VR. VR. VR.,. VR... VR. VR.
(JBE Vol. 23, No. 1, January 2018)... VR. VR..,....... VR. VR VR. (References) [1] Y. Lim, "Virtual Reality Contents and Technology Trend," Information & communications magazine, Vol.22, No.12, pp.49-55, Nov. 2016 [2] I. Kim, "Virtual Reality Technology Trend," Broadcasting and media magazine, Vol.21, No.2, pp.51-60, Apr. 2016. [3] VR comic, https://play.google.com/store/apps/details?id=com.wonky. VRtoon (accessed Jan. 14, 2018) [4] ComixV, https://www.oculus.com/experiences/gear-vr/14407603226 56158 (accessed Jan. 14, 2018) [5] Magnetique, https://www.oculus.com/experiences/gear-vr/11744590 59254863 (accessed Nov. 5, 2017) [6] H. Park and K. Kim, Study on Media adaptation from a Webtoon to Virtual Reality Content, The Journal of the Korea Contents Association, Vol.17, No.2, pp.308-315, Feb. 2017. [7] Will Eisner, Comics and Sequential Art, Poorhouse Press, United States, p.5, 1990. [8] Scott McCloud, Understanding Comics, (N. Kim, Trans.), Harper Collins Publishers, New York, pp. 15-77, 2008. [9] Y. Song, The Present Status and Features of Webtoons and The Way to Activate OSMU based on Webtoons, KOCCA, 57 edition, 2012. [10] B. Kim and N. Hong, Following media development, a Study about the convergence of comics and multimedia, Journal of Digital Contents Society, Vol.13, No.1, pp.119-127, Mar. 2017. [11] J. Kim, S. Seong and W. Hong, The Evolution of Webtoon Platform and The Future of Korean Webtoons, DIGIECO, 2016. [12] H. Jeong and C. Oh, Immersive Media, Communication Books, 2014. [13] N. Whiting and N. Donaldson, Integrating the Oculus Rift into Unreal Engine 4, Oculus Connect Presentation, p. 116, 2014-2002 2 : - 2002 3 ~ 2004 2 : - 2012 2 : - 2012 2 ~ : & VR - ORCID : http://orcid.org/0000-0003-1063-4210 - : Computer Graphics, VFX, VR, Digital Human