스토리큐브 : 인터렉티브디지털스토리텔링을위한탠저블인터페이스에관한프레임워크 StoryCube: A Framework on a Tangible Interface for Interactive Digital Storytelling 주저자 : 이준 (Lee, Zune) 한국과학기술원문화기술대학원 공동저자 : 최원석 (Choi, Won Seok) 한국과학기술원문화기술대학원 황주선 (Hwang, Joo Sun) 한국과학기술원문화기술대학원 본논문은문화관광부한국문화콘텐츠진흥원에서시행한 2005 년지역문화산업연구센터 (CRC) 지원사업 의연구결과임.
1. 서론 1-1 연구의배경및목적 1-2 연구의방법및범위 2. 인터렉티브디지털스토리텔링과탠저블인터페이스 2-1 인터렉티브스토리텔링연구 2-2 인터렉티브스토리텔링사례개발 : 영화 < 나비효과 > 2-3 디지털영상을위한탠저블인터페이스연구 / 개발 3. 결론및토의 proposing the possibilities of interfaces for new forms of digital contents through the process of prototyping a tangible interface based on interactive storytelling. (Keyword) interactive storytelling. interaction, tangible interface, tangibility, cubes, prototyping 참고문헌 ( 요약 ) 스토리큐브는인터렉티브디지털스토리텔링을위한탠저블인터페이스이다. 이는디지털기술이인간에게제공하는디지털영상의비물질성과획일화된현재의인터페이스방식의한계를지양하고보다촉각적인인터렉션을통해시청자가적극적으로기존의서사구조에개입을가능케한다. 스토리큐브는인터랙티브스토리텔링을위한하위스토리를가진 4개의큐브와한개의스토리보드로구성되어있다. 시청자는각큐브를스토리보드의슬럿에삽입하는배열의방식에따라서각기다른스토리를구성할수있다. 본연구는디지털서사학과촉각적인터페이스를통합디자인하는프레임워크이며, 인터렉티브스토리텔링을기반으로한탠저블인터페이스의프로토타이핑과정을통해서새로운형식의디지털영상콘텐츠를위한인터페이스가능성을제시하는데그의의가있다. (Abstract) StoryCube is a tangible interface for interactive digital storytelling. This is an attempt to overcome the non-materiality of digital images and limits of too much standardized forms of the current user interfaces, thereby enabling audience to actively intervene in narrative of digital movies through tangible interaction. StoryCube consists of four cubes that contain sub-stories for interactive storytelling and one StoryBoard. Audience can create different stories according to cube arrangement by inserting cubes to slots of StoryBoard. This study is a framework to integratedly design digital narrative and tangible interfaces. Also we put the importance on
1. 서론 1-1. 연구의배경인간은오감 ( 五感 ) 을통해세상을감각하고지각하며, 하나의 의미 로서세계를인지하는감성적존재이다. 이러한맥락에서인간은자신의확장으로서의미디어를발명하고미디어를마사지화 (massage 化 ) 함으로써촉각적인인터페이스에집중하게되었다. 그러나동시에디지털과통신기술은인간에게비물질성을과도하게제공하기도한다. 디지털사회에서인간은실체적으로실존적으로서로를대면하기보다는비트로구성된비물질성이가져다주는순수디지털의획일적한계상황속에서관계를맺게된다. 이러한점은인간이영상물을대면할때도유사하다. 우리는디지털영상물을기존의획일적인인터페이스에의존하여비물질적으로감상하게된다. 설사그인터페이스가촉각적성격을가지고있더라하더라도그획일적촉각성이우리가진무한한촉각의가능성을제한하고있다. 이러한맥락에서탠저블인터페이스 (Tangible Interface) 는우리에게의미있는화두를던진다. 이는커뮤니케이션에있어촉각의중요성을환기시키는것을말한다. 촉각은수동적이고수용적인개념이라기보다는적극적이고통합적인것이다. 이런점에서본연구는탠저블인터페이스를기반으로한촉각적인스토리텔링의가능성을제시한다. 이는사용자의개입과적극성을요구하는것으로, 동영상을담아서컨트롤할수있는컨테이너로서의큐브인터페이스 (cube interface) 를디자인하고이를상호작용이가능한실험적인스토리텔링과연계함으로써디지털문화콘텐츠의새로운장 ( 場 ) 을여는데그목표를두고있다. 를감성적또는의도적인터페이스를할수있는탠저블인터페이스장치의개념및프로토타입을제작하고콘텐츠의제작및운용기술개발에대한연구를한다. 2. 인터렉티브스토리텔링과탠저블인터페이스 2-1. 인터렉티브스토리텔링연구 (1) 인터랙티브스토리텔링정의 : 인터랙티브스토리텔링이란청자 (audience) 가이야기구조에영향을미칠수있는이야기라고할수있다. 전통적인방식의스토리텔링은청자에게일방적으로스토리를전달하였으며청자는스토리구조에개입할여지가없었다. 하지만양방향커뮤니케이션이가능한인터렉티브미디어의발전은청자에게스토리구조에개입할여지를제공하였으며기존에는찾아볼수없었던스토리와청자와의인터렉션, 그리고이로인한스토리텔링특성이생겨났다. (2) 인터렉티브스토리텔링구조 : 인터렉티브스토리텔링구조는디지털기술의발전에따른미디어의변화에따라다양한형태로변형발전되어왔으며전통적소설, 영화부터게임이나몇몇인터렉티브예술작품에서발견되는이야기구조들을예로들수있을것이다. 모든인터렉티브매체에서동일한구조를사용하는것은아니지만리니어 (Linear) 한형태의단선형, 중단형구조와여러개의분기점을포함한트리형태의분기형, 탐험형구조로크게나누어볼수있다. 표 1) 인터렉티브스토리텔링의구조 1-2. 연구와범위및방법 그림 1) 연구방법중인터페이스프로토타이핑과정 1차적으로인터랙티브디지털영상의서사구조를연구하고디지털영상에서의시청자참여적인인터랙티브스토리텔링에관한콘텐츠의사례를개발한다. 사례개발에서는인터렉티브서사구조화하기가용이한기존의스토리들을조사하고그것을기반으로스토리를재구성하는방식을취하였다. 본논문에서는영화 < 나비효과 (Butterfly Effect)> 를사례연구대상으로선정하였다. 2차적으로영상콘텐츠 (3) 인터랙티브스토리텔링개념 : 콘텐츠를인터랙티브하게만드는것은스토리텔링에있어새로운깊이와풍부함을더하는것이다. 그것은새로운이야기를경험하게하며몰입적인참여를유도하게된다. 인터랙티비티와스토리텔링이라는두개념은현실속에서도다양한형태로결합되어있다. 인터랙티비티와스토리텔링의만남은이처럼새로운
형식의내러티브체계를보여줄수있다. 이야기 ( 내러티브 ) 와사용자의결합 ( 사용자의상호작용 ) 을통해사용자가 이야기속으로 들어가는것, 즉경험하는것이이상적인스토리텔링의본질이라고할때, 콘텐츠는특정한형태의기대또는예측을관객으로부터유도할수있다. 결국이야기를만들어나가는사람은사용자자신이되는것이다. 디지털환경에서사용자의몰입과행동에의해상호작용적으로새롭게태어날수있는이야기를인터랙티브스토리텔링이라고한다. 2-2. 인터렉티브스토리텔링사례개발 : 영화 < 나비효과 > (1) 영화 <나비효과 > 서사구조분석 : 영화 < 나비효과 > 는카오스이론을영화에접목시켜, 한순간의선택이한사람의운명을얼마나극적으로변화시킬수있는지, 그무서운진실을충격적인영상으로표현한영화로평가받는다. 이러한컨셉을바탕으로한영화 < 나비효과 > 의스토리텔링은시공간의이동에따른치밀한구성을가지고있다. 주인공이시공간을넘나들면서자신의과거를바꿔어긋난기억의조각들을맞추어나간다는이야기를큰줄기로하여, 예측할수없이변화하는다양한현재의모습들이가지처럼뻗어나가는형태로진행되는스토리는일반적인스토리에서볼수있는선형적인구성을탈피하여사건의분기점들이존재하며각분기점에서여러방향으로스토리가전개된다. 즉, 지금까지순차적으로스토리를따라가던기존의영화와현격히다른개념으로구성되었다고할수있다. 영화에는크게 4개의하위스토리가존재하고각각의스토리는다른결말을보여준다. 원하지않는결말을피하기위해영화는다시분기점으로돌아오며다시다른방향에위치하고있는하위스토리를전개한다. 구성을효과적으로부각시키지못하고있다. 여러개의분기점에서파생되는각기다른스토리는독립적이며하나의완결한서사구조를지니고있다. 즉 < 나비효과 > 는여러개의하위스토리로구성되어있으며각각의하위스토리는독립성을가지고있기때문에하위스토리의시공간적인재배치를통해새로운스토리로거듭날수있다. 인터랙티브스토리텔링방식은 < 나비효과 > 의이러한서사구조를효과적으로전달할수있으며사용자는기존의일방적인형태의매체에서경험하는콘텐츠와는전혀다른새로운경험을할수있다. 즉, 사용자는직접적으로영화의서사구조를바꿀수있으며하위스토리의시공간적재배치를통해새로운콘텐츠를접할수있게된다. 이처럼인터렉티브스토리텔링방식이적용된기존의콘텐츠는사용자에게상호작용성을제공함으로써일방적인스토리텔링방식으로부터얻는재미와는다른새로운경험을제공하며이는새로운형태의디지털콘텐츠의가능성을암시한다. (3) 인터랙티브스토리텔링의적용 : 기존의영화 < 나비효과 > 에는 4개의하위스토리가존재하며이 4개의독립성을지닌하위스토리의재구성을통해사용자는다양하게변형가공된콘텐츠를경험할수있다. 4개의하위스토리를인위적으로재구성하여얻는새로운콘텐츠는총 24개가존재할수있다. 단지재가공된콘텐츠의대량생산이아닌사용자의의지가직접스토리텔링에개입되는인터렉티브스토리텔링은새로운형태의디지털영상물을의미한다. 2-3. 디지털영상을위한탠저블인터페이스연구 그림 3) 스토리큐브의프로토타입 그림 2) 영화 < 나비효과 > 의서사구조분석과변용 (2) 인터랙티브스토리텔링의가능성 : 탐험형의스토리구성을가진 < 나비효과 > 는기존의선형적인스토리텔링에맞춰진일방향적인미디어매체에서재생되어독특한스토리 (1) 인터렉티브스토리텔링을위한탠저블인터페이스프로토타이핑 : 인터랙티브스토리텔링을위한탠저블인터페이스는각각의하위스토리를담을수있는스토리큐브 (StoryCube) 와스토리큐브의배열을인식하고스토리를재구성하며전체영상물을제어할수있는스토리보드 (StoryBoard) 로이루어져있다. 직육면체블럭의형태를기본으로하고있는스토리큐브는다양한조합이가능한기본단위형태를갖으며사용자가직접만지고조작하는실체적인터페이스라할수있다. 사용자는각각의스토리
큐브에스토리를담을수있으며블럭쌓기놀이를하듯이블럭들을공간에재배치하여스토리를재구성할수있다. 그림 4) 스토리큐브의구조도 스토리큐브의배열인식과전체영상물의제어를담당하는스토리보드는스토리큐브를위치시킬수있는슬롯으로구성되어있으며재구성된스토리의서사구조정보를영상플레이어에보내어새로운콘텐츠를디스플레이할수있도록한다. 그림 5) 콘텐츠의흐름 (2) 콘텐츠의흐름 : 4개의동일한기능을갖는스토리큐브에는각각원하는장면을사용자가담을수있다. 이처럼각각의개별적인아이디를갖는스토리큐브는부분적인콘텐츠정보를담을수있으며사용자가정한스토리맵핑정보는스토리큐브를스토리보드에꽂는순간전달된다. 스토리보드에서사용자는 4개의스토리큐브의배열을조작하여스토리의전개과정을재구성하게된다. 즉스토리큐브의배열은콘텐츠의재구성을의미하며이러한배열정보는영상물을플레이하는프로세서에전달된다. 프로세서는스토리큐브의배열정보와각각스토리큐브에들어있는맵핑정보를받아재구성된영상물을디스플레이한다. 그림 6) 스토리큐브의세부구성 (3) 스토리큐브 (StoryCube) 의세부구성 : 각각의스토리큐브에는콘텐츠맵핑정보와큐브고유아이디 (ID) 를보유하고처리하는프로세서와현재스토리큐브의작동상태및영상재생시콘텐츠의진행상태를시각적으로표현해줄수있는 LED, 정보통신을위한 IR sensor 로이루어져있다. 각각의스토리큐브는독립된프로세서와전원을가진모듈로서실제콘텐츠를저장하는것이아닌맵핑정보만을스토리보드에전달한다. 기본적인직육면체의형태를하고있으며사용자가보이지않는콘텐츠를직접손으로조작할수있는실체적인터페이스이다. (4) 스토리보드 (StoryBoard) 의세부구성 : 스토리큐브의배열과영상물의제어를담당하는스토리보드는스토리큐브를배열할수있는 4개의큐브슬롯과영상제어를위한컨트롤패널부로이루어져있다. 각각의슬롯에는스토리큐브로부터큐브아이디와맵핑정보를받을수있는 IR sensor 가위치하고있으며슬롯의활성화여부를판단할수있는 IR sensor 로구성된다. 컨트롤패널부에는영상물의제어를위한 4종류의버튼과부가기능 ( 검색, 볼륨조절 ) 을위한조그셔틀이위치한다. 영상플레이어또는컴퓨터와실시간통신은시리얼포트를통해이루어진다. 그림 7) 스토리보드의세부구성
3. 결론및토의자넷머레이 (Janet Murray) 교수가지적하듯이, 상상하고변형하며그것을표현하려는인간의욕구는인간구조의변할수없는부분이다. 이런인간의욕구를충족시킬새로운디지털매체를통한인터렉티브스토리텔링의잠재력은엄청나다. 이미여러많은분야에서이러한새로운디지털매체의내러티브로서인터렉티브스토리텔링이시도되고있으며온라인게임과같은분야에서는몰입감을극대시키는데결정적인역할을하고있다. 앞으로미디어의발전에따라인터렉티브스토리텔링은급속도로대중화되어온라인게임뿐만아니라인터넷서비스또는영상물등을포함하는모든디지털콘텐츠의일반적인전달방식으로서자리잡게될것이다. 그러나사용자가인터렉티브스토리텔링을접하는접점 (interface) 에관한연구는현재부족한실정이며그에대한심도있는연구의필요성이대두되었다. 본연구는몰입감을극대화시킬수있는방법으로서인터렉티브스토리텔링과사용자가접하는접점에서탠져블인터페이스 (tangible interface) 의활용을통하여콘텐츠와인간감성의상호인터렉션방안을제시하고자하였다. Design of a Learning Appliance, Personal and Ubiquitous Computing, Springer Journal. Presented at 3AD, Appliance Design Conference, Bristol, UK, June 2005. Sheridan, J. Short Ben, W. Van Laerhoven, K. Villar, N. Kortuem, G., Exploring Cube Affordances: Towards A Classification of Non-Verbal Dynamics of Physical Interfaces for Wearable Computing, Eurowearables, 2003. 참고문헌 김경래, 인터랙티브무비의내러티브구조와인터랙션에관한연구 -내러티브이론을통한인터랙티브-내러티브구조파악을중심으로, 한국과학기술원석사학위논문, 한국과학기술원, 2002. 이자영, 실체적인터페이스시스템에관한연구, 한국과학기술원석사학위논문, 한국과학기술원, 2002. 이준희, 인터렉티브스토리텔링의구조적디자인, 디자인학연구제54호 Vol. 16 No. 4, 2003. 자넷머레이, 인터렉티브스토리텔링, 안그라픽스, 2001. 정승녕, 멀티미디어인터페이스디자인에서의시각적내러티브기법의적용에관한연구, 한국과학기술원석사학위논문, 한국과학기술원, 1999. Andrew Glassner, Interactive Storytelling: Techniques for 21st Century Fiction, AK Peters, 2004. Henry Newton-Dunn Hiroaki Nakano James Gibson, Block Jam: A Tangible Interface for Interactive Music, Proceedings of the 2003 Conference on New Interface for Musical Expression, 2003. Terrenghi, L. Kranz, M. Holleis, P. Schmidt, A. A Cube to Learn: a Tangible User Interface for the