가상현실영상콘텐츠동향과발전방향 강지영단국대학교조교수 현재가상현실은 ICT 시장에서세계적인주목을받고있는분야이다. 특히, 스마트폰을대체할미래콘텐츠플랫폼으로서 HMD(Head Mounted Display) 가주목받고있는가운데, 가상현실콘텐츠시장을선점하려는노력이지속되고있다. 새로운미래먹거리로서의가상현실영상콘텐츠의개발을위해본고에서는가상현실영상콘텐츠의동향을알아보고발전방향을모색하고자한다. 이를위해가상현실저널리즘, 가상현실영화, 가상현실뮤직비디오등의영상콘텐츠를살펴보고이와같은가상현실영상콘텐츠에적용가능한인터랙션기술을살펴보았다. I. 서론 현재 ICT 시장은가상현실이세계적인화두라고할수있다. 2016 년 1 월 5~8 일미국라스베가스에서열린세계최대가전전시회인 CES 에서는오큘러스, 삼성전자, HTC, 소니등이가상현실관련제품들을선보여큰관심을얻었다. 또한, 2016 년 2 월스페인바르셀로나에서열린세계최대의모바일전시회인 MWC(Mobile World Congress) 에서도삼성전자의가상현실 HMD (Head Mounted Display) 플랫폼인 기어 VR [1] 체험이큰인기를얻었고, 전자, 통신, 반도체, 자동차등다양한분야의업체들이가상현실 (VR) 콘텐츠를제공하면서가상현실이 2016 년한해 ICT 산업의핵심화두로부상하였다. 많은전문가들은이렇게가상현실이주목받는이유는현재스마트폰시장은포화상태로성장의정점에이르렀기때문에새로운시장으로서웨어러블디바이스를주목하고있기때문이다. 페이스북의주커버그는 가상현실은차세대소셜플랫폼이될것이며, 가상현실을통해서로다른장소에있어도같은환경과경험을공유하게될것 이라고말했다. 이를위해페이스북, 삼성, 구글, 소니등세계유수기업들이가상현실에대한투자를확대하고관련생태계를구축하고자노력하고있다. * 본내용은강지영교수 ( 031-8005-3956, artech@dankook.ac.kr) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 2 www.iitp.kr
기획시리즈 -VR AR 1960 년대부터시작된가상현실기술은초기에는군사및훈련용시뮬레이터를중심으로개발되기시작했다 [2]. 초기의가상현실연구들은하드웨어및소프트웨어기술의한계때문에거대한가상현실기기를이용해서단순한그래픽으로이루어진가상공간을체험해볼수있는수준이었다. 이렇게오랜역사를가진가상현실기술이최근급부상한이유는대중화가될만한 ICT 기술및인프라가마련되었기때문이다. 가상현실은시스템의환경에따라몰입형가상현실 (immersive VR), 원거리로보틱스 (tele-robotics), 데스크톱가상현실 (desktop VR), 삼인칭가상현실 (third person VR) 로나눠질수있다. 몰입형가상현실은현재가상현실시장에서가장주목을받고있는디바이스인 HMD 를착용하여강제적으로현실세계와차단한상태에서데이터장갑 (data glove), 데이터옷 (data suit) 등의특수장비를통해사용자가실제로보고만지는것같은감각적효과를느끼게해생생한환경에몰입하도록하는시스템을말한다. 원거리로보틱스는로봇을이용하여먼거리에있는공간에사용자가현전하는효과를주는시스템을말한다. 데스크톱가상현실은일반컴퓨터모니터에간단한입체안경, 조이스틱등만첨가하여책상위에서쉽게만날수있는가상현실시스템을말하고, 삼인칭가상현실은카메라로촬영된자신의모습을컴퓨터가만들어내는가상공간에합성하여자신이가상공간에직접존재하는것처럼느끼게하는시스템을말한다 [3]. 비싼가격과착용의불편함때문에시뮬레이션이나연구용으로만쓰이던몰입형가상현실인 HMD 디바이스가현재주목받는이유는최근스마트폰으로손쉽게 HMD 를체험할수있는방법이생겨나고, 저렴한가격에구매할수있는 HMD 가등장하면서콘텐츠플랫폼으로서의가능성에주목하기시작하였기때문이다. 이에미국의오큘러스는 2016 년고성능 HMD 플랫폼인 오큘러스리프트 (Oculus Lift) [4] 를출시하였으며, 구글은보급형 HMD 인카드보드 (Cardboard) 를, 뒤이어대만기업 HTC 의 바이브 (VIVE), 중국의 폭풍마경, 일본소니의 플레이스테이션 VR 이출시를앞두고있다. 이처럼세계의많은기업들이가상현실디바이스들을출시하고있지만가상현실이대중적으로성공을거두기위해서는가상현실디바이스의확산뿐만이아니라핵심콘텐츠의개발이시급하다. 스마트폰이성공할수있었던이유가게임, 영상, SNS 등의콘텐츠서비스였던것처럼가상현실플래폼을위한킬러콘텐츠개발이시급한상황이다. 이에게임업계는이미발빠르게가상현실게임들을출시하고있고가상현실영화, 가상현실드라마등이등장하고있다. 이에본고에서는스토리텔링의새로운수단으로서의가상현실영상콘텐츠의종류를알아보 정보통신기술진흥센터 3
고가상현실영상콘텐츠의시스템과인터페이스를분석하였다. 또한, 이를통해앞으로가상현 실콘텐츠기술이나아갈방향성을제시하고자한다. II. 가상현실영상콘텐츠란? 가상현실디바이스와관련기술들의빠른성장과함께가상현실콘텐츠도빠르게증가하고있다. 2015 년에는이미오큘러스쉐어에 500 여개의콘텐츠가등장했으며, 현재는 1,000 개이상의콘텐츠를다운받을수있다. 또한, 지난 6 월개최된 E3(Electronic Entertainment Expo) 에서는개발중인가상현실게임이다수소개되었으며, 최근에는소니, 마이크로소프트등탄탄한콘텐츠제작사들이가상현실게임에주목하며개발을진행하고있다. 가상현실콘텐츠중가장많은주목을받고있는분야는게임이다. 게임은이미가상현실플랫폼이상용화되기전부터 3 차원공간과상호작용성을가지고있는콘텐츠로써가상현실환경에가장접근하기쉬운분야이기때문이다. 현재가상현실기술은차세대디스플레이로게임영역에서주로활용되고있으나의료, 교육, 여행, 쇼핑등다양한영역으로확대될전망이다. 가상여행을위해사용자가가상의우주공간을여행할수있는 타이탄즈오브스페이스, 뉴욕내 1,000 여개대학캠퍼스를둘러볼수있는 유비짓 (YouVisit) 오브뉴욕 등가상공간을활용한여행애플리케이션들이개발되었다. 일본의부동산 주택정보제공사업자 홈즈 는오큘러스리프트를이용하여부동산확인이가능한애플리케이션 룸 VR 을출시하여가상현실기술을활용한부동산서비스를실행하고있다. 또한, 교육용수술시뮬레이션, 가상환경내병원진료, 가상환경을이용한심리치료등의료산업에서도가상현실기술을적용하려는노력이계속되고있다. 최근에는한류아이돌들의가상현실뮤직비디오, 광고, 홍보영상등 360 도영상을활용한가상현실영상콘텐츠가빠르게급증하고있으며, 스토리텔링을기반으로한영화분야에서도주목을받고있다. 세계적인영화제인칸영화제에서도 2016 년가상현실세션을진행하였으며, 세계적으로권위있는독립영화제로유명한선댄스영화제에서는이미 3 년전부터뉴프론티어세션을진행하여다수의가상현실영화들을소개하였다. 또한, 헐리우드에서도가상현실영화의가능성을주목하고있다. 오큘러스가직접콘텐츠개발을위해설립한오큘러스스토리스튜디오에서는헐리우드의인재들을영입하여지난 3 년간선댄스영화제에다양한가상현실 4 www.iitp.kr
기획시리즈 -VR AR 영화들을선보이며다양한시도를하고있다. 이러한헐리우드의가상현실열풍에대해아바타의감독제임스카메론은향후영화와게임을어떻게구분할지, 두양식의요소를모두갖춘새로운구조는가능할것인지의본질적인질문을던지고있다. 영화 아바타 의등장과같은 3D 영화와기계장치로의자를흔드는등물리적요소가포함된 4D 영화의새로운콘텐츠시장이열렸듯이가상현실콘텐츠시장의문을열킬러콘텐츠개발을위해세계가주목하고있는것이다. III. 가상현실영상콘텐츠의종류 1. 가상현실저널리즘최근국내외많은언론사들이 360 도카메라를활용한 VR 저널리즘에공을쏟고있다. 뉴욕타임즈는 VR 영상을볼수있는카드보드 100 만개를배포하면서관련앱도함께만들었다. USA 투데이와 ABC 뉴스역시 VR 콘텐츠를선보이면서독자눈길잡기에나섰으며, 특히 ABC 는북한, 시리아등에기자를파견하여 VR 콘텐츠를생산하였고, 국내에서도 VR 저널리즘에대한관심이늘고있다. 한국경제가가장먼저 VR 저널리즘을선보인가운데조선일보도최근본격적으로경쟁에뛰어들었다. 왜이렇게세계유수의언론사들은가상현실저널리즘에주목하고있는것일까? 가상현실저널리즘 (virtual reality journalism) 은가상현실디바이스를통해사건이나사고가발생한현장에실제있는듯한느낌을경험하게하는것을말한다. 기자가실재취재를통해사건이나사고가발생한현장의실재적인자료를통해가상현실을구성하면, 시청자가사건현장에들어가가상현실디바이스를통해영상을경험하는것이다. 3 차원공간과실제현장사운드등을통해사건현장에직접와있는것같은느낌을받을수있다. 걸음을옮겨가상현실공간속인물에게다가갈수있기도하며실제공간을 360 도영상으로촬영하여구현하기도한다. 버추얼저널리즘 (Virtual Journalism) VR 의대모라고도불리는저널리스트노니드라페나 (Nonny de la Pena) 는사람들이진심으로공감하고진지하게받아들일수있는스토리를제공하기위해가상현실기술을저널리즘에도입하였다. 그녀가이끄는 VR 기업인엠블메틱그룹 (Emblematic Group) 은 Hunger in Los Angeles 라는가상현실필름을통해 LA 의무료급식소앞에서한당뇨병환자가줄을서서기다리던중굶주림을견디지못하고낮아진혈당때문에쓰러져경련하 정보통신기술진흥센터 5
< 자료 > https://www.youtube.com/watch?v=v2kg0qm9wp8 [ 그림 1] VR 저널리즘 Project Syria 는현장을재현했다. 프로젝트시리아 (Project Syria) 에서는시리아에서거리한복판에로켓포가떨어진현장을실제현장사운드와함께구현하기도했다. 그동안의뉴스가단순히정보를전달하는용도였다면, 가상현실은체험자들에게그사건현장에직접가있는것같은느낌과함께깊은감정이입을가능하게한다. 미국의주요일간지인뉴욕타임즈역시정기구독자들에게신문과함께 구글카드보드 를제공하고주말판 타임즈매거진 의커버스토리 난민 (The Displaced)' 과같은제목의 11 분 8 초짜리다큐멘터리영상을공개했다. 최근국제문제로떠오른난민들의생활모습을생생하게표현한 가상현실영상 이었다. 이처럼가상현실저널리즘은기술을사용하여시각적으로뿐만아니라감정적으로호소할수있는스토리텔링을구현해내는좋은예라고할수있다. 2. 가상현실뮤직비디오차세대콘텐츠로가상현실을주목하고있는만큼국내에서도가상현실영상콘텐츠에대한여러시도들이이루어지고있다. 특히, 세계적으로불고있는한류의영향으로케이팝을대표하는아이돌들과연예인들의공연이나뮤직비디오를 360 도영상으로제작하는사례가늘고있다. 실제가수가없어도홀로그램을이용하여전세계어디에서도콘서트가가능해졌고, 마치내눈앞에서가수가춤추며노래하는듯한 환상 을주는가상현실기술의뮤직비디오도일반화하는추세이다. 이같은흐름은케이팝을한단계더진화시킬것이라는전망을키우고있다. 6 www.iitp.kr
기획시리즈 -VR AR 2014 년국내가수윤상이최초로 360 도뮤직비디오 < 왈츠 > 를선보인이후로인피니트 배드, 크라운제이 진짜매일해, 스텔라 찔려, 밤비노 오빠오빠, 솔비 블랙스완 등이제작되었다. 그룹트와이스, 스컬 & 하하, 샘김등의라이브공연과뮤직비디오도 VR 기술을통해감상할수있게되었다. 특히, KT 뮤직은 2016 년 VR 기반신규음악서비스를론칭하여각종공연및쇼케이스 VR, 스타의녹음실, 스타와함께여행떠나기 등프리미엄 VR 콘텐츠를연내 100 편을제작하여제공할계획을밝혔다. VR 뮤직비디오는가수의정면모습만보여주는데그치지않고, 이용자가 HMD 를끼고머리를움직여원하는시점으로관람할수있다. 스마트폰이나컴퓨터에서는마우스커서로원하는방향을드래그하며화면을 360 도상하좌우로움직여공연하는가수의다양한모습을확인해볼수있게한다. 콘서트같은공연실황같은경우에는환호하는관중, 무대옆에서움직이는스태프까지한화면에서감상할수있어실제공연장에와있는것같은생동감을더한다. 그러나이러한가상현실음악콘텐츠들은아직 360 도영상제작자체에만집중하여 360 도공간을활용한스토리텔링이나, 상호작용성등가상현실의특성을잘활용하지못하고있는실정이다. 3. 가상현실영화가상현실영화는가상현실기기를통해영화를관람하는것으로예를들면, HMD 와같은가상현실기기를착용하여화면에비쳐진영화를감상하는것이다. 가상현실영화는기존의 2D 스트린을통해영화를감상하던것이아닌 360 도화면을감상할수있도록만든것이가장큰차이점이며영화를감상하는관람자의입력값이영화에영향을끼칠수있다. 즉, 사용자가고개를원하는방향으로돌리면 360 공간속에서원하는장소나인물을볼수있다는것이다. 제 31 회선댄스영화제에상영되어큰화제를모았던 카타토닉 은가상현실콘텐츠로제작된호러단편이다. 카타토닉 은휠체어를타고정신병원을돌아다니며느끼는공포를그린다. 관람자들은실제휠체어에앉아 HMD 를끼고가상현실영화속실제주인공의 1 인칭시점으로영화를체험하며영화속휠체어의움직임은실제현실속앉아있는휠체어에도고스란히전해져더욱몰입감을높인다. 선댄스영화제는첨단기술을활용한새로운영화를선보이는뉴프론티어세션을통해매해이러한새로운경향의영화들을선보이고있다. 헐리우드에서도가상현실기술을활용한영화예고편들을제작하여마케팅효과를높이고있다. 공포영화의귀재제임스완감독의 컨저링 2, 실재보다더실재같은 CG 로화제를모으고있는 정글북 등의영 정보통신기술진흥센터 7
< 자료 > http://www.catatonic.co/ [ 그림 2] VR 영화 Catatonic 화들도최근개봉과함께 VR 예고편을앞서선보였다. 영화제작업계에서는 VR 스타트업인전트가월트디즈니와차이나미디어캐피털 (CMC) 등영화관련투자자들로부터 6,500 만달러 (765 억원 ) 규모의투자금을유치하였으며, 자체적으로편집프로그램과 VR 카메라, 마이크등기술개발을하며사내제작사를두고콘텐츠제작도직접하고있다. 또한, 헐리우드의가상현실콘텐츠제작회사인버추얼리얼리티컴퍼니 (VRC) 는로버트스트롬버그, 크리스에드워즈가공동설립, 스티븐스필버그감독과리들리스콧감독이콘텐츠제작에자문위원으로참여하여가상현실영화를제작하고있다. 이와같이세계의영화시장이헐리우드와선댄스같은세계적인영화제를중심으로가상현실영화의개발에주력하고있으나, 현재한국의상업영화계에서는가상현실영화에대한개발이매우미흡한실정이다. 국내 VR 영화제작은정부지원으로 1 년에 5~6 편이제작되고있는실정이며, 제작방식으로는 DSLR 4K 급이상의촬영장비로 2D 촬영후 3D 로컨버팅하는방식을주로사용하고있다. IV. 가상현실영상콘텐츠시스템 가상현실이추구하는목표는이용자로하여금원격현전 (telepresence) 을경험하도록하는것 이다. 원래현전 (presence) 은 어떤환경속에서느끼는실재감 (sense of being) 을뜻하며, 이런 8 www.iitp.kr
기획시리즈 -VR AR 점에서원격현전은 커뮤니케이션매체에의해어떤환경속에실재하고있음을경험하게되는것, 즉환경에대한매개된지각 (mediated perception) 이라할수있다 [5]. 즉, 가상현실의근본적인과제는커뮤니케이션매체와육체를어떻게결합시키느냐하는것에있다 [6]. 테크놀로지와육체의완전한결합, 즉합체 (embodiment) 가가상현실의최종목표인셈이다. 그러나앞장에서살펴보았듯이현재가상현실영상콘텐츠는가상현실관련기술이콘텐츠와사용자의신체적인매개의역할을하지못하고있다. 이를위해서는기존의인터랙션기술을활용하여가상현실영상콘텐츠에가장적합하게적용하는것이필요하다. 1. 가상현실인터페이스 - Natural User Interface 가상현실의출력장치는가상현실영상콘텐츠에매우잘접목되어발전하고있으나가상현실의입력장치는아직까지큰활용도를가지지못하고있다. 특히, 스토리를기반으로하는가상현실영화나영상콘텐츠는다양한인터랙션을제공하는게임과는다르게기존의수동적인영상의관람형태에서크게변화를꾀하지못하고있는상황이다. 그러나커뮤니케이션매체와육체의결합에의한진정한가상현실세계로의몰입을위해서는영상콘텐츠를관람하는사용자에게도실시간인터랙션을통한콘텐츠와의커뮤니케이션이필요하다. 스마트인터랙션테크비전세미나 2014 에서발표된내용에따르면동작인식기술및활용에서현재가장각광받고있는분야는 Natural User Interface 이다. Natural User Interface 는사용자의자연스러운움직임을인식하여서로주고받는정보를제공하는사용자인터페이스 (User Interface: UI) 를의미한다. 사용자인터페이스는사용자와기기사이에서로작용하는인터페이스로, 초창기에는키보드나마우스가주를이루었으며, 그뒤그래픽기반의 GUI(Graphical User Interface) 를거쳐멀티터치, 햅틱, 3D 모션인식같은자기신체를활용하는 NUI 로나아가고있다. NUI 의대중화를이끈것으로마이크로소프트의 Kinect 를꼽을수있다. 신체를자유롭게활용하는기술은특히손발이자유로워진 HMD 기반의영상콘텐츠에가장적합한기술이라고할수있다. 그외에도온몸을자유롭게움직이는게임, 시각과청각의피드백을받는 3D View, 실제환경과같이자연스럽게조작할수있는증강현실, 악기가없어도내몸의움직임이악기처럼반응하는악기연주퍼포먼스등다양한방식의서비스로사용될수있다. 이러한 NUI 를활용한동작인식기술은 Hand held 형과웨어러블형, 거치형등으로구분할수있다. 정보통신기술진흥센터 9
가. 동작인식기술 (1) Hand held 형동작인식기술손에든형태로동작을인식하는기술로는스마트폰과게임기, 스마트 TV 리모컨등이있다. 스마트폰은폰에내장된센서로사용자의움직임을인식하여콘텐츠및화면제어를자연스럽게처리할수있어스마트폰거치형 HMD 의인터랙션방법으로많이쓰이고있다. 또한, 게임기는콘솔게임전용디바이스를손에들고몸을움직이게한다. 닌텐도 Wii 와소니의 Playstation Move 가대표적인데, Wii 에는센서바와카메라가내장되어있고, Playstation Move 에는모션컨트롤러와 LED 가내장되어있어사용자의움직임을인식하여게임콘텐츠와상호작용한다. (2) 웨어러블형동작인식기술입을수있는형태의동작인식기술로는장갑, 반지, 손목시계, 팔뚝밴드, 이어셋, HMD, 신발 / 깔창등으로구현되고있다. 장갑형컨트롤러는가속도센서와자이로센서, 구부림센서를장착하여다양한기능을발휘하고있으며, 카메라시스템과적외선반사체가내장되어실내공간에설치된카메라로장갑에반사된표식을추적, 동작인식을하기도한다. 반지의경우손가락제스처로주변기기를제어하며, 터치패드나글자입력, 픽토그램입력등의기능을통해인터랙션을하도록한다. 최근관심을모으는것은손목시계와팔뚝밴드로나타난동작인식기술로손목시계는디스플레이전력소모의절약을위해평소에는절전모드였다가손을들었을때자동으로화면이켜지는형태이다. 팔뚝밴드는팔에밴드를착용하여근육이나팔의각도를감지해서인터랙션을하도록한다. 이외에이어셋은사용자의얼굴움직임에따라아바타, 지도, 사운드등콘텐츠를자연스럽고현장감있게제어하는형태로동작인식기술을구현하고, HMD 는사용자가바라보는사물및손동작을인식하여직관적으로제어할수있다. 신발이나깔창에적용된동작인식기술은걸음걸이나체중의쏠림등을감지하여운동량, 건강상태를분석하며, 체중계로구현된동작인식기술은몸무게를이용하여게임을실감나게즐기게하는데, 댄스게임기펌프와닌텐도 Wii Fit 이이에해당한다. (3) 거치형동작인식기술거치형동작인식기술은소리, 전파, 적외선센서, 싱글카메라, 스테레오카메라등의방식으로실현되고있다. 소리를이용한동작인식은사용자의움직임에따라소리의반사특성 ( 도플 10 www.iitp.kr
기획시리즈 -VR AR 러효과 ) 이달라지는것을통해사용자의동작을감지하고, 전파를이용한동작인식은사람의움직임에따라반사되는전파의주파수성분이변화하는것을감지하며, 적외선센서는평면적키보드를입체적제어가가능하도록한다. 싱글카메라방식의동작인식은기기에탑재된카메라를이용한것으로스마트폰, 태블릿, 노트북등이이에해당하고, 스테레오카메라방식은 2 대의카메라로바라본영상의차이를이용하여거리를측정하는서비스로구현되고있다. 나. 동작인식트래킹 (Tracking) 기술동작인식트래킹기술은대표적으로 Body Tracking, Hand Tracking, Face/Eye Tracking 으로나눌수있으며, Body Tracking 은골격을기반으로해사람의동작을표준화하는것으로마이크로소프트사의 Kinect, 애플이인수한 Prime Sense 사의 OpenNI NITE, SoftKinetic 사의 iisu3.5, 인텔이인수한 omek 사의 beckon 등을들수있다. Hand Tracking 은사람의손을관절로분석하여높은정밀도의동작인식시스템으로구현되고, 3D 모델링이나수화통역등의서비스로소비자들에게다가가고있으며, Face/Eye Tracking 은얼굴의움직임, 표정을추적하여가상아바타와연동시키거나기기를제어할수있도록하는데활용된다. 다. 깊이카메라를이용한손인터랙션기술깊이카메라를사용한손인터랙션은최근에주로사용되고있는방법으로 KINECT 와같은깊이카메라가저렴해지고대중화되면서이를이용하는경우가증가하고있다. KINECT 외에도 Leap Motion 이라든지 Creative Senz3D 카메라등이주로사용되고있다. Intel 에서출시한리얼센스센서의경우에는스마트폰에내장될정도로작은데이와유사하게구글에서도프로젝트탱고 (Tango) 에서깊이카메라를내장한태블릿을출시하였다. 이러한깊이카메라들중에서 Leap Motion 이나 Creative Senz3D 의경우에는인터랙션을위한손추적 SDK 등을제공하고있어서개발자는손쉽게 3 차원인터랙션을개발할수있다. 깊이카메라를이용한손추적경우에거리가멀어진다든지손이빨리움직이거나하는경우에인식이잘되지않는한계가있었으나 2015 년 CHI 에서발표한논문에서는 KINECT 2 를사용하고재초기화 (reinitialization) 와확률적최적화를이용한모델맞춤 (fitting) 을사용하여기존의방법보다획기적으로정확도와유연성을증가시킨손인식기법을개발하였다 [7]. 정보통신기술진흥센터 11
라. 영상분석을이용한손인터랙션깊이카메라를이용한손인터랙션의경우에는일반카메라가아닌깊이카메라가있어야한다는제약이있어서일반카메라의영상을이용한인터랙션방식도연구되어왔다. 2004 년 ACM SIGGRAPH 에발표한논문에서가림기반인터랙션 (Occlusion based interaction) 은마커들을버튼처럼사용할수가있다 [8]. 손으로누르는경우에가림이발생하고이를이용하여버튼을누른것처럼작동하게되는것이다. 이런기술은 Qualcomm 에서출시한 Vuforia 에도적용되어가상버튼 (Virtual Button) 이라는방식으로사용되고있다. 2007 년 IEEE International Symposium on Wearable Computers 에서발표된논문에서는 HandyAR 기술을활용하여손의색을이용해서손의영역을찾고각손가락을찾은후에인터랙션에사용하고있다 [9]. 이같은방식은많은수의제스처를인식하지는못하지만손을오므리고펴는등의동작을통해서물체의선택 (select) 및놓음 (release) 을수행할수있다. 마. 멀티모달인터랙션멀티모달인터랙션은앞서제시된인터랙션방법들을두가지이상결합하여사용하는인터랙션방법을말한다. 그러한예로시선기반인터랙션의 Gaze 와음성기반인터랙션인음성을결합한연구가진행된바있다 [10]. 또한, 시선기반인터랙션과제스처기반인터랙션을복합하여손움직임을통해서는마우스움직임을제어하고눈깜박임으로마우스버튼을컨트롤하는연구도진행되었다 [11]. 그리고음성기반인터랙션과제스처기반인터랙션을결합하여제스처를통해가상물체를컨트롤하고음성으로명령을수행하도록하는연구도진행된바있다 [12]. 멀티모달인터랙션을사용한연구들은기존의단일방식의인터랙션의사용보다인식률이높아진것으로보고되었으며, 이러한점은멀티모달인터랙션이다양한입출력을통해사용자의오감정보를인식하여인터랙션의효율을높이는것이라할수있다. 2. 인터랙티브가상현실영상콘텐츠의가능성게임에서의자유도가통신속도와기술의발달로점점높아지고있는것에비해가상현실영상콘텐츠의실사기반영상콘텐츠는아직사용자에게높은자유도를주지못하고있다. 이는관람자가수동적으로관람하는기존의영상관람형태로가상현실의필수요소인상호작용성을위한인터랙션기술이영상콘텐츠와융합이잘되고있지않다는것을의미한다. 그러나 12 www.iitp.kr
기획시리즈 -VR AR 현재사용자들은점점더새로운콘텐츠를원하며가상현실공간의소극적인체험이아닌직접적인개입을하고자하는욕망이점점커지고있다. 이를위해서는게임콘텐츠에서의자유로운상호작용성과영상콘텐츠의스토리가효과적으로융합되어야한다. 위에서살펴본 NUI 와멀티모달인터랙션기술등을가상현실콘텐츠에적합하게잘활용한다면사용자는훨씬더높은차원의몰입을하게될것이다. 이를위해서는가상현실영상콘텐츠의컨셉과스토리에적합한인터랙션기술을접목하는것이중요하다. 영상콘텐츠는스토리텔링을기반으로하여인터랙션을어떻게적용하느냐에따라콘텐츠에시너지효과가될수도있고그반대로작용할수있기때문이다. V. 결론및시사점 가상현실영상콘텐츠는미래의먹거리산업으로서현재세계적인관심을받고있는분야이다. 특히, 스마트폰을대체할수있는제 2 의콘텐츠플랫폼으로써 HMD 가주목받고있는이가운데, HMD 를기반으로하는가상현실영상콘텐츠의킬러콘텐츠개발은매우시급하다. 현재가상현실저널리즘, 가상현실영화, 가상현실뮤직비디오등으로다양한시도를하고있지만진정한가상현실의목표인원격현전을위해서는가상현실콘텐츠와사용자의신체적인인터랙션을통한진정한몰입이필요한상황이다. 이를위해본고에서는 Natural User Interface 를제안하였으며, 이는손과발이자유로운 HMD 기반가상현실에가장적합한방법이기때문이다. 향후세계를선도할수있는가상현실영상콘텐츠시장의선점을위해서가상현실환경에적합한스토리텔링과인터랙션기술이함께연구되어야할것이다. 이같은연구가지속된다면미래에는정말누구나영화속의주인공이될수있는가상현실영상콘텐츠의개발이먼미래의이야기는아닐것이다. 국책성측면으로보면의료, 교육, 재난관리 / 방지, 마케팅등국가기간산업관련분야에광범위하게사용되는기술로서핵심원천및표준기술확보가절실하다. 이들기술은자동차, 제조업, 음성인식, 음성번역, 영상데이터패턴의인식및분석, 복잡한수술혹은절차상의문제진단에활용이가능하다. SW 의역할이각산업분야에서중요성을더해가며, 인간에게편의성을제공하기위해서는지능처리가반드시필요하므로인공지능을기반으로하는인지컴퓨팅은향후그중요성을더해갈것이다. 정보통신기술진흥센터 13
[ 참고문헌 ] [1] Samsung Gear VR, http://www.samsung.com/global/galaxy/wearables/gear-vr [2] Burdea, C. & Coiffet, P. (2003), Virtual reality techonology. [3] 위키백과, https://ko.wikipedia.org [4] Oculus Rift, https://www.oculus.com/en-us/rift [5] Steuer, Jonathan Defining Virtual Reality: Dimensions Determining Telepresence. Journal of Communication, 42(4), 73-93, 1992. [6] Biocca, Frank & Delaney, Ben Immersive Virtual Reality Technology. In Frank Biocca & Mark R. Levy(eds.), Communication in the Age of Virtual Reality. Hillsdale, New Jersey: Lawrence Erlbaum Associates, 57-124, 1995. [7] Hollerer, T., et al., Exploring MARS: developing indoor and outdoor user interfaces to a mobile augmented reality system. Computers & Graphics, 1999. 23: pp.779-785. [8] Lee, G.A., M. Billinghurst, and G.J. Kim, Occlusion based interaction methods for tangible augmented reality environments, in Proceedings of the 2004 ACM SIGGRAPH international conference on Virtual Reality continuum and its applications in industry. 2004. pp.419-426. [9] Taehee Lee, T.H., Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking, in IEEE International Symposium on Wearable Computers. 2007. [10] P. Paul, T. Matlock, S. Christopher, Campbell, S. Zhai, A. Smith, Gaze and Speech in Attentive User Interactions, Lecture Notes in Computer Science, Vol.1948, 2000, pp.1-7. [11] G. Shin, J. Chun, Vision-based Multimodal Human Computer Interface based on Parallel Tracking of Eye and Hand Motion, Convergence Information Technology, Vol.21, 2007, pp.2443-2448. [12] G. Castellano, L. Kessous, G. Caridakis, Emotion Recognition through Multiple Modalities: Face, Body Gesture, Speech, In Affect and Emotion in Human-Computer Interaction, Vol.4868, 2008, pp.92-103. 14 www.iitp.kr