51 특집 미디어기술과아트 가상현실기술동향 김익재 / KIST 요약다양한정보기술과의융합을통해구현되는가상현실기술은사용자의체험영역을확대하고, 물리적에너지및각종비용절감등의효과로인해, 기존의게임, 군사훈련등과같은제한된시뮬레이션분야를넘어, 제조업, 서비스산업, 예술분야, 국방및의료등다양한분야로확장될것으로기대를모으고있다. 특히, 대표적인 IT 글로벌기업들이최근가상현실을차세대성장동력으로정하고준비를하고있기에, 이전과달리대중화가능성이높은편이다. 따라서, 본고에서는가상현실을위한기기들의기술동향과활용가능성및관련정책방향에대해서소개하고자한다. Ⅰ. 서론 가상현실 (VR : Virtual Reality) 기술은컴퓨터시스템에서생성한 3D 가상공간과사용자간의상호작용을이루는기술로서, 사용자는이러한가상 공간에서인체의오감 ( 시각, 청각, 후각, 미각, 촉각 ) 을통해몰입감을느끼고, 실제로그공간에존재하는것과같은현실감을제공하는융합기술이다. 페이스북 (facebook) 이오큘러스 VR(oculus VR) 을인수한것을시작으로, 애플, 구글, 삼성등글로벌 IT 기업들이가상현실기술에대한준비에나서고있다 [1]. 특히, 2016년에들어서는 CES(Consumer Electronic Show) 와 MWC(Mobile World Congress) 등과같이가전및모바일분야에대표적인전시회에서가상현실이주된주제 (Main Topic) 중에하나로다뤄질만큼큰관심을끌고있다. 가상현실관련연구가새롭게시작된것도아니고, 대중적인관심을끌게만든주역인 HMD의형태인 VR 헤드셋이최근에새롭게만들어진것도아닌데도불구하고, 최근들어차세대원동력으로주목받는이유는스마트폰이이제포화상태에이른상태에서, 차세대플랫폼으로가상현실기술의 2016 년 4 월 51
152 특집 : 미디어기술과아트 활용으로스마트폰의성장세가주춤한틈을타서, 새로운돌파구로글로벌기업들이앞다퉈관련기기를선보이고있기때문이다. 오큘러스 VR이선보인 Oculus Rift[2] 를필두로스마트폰을활용한 VR 연동기기인삼성전자의기어 VR[3] 까지기존의가상현실을구동하기위해필요했던기기들의제약사항을많이극복하면서도일반사용자들이부담없이활용할수있는가격정책또한한몫을하고있다. 이러한가상현실기기들은스마트폰에이어전방위산업을이끌수있는또하나의견인차가될것으로기대하고있다. 실제로기어 VR과같은탈착형 VR 헤드셋은화면해상도를높일필요성을제공하고있다. 최근의스마트폰사용자로서는추가적인고해상도와프로세서의성능에대한니즈가크게없었으나, 가상현실기술적용을위해서는보다더높은해상도와낮은잔상효과의디스플레이기술이필요하며, 고화질의그래픽처리및복잡한사용자상호작용니즈를위한고성능의프로세서가필요하다. 더불어, 사용자움직임에대한반응을감지하기위한보다정교한센서등의소재. 부품기술의필요성도끌어내고있기에, 가상현실기술은또다른성장을이끌플랫폼이되고있는것이다. 가상현실기술은비단하드웨어플랫폼기술의성장만견인하는것이아니다. 실제가상현실기술이확산되기위해서는과거의사례를보더라도충분한콘텐츠가제공되어야만그기술은지속될수있기때문이다. 따라서, 본고에서는가상현실을위한하드웨어기술중대표적인 HMD 기술, 가상현실콘텐츠를위한카메라기술, 사용자인터페이스기술을소개하고, 이들을활용한응용미디어기술에대한적용사례를소개하고자한다. Ⅱ. HMD 기술 HMD(Head Mounted Display) 는헬멧이나, 안경, 바이저등에렌즈와반투명거울등을부착하여, 하나혹은두개의디스플레이에화면을보여주는장치로서, 가상환경에몰입할수있는환경을제공하는개인화된디스플레이이다. HMD는새로운장치는아니다. Oculus Rift 가정식제품도출시하기전인데도불구하고, Facebook 이 20억달러 ( 한화 2조원규모 ) 에이르는거액으로인수를하였고, 얼마전삼성전자에서페이스북과손잡고 Gear VR을출시하고, 가상현실시장의성장을견인하고있다. HMD 의역사를거슬러올라가보면, 1968년 Ivan Sutherland[4] 가몰입형증대를위한장치로최초로고안해내었다. 당시에는단순한모델의디스플레이만가능하였으며, 무거워서이동이불가능한형태였지만, 가상현실을위해몰입감을극대화할수있는디스플레이형태라는걸보여주기에는충분하였다. 이후, 닌텐도등에서게임콘텐츠를위한개인용디스플레이장치로제작하였으나, 무게, 가격, 해상도등의문제로일반사용자를위한상용화는성공하지못하였다. < 그림 1> 1995 년출시한닌텐도 Virtual Boy 게임기 [5] 52 방송과미디어제 21 권 2 호
가상현실기술동향 153 지금과같은가상현실에대한높은관심을이끌어낸것은 Oculus VR사의 Oculus Rift 이다. 2012 년에설립된 Oculus VR사는기존의 HMD보다효율적이고, 저렴한 HMD를보급하고자개발에착수를했고, 개발비용은킥스타터를통해조달하여프로토타입개발에성공하였다. 기존 HMD들은좁은화각 (Field of View) 과낮은해상도, 높은가격등으로보급화되기엔모자란성능을보였지만, Oculus Rift 초기버전은 5.6인치크기의디스플레이에좌우각눈에 640x800 정도의낮은수준의해상도를보였음에도불구하고 90도이상의화각과고속트래킹기술을탑재하고합리적인가격으로기존 HMD와는큰차별성을보여, 대중화가능성을열었다. 이후 Sony 의 PlayStation VR[6], HTC의 Vive[7], 그리고 Razer 의 OSVR[8] 을출시하여, HMD 보급에앞장서고있다. 현재일체형 HMD는각눈에 1080x1200 의해상도와화각 (Field of View) 은 110도, 재생률 (Refresh Rate) 은 90fps 정도의성능을보이고있다. 향후보다더높은품질의가상환경콘텐츠를제공하기위해서는화면해상도와더넓은화각을제공하여야할것이며, 여전히해결해야할문제점으로장기착용시어지러움증등에대한고려도필요한상황이다. 국내에서는삼성전자에서페이스북과손잡고발빠르게탈착형 HMD를출시하였다. 최근 MWC 2016에서는 LG전자에서도스마트폰과연계되는 HMD를출시하여 HMD 시장에뛰어들었다. 이러한스마트폰을활용한 HMD는추가적으로디스플레이장치및콘텐츠를재생하는디바이스가필요가없으며, 구동앱은기존앱스토어등에서다운받아서활용가능하기때문에, 게임인터페이스로새롭게각광을받을수있을뿐만아니라, 가상극장, 멀티미디어감상등몰입감을올릴수있는장점이있다. 특히자신의시점에따라다른영상을볼수있는환경이되기때문에, 향후영화및다양한멀티미디어콘텐츠들은기존의고정시점이아 < 그림 2> Oculus Rift 와유사한내부구조를가지는 Razer OSVR 2016 년 4 월 53
154 특집 : 미디어기술과아트 닌다시점혹은자유시점영상렌더링이가능한형태로제작되어야할필요성이더욱커지고있다. 탈착형 HMD의경우, 현재출시되는고화질스마트폰과기존의앱개발환경을그대로활용할수있으며, 기존개발자들이더많은관련앱들을제작해낼수있기때문에제한된콘텐츠와높은가격으로활용에문턱이높았던소비자들을충분히유혹할만한환경이갖춰지고있다. 향후, 더넓은화각과착용편의성, 자유시점콘텐츠제작기술, 사용성이편리한 UI 등의개발이뒷받침해준다면, 더많이활용될수있을것으로기대된다. Ⅲ. 사용자인터페이스기술 앞서소개한 HMD 기술의발달에힘입어, 몰입형디스플레이환경이제공되고있다. 가상환경구축에필수적인항목중하나인사용자상호작용을지원하기위해서는자연스러운인터페이스기술의뒷받침이필요하다. HMD를착용함으로써얻는두 손의자유로움으로인해, 제스쳐움직임을인지하려는연구가활발히진행되고있다. 제스쳐움직임을얻는방식은크게비착용형과착용형으로나눠진다. 비착용형의경우, 두손의움직임을추적하기위해서깊이카메라 (depth camera) 를활용하는방식이주를이루고있으며, 깊이값을얻기위한방법으로크게스테레오카메라방식, 패턴투사방식또는 ToF 방식으로구분된다. 립모션 (Leap motion) 에서는스테레오카메라를활용하여, 깊이맵을얻어낸후, 각손가락의관절의움직임을추정하는방식으로약 60cm 3 의공간에서 150도각도내의동작범위를제공하고있으며, 특별한장치의착용없이자연스러운손가락제어가가능하다 [9]. usens[10] 에서는탈착형 VR 헤드셋을개발하였는데, 헤드셋전면커버부에 < 그림 4> 의오른쪽의스테레오카메라세트가장착되어있어서, 체험자의손가락제스쳐를인식할수있도록하고있다. 해당기술은손가락스켈레톤또는가상의손을보여줌으로써, 가상공간의객체와의상호작용을하는기존방법과달리, 자신의손을깊이카메라로부 < 그림 3> 립모션 (Leap motion) 을통한손가락움직임제어예시 ( 좌 ) 와립모션카메라구조 ( 우 ) 54 방송과미디어제 21 권 2 호
가상현실기술동향 155 IR Projector On-board high performance IMU On-board high performance CPU, GPU, ASIC for computer vision Stereo RGB and IR imagers < 그림 4> usens 의 VR 헤드셋 ( 좌 ) 과제스쳐인식을위한보드구성 ( 우 ) 터획득되는자신의손모양을그대로가상공간에표출함으로써, 투과형 HMD(see-through HMD) 에서보여주는기능을제공하는차별성이있다. 하지만, 비착용형제스쳐인식은사용자에게자연스러운상호작용을제공하는장점이있지만, 가상공간에존재하는객체와의상호작용시얻는질감이나, 진동등을얻지못하는단점이있다. 따라서, 오큘러스에서는 Oculus Touch, 삼성전자에서는 Rink 등의장비를출시하고이를통해양손으로가상공간에서작업이이뤄지도록하고있다. 이들장비는메뉴나객체선택시진동등의 피드백을제공하여, 실제작업이이뤄지는것에대한확인을사용자가직접느낄수있도록하고있다. 가상현실에서공간의이동을위해서는네비게이션제어장치도필요하다. 하지만, HMD를착용한사용자의경우, 실제이동시에는앞이보이지않기때문에충돌등의위험이존재한다. 이러한위험요소도제거하면서, 가상공간에서의이동제어를할수있는장치들도개발되고있다. 대표적인기술로 Vituix Omni[11], Cyberith Virtualizer[12] 와 Infinadeck Treadmill[13] 등이있다. < 그림 5> 가상현실공간에서의제어를위한콘트롤러, oculus touch( 좌 ), 삼성전자 rink( 우 ) 2016 년 4 월 55
156 특집 : 미디어기술과아트 < 그림 6> Virtuix Omni( 좌 ), Cyberith Virtualizer( 중 ), Infinadeck Treadmill( 우 ) Ⅳ. 가상현실획득및표현기술 가상현실표현기술은시각, 청각, 촉감과같이인간의감각을이용한사용자인터페이스기술이중점적으로개발되고있다. 시각관련기술은가상 증강현실기술중에서가장발달한기술로서컴퓨터그래픽, 동영상관련기술, 3D 디스플레이기술등이있다. 특히실재감을증대시키기위해서는고도화된컴퓨터그래픽스기술도입으로실사수준의가상세계를시각화하며실시간레더링기술이필요하다. 다음으로청각관련기술은현실에서들리는소리의속성인방향감, 거리감, 그리고공간감을재현할수있는입체음향기술이필요하며, 가상현실세계에서인공지능을지니는아바타와의상호작용을위한음성인식및음성합성기술이요구된다. 더불어촉감관련기술은시청각기술과비교해미개발영역이나사용자가촉감을통해인지하는정보가많기때문에이의재현을위한역감, 질감및공간감의표현기술이필요하다. 대표적으로 FF(Force Feedback) 와 TF(Tactile Feedback) 로 구분되는데, FF는기계적인터페이스를통해사용자에게힘과운동감을느끼게하며게임분야에서널리활용된다. TF는의학분야에서가장많은활용도를보이며피부조직등을만지는듯한촉감전달을통해실재감을증대시킨다. 이외에도후각및미각관련기술은현재대부분의가상현실시스템에서후각및미각과관련된표현에대한지원이미미한편이다. 후각과미각의자극및반응에대한생물학적메커니즘이밝혀지기는했지만다른감각보다더욱복잡한뇌내연상작용과관계하고있어서구현에어려움이있는상황이다. Ⅴ. 응용분야 실감콘텐츠기술확보가기대되는가상현실기술은게임, 영상, 미디어, 테마파크, 공연및전시등실감콘텐츠를이용하는엔터테인먼트분야에서높은활용성이전망되고있다. 가상현실, 증강현실, 유비쿼터스공간과같은다중실감공간간유기적 56 방송과미디어제 21 권 2 호
가상현실기술동향 157 인체험공간기술확보로경쟁력있는실감콘텐츠기술확보가가능한데, 이를통해새로운게임, 영화, 방송콘텐츠및 4D 체험관과같은사용자참여형테마파크가기대되기때문이다. 특히관광및문화유적에대해서가상현실기술적용으로체험형전시관을통해실감역사교육또는관광경험도가능할전망이다. 더불어기존컴퓨터기반스포츠게임의한계인스포츠본연의운동효과를기대할수없었던단점을극복하고, 스크린골프와같은실제운동동작을반영한가상스포츠환경의변화를유발하며, 이에따른모션피드백등을통해경기몰입감과흥미유발이기대되고있다. 의료및군사분야와관련, 가상환경에서의시뮬레이션을통해다양한제조업, 디자인및서비스분야에서불필요한설비투자를막을수있는데, 가상훈련및교육을통해비용절감이가능해기술경쟁력향상에기여할것으로전망된다. 특히의료분야에서는가상수술시뮬레이션으로환자의기관이나조직들을구분해가시화하고조작해봄으로써가장효과적인수술방법을사전에계획할수있다는게 장점으로부각되고있다. 항공기가상시뮬레이터는조종사의교육훈련에현재에도광범위하게활용되고있으며, 항공기의정상, 비정상상황까지모두효과적으로훈련할수있도록개발돼훈련자의경험을극대화할수있을전망이다. 제조및생산분야와관련해용접과같이위험한현장실습의경우초보자에게위험하고장시간교육하기에도적합하지않은분야지만실제환경과동일한가상환경을제공해안전하면서동시에훈련능률향상과비용절감이예상되며, 교육분야에서는가상교실에서수업을듣고토론을하는등공간의한계를뛰어넘고, 역사문화탐방등은시공간을초월한체험학습을제공해줄수있을것으로기대된다. 소셜미디어분야에서는가상공간속에서아바타를이용해서교류하는가상현실소셜네트워크서비스가출시될것으로예상된다. 이밖에도이미국내에서스크린골프와같은가상현실을이용한체험형실감스포츠가성공한사례에서도볼수있듯이, 더많은스포츠분야로의확산이가능할것으로예상된다. 마이크로소프트 (MS) 는미 < 표 1> Oculus Rift 의분야별활용사례및전망 [11] 구분게임영화웹서비스헬스케어기업용 SW 교육 내용비디오게임분야, 특히탐사를수반하는 1인칭게임타이틀에서가장널리활용될전망, Oculus Rift 를착용한상태에서고개를움직이고동작을하는행위가기울기, 방향등을탐지하는센서및포지셔널트래킹기술을통해곧바로게임속가상현실에반영되는방식으로게임의현장감과몰입도를대폭증대시킬것으로기대영화의흐름에관객의직접적인참여를유도하는신개념인터랙티브콘텐츠, 관심있는장면을집중적으로응시할수있는혁신적인시청경험자원을기대, Comic-Con International 2014 에서는영화스튜디오들이 Warner Bros. 의최신작 Into The Storm, Fox의 X-Men 등을테마로 Oculus Rift 를이용해영화장면을실제로경험해볼수있는시연행사를개최 UI 혁신으로서비스경험을개선하는데폭넓게활용될전망, Netflix는최근 Oculus Rift 를착용한상태에서 3D 공간을기반으로손동작으로콘텐츠라이브러리를탐색하는 UI Oculus 동영상을공개가상현실기술을매개로불안, 공포등의신경증을유발하는환경을체계적으로간접체험함으로써증상을완화시키는형태로정신보건분야에서활용될전망가상의수술훈련등을통해의료교육분야에서도각광예상 3D 포트폴리오시연, 화상회의를통한고객응대등에활용가능, 예를들어건축가는자신이설계한건물들의내외부를 3D체험하는도구로 Oculus Rift 를고객유치에사용역사적인사건등을체험하는수단으로가상의현장교육을시행교실, 칠판등을가상현실로가져와실감나는온라인강의를진행 2016 년 4 월 57
158 특집 : 미디어기술과아트 국항공우주국 (NASA) 와협력해가상현실을통해화성여행이가능한콘텐츠를제공할예정이어서, 접근성이어려운곳에일반인들도쉽게가볼수있는기회가주어질것으로예측된다. 특히, 미디어분야에서는실제적용하는사례가늘고있다. 영화분야에서가상현실기술을이용해서실제영화속에들어온것과같은효과를얻을수있을것으로기대하며, 실제코믹콘 2014 전시회에서는헐리우드영화스튜디오들이오큘러스리프트 (Oculus Rift) 를이용하여영화속한장면을실제로체험할수있는행사를진행하였고, 페이스북 (facebook) 은 오큘러스스토리스튜디오 를설립하고, 가상현실영화제작도계획하고있어서, 향후새로운형태의영화도기대된다. 최근구글은 3차원공간에서사용자가그림을그리고, 애니메이션이가능토록하는스마트폰앱을만든회사인 Tilt Brush[12] 를사들였다. Goolgle s Cardboard 를통해, 사용자의스마트폰을장착하 여, 자신의시점에서다양한브러시들과객체속성을바꾸면서, 자신만의 3차원효과를만들어내어, 마치가상공간에서자신의작품을만들수있도록하고있다. 이처럼다양한분야로의적용을위한가상현실도구들이등장함에따라, 향후가상현실적용사례는더욱더늘어날것으로기대된다. Ⅵ. 결론 한국과학기술기획평가원 (KISTEP) 에서선정한 10대유망기술로가상현실구현에핵심기술중하나인가상촉감기술과실감공간구현기술등 2개의기술을선정하였고 [13], 스마트폰다음으로차세대동으로부상하고있는가상현실분야의생태계조성을위한대대적인정부지원발표도뒤따르고있다. 가상현실게임분야를중심으로차세대게임시장의주도권으로확보하기위해, 가상현실게임 < 그림 7> 3D 공간상에서그림을그리고, 애니메이션을지원하는 Tilt Brush 58 방송과미디어제 21 권 2 호
가상현실기술동향 159 개발과시범사업을추진하고, 영화관이나테마파크등에가상현실체험관을구축해수요를견인하는취지이다. 이와같이국내에서는가상현실기술을주도할산업분야는게임산업이될것으로예상하지만, 가상현실기술은단순한 HMD 기기를넘어, 콘텐츠, 플랫폼, 네트워크등의결합을통한진정한융합을이끌수있으며, 게임, 미디어, 교육, 국방, 여행, 영화등다양한산업과연계를통해더욱더성장할것으로기대를모으고있다. 실제로시장조사에의하면, 2~3 년내현재규모의 50배이상성장할수있을것으로예측하고있다 [14]. 국내대형 IT 기업에서는최근가상현실헤드셋과전방위촬영기기의출시로가상현실기술의대중화를이끌고있고, 가상현실응용소프트웨어개발기술도선진국수준에근접해있어경쟁력이있다고판단되며, 이와관련해가상현실게임분야에서의시나리오구현및사용자관리기술은높은수준이라고할수있다. 반면가상현실저작도구의경우에는해외솔루션에거의의존적이어서소프트웨어콘텐츠중심으로시장트렌드가변화하고있는시점에서가상환경저작을위한기반기술및핵심엔진기술의경쟁력확보를위한노력이지속되어야할것이다. 참고문헌 참고문헌 [1] 김익재, 가상현실기술동향, 이달의신기술, 2015년 9월 [2] Oculus Rift, https://www.oculus.com/en-us/rift [3] Samsung Gear VR, http://www.samsung.com/global/galaxy/wearables/gear-vr [4] Sutherland, I.E. The Ultimate Display. Proc. IFIP 65, 2, pp. 506-508, 582-583. [5] Virtual Boy, http://nintendo.wikia.com/wiki/virtual_boy [6] Playstation VR, https://www.playstation.com [7] HTC Vive, http://www.htcvive.com [8] http://www.razerzone.com/osvr-hacker-dev-kit [9] Leap Motion, https://www.leapmotion.com/ [10] usens, http://www.usens.com/ [11] Virtuix Omni, http://www.virtuix.com/ [12] Cyberith Virtualizer, http://cyberith.com/product/ [13] Infinadeck, https://www.facebook.com/infinadeck/ [14] 2015년콘텐츠산업 10대트랜드, 가상현실기술이콘텐츠혁신을이끈다, KOCCA 포커스 2호, 2015년 [15] Tilt Brush, http://www.tiltbrush.com [16] 10대미래유망기술선정에관한연구, KISTEP, 2015년 [17] KZERO worldwide, http://www.kzero.co.uk/blog/category/virtual-reality, 2014년 2월 2016 년 4 월 59
160 특집 : 미디어기술과아트 필자소개 김익재 - 1996 년 : 연세대학교공과대학전기공학과학사 - 1998 년 : 연세대학교공과대학전기공학과석사 - 2009 년 : 서울대학교공과대학전기컴퓨터공학과박사 - 2009 년 ~ 2010 년 : MIT Media Lab 박사후연구원 - 2009 년 ~ 현재 : 과학기술대학원대학교 HCI& 로보틱스전공부교수 - 1998 년 ~ 현재 : 한국과학기술연구원영상미디어연구단책임연구원 - 주관심분야 : 영상인식, 영상기반모델링, 가상 / 증강현실 60 방송과미디어제 21 권 2 호