가상현실기반실감형콘텐츠기술동향 박기현테크빌교육 에듀테크연구소장 가상현실은오랜동안차세대콘텐츠기술로주목을받아왔다. 오큘러스가창의적아이디어로광학시스템의설계를개선하여착용형디스플레이장치의몰입감을혁신적으로개선한제품을내놓자관련시장은폭발적성장세를보이고있다. 이러한가상현실시스템은엔터테인먼트분야와교육분야에서새로운사용자경험을촉발하는실감형콘텐츠를선보이며미래시장을선도하고있다. 본고에서는가상현실기술을기반으로한실감형콘텐츠기술에대해살펴보고자한다. I. 서론 실감형콘텐츠는정보통신기술 (ICT) 을기반으로인간의오감을극대화하여실제와유사한경험을제공하는차세대콘텐츠이다. 소비자와콘텐츠의능동적상호작용성과오감을만족시키는경험제공과이동성이특징이다. 가상현실, 증강현실, 홀로그램, 오감미디어등이대표적인실감형콘텐츠의예가되고있다. 특히, 차세대네트워크로주목받고있는 5G 의상용화와함께실감형콘텐츠의대중화에대한기대감이높아지고있다. 실감형콘텐츠는게임, 영화를넘어다양한분야로확대될것이며, 교육분야에서차세대활용기술로많은관심을받고있다. 2014 년페이스북이가상현실분야신생기업이었던오큘러스를약 2 조원에인수하면서촉발된가상현실에대한관심은 2016 년초삼성, 구글, 소니등굵직한 IT 기업들이연이어소비자용 HMD(Head Mounted Display) 장비를발표하며날로증대되고있다 [2]. II. 실감형콘텐츠디스플레이 실감형콘텐츠관련하드웨어는크게 2 가지군으로나눌수있다. 첫번째는실감형콘텐츠 * 본내용은박기현연구소장 ( 02-3442-7783, key@tekville.com) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 2 www.iitp.kr
기획시리즈 -VR AR Oculus Rift Sony PlayStation VR HTC Vive, Gear VR Gear VR Avengant Glyph Google Cardboard [ 그림 1] 현재출시된대표적인 HMD[2] 를디스플레이하고완전한몰입감을제공하는 HMD(Head Mounted Display)[1], 두번째는실감형 콘텐츠에서사용자의위치나동작을센싱하고사용자의의도를입력할수있도록해주는인터 렉션하드웨어이다. 본장에서는 HMD 에대해알아보고자한다. 1. HMD 의기술적특성 가. 양안디스플레이 (Stereoscopic Imagery) 실감형콘텐츠는실제와같은공간감과몰입감을제공해야하며, 이를위해서는왼쪽눈과오른쪽눈에각각의시점에맞는영상을디스플레이할수있는양안디스플레이기능이기본적으로제공되어야한다. 대개의 HMD 는양안디스플레이를위해서왼쪽눈과오른쪽눈에각각다른디스플레이화면을제공하고있다. 나. Inter-Pupillary Distance(IPD) IPD 는사람의양안사이의간격을말하며, 대개의경우, 그크기는 6~8cm 정도이다. HMD 의왼쪽눈과오른쪽눈화면도이정도의간격을유지해야하며, 많은 HMD 의경우사용자의특성에맞게이간격을미세하게조정할수있는기능을제공하고있다. 정보통신기술진흥센터 3
다. 시야각 (FOV) FOV(Field of View) 는사람이볼수있는최대시야각으로 180 도정도이다. 그러나아직까지이정도의시야각을제공하는 HMD 는출시되지않았으며, 초기 HMD 는 30~40 도, 근래의 HMD 의경우에 60~100 도의시야각을제공하고있다. 기술이발전하면서점점더넓은시야각을제공하는 HMD 로발전해가겠지만, 대개의경우사람은전방의좁은시야각에만의식을집중하므로, 현재의시야각만으로도현실성있는입장감이나현장감을느끼게할수있다. 라. 해상도 (Resolution) 사실적인감각을제공하기위해서는왼쪽눈과오른쪽눈에디스플레이되는화면의해상도가중요하다. 현재판매되는 HMD 의 specification 문서를보면보통화면의해상도 ( 예를들어 1024 768) 로표시되는경우가많으며, 이는일반 PC 모니터의 specification 문서를보는데익숙한소비자를위한것이다. HMD 의경우는해상도대신 pixels per degree 나 arcminutes per pixel 같은형식으로표시하는것이더적절하다. 사람눈의한계를고려하면 60 pixels/degree 정도의해상도가되면최상의해상도라고볼수있다. 이해상도를넘어가는기기가있다하더라도사람의눈은그차이를느끼지못하기때문이다. 현재의 HMD 는 10~20 pixels/degree 정도의해상도를제공하고있어서아직많은기술적진보가이루어져야하는분야이다. 예를들어 100 도정도의시야각을제공하는 HMD 의경우라면, 필요한최상의해상도는넓이가 6K 정도 (100 degrees 60 pixels/degrees) 의디스플레이화면 2 개가필요하다고볼수있으므로, 아직기술적으로도달해야할목표가멀다고볼수있다. 마. Refresh Rates 사용자눈의피로를줄이기위해서 PC 모니터의 refresh rates 이지속적으로상승해온역사를고려해본다면, HMD 의 refresh rates 도사용자의편의성과콘텐츠의사실성을높이기위해서지속적으로상승할것임을예측해볼수있다. 현재 HMD 는 60Hz 정도의 refresh rates 을제공하고있으며, 실감형콘텐츠시청의편안함을주기위해서는 90Hz 이상의 refresh rates 를제공해야하는것으로알려지고있다. 바. On-board processing and operating system 현재의 HMD 는작동방식에따라크게두가지형태로나눌수있다. 하나는콘텐츠의재생 4 www.iitp.kr
기획시리즈 -VR AR 은컴퓨터나콘솔같은외부기기가담당하고 HMD 는디스플레이와사용자움직임센싱만을수행하는오큘러스같은장비이고, 다른하나는삼성기어 VR 과같이고성능스마트폰을앞면에장착하여시청하는장비이다. 전자는고성능의외부컴퓨팅파워를사용할수있다는장점을가지고있으나, 외부기기와유선으로연결되어있기때문에사용자의행동에많은제약이있다는단점이있고, 후자는외부와연결된선이없어서행동에제약이없다는장점이있는반면, 컴퓨팅파워가약하고장비가상대적으로무거워장시간착용에문제가많다. 향후에는이두가지형태뿐아니라가상현실만을위한스탠드얼론형태의 HMD 장비도출시될것으로전망된다. 2. 향후 HMD 의발전방향최근발표되고있는 HMD 의경향을보면, 모든 HMD 개발회사들이좀더넓은시야각과좀더높은해상도 /refresh rate 그리고기기의경량화에힘쓸것으로보인다 [3]. 시야각과해상도그리고 refresh rate 는사용자에게높은현실감과사실성을전달하는데에가장중요한요소이기때문이다. 또한, 현재의 HMD 는장시간착용하기에는아직무게가많이나가기때문에실감형콘텐츠대중화를위해서는 HMD 기기의경량화에대한노력도끊임없이진행될것으로예상된다. HMD 의시야각이넓어지고해상도가커지며 refresh rate 가높아지면이에맞추어업그레이드되어야하는부분이바로실감형콘텐츠를재생하는프로세싱파워이다. 사실적콘텐츠재생이가능한해상도가한쪽눈당 6K 그리고 refresh rate 가 90Hz 라고가정한다고해도일반 PC 에서 6K 모니터 2 대가동시에초당 90 프레임을그려내야하는컴퓨팅파워가필요한것이다. 따라서실감형콘텐츠산업이발달하기위해서는위와같은성능을가지는컴퓨터와디스플레이기술이좀더대중화될필요가있다. 현재 HMD 가가지고있는가장큰문제점중의하나는착용시어지러움이다. 이는가상현실에서의도적으로주어지는감각과우리몸이실제로느끼는감각의차이에서발생하는인지부조화에기인하는것으로원천적으로완벽히해소하기는불가능하다. 그러나이를최소화하기위해하드웨어, 콘텐츠적으로개선한다면상당부분해결할수있다. 하드웨어적으로는장비의해상도와 refresh rate 를높이고광학렌즈를개선하면어지러움을많이줄일수있다. 콘텐츠적으로는시선의이동이나깊이, 높이의변화가급격하게일어나지않도록설계하고, 집중력있 정보통신기술진흥센터 5
는스토리의전개로도착용자의어지러운현상을많이해결할수있다. III. 실감형콘텐츠인터렉션장비 실공간의물체와사용자에대한가상공간정합에서가장중요한것은물체나사람의위치와자세 (orientation) 를알아내는것이다. 실공간에서의물체위치와자세를알게되면이를가상공간의특정위치에맞추어그물체에해당하는가상물체에대해동일한자세로표시하면되기때문이다. 또한이와같은위치와자세파악은실시간으로이루어져야한다. 그래야해당물체가가상공간에서도실공간과동일하게움직일수있도록만들수있기때문이다 [4]. 1. 광학 (Optical) 방식광학방식은주로광학적마커 (marker) 를추적하고자하는물체나사람에부착한후, 해당물체나사람을하나또는여러대의카메라로촬영하여해당물체에부착된마커를실시간으로찾아내고, 이마커위치정보를이용하여해당물체의 3 차원위치와자세정보를계산해내는방식이다. 위치와자세추적의정확도는일반적으로마커의개수, 위치, 마커의배치방법등에따라서결정된다. 가. Optical marker 이용예 (HMD 에서의 Optical sensor) Oculus Rift 의경우는 [ 그림 2] 와같이 HMD 전면에적외선 LED 마커가숨겨져있다. HMD 착 용자전면에위치한 positional tracker 카메라는적외선필터를장착한단순한웹카메라이며, Oculus Rift HTC Vive [ 그림 2] 광학센서 6 www.iitp.kr
기획시리즈 -VR AR 이카메라는 HMD 전면에있는적외선마커의위치를추적하여착용자의위치를파악하고있다. 따라서 Oculus HMD 도 HMD 전면에액티브마커를장착한모션캡처장비라고볼수있는것이다. 이와같은적외선 LED 마커는적외선카메라로쉽게추적할수있으며, 추적하는알고리즘과 LED 광원을사용하여트래킹장비를제작하는방법들은인터넷에모두공개되어있다. HTC vive 에서는사용자가위치한공간에적외선장비를설치하고, HMD 앞에장착된레이어센서가적외선을인지하여적외선장비설치지점을기준으로사용자의위치와방향을파악하는방식이다. 나. Visible Marker 를이용한광학방식 Optical Tracking 방식의또다른변형은특정패턴의이미지를추적하는것이다. 즉패턴이미지마커를정해진위치나대상물체에부착한후카메라로촬영하면해당물체의위치와자세를계산할수있다는것이다. 이런패턴이미지마커는다양한모양과크기를가질수있으며, 어떠한모양이든촬영된영상으로부터빠르게마커를인식하고분류해낼수있도록하는것이중요하다. Google 의카드보드 HMD 를사용하는커뮤니티 에서도카드보드 HMD 에 Oculus Rift 와같은 Head [ 그림 3] 이미지패턴을부착한 Google 카드보 Tracking 기능을추가하기위해 [ 그림 3] 과같이 HMD 전면에이미지패턴마크를붙여서 Head Tracking 이가능하도록하는시도가있었다. 2. Depth Map 이용방식 Kinect 는내장된적외선광원이전방으로특정패턴의적외선을방사하고이빛이정방물체들에투영되는패턴을파악하여거리를계산하는방식을사용한다. 이외에다양한방법으로 depth 인지기능의장비들이만들어지고있으며, 이들장비는대부분촬영된 depth 값이포함된영상에서관심있는영역을분리한후, 이를해석하여촬영물체의위치값과자세값을찾아내는방식을사용한다. 정보통신기술진흥센터 7
[ 그림 4] Kinect 장비와촬영된 depth map 예 3. 고정형장비 (Cage 형 ) 활용방식실공간과가상공간의정합을위해서복잡한센서를사용하는대신, 고정형 VR 장비를실공간에설치하고사용자를해당장비내에서만움직이게하여원천적으로실공간과가상공간정합문제가없도록하는방법도가능하다. 이런장비는기본적으로 treadmill 과같은가상공간이동수단이나손으로조작할수있는콘트롤러가함께제공되는것이보통이다. [ 그림 5] Virtuix 사의가상공간이동장비 Omni 와 Cyberith 사의가상공간이동장비 4. Grip Controller 이용방식실공간과가상공간의정합을위해서사용자몸전체의위치와자세를파악하기보다는손의위치와움직임만을파악하고이정보를이용하여사용자몸전체의위치나방향을유추하는방식을사용하기도한다. 이런장비는복잡한센서장비설치나셋업없이간단한장비만으로사용자의위치추적이가능하다는장점이있다. 이와같은장비는기본적으로버튼등으로가상공 8 www.iitp.kr
기획시리즈 -VR AR [ 그림 6] Playstation Move Controller, Oculus Touch, Nintendo Wii Controller 간내에서가상물체를조작할수있도록하는콘트롤러기능을함께제공하는것이보통이다. 5. 기타방식가상공간을활용한콘텐츠개발에서가장중요한요소중에하나가실공간사용자의손위치나제스처를파악하는것이다. 손동작은사용자의위치나자세를파악하는데있어서중요할뿐아니라사용자의의도를전달하는핵심적인수단이기때문이다. 이에가상현실관련센서나주변기기가운데손과관련된장비가가장많다. 이들장비를이용해서사용자의위치와자세를추측함으로써실공간과가상공간의정합도구로써사용이가능하다. 가. Data Glove 주로실제장갑에 inertial 센서와같은종류의센서를장착하여손의위치나모양을센싱하는장비이다. 동작의정확도는장착하고있는센서수에따라결정되는데, data glove 제조사중대표적인회사인 5DT 사의 glove 는센서수가 5 개내지 14 개이며, 또다른제조사 Cyber Glove 사의제품은센서수가 18 개내지 22 개이다. 나. Leap Motion 길이 8cm 정도의작은직사각형형태의센서로써컴퓨터의 USB 에연결되고, 장치위공간에서움직이는물체의움직임을센싱한다. 즉, 장치위 8 입방피트정도의공간에서움직이는손, 펜등과같은도구의 3 차원위치값과회전값을계산하여손이나물체의움직임을센싱하는것이다. 다. Myo Myo 는캐나다의스타트업이개발한새로운형태의 UI 장치로써, 팔찌형태의장치를팔뚝 정보통신기술진흥센터 9
[ 그림 7] Data Glove, Leap Motion, Myo ( 팔목약간위 ) 에착용하여손동작을인식하는데, 팔찌를구성하고있는 8 개의센서가팔근육 의움직임을감지하여손동작을계산한다. 라. Nod Ring 손가락에반지형태로착용하여손위치와손동작을파악하는장비이다. 6. 위치 / 동작센싱기술발전방향 VR 기반의실감형콘텐츠의경우, 가장중요한요소는바로위치의실시간추적이다. 자세추적의경우 gyroscope 센서가비교적정확하게물체나사람의방향을추적할수있는데반해위치추적은그렇지못하기때문이다. 절대위치를추적하기위해서주로사용되는광학식장비는많은카메라와거추장스러운마커를필요로하고, Oculus Rift 가사용하는 LED 광원추적장비나 Kinect 같은장비는사용자가정면만을바라봐야하는문제점을가지고있다. 또한, inertial 센서에서사용되는 accelerometer 는절대위치를찾지못하고상대위치를계산하는데다가발생된에러가누적되는문제가있다. 따라서종종하나의센서기술을사용하여위치를추적하기보다는복수개의기술을혼합하여사용하는것이더욱정확한결과를얻는다. 예를들어, 절대위치를찾는데에약점이있는 inertial 센서와마커가가려졌을때위치추적에에러를자주발생하는광학식센서를같이사용한다면서로의보완작용을통해좋은위치추적결과를얻을수있다. 이상과같이보았을때, 한가지의센서기술을사용하는것보다복수개의센서기술을사용하는것이좀더안정적이고정확한위치추적에유리하다. 만약에어떠한위치센서기술이나솔루션을개발하였다면개발된센서만의결과만을이용하는것이아니라다른가상현실장비에기본적으로탑재되어있는센서의결과와혼용하거나상호보완하는방식으로함께사용하 10 www.iitp.kr
기획시리즈 -VR AR 는것이유리할것이다. 예를들어, 실감형콘텐츠에자주사용되는 HMD 에는대개의경우 inertial 센싱기능을탑재하고있으므로이들센싱정보도함께사용하는것이실공간과가상공간을정 합하는데에더유리할것이다. IV. 실감형콘텐츠기술전망 본고에서는가상현실기술을기반으로하는실감형콘텐츠분야에서이를디스플레이하는 HMD 장비와사용자인터렉션장비관련기술에대해살펴보았다. 오큘러스라는혁신적장비를발화점으로가상현실시장이폭발적성장의시대를열게된것처럼, 가상현실과맥을같이하는증강현실시장에서도혁신적장비가매개점이되어큰변화를겪게될것으로전망된다. 이미마이크로소프트의홀로렌즈, 매직립, Meta2 와같은장비들이그가능성을열어가고있으며증강현실기술은가상현실기술과함께실감형콘텐츠분야에서더큰시장을만들어갈것이다. 이러한실감형장비들을바탕으로실사촬영기반의 360 도카메라 [5] 콘텐츠와유니티, 언리얼, 럼버야드와같은개방형게임엔진에기반한가상현실콘텐츠들이사용자의몰입감과흥미도를대폭적으로증가시키며새로운콘텐츠와시스템시장을열어갈것이다. 실감형콘텐츠는인간의오감체험을극대화하여실제와유사한경험을제공하는차세대콘텐츠이다. 본고에서는시각경험을주는 HMD 장비와사용자의의도를전달하는인터랙션장비에대해주로살펴보았고, 이외에다양한오감경험을제공하기위한연구와제품이개발되고있다 [6]. 음원의거리와각도에따라소리를조절해주는장비, HMD 아래부분에코를가릴수있는장비를연장하여화학물질을내뿜음으로써 7~22 가지냄새를느낄수있도록하는장비도개발되고있다. 또한, 숟가락모양의장비에입이닿는부위에전극을설치하여미세한전기자극과온도를혀에전달하여맛을느끼게하는장비도연구되고있다. 가상촉감분야에서는미세한 texture 를전기적으로조절하여촉감을느끼게하는것뿐만아니라실제공간에초음파를보내맨손으로가상공간물체의촉감을느끼게하는연구도진행되고있다. [ 참고문헌 ] [1] Wikipedia, Head-mounted display, https://en.wikipedia.org/wiki/head-mounted_display, 2016. [2] Wareable, The best VR headsets, http://www.wareable.com/headgear/the-best-ar-and-vr-headsets, 2016. 1. 정보통신기술진흥센터 11
[3] Upload VR, Known Tecnical Specifications of the HMDs in the VR Landscape, 2015. 8., http://uploadvr.com/vr-hmd-specs/ [4] Road To VR, Overview of Positional Tracking Technologies for Virtual Reality, 2014. 6. http://www.roadtovr.com/overview-of-positional-tracking-technologies-virtual-reality/ [5] DailyTekk, The 7 Best 360 Cameras and Rigs for Shooting INSANELY Awesome VR Video, 2015, 9., http://dailytekk.com/2015/09/08/the-7-best-360-cameras-and-rigs-for-shooting-insanely-awesomevr-video/ [6] 가상현실눈앞으로다가오다, 네이버캐스트, 2015. 7. http://navercast.naver.com/contents.nhn?rid=122&contents_id=94362&series_id=3344 12 www.iitp.kr