가상현실, 증강현실및혼합현실개요 유범재 ( 재 ) 실감교류인체감응솔루션연구단, 한국과학기술연구원 (CHIC, KIST) 1. 서론 4차산업혁명에대한관심과함께, 인공지능 (AI), 로봇은물론가상현실 (VR, Virtual Reality), 증강현실 (AR, Augmented Reality), 혼합현실 (MR, Mixed Reality) 에대한기술개발경쟁으로전세계가뜨겁다. [1] 세계적인글로벌기업인구글, 마이크로소프트, 애플, 페이스북, 소니, HTC ViVE 등도차세대제품개발에박차를가하고있고, 수많은중국업체들의도전이진행되고있다. 특히, 헤드마운트디스플레이시스템 (Head-mount Display) 의가격이수년사이수천만원에서 100만원이하의가격으로급격하게떨어지고, 초고속컴퓨팅과그래픽스를지원하는 GPU 기술이발전하면서스마트폰이후 IT시장을선도할기술로주목받고있다. 국내에서도 360영상을활용한뉴스가주요신문사인터넷페이지에서서비스를시작했으며, 가상현실을활용한게임, 쇼핑몰, 비디오서비스등이세계적으로큰인기를끌고있다. 2015년 4월 Digi-Capital은, 2020년가상현실시장규모는 30B$, 증강현실과혼합현실의시장규모는 120B$ 로제시하고, 현재의스마트폰시장을점진적으로점유해갈것으로예상하였다. 이와함께, 가상현실의주요시장으로 VR 게임, VR 관련하드웨어, 3D 필름 ( 영화 ) 산업으로제시하였고, 증강현실의주요시장으로 AR 관련하드웨어, 상거래, AR 데이터산업으로제시하였다. 2016년 4월골드만삭스글로벌투자리서치에서는, 2025년가상현실과증강현실소프트웨어세계시장규모를 35B$ 시장으로예측하고, 일반소비자시장에서는비디오게임, 라이브이벤트, 비디오엔터테인먼트시장을, 공공서비스시장은헬쓰케어와산업응용을위한엔지니어링시장을주요시장으로예측하였다. 또한, 글로벌시장예측기관인가트너에서는스마트폰의시대가저물어가고헤드마운트디스플레이시대가점진적으로다가올것을예측하기도하였다. [2] 인공지능, 지능형로봇과함께 5G 네트워크시대에맞추어가상현실, 증강현실, 혼합현실이모바일디바이스와결합되어발전한다면폭발적인산업성장과함께영화 Ready Player 1 과같은미래삶의모습을이끌어갈것으로기대를가질만하다. 로봇과인간 3
2. 가상현실, 증강현실, 혼합현실, 그리고공존현실 1) 가상현실이란, 컴퓨터소프트웨어를사용하여현실세계와매우흡사한가상세계를생성하는기술과, 사용자에게실제같은영상, 음향및기타감각정보를제공함으로써가상세계안에서시간적, 공간적으로스스로존재하는것처럼느끼고인터랙션할수있도록해주는시뮬레이션기술을의미한다. 현실세계에대한정보는없고, 가상으로만들어진세계만을사용자는경험하게된다. 수많은장기와세포로구성된인체내부를가상으로재현하여관찰하고학습하는시스템, 군인들이작전에투입되기전에실제전장과유사한환경을가상현실로만들어미리훈련하는훈련시스템, 항공기운전석을가상현실로만들어전투기나항공기의운전, 비행훈련시스템이대표적이다. 가상현실을체험하려면삼차원 정보표현과인터랙션이가능한헤드마운트디스플레이 (HMD) 시스템을갖추어야한다. 구글의 Daydream ( 그림 1), 삼성의기어 VR ( 그림 2) 과같이사용자의스마트폰을장착하여사용할수있는 HMD와, HTC ViVE ( 그림 3), Oculus Rift 사의제품 ( 그림 4) 과같이자체디스플레이를장착한 HMD 등으로대별된다. 전자의경우컴퓨팅파워가부족하여콘텐츠가제한되지만저렴하다는장점이있고, 후자의경우 PC 기반시스템으로가격이비싸지만고성능콘텐츠를제공할수있는장점이있다. 증강현실이란, 눈앞에보이는현실세계의영상에부가 ( 증강 ) 하여컴퓨터에의해만들어진가상그래픽, 소리및기타정보를, 사용자의자세나위치에따라, 추가하여함께제공하는기술을의미한다. 현실세계를가상세계로보완해주는개념으로, 컴퓨터그래픽으로만들어진가상정보를사용하지만현실세계가중심이다. 일반적인증강현실서비스는, 특정마커 (Marker) 나패턴이있는곳을스마트폰 ( 혹은태블렛 ) [ 그림 1] 구글 Daydream HMD 1) [ 그림 3] HTC ViVE HMD [ 그림 2] 삼성기어 VR HMD [ 그림 4] Oculus Rift HMD 1) 그림 1-10, 12 는구글이미지를사용함. 4
특집가상현실, 증강현실및혼합현실개요 [ 그림 5] 실제그림위에 3D 아바타를증강 [ 그림 7] 현실공간에가상정보혼합 [ 그림 6] 실제공간에 3D 의자모델을증강 으로비추면그안에숨겨진정보를스마트폰화면에보인마커위에그래픽정보를증강해서보여주는방식이다. 마커를감지하고지속적으로추적하는트래킹기술이중요하다. 마커로는평면에흑백으로표시된패턴, QR 코드, 미리알고있는사진, 선이나원과같은특정한패턴등다양하다. 잡지의표지나속지의사진을마커로사용하는경우, [ 그림 5] 와유사하게, 잡지에인쇄된자동차사진을스마트폰 ( 혹은태블렛 ) 으로보면, 자동차의삼차원모델을화면에서볼수있고, 화면의터치스크린을조작하여임의의방향에서자동차를볼수있다. 또한, 스마트폰에보이는아파트실제영상에소파나테이블의 3D 모델이미지를증강시켜실제배치했을때의모습을 [ 그림 6] 과같이미리예상해볼수도있다. 스마트폰, 태브렛혹은스마트글라스등의디스플레이장치와증강현실 SDK를사용할수있는기본시스템을갖추면관련기술과콘텐츠개발이가능하다. 혼합현실이란, [ 그림 7] 과같이, 현실세계에대한삼차원정보들을감지하여사용자의위치와자세에따라가상물체 ( 정보 ) 를현실세계속실제물체와함께존재하는것처럼생성, 부가하여제시하고, 사용자와가상물체, 실제물체가현 [ 그림 8] 현실공간에인체모델혼합실처럼서로물리적으로인터랙션함으로써모두실제인것처럼느끼도록해주는기술을의미한다. 가상의컵 ( 잔 ) 을실제테이블위에올려놓을수있고, [ 그림 8] 과같이가상의인체모델을실험실한쪽에세워두고관찰할수있으며, 가상캐릭터가내방의책상아래혹은문뒤에숨어있다가튀어나와나에게총을쏘는게임을할수있게된다. 마이크로소프트의홀로렌즈 ( 그림 9), 매직리프의매직리프 1 ( 그림 10), 인체감응솔루션연구단의광각비디오씨쓰루 (Video Seethru) HMD ( 그림 11) 등의혼합현실 HMD를준비하면기술및콘텐츠개발이가능하다. 전자의두개제품이매우우수한기술력을보이고있으나, 아직시야각이 45도이하로좁다는단점이있고, 광각비디오씨스루 HMD는시야각을 90 도이상넓힐수있는반면기존 HMD를활용하기때문에무게가무겁다는단점이있다. 다음, 혼자사용하는가상현실, 증강현실, 혼합현실을벗어나, 서로다른곳에있는사용자들이네트워크를통해상호소통하고정보를공유하여자연스럽게인터랙션하고협 로봇과인간 5
[ 그림 12] 영화 < 킹스맨 > 속의공존현실 상호인터랙션및협력 ( 협업 ) 할수있는, 현실 - 가상 - 원격공 간이구분없이연결된일체화된공간을 실감교류인체감응 [ 그림 9] 홀로렌즈 [ 그림 10] Magic Leaf 1 확장공간 (Coexistent Space) 으로새롭게정의하고, 그안에서다른사람들과함께느끼는공존감과리얼리티를 공존현실 (Coexistent Reality) 로정의하였다. 최근개봉된영화 < 레디플레이어원 > 이나 < 킹스맨 > 에서여러사람들이자신의아바타를보내함께모험하거나회의하는모습으로나타날것이다. 현재스마트폰에서실행되는카카오톡혹은페이스북과같은소셜네트워크서비스를넘어서는새로운모습으로발전할것으로기대된다. 혼합현실 HMD를기반으로현실-가상세계의공간정합, 공간인터랙션및동기화네트워크를지원하는 ( 재 ) 실감교류인체감응솔루션연구단에서개발된공존현실소프트웨어프레임워크를사용하면기술및콘텐츠개발이가능하다. 3. 마무리 최근미국 MIT 에서가상현실을결합하여로봇을원격제어 하고, [4] 로봇과인공지능의효과적이고안정적인결합을위 [ 그림 11] 비디오씨쓰루 HMD 업할수있는 공존현실 개념이제시되었다. [3] 서로다른지 역에서네트워크로연결된다수의사용자들이, 정보, 4D+ 감각, 2) 감성, 의도 ( 운동 ), 경험등을실시간소통및공유하고 2) 4D+ 감각이란, 삼차원시각, 삼차원음향, 진동삼과운동감이외에촉감, 역감및기타부가감각들이결합된복합감각을의미함. 해가상현실을인공지능을훈련시키기위해이미활용하고있다. 또한, 기업들이가상현실을도입하여매뉴팩처링및군사분야에서작업자들이로봇과드론을보다잘제어할수있도록도와주고, 증강현실기술들을도입하여헬쓰케어분야에서웨어러블로봇을착용하고있는사용자를도움으로써도입율이점진적으로증가하고있어, 향후가상현실과증강현실기술이로보틱스와함께융합될것으로예상하고있다. [5] 이에따라, 본특집에서는가상현실, 증강현실, 혼합현실 6
특집가상현실, 증강현실및혼합현실개요 기술들이재활, 체험, 직업훈련, 교육, 군사훈련등다양한분 야에서그동안적용된응용사례를제시하고, 이를통해로봇 분야와의융합및응용활성화가능성을살펴보고자한다. 참고문헌 [1] The Fourth Industrial Revolution, Klaus Schwab, Mega Study Co. Ltd., 2016. [2] Maverick Research: Goodbye Smartphones, Hello HMDs, Annette Zimmermann, Tuong Huy Nguyen, Brian Blau, Gartner, 2015. [3] 현실과가상의통합을위한인체감응솔루션, ( 재 ) 실감교류인체감응솔루션연구단, 미래창조과학부글로벌프런티어사업, 2012. [4] Rachel Gordon, Teleoperating robots with virtual reality, MIT News, October 11, 2017. [5] Abishur Prakash, Augmented Reality, Virtual Reality Converge With Robotics, www.roboticsbusinessreview. com, March 12, 2018. 유범재 1985 서울대학교제어계측공학과졸업 ( 공학사 ) 1987 KAIST 전기및전자공학과졸업 ( 공학석사 ) 1991 KAIST 전기및전자공학과졸업 ( 공학박사 ) 1994~ 현재 KIST 지능로봇연구단책임연구원 2004~2011 KIST 인지로봇연구단단장 2010~ 현재 ( 재 ) 실감교류인체감응솔루션연구단연구단장관심분야 : 시각기반로보틱스, 휴먼 - 컴퓨터 - 휴먼인터랙션, 혼합 / 공존현실, 공간인터랙션, 임베디드시스템 E-mail : ybj@kist.re.kr 로봇과인간 7