포커스 몰입형 HMD 를 중심으로 재부흥기를 맞이하는 가상현실 최신 기술 동향 및 전망 양웅연* 50여년의 연구개발 역사를 가진 가상현실 및 증강현실용 착용형 디스플레이 기술은 최근 재부흥기를 맞이하고 있다. 항공우주 분야를 중심으로 군사용으로 활용되던 기술이 개인용 미 디어 플레이어와 게임 등 엔터테인먼트 분야를 선두로 일반인에게 보급되어 사용자 층이 넓어 지고 있다. 개발자 커뮤니티를 통해 주요 기능들의 실용성을 검증 받은 몰입형 디스플레이 (HMD)는 유수 기업들의 투자를 기반으로 일반 소비자용 제품의 출시가 발표되는 사례와 같이 시장이 확대되려 하고 있다. 본 고에서는 착용형 디스플레이 기술의 최신 동향을 정리하고, 상호작용기술을 포함하여 실감형 체험 서비스의 구현을 가능하도록 지원하는 연계기술들의 동 향과 발전 방향을 소개한다. 목 차 Ⅰ. 서 론 Ⅱ. 몰입형 HMD 기술 발전 동인 Ⅲ. 몰입형 HMD 제품기술 동향 Ⅳ. HMD 용 상호작용 지원 기술 동향 Ⅴ. 결 론 * ETRI 가상현실연구실/책임연구원 I. 서 론 2015 년 1 월 미국에서 개최된 세계 가전 전시회 CES(Consumer Electronics Show) 2015 의 동향을 정리한 대표적인 키워드 중 하나로 가상현실(Virtual Reality)이 선정되 었다[1]. 소비자 시장 중심에서 정보가전기 기의 기술 동향과 전망을 제시하는 세계적 인 전시회들의 사례와 미디어의 보도 사례 들을 보면 가상현실기술에 대한 일반 소비 자의 관심이 증대되고 있음을 알 수 있다. 신기술에 대한 사회의 관심과 투자의 흐름 을 해석하는 사례인 가트너(Gartner, Inc.) 의 Technology Hype Cycle 2014 그래프 [2]를 보면, 가상현실기술은 초기 아이디어 에 대한 공격적인 투자와 실패에 대한 실망 1
주간기술동향 2015. 9. 2. 의 골짜기를 빠져 나와서 기술의 비전을 실현할 새로운 아이디어와 신규 투자가 증가되는 재 부흥기를 맞이하고 있는 것으로 보인다. 1968 년 이반 에드워드 서덜랜드(Ivan Edward Sutherland)의 광학 투시형(optical seethrough) HMD[17] 제작 이후, 약 50 여년 간 HMD 를 구성하는 주요기술 요소[3] 중 시 야각을 넓히고 고품질의 가상 영상 이미지를 출력하는 디스플레이 부품 소자 등의 H/W 기술과 콘텐츠 제작을 보다 용이하게 하는 S/W 에 대한 다수의 방법론들이 시도되었다[4]. 2010 년대 이후에는 각각의 주요 기술을 융합하고 크라우드펀딩(crowd funding)을 기반 으로 하는 다수의 스타트업(start-up; 신생 벤처기업)이 출현하면서, 새로운 HMD 의 제작 시도가 증가되고, 최근에는 대기업의 참여가 늘고 있는 추세이다. KZERO 의 분석[5]에 따 르면, 글로벌 HMD 유니트의 수가 2014 년 약 20 만 대 수준에서 2018 년에는 약 400 배 이상 성장한 8,300 만 대 규모의 시장이 형성될 전망이다. 본 고에서는 선행 기고문[3],[4],[6]의 분석 사례와 같이 착용형 디스플레이를 사용자 의 시야를 완전히 가리는 몰입형 HMD 와 모바일 환경에서도 활용이 가능하도록 디스플 레이를 착용한 상태에서 외부 환경을 관찰할 수 있는 투시형 EGD(EyeGlasses type Display)로 분류한다. 그리고, 본 고에서는 몰입형 HMD 를 중심으로 기술이 현재의 수준 으로 발전할 수 있었던 동인을 분석하는 과정으로 기술 동향을 정리하고, 가상현실 콘텐 츠 서비스를 위한 관련 기술과 함께 그 발전 방향을 전망한다. II. 몰입형 HMD 기술 발전 동인 몰입형 HMD 는 수년 간의 오픈 개발자 커뮤니티와 프로젝트들을 통해서 대중화를 목 표로 세부기술들이 융합되고, 그 품질이 소비자 제품으로 공급될 수 있는 수준으로 보완 됨에 따라서 다수의 제품들이 시장에서 경쟁하거나 출시가 예정되어 있다. 이상적인 가상 체험을 실현하기 위해서는 단편적으로 H/W 중심의 인터페이스 장치뿐만 아니라, S/W 중 심의 콘텐츠 및 서비스 등 시장 생태계를 구성하는 다양한 요소들이 준비되어야 한다는 점은 여타 기술의 상용화 과정을 통해서도 경험한 사실이다. 몰입형 HMD 에 대한 요구기능을 분석할 때, 우리는 인간의 시각 감각기관의 특징과 인지 과정을 이해하는 관점에서 그것을 만족하는 단위 기술들로 구체화시키는 것이 필요 하다. 가상의 콘텐츠 공간에서 사용자에게 시각적으로 완전히 몰입된 감각을 제공해야 되 2 www.iitp.kr
므로 시야각(Field of View: FOV)을 최대화시키는 광학계 기술과 실사 수준의 영상을 제 시하기 위한 영상 출력용 가시화 기술이 필요하다. 그리고, 인간의 입체 영상 인지 특성에 대응할 수 있는 양안시(binocular view) 정보 출력기술 및 사용자 시점의 이동에 따른 콘 텐츠의 변화를 적용할 수 있는 사용자 움직임 추적기술이 필요하다. 역사적으로 광시야각을 구현한 확대 광학계로 (그림 1)의 사례와 같 이 1983 년 Eric Howlett 의 LEEP 시스템[19]이 시야각 140 를 구현 하는 기술로 발명되었으나, 확대되 LEFT VIRTUAL IMAGES 90 DIRECT FIELD 140 CORNEAL AND PEERING FIELD COMPRESSED REAL IMAGES (FILM OR VIDEO SCREENS) RIGHT 면 상대적으로 낮아지는 가상 영상 의 품질을 실사와 유사하게 제공할 수 있는 고해상도 영상 출력 부품 (LCD 패널) 기술이 준비되지 못한 (그림 1) LEEP VR 광학 구조[19] 시기에는 널리 활용되지 못했다. 이후 HMD 를 개발하는 주요 업체의 관심은 영상 프로젝 션 장치의 부품인 마이크로 디스플레이 패널의 기술을 활용하여 최소한의 부피와 무게를 가진 광학-영상 출력 모듈의 최적화에 집중되었다[4]. 2011 년에는 상용 HMD 에 적용되 는 마이크로 디스플레이 패널의 해상도가 fullhd(1920 1080)까지 증가했지만 1,000 달 러 내외의 상용 제품의 단위 모듈당 구현할 수 있는 시야각의 범위가 약 30~40 정도로 한계 수준에 머물러 있었다. 몰입형 HMD 에서 광학계 기술의 구현 목표는 (그림 2)의 사례와 같이 영상 출력 모듈 (마이크로 디스플레이 패널)에서 발산되는 영상의 빛을 사용자 눈(동공) 속으로 전달하고, 프로젝션렌즈형 렌즈 반사형 자유곡면 프리즘형 광경로가이드형 미국특허번호: 5,436,765 미국특허번호: 5,696,521 미국특허번호: 5,959,780 미국특허번호: 6,710,902 (그림 2) HMD 를 위한 광학계기술 사례 3
주간기술동향 2015. 9. 2. 그 결과 사용자의 눈 앞에서 확대된 가상의 이미지가 제시되도록 하는 것이다. 가상 영상 의 크기는 출력된 영상의 크기와 광학계 부품의 확대 배율에 의해서 결정되므로 단순하게 생각하면 충분한 크기의 영상을 출력하고, 이를 충분히 확대하여 Parker[7]의 연구 사례 와 같이 사용자의 시야 공간을 약 120 이상으로 채우는 가상 영상 이미지를 생성하면 된 다. 그러나, 인터페이스 장치를 착용한 사용자의 휴먼팩터적인 편의성을 고려한다면, 무게 와 부피 증가에 대한 제약으로 그 한계가 존재하기 때문에 극단적인 사양을 구현한 장치 는 1) 우주/항공 분야 등에서 제한적으로 활용되고 있다. 2 장의 도입부에서 언급된 것과 같이 2010 년경까지는 HMD 기반으로 높은 품질의 가 상현실시스템을 구현하기 위해서는 넘어야 할 진입장벽들이 높게 존재하고 있었다. 즉, H/W 측면에서는 제한된 업체에서만 접근이 가능했던 특수한 광학 부품 설계 및 생산 수 단이 있었고, HMD 시장을 목표로 대규모의 양산을 고려한 고해상도 마이크로 디스플레이 패널 부품에 대한 투자가 부족한 시기였기 때문에 높은 사양의 부품을 기반으로 시제품을 개발하기가 어려운 상황이었다. 그리고, 상호작용 지원을 위한 추적장치와 가상현실 응용 프로그램을 개발하기 위한 상용 툴킷 및 전문 엔진 S/W 의 높은 가격도 일반 개발자가 접 근 하기에는 어려운 환경이었다. 그러나, 2010 년에는 단위 면적당 높은 해상도(326PPI) 를 제공하는 디스플레이 패널과 자세 센서를 내장한 Apple 의 iphone4 가 발매되었고, 비 슷한 시기에 유니티(Unity) 또는 언리얼 엔진(Unreal Engine)의 사례와 같이 낮은 비용으로 가상현실 콘텐츠 제작을 용이하게 하는 S/W 툴들이 보급됨에 따라서, 일반 개발자에게도 HMD 기반의 가상현실시스템 구현이 용이하도록 진입장벽이 낮아지는 상황이 되었다. 동시에 개발자 커뮤니티를 중심으로 스마트기기와 근거리에서 대상물의 영상을 확대할 수 있는 광학부품(루페; loupe) 등을 활용한 몰입형 HMD 에 대한 개발 아이디어가 모이기 시작했고, 2011 년 미국 USC 대학의 ICT 연구소 MxR 랩[9]에서는 iphone 4 와 LEEP 광학계를 참조한 부품을 기반으로 광시야각 몰입형 HMD 의 제작 노하우와 관련 기술자료 를 인터넷에 공개하였다. 이후 관련 기술을 사업화로 성공시킨 스타트업 오큘러스 VR (OculusVR)사가 두 차례의 공식적인 개발자 키트를 공급하는 방법으로 기술을 단계적으 로 보완하여 2016 년 1 사분기에는 일반 소비자용 모델을 출시할 예정이다[10]. 1) 단위 모듈을 매트릭스 구조로 통합하여 시야각 180 를 넘기고 fullhd 급 이상의 해상도를 출력하는 HMD(예; SensicspiSight)[8] 4 www.iitp.kr
III. 몰입형 HMD 제품기술 동향 2010 년 이후의 몰입형 HMD 에 적용되는 구조 설계의 경향은 1 인치 미만의 크기를 가진 고해상도 마이크로 디스플레이 패널의 영상을 확대시키는 광학계 기술의 한계를 우 회하여 반대로 패널의 크기를 5 인치 이상으로 증대시키고 광학계를 최소한의 부품으로 구현해서 광시야각을 구현하고 있다. 대부분 공개된 광학계 정보와 상대적으로 저렴한 부 품을 기반으로 다수의 개발자가 접근할 수 있는 S/W 기술을 활용했기 때문에, 이후 2015 년까지의 현황을 보면 다수의 유사한 프로젝트가 진행되고 있으며, 아래와 같이 크게 3 가 지 이슈를 2) 중심으로 제품기술 개발 동향을 정리할 수 있다. <표 1>은 몰입형 HMD 의 주요 기술들을 하나의 제품으로 집약시킨 대표 사례들이다. 해상도와 시야각 및 상호작용을 위한 트래킹 기술 등 제품을 구성하는 주요 기술들의 수 준이 서로 유사해지는 경향이다. 각각의 제품을 통해서 최종 사용자가 체험하는 가상현실 서비스의 체험에 대한 만족도는 여러 가지 요소가 융합되어 영향을 주므로 서비스 생태계 구축을 위한 콘텐츠 서비스 플랫폼 준비 현황을 포함하여 전체적인 경쟁력을 분석할 필요 가 있다. 선도적으로 기술 개발을 진행한 오큘러스 VR 사는 2013 년 3 월에 첫 번째 개발자 버 전 DK1 의 공급을 통해서 단순한 구조의 패널과 광학계, 그리고, 250Hz 의 속도로 갱신되 는 헤드트래킹 센서로 몰입형 HMD 기술의 현실화 가능성을 보여줬다. 이후에는 자연스 러운 휴먼팩터의 요구 조건에 대응할 수 있도록 감각기관에 불편함(어지러움, 두통 등)을 제공하는 요소를 제거하는 기술들을 개발하였다. 광시야각으로 확대된 영상에서는 일명 모기장 효과가 3) 발생하는 부작용이 있다. 단순하게 생각하면 영상 패널의 해상도를 최대 한으로 증가시키는 방법으로 5.5~6 인치 4K 급(3840 2160, 806PPI) UHD 패널의 활용 을 고려할 수 있지만, 이와 동반되는 실시간 정보처리 용량의 증가와 전력 소모 문제 등이 발생하므로 오큘러스 VR 사는 소비자 버전에 2160 1200(단안기준 1080 1200) 해상도 를 지원하는 OLED 패널을 선정한 것으로 보인다. 그리고, 평판디스플레이 산업계에서 활 용하는 잔상 감소(low persistence) 기법을 응용하여 90Hz 로 패널의 영상의 갱신 속도를 2) 기술의 평준화, 스마트기기 연동형 HMD 보급, 서비스 플랫폼 구축 경쟁 3) screen door effect; 화소의 격자 경계 영역이 두드러져 보이는 현상 5
주간기술동향 2015. 9. 2. <표 1> 몰입형 HMD 제품 사례 모델(프로젝트)명 Oculus Rift HTC Vive SONY Morpheus StarVR 사진 시야각(FOV) >110 (대 대각선) >110 (대각선) 화면해상도 (단안) 화면 갱신율(Hz) 트래킹 (+위치추적) 2160 1200 (1080 1200) 90 6DOF (IR camera) 2160 1200 (1080 1200) 90 6DOF (lighthouse) 운영체제 Microsoft MS Windows, Winodws Linux, OSX 콘텐츠 서비스 Oculus Share 플랫폼 MS XBOX Valve STEAM 100 (대각 각선) 210 (수평),130 (수직 직) 1920 1 080 5120 1440 (960 10 080) (2560 1440) 120 90 6DOF 6DOF (color light) (AR tag) SONY TBA PlayStation SONY TBA PlayStation 높이고, 영상 프레임을 갱신할 때 직전 프레임의 잔상을 지우는 black fram me 삽입기법 등 을 적용시키는 방법으로 선명한 영상이 사용자에게 제공되도록 구현하였다. HMD 는 사용 자의 시각과 직접적으로 연계되어 있기 때문에, 착용형 디스플레 레이 장치는 일반 TV 나 영 화 스크린과 다른 특징으로 사용자의 시점(머리, 눈의 움직임)을 실시간 추적해서 콘텐 츠 의 내용이 갱신될 필요가 있다. 가상현 현실시스템에서 서는 하나의 장면(frame)을 완성하기 위 해서 환경 및 사용자 정보를 센싱(입력 력) 받아 인식된 정보들을 기반으로 콘텐츠의 다음 결 과를 시뮬레이 이션하고, 그 결과를 출력해서 사용자의 감각기관에 제시하는 일련의 과정 을 처리한다. 이 과정의 전체적인 처리시간(latency)이 사용자가 인지하기에 불편함이 없을 정도가 되어야 자연스러운 체험이 가능하며, 오큘러스 VR 사의 경우 전체 처리 과정을 20msec. 보다 짧은 시간( (50Hz 이상)에 구현할 수 있도록 기술을 최적화시 시키고 있다. 그 리고, 360 몰입 공간의 모든 방향에서 사용자의 시점을 정확하 하게 추적하기 위해서 DK2 (crystal cove prototype) 버전 이후부터는 카메라 센서를 추가하여 6 자유도(6DOF; X- Y-Z position, Pitch-Yaw-Roll orientation) 정보를 추적하도록 개선해서 전반적인 헤드 트래킹 속도를 수백 Hz 단위로 향상시 시켰다. 2014 년 코드명 Crecent Bay 시작품에서 는 몰입 가상 공간에서의 사실감을 높이기 위해 스테레오 스피커로 3D 사운드 효과를 제공 하는 기술이 통합되었다. 최근의 소비자용 오큘러스 Rift HMD 는 사용자의 휴먼팩터에 보 6 www.iitp.kr
다 정확하게 대응하기 위해 양안시 간격(Inter Pupil Distance: IPD) 조절부를 내장하고, 사용자의 상호작용 입력 기능에 대응하기 위해 적외선 광원 기반의 트래킹 기술을 이용한 핸드 인터페이스(Oculus Touch) 장치를 포함한다. 2012 년부터 약 3 년 간의 시간 동안에 진행된 제품기술 개발 과정을 보면, 과거 가상현실 연구 분야에서 이상적인 몰입형 HMD 에 필요했던 기능들로 제안되어 연구가 진행된 다양한 기술들이 하나의 통합된 플랫폼으로 융합된 대표적인 사례가 되고 있다. 앞의 사례와 경쟁하고 있는 HMD 제품기술로는 HTC 사와 Valve 사가 주도한 HTC Vive[13],[14]가 있다. 2015 년 말 연휴 시즌에 소비자 버전이 출시될 계획이며, 다음과 같은 기술적 특징을 가지고 있다. 입체 영상 출력을 위한 OLED 패널의 해상도 및 갱신율, 그리고 광시야각을 제시하는 특징은 <표 1>과 같이 다른 사례들과 유사하다. 그러나, 사 용자의 머리 움직임 및 손의 움직임을 실시간으로 추적하는 트래킹 인터페이스에 레이저 스캔 방식으로 센서의 위치와 자세를 획득하는 라이트하우스(Lighthouse) 기술을 적용하 였다. 그리고, 공간을 X-Y 축 방향으로 스캔하는 베이스 모듈을 여러 대 배치하는 방법으 로 사용자 추적 범위를 360 주변공간으로 확장시킬 수 있다. 1990 년대부터 소비자용 HMD(상품명 Glasstron)를 개발한 SONY 사는 <표 1>과 같 이 2014 년 봄에 Project Morpheus[15],[16]라는 명칭으로 소비자 버전의 몰입형 HMD 개발 정보를 공개하였다. 2016 년 1 사분기에 출시할 예정이며, 기존 SONY 의 게임기 플 Google Glass SONY HMZ-T3 Ocutus DK2 Sensics pisight Starbreeze StarVR (그림 3) StarVR HMD: 주요 HMD 와 시야각 비교[7], AR tag.기반 위치 추적 구현 사례[22] 7
주간기술동향 2015. 9. 2. 랫폼인 PlayStation4 에서 구현된 핸드 인터페이스 Move 컨트롤러의 6 자유도 추적 기능 을 HMD 에 내장시키는 방법으로 헤드트래킹 기술을 구현한다. 영상 패널의 해상도와 시 야각은 경쟁기술 대비 조금 작은 수치이지만, OLED 패널의 갱신율을 120Hz 로 높여서 동적인 가상현실 콘테츠에 대한 반응성을 높이는 특징을 가진다. 사용자의 시야 앞을 가리는 형태(see closed type)로 소형 디스플레이 패널과 단순하고 가벼운 광학계 설계를 기반으로 광시야각을 구현한 제품 사례는 일찍이 1980 년대의 LEEP 시스템 기반의 Cyberface HMD 시리즈로부터 2007 년 수평 시야각 150 를 구현한 Fakespace 사의 Wide5 HMD[18]가 있었다. 2010 년 이후 스마트기기용 고해상도 디스플레이 패널 이 시장에 공급되고, 2013 년에는 각각의 눈에 1280 800 해상도의 패널과 프레즈넬 렌 즈를 활용해서 경량형의 광시야각(수평시야각 210 )을 구현한 Infiniteye HMD 시작품이 제안되었다. 이 기술을 인수한 Starbreeze Studios 에서 2015 년 6 월 <표 1>, (그림 3)과 같이 StarVR HMD[22]를 발표하였다. 5.5 인치 크기에 2560 1400 해상도를 가지는 QHD 패널 2 개로 총 5K 급의 파노라마 영상을 수평 시야각 210 및 수직 시야각 130 로 제시 하여 시각적으로 완전히 몰입되는 환경을 제공한다. 트래킹은 내장된 MEMS 센서와 광학 식 트래킹 기술을 적용해서 360 공간 추적을 지원한다. 과거 1 인치 미만의 마이크로 디스플레이 패널을 기반으로 확대된 가상 이미지를 구현 하는 경우에는 확대 광학계에 의한 왜곡 및 수차 보정을 주로 추가적인 광학적 설계를 통 해서 해결하려는 시도가 많았으나, 소형 패널과 단순한 확대 광학계를 적용하는 최근의 설계 경향에서는 광학부의 왜곡 현상을 고해상도 이미지 생성단계에서 역으로 보정된 결 과를 출력하는 방법으로 관련 문제를 해결하고 있다. LEEP 시스템에서 파생된 광학기술이 다양한 결과물에 성공적으로 적용되는 사례가 증가하면서 기존의 마이크로 디스플레이 패 널에 해당 기술을 적용한 것으로 보이는 사례가 2015 년 여름에 공개되었다. 주로 군용 HMD 기술을 개발하는 emagin 사에서 2k 2k 급의 마이크로 디스플레이 패널과 광학계 의 부피를 축소시킨 몰입형 HMD 의 개발 사례[20]이다. 각각의 눈에 수평&수직 80 (대 각선 110 )의 영상을 출력하면서 단위 화소의 출력 면적 비율(fill factor)을 80%까지 향상 시켜서 확대된 영상이 모기장처럼 보이는 현상을 제거한 특징을 가지고 있다. 앞에서 정리된 제품기술은 독립된 인터페이스 장치로 몰입형 HMD 를 구현한 사례들이 며, 다음은 기존의 스마트기기를 활용해서 몰입형 HMD 를 구현한 사례들을 정리한다. 8 www.iitp.kr
USC ITC MxR Lab. VR2GO Samsung Gear VR Google Cardboard VR Strom VR (그림 4) 모바일 몰입형 HMD 사례 미국 USC 대학의 MxR 랩[9]에서는 2012 년에 소형 영상 패널기기에 간단하게 광학 계 프레임을 부착해서 몰입형 가상현실 환경을 체험할 수 있는 FOV2GO 프로젝트를 공개 하고, 2013 년에는 3D 프린팅 기술을 활용하는 모바일 가상현실용 디스플레이 VR2GO 프로젝트를 공개하여 사용자가 직접 제작할 수 있는 정보를 DIY 페이지를 통해서 제공하고 있다. HMD 에서 대부분의 재료비를 차지하는 콘텐츠 운용 및 영상 출력 기능을 휴대형 스마트기기를 통해서 구현한 모바일 몰입형 HMD 는 인터넷에 공개된 제작 사례만 수십여 종에 이른다. 일정한 폼팩터를 가진 스마트기기를 기반으로 몰입형 HMD 를 구현하므로, 유사한 광학계를 적용하여 시야각 약 100 내외의 몰입도를 제공하면서 착용성을 고려한 디자인 등에서 차별성을 제시하고 있다. 그러나, 고품질의 3D 가상현실 콘텐츠를 운영하 기에는 스마트기기의 성능에 한계가 있기 때문에, 아직은 초기 체험자 위주의 입문형 장 치로 활용되거나 관련 서비스를 제공하는 저렴한 인터페이스 장치로 활용되고 있다. H/W 중심의 성능과 품질이 유사해짐에 따라서 제품의 가격이 경쟁력에 큰 영향을 주고 있으며, 모바일 몰입형 HMD 의 경우 해당 플랫폼을 기반으로 수익을 창출할 수 있는 서비스 시장 을 개척하려는 노력이 보인다. (그림 4)는 모바일 몰입형 HMD 의 대표적인 사례로, 삼성 기어 VR(GearVR)은 헤드트래킹 센서와 상호작용을 위한 터치 인터페이스를 내장한 특징 을 가지고 있고, 구글은 자석을 버튼 기능 구현에 활용하는 등 최소 비용의 재료를 적용한 카드보드 VR(Cardboard VR)을 무료 수준의 가격으로 공급하고 있다. 최근 중국에서는 블 루투스 기반의 무선 조이스틱을 포함한 모바일 몰입형 HMD 프레임 폭풍마경을 약 100 위안(약2만 원 내외)에 판매하고 있다. 과거 기술 시장을 살펴보면, 새로운 서비스를 제안하는 신기술이 시장에 소개되었을 때, 사용자가 소비할 수 있는 충분한 콘텐츠와 관련 인프라의 조성이 미흡하여 시장의 지 9
주간기술동향 2015. 9. 2. 속적인 확대에 어려움을 격은 사례가 있다. 그래서, 몰입형 HMD 와 관련된 대규모 투자를 진행하는 그룹은 해당 기기와 연계된 서비스 플랫폼을 준비하고 있고, 콘텐츠 생산자와 소비자를 쉽게 연계하여 그 시장에서 수익을 발생시킬 수 있는 생태계를 구축하고 있다. 오큘러스 VR 사는 자사 플랫폼 기반의 콘텐츠를 통합적으로 정리하여 소개하는 오큘러스 쉐어(Oculus Share) 사이트를 오픈했고, 최근에는 Microsoft 의 XBOX 콘텐츠 서비스와 의 제휴를 발표하였으며, 개인 몰입형 콘텐츠에 집중하는 오큘러스 스튜디오(Oculus Studio) 프로젝트의 초기 결과를 공개하고 있다. 삼성은 모바일기기의 특성을 살린 기어 VR 플랫폼 기반의 360 몰입형 콘텐츠를 중심으로 밀크 VR(MilkVR) 사이트를 운영 중이 다. HTC 사의 Vive 는 게임 콘텐츠 서비스로 상당한 시장을 확보하고 있는 Valve 사의 스 팀 VR(Steam VR) 플랫폼을 기반으로 실시간 스트리밍 서비스로의 확장 가능성을 가지고 있다. SONY 는 PlayStation 기반의 확보된 콘텐츠를 중심으로 VR 콘텐츠 서비스 시장으 로의 확대 전략을 가지고 있다. 구글은 360 몰입형 콘텐츠의 제작이 용이하도록 16 대의 카메라를 연동하는 JUMP 기술을 공개했으며, 관련 기술을 동영상 서비스 유투브 플랫폼 과 연동시키고 있다. IV. HMD 용 상호작용 지원 기술 동향 가상현실 콘텐츠의 중요한 특징인 양방향성 상호작용(interaction) 기능을 지원하기 위 해서는 앞에서 기술된 기존 HMD 제품에 추가적으로 다음의 기술들이 통합되어야 한다. 착용형 디스플레이 장치에 가장 이른 시기부터 추가된 센서는 착용자의 머리의 움직임 을 추적하는 헤드트래커이다. 단순하게 2 자유도(고개의 좌우, 상하 움직임)에서부터 3 자 유도(자세)와 6 자유도(자세 및 위치) 정보를 3 차원 공간에서 추적하는 기술이 통합되었 다. 그러나, 3 차원 공간상에서의 위치를 추적하기 위해서는 대부분의 기술이 사용자 신체 와 떨어진 외부 공간에서 관찰하는 부가적인 장치(카메라, 스캐너 등)를 필요로 하기 때문 에 사용자가 움직일 수 있는 전체 공간이 제한되는 문제가 있다. 이를 개선하기 위한 대표 적인 접근 방법이 가속도계 등을 기반으로 상대적인 움직임 값으로부터 위치 정보를 얻을 수 있는 기술로 시도가 되었으나, 오랜 시간 동안 운용에 따른 정확도의 안정성을 확보하 기 어려운 한계를 가지고 있어서 널리 적용되지 못한 상태이다. 그러나, 최근 구글이 공개 한 프로젝트 탱고(Project Tango)[21] 센서의 기술 시연 자료를 보면, 비전과 MEMS 센 10 www.iitp.kr
서 등으로 하이브리드된 장치가 3 차원 공간상에서 이동하는 6 자유도의 경로를 실시간에 안정적으로 복원하는 결과를 보여 주고 있으므로, 관련 기술이 착용형 디스플레이에 적용 되어 3 차원 공간 이동의 제약이 해결될 시점이 가까운 것으로 보인다. 사용자가 공간을 바라보는 영상을 정확하게 생성(rendering)하기 위해서는 사용자의 눈이 바라보고 있는 방향인 시선 백터 정보를 알아야 한다. 인간-컴퓨터-상호작용(HCI) 연구 분야에서는 이미 아이트래킹 기술의 필요성이 인정되어서 미국 Arrington Research, 독일 SMI 등에서 개발한 아이트래킹 장치가 활용되고 있으며, HMD 에 내장하여 양안 시 선 백터를 추적하는 기술을 공급하고 있다. 최근에는 벤처회사 FOVE 가 몰입형 HMD 에 내장된 아이트래커 솔루션을 개발하고, 아이트래킹을 기반으로 다양한 콘텐츠와 상호작용 하는 사례를 시연함으로써 해당 기술의 활용성을 재증명하고 있다. 몰입형 HMD 는 사용자의 시야를 가상 공간에 완전히 몰입시켜서 외부 공간과 단절된 상태를 제공하므로, 사용자가 자신의 신체기관을 이용해서 콘텐츠의 객체(메뉴 조작 등의 명령 입력)와 상호작용하는 기능을 수행하기 위해서는 사용자의 신체 움직임을 추적해서 가상 공간에 반영할 수 있는 인터페이스 기술이 필요하다. 과거 가상현실 연구 분야에서 는 장갑 형태의 인터페이스를 사용했으나, 착용성 및 유선 처리 등의 사용성 문제 때문에 최근에는 부가적인 장비 없이 사용자의 손(손가락) 움직임을 추적하는 기술(Leapmotion)이 몰입형 HMD 에 통합하여 활용되고 있다. 그리고, 최근에는 유사한 솔루션을 보유한 Nimble VR 팀과 Pebbles Interfaces 팀이 오큘러스 VR 사에 합류하였다. 몰입형 HMD 를 착용한 상태에서 외부 공간과 물리적으로 단절되면, 안전 문제 등의 이 유로 사용자의 행동 반경에 대한 제약이 발생한다. 그러나, 공간 이동의 제약이 없는 가상 현실 콘텐츠를 구현하기 위해서는 사용자의 몸 전체의 자세 변화 및 움직임을 보호하면서 추적할 수 있는 인터페이스 장치가 필요하다. 단순한 구조를 가지는 Virtuix 사의 옴니 (Omni) 장치는 오목한 원판 위에서 마찰력이 최소화된 재질의 신발을 착용하여 사용자가 제자리 이동동작을 체험할 수 있도록 한다. 과거 하이엔드급 가상현실 연구 분야에서 가 상 이동(virtual navigation) 기술을 구현한 사례로는 CyberWalk 사의 다방향-러닝머신 형태의(omni-directional treadmill) 장치가 있으며, 최근에는 영국의 Channel5 에서 밀리 터리 게임 Battlefield 의 인터페이스를 360 스크린과 트래드밀(treadmill) 형태로 구현한 사례가 있다. 그리고, 앞의 옴니 사례에서 사용자의 자세 변화를 방해하는 허리 부분의 안 11
주간기술동향 2015. 9. 2. 전 링을 제거하여 자유로운 사용자의 신체 동작을 지원하는 네비게이션 장치로 Kickstarter 프로그램에서 제안된 Kat Walk 프로젝트가 있다. V. 결 론 가상현실 재부흥기를 견인하는 착용형 디스플레이 관련 최신 기술 동향을 정리하였다. 몰입형 HMD 는 사용자의 요구 수준을 만족시킬 수 있는 기능을 지원하는 기술의 평준화 가 진행되어 유사한 제품들이 시장에 소개되고 있다. 앞으로는 사용성이 높으면서 완성 품질도가 높은 가상현실 서비스를 저렴하게 제공하는 플랫폼과 생태계를 구축한 업체가 향후 시장을 주도할 것으로 보인다. <참 고 문 헌> [1] Google search CES 2015 Virtual Reality, https://goo.gl/myjdrz [2] http://www.gartner.com/newsroom/id/2819918 [3] 양웅연 외, 개인 착용형 디스플레이 기술, ETRI, 전자통신동향분석, 28(5), 2013. 10. [4] 양웅연, 가상현실 및 증강현실을 위한 착용형 디스플레이 발전 동향, NIPA, 주간기술동향, 1650 호, 2014. 6. [5] KZERO,http://www.kzero.co.uk/blog/vr-headset-sales-forecasts-and-market-penetration- 2014-2018/ [6] 양웅연 외, 사용자 중심형 3D 입체 디스플레이 기술, ETRI, 전자통신동향분석, 27(3), 2012. 6. [7] Parker, J. F., Jr. & West, V. R.,Bioastronautics Data Book: Second Edition. NASA SP-3006, by James F. Parker and Vita R. West, Washington, D.C., 1973, p.641. [8] Sensics HMD, http://sensics.com [9] MxR at USC Institute for Creative Technologies, http://projects.ict.usc.edu/mxr/diy/ [10] OculusVR Rift, https://www.oculus.com/en-us/rift/ [12] Kickstarter, https://www.kickstarter.com/projects/1523379957/oculus-rift-step-into-the-game [13] HTC Vive, http://www.htcvr.com/ [14] HTC Vive, https://en.wikipedia.org/wiki/htc_vive [15] SONY Project Morpheus, https://www.playstation.com/en-za/explore/ps4/features/projectmorpheus/ [16] SONY Project Morpheus, https://en.wikipedia.org/wiki/project_morpheus_(virtual_reality) [17] Ivane E. Sutherland, A head-mounted three dimensional display, Proc. of the AFIPS Fall Joint 12 www.iitp.kr
Computer Conference, Washington, D.C. Thompson Books, 1968, pp.757-764. [18] Fakespace Wide5 HMD, http://www.fakespacelabs.com/wide5.html [19] LEEP VR 광학 구조, http://www.leepvr.com/spie1990.php [20] emagin 2k x 2k HMD, https://www.youtube.com/watch?v=wltgsbk1bla, https://goo.gl/8zbws5 [21] Google Priject Tango, https://www.google.com/atap/project-tango/ [22] StarVR, http://www.starvr.com/ * 본 내용은 필자의 주관적인 의견이며 IITP 의 공식적인 입장이 아님을 밝힙니다. 13