포커스 포커스 가상현실 및 증강현실을 위한 착용형 디스플레이 발전 동향 양웅연* 최근 착용형 디스플레이 기술 분야에서 대기업의 특허 출원, 신제품 발표 및 스타트업 기업 의 시제품 개발 프로젝트가 증가하고 있다. 가상/증강현실 기술의 상징으로 표현되는 착용형 디스플레이는 50여년 전에 최초의 프로토타입이 개발된 이후 다양한 형태로 제품화가 진행 되었지만, 대중이 활용하기에는 가격 및 사용성의 측면에서 많은 어려움이 있다. 그러나, 광 학 및 영상 패널과 관련된 주요 하드웨어 부품 기술과 3D 콘텐츠 개발에 대한 진입 장벽이 낮아진 소프트웨어 기술이 보급되면서, 선구적으로 제시된 아이디어들의 현실화가 진행되고 있다. 본 고에서는 착용형 디스플레이가 개발된 배경을 간단히 살펴보고, 몰입형 HMD(Head Mounted Display)와 투시형 EGD(Eye Glasses-type Display)의 형태로 양분되고 있는 제품 기 술 개발 동향을 정리한다. 목 차 Ⅰ. 서론 Ⅱ. 완전 몰입형 디스플레이 Ⅲ. 투시 착용형 디스플레이 IV. 결론 및 제언 * 한국전자통신연구원 가상현실연구실/선임연구원 I. 서 론 2014 년 3 월 말에 미국의 유명 SNS (Social Network Service) 기업이 HMD 를 만든 스타트업 기업을 인수한다는 기사가 주요 언론사의 기술 소식 페이지를 장식했 다. 주로 가상현실(Virtual Reality) 기술 분 야에서 연구 개발이 진행된 HMD 는 시각 정보를 전달하는 인터페이스 장치이다. 그 동안 공상과학 소재의 미디어를 통해서 환 상적인 가상의 체험을 전달할 수 있는 기술 의 상징물로 표현되었지만, 실 사용자층은 제한적인 이미지를 가지고 있었다. 그러나, 2012 년의 Google Glass 프로젝트 발표와 기업 인수 소식을 보면, 이제는 착용형 디 정보통신산업진흥원 1
주간기술동향 2014. 6. 18. 스플레이가 일반인들에게도 관심 높은 주제가 되었음을 알 수 있다. 인공지능 연구 분야에서 튜링 테스트(Turing test; 스크린 건너편의 존재가 사람인지 컴퓨터인지를 판단하기) 를 통과하는 시스템의 개발을 목표로 하는 것과 같이 전통적으로 완벽한 가상현실 시스템 개발을 위한 목표는 사용자가 현실 공간에서의 상황과 차이를 인 지할 수 없는 정도의 경험(Presence; 존재감)을 얻도록 하는 것으로, 흔히 장자( 莊 子 )의 호접지몽( 胡 蝶 之 夢 ; 나비가 된 꿈) 이야기에 비유되기도 한다. 그래서, 가상현실 연구자들 은 Presence 의 구성 요소를 정의하고 상관 관계를 밝히는 연구를 진행해 왔다. 이상적 인 Presence 모델의 대표적인 구성 요소는 실감형 인터페이스 기술로써 현실의 자극과 동일하도록 감각기관에 인공적으로 제어되는 정보를 제시하면 된다는 개념이다. 신경계 직접 연결형 인터페이스는 재활 분야에서 극히 제한적으로 의미 있는 성공을 거두고 있고, 대부분의 실용 기술은 사용자 신체의 외부에 시뮬레이션으로 제어된 감각 정보를 제시하 는 형태이다. 그러므로, 인간이 정보를 받아들이는 주요 채널인 시각 감각 기관에 대응되 는 HMD 장치는 가상현실 연구에서 선행적으로 관심을 가진 주제이다. (그림 1)은 초기의 HMD 와 최근 개발된 제품 사례를 보여준다. 과거 약 50 여년 간의 HMD 연구개발 역사를 살펴보면, 시감각 기관을 위해 시야각(Field Of View: FOV), 영상 해상도(resolution of screen), 양안시(binocular optics), 착용감 중심의 사용성(usability) 등의 주요 파라미터 수준을 최대한 높이려는 시도가 지속되었다. 최근 기술 동향을 보면, 완전-몰입형(see-closed type; 눈 앞을 가려서 가상 환경만을 보이게 한다는 뜻) HMD (가) 1916년 Albert B. Pratt 최초HMD 특허 (나) 1968 년 Ivan E. Sutherland 최초투시형 HMD(다) 1985 년NASA VIVED 120 광시야각 LEEP Optics 구현 (라) 2014 년 Oculus DK2 120 fullhd 패널 적용 몰입형 HMD (마) 2014 년 TPG 비디오 투시형 HMD (바) 2014 년 EPSON BT-200 광학 투시형 EGD (그림 1) 초기의 HMD 와 최신 HMD 개발 사례 2 www.nipa.kr
포커스 분야에서는 소형 디스플레이 패널과 확대 광학계를 기반으로 시야각을 극대화시키는 기술 이 재조명을 받고 있고, 투시-착용형(see-through type; 착용부의 영상과 외부 환경의 영 상을 광학적으로 자연스럽게 동시에 볼 수 있음) EGD 분야에서는 증강현실(Augmented Reality) 서비스를 위해 모바일 환경에서의 사용성을 높이려는 기술이 중점적으로 개발되 고 있다. II. 완전 몰입형 디스플레이 도입부의 사례와 같이 2012 년 크라우드펀딩(crowd-funding)을 기반으로 시작된 Oculus VR 이 전통적으로 지적되는 HMD 의 문제점들을 보완하여 두 번째 개발자 키트인 Oculus Rift DK2 를 2014 년 7 월에 배포할 예정이다. 그리고, 2014 년 3 월에는 SONY 의 Morpheus 프로젝트 진행소식이 발표되었고, True Play Gear 가 Totem HMD 의 배포 버 전을 제작하려는 계획 등이 공개되면서 몰입형 HMD 의 대중화 가능성이 매우 높아지는 계기가 되고 있다. 선행보고서[1],[2]와 I 장의 내용과 같이 사용 자의 시야 범위를 가득 채워서 시감각적 몰입도를 높여주는 HMD 와 CAVE(The CAVE Automatic Virtual Environment)는 사용자에게 현실감 높은 가상의 경험을 전달하기 위해 이른 시기부터 연 구 개발된 디스플레이 장치이다. 일반적인 사람의 양안 입체 시각(binocular stereoscopic vision) 범위는 (그림 2)와 같이 수평 방향으로 약 120 주) 중앙의 흰색 영역이 양안 입체시야 범위를 의미함[3] (그림 2) 인간의 시야각 정도로 넓은 공간을 볼 수 있지만, 대부분의 몰입형 HMD 는 수십도 내외의 좁은 시야각 (FOV)만을 지원하는 한계를 가지고 있다. 가상현실 연구의 선구자로 불리는 Ivan E. Sutherland 가 1968 년에 발표한 HMD 시 작품은 기록[4]에 따르면 40 의 시야각을 지원했고, Link s 사의 기술 문서[5]에 따르면 1970 년대 초반에 전투기 조종사용으로 실용화된 Agile HMD 는 12 의 시야각을 지원하는 수준이었다. 1970 년대의 HMD 영상 생성 모듈은 소형화된 CRT(Cathode Ray Tube; 브 라운관)를 기반으로 제작되었기 때문에, 사용자의 눈으로부터 멀리 떨어진 모듈(image 정보통신산업진흥원 3
주간기술동향 2014. 6. 18. (가) 초기 입체 이미지 뷰어용 LEEP 광학 시스템 (나) LEEP 광학계를 위한 스테레오 이미지 (다) 수평 시야각 약145 를 구현한 Cyberface2 HMD[6] (그림 3) Eric Howlett 의 LEEP 광학 시스템 source)로부터 눈 앞으로 영상을 끌어오기 위해 다수의 렌즈들로 구성된 복잡한 광학계를 사용했다. 이런 이유로 부피와 무게가 증가되고 해상도도 낮은 한계가 있었다. HMD 개발 역사에서 인간의 입체 시야 범위에 버금가는 광학계를 선구적으로 구현한 사례는 (그림 3)과 같이 1983 년에 미국의 Eric Howlett[6]가 공개한 발명특허 LEEP (Large Expanse Extra Perspective) 시스템이다. 1979 년의 Videowrap 설계 원안에는 140 의 시야각을 구현했고, (그림 1)과 같이 1985 년 NASA 의 VIVED(Virtual Visual Environment Display) HMD 구현에는 양쪽 눈에 각각 120 의 시야각으로 입체 영상을 제공하였다. 그러나, LEEP 광학계를 발명할 당시에는 낮은 해상도를 제공하는 영상 패널 기술이 한계점으로 작용했다. 현재 시점에서도 LEEP 시스템 기술이 의미를 가지는 이유 는 기본 기능과 구성 방법(광학계, 안정도 높은 기계식 헤드 트래킹)이 현재 신기술 개발 에도 적용되고 있기 때문이다. 1980~90 년대 HMD 기술은 디지털 프로젝터(Digital Projector) 관련 기술의 발달과 함께 했다고 볼 수 있다. 디지털 프로젝터의 구조는 작은 크기의 영상 생성 모듈(LCD, DLP, LCoS 등)에서 출력되는 원영상을 확대하는 모듈로 구 성되어 있으므로, HMD 의 경우와 유사한 기술이 활용된다. 1990 년대 이후의 HMD 기술은 경량화 및 착용성의 개선을 위해서 1 인치 미만의 크 기와 최소한의 무게를 가지는 영상 출력 소자를 최대한의 가상 화면으로 확대시키는 광학 계를 개발하는 쪽에 목표를 두고 있다. 그러나, 영상 출력 소자와 광학계로 구성된 한 개 의 단위 모듈을 가지고 구현할 수 있는 시야각이 한계(약 45~60 )에 도달했고, 현재 HMD 용으로 상용화된 영상 출력 소자는 WUXGA(1920 1200p)급이 최대이다. 또 다른 접근 방법으로는 (그림 4)와 같이 2000 년대 초반부터 멀티채널 기반 초고해상도 디스플 레이 구현 방법인 Tiled Display 기법을 적용한 HMD 가 개발되었으나, 경제성 및 사용성 등의 사유로 사용자가 한정적인 장치가 되었다. 4 www.nipa.kr
포커스 주) 타일링 기법으로 영상 출력 모듈을 확장(최대 시야각 약180, 해상도 2600 1200)하는 구조[7] (그림 4) SensicspiSight HMD 2010 년 Apple iphone4 에 적용된 고해상도 패널 기술의 상용화로 일반 소비자가 소 형의 고해상도 영상 패널을 쉽게 구할 수 있는 상황이 되었다. 과거 1980 년대에 해결하 지 못했던 영상 패널의 낮은 해상도 문제가 해결되자, (그림 5)와 같이 가상현실 연구 분 야의 대표 국제행사인 IEEE Virtual Reality 2011 학회에서는 미국 USC 의 ICT 연구소[8] 에서 2 대의 스마트폰을 비롯해서 LEEP 과 유사한 광학계를 기반으로 하는 광시야각 HMD 의 원형을 발표[9]하고, 관련 자료를 홈페이지에 공개하였다. 2012 년 USC ICT 와 3D 가상현실 기술 포럼 사이트 MTBS3D[10]에서 활동하던 Palmer Luckey 는 LEEP 시스템을 발전시킨 Oculus Rift[11] Developer Kit 1 버전을 개발하였다. 300 달러의 가격에 약 110 의 시야각으로 몰입형 가상환경 체험을 전달할 수 있는 HMD 를 제작하여 개발자 및 관련 사용자 그룹들로부터 많은 관심을 받고 있다. 그 러나, Oculus Rift DK1 도 가상현실 연구 분야에서 지속적으로 관심을 가지고 있는 HMD 와 관련된 휴먼팩터 이슈를 완전히 해결하지는 못한 상태였다. 그래서, OculusVR 사는 제 품에 동봉된 설명문에 장시간 사용에 대한 주의 사항과 사용시 부작용에 대한 사전 경고 메시지를 분명하게 표시하고 있다. 이런 현상에 대한 원인을 분석해보면, 현재 대부분의 HMD 는 인간의 시감각 기관이 가지는 다양한 특성 중에 극히 일부분의 파라미터(입체를 주) (가) USC ICT 의 스마트폰 기반 HMD; (나),(다) 3D 프린팅과 하나의 패널로 HMD 를 제작할 수 있도록 주요 부품 정보와 설계 데이터를 공개함[8] (그림 5) USC ICT 의 광시야각 HMD 연구 사례 정보통신산업진흥원 5
주간기술동향 2014. 6. 18. 느끼게 하기 위한 양안 시차 정보를 활용, 몰입감을 증대시키기 위한 극한의 확대 광학계 적용 등)만을 고려한 인터페이스 장치이기 때문이다. 그러므로, 입력부-처리부-출력부에 이르는 지연 특성과 불완전한 휴먼팩터의 구현 등이 종합적으로 작용하여 사용자는 어지 러움, 두통 및 매스꺼움 등의 부작용을 느끼게 된다. 이러한 고전적인 문제점을 개선하기 위해 가상현실 연구 분야에서는 헤드 트래킹의 지연 시간을 낮추기 위한 다양한 종류의 센서 및 알고리즘이 개발되었다. 그리고, 영상 디스플레이 패널 분야에서는 화면의 크기 증가 경향에 대응하고, 스포츠 경기와 같이 빠르게 변화하는 콘텐츠를 선명하게 표현하기 위해서 잔상 효과를 제거하는 low-persistence 기술이 개발되었다. OculusVR 에서도 (그 림 6)과 같이 잔상 제거 기술이 적용된 fullhd 급 OLED 패널과 지연효과가 낮은 비전 기 반 위치 추적 기술을 적용한 Oculus Rift DK2[12]를 게임 개발자 컨퍼런스(GDC 2014) 에서 공개했다. (그림 6) Oculus Rift Developer Kit 1, 2 외형 및 DK2 에 내장된 비전 기반 헤드 트래킹용 적외선 발광 모듈[12] 앞의 성공 사례가 공개되면서 유사한 경쟁 기술들이 시장에 소개되고 있다. 몰입감을 높이기 위해 비구면 루페 렌즈(aspherical loupe lens)로 시야각을 더 넓히거나, RiftUP! 프 로젝트[13]와 같이 고해상도 영상 패널로 개조해서 화질을 개선하는 개조 방법이 공개되 었다. 일본에서는 꾸준하게 HMD 를 개발해오던 SONY 가 2014 년 GDC 행사에서 (그림 7)과 같이 Morpheus 프로젝트[14]의 진행 현황을 공개하였다. Oculus Rift DK2 보다는 약간 좁은 시야각(90 )이지만, 착용성과 Play Station4 의 카메라와 연동된 헤드 트래킹 기능을 향상시킨 점을 강조하고 있다. 미국에서는 Sensics[7]사가 dsight 모델을 개발했 다. 경쟁 기술들과 다르게 좌우 양안에 독립적으로 fullhd(1920 1080p) 패널을 적용하 여 무게 570g 의 착용부로 131 의 시야각을 제공한다. 유럽에서는 Gameface[15]사가 Mark IV 모델을 공개하고, 안드로이드 OS 기반의 독립 운영 환경에서 무선 기능이 지원 되는 HMD 의 편리함을 강조하고 있다. 캐나다의 Sulon Technologies[16]사는 Linux 6 www.nipa.kr
포커스 주) (일본) SONY Morpheus[14], (미국) SensicsdSight[7],(영국)Gameface Labs. Mark IV[15], (캐나다) Sulon Technologies Inc. Cortex[16] OS 기반의 개방형 개발 플랫폼에서 전자기장 방식의 트래커 및 3D 스캐너를 내장하고, 시야각 140 를 지원하는 광학계로 구성된 몰입형 HMD Cortex 를 2014 년 4 분기에 출시 할 계획이다. Cortex 는 5.5 ~7 크기를 가진 Android OS 기반의 디바이스를 착탈식 디 스플레이 모듈로 활용하므로, 스마트 기기의 패널 해상도(PPI)가 향상되는 경우에도 업그 레이드를 용이하게 하고 있다. 증강현실 기술에서는 외부 환경을 동시에 관찰하면서 가상의 콘텐츠를 부가시키려는 목적으로 카메라 모듈을 추가하여 투시(see-through) 기능을 구현한다. Oculus Rift 가 발 표되면서 William Steptoe 의 AR-Rift[17]와 같이 USB 카메라를 부착하는 기술들이 공 개되었다. 일본의 Ovrvision[18]은 low latency(90fps)를 지원하는 소형의 SONY CCD 카메라 부품을 별도의 탈부착이 가능한 3D 프린팅 모듈로 제작하여 지연효과 문제를 개 선하였다. 2014 년 3 월 TPG(True Player Gear)사에서는 Totem[19]으로 (그림 8)과 같 이 새로운 HMD 의 개발 진행 내용을 공개하였다. Oculus Rift DK2 와 유사한 사양에 fullhd 급 stereo video see-through 기능을 내장하고, 광시야각 광학계에 대응하는 이미지 보 정 처리 기능을 H/W 로 구현해서 영상 처리 속도를 향상시켰으며(전체적인 영상 지연 효 과의 감소가 기대됨), 다양한 사용자의 시각적 휴먼팩터에 대응할 수 있도록 시력 조절부 를 내장한 점 등을 특징으로 한다. (그림 7) 패널 기반 HMD 사례 (가) William Steptoe AR-Rift[17] (나) Ovrvision[18] (다)TPG Totem[19] (그림 8) 비디오 투시형 HMD 사례 정보통신산업진흥원 7
주간기술동향 2014. 6. 18. 이와 같이 Oculus Rift 와 유사한 다수의 경쟁 기술이 출현하는 현상의 원인으로는 LEEP 광학계와 관련된 핵심 기술의 공개, 영상 패널 및 독립 패키징된 센서 부품 기술의 발전 및 단가 하락, 그리고 관련 3D 콘텐츠를 쉽게 개발할 수 있는 SDK 와 멀티 플랫폼을 지 원하면서 저렴해진 저작툴(Unity 엔진[19], Unreal 엔진[20])의 보급으로 개발자 및 사 용자 커뮤니티가 활성화된 점에 있다고 분석된다. 현재는 낮은 해상도(약 450PPI 수준, fullhd 급 4.95" 패널)이지만 4K 급 스마트폰 영상 패널이 양산되는 시점과 맞물려서 시 야각을 최대로 넓힌 몰입형 HMD 기술이 당분간 소비자 시장을 주도할 것으로 보인다. III. 투시 착용형 디스플레이 증강현실 기술의 보급에 기여한 대표적인 사례로, 1999 년 미국 워싱톤 대학 HIT lab. [21]에서는 컴퓨터 영상 처리 기반 객체 추적 기능을 쉽게 구현할 수 있도록 AR ToolKit 으로 공개한 기술을 뽑을 수 있다. 그 후 다양한 증강현실 애플리케이션이 소개되었으며, 2000 년대 후반에는 카메라를 내장한 고성능 스마트폰과 앱 개발용 SDK 를 지원하는 스 마트폰 운영체제(iOS, Android)가 등장하면서 모바일 환경 기반 증강현실 기술의 대중화 에 대한 기대감이 높아졌다. 그리고, 2012 년 Google Glass 프로젝트가 공개되자 많은 사 람들이 미래의 활용 시나리오를 다루는 애니메이션 및 영화에서와 같은 사용자 경험을 기 대했으나, 아직까지 이상적인 착용형 디스플레이는 현실화되지 못하고 있다. 투시형 HMD 기술은 외부 환경의 정보를 획득하는 관점에서 비디오-투시형(video based see-through type)과 광학-투시형(optical see-through type)으로 분류된다. 비디오-투시형은 실제 환 경에 준하는 고품질 영상의 획득과 표현의 한계 및 필연적으로 요구되는 대용량 데이터 처리 시간의 지연 문제 때문에 부작용을 유발하는 단점이 있다. 자연스럽게 외부 환경을 관찰할 수 있는 광학-투시형의 경우는 추가적인 외부 환경 정보 취득 수단(추적 센서)을 요구하는 단점이 있다. III 장에서는 최근 전시회 및 인터넷을 통해서 개발 내용이 공개된 광학-투시형 HMD 를 중심으로 기술을 정리한다. 광학-투시형 HMD 의 주요 구성 요소인 광학계(optical system) 부분은 비행기와 자동 차 네비게이션에 활용되는 HUD(Head Up Display) 기술과 관련성이 높다. 실사 영상에 의미를 가지는 가상의 정보를 합성하기 위해 1900 년에 망원경 전문가 Howard Grubb 는 Reflector Sight[22]를 발명했다. 해당 기술의 핵심 요소는 인공적인 정보(십자가 표시)를 8 www.nipa.kr
포커스 (가) SMD ST1080[52] (나) Laster Technology SeeThru[53] (다)Google Glass[54] (그림 9) 광학투시형 EGD 사례 평행광(collimated light)으로 만들어서 원경의 이미지와 함께 사용자의 눈으로 전달하는 방법이다. 그 후 1918 년 전투기 조종석에 HUD 가 등장했으며, 조종사의 헬멧에 부착된 HMD 는 1970 년대부터 적용되기 시작했다. 스마트 기기를 활용한 모바일 컴퓨팅 기술이 대중화되면서, 광학 투시형 HMD 는 기존 의 헬멧을 연상시키는 표현 이외에 가벼운 안경을 연상시키는 대체어(Eye Glasses-type Display, Near Eye Display, Face Mounted Display, smart glasses 등)로 표현되고 있다. 단순한 구조의 반사 광학계가 적용된 대표 사례로, (그림 9 (가)) SMD ST1080[52]은 0.74" 1080p 급의 마이크로 디스플레이 패널(LCoS)의 영상을 시야각 45 로 제시한다. 약 800 달러의 소비자 가격에 현재 기술 수준에서 전통적인 FMD 형태의 장치가 가질 수 있 는 최고 수준의 해상도를 구현하였다. (그림 9 (나)) 프랑스의 Laster Technology[53]사 는 2014 년 3 월에 구글 글래스와 유사한 사용자 환경을 대상으로 SVGA(800 600) 해 상도와 시야각 25 를 지원하는 55g 무게의 단안식 안경 Laster SeeThru 시작품을 개발 했다. (그림 9 (다))의 Google Glass[54]도 마이크로 프로젝션 모듈과 소형 반사 광학계를 기반으로 EGD 를 구현하였으나 광학 구조는 가상 영상의 위치를 사용자 시선의 중심에 있지 않도록 설계되었기 때문에, 일반적인 광학-투시형 증강현실 애플리케이션 시나리오 보다는 사용자 시야의 한 구석에 부가적인 정보를 제시하는 알림 기능(notification) 중심 의 응용 및 비디오-기반 증강현실 서비스의 용도로 개발되고 있다. 최근에는 착용형 디스플레 이의 경량화를 위해서 광학계 내부에 다중 반사형 광경로 (waveguide 또는 lightguide) 를 구성해서 광학 모듈의 부 피를 줄이는 기술이 다수 소개 (그림 10) 다중반사형광경로 구조를 적용한 HUD 특허 사례[24] 정보통신산업진흥원 9
주간기술동향 2014. 6. 18. 되고 있다. 해당 기술의 기본 아이디 어는 이미 1985 년에 (그림 10)과 같 이 Juris Upatnieks 의 특허[24]에서 HUD 구현 기술로 제안되었다. 유사 한 기술이 적용된 사례로, (그림 11 (가))의 EPSON Moverio BT-200 (가) EPSON Moverio BT-200[55] (나)Optivent ORA[56] [55]은 qhd(960 540) 해상도의 가 (그림 11) 다중반사형광경로 구조를 적용한 EGD 사례 상 영상을 시야각 약 23 로 제시하는 착용부의 무게가 88g 인 양안식(binocular type) 선글래스 형태의 EGD 이다. 안경태 부분 에 내장된 마이크로 프로젝션 모듈에서 생성된 영상이 광가이드 모듈 내부에서 반복적으 로 반사되면서 눈 쪽으로 이동된 후, 반투명 반사거울 층(half-mirror layer)을 통해서 동 공(pupil)으로 들어가는 구조이다. (그림 11 (나))의 Optivent ORA[56]는 VGA(640 480) 해상도의 가상 영상을 시야각 24 로 제시하는 착용부의 무게가 70g 인 단안식(monocular) 형태의 EGD 이다. 눈 앞에 위치한 반투명 반사부를 다수의 슬릿형 반사 구조를 적용시킴으로 써 앞의 Moverio 의 사례보다 반사 모듈의 두께를 얇게 구현한 특징을 가진다. (그림 12) 의 VUZIX M2000AR[26]은 HD(1280 720p; Sydiant 사 부품)급 해상도의 가상 영상을 시야각 30 로 제시하는 단안식 EGD 이다. 광학부의 슬림화를 위해 NOKIA 의 EPE(Exit Pupil Expanding) 기술 특허[27]-[29]를 1.4mm 정도로 얇은 두께로 구현했다. 중공업 산업 현장의 환경 조건을 고려해서 견고한 외형과 야외에서 광량 투과도를 제어할 수 있 는 셔터 모듈을 내장하고, 5 만 화소의 고속(83fps) 카메라와 9 자유도 모션 센서를 내장 한 특징을 가진다. (가) NOKIA 광학 모듈 특허[28] (나) (가)의 기술이 적용된 Vuzix M2000AR[26] (다) 양안식 Vuzix EGD 개념도[26] (그림 12) 다중 반사형 광경로 구조를 적용한 EGD 사례 10 www.nipa.kr
포커스 (가) MetaPro prototype v3.8, (나) MetaPro 구성도[30] (다) LUMUS 광학모듈 OE-32[32] (그림 13) 다중 반사형 광경로 구조를 적용한 EGD 사례 현재 반사형 광경로 가이드 광학계로 구현된 시작품 중 가장 많은 기능을 내장하면서 안경형태의 외형을 제시하는 제품은 2014 년 9 월 출시가 예정된 Meta[30]사의 MetaPro 모델로, HD(1280 720p)급 해상도의 가상 영상을 시야각 40 로 제시하는 양안식 EGD 이다. (그림 13)과 같이 편광-반사형 광경로 기술[31]이 적용된 LUMUS 사의 OE-32[32] 로 영상 및 광학 모듈을 제작한 것으로 추정된다. 그리고, 모바일 환경에서의 인터랙션에 최적화 되도록 3D 공간의 깊이 정보를 추출하는 TOF(Time Of Flight) 센서, 2 대의 RGB 컬러 카메라, 9 자유도 모션 센서를 내장하고, 무선 통신을 지원하는 휴대형 포켓 컴퓨터 (Intel i5 급)를 제공한다. Meta 사는 크라우드펀딩을 기반으로 EPSON 사의 Moverio BT- 100 과 Creative 사의 Interactive Gesture Camera Developer Kit 를 활용한 초기 모델 을 개발하면서 해당 장치를 활용한 응용 애플리케이션 개발의 활성화를 지원하기 위해서 전용 SDK(Unity3D 엔진 기반)를 제공하고, Killer-apps 아이디어 스토어를 운영하는 방 법으로 해당 기술의 성공 가능성을 높이고 있다. 최신 EGD 개발 기술의 경향을 정리하면, 안경 렌즈 형태의 공간에 영상 전달과 반사 기능을 내장하는 기법으로 경량화를 추구하고, 모바일 환경에서 정확한 3D 입체 영상 표 현을 위한 사용자(머리 및 손) 위치 추적 기능의 구현을 위해 9 자유도 모선 센서와 3D 깊이 정보 추출용 카메라를 내장하는 추세이다. 그리고, 현재 광학-투시형 EGD 의 기술이 완전 몰입형 HMD 처럼 매우 넓은 시야각을 지원하지 못하기 때문에, 차선책으로 휴대성 및 착용성을 강화시켜서 부가적인 정보 표시(notification) 장치로 EGD 를 활용하려는 사 례가 많이 제시되고 있다. 대표적인 예로, SONY 가 CES 2014 전시회에서 공개한 Smart Eyeglass[33]와 이탈리아의 GlassUP[34] 모델은 단색의 기호형(symbology) 메시지를 증강현실 기법으로 표현한다. Vuzix Smart Glasses M100[35], Recon Jet[36], Telepathy One[37], Oakely Airwave[38] 및 Olympus MEG4.0[39] 등은 Google Glass 와 유사한 정보통신산업진흥원 11
주간기술동향 2014. 6. 18. 소형 정보 표시창을 시야 범위 안에 위치시키고, 특정 응용 분야에서의 서비스를 강화시 킨 사례이다. IV. 결론 및 제언 착용형 디스플레이 장치는 사용자 개개인에게 최적화된 가상현실과 증강현실 콘텐츠의 경험을 전달할 수 있는 최선의 인터페이스 수단이다. 그러나, 대중 매체에서 묘사되는 착 용형 디스플레이의 활용 시나리오와 현실의 기술 수준은 많은 차이를 가지고 있다. 그래 서 이상적인 장치를 완성하기 위한 광학 및 전자 부품 중심의 하드웨어 기반 기술, 인간의 입체시 특성의 이해에 대한 휴먼팩터 기반 최적화 기술, 그리고 앞의 두 가지 요소들이 가 지는 특성을 반영하는 소프트웨어 기반 최적화 영상 생성 기술이 개발되고 있다. 최근에 는 넓은 가시화 범위를 제공하는 시야 가림형 HMD 가 소비자 시장에 공급되어 게임 분야 를 중심으로 몰입형 가상현실 시스템의 재부흥기를 맞이하고 있으며, 더욱 다양한 응용 시나리오와 편리한 형태의 디스플레이 장치로 기대되는 안경 형태의 착용형 디스플레이 (EGD) 분야에서는 여전히 여러 가지 기술적 접근 방법들이 실험적으로 구현되는 상황이 다. 그러므로, 높은 수준의 소비자 요구에 대응하기 위해서는 광학-투시형 EGD 에 대한 보다 집중적인 연구개발 투자가 필요다. 그리고, 앞의 이슈는 닭과 달걀의 문제(chicken and egg problem) 에 비유될 수 있으며, 효과적인 기술 적용 사례를 찾기 위해서는 다수 의 개발자 및 사용자가 쉽게 이용하고 참여할 수 있는 전용 콘텐츠 개발 툴 및 서비스 플 랫폼을 구축하는 것 또한 중요한 사항이다. <참 고 문 헌> [1] 양웅연, 류성원, 김기홍, 이길행. 사용자 중심형 3D 입체 디스플레이 기술, ETRI, 전자통신동향분석 제 27 권 제3호 2012 년 6 월, p.51-61. [2] 양웅연, 김기홍. 개인 착용형 디스플레이 기술, ETRI, 전자통신동향분석 제 28 권 제 5 호 2013 년 10 월, pp.133-144. [3] Parker, J. F., Jr. & West, V. R., Bioastronautics Data Book: Second Edition. NASA SP-3006, by James F. Parker and Vita R. West, 930 pages, published by NASA, Washington, D.C., 1973, p.641. [4] Ivane E. Sutherland, A head-mounted three dimensional display, Proc. of the AFIPS Fall Joint Computer Conference, Washington, D.C. Thompson Books, 1968, pp.757-764. 12 www.nipa.kr
포커스 [5] Ashok Sisodia; Michael Bayer; Paul Townley-Smith; Brian Nash; Jay Little; William Cassarly; Anurag Gupta. Advanced Helmet Mounted Display(AHMD), Proc. SPIE 6557, Head-and Helmet-Mounted Displays XII: Design and Applications, 65570N. 2007. [6] Eric Howlett., LEEPVR, http://www.leepvr.com/ [7] Sensics HMD, http://sensics.com [8] MxR at USC Institute for Creative Technologies, http://projects.ict.usc.edu/mxr/diy/ [9] David Krum, Smartphone based HMD, http://projects.ict.usc.edu/mxr/blog/smartphone-basedhmd-at-ieee-vr-2011/ [10] Mean To Be Seen(MTBS) 3D, http://www.mtbs3d.com/ [11] About Oculus Rift, http://en.wikipedia.org/wiki/oculus_rift [12] Oculus Rift Developer Kit 2, http://www.oculusvr.com/dk2/ [13] RiftUP!, http://riftup.rozsnyo.com/ [14] SONY Morpheus Project, http://www.sony.com/sca/company-news/press-releases/sony-computerentertainment-america-inc/2014/sony-computer-entertainment-announces-project-morp.shtml [15] Gameface Labs. Mark IV, http://gamefacelabs.com/ [16] Sulon Technologies Inc. Cortex, http://sulontechnologies.com/ [17] William Steptoe, AR-Rift, http://willsteptoe.com/post/66968953089/ar-rift-part-1 [18] Ovrvision, http://ovrvision.com/ [19] True Player Gear, Totem, http://www.trueplayergear.com/ [20] Unity, http://unity3d.com/ [20] Unreal Engine, https://www.unrealengine.com/ko [21] AR-Toolkit, http://www.hitl.washington.edu/artoolkit/ [22] Howard Grubb, Reflector Sight, http://en.wikipedia.org/wiki/reflector_sight [23] Ashok Sisodia, Michael Bayer, Paul Townley-Smith, Brian Nash, Jay Little, William Cassarly, and Anurag Gupta, Advanced Helmet Mounted Display(AHMD), Proc. SPIE 6557, Head- and Helmet-Mounted Displays XII: Design and Applications, 65570N [24] Juris Upatnieks, Compact head-up display, US Patent 4711512 A, http://www.google.com.mx/ patents/us4711512 [26] Vuzix M2000AR, http://www.vuzix.com/consumer/products_m2000ar/ [27] TapaniLevola, General diffractive optics method for expanding an exit pupil, http://www.google.com/patents/us7764413 [28] PasiSaarikko, TapaniLevola, Optical Apparatus and Method for Expanding an Exit Pupil, http://www.google.com/patents/us20130314789 [29] Nokia Research Center, https://research.nokia.com/news/12101 [30] MetaPro, https://www.spaceglasses.com/ 정보통신산업진흥원 13
주간기술동향 2014. 6. 18. [31] Yaakov Amitai, Substrate-guide optical device utilizing polarization beam splitters, http://www.google.com/patents/us8432614 [32] LUMUS OE-32, http://www.lumus-optical.com/index.php?option=com_content&task=view&id=9 &Itemid=15 [33] SONY Smart Glass official demo, http://www.youtube.com/watch?v=7nywbs7e9m0 [34] GlassUP, http://www.glassup.net/ [35] Vuzix Smart Glasses M100, http://www.vuzix.com/consumer/products_m100/ [36] Recon Jet, http://www.reconinstruments.com/ [37] Telepathy One, http://tele-pathy.org/ [38] Oakley Airwave, http://www.oakley.com/airwave [39] Olympus MEG 4.0, http://www.olympus.co.jp/jp/news/2012b/nr120705meg40j.jsp [52] SMD ST1080, http://www.siliconmicrodisplay.com/ [53] Laster SeeThru, http://laster.fr/products/seethru/ [54] Google Glass, http://www.google.com/glass/ [55] EPSON Moverio BT-200, http://www.epson.com/cgi-bin/store/jsp/landing/moverio-bt-200- smart-glasses.do [56] Optivent ORA, http://optinvent.com/ * 본 내용은 필자의 주관적인 의견이며 NIPA 의 공식적인 입장이 아님을 밝힙니다. 14 www.nipa.kr