0
VR 이추구하는사용자경험의궁극적인목표 사용자가가상의경험을마치현실처럼느끼게하는것 Reality Virtual Reality 사용자가가상현실속으로 1
AR 이추구하는사용자경험의궁극적인목표 가상의컨텐츠가현실처럼느끼도록있도록하는것 Reality Augmented Reality 가상컨텐츠가현실속으로 2
SKT 가내다보는 5G 와 AR/VR VR과 AR은결국사용자경험의혁신을위한기술로 5G Use Case 의대표분야인실감미디어영역에서의핵심서비스로고객가치를제공가능 5G-based Services 고객의사용자경험증대 사용자경험의혁신 Virtual Reality 가상공간에서의 Entertainment 위주의혁신 Augmented Reality 일상생활에서의 Convenience 위주의혁신 3
사용자경험혁신으로서의 VR/AR 사례 Facebook Social VR VR은서로다른공간의사용자들이가상의공간에서만나서서로소통하고컨텐츠를공유하는새로운경험의소셜플랫폼으로활용될것이다 Mark Zuckerberg (@F8 2016.4) 기존 SNS + 가상공간확장 = Social VR 4
개발분야에서의혁신 Unity Editor VR (2016 년 12 월공개예정 ) 3D 게임디자인을 VR 을통한 3D 공간속에서 5
6
AR/VR 핵심기술 Interaction Tracking Rendering Display Recognition (AR) 7
AR/VR 핵심기술 Interaction Tracking Rendering Display Recognition (AR) 8
Display AR/VR 컨텐츠를보는장비 VR AR HMD 스타일 (Closed) Glass 스타일 (Open) 9
VR HMD 종류에따른 VR 분류 PC VR Oculus Rift HTC Vive VR Sony PSVR 삼성기어 VR Mobile VR 구글카드보드 구글 Daydream
참고 : Contents 종류에따른 VR 분류 360 도비디오 영상기반 VR VOD (ex. 넷플릭스 ) VR 그래픽기반 VR VR 게임 VR 체험
Contents 종류에따른 VR 분류 Mobile VR 기반서비스 360 도비디오 영상기반 VR VR VOD (ex. 넷플릭스 ) 그래픽기반 VR VR 게임 VR 체험
Contents 종류에따른 VR 분류 360 도비디오 영상기반 VR VR VOD (ex. 넷플릭스 ) PC VR 기반서비스 그래픽기반 VR VR 게임 VR 체험
이번 Oculus Connect 3 (2016.10) 에서는??
VR HMD 종류에따른 VR 분류 PC VR Oculus Rift HTC Vive VR Standalone VR Mobile VR Sony PSVR Oculus Santa Cruz 삼성기어VR 구글카드보드구글 Daydream
Oculus Santa Cruz ( 현재 prototype 개발중 )
HTC Vive 무선확장키트 전송모듈 - 11 월 11 일 Pre-order 진행 (2017 년 1 분기출시예정 ) - $220 달러 17
Standalone VR 기반서비스 Contents 종류에따른 VR 분류 360 도비디오 영상기반 VR VR VOD (ex. 넷플릭스 ) 그래픽기반 VR VR 게임 VR 체험
AR 용 Display 구글글래스 MS 홀로렌즈 19
AR/VR 핵심기술 Interaction Tracking Rendering Display Recognition (AR) 20
Rendering Engine
Rendering Engine 의 AR, VR 지원여부 AR VR SDK Vuforia o x ARToolkit o x Kudan o x Google Tango SDK o x MS Hololens o x Google VR SDK (Daydream, Cardboard) Oculus SDK o o o o 현재많은 AR 장비및 SDK 가 Unity 를지원하고있음
VR Rendering Support 23
VR Rendering Issue - Motion to Photon Latency 줄이기 24
VR Rendering Issue Head Pose 의 Mismatch 25
Solution - Timewarp 한프레임간격이 13.3ms (75Hz Refresh rate) 라고가정했을때 26
Asynchronous Timewarp 27
AR/VR Work Flow Interaction Tracking Rendering Display Recognition (AR) 28
Head Tracking 가상공간에서사용자머리위치를파악 Head Tracking 의두가지방식 Position Tracking Rotation Tracking 내가전후좌우로움직이면, 내가보는화면도전후좌우로움직이는방식 내가고개를돌리면, 내가보는화면도회전해서보이는방식 29
Head Rotation Tracking 구현원리 HMD 에설치된고해상도의 IMU 센서를통해구현 ( 가속도센서 + 자이로스코프센서 + 자기센서 )
Rotation Tracking 의예 Gear VR 기어 VR 은 Rotation Tracking 만을지원 기어 VR 을쓰고, 걸어다닌다면?? 기어 VR 을쓰고, 고개를돌리면?? 컨텐츠는그냥제자리 컨텐츠가시점에따라회전 31
Position Tracking 의두가지방식 Inside-out Tracking 카메라는 HMD에 IR 마커는고정된위치 ( 컴퓨터모니터, 벽 ) Outside-in Tracking
Positional Tracking 예시 Oculus Constellation Tracking (Outside-in Tracking 방식 ) Constellation Tracking - Oculus 사에서개발한 optical 기반 Outside-in Tracking 시스템 - HMD와 Oculus Touch 트래킹을위해사용 - HMD나 Oculus Touch에부착된 IR LED 마커를 Detect하는 Optical Camera 활용 Optical Camera IR LED Markers 33
Positional Tracking 예시 - HTC Vive 의 Lighthouse Tracking (Inside-out Tracking 방식 ) HTC Vive 는 3mX4m 공간에서 HMD/ 컨트롤러의위치를 Tracking 가능함. 이를위해 2 개의 Base Station 을활용한다. Base Station Base Station Laser 수신기 Lighthouse Tracking - Steam 사가개발한 a laser-based inside-out positional tracking system - 2 개의 Base Station 에서레이저를주기적으로발사하고, HMD 는이를수신해현재위치를계산하는방식 34
Positional Tracking 예시 - Project Tango 의 Motion Tracking - (Marker-less) Inside-out position tracking - Fisheye Camera + IMU 를이용해서공간상에서기기의위치파악 RGB Camera Fish Eye Camera (For Motion Tracking) Integrated Depth Sensing 35
Project Tango Motion Tracking Demo
Positional Tracking 예시 - MS Hololens 의 Position Tracking Hand Tracking & 3D Reconstruction Depth Camera Position Tracking Environment Understanding Cameras (4 개 ) Ambient Light Sensor 2MP Camera 37
Hololens System Architecture - HPU
AR/VR 핵심기술 Interaction Tracking Rendering Display Recognition (AR) 39
Recognition & Tracking (2D 이미지인식데모 )
Recognition & Tracking (2D 이미지인식 ) 이미지의 Feature 추출 Recognition & Tracking 41
T-AR for Tango : 3D space recognition AR AR Space, AR Zoo, AR Furniture - Google I/O 2015 에서기술전시 Google Project Tango 의 3D 공간인식 (Area Learning) 을활용한 ARML 저작및 AR Browser 개발 https://www.youtube.com/watch?v=o42wp5ioxvy 42
Recognition & Tracking ( 공간인식 ) 43
최초 Project Tango-Enabled 스마트폰 (Lenovo Phab2 Pro) Project Tango 는 Motion Tracking 과공간인식기능을제공하는플랫폼 2016 년 12 월출시예정 44
AR 의좋은시도 포켓몬 GO 45
AR/VR 핵심기술요소 Interaction Tracking Rendering Display Recognition (AR) 46
어느쪽이더몰입감이있을지?? 시각중심의 VR Interaction 중심의 VR 47
AR/VR 핵심기술 (4) Interaction - 가상공간에서의사용자입력처리 48
모션컨트롤러기반의 Smart Interaction 사례 - Google Tilt Brush https://www.youtube.com/watch?v=tckqndrdbgk
전용장비를통해현실적체험을강화한 VR 사례 - Virtuix Omni
증강현실에서의사용자입력처리 MS Hololens Gaze Pointer 사용자가바라보는지점에커서생성 Gesture 앱실행, 입력처리, 드래그앤드롭 Voice 음성을통해명령 51
52
모바일 VR 용 HMD 삼성기어 VR 구글카드보드 가격 $99 $10~20 Head Tracking 처리 HMD 자체고해상도전용센서활용스마트폰내부센서활용 입력방법터치패드자석스위치 안드로이드 VR 최적화 O 전용 UI Oculus Home 제공없음 X 53
현재까지모바일 VR 에서의가장나은선택 기어 VR VR 기반 SW Platform 개발 HW 제조및안드로이드최적화 Oculus CTO 존카멕 54
모바일 VR 개발 Issues (1) 낮은 Computing Power 모바일 VR 개발은 H/W 의제약으로최초설계및개발과정에서의 데스크탑 VR 에비해추가적인최적화작업이필요함 VS 고성능 PC 기반 HMD 스마트폰기반 HMD 55
Backpack VR 모바일 VR 의 Low Computing Power 에대한해결책 고성능 + 이동성을동시에만족하는 Backpack 형태의 PC 56
Backpack VR 의활용사례 VR Themepark VR Themepark 나 VR 체험처럼 성능과이동성이동시에요구되는유스케이스에 Backpack VR 이활용되고있음 The VOID Zero Latency 57
Server 기반 Rendering 서버기반렌더링은 CPU/GPU 의많은연산이필요한 Rendering 작업을서버에서처리후, Rendering 결과를 HMD 로보내는방식이다. 기존모바일 VR 렌더링 서버기반모바일 VR 렌더링방식 VR Game VR Game Tracking Sensor / Controller (Input) Tracking Sensor / Controller (Input) Head Tracking/Input Data 전송 Rendering WiFi Rendering Display Display Rendering 결과스트리밍 58
Server 기반 Rendering 의이슈 Network Latency 서버기반렌더링은 CPU/GPU 의많은연산이필요한 Rendering 을서버에서처리후, Rendering 결과를 HMD 로보내는방식이다. 기존모바일 VR 렌더링 서버기반모바일 VR 렌더링방식 VR Game VR Game Tracking Sensor / Controller Tracking Sensor / Controller Head Tracking/Input Data 전송 서버기반렌더링은 Network 로인한 Latency 를 Rendering 얼마나줄이느냐가관건임 WiFi Rendering Display Display Rendering 결과스트리밍 59
VRidge 실행데모 렌더링은 PC 에서처리후, 이를모바일 VR 로스트리밍하는방식
SKT 도비슷한시도를했었습니다 SKT 클라우드게임서비스 (2014.6) 61
SKT 클라우드게임서비스의결과는??? 서비스종료 여러가지이유가있겠지만, Network Latency 로인한 원할한게임진행의어려움도실패의중요한원인일듯 62
5G Network 에서 Cloud Game 서비스를제공한다면?? 5G Network 는 Network Latency 가거의없는초저지연전송을주요특징으로하기때문에, Cloud Game 과같은실시간서비스를충분히제공할수있음. 63
모바일 VR 개발 Issues (2) 발열 데스크탑 VR 은그래픽연산은 PC, Display 만 HMD 에서처리하기때문에 발열의문제가상대적으로덜함. 반면, 모바일 VR 은그래픽연산과 Display 작업을스마트폰에서처리하며 마땅한쿨링시스템구축하기가쉽지않음. 기어 VR 의경우, 발열이심해지면경고와함께동작이멈추게됨. 64
임시해결책 자체방열판과방열팬을제작해서데모에활용 65
모바일 VR 개발 Issues (3) Interaction Controller 의부재 VR 의경우완벽한몰입감위해서는사용자와 Virtual World 사이의 현실적인 Interaction 을제공하는입력도구가필요함 정품모션컨트롤러가지원 단순 Gamepad 66
Samsung rink - 모바일 VR 에서의 Smart Interaction 시도 삼성은 rink 라는기어 VR 용모션컨트롤러를 CES2016 에서시연했으나, 아직까지는 Prototype 수준으로보임 https://www.youtube.com/watch?v=dhrfmph7bf8 67
모바일 VR 개발 Issues (4) Position Tracking 68
기어 VR 도 Position Tracking 기능을개발중 Oculus CTO 존카멕은별도의 Tracking 전용카메라를활용한 기어 VR Position Tracking 기능을개발중이라고밝힘 (2016. 5. 4) 69
VR Tracker - 기어VR에서의 Position Tracking 시도 http://julesthuillier.com/vrtracker/ 70
VR Tracker Demo
구글의반격 - Daydream 72
Google Daydream (High-quality mobile VR 플랫폼 ) 발표 Google I/O 2016 73
Daydream 의 3 가지구성요소 74
Daydream 구성요소 Daydream-ready Smartphone 모바일 VR 에서의최고의성능을낼수있게, 스마트폰규격을 Daydream-ready 라는표준으로정함 75
Daydream 구성요소 VR Headset 과 Motion Controller DayDream 전용 Headset 과 Controller 의규격및레퍼런스디자인공개 3rd Party 업체들도전용 Headset 및컨트롤러제조가능 76
Daydream 구성요소 Daydream Controller 77
Daydream 구성요소 기존안드로이드 OS 의 VR 최적화 안드로이드 N 에서 VR 에최적화된기능을추가 78
Daydream 구성요소 기존안드로이드 Ecosystem 을 VR 로확장 79
Daydream 구성요소 기존 App 도 VR UI 를확대적용 80
정리 구글의 DayDream 은 모바일 VR 에서의최적의사용자경험제공및주도권확보를위해 기존안드로이드 HW, SW, 에코시스템전체를확장한플랫폼임 81
DayDream 은 Project Tango 와결합해서더발전할것이다 Clay Bavor (VP of VR) 82
스마트폰에 DayDream 과 Project Tango 과결합한다면? 전용컨트롤러와 Tracking 기능을가진고성능모바일 VR 가능 고성능 VR 을위한 Device 규격 Tracking 과공간인식이가능한 Device 규격 83
향후모바일 VR 은기어 VR 과 DayDream 의경쟁일될듯 삼성기어 VR 구글 DayDream View Head Tracking Sensor 안드로이드 VR 최적화 HMD 자체고해상도전용센서활용 O DayDream-ready Phone 에정밀센서포함 Android N 부터 VR 최적화기능추가 전용 UI Oculus Home 제공전용 UI 추가 (Android N) 컨트롤러 Gamepad Motion Controller Position Tracking Position Tracking 추가예정 Project Tango 의 Motion Tracking 활용 84
85
86 http://developers.sktelecom.com
T real - SK Telecom AR/VR Platform 증강현실및가상현실서비스제공을위한통합콘텐츠서비스플랫폼 AR/VR 저작 SDK 및 Contents Browser 공개, AR/VR 생태계활성화및개발자지원 T-Real Platform Authoring Tool ARML Packaging ARML Browser Visual Recognition Spatial Recognition Natural User Interaction Stereo Rendering Social Communication Contents Server Smart Device VR HMD AR Glasses Smart Helmet Windows Android ios Multi Device Multi Platform http://developers.sktelecom.com 87
T real ( 舊 T-AR) : ARML 저작및 AR Browser 1. Mobile에서이미지를촬영하고 2. 해당이미지위에 Video, Audio, 3D, HTML5를올려간편하게 AR을저작하여 3. ARML을지원하는 Browser를통해 Play 1. 대상이미지촬영 2. 컨텐츠배치 3. AR 서비스실행 1 회성 AR 서비스제공이아닌, Platform 에대한고민에서출발 88
T real : Interactive AR AR Rocket ARML 2.0 기반으로쉽게구성된 AR Contents를직접저작하고공유 T-AR Browser로이미지를비추면다양한 AR Contents를감상가능 Javascript를통해 User Interaction 지원 89
T real for HMD : Stereoscopic Rendering for Cardboard support SKT 김광석연결의신곡 캠페인모바일오케스트라 AR 2015년 10월진행된김광석의연결의신곡캠페인에맞추어모바일오케스트라를통해故김광석의미완성신곡을연주하여 Cardboard로감상 모바일오케스트라 : 30년전부터출시된전화기부터최신형스마트폰까지약 30여종의휴대폰벨소리로김광석의노래를연주하도록설치된모바일오케스트라를 T-AR 브라우저로비추면故김광석의노래하는모습을 AR을통해볼수있는이벤트행사에활용 모바일오케스트라 AR 모바일오케스트라 https://www.youtube.com/watch?v=ky_pysh7nye 90
T real for VR : ARML에서 VR 지원 Virtual T.um - 가상 SKT T.um 전시관체험 T-AR 플랫폼에 VR 모드지원기능추가하여 T real(ar/vr) 로 upgrade 양안렌더링 (Stereoscopic rendering) 을지원하여 Google Cardboard로체험 Virtual T.um https://www.youtube.com/watch?v=hjcstijpuw0 91
T real for Gear VR : Oculus Mobile SDK Support AR City Gear VR 에최적화한 T-AR Platform 도심 Image를비추면, 도시가생성되는모습을가상화 AR City T real for Gear VR https://www.youtube.com/watch?v=fb5m8tq3kly 92
T-AR for Tango : 3D space recognition AR AR Space, AR Zoo, AR Furniture - Google I/O 2015 에서기술전시 Google Project Tango 의 3D 공간인식 (Area Learning) 을활용한 ARML 저작및 AR Browser 개발 https://www.youtube.com/watch?v=o42wp5ioxvy 93
Remote AR/VR : Collaborative AR/VR Remote AR 원격협진 원격으로동시의다수의의료진이환자의 3D 데이터를 AR로보면서협진이가능한원격 Communication 서비스 Platform 개발 2015년 10월 SKT 5G 혁신센터오픈시공개 https://www.youtube.com/watch?v=2ts5gxn9tfy 94
Natural UX : Gesture Recognision 제스처기반의직관적 User Interface 로 AR/VR 콘텐츠의사용편의성강화 Projection UX, Depth Sensor 기반 Table Touch 기능구현 HMD 를위한 Air Gesture 인식기능개발중 95
T real for Seamless AR/VR 사용자에상황이나서비스시나리오에맞게 AR/VR 모드를 Seamless 하게전환 현실과가상을넘나드는시나리오를구현가능 https://www.youtube.com/watch?v=wl_vcs2 WYwo 96
EV(Electric Vehicle) AR Visualizer AR을활용하여전기자동차의기본내외장구조와충전원리등에관한내용을소개하고체험해볼수있는교육서비스 2016년 3월제주국제전기자동차엑스포에서공개 https://www.youtube.com/watch?v=wgpnly_pkue 97
98