스스로해보는 VR/AR 하태진박사 버넥트대표 VIRNECT.COM DESIGN YOUR IP
연사소개 대표이사, 15- 현재 버넥트 연구원및연구교수, 13 15 KAIST 문화기술연구소 (CTRI) Ph.D., 13 KAIST 문화기술대학원 UVR Lab. ( 우운택교수 ) 방문연구 Columbia University CGUI Lab. (Prof. Steven Feiner), 2013-2014 HIT Lab. NZ. (Prof. Mark Billinghurst), 2007, 2010 Copyright c 2016 VIRNECT. All rights reserved. 2
R&D History Robot/Game (2003-2005) Industrial AR (2005-2007) Tangible AR (2007-2012) Wearable AR (2013-2015) VR 체감게임 AR 메모 Performance modeling WeARHand ARSnapping 지능형휴머노이드로봇 AR 프로토타이핑 AR 디지로그북 & 저작 AR 원격협업 Garden Alive Air-Jet Button Effects 애니메이션저작 AR 미니어처 AR Wand AR 월드빌더 Copyright c 2016 VIRNECT. All rights reserved. 3
About Us 버넥트 VIRNECT: VIRtual +connect 버넥트는 VR/AR 기술전문벤처기업으로 2015 년가상현실체험시스템인 oreal 출시를시작으로본격적인기업활동을시작하였습니다. 버넥트는사람, 미디어, VR/AR 에대한이해를바탕으로창의적인인터랙션기술이담긴제품과서비스를창조하기위해노력합니다. Copyright c 2016 VIRNECT. All rights reserved. 4
Solution
AR Solution AR oreal Maker 오리얼메이커 authoring oreal Remote 오리얼원격협업 AR remote collaboration
AR Solution 1 oreal Maker 오리얼메이커 AR Authoring AR 저작도구인오리얼메이커는일반사용자도쉽게 AR 콘텐츠를제작할수있도록만든솔루션입니다. 오리얼메이커를통해사물과콘텐츠를연결하고많은사람들과공유할수있습니다. 코딩없이쉽고빠르게 AR 콘텐츠를만드세요 선생님의교육자료에서부터, 복잡한설비의메뉴얼까지만들수있습니다 제작한 AR 콘텐츠를많은사람들과공유하세요
AR Solution 1 oreal Maker 오리얼메이커 AR Authoring 오리얼메이커는일반사용자를대상으로코딩없이 AR 콘텐츠를제작할수있습니다. 직관적인 3차원저작사용자인터페이스를기반으로 2차원평면뿐만아니라 3차원공간을대상으로 AR 콘텐츠를쉽고빠르게제작할수있습니다. Goblin XNA DWARF DART VIRNECT 오리얼메이커 현실 - 가상정합기능 카메라보정 인식 / 추적객체 ( 환경 ) 생성 osgart APRIL SPOT Tinmit h 현실 - 가상좌표계연동 AR 저작기술 AR 콘텐츠속성조작기능 AR 저작정보관리기능 정적속성 : 오감속성동적속성 : 반응 / 행위지능속성 : 이벤트 / 스토리저작정보명세화 / 저장저작정보검색 / 연결 / 로딩 ARToolkit 프로그래밍 Programming AMIRE 스크립트 Script 전문가를위한저작도구 Metaio 그래픽사용자인터페이스 Graphical User Interface (GUI) iatar 감각형사용자인터페이스 Tangible User Interface (TUI) 일반사용자를위한저작도구 AR 저작기술의분류체계 (Taxonomy) 인터페이스의추상화 하태진, 이형묵, 박노영, 우운택, " 개인제작증감방송을위한증강현실저작기술의기능적분류및연구동향," 한국방송공학회, 16(3), pp. 8-19, 2011.
AR Solution 2 oreal Remote 오리얼원격협업 AR remote collaboration 오리얼원격협업솔루션은 AR 기술을활용하여원격커뮤니케이션환경에서의의사소통을도와줍니다. 기존의화상회의혹은통화만으로는힘들었던의사소통과정이증강현실기술을통해세밀하고정확해짐으로써업무의효율을높일수있습니다. 버넥트의안정된실시간저작기술은다양한분야에서활용될수있습니다 다양한디바이스를활용해이용할수있습니다 복잡한설명이나지시사항도문제없습니다
oreal Video 오리얼비디오 360 video making VR Solution Expand Your Experience oreal Live 오리얼라이브 360 video live streaming oreal Player 오리얼플레이어 Interactive VR Player oreal Glass 오리얼글래스 VR Glass
VR Solution 1 oreal Video 오리얼비디오 360 video making 고품질의 360도영상제작을위한다양한특수영상촬영장비를보유하고있으며, 일반적인 360도영상뿐만아니라다수위치 / 이동 / 동시 / 공중촬영된특별한 360도영상을제작합니다. 콘서트, 연극, 광고, 축제, 실험등다양한영상촬영및편집경험을통해고품질의 360도영상을제작합니다. 파노라마타입 회전기반다시점영상시청 피사체가배경일때 : 무대, 관중시청 스핀타입 위치기반다시점영상시청 피사체가중앙에있을때 : 가수의전후좌우모습관람
VR Solution 2 oreal Live 오리얼라이브 360 video live streaming 오리얼라이브솔루션은 360도영상생중계기술로위치이동기능을제공하여여러위치로이동하며생중계영상을관람할수있는기능을제공합니다. 다수위치에서촬영한 360도영상을이기종스마트폰및데스크탑으로, 최대 UHD(4K) 화질로실시간전송하거나다운로드할수있습니다.
VR Solution 3 oreal Player 오리얼플레이어 Interactive VR Player 오리얼플레이어는영상시청위치이동이가능한 360도영상플레이어입니다. 버넥트의기술로촬영된 360도영상을활용하여사용자의니즈에맞게설계된어플리케이션을제작해드립니다. 8K 화질이상영상촬영, 최대 4K 화질영상재생 360 도동영상스트리밍 (VOD) 다운로드없이고품질영상전송 360 도동영상큐레이션 사용자기호에맞는유튜브영상추천기능 모바일 360 도동영상라이브 RTMP (Real-Time Message Protocol) 지원 HLS (HTTP Live Streaming) 지원 빅데이터분석 사용자, 앱사용, 콘텐츠시청 / 구매정보 DB 모델링및구축
VR Solution 4 oreal Glass 오리얼글래스 VR Glass 버넥트의오리얼글래스는저가형 VR 기기로 핸드형헤드마운트디스플레이 ( 디자 인등록 30-2015-0047263) 입니다. 플라스틱으로제작되어내구성이좋으며, 홀더 를부착해스마트폰종류에구애받지않고사용할수있습니다. 제품은오리얼멍키, 오리얼세레니티가있는데이외에도원하는그래픽으로바꿀수있다는장점이있 어기업의홍보물이나행사판촉물로제작되고있습니다. 2016 년 오리얼글래스출시 3 월 4 월 와디즈크라우드펀딩초기목표대비 276% 달성 전국홈플러스매장에서오리얼글래스판매 제네바국제발명전시참가, 특별상및금상수상 5 월 티켓몬스터판매
VR/AR 소개
가상현실 (VR: Virtual Reality) 실제같은느낌 (Presence) 를제공하기위해컴퓨터로만들어진환경 오감 ( 시청촉미후각 ) 을재현하는몰입형멀티미디어 (Immersive multimedia) https://immersivelifeblog.files.wordpress.com/2015/04/vr_history.jpg Copyright c 2016 VIRNECT. All rights reserved. 16
Virtual Reality Continuum P. Milgram 현실 - 가상연속체 (Continuum), `94 혼합현실 (Mixed Reality: MR) 현실 (Reality) 증강현실 (Augmented Reality) 증강가상현실 (Augmented Virtuality) 가상현실 (VR) 17 P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays IEICE Transactions on Information and Systems, E77-D(12), pp. Copyright c 2016 VIRNECT. All rights reserved. 1321-1329, 1994. 17
증강현실의정의 R. Azuma, `97 현실과가상의결합 (Combine real and virtual) 실시간상호작용 (Interactive in real time) 3차원실세계에정합 (Registered in real 3D world) 실세계와가상현실의카메라움직임을동일하게하는것 실세계의카메라 ( 사용자의시점 ) 카메라위치 자세를동일하게함 ( 카메라트래킹 ) 초점거리나화각등의특성을동일하게함 ( 카메라보정 ) 가상현실의카메라 ( 가상세계의카메라시점 ) 기준좌표계 현실세계와가상세계의 기준좌표계를동일하게함 ( 정합 ) 기준좌표계 현실세계 가상세계 Copyright c 2016 VIRNECT. All rights reserved. 18
증강현실의역사 Made by 우운택교수, KAIST UVR Lab. Copyright c 2016 VIRNECT. All rights reserved. 19
Computing Environment Rekimoto, J. and Nagao, K. 1995. The world through the computer: computer augmented interaction with real world environments. In Proceedings of the 8th Annual ACM Symposium on User interface and Software Technology. UIST '95. ACM, New York, NY, 29-36. Copyright c 2016 VIRNECT. All rights reserved. 21 21
시스템환경에따른분류 데스크톱환경 (Desktop VR/AR) 컴퓨터모니터, 조이스틱등을이용 몰입형환경 (Immersive VR/AR) HMD(Head Mounted Display), 데이터장갑 (Data glove) 등을착용 3 인칭환경 (Third person VR/AR) 가상공간에비디오카메라로촬영된자신의모습을표시 원거리환경 (Tele-robotics, communication) 카메라가장착된로봇을조종 물리적으로떨어져있는장소를탐사하거나관찰 Copyright c 2016 VIRNECT. All rights reserved. 22
트래킹기술 Active 공간에트래킹기기를설치 초음파, 적외선, 자기장, GPS, WIFI Passive 내장센서만사용 : 카메라, Gyro, Compass Hybrid Tracking 센서퓨전 : Active-Passive Active tracking Passive tracking (Natural feature tracking) Copyright c 2016 VIRNECT. All rights reserved. 23
기반기술 광학기술 3 차원컴퓨터비전 컴퓨터그래픽스 인공지능 통신 / 제어 / 계측, 로보틱스 예술, 인지과학, HCI Copyright c 2016 VIRNECT. All rights reserved. 24
Head Mounted Display(HMD) Head Worn Display(HWD)
HMD 의대중화 인지도 Copyright c 2016 VIRNECT. All rights reserved. 26
HMD 분류 ( 모니터, 프로젝터, 모바일디스플레이 ) + 3D 안경 비투과형 HMD (VR HMD) 투과형 HMD (AR HMD) 광학형 HMD (Optical see-through HMD) 비디오형 HMD (Video see-through HMD) 단안 (Monocular)/ 양안 (binocular) HMD Distortion Lens 유무 Copyright c 2016 VIRNECT. All rights reserved. 27
Without or with lens Copyright c 2016 VIRNECT. All rights reserved. http://smus.com/vr-lens-distortion/ 28
Distortion Lens Pincushion Effect Barrel Distortion Copyright c 2016 VIRNECT. All rights reserved. http://smus.com/vr-lens-distortion/ 29
Distortion Correction Copyright c 2016 VIRNECT. All rights reserved. http://www.gamasutra.com/ 30
투과형 HMD (AR HMD) 광학형 HMD (Optical see-through HMD) 비디오형 HMD (Video see-through HMD) Copyright c 2016 VIRNECT. All rights reserved. 31
HMD 의대중화 고해상도디스플레이를장착한스마트폰을 VR 안경으로변신 구글카드보드 삼성 VR 기어 Copyright c 2016 VIRNECT. All rights reserved. 32
고성능 HMD Oculus Rift HTC/Valve Vive Sony Morpheus MS Hololens StarVR CastAR Copyright c 2016 VIRNECT. All rights reserved. 33
폭풍마경 3 http://mojing.baofeng.com Copyright c 2016 VIRNECT. All rights reserved. 34
Copyright c 2016 VIRNECT. All rights reserved. 35
Copyright c 2016 VIRNECT. All rights reserved. 36
oreal Glass
oreal Glass 01. 반영구적사용가능플라스틱재질 친환경플라스틱재질로오래오래사용가능합니다. 02. 스마트폰강력고정홀더부착 홀더가있어폰을떨어뜨리지않고안정적으로 VR 앱을체험할수있습니 다. 핸드형헤드마운트디스플레이, 디자인등록 03. 부드러운(30-2015-0047263) 여닫이고급자석사용 Copyright c 2016 VIRNECT. All rights reserved. 38
oreal Glass 04. 다양한크기스마트폰사용가능 4.7~5.7 인치사이의다양한사이즈의스마트폰을이용하여사용가능합 니다. 05. 편리한사용을위한다양한방법 셀카봉을연결하여보거나밴드를부착하여볼수있습니다. 핸드형헤드마운트디스플레이, 06. 디자인등록단순측면(30-2015-0047263) 터치앱내조작가능 Copyright c 2016 VIRNECT. All rights reserved. 39
VR 앱추천 (IOS) InCell VR ( 세포를살리는교육게임어플 ) Paris VR ( 파리의관광지를체험하는어플 ) VR Xmas ( 크리스마스분위기의동화속마을을체험하는어플 ) InMind VR ( 사람의신경을탐험하면서질병의원인이되는부위를치료하는어플 ) VR Planetarium ( 우주속을떠다니며행성을관찰하는어플 ) VR Funfair ( 놀이공원속의놀이기구를체험하는어플 ) VR Moon Walk 3D Cardboard ( 달표면을걸어다니며우주를체험하는어플 ) VR Holidays ( 세계의관광지를체험하는어플 ) Jaunt VR (Jaunt에서만든 VR 영상들을볼수있는어플 ) VR chosun ( 조선일보에서만든 VR 영상들을볼수있는어플 ) Cardboard ( 구글에서만든카드보드기본어플 ) Copyright c 2016 VIRNECT. All rights reserved. 40
VR 앱추천 (Android) A TIME IN SPACE VR CARDBOARD ( 우주정거장을떠나우주를여행하는어플 ) InCell VR ( 세포를살리는교육게임어플 ) Paris VR ( 파리의관광지를체험하는어플 ) VR Cardboard Catapult ( 왼쪽측면터치를하여돌로날아오는새를맞추는게임어플 ) 바다세상 VR ( 다이버가되어바다속생물들을관찰하는어플 ) VR Cosmic Roller Coaster ( 신비한우주를배경으로즐기는롤러코스터 ) VR Bike ( 질주하는오토바이를타며묘기를부리는어플 ) Cedar Point VR ( 실감나게롤러코스터를타는어플 ) ZenFone VR ( 우주를탐험하는어플 ) VR조선 ( 조선일보에서만든 VR 어플 ) 반딧불이램프-구글카드보드 ( 반딧불이램프의탐험을함께하는어플 ) InMind VR ( 사람의신경을탐험하면서질병의원인이되는부위를치료하는어플 ) Titans of Space( 우주를여행하는어플 ) Jurassic VR ( 정글에서움직이는공룡을찾는어플 ) VR safari( 가상현실사파리를체험해볼수있는어플 ) Copyright c 2016 VIRNECT. All rights reserved. 41
YOUTUBE VR 영상추천 YOUTUBE 앱에서원하는영상을재생한후안경모양아이콘을클릭한다음 안경에끼워보시면됩니다. Ghost in the shell VR 링크 Live 2D 360 VR Inspiration 링크 Copyright c 2016 VIRNECT. All rights reserved. 42
감사합니다 하태진박사버넥트대표 VIRNECT.COM