(KRnet (Korea Internet Conference) 2016 발표 ) 2016.06.20.
스마트스페이스개념및필요성 초연결미디어 (IoM : Internet of Media) IoT 물리공간정보가사이버가상공간에투영된미디어서비스환경에서사용자에게지능형맞춤서비스를제공하기위한미디어-IoT 가연동된새로운형태의미디어 기존미디어서비스는 IoT 환경에서수집된데이터를활용하여상황맞춤형서비스를제공에한계점을노출 IoT 기기를활용하여상황정보를파악하고지능형서비스를제공하기위한새로운미디어서비스요구 물리적현실세계와가상객체간의연결을효과적으로나타내고관리할수있는미디어처리기술요구 IoT 환경에서가상객체환경을제공하여손쉽고빠른상황맞춤형서비스환경제공다양하고새로운자율미디어서비스창출환경제공미디어및주변환경과연결된정보를이용하여사용자에게최적화된서비스경험제공 * 출처 : 스마트미디어 R&D 추진계획 (2015-2020), 미래창조과학부, 2015 3
스마트스페이스개념및필요성 Physical Space Smart Space HMD : Head Mounted Display HUD : Head Up Display 4
스마트스페이스개념및필요성 가상현실 / 혼합현실혼합현실 (Mixed Reality) 스크린에가상공간과현실공간이중첩되어정보제공하는서비스 증강현실 (Augmented Reality) : 현실공간을기반으로가상정보를결합 증강가상 (Augmented Virtuality) : 가상공간을기반으로현실정보를결합 가상정보의범위를오감으로확대하는추세임 ( 예 : Touched Echo/ 독일드라스덴 ) 가상현실 (Virtual Reality) : CG로생성된가상의상황이나환경을사람의감각기관을통해체감하고상호작용하는서비스 < 혼합현실범위 > < 혼합현실서비스 > <Touched Echo/ 독일드라스덴 > 5
스마트스페이스개념및필요성 초연결미디어 < 기존미디어서비스 > < 스마트스페이스 > 현실공간을스크린으로가상과현실의상호작용 6
스마트스페이스요소기술 공간상황을이해하고현실계 - 가상계가연결된지능형혼합현실공간실현을위한핵심기술개발및공간상의객체간상호작용이가능한새로운몰입형스크린미디어서비스구현 1 의미기반공간상황이해기술 2 3 스마트객체생성및제어기술 인체기반사용자인터페이스기술 지능형혼합현실공간실현 4 OPS 서비스네트워킹기술 OPS1 OPS2 OPS3 가정 사무실 회의실 OPS (Orchestrated Personal Space) SS (Smart Space) 7
SS 요소기술 - 공간상황이해기술 사물의위치, 사용자행위학습등에의한의미기반공간상황이해를통한의미적공간상황추론하여사용자의시공간에적합한서비스제공을위한기술 단순수치기반상황센싱 / 응용 의미기반공간구성및복합상황이해기술 Tablet ON the table 다양한센서 식별자 의미기반상황이해 센서 좌표 시공간적합서비스제공 지속적공간관찰 사용자인터랙션학습 고정서비스 상호작용경험기반자율성장및적응기술 - 센서에서제공하는단순수치데이터만활용 ( 좌표값, 식별자 ) - 여러센서들이제공하는값을해석하는것은개개응용의몫 - 서비스를받는사용자와무관하게미리지정된상황에만반응 의미적공간상황추론, 사용자학습, 자율성장 공간상황에맞는시의적절한서비스제공 지속적사용자상호작용을통한학습및서비스진화 8
SS 요소기술 - 공간상황이해기술 Bayesian 필터기반다중센서사용자위치추정과사용자인식을연동을통한사용자추적기술개발 3D 공간객체모델을기반으로동적으로객체간의미적공간관계추론기술개발 4W기반상황관리모듈및기계학습기반상황추론기술개발 상황기반센서연동관리 공간상황구성및이해 의미기반스마트스페이스 다중센서활용사용자위치추적 온톨로지 다중센서관리 카메라 - 프로젝터장치제어 공간객체정보검색및추론 사용자정의복합상황기술언어 4W 기반공간상황인지서비스 * 4W : Where, When, Who, What 9
SS 요소기술 스마트객체생성및제어기술 실생활환경에서의몰입형미디어서비스를제공하기위한스마트객체생성및제어기술 GPS/ 이미지기반의증강현실 공간정보기반가상겍체생성 가상 / 실객체연동기술 엔터테인먼트중심의응용 ` Mixed Reality - 사전정의된제한된환경 - 근거리대상 - 가시화중심 이종센서의융합을통한공간인식가상객체의생성및제어 실생활공간에서의실시간공간인지및혼합현실 다양한현실객체와의인터랙션및사용자간협업 10
SS 요소기술 스마트객체생성및제어기술 영상기반위치 / 자세추적 + IMU 를이용한자세추적을통한 HMD 추적오차개선 조도등주변환경변화에의해발생하는영상기반 HMD 위치추적오차로인한가상객체의흔들림현상개선 GPU 기반 3D 메쉬생성알고리즘구현을통한메쉬생성속도향상 범용프로세서대비약 7 배이상객체생성속도개선 가상스크린을통한혼합현실기반원격공간모니터링제공 RGB 센서 : Depth 센서 : 다중센서기반실시간 3D 객체생성 원격전송 다중공간지원가상 / 실객체연동제어 RGB 센서 : IMU 센서 : HMD 위치추적알고리즘 가상객체포지셔닝 원격공간객체제어 On-body UI Depth 센서 : 상황기반객체제어 ( 사용자 / 공간 ) IMU : Inertial Measurement Unit 11
SS 요소기술 스마트객체생성및제어기술 IMU 를이용한 HMD 자세추적오차개선으로가상객체렌더링품질향상 IMU 를이용한정밀한자세추적알고리즘설계및성능검증 정지상태에서 0.5 초간 total variation < 0.06 ( 기존값 : < 2.7 ) 타겟공간 3D 맵생성 3D map 맵핑및추적 위치및자세추정 공간내관심객체 영상정보획득 구면보간 (spherical interpolation) 객체포지셔닝 IMU 정보획득 IMU 필터링알고리즘 자세추정 IMU 기반자세추정 회전군 (rotation group) 의비선형기하학적구조를반영한확률모델 - Left-translated diffusion distribution - Wrapped normal distribution - Bingham distribution 매개변수재귀적베이지안필터 (Parametric recursive Bayesian filter) - 자세, 각속도의평균, 공분산추적 12
SS 요소기술 - 인체기반인터페이스기술 스마트스페이스응용서비스제공을위해인체를활용하여직관적으로실객체제어를위한학습형사용자인터페이스기술 다양한사용자인터페이스기술 인체를활용한 Eye-free 지원사용자인터페이스기술 인체를활용한스마트스페이스객체제어 다양한모달리티적용 - 기기마다다른편의성증대포인트 - 대부분 TV 가대상 - 과도한제스처로인한불편 스마트스페이스의객체특성을고려한직관적이면서편리한사용자인터페이스 신체감각을활용한 Eye-free 기반직관적객체제어환경제공 학습형 UI 를통한개인특성반영및인식정밀도향상 13
SS 요소기술 - 인체기반인터페이스기술 PiAM : HMD 기반 on-body 사용자입력인터페이스 학습형 on-body 사용자입력을위한머신러닝기반제스처인식향상기능제공 원격객체제어를위한 PiAM 사용자인터렉션테스트베드구축 공간 3D 모델구축및객체특징점추출을통한 UI 등록기능설계및구현 대전 (ETRI)- 독일 (TUDA) 글로벌스마트스페이스테스트베드를통한스마트객체 ( 스마트커텐, 전구 ) 원격제어시험 3x2 영역기반포인팅정확도확인 ( 성공률 92%) Smart Lamp 제스쳐 (1,2,3) 를활용한칼라제어 PiAM 입력 ( 터치, Swipe) 인터페이스확장 Smart Curtain - Swipe 를활용한 open/close 사용자입력패턴분석및학습을통한인식정확도개선 글로벌스마트스페이스를활용한원격객체제어적용 PiAM : Palm interaction module 14
SS 요소기술 - OPS 서비스네트워킹기술 시공간제약없이자유로운개인작업환경구성을위한 SSDPN(Smart Space Network) 기술 동적개인가상네트워크기술 (SSDPN) 단말의존적서비스네트워킹 사용자공간구성 별도연결설정 OPS Server 공간제한적서비스네트워킹 LAN LAN OPS 프레임워크기술 로컬스캐너 원격스캐너 로컬프린터 원격프린터 로컬서버 원격서버 동적오버레이네트워킹사용자중심유무형 IT 자원통합관리 시공간제약없이분리된네트워크의자원사용 자유로운 IT 자원활용을통한개인 / 협업업무생산성향상 OPS Orchestrated Personal Space, SSDPN : Smart Space Dynamic Personal Network 15
SS 요소기술 - OPS 서비스네트워킹기술 상황기반접근제어 (Access-Control) 를적용한 Agent/Manager 개발 사용자등급 (Who : 2 등급 )/ OPS 공간 (Where : OPS 공간 2 개 )/ 허용시간 (When)/ 디바이스타입 (What : 개인용 / 공용 ) 다중레벨 OPS 접근제어 (3 Access level) Agent / 접근제어정책관리 Manager 사용자 / 객체위치기반접근제어기능개발 환경변화 ( 장소및시간변경 ) 에따른동적인서비스접근제어기능제공 Web 기반 OPS 다중객체제어기술개발 다중객체동시제어서비스를통한성능시험 (100 개동시제어확인 ) < 상황인식기반접근제어 : 로그인 > < 사용자위치기반동적접근제어 > OPS : Orchestrated Personal Space, TLS: Transport Layer Security 16
스마트스페이스플랫폼 공간상황이해수준 자율성장 복합상황 동적상황 상황획득플랫폼 실감미디어지원 1 단계 공간상황획득기술객체생성 / 제어핵심기술 Palm 기반 On-BodyUI OPS 동적네트워킹기술 다중공간지원 2 단계 동적상황공간구성및이해 HMD 기반로컬공간객체제어 HMD 기반 Palm UI 단일공간 OPS 동시제어 협업지원 3 단계 복합공간상황구성및이해다중공간상황기반객체제어학습형 On-Body UI 다중공간 OPS 접근제어 4 단계 자율성장및적응기술협업형스마트객체제어다중사용자 On-Body UI 협업형 OPS 실감형스마트워크 체험형텔레프레즌스 텔레프레즌스기반다중공간서비스 실감형텔레프레즌스 OPS (Orchestrated Personal Space) 단순기기제어 미디어제어단일공간 원격공간기기제어다중공간 사용자간협업 공간범위 / 서비스 17
스마트스페이스서비스플랫폼 혼합현실기반실감형텔레프레즌스서비스 혼합현실기반실 / 가상객체제어서비스 18
스마트스페이스기술활용분야 기술활용 증강 / 혼합현실 ( 센서데이터처리기술 ) Internet of Things ( 가상 / 실객체연동기술 / SSDPN 네트워킹기술 ) 스마트스페이스플랫폼 공간상황인지 ( 의미기반공간상황이해기술 / 상호작용경험기반자율성장및적응기술 ) 혼합현실미디어서비스 ( 증강현실엔진업체와연계 ) 스마트워크 / 라이프케어 ( 기업용영상회의시스템우선적용 ) 적용서비스 체험형텔레프레즌스 ( 체험형교육, 원격상담연계 ) SSDPN : Smart Space Dynamic Personal Network 19
초연결미디어기반스마트스페이스 다양한현실세계에존재하는사물과미디어연결을통한초연결미디어기반응용서비스제공을위한스마트스페이스플랫폼 실내외현실공간 원격공간객체제어 HUD 실세계기반객체가상화 실감형혼합현실공간 HMD 투명디스플레이 Human Digital World Physical World 스마트객체기능의가상객체화 실감형혼합현실서비스 20
향후추진계획 (2015.03 ~ ) 방통, 융기, 통인계획작성 공동연구기업참여를통한사업화기반마련 4 차년도스마트스페이스기술사업화가능한중소기업을공동연구기관으로참여시켜, 스마트스페이스기술의사업화기반마련증강 / 혼합현실 S/W, 스마트스페이스디바이스관련기업중심으로구성예정 결과물사업화 차년도이후사업화계획 ( 국내 ) 중기청사업화과제로수행중인 스마트프로젝션시스템 ' 을 2016 년경사업화추진예정 ( 국내 ) 광학전문기업인 그린광학을통해 HMD 를이용한스마트스페이스기술의국내시범사업추진예정 ( 글로벌 ) 한국 - 독일간구축한글로벌스마트스페이스테스트베드를활용하여, 독일현지기업을통해스마트스페이스용차세대 UI/UX 플랫폼사업화추진예정 21