2013. 10. 11. ( 재 ) 실감교류인체감응솔루션연구단 연구단장 - 1 - 유범재
손안의 PC 스마트폰 - 2 -
è 3D TV è 실감 TV - 3 -
Robot Mega Trend Hardware- Oriented Robotics Control + Mechanics Software-oriented Robotics (Service-oriented Robots, Network Robots) Intelligence + Human Interface - 4 -
네트워크로봇 URC Ubiquitous Robotic Companion Ministry of Information & Communication, Korea, 2004. Processing Sensing Action Robot - 5 -
네트워크로봇 URC Ubiquitous sensors embedded in environments Sensing AI Cloud Robot 2010 URC Infra (Network & Server) Information & Contents Sensing Processing Ubiquitous computing server Processing Action URC - 6 -
New Media Trend - 7 - by Prof. Alexandra Bal, Ryerson Univ.
IT 메가트렌드 2010 모바일컴퓨팅환경확산및가상현실, 증강현실의급속한보급 2020 NBIC 기술융합을통해, 사람과기계의경계가허물어질것을예측 ( 미국 NSF & 상무부 ) IT 메가트렌드 전산화정보화지식화지능화 & 실감화 2030 가상공간의확대가시간과공간의혁명을가져올것 ( 부의미래, 앨빈토플러 ) 2040 신체의일부를바이오닉으로대체하는트랜스휴먼시대예측 ( 미래혁명 ) 현실과가상의통합을위한인체감응솔루션 - 8 -
과학기술미래비전 1 교육과학기술부과학기술미래비전 2040 (2010. 4) 생활의편의성이획기적으로개선된편리한세상 (6 대개발과제中 ) - 가상현실기술개발로새로운가치공간실현, 로봇 - 기술확보로효율적인경제활동과생활편의성증진 범부처산업기술융합발전전략 (2012. 8) 2 ( 생활副국 ) 생각대로이루어지는생활 (2020) 일상의정보를기반으로언제, 어디서나개인니즈를충족시켜줄수있는편리하고즐거운생활환경제공 < 시공간의한계가사라지는사회 > < 인간과함께하는서비스로봇 > 세계미래학회 2100 예측 (2012. 9 2012. 10) 3 2015 년새로운급성장분야로 Tele-medicine, Tele-work 선정 - Tele-medicine: 의사와의화상회의 (Video conference), 원격수술 (electronic practice) - Tele-work: 2010 년국제적으로 10 억명활용, 2015 년경 13 억명활용예상 - 9 -
글로벌프런티어사업, 미래창조과학부 1. 세계최초기술개발에도전하자. 2. Ground Break-thru 기술에도전하자. - 10 -
인체감응확장공간 확장공간정의 인간과가상세계, 인간과원격현실세계가상호실감 ( 오감, 감성, 생체신호등 ) 교류를통해결합되어인간의생활범위가확장된공간 현실공간과가상공간이복합된혼합공간 원격실감교류공간 BREAK-THRU 기존 - 실감성부재 - 단순가상공간 세계최초 - 인체감응실감교류 - 4D+ 미러월드 인간과다양한인공물이공존하는현실공간 - 11 -
새로운도전 - 혁신성 기존개념 Virtual Reality, Augmented Reality, Mixed Reality 실시간소통 & 공존감 Coexistent Reality ( 다수사용자간소통및협업 ) Cyberspace (by VR, AR, MR) Coexistent Space Tele-conference 및 SNS 영상 (2D), 음성, Text 중심 3D 영상, 음성, 정보, 역감, 촉감, 동작, 감성 è 4D+ 복합감각 è 실시간 4D+ 감각소통과공유를통한공존, 협업및공감실현 - 12 -
Coexistent Reality ( 공존현실 ) 시공간의공유 ( 현실과가상의통합 ) 정보의소통과공유 감각의소통과공유 감성의소통과공유 공존 (Coexistence) 협업 (Collaboration) Social Interaction - 13 -
공존현실 (Coexistent Reality) 실시간소통 & 공존감 Coexistent Reality ( 다수사용자간소통및협업 ) 실감교류인체감응확장공간 용어정의 인체감응확장공간 (Coexistent Space) - 원격의사용자들이시공간을초월하여, 정보, 4D+ 감각, 감성, 의도, 경험등을실시간소통및공유하고, 상호인터랙션및협력 ( 협업 ) 함으로써, 공존감을느낄수있는, 현실 - 가상 - 원격공간이 ( 조화를이루어 ) 구분없이연결된일체화된공간 4D+ 감각 (4D+ Sensation) - 시각 (3D), 청각, 진동, 운동외에역감, 촉감및기타부가감각들이결합된복합감각 공존감 (Sense of Coexistence) - 원격의사용자들이, 물리적으로동일한공간에함께존재한다고느끼며, 정서적으로는친밀감과공감을느끼는것 3D 영상, 음성, 정보, 역감, 촉감, 동작, 감성 è 4D+ 복합감각 è 실시간 4D+ 감각소통과공유를통한공존, 협업및공감실현 공존현실 (Coexistent Reality) - 원격의사용자들이상호소통, 공유, 협업하면서공존감을느낄수있는, 현실 - 가상 - 원격세계가구분없이연결된일체화된현실 (Reality) - 14 -
핵심 0 - 현실과가상의통합 가상객체 3D 아바타 - 15 -
핵심 0 현실과 가상의 통합 프레임워크 개념도 저작 도구를 이용해서 생성한 미러월드 - 착용형/햅틱 휴먼 인터페이스, - 고해상도 광각 3D HMD - 생체신호 인터페이스 인터랙션 가능한 3D 대화면 디스플레이 (사용자-미러월드 간 실시간 인터랙션) 소프트웨어 프레임워크 3D 영상 기반 인터랙션 (실감 소통 원격회의, 사용자-아바타 인터랙션 등) 원격 아바타를 사용한 초음파 진단시스템 3D 제스처 기반 인터랙션 (제스처 UI 기반 PC 등) 3D 영상 기반 인터랙션 (실감소통 원격회의 등) - 16 - 원격존재 (아바타 로봇)
핵심 0 - Break-thru 로봇소프트웨어플랫폼 시청각정보중심 센서인터페이스및운동명령지원 자율주행및인식서비스지원 실시간 4D+ 실감교류 공유및협업서비스지원 인공지능학습 / 추론엔진 SNS 플랫폼 ( 웹 ) 지능형검색엔진지원 클라우드서비스지원 사진및문자정보중심 정보의교환및공유지원 실감교류확장공간플랫폼 4D+ 실감소통, 상호교류및협업 휴먼인터페이스, 미러월드및원격존재 미래형실감 ( 웹, 미디어 ) 서비스 - 17 -
핵심 1 - 양방향실감소통을위한 4D+ 감각모델링, 생성및표현기술 Breakthru 초박형안경식광각 Full-HD Video Seethru HMD - 양방향 4D+ 감각교류를위한착용형장치기반감각모델링및표현기술개발 - 착용형표현장치를사용한 4D+ 감각기반 Haptic Collaboration 기술개발 환자 ( 원격사용자 ) 원격존재아바타 Social Interaction 을위한멀티모달감각모델링및증강 4D+ 감각기반 Haptic Collaboration 기술 의사 ( 사용자 ) 실감교류원격존재플랫폼 손의역감생성착용형장치및제어기술 착용형능동촉감복원 - 표현기술 (semg 기반동작의도예측 ) - 18 - HMD 기반다수사용자간확장공간컨버전스및 ( 맨손 ) 인터랙션기술
Tele-presence Robot - 19 -
네트워크기반휴머노이드 마루, KIST Oct. 2010 Jan. 2005-20 -
가사도우미 마루 -z (2010. 1.) - 21 -
인지아키텍처 (ICARUS + @) - 22 -
Autonomy è 인지아키텍처 - 23 -
Visual Attention (by Scalable HMM) - 24 -
Visual Attention (by Scalable HMM) - 25 -
Tele-presence Robot - 26 -
핵심 2- 인체감응확장공간생성및사용자간 4D+ 인터랙션기술 3D SLAM 기반실시간동적환경모델링 4D+ 환경 실시간변형가능한 4D+ 객체와휴먼아바타모델링및표현 원격사용자들이공유한미러월드와정보를현실세계처럼직접사용, 조작하기위한 Co-UI 기술 3D 영상 4D+ 객체 4D+ 아바타 Network (Remote users) 현실공간사용자 초고속병렬처리형 3D 렌더링 공존감생성 Social Factor 분석및실현방법론연구 4D+ 휴먼아바타의실시간반응동작생성 사용자행동양식을모방한학습기반창의적행동생성 Breakthru - 시공간한계극복및정보와감각공유를위한참여형 4D+ 미러월드생성기술 - 현실세계와같이원격사용자간직접조작가능한 4D+ 협업기술개발 - 27 -
Motion( 표현 ) Planning of Avatars MoCAP RGB-D Camera Force/Torque Touch Human Data Capturing Data Segmentation (Reusability) Motion (Expression) Database 데이터의미 휴먼모델 ( 손 ) 기구학 동역학 자기충돌 - 전신운동 - 손가락운동 - 얼굴표정 - 음성 Avatar & Tele-presence Trajectory Planning Motion (Expression) Planning 장애물 접촉, 충돌 사용자명령 감성 변화대응 - Scale - Posture - Orientation - 28 -
핵심 3 - 바이오닉인터페이스기반실감및감성교류기술 비침습뇌자극을위한다중초점초음파발생기 비침습초음파뇌자극에의한인체촉감생성유효성및안전성검증 착용형비침습뇌 / 말초신경자극을통한촉감생성 촉감각행위뇌지도구축및자극프로토콜개발 뇌신경과학및인체미동기반사회적복합감성인식및인터랙션 가상객체 Breakthru - 비침습뇌자극기반인체의촉감과감성의생성및조절기술개발 - Mechanical Device 없는촉감생성 Haptic Display 기술개발 - 29 -
기대효과 응급조치할수있는원격노인케어만져보고두드려볼수있는실감원격진료재택근무시원격대리작업 Tele-presence Avatar 직접가지않고함께있지않아도실제같이체험할수있는사회실현 정보를함께만지고느끼는 4D+ 실감교류 SNS 실현 감성모델을활용한심리치료 / 장애완화를위한신개념의료서비스실현 감성기반양방향실감미디어를활용한새로운라이프스타일실현 - 30 -
- 31 -