PowerPoint 프레젠테이션

Size: px

Start display at page:

Download "PowerPoint 프레젠테이션"

다은 양
6 years ago
Views:

산업용증강현실어플리케이션개발사례 하태진 VIRNECT www.virnect.

2 목차 VIRNECT 소개 AR 기술개론 산업분야 AR 사례 솔루션및개발사례 홀로렌즈사용성평가

3 VIRNECT VIRTUAL CONNECTION TOWARD ANYWERE AUGMENTATION

VIRNECT 2017 2016 12 월 AR 기반가시화기술개발완료 (OO 연구원 ) 12 월변전소대상 AR 가시화시스템개발완료 (OO 전력 ) 12 월자연사박물관대상 AR 기술개발완료 (OO 진흥원 ) 11 월 AR IoT 정보시각화개발완료 (OO 기업 ) 11 월 SW 중심대학기술전시 ( 코엑스 ) 11 월육군 MS 국제학술대회전시 11 월 KT

4 VIRNECT 월 AR 기반가시화기술개발완료 (OO 연구원 ) 12 월변전소대상 AR 가시화시스템개발완료 (OO 전력 ) 12 월자연사박물관대상 AR 기술개발완료 (OO 진흥원 ) 11 월 AR IoT 정보시각화개발완료 (OO 기업 ) 11 월 SW 중심대학기술전시 ( 코엑스 ) 11 월육군 MS 국제학술대회전시 11 월 KT 협력사전시 11 월 R&D 성과전시 ( 코엑스 ) 10 월 KT 5G 망을활용한서비스공모전 1 등수상 10 월 AR IoT 정보시각화개발완료 (OO 연구원 ) 10 월 AR 전시제작 (OO 전력 BIXPO 전시 ) 10 월두바이 IT 전시. RemoteAR 런칭 ( 아랍에미리트월드트레이드센터 ) 10 월 SEEREAL Viewer 연동홈페이지개발완료 ( 부산대 ) 9 월 LG 영메이커페스티벌전시 9 월아시아나항공기술전시 8 월 VR 훈련콘텐츠개발수주 (OO 교육원 ) 7 월기념물센터대상 AR 기술개발착수 ( 문화체육관광부, 년 ) 6 월 RemoteAR 개발지원사업착수 ( 미래창조과학부 ) 6 월 VR 시뮬레이터업데이트개발완료 (OO 중공업 ) 6 월디지털콘텐츠개방형캠퍼스 VR-LAB 지원사업선정 ( 미래창조과학부 ) 5 월앱손스마트글래스기술지원업체선정및전시지원 5 월월드 IT 쇼전시. SEEREAL Viewer 런칭 ( 코엑스 ) 5 월 AR 서바이벌미션대회운영, SeeReal/Maker/Remote 서비스제공 ( 부산대 ) 5 월 AR 기술개발착수 (OO 연구원 ) 4 월미술관대상 AR 연구개발지원사업선정 ( 문화체육관광부, 년 ) 3 월오토메이션 & 스마트팩토리전시 ( 코엑스 ) 12 월 360 도 VR 모니터링시스템개발 (OO 전력 ) 12 월 VR 시뮬레이션개발 (OO 중공업 ) 12 월홀로렌즈기반전시용설비유지보수시스템개발 (OO 연구원 ) 11 월 AR 설비유지보수시스템개발 (OO 중공업 ) 10 월 AR/VR 전시 2 건제작 (OO 전력 BIXPO 전시 ) 8 월 3D Depth Camera 기반모바일증강현실 SW 단말시작품개발 (OO 연구원 ) 6 월산업통산자원부사업화연계기술개발사업선정 ( 주관단독 ) 5 월월드 IT 쇼전시 ( 코엑스 ) 5 월국제발명전시참가, 특별상및금상수상 ( 스위스제네바 ) 1 월현장교육을위한실내 360 도네비게이션개발 (OO 처 ) 대표자경력 / 학력 KAIST 연구교수 미국 (NYC) Columbia 대학 CGUI 연구실방문연구원 2007, 2010 뉴질랜드 HIT Lab. NZ. 방문연구원 증강 / 가상현실및 HCI 분야의저널 / 학회연구실적국외저널 (SCI): IWC, VR, IJVR 국외학회 : IEEE ISMAR, IEEE 3DUI, ACM CHI 포함 26 편국내저널 : 11 편국내학회 : 21 편특허 : 국제출원 4 건, 등록 15 건, 출원 8 건 학술활동논문심사위원 : ACM CHI, IEEE VR/ISMAR/ISUVR, TEI, AH, HCIK 등학회장, 프로그램위원, 홍보위원장 : IEEE ISUVR, IEEE VR 학회좌장 : HCI Korea 세미나 / 튜토리얼 : KAIST, GIST, KISTI, KETI, HCI Korea 등 43

5 인력구성 명의 AR/VR 전문연구 / 개발인력 AR 전공자 6 명 ( 박사 2 명, 박사수료 1 명, 석사 3 명 ) AR/VR 분야 Top 학회 (ISMAR, VR) 포함국내외 60 편논문실적 소프트웨어공모전및학술대회논문상 15 건 Robot/Game Industry AR Tangible AR Wearable AR VR 체감게임 지능형휴머노이드로봇 Garden Alive AR 메모 AR 프로토타이핑 Air-Jet Button Effects Performance modeling AR 디지로그북 & 저작애니메이션저작 AR 미니어처 WeARHand ARSnapping AR 원격협업 AR Wand AR 월드빌더 AR 메모 5

6 2017 년도활동

7 Background

8 가상현실 : Virtual Reality (VR) 실제같은느낌 (Presence) 를제공하기위해컴퓨터로만들어진환경 오감 ( 시청촉미후각 ) 을재현하는몰입형멀티미디어 (Immersive multimedia)

9 증강현실 : Augmented Reality (AR) 증강현실은사용자가눈으로보는현실세계에가상물체를겹쳐보여주는기술 새로운방식의정보검색및경험이가능

새로운방식의정보검색및경험이가능 혼합현실 (Mixed Reality: MR)

증강가상현실 (Augmented Virtuality) 가상현실 (VR) P.

Kishino, Taxonomy of Mixed Reality Visual

10 증강현실 : Augmented Reality (AR) 증강현실은사용자가눈으로보는현실세계에가상물체를겹쳐보여주는기술 새로운방식의정보검색및경험이가능 혼합현실 (Mixed Reality: MR) 현실 (Reality) 증강현실 (Augmented Reality) 증강가상현실 (Augmented Virtuality) 가상현실 (VR) P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays IEICE Transactions on Information and Systems, E77-D(12), 10pp , 1994.

11 증강현실의역사 Made by 우운택교수, KAIST UVR Lab.

12 뉴미디어로서의증강현실 정보 / 지식의새로운표현, 검색, 경험방식 즉시적, 직관적, 몰입적, 다양한정보가시화 전화기 : 1876 년 구글글래스 : 2012 년 책, 신문 라디오 : 1906 년 흑백방송 : 1936 년컬러방송 : 1951 년 PC: 1971년 아이폰 3G: 2008 년 Wear-comp. ( 안경, 뇌파, 멀티모달 ), IoT 인쇄매체음성매체시각매체인터넷매체 New Media

13 뉴미디어로서의증강현실

14 시장규모 VR 과 AR 시장은 5 년내약 170 조원규모의시장으로성장할전망 현재까지는 VR 이시장규모에서우위를차지하고있으나 2017 년이후로는 AR 이성장을주도 2020 년에는전체시장의 80% 인약 140 조의매출이 AR 로부터발생할것

15 AR 의활용분야 네비게이션 교육 건축 쇼핑 군사 게임의료제조 방송 / 광고 관광

16 시스템환경에따른분류 데스크톱환경 컴퓨터모니터, 조이스틱등을이용 공간환경 프로젝터기반공간 - 영상맵핑 (Spatial AR) 모바일환경 스마트폰활용 몰입형환경 HMD(Head Mounted Display), 데이터장갑 (Data glove) 등활용 3 인칭환경 비디오카메라로촬영된자신의모습을표시 원거리환경 카메라가장착된로봇을조종, 원격에있는사용자의 HMD 화면전송 물리적으로떨어져있는장소를탐사하거나관찰

17 디스플레이의발전

18 VST vs. OST - HMD 장점 : 캘리브레이션하지않아도됨완벽한 Overlay -> 몰입감향상단점 : 야외에서사용불가 : Delay, Blackout 장점 : 개방감 -> 이동시안전함단점 : 밝기낮아실물을완벽히 Overlay 어려움캘리브레이션불안정 -> 오차발생

19 OST-HMD 캘리브레이션의필요성 원거리대상물에초점을맞출때 -> 커서 ( 노랑색 ) 가중앙에 1 개있는것처럼보임 근거리대상물에초점을맞출때 -> 커서 ( 노랑색 ) 가 2 개있는것처럼보임

20 개선된방법

21 융합기술 광학기술 3 차원컴퓨터비전 컴퓨터그래픽스 인공지능 통신 / 제어 / 계측 예술, 인지과학, HCI

22 AR 기술

23 DCRI (Detection, Classification, Recognition, Identification) 원거리 : 형태 / 색상정보를통해대상물의종류를알수있음이가능 (Recognition) 근거리 : 고유정보인식을통해대상물의정확한식별이가능 (Identification) 23

24 증강현실구동과정 학습 (Training) 이미지특징획득 (Feature Extraction) 특징서술 (Description) 인식 (Detection) 매칭 ( 매우느림 ) 행렬분해 ( 최적화 ) 대상물 ( 객체 )- 카메라자세 (Pose) 계산 추적 (Tracking) 객체 - 카메라자세업데이트 Optical Flow (Object Tracking) Optical Flow (Camera Tracking) 정합 (Registration)

추적 (Tracking) Outside-In Tracking 공간에트래킹기기를설치

Core/Kit), SLAM (Tango, Hololens) Outside-In

25 추적 (Tracking) Outside-In Tracking 공간에트래킹기기를설치 초음파, 적외선, 자기장, GPS, WIFI Inside-Out Tracking 모바일기기내부의센서를사용 카메라, Compass Hybrid Tracking (Sensor Fusion) Visual-Inertial Odometry (AR Core/Kit), SLAM (Tango, Hololens) Outside-In Tracking Inside-Out Tracking (e.g., Image feature tracking)

26 정합 (Registration) 실세계와가상현실의카메라움직임을동일하게하는것 ( 정합 ) 실세계의카메라 ( 사용자의시점 ) 카메라위치 자세를동일하게함 ( 카메라트래킹 ) 초점거리등의렌즈특성을동일하게함 ( 카메라보정 ) 가상현실의카메라 ( 가상세계의카메라시점 ) 기준좌표계 현실세계와대응되는가상좌표계설정 기준좌표계 현실세계 가상세계

27 정합 (Registration) 혼합현실 (Mixed Reality: MR) 현실세계 증강현실세계 (Augmented Reality) 증강가상세계 (Augmented Virtuality) 가상세계 그래픽스평면 가상객체좌표계 Object-to-world: Registration 가상세계카메라좌표계 이미지평면 월드좌표계 현실세계카메라좌표계 World-to-Camera: Camera Tracking

Feature Description AR 기술 3D (RGB-D) 3D (RGB) Google AR Core, Apple

Hololens SDK PTC Vuforia SDK VIRNECT Products *AR Authoring *AR

Product SKT T-AR SDK Detection Classification/Recognition

28 Feature Description AR 기술 3D (RGB-D) 3D (RGB) Google AR Core, Apple AR Kit SDK (Plane Detection) Google Tango SDK (Area Description) MS Hololens SDK PTC Vuforia SDK VIRNECT Products *AR Authoring *AR Viewer *Remote Assistant 2D (RGB) Google Lens Naver Smart Lens Product SKT T-AR SDK Detection Classification/Recognition Identification Cloud-based Identification (<100,000/App) (User/Location) Detection Level 28

29 산업분야 AR 글래스활용사례

30 사이버물리시스템 (Cyber-Physical Systems: CPS) CPS (Cyber Physical System) 물리적세계에속하는 IoT 와사이버공간에속하는데이터마이닝등을상호결합하여, 미래를예측하고맞춤형서비스를제공함으로써부가가치를높임 일본경제산업성 (

31 CPS 환경에서의증강현실기술활용 CPS (Cyber Physical System) 물리적세계에속하는 IoT 와사이버공간에속하는클라우드, 빅데이터, 데이터마이닝등을상호결합하여, 미래를예측하고맞춤형서비스를제공함으로써부가가치를높임

32 증강현실기술활용 숙련공의노하우를디지털화, 원격으로공유 / 전수 숙련공의기술을동영상으로만들어언제어디서든지지식공유 스마트글래스나모바일기기를통해원격교육및원격보수가능

33 사례 HoloLens Plant Investigation and 3D Pipe Design Assistant ORINOX - AVEVA Microsoft Hololens Experience (Plant Augmented Reality, BIM, PLM) HoloLens Application on Premset Augmented Reality and Industrial SCADA Systems

34 사례 Augmented Reality Brings Data to Life at Caterpillar Microsoft HoloLens: BIM on the construction site thyssenkrupp bringing new vision to elevator maintenance with Microsoft HoloLens Microsoft HoloLens Japan Airlines at Worldwide Partner Conference 2016

35 Solution

36 AR 콘텐츠생성및공유앱 SEEREAL 버튼몇번만누르면 AR 콘텐츠제작가능 코딩을몰라도콘텐츠제작 현장에서즉시 AR 콘텐츠제작 무거운컴퓨터없이도현장에서스마트폰으로즉시에 AR 콘텐츠제작 프로토타입 ( 실내에서그림을대상으로 AR 저작 ) 제작한콘텐츠 (AR 장면 ) 를지도에표시 / 공유 지도를보면 AR 콘텐츠의위치를알수있음 : 포켓몬고처럼탐험이가능 AR 저작앱설치 저작할위치설정 현장에서 AR 콘텐츠저작 저작된 AR 콘텐츠체험

37 AR 콘텐츠생성및공유앱 SEEREAL 새로운 AR 시대를여는 AR 저작도구 ( 이미지 /GPS 학습, 인식, 추적 ) 누구나쉽게 AR 콘텐츠를제작할수있게해주는어플리케이션 AR 콘텐츠만들기 AR 콘텐츠즐기기 SEEREAL 를이용해서손쉽게 AR 콘텐츠를저작해보세요 코딩없이동영상, 이미지, 텍스트, 3D 등의가상콘텐츠를사물또는공간에겹쳐보이도록할수있으며, 수정도내손으로직접할수있습니다. 1 SEEREAL 을이용해내주변에있는증강현실콘텐츠의정확한위치를확인해보세요 2 프린트된이미지, 현실공간에놓여있는사물, 공간등을카메라로스캔해보세요. 내가만든콘텐츠를다른사람과도공유할수있는 OOO 은누구나쉽게사용할수있도록만들어졌습니다. 3 보이지않던가상세계가눈앞에펼쳐집니다. 38

38 Remote AR : 원격협업을위한 AR 영상통화 산업현장의미래 Remote AR 원거리에서도생생한 AR 영상통신서비스 원격전문가 원격의전문가는현장의영상을수신함 텍스트, 드로잉, 이미지등의정보를현장작업자에게전송하여유지보수지원 Internet connection Wi-Fi, 4G, Ethernet 현장작업자 현장의영상을원격전문가에게실시간으로전송함 HMD 에표시된작업가이드를보며유지보수진행함 46

39 향후해결과제 IoT 인터페이스표준화 : OPC-UA 등 정보보안성검토허가필요 화상원격지원을위한고속네트워크인프라필요 사물인식을위한보조장치부착필요 (QR 코드등 ) 성능좋은스마트글라스필요 증강현실콘텐츠제작을위한저작도구 S/W 개발필요

40 홀로렌즈사용성평가

사용성평가방법 UX 설계결과사용성테스트 피실험자 15명모집 - 성별 : 남자 11명, 여자 4명 - 평균연령 : 32세 (±5) -

Task Load Index 활용 * NASA-TLX 는 7점척도를기반으로업무부하점수평균값 (Mean Weighted Work Load

과제를수행하기위해신체적으로얼마나많은능력이요구되는가? 시간적요구과제를수행하기위해얼마나서둘러야하는가?

41 사용성평가방법 UX 설계결과사용성테스트 피실험자 15명모집 - 성별 : 남자 11명, 여자 4명 - 평균연령 : 32세 (±5) - 홀로렌즈사용경험 : 7명 사용성평가방법 - 정량적지표 : Fitts' law 기반의조작효율성모델링 - 정성적지표 : NASA-TLX 의 Task Load Index 활용 * NASA-TLX 는 7점척도를기반으로업무부하점수평균값 (Mean Weighted Work Load Score) 을계산 정신적요구 신체적요구 항목 과제를수행하기위해정신적으로얼마나많은능력이요구되는가? 과제를수행하기위해신체적으로얼마나많은능력이요구되는가? 시간적요구과제를수행하기위해얼마나서둘러야하는가? 전혀아니다 대체로아니다 약간아니다 보통약간그렇다대체로그렇다 매우그렇다 수행도과제를얼마나성공적으로수행하였는가? 노력과제를수행하기위해얼마나노력하였습니까? 좌절 과제를수행하면서얼마나불안하고, 초조하고, 화나고스트레스를받았습니까?

42 실험설계 실험환경및방법 실제미술관사례와같이 AR 정보는 1.5 m 앞에증강 조작방법 - 손만사용 ( 손 ): 손으로버튼을가리켜선택 - 머리만사용 ( 머리 ): 머리를움직여버튼을 1초이상바라보면선택 (1 초는 Unity VR 샘플에서사용하는통상적인값 ) - 손과머리동시사용 ( 손 + 머리 ): 머리를움직여버튼을응시한후손제스처를통해버튼선택 (Air-tap) Start Point Distance Width End Point 독립변수 Width : 2단계 (5cm, 10cm) Distance : 2단계 (30cm, 50cm) 선택방법 : 손, 머리, 손 + 머리 1.5m 손이용 실험변수 정량 : 선택방법에따른이동시간 정성 : NASA TLX 평가 머리이용

43 실험절차 1. 튜토리얼로 1세트 (Width, Distance 조합 : 4개조건 ) 시행 2. 본테스트시작 2-1. 손만사용하여 5세트수행 ( 총 20회 ) NASA TLX 7점척도설문지작성 2-2. 머리만사용하여 5세트수행 ( 총 20회 ) NASA TLX 7점척도설문지작성 2-3. 손과머리사용하여 5세트수행 ( 총20회 ) NASA TLX 7점척도설문지작성 Condition Distance(cm) Width(cm)

44 실험결과 Fitts' law 기반의성능모델링 Fitts' law 기반성능모델링의결과는 Index of Performance(IP, 단위 : bit/sec) 로표시 목표물의크기 (W: Width) 가작고움직이는거리 (D: Distance) 가증가할수록, 운동시간 (MT: Movement Time) 이증가 MT=a+b ID 로모델링 (a, b는실험상수 ) 손만사용하였을때가장효율이높음 (2.8 bits/s), 머리 만사용하였을때효율이가장낮음 (0.9 bits/s) * ID(Index of Difficulty, bits) 는 log 2 (D / W + 1) 로계산하며 IP(Index of Performance, bit/s) 는 ID/MT 로계산 52

45 실험결과 NASA TLX 평가 손 + 머리 (Baseline) 의경우정신적 / 신체적피로도가모두높음 : 현재홀로렌즈의조작방법 손 의경우선택속도는빠르나 ( 정량적평가결과 ) 신체적피로도가높음 - Baseline 대비약 11% 의 Task Load Index 향상 머리 의경우평가가가장좋음 : 선택속도는느리지만 ( 정량적평가결과 ), 신체적 / 시간적요구를적게느낌 - Baseline 대비약 22% 의 Task Load Index 향상 53

46 실험결과 시사점 홀로렌즈에서사용하는기존의조작방법 ( 손 + 머리 ) 의경우효율은보통이였지만주관적평가는가장안좋음 - 손제스처인식이잘안됨 : 손이작거나손가락이잘안보이는경우인식이안됨 - 초보사용자의경우많은연습이필요 : 동시에머리와손을움직이는것이어려움 간단한선택조작의경우시간이좀걸리더라도 ( 효율이낮더라도 ) 머리를사용하는것이좋음 빠르게선택하거나좀더복잡한선택을할경우에는손을사용하는것이효율이좋음 54

연사소개 대표이사, 15- 현재 버넥트 연구원및연구교수, KAIST 문화기술연구소 (CTRI) Ph.D., 13 KAIST 문화기술대학원 UVR Lab. ( 우운택교수 ) 방문연구 Columbia University CGUI Lab. (Prof. Steven

스스로해보는 VR/AR 하태진박사 버넥트대표 VIRNECT.COM DESIGN YOUR IP 연사소개 대표이사, 15- 현재 버넥트 연구원및연구교수, 13 15 KAIST 문화기술연구소 (CTRI) Ph.D., 13 KAIST 문화기술대학원 UVR Lab. ( 우운택교수 ) 방문연구 Columbia University CGUI Lab. (Prof. Steven