MAXST 증강현실개발툴과 Visual SLAM / Instant Tracking 기술 ( 주 ) 맥스트 조규성
목차 MAXST 소개 MAXST AR SDK 3.4.2 소개주요 AR SDK 특징비교 Instant Tracking vs. Visual SLAM 라이브 AR앱제작시연 2
MAXST 연혁 2015 창조혁신대상미래부장관상수상 K-ICT Global 300 선정 증강현실분야우수특허대상선정 2017 2015 CES, MWC 참가 2016 2016 현대자동차 AR매뉴얼앱 Virtual Guide 시장출시 3D 기반 AR SDK 시장출시 (v.2.0) TIPS 선정 2015 The best innovator 2015 Best patent holder [App] AR game Secret Garden 2013 지식경제부섬유IT혁신사업선정 SK텔레콤 AR플랫폼공동개발 ETRI 스마트스페이스사업참여 2011 중소기업청예비기술사업자육성사업선정위치기반 AR 게임 시크릿가든 출시 2014 2013 2012 2011 2010 가상피팅시스템 판타클로스 출시 비콘기반위치측위시스템 Way 출시 미래부스마트팩토리사업선정 국내최초 AR SDK 시장출시 (v.1.0) KOTRA-MS 스마트 Growth 사업선정 증강현실카메라앱 포토위드미 출시 주식회사설립 (10월 1일 ) 2014 2012 2010 [Service] Virtual Fitting Fantacloth [App] AR camera Photowithme 3
MAXST 보유기술 AR 기술 GPS 센서기반 마커기반 이미지기반 3 차원기반 + + 소프트웨어최적화기술 Computer vision 기술콘텐츠처리기술 관련기술 컴퓨터그래픽스기술동작인식기술영상통화기술 HMD 기술 4
MAXST 사업분야 5
MAXST AR SDK 3.2.4 SLAM SLAM Instant SLAM Multi-target Extended Instant Instant SLAM 6
주요특징 Image Tracker Extended Tracker Multi-target Tracker Instant Tracker Visual SLAM Object Tracker QR/Barcode Scanner Multi-Platform Support Smart-Glasses Support Target Manager / Map Manager / Demo App 7
Image Tracker 컴퓨터비전기반의평면이미지인식기술로빠른인식과강건한추적성능을갖추었습니다. 이미지타깃을비춘채카메라를빠르게흔들어도, 이미지를구부리거나일부를가려도콘텐츠가눈앞에서사라지는일이없습니다. Extended Tracking 과 Multi-target Tracking 기능이탑재되어있어서먼거리추적과최대 3 장까지동시추적이가능합니다. 정적인 3D 콘텐츠뿐아니라 3D 애니메이션, 동영상, 크로마키영상까지원하는모든것을지금이순간, 내눈앞에서확인할수있습니다. [ ] Use Case : 포스터추적 / 카탈로그추적 / 매거진추적 / 박물관가이드 / 마케팅게임 / 쇼핑 / 가구배치 / 인테리어 8
Instant Tracker Instant Tracker 카메라뷰속에서순간적으로찾은평면을기준으로콘텐츠를증강시킬수있습니다. 특정이미지타깃등의사전준비없이, 임의의공간에 AR 기능을구현할수있습니다. VIO(Visual Inertial Odometry) 에기반한강력한알고리즘으로특징점이적은평면에서도잘동작하며, 카메라의움직임을추적하여증강된콘텐츠가카메라뷰밖으로나갔을때도제자리를유지하도록합니다. [ ] Use Case : 가구배치 / 인테리어 / 쇼핑 / 게임 / 마케팅 9
Visual SLAM + Object Tracker 모바일환경에최적화된 MAXST Visual SLAM 은 RGB 카메라만장착된대부분의디바이스에서도잘동작합니다. 주위환경을매핑하면서동시에추적할수있습니다. 맵은카메라의움직임에따라자동으로확장됩니다. 맵을저장하고나중에다시불러와사용할수도있어정교한 AR 프로젝트에적합합니다. Visual SLAM 에서맵핑하고저장해둔학습공간을불러옵니다. 불러온공간안에콘텐츠를원하는모습으로원하는위치에증강시킬수있습니다. [ ] Use Case : 조립 / 매뉴얼 / 제품디자인 / 전자제품추적 / 건축설계모형추적산업기계추적 / 장난감추적 / 마케팅 / 게임 10
Image Tracker 앱제작 (with Unity) Target Manager 에타깃이미지등록및학습데이터다운로드 Unity 에서학습데이터로드및콘텐츠배치후빌드 단말실행후타깃이미지비춤 Documentation Site : https://developer.maxst.com/md/doc/intro 11
Visual SLAM + Object Tracker 앱제작 (with Unity) Map Manager 를통해타깃오브젝트혹은주변환경을학습후메일로맵데이터전송 맵데이터로드및복원된타깃메쉬를기준으로콘텐츠배치후빌드 단말실행후학습한타깃오브젝트혹은주변환경을비춤 Documentation Site : https://developer.maxst.com/md/doc/intro 12
Instant Tracker 앱제작 (with Unity) Unity 에서원점을기준으로콘텐츠배치및빌드 단말실행후지평면을향해 Instant Tracking 시작 Documentation Site : https://developer.maxst.com/md/doc/intro 13
강력한추적성능 빠른움직임 심한기울임 먼거리까지추적 타깃의심한휘어짐 타깃의극히일부만보이는경우 멀티타깃을동시추적 14
주요 AR SDK 특징비교 MAXST PTC Vuforia Wikitude Kudan Apple ARKit Google ARCore Image Tracking O O O O X X Extended Tracking O O O O X X Multi-target Tracking O O O O X X Instant Tracking O O O O O O Visual SLAM O Smart Terrain O O X X Object Tracking O O O X X X Cloud Recognition Coming Soon O O O X X Platform Android / ios UWP / Unity Android / ios UWP / Unity Android / ios Unity Android / ios UWP / Unity ios / Unity Android / Unity Unreal Smart Glasses Epson Moverio BT200 / 350 ODG R7 Epson Moverio BT200 / 350 Epson Moverio BT200 / 350 ODG R7 X X X Pricing free (non-profit) $499 (one time) $599/yr. (w/ upgrade) contact (enterprise) $499 (one time) $1188 / yr. (cloud) contact (enterprise) $2970 (one time) $3560 / yr. (3d) $5343 / yr. (cloud) contact (enterprise) free (non-profit) $1300 / yr. contact (enterprise) free free <https://thinkmobiles.com/blog/best-ar-sdk-review/ 참고 > 15
ARKit 과 ARCore 로만들수없는앱들 타깃제품 / 산업환경의정해진위치에가상콘텐츠를증강시키는앱들 ( 매뉴얼 / 가이드 / 스마트팩토리 ) 매거진 / 포스터를인식및추적하면서가상콘텐츠를증강시키는앱들 ( 마케팅 / 교육 / 게임 ) 16
Instant Tracking vs. Visual SLAM 즉흥적인상황에서바로증강이필요할때 (ex. 인테리어 / 게임 ) 시작하자마자증강가능 관성센서를통해찾은평면위에가상물체증강 주요기술 Visual Inertial Odometry 학습한오브젝트 / 주변환경의원하는위치에증강이필요할때 (ex. AR 매뉴얼 ) 스테레오초기화이후증강가능 오브젝트 / 주변환경학습후생성한맵위에가상오브젝트증강 SLAM 으로맵생성후 Object Tracker 에서학습맵을로드해서추적함 17
VIO vs. Visual SLAM Visual SLAM = VIO + Loop Closing Visual SLAM Visual Inertial Odometry 18
Instant Tracking 2. 트래킹 4. 맵보정 1. 초기자세 관성센서정보기반초기평면검출및자세추정 특징점매칭기반실시간카메라자세추적 3. 매핑 맵왜곡 / 미끄러짐현상모니터링및왜곡보정 Epipolar Search 기반신규특징점의깊이값업데이트 19
Instant Tracking 최초시점 카메라가움직인후 카메라 카메라 이미지평면 이미지평면 특징점들 특징점들 현실세계 현실세계 20
Instant Tracking Indirect Method Direct Method minimize reprojection error minimize photometric error [ORB-SLAM] [LSD-SLAM] Refer to "Tutorial on Visual Odometry" by Davide Scaramuzza 21
Instant Tracking 22
Instant Tracking 신규특징점들 카메라이동신규특징점깊이값의불확실성해소 신규특징점깊이값의큰불확실성 ( 적색 ) Epipolar Search 신규특징점깊이값의줄어든불확실성 ( 적색 ) 23
MAXST AR Developer Site https://developer.maxst.com 24
Demo App Google Play Apple App Store 25
VIVAR AR Manual VIVAR (Remote Support AR) 영상통화에 AR 기능을결합하여멀티미디어원격지원환경제공 AR Manual 제품의설치 조립 수리과정에대한설명을 AR 을이용하여직관적으로제공 증강현실엔진룸 경고등설명 버튼스캐너 360 VR 26
라이브 AR 앱제작시연 27
감사합니다.