AR Technologies for Smart Device and User Experience 2012. 6. 26 이종원 Mixed Reality & Interaction Lab. 세종대학교 1
개요 증강현실소개 모바일증강현실시스템 모바일증강현실기반기술 모바일증강현실미래 2
개요 증강현실소개 모바일증강현실시스템 모바일증강현실기반기술 모바일증강현실미래 3
증강현실이란? 가상세계와실세계를통합하여실시간에보여주는시스템 가상객체를실세계에추가하여가상과실제공간이공존하여실세계를보완하는시스템 사용자자신의감각을통해직접인지할수없는정보를가상정보로증강하여보여주는시스템 실세계에서사용자의인지와상호작용능력을도와주는시스템 증강된가상정보를통해정보를검색하는시간과오류를줄여실세계작업을손쉽게지원해주는시스템 4
증강현실이란? 시뮬레이트된 AR 이미지 [1] 컴퓨터안내수술시스템의현재와미래 [2] 5
증강현실정의 실세계와가상세계가결합이됨 실시간으로시스템이구현되어야함 가상세계와실세계가정확하게정렬되어야함 6
실세계 - 가상세계연속체 Paul Milgram과 Fumio Kishino가 1994년에실세계와가상세계사이의세계를정의함 [3] Augmented reality Mixed reality Augmented virtuality 7
증강현실역사 1966 년 [4] Ivan Sutherland 가 headmounted display 를발명하고가상세계로통하는문이라고하였음 증강현실개념이시작되는시기 8
증강현실역사 1990 년 미국보잉사의 Tom Caudell 이작업자들이비행기에전선을조립하는과정을도와주는시스템개발 처음으로 Augmented Reality 라는어휘를사용함 1992 년 [4] [5] L.B. Rosenberg 가최초의작동하는 AR 시스템중하나인 Virtual Fixtures 를개발하고시스템의효용성을보임 9
증강현실역사 1997 년 S. Feiner 와동료들이최초의실외모바일 AR 시스템개발 1999 년 Hirokazu Kato 가미국 HITLab 에서 ARToolKit 를개발함 2000 년 [6] [7] [8] Bruce H. Thomas 가최초의실외모바일증강현실게임인 ARQuake 를개발함 10
주요기술 증강현실구현을위해필요한주요기술 증강현실구현기술 -Tracking -Interaction -Calibration & registration -Display -Evaluation/testing -AR authoring -Visualization -Rendering 11
개요 증강현실소개 모바일증강현실시스템 모바일증강현실기반기술 모바일증강현실미래 12
모바일증강현실등장동기 컴퓨터크기는줄어들고성능은향상됨 컴퓨터를장소에관계없이사용할수있게됨 모바일컴퓨터는새로운가능성을열어줌 위치기반컴퓨팅 (location-aware computing) 맥락기반컴퓨팅 (context-aware computing) 이러한환경에서증강현실을통한상호작용이최적임 13
컴퓨팅환경변화 컴퓨터크기변화방의공간 (room) 벽면공간 (wall) 책상공간 (desk) 무릎공간 (laptop) 손바닥 (smartphone) 옷 (clothing) 사용자와관계변화제출 (submit) 공유 (share) 앉음 (sit at) 사용전후에이동손으로잡기 (hold) 착용 (wear) 14
극복해야하는요소 모바일컴퓨터 제한적인자원 크기, 무게, 배터리 모바일증강현실 위치, 방향추정 시각화 실외환경 비우호적인환경 : 조명, 날씨등 추가장치설치가어려움 15
적용분야 조립및건설 점검및유지보수 길안내 관광 저널리즘 의학 오락 개인정보관리 군 건축학 고고학 16
NaviCam 1995년 Jun Rekimoto와 Katashi Nagao가개발 [9] 워크스테이션, 카메라가장착된모바일디스플레이 사용자위치추정 카메라로보이는컬러마커인식 해당마커위에상황에적합한정보제공 17
Touring Machine 1997년에 Steve Feiner와동료가개발한실외모바일증강현실시스템 [6] 노트북 다양한장치를활용하여사용자위치와방향정보를추정 디지털나침반 (compass), 경사계 (inclinometer), 보정위성항법시스템 (differential GPS) 도심환경에관한정보제공 18
Tinmith 2006 1998년 Bruce Thomas와동료들이개발한시스템을기반으로 2006년까지지속적으로발전 [10] 1998 1999 2001 2002 2004 19
RWWW Browser 2001년 Kooper와 MacIntyre가개발한첫번째증강현실브라우저 [11] Real-World Wide Web WWW와실제공간이통합된공간을생성 트래킹 사용자머리와몸추적 Intersense IS-600 tracker 20
Human Pacman 2003년 Adrian Cheok와동료들이개발 [12] 잘알려진 Pacmam 게임을실외공간에서구현 Pacman과 Ghosts 역할실제플레이어가함 인터페이스 Tangible interface 트래킹 GPS, inertial sensor 21
Indoor AR Guidance System 2003년 Daniel Wagner와 Dieter Schmalstieg가개발 [13] 최초로 PDA 환경에서구현된실내공간안내시스템 환경의 3차원정보제공 트래킹 ARToolKit 22
Invisible Train 2004년 Daniel Wagner와동료가개발한모바일환경에서구현된최초의실시간다중사용자증강현실게임 [14] 23
모바일증강현실시스템 모바일폰 / 스마트폰기반의증강현실시스템 브라우저 (browser) 위치를기반으로주변정보제공 현재위치를기반으로사용자가원하는분야의정보를특화되게지원 레스토랑, 랜드마크, Geo-tagged 정보등 지도, 위성, 교통상황, 거리뷰형태로제공되기도함 게임 (game) 시점방향변화에따른게임진행 Mosquitoes, Arcade reality [15] [16] 24
산업분야동향 스마트폰의다양한하드웨어를기반으로정보브라우저기능구현이주를이루고있음 대략적인위치정보와방향정보 해당공간에서시점방향변화에따른정보제공 스마트폰의성능향상과사용자관심증대로인하여다양한분야에적용이시도되고있음 게임, 광고, 네비게이션등 다수의 SDK 가개발되고있음 Metaio(MobileSDK), Qualcomm(Vuforia) 등 25
Browser Ovjet Wikitude Layer Google sky map Yelp 26
Arhrrr! 2009 년 Kimberly Spreen 과동료가소개함 상업용게임과견줄수있는모바일증강현실게임 NVIDIA Tegra developer Kit, Concorde 를기반으로구현함 자연스런 feature 트래킹 GPU 사용 [17] 27
모바일증강현실게임 [18] ARDefender - 인공마커 [19] AR! Pirates - 인공마커 [20] Ball Invasion - SLAM 28
개요 증강현실소개 모바일증강현실시스템 모바일증강현실기반기술 모바일증강현실미래 29
모바일증강현실기반기술 기반기술 기본적인모바일증강현실구현에필요한기술 사용자경험향상기술 사용자에게유용한시스템을제공하기위해필요한기술 30
모바일증강현실기반기술 트래킹 (tracking) 디스플레이 (display) 시각화 (visualization) 31
트래킹 비전기반트래킹 센서기반트래킹 카메라를제외한센서 하이브리드트래킹 32
비전기반트래킹 대부분의모바일장치에카메라가포함되어있음 픽셀단위의정확도가가능함 강건하지않음 2D 기반트래킹 인공마커 자연스러운특징점 파노라마 3D 기반트래킹 33
인공마커기반트래킹 인공마커 ARToolKit marker 장점 속도가빠름, 강건함 단점 부가적인설치가필요함 디자인이제한적임 ID marker Frame marker 34
자연스러운특징점기반트래킹 인공마커기반트래킹보다어려움 인공마커는트래킹을고려하여디자인됨 인공마터기반트래킹보다속도가느림 DB 의이미지수에영향을받음 트래킹방법 단일이미지기반트래킹 다수이미지기반트래킹 지속적인연구가진행되고있음 [21] [22] 35
파노라마기반트래킹 환경을파노라마를통해획득함 사전에획득 트래킹과동시에획득 국립고궁박물관 36
파노라마기반트래킹 장점 주변환경정보를손쉽게획득함 단점 파노라마가획득된위치주변에서만정확한증강이가능함 파노라마기반방향추적 [23] [24] 파노라마기반위치추적 37
3D 기반트래킹 3D 강체모델 한양대학교 [25] 3D 강체모델 + panorama Graz university [26] Digimagic 3D AR tracking 극복해야되는문제 초기화 [27] 38
SLAM on iphone 2009년 Georg Klein이 SLAM을 iphone에서실시간으로구현하는것을보임 [28] 39
센서기반트래킹 스마트폰에장착된다양한센서를활용한사용자위치및방향추정 GPS: 위치 Wi-Fi: 위치 Cellular signal: 위치 Accelerometer: 움직임과위치 Gyroscope: 방향 Digital compass: 2D 방향 40
하이브리드트래킹 다양한센서를통합하여사용자의위치와방향을추적 각각의센서가보내주는정보를통합하여새로운정보를생성 각각의센서의장점을살리고단점을보완할수있는방향으로통합이되어야함 스마트폰에다양한센서가부착되어있어하이브리드트래킹구현이적합함 예 GPS 와 digital compass ( 또는 gyroscope) 통합 GPS, vision, gyroscope 통합 41
디스플레이 구글 Augmented Reality glasses 공공장소에서실험중 유사디스플레이 MicroOptical EG7 2000 년대초반 Minolta Forgettable Display 2000년 42
시각화 사용자에게보이지않는정보를보이게하는과정 트래킹정보를기반으로가상객체를생성함 증강되는정보의종류 이해를돕기위한정보 사실감이강조되는가상객체 Google sky map int13 ARDefender 43
시각화 고려할사항 실제환경을고려한증강이되어야함 제거되는부분고려 일관된깊이정보제공 예 깊이정보오류 중요정보가려짐 하드웨어제약 디스플레이크기 카메라시야각 [30] 44
그림을이용한깊이표현 상대적크기차이 기반의높이차이 [30] x 가려짐 o 45
시각화방법 Phantom rendering Phantom: 실제객체의가상표현 Ghost presentation Scene manipulation View management 46
Phantom Rendering 정확한가려짐을위해서는실제객체와가상객체사이의깊이를비교해야함 가상공간표현에실제객체의가상표현을포함함 실제객체의가상표현은투명하게처리되어보이지않음 장점 가려짐표현 그림자표현 phantom Augmented model [30] 47
Ghost Presentation X-ray visualization 실제공간과관련있는보이지않는정보시각화 Perceptual 문제를고려해야함 제거되는부분을고려한시각화가되어야함 보이지않는정보와정보를가리는객체를함께보여주어야함 정보를가리는객체를반투명객체로시각화 Ghost presentation 가리는객체의반투명정도를균일하지않게조절하여쉽게인지할수있도록함 이미지에서에지를추출하여실제객체와가상객체와의공간적인지에도움을제공함 48
Ghost Presentation 투명도활용 [30] Dense ghost presentation 나쁜예 Sparse ghost presentation 에지정보활용 [30] 49
Scene Manipulation 증강현실에존재하는객체의공간적재배치를통한시각화 실제객체재배치하여가려져있던가상객체를보이게함 [30] 50
View Management [32] [33] [31] 51
사용자경험향상기술 상호작용 (interaction) 인식 (recognition) 52
상호작용이중요한이유? 증강현실시스템구현이라는것은인터페이스를디자인하는것임 가상정보를단순히증강시키는것이목적이아님 증강현실시스템의목적은사용자에게경험을제공하는것임 시스템의목적에적합한인터페이스가필요함 53
모바일상호작용 모바일증강현실환경에서사용되는상호작용방법 모바일증강현실환경 HMD 스마트폰디스플레이 54
모바일상호작용 (HMD) HMD를디스플레이로사용하는증강현실시스템에적용된상호작용방법 초기증강현실시스템은노트북과 HMD를기반으로구현됨 [35] 3D information browsing Complex 3D interaction Tiles Marker/Target gestures 특징 양손사용 [34] [36] 55
모바일상호작용 ( 스마트폰 ) 스마트폰증강현실시스템에적용된상호작용방법 최근에스마트폰의확산과발전으로증강현실이스마트폰에서많이구현됨 상호작용방식 선택 움직임 선택 + 조작 특징 디스플레이와상호작용시스템의일체화 스마트폰을손에들고있어야함 56
선택기반상호작용 증강정보선택을위해사용하는상호작용방법 스마트폰의디스플레이를통해정보검색 위치및방향정보를기반 GPS, Wi-Fi, cellular 신호, gyroscope 활용 검색된정보선택 버튼, 일정시간유지 적용예 Layer, Wikitude navigation 앱 [37] [38] 57
움직임기반상호작용 사용자가신체의일부분또는스마트폰을제한적으로움직이며증강된객체와상호작용방법 KickReal/AR Soccer 사용자발추적을통한상호작용 Symball 선택된색추적을통한상호작용 [39] 58
움직임기반상호작용 Mosquito Hunt, Marble Revolution 위치정보사용하지않음 Motion flow 추적을통한상호작용 AR Tennis 마커기반으로모바일폰의위치추적을통한상호작용 [40] 59
선택, 조작기반상호작용 증강객체를선택하고선택된객체를이동및회전하는상호작용방법 스마트폰의움직임기반방법 객체이동 [41] 메쉬조작 터치기반방법 Blueprint3D 실제앱등에적용은미흡함 [42] [43] 60
인식 정보가증강되는두가지방법 위치기반증강 인식기반증강 특정패턴이나객체인식에기반을둔증강 최근에연구가시작됨 얼굴인식, 물체인식, 글자인식등이사용됨 61
얼굴인식 얼굴인식은오랫동안연구가진행된분야임 최근에모바일장치에서얼굴인식이가능하게되었고이를활용한증강현실시스템이개발되었음 얼굴인식은사용자에게손쉽게필요한정보를획득할수있도록지원함 온라인 : Facebook, Twitter, Google+, 저장된정보 62
얼굴인식 - 예 Viewdle Social Camera 얼굴에정보태깅 Animetrics FaceR Mobile ID 신분확인에사용 [45] FaceR CredentialME 사용자확인에사용 TAT Augmented ID [46] 실생활에서만나는사람에대한정보제공 Concept app. [44] 63
물체인식 Visual search 연구를기반으로함 강건한이미지특징점의정보를활용 고정된실제객체와움직이는실제객체모두에증강이가능함 GPS 기반은고정된객체에증강 객체의크기, DB 의용량에따라제한적으로구현이가능함 서버 - 클라이언트방식 모바일장치에서실시간물체인식이어려움 64
물체인식 - 서버 - 클라이언트방식 서버 물체인식 대용량의랜드마크와관련정보저장 Vocabularies of local visual features 등을사용 클라이언트 이미지획득하여서버로전송 물체추적 Motion estimation 사용 장점 대용량의 DB 활용이가능함 65
물체인식 - 예 Book Spine Recognition 사용자의움직임이적은경우인식을시작 책등을인식하고책의정보를모바일장치를통해사용자에게제공 글자인식 + 특징점인식 Mobile Augmented Reality Tour 모바일증강현실기술을이용하여더즐거운여행을도와줌 [47] 66
글자인식 Quest Visual Word Lens 앱에모바일 OCR(Optical Character Recognition) 을활용 카메라를외국어로작성된문서를보면모국어로번역함 GPS 를활용하여위치정보를기반으로번역을할수도있음 [48] 67
개요 증강현실소개 모바일증강현실시스템 모바일증강현실기반기술 모바일증강현실미래 68
모바일증강현실의미래 현재모바일증강현실은스마트폰을기반으로단순정보만제공하고있음 다양한모바일증강현실시스템이등장하였으나아직기반기술에대한많은연구가필요함 트래킹, 정보가시화, 상호작용등 개인에적합한정보전달 시각이외의다른감각기관에정보증강 기반기술이발전하면서다양한분야 ( 협업분야포함 ) 로적용이확대될것임 궁극적인증강현실시스템은안경형태의디스플레이가될것이나안전등의다양한이슈가존재함 모바일폰이그때까지아주훌륭한기반시스템이될것임 69
예상시나리오 건축및실내장식분야 ArchaID 수리및설치분야 SNS 예술분야 프로젝터기반시스템 ilamp, 2003 [49] 70
참조문헌 [1] http://www.se.rit.edu/~jrv/research/ar/introduction.html [2] T. Suthau, M. Vetter, P. Hassenpflug, H. P. Meinzer, O. Hellwich, A concept work for Augmented Reality visualization based on a medical application in liver surgery, ISPRS Symposium Commission V, Sep. 2002 [3] P. Milgram, H. Takemura, A. Utsumi, and F. Kishino, Augmented Reality: A class of displays on the reality-virtuality continuum, Telemanipulator and Telepresence Technologies, 1994 [4] http://en.wikipedia.org/wiki/augmented_reality#history [5] http://graphics.cs.columbia.edu/projects/karma/karma.html [6] S. Feiner, B. MacIntyre, T. Hollerer, and T. Webster, A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment, International Symposium on Wearable Computers, Oct. 1997 [7] http://www.hitl.washington.edu/artoolkit/ [8] B. Thomas, B. Close, J. Donoghue, J. Squires, P. DeBondi, M. Morris, and W. Piekarski, ARQuake: An Outdoor/Indoor Augmented Reality First Person Application, International Symposium on Wearable Computers, pp. 139-146, Oct. 2000 [9] http://www.sonycsl.co.jp/person/rekimoto/navi.html [10] http://www.tinmith.net/ [11] R. Kooper and B. MacIntyre, The Real-World Web Browser: An Interface for a Continuously Available, General Purpose, Spatialized Information Space, International Symposium on Mixed Reality, Mar. 2001 71
[12] A. D. Cheok, S. W. Fong, K. H. Goh, X. Yang and F. Farzbiz, Human Pacman: a sensing-based mobile entertainment system with ubiquitous computing and tangible interaction, Workshop on Network and System support for games, 2003 [13] D. Wagner and D. Schmalstieg, First Steps Towards Handheld Augmented Reality, International Symposium on Wearable Computers, 2003 [14] http://studierstube.icg.tugraz.at/invisible_train/ [15] http://gamesalfresco.com/2009/11/01/buzz-buzz-augmented-reality-mosquitoes-all-aroundyour-iphone/ [16] http://www.toyspring.com/arcade/ [17] www.augmentedenvironments.org/lab/research/handheld-ar/arhrrrr [18] http://www.ardefender.com/ [19] http://www.arpirates.com/ [20]http://socialtimes.com/ball-invasion-for-ipad2-find-shoot-virtual-balls-in-the-realworld_b70788 [21] D. Wagner, G. Reitmayr, A. Mulloni, T. Drummond, D. Schmalstieg, Real Time Detection and Tracking for Augmented Reality on Mobile Phones, IEEE Transactions on Visualization and Computer Graphics, May/June 2010 [22] D. Wagner, D. Schmalstieg, H. Bischof, Multiple Target Detection and Tracking with Guaranteed Framerates on Mobile Phones, International Symposium on Mixed and Augmented Reality, 2009 [23] T. Langlotz, D. Wagner, A. Mulloni and D. Schmalstieg, Online Creation of Panoramic Augmented Reality Annotations on Mobile Phones, IEEE Pervasive Computing, 2010 [24] V. Nguyen and J. W. Lee, Self-positioning system for indoor navigation on mobile phones, IEEE International Conference on Consumer Electronics, Jan. 2012 [25] B. K. Seo, J. Park and J. I. Park, 3-D visual tracking for mobile augmented reality applications, IEEE International Conference on Multimedia and Expo, 2011 [26] C. Arth, M. Klopschitz, G. Reitmayr and D. Schmalstieg, Real-Time Self-Localization from Panoramic Images on Mobile Devices, International Symposium on Mixed and Augmented Reality, Oct. 2011 72
[27] http://www.youtube.com/watch?feature=player_detailpage&v=tn30qdjeqpk [28] G. Klein and D. Murray, Parallel Tracking and Mapping on a Camera Phone, International Symposium on Mixed and Augmented Reality, 2009 [29] G. Reitmayr and T. Drummond, Going Out: Robust Model-based Tracking for Outdoor Augmented Reality, International Symposium on Mixed and Augmented Reality, 2006 [30] K. Denis, C. Sandor, S. White and S. Dieter, Visualization Techniques for Augmented Reality, Handbook of Augmented Reality, 2011 [31] B. Bell, S. Feiner and T. Höllerer, View Management for Virtual and Augmented Reality, Symposium on User Interface Software and Technology, Nov. 2001 [32] M. Livingston, L. Rosenblum, S. Julier, D. Brown, Y. Baillot, J. E. Swan II, J. Gabbard, and D. Hix, An augmented reality system for military operations in urban terrain, Interactive/Industry Training, Simulation and Education Conference, 2002 [33] T. Höllerer, S. Feiner, D. Hallaway, B. Bell, M. Lanzagorta, D. Brown, S. Julier, Y. Baillot and L. Rosenblum, User interface management techniques for collaborative mobile augmented reality, Computers and Graphics, 2001 [34] I. Poupyrev, D. S. Tan, M. Billinghurst, H. Kato, H. Regenbrecht and N. Tetsutani, Developing a generic augmented-reality interface, IEEE Computer, 2002 [35] K. Kiyokawa, H. Takemura and N. Yokoya, Seamless Design for 3D Object Creation, Multimedia Computing and Systems, Jan/Mar 2000 [36] S. White, D. Feng and S. Feiner, Interaction and Presentation Techniques for Shake Menus in Tangible Augmented Reality, International Symposium on Mixed and Augmented Reality, 2009 [37] http://www.layar.com/browser/ [38] http://www.gizmag.com/wikitude-drive-ar-navigation-app/19710/ [39] M. Hakkarainen and C. Woodward, SymBall Camera Driven Table Tennis for Mobile Phones, International Conference on Advances in Computer Entertainment Technology, June 2005 [40] A. Henrysson, M. Billinghurst and M. Ollila, AR Tennis, International Conference on Computer Graphics and Interactive Techniques: Emerging Technologies, Jul. 2006 [41] A. Henrysson, M. Billinghurst and M. Ollila, Virtual object manipulation using a mobile phone, International Conference on Augmented tele-existence, 2005 73
[42] A. Henrysson and M. Billinghurst, Using a mobile phone for 6 DOF mesh editing, International Conference on Computer-human interaction: design centered HCI, 2007 [43] http://www.fdg-entertainment.com/en/iphone-games/blueprint-3d-iphone.html [44] http://viewdle.com/products/mobile/index.html [45] http://www.animetrics.com/products/mobileid.php [46] http://www.tat.se/videos/ [47] S. Tsai, D. Chen, H. Chen, C.-H. Hsu, K.-H. Kim, J. P. Singh and B. Girod, Combining image and text features: a hybrid approach to mobile book spine recognition, ACM Multimedia, Nov. 2011 [48] http://questvisual.com/ [49] R. Raskar, J. Baar, P. Beardsley, T. Willwacher, S. Rao and C. Forlines, ilamps: Geometrically Aware and Self-Configuring Projectors, SIGGRAPH 2003 74
Q/A jwlee@sejong.ac.kt 02) 3408-3798 75