https://doi.org/10.14400/jdc.2017.15.4.421 유니티와 KUDAN 엔진을활용한 MARKERLESS 방식의증강현실게임개발 - 우리동네히어로 의개발사례중심으로 김한호 *, 정형원 ** 광운대학교정보콘텐츠대학원학생 *, 광운대학교정보콘텐츠대학원교수 ** Markrerless augmented reality game development method utilizing the Unity engine and KUDAN engine -In the center of ther development case of Our neighborhood hero Kim Han-Ho *, Jung hyung-won ** KwangWoon University, Graduate School of information & Contents student *, KwangWoon University, Graduate School of information & Contents professor ** 요약포켓몬고게임이인기를끈후증강현실게임의인기는기존보다높아지고있다. 이에, 게임엔진중하나인유니티엔진을사용하여증강현실게임을만드는방법에대하여설명한다. 특히증강현실의기술중 MARKER 가필요없는 MARKERLESS 방식을선택하여게임에최적화된증강현실을구현하는방법을이용하였다. 본논문에서는유니티엔진과유니티를지원하는 KUDAN AR엔진을활용하여 MARKERLESS 방식의증강현실게임을제작하는기법을 우리동네히어로 프로젝트를통하여제안한다. 이제안을위해실행가능한버전을제작하여테스트하였으며, 이연구를통해 KUDAN 엔진의 MARKERLESS 방식으로게임을제작하는경우손쉽게증강현실의다양한기능을적용할수있다는것을밝혀냈다. 주제어 : 증강현실, 마커리스, 유니티, 슬램, 우리동네히어로 Abstract After the Pokemon game became popular, the popularity of the Augmented Reality game is higher than ever. Therefore, it is an important choice to use an engine to create an augmented reality game. It explains how to create an augmented reality game using Unity engine, which is one of the most used game engines in game development. We describe a method for implementing augmented reality optimized for games by selecting a MARKERLESS method that does not require a marker among the augmented reality techniques. In this paper, we propose a technique to create MARKERLESS augmented reality game using KUDAN AR engine which supports Unity engine and unity through 'Our Hero' project. Key Words : AR, Unity, Markerless,, Slamt, Argame * 이논문은 2016년도광운대학교교내학술연구비지원에의해연구되었음. Received 27 February 2017, Revised 30 March 2017 Accepted 20 April 2017, Published 28 April 2017 C The Society of Digital Policy & Management. All rights reserved. This is an open-access article distributed under the Corresponding Author : Jung hyung-won (KwangWoon terms of the Creative Commons Attribution Non-Commercial University, Graduate School of Information & Contents License (http://creativecommons.org/licenses/by-nc/3.0), which professor) permits unrestricted non-commercial use, distribution, and Email: hwjung@kw.ac.kr ISSN: 1738-1916 reproduction in any medium, provided the original work is properly cited. Journal of Digital Convergence 421
유니티와 KUDAN 엔진을활용한 MARKERLESS 방식의증강현실게임개발 - 우리동네히어로 의개발사례중심으로 1. 서론포켓몬 GO(Pokémon GO) 는구글의스타트업컴퍼니로시작해독립한나이앤틱 (Niantic, Inc.) 이개발한 ios 및안드로이드용부분유료화증강현실모바일게임이다 [1, 2]. 포켓몬고 의플레이방법은포켓몬을획득하기위해현실세계의특정위치로이동하는등현실과가상현실이합쳐진환경에서게임을한다 [3]. 유저는실제로포켓몬이있는장소를찾아다니며움직이면서게임을하게된다. 기존의게임과비료를하면정적으로앉아서게임을하던것에비해전혀다른경험을할수있게하여전세계적으로선풍적인인기를끌고있다. 포켓몬고 는출시후앱다운로드 1위를차지하며인기몰이를하고있다. 시밀러웹의데이터분석에따르면안드로이드사용자의경우일활성사용자수 (DAU) 는트위터를넘어섰을정도로큰인기를끌고있다 [4]. 포켓몬고 게임이전세계적으로인기를끌고있어서어느때보다도증강현실게임에대한관심이커지고있다. 우리동네히어로 게임은특정지역을중심으로한지역으로서게임에서지정한지역에 MARKERLESS방식의증강현실속에몬스터가나오고그몬스터를폭탄을던져서처치하는방식의게임으로지역중심의증강현실기능성게임개발의사례가될수있겠다. 기능성게임 (Serious Game) 이란기존의게임들이가지고있는재미요소뿐만아니라교육, 홍보, 군사, 국방, 종교등의요소들포함하고있는게임들을말한다 [5]. 본논문에서는대표적인게임엔진인유니티엔진과유니티엔진을지원하는 KUDAN 증강현실엔진을활용한게임개발프로젝트로증강현실의방식중마커리스 [6] 방식의증강현실게임의개발사례이다. 을지원하는엔진이다. 마커방식은객체를검색하여영상안에서물체와가장유사하다고판단되는모델을검색해내는일련의과정이다 [7]. 플러그인을설치하기위해 [Fig. 2] 에접속하여다운로드받는다. 다운로드를클릭한후간단한정보를입력하면 SDK를다운할수있다. TECH KUDAN OTHERS Number of target im age (m arkers) Cost per - scan Use of cloud services Rendering Cross platform devel opment Configuration of per form ance Integration with existing app Developm ent language Development tools, environment AR specific rendering Types of tracking There are no limits on m arkers with Kudan engine. Using our "Mass Marker" mode, Kudan Engine can detect from more than 10k local im age Zero. All detection calculations are done locally. Platform agnstic. Engine can be used with any cloud services provider. Kudan is a full stack engine. You have a choice to use our rendering engine or a 3rd party such as Unity. Com patible w ith any device that has a cam era, e.g. mobile, tablet, HMD KudanAR allows developers to configure robustness/sensitivity. The AR component can be easily integrated w ith existing apps. Our strength is to make 'Apps with AR', instead of AR Apps. M ultiple bindings including C+ +, Jave and O bjective C Tools can be run locally, allowing you to batch process your assets Kudan has many features that are specific to AR such as camera texture morphing and ambient light analysis, for m ore realistic rendering. M ultiple tracking m ethods such as m arker or SLAM, all within one package. M ost have lim itations on num bers. For large numbers of markers, you would have to use server recognition D ectection Calculation is done on cloud, resulting in per scan cost. Forced to use proprietary cloud services. Many do not have native rendering engine, depending on Unity. Most do not allow access and configuration of the camera. Most engines use a one size-fits-all m oels AR browers cannot be integrated with other apps. Integration w ith ecommerce function can be difficult. O ften only in C++ others require using their online services; requires marker to be processed one at a time. Others fully depend on external engines lack AR spcific features. Often choose to focus on just one type, meaning you w ill often need to combine different engines for the desired result. [Fig. 1] Comparison of KUDAN and other engines 2. 본론 2.1 KUDAN SDK KUDAN 엔진은증강현실엔진으로다른증강현실엔진에비해 [Fig. 1] 과같은기능들이강점이다. KUDAN 엔진은유니티플러그인을지원하는증강현실엔진으로서 KUDAN 홈페이지에서는 Slam으로불리우는 Markerless 방식의증강현실과 Marker 방식의증강현실 [Fig. 2] KUDAN download screen 2.2 유니티엔진 유니티엔진은게임이나실시간영상등을제작하기위 422 Journal of Digital Convergence 2017 Apr; 15(4): 421-426
Markrerless augmented reality game development method utilizing the Unity engine and KUDAN engine -In the center of ther development case of Our neighborhood hero 한통합저작도구이다. 또한많은플랫폼을빠르게개발할수도있다. 엔진자체에미들웨어를탑재하였다. 예로라이트맵핑이나, 물리엔진등이있다. 그리고에디터에애셋스토어가있어에디터내에서필요한애셋들을바로다운로드하여사용할수있다. 유니티엔진은무료엔진으로많은개발자들이사용하고있는엔진이다 [8, 9]. 2.3. 모바일증강현실 2.3.1 Markerless SLAM-based tracking Markerless기술은 Marker 없이눈에보이는영상을직접판별하고, 판별한영상을토대로관련정보를획득하여영상에부가하는기술이다 [10]. 그중 SLAM (Simultaneous Localization and Mapping) 은맵이알려지지않은미지의공간에서동시에 Localization 과 Mapping 을하는기법이다 [11]. SLAM은관측센서를이용하여알고리즘을생성한다. SLAM 시스템의구성은카메라등으로획득한영상데이터와센서데이터를이용하여맵을갱신한후이전위치와현재위치를보정한다 [12]. 이러한 SLAM 은증강현실분야등에많이응용되고있다. KUDAN 엔진의 MARKERLESS 트래킹방식의증강현실은 SLAM 기술을기반으로하고있다. 2.3.2 모바일증강현실기술증강현실이란 1997년도에증강현실기술조사논문에서제시한 Ronald Azuma 에따르면현실공간의구성물들 (real-world elements) 의이미지와가상의이미지가결합된것으로정의되어있다. 증강현실은가상현실의하나의분야에서파생된기술이다 [13, 14]. 또한, 사용자의환경과상호작용할수있다는게장점이다. 증강현실기술은하드웨어기술과소프트웨어기술로구분되어진다. 하드웨어기술은디스플레이, 입력장치, 컴퓨팅장치로구분된다. 소프트웨어기술은영상처리및인식기술, 트래킹기술, 증강현실클라이언트기술등으로구분된다 [15]. 증강현실의발전은스마트폰의빠른확산과함께발전하였다. 스마트폰에들어있는 GYRO 센서와, 기울기센서, 카메라, GPS 등이증강현실기술에사용되어모바일을활용한증강현실이급속히확산되었다. 특히게임을통하여보다많은사람들이증강현실을접할수있게되었다. 증강현실기술중에는현실의물체에서가상의정보를결합하기위해마커라는방식을이용한다. 또한 Marker 없이직접물체를인식하는 Markerless 기술또한빠르게발전하고있다 [16]. 3. 우리동네히어로개발 3.1 우리동네히어로기획의도 우리동네히어로 게임은 포켓몬고 와같은마커리스방식의증강현실게임이다. 지금까지나온증강현실게임은마커방식으로특정마커를사용하여캐릭터나고스트가나오게하는게임이대부분이다. 우리동네히어로 의증강현실은마커사용없이배경에자연스럽게고스트가나오는마커리스방식의게임이다. 또한휴대폰의 GPS를활용하며고스트의위치를실제지도를통해파악한다. 본게임은미리정해진지역에고스트를스캔한다. 스캔후고스트가생성되는지역이면그지역에해당하는고스트가나오고유저는폭탄을던져고스트를포획하는게임이다. 정해진고스트를다잡게되면유저는그지역에서사용할수있는쿠폰등의상품을경품으로받는다. 우리동네히어로 는특정지역을중심으로만든증강현실게임으로그지역의상가에서사용할수있는쿠폰등을보상으로줌으로써그지역의경제발전에크게도움을줄수있는게임이다. 또한지역의중요문화재나관광지, 상가등을게임의장소로활용하여게임을하는유저들이그장소를직접찾아게임을플레이하게되어지역의관광지홍보나문화재소개또한상가홍보에적극사용가능한기능성게임이다. 3.2 우리동네히어로개발 3.2.1 KUDAN SDK 설치다운로드받은 KudanARUnity.unitypackage 파일을유니티프로젝트에 [Fig. 3] 과같이 import 하면 SDK는설치완료가된다. 3.2.2 KUDAN 설정 MARKERLESS 프로젝트타입을 3D로설정후새로운프로젝트를시작한다. 게임씬제작을위해새로운씬을하나만든후 KUDAN AR UNITY SDK 의 unity package를 import 한다. Scene 생성시기본으로설치되어있는 MainCamera 와 Directional Light는삭제한다. Journal of Digital Convergence 423
유니티와 KUDAN 엔진을활용한 MARKERLESS 방식의증강현실게임개발 - 우리동네히어로 의개발사례중심으로 3.2.5 Markerless 설정 Markerless를기본방식으로설정하기위해 [Fig. 5] 와같이 Kudan Camera 의설정값을수정한다. Kudan Tracker 의 Default Tracking Method 와 Tracking Methods 의데이터를 Markerless로넣어둔다. [Fig. 5] KUDAN engine setup [Fig. 3] import screen 3.2.3 카메라설치프로젝트창의 KudanAR Prefabs Kudan Camera Marker Only 카메라 prefab을 Hirerachy뷰로드래그하여설치한다. 3.2.6 AR Scripts 씬뷰에서 Markerless 오브젝트를생성시키기위해다음과같은스크립트를사용한다. 오브젝트가생성될증강현실내의 3차원공간의 Vector3 position 과 Quaternion orientation의값을획득하기위해 _kudantracker. FloorPlaceGetPose() 함수를사용하여값을가져온다. 그리고, 이함수를이용하여획득한좌표와회전값을이용하여실제공간에 Markerless 오브젝트를화면에나오도록 _kudantracker.arbitrackstart() 함수를사용하여생성시킨다. 몬스터를생성하고자할때는 FloorPlaceGetPose() 함수호출후 ArbiTrackStart( 좌표, 회전값 ) 함수로몬스터를생성시킨다. [Fig. 4] unity view 3.2.4 DRIVER 설치 [Fig. 4] 와같이게임내에서나올증강현실오브젝트나캐릭터를저장하고있을 Drivers 오브젝트를 Hirerachy뷰에생성한다. Drivers 의자식으로 Markerless 오브젝트를생성하고 Markerless TransformDriver 스크립트를넣는다. [Fig. 6] ghost setup 424 Journal of Digital Convergence 2017 Apr; 15(4): 421-426
Markrerless augmented reality game development method utilizing the Unity engine and KUDAN engine -In the center of ther development case of Our neighborhood hero 3.2.7 몬스터의설정게임에등장할고스트를 Hirerachy뷰에있는 Driver 의자식 Markerless 하위에자식오브젝트로넣고고스트의 Animator 를설정하여몬스터가움직일수있도록하였다. 고스트가폭탄에반응할수있도록 [Fig. 6] 과같이 Collider 컴포넌트를설치한다. 3.2.8 폭탄의설정 [Fig. 7] 과같이폭탄오브젝트도 Markerless 오브젝트의하위에위치하여몬스터가생성될때동시에생성되도록하였다. 폭탄의위치는폭탄이발사될때를제외하고현재 AR카메라의앞에위치하여항상카메라위치에상관없이화면앞에위치하도록하였다. 실제실행가능하도록완성된프로젝트의타이틀화면은그림 [Fig. 8] 과같으며, 게임화면은 [Fig. 9] 와같다. 4. 결론 우리동네히어로 는특정지역을중심으로한프로젝트로증강현실게임이주는장점을잘살린프로젝트이다. 유니티엔진과 KUDAN AR엔진을활용하여 MARKERLESS 증강현실을개발함으로써증강현실게임을보다쉽게개발할수있었다. 우리동네히어로 는하나의지역에서시작하여추후여러지역으로확대할수있는장점이있다. 또한게임이단지한곳에머물러플레이하는것만은아니라는것을잘보여준사례이기도하다. 앞으로이프로젝트를각지역별로확대하여게임이필요로하는지역에서지역활성화에기여할수있는게임으로발전할수있을것이다. 이논문에서는 MARKERLESS 방식의 AR만연구되어있으나향후이연구사례를기반으로하여 KUDAN 엔진과 MARKER 방식을활용한지역중심의 AR게임에대해서도좀더연구를할필요가있을것이다. ACKNOWLEDGMENTS The present Research has been conducted by the Research Grant of Kwangwoon University in 2016. [Fig. 7] bomb setup REFERENCES [Fig. 8] title [Fig. 9] play [1] Wikipedia, https://ko.wikipedia.org/wiki/ 포켓몬 _GO #cite_note-9 [2] Wikipedia, https://ko.wikipedia.org/wiki/ 포켓몬 _GO #cite_note-9 [3] Dictionary, common knowledge dictionary, pmg knowledge engine institute, http://terms.naver.com/entry.nhn? docid= 3405952&cid=43667&categoryId=43667 [4] BLOOTER "Mobile game where Pokemon meets reality" http://www.bloter.net [5] Seon-jeong Yoon,,Hee-sook Park Implementation and Design of Metadata and Quality Evaluation Management Systems for Educational Serious Game Journal of Digital Convergence 425
유니티와 KUDAN 엔진을활용한 MARKERLESS 방식의증강현실게임개발 - 우리동네히어로 의개발사례중심으로 The Korean Institute of Information and Communication Engineers v.17 no.4, 2013, pp.1020-1027 p1 [6] Ja-Myong Koo,Tai-Hoon Cho An Implementation of Markerless Augmented Reality Using Efficient Reference Data Sets, p2, The journal of the Korea Institute of Maritime Information & Communication Sciences.13no.11, 2009 [7] Jo, Hui-Joon,Kim, Dae-Won Non-Marker Based Mobile Augmented Reality Technology Using Image Recognition, The Journal of Korea Institute of Signal Processing and Systems) v.12 no.4, 2011 년, pp.258-266 p260 [8] Absolute course! Unity 5, Wikisource, Lee Jae-hyun 2015 [9] Wikipedia https://ko.wikipedia.org/wiki/ 유니티 _( 게임 _ 엔진 ) [10] Samsung Economic Research Institute, SERI Management Note 2, Samsung Economic Research Institute,,p361 2011.04.15. [11] Ahn Jae-gon, efficient map structure integrated with SLAM for intelligent robot navigation systems, Thesis (Master) - Konkuk University Graduate School: Department of Advanced Application (Department) 2011.2, p9 [12] Ryu seong gu,jeong Gildo, Implementation of the SLAM System Using a Single Vision and Distance Sensors Journal of the Institute of Electronics Engineers of Korea. SC, v.45 no.6 = no.324, 2008년, pp.149-156 p8 [13] Su-Young Pi, Myung-Suk Lee, "Developing a Convergent Class Model of Augmented Reality and Art", Journal of digital Convergence, Vol. 14, No. 5, pp. 85-93, 2016. [14] Bang Joon-sung, Choi Eun-joo, "Trends and Prospects of Technology in Augmented Reality and Domestic and Foreign Countries", ISBN 978-89-6211-060-6, Korea Institute of Science and Technology Information. [15] Ji-Yean Yoon, Il-Young Moon The Study on Marker-less Tracking Algorithm Performancebased on Mobile Augmented Reality,p1033~1034, (JKONI 16(6): 1032-1037, Dec. 2012) [16] Sung-Ho Kim, Development of the 3D Hair Style Simulator using Augmented Realityd, Journal of the Korea Convergence Society, Vol. 6, No. 6, pp. 249-255, 2015. 김한호 (Kim Han ho) 2005 년 2 월 : 동신대학교컴퓨터학과 2016 년 8 월 ~ 현재 : 광운대학교정보콘텐츠대학원 관심분야 : 게임 E-Mail : hanhokim@kw.ac.kr 정형원 (Jung Hyung won) 2003년 2월 : 상명대학교대학원게임학석사 2010년 2월 : 상명대학교대학원게임학박사 2004년 8월 ~ 현재 : 광운대학교정보콘텐츠대학원게임학과주임교수 관심분야 : 교육용게임, 가상현실, 게임학이론 E-Mail : hwjung@kw.ac.kr 426 Journal of Digital Convergence 2017 Apr; 15(4): 421-426