Journal of the Korea Institute of Information and Communication Engineering 한국정보통신학회논문지 (J. Korea Inst. Inf. Commun. Eng.) Vol. 18, No. 6 : 1481~1487 Jun. 2014 증강현실을활용한모바일위치기반응용서비스앱개발 김재필 1 이동철 2* Development of Mobile Location Based Service App Using Augmented Reality Jae-pil Kim 1 Dong-cheol Lee 2* 1 Department of Management Information Systems, Jeju National University, Jeju 690-756, Korea 2* Department of Management Information Systems, Jeju National University, Jeju 690-756, Korea 요약 본논문에서는스마트폰의대중화로인하여, 증강현실기술적용에적합한스마트폰용위치기반어플리케이션으로골프정보시스템을개발하였다. 골프는목적지나장애물까지의정확한거리와모양등을정확히알아야하는스포츠로서증강현실기술적용에적합한스포츠이다. 골프스포츠의대중화로골프인구는지속적으로증가하고있으나현재출시된골프관련스마트폰용앱들은 2D 이미지와 GPS 기반으로만구축되어현장감 사실감이많이부족한상황이다. 이에골프장의실제환경에따른다양한정보를제공해줄수있는증강현실기반시스템으로증강현실용오픈소스인 Mixare 를골프스포츠에유용하게수정 보완하여골프정보시스템을개발하고실제골프장에의적용에대하여기술하였다. ABSTRACT Recently, with the popularization of smartphones, augmented reality has become even more familiar to the public as an application that can provide realistic images as a tool for location-based services. Therefore, as a location-based application for smartphones that is appropriate for the application of augmented reality technology, the study develops a golf information system. Golf is the sport for which we should exactly know the accurate shape or distance to the destinations or obstacles, so the sport is suitable for applying the augmented reality technology. Even though the sport of golf has constantly increasing population to play it with the popularization of it, presently released golf-related smartphone apps are established as 2D images or in GPS basis; thus, they lack a sense of realism unfortunately. Thereupon, this study develops a golf information system by modifying and complementing usefully Mixare, the open source for augmented reality, for the sport of golf into an augmented reality-based system that can provide various information according to the actual environment of the golf course and describes how to apply it actually to the golf course. 키워드 : 증강현실, 스마트폰, 위치기반서비스, 골프 Key word : Augmented Reality(AR), Smart Phone, Location Based Service(LBS), golf 접수일자 : 2013. 08. 20 심사완료일자 : 2013. 09. 11 게재확정일자 : 2013. 10. 01 * Corresponding Author Dong-Cheol Lee(E-mail:dchlee@jejunu.ac.kr, Tel:+82-64-754-3185) Department of Management Information Systems, Jeju National University, Jeju 690-756, Korea Open Access http://dx.doi.org/10.6109/jkiice.2014.18.6.1481 print ISSN: 2234-4772 online ISSN: 2288-4165 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/ by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Copyright C The Korea Institute of Information and Communication Engineering.
한국정보통신학회논문지 (J. Korea Inst. Inf. Commun. Eng.) Vol. 18, No. 6 : 1481~1487 Jun. 2014 Ⅰ. 서론 1992년보잉사의톰코델과데이비드미젤에의해서처음으로명명된 증강현실 은최근스마트폰의급속한보급확대로모바일어플리케이션을통해서본격적으로상용화되기시작하여차세대유망분야중의하나로자리를굳혀가고있다 [1]. 증강현실 (Augmented Reality, AR) 은가상현실 (Virtual Reality, VR) 의한분야로서현실공간에서가상의물체를부분적으로결합하거나정보를추가해실시간으로보여주는기술로현실세계와가상의체험을결합하는기술을의미한다. 이는현실세계의영상을부가정보를갖는가상세계를합쳐실시간으로하나의영상으로보여주므로혼합현실 (Mixed Reality, MR) 이라고도한다. 현실환경과가상환경을융합하는복합형가상현실시스템 (hybrid VR system) 은 1990년대후반부터미국 일본을중심으로연구 개발이진행되고있다 [2,3]. 최근스마트디바이스와네트워크의고도화로그사용성이현실화되면서유망기술로각광받고있다. 증강현실의구현을위해서는카메라, 위치센서, 자이로센서및가속도센서등의외부입력요소가필요하였으나, 최근모바일환경의스마트디바이스가이에필요한대부분의기능을구비하고있어모바일환경에서증강현실의구현을통한사용성이현실화되었다 [4]. 따라서스마트디바이스의일종인스마트폰에내장된여러가지기능을활용한증강현실용용시스템을구현함으로써모바일환경에서증강현실기술적용의필요성을확인하고자한다. 이에따라본연구는골프스포츠의대중화로골프인구는지속적으로증가하고있으며, 골프장의실제환경에따른다양한정보를제공해주어골프를하는일반인들이실제골프장에서경기를하면서직면하는어려움과애로사항을덜어주기위한시스템개발에그목적을두었다. 물론현재출시된골프관련스마트폰용 App들은다수나와있지만, 이는골프장의 2D 이미지와 GPS 기반으로구성되어있어현장감 사실감이아주부족하며이를대체할수있는증강현실기술이접목된 App이필요하다. 본연구의 2장에서는모바일증강현실기술의일반적인동향과이기술을적용한응용시스템으로서골프정보제공시스템개발의필요성을제시하였으며, 3장에서 는증강현실의각모듈을골프정보시스템에적합하게개발하고기존방식과의유용성을분석, 확인한다. 4장에서는개발된골프정보시스템애플리케이션의실제구현을기술하며, 마지막 5장에서는결론및향후발전방향을제시한다. Ⅱ. 모바일 AR 기술개요 2.1. 모바일 AR 기술동향모바일 AR 구현에필요한주요기술로는사용자의위치, 방향, 움직임등에대한추적 (Tracking) 기술, 컴퓨터그래픽을통해가상의물체를만들어내고실제영상의위치에정확히배치하는정합 (Registration) 기술, 그리고 Display 등사용자와의상호작용을처리하는 UI(User Interface) 기술등이있다. 그림 1. AR 시스템구성 Fig. 1 AR System Configuration AR시스템은그림 1과같이현실세계의카메라촬영영상을전송하면, 비디오인터페이스 (Video Interface) 를통해그이미지를사물의위치와움직임, 속도방향등을추적하는기능을수행하는추적 (Tracking) 모듈로전달한다. 다음랜더링 (Rendering) 모듈에서는추적모듈을통해파악된사물의위치기반으로가상물체의생성이나제거작업을통해증강이미지를생성한다. 그후병합 (Merging) 모듈을통해생성된가상물체들간의거리, 생성된좌표계간의거리와방향을측정하고가상물체간의간섭여부를확인하여화면 (Display) 을통해증강현실이표현된다. 한편추적 (Tracking) 모듈은센서기반기술과비전기반기술로나눌수있는데비전기반기술은마커기반과 1482
증강현실을활용한모바일위치기반응용서비스앱개발 비마커기반등으로나누어설명할수있다 [5]. 센서기반기술은모바일디바이스에서활용가능한 GPS, 가속도센서, 자이로센서등을이용하여사물의움직임, 위치, 방향등을추적하여화면에증강위치를파악하여관련콘텐츠를시각화하는기술을말하며비교적쉽게구현할수있기때문에많이활용되고있으나특정위치에서정확한정보증강이어렵다는단점이있다. 대표적인활용사례로는 SPRXMobile사의 Layer, Mobilizy사의 Wikitude, 국내의올라웍스사가개발한 ScanSearch 등이있다 [6]. 비전기반기술중에마커기반기술은카메라등을이용해서 QR코드와같은마커를인식, 추적하고매핑하는기술이며, 비마커기반기술도카메라를통하여촬영된이미지와비교대상물체를필터링하고이를비교하여관련된정보를제공하는기술을말한다. 비전기반증강현실기술의활용사례로는 AR Phone과 Studistube ES등이있으며, 비전기반사례로는 Phone Guide와 SR Engine 소프트웨어등이있다 [6]. 또한정합기술은가상의물체를실제영상의위치에정확히배치하는기술로서위치 (Positioning), 랜더링 (Rendering), 병합 (Merging) 의 3단계로구성된다. 향후 AR기술은추적기술측면에서는마커 (Marker) 등을통해정보를제공하는비전기반및 GPS 등위치기반 AR에서이미지인식으로진화하고나아가구글의 Project Glass 와같이실제 3D 환경을인지하고관련환경의맥락을이해하는맥락인식기반 AR로발전할것으로전망된다. 또한스마트폰칩셋에 AR기술이기본탑재되면현재보다진일보된 AR 애플리케이션 ( 앱 ) 개발이더쉽게용이하게될것이다. 2.2. 모바일 AR응용시스템개발의필요성본연구에서는모바일증강현실응용시스템으로서목적지나장애물까지의정확한거리와모양등이정확히필요한골프정보시스템애플리케이션 ( 앱 ) 을적용하였다. 최근골프스포츠의대중화로골프인구는지속적으로증가하고있으며, 골프의특성상골프장마다골퍼의위치와거리에따른다양한정보가필요한운동이므로증강현실기술을적용하기에적합한응용이다. 표 1. 국내개발앱 Table. 1 Domestic Development App 회사명제품명 파이골프나비 지코어그린캐디 애니캐디 파이골프 그린캐디 애니캐디 내용 - 구글맵과 GPS 기반의스마트폰골프앱 -2D 이미지기반 - 카메라를이용한표고차확인기능 - 장애물, 비거리와볼의위치, 클럽추천 -2D 그래픽 +GPS - 클럽거리, 평균거리, 비거리측정정보 - 공략거리및지점설정 - 골프장정보 - 아이폰및안드로이드폰사용가능 -2D 그래픽 +GPS - 클럽거리, 평균거리, 비거리측정 - 공략거리및지점설정 - 자동홀인식기능 - 아이폰및안드로이드폰사용가능 표 2. 해외개발앱 Table. 2 Overseas Development App 회사명제품명내용 골프샷 SkyDroid -Golf GPS 골프샷 SkyDroid -Golf GPS -2D 그래픽 +GPS - 클럽거리, 평균거리, 비거리측정 - 공략거리및지점설정 - 골프장정보 - 아이폰만사용가능 -simple 한디자인 - 그린의전 / 후면및센터거리제공 - 위성맵을통한모든코스 / 그린보기 - 플레이한공의궤적저장 / 보기 - 아이폰및안드로이드사용가능 물론, 현재골프관련스마트폰용앱들은다수출시되어있으나, 표 1, 표 2와같이대부분골프장의 2D이미지와 GPS 기반으로구성되어있어정확도와현장감 사실감이다소부족한실정이다. 따라서증강현실을이용하여각골프장의실제환경에따른다양한정보를제공함으로써일반인들이실제골프장에서경기를하면서직면하는어려움과애로사항을스마트폰의센서와 AR기술을활용해서해소할수있다. 실제골프장의영상을정합된골프장의정보를보여주는증강현실영상을함께보여줌으로써그유용성이더욱더증대된다. 1483
한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 18, No. 6 : 1481~1487 Jun. 2014 표 3. Mixare와 Mixare-G의 성능 비교 Table. 3 Comparison of the Mixare and Mixare-G Ⅲ. 응용서비스 앱 개발 및 성능분석 항목 Mixare Mixare-G 골프장의 환경을 골프 App에 구현된 AR(증강현실) 기 object 배치 원형 수평 술을 통하여 골프코스와 1:1로 매칭되는 다양한 정보를 object 사이즈 변경 불가 변경 가능 대한 정확히 정합시켜 제공하는 서비스를 구현하도록 object 정확성 위치파악 힘듦 위치파악 양호 하였다. 이를 위해 개발되는 앱에는 AR(증강현실) 모 센서 민감도 심함 보통 증강현실 응용서비스를 위한 앱(Application, App)은 출력하여 실제 골프 코스화면과 가상의 골프정보를 최 비고 거리에 따른 아이콘사이즈 듈, 자이로스코프 센싱 기술, GPS 검출 및 적용 알고리 즘과 GPS 오차범위를 보정할 수 있는 GPS Map Utility 3.2. 자이로스코프 센싱 기술 적용 를 적용하였다. 회전이나 가속을 구성하는 센서 또한 제조사와 제조 단말기에 따라 다르고, 근접 센서의 반응속도는 빠르나 3.1. AR 모듈 안드로이드와 아이폰 3G 이상에서 사용할 수 있는 무료 증강현실 오픈소스이며 증강현실에 대한 기본적 인 기능들이 구현되어 있는 Mixare AR[7]을 기반으로 하여 개발하였다. 오픈소스가 많은 영상기반 증강현실 과 다르게 위치기반 증강현실에는 Mixare가 거의 유일 한 오픈소스이므로 이를 분석, 수정 보완하여 Mixare-G 를 개발, 구현하였다[8]. Mixare AR 거리가 매우 짧아 근접 센서를 사용해서 프로그램을 구 현하기 위해서는 많은 제약이 따른다. 보통의 경우 가속, 조도, 근접, 자기 센서는 베이스 모 듈이기에 개발에 필요한 센서 기능인 가속, 조도, 자기 센서만 추출 및 적용하며, 최근 스마트폰에 적용되는 자이로스코프센서는 섬세하게 스마트폰의 움직임을 감 지하는 장점이 있다. 기기별 센서 테스트 Mixare-G AR 그림 2. Mixare AR과 Mixare-G AR의 동작 방식 Fig. 2 Action type of Mixare AR and Mixare-G AR Mixare AR 모듈은 그림 2와 같이 스마트폰 카메라 view에 overlay 되는 object들이 특정한 원형라인을 따 라 동작하므로 Mixare-G는 시각적 효과를 위해 overlay 되는 object들의 아이콘의 사이즈를 거리에 따라 변경 토록 알고리즘 적용 및 호출하였다. 즉, 목표지점(장애 물)에 따른 아이콘의 위치와 정확성을 증가시키기 위해 그림 3. 센서 테스트의 결과 및 보정 Fig. 3 Sensor test results and calibration 삼각측량 방위각을 활용한 알고리즘을 적용하였다. 구 글 어스를 통해 방위각의 오차정도를 비교 분석 결과 그러나 안드로이드 폰 자체의 자이로스코프 센서는 표 3과 같이 두 지점간의 방위각을 통해 거리 및 위치상 민감도가 너무 미세하여, 골프의 특성상 센서 데이터 의 정확성이 향상되었다. 값 호출시 소수점 부분 반올림 처리하여 그림 3과 같이 1484
증강현실을활용한모바일위치기반응용서비스앱개발 민감도를다소조정한결과표 3과같이민감도가둔화되었다. 현재내휴대폰위치와카메라가향하고있는목표지점 ( 장애물 ) 의 GPS 좌표데이터를호출하여그목표지점까지의방향데이터를취득하도록하였다. 취득된방향데이터와기기내방향데이터의센서값에따른 Object 위치알고리즘을적용하였다. GPS 편차보정 -1 GPS 편차보정 -2 3.3. GPS 검출및적용알고리즘개발정확한거리와위치를산정하여제시해주는것은신뢰성있는정보제공을통한사용성확보측면에서매우중요하다. 따라서 GPS 센서를통해수신된거리나위치정보를실제와비교해서얼마만큼정확하게보여줄수있는지에대한사항이매우중요하다. 즉, 현재자신의위치에대한정보를얼마나정확하게받아오는지에대한확인이필요하다. 구글맵현재위치 안드로이드기기좌표상의위치 그림 5. GPS 편차보정화면 Fig. 5 GPS deviation calibration screen 표 4. 편차보정후오차비교 Table. 4 Comparison the error after correction deviations 구분 안드로이드폰 GPS 좌표 : 33.505117, 126.537470 GPS 좌표 : 33.505139, 126.537443 일반 GPS 오차 GPS 오차보정후 Map 의오차 ( 정확성 ) 5 ~ 10m 내외 5m 내외 Ⅳ. 골프정보시스템 (Golf Vill) 구현 그림 4. GPS 위치정보의비교 Fig. 4 Comparison of GPS location information 스마트폰의 GPS는기기의특성에따라그림 4와같이기본적인오차범위는약 5 10m 내외오차를포함하고있음에따라실제거리와구글맵의위치의차이를계산하는알고리즘을개발하고, 이를해결하기위하여프로그램에서 GPS를보정할수있는기능을그림 5와같이구성한결과표 4와같이오차가 5m정도로축소되었다. 골프정보시스템은제주지역의모골프장을모델로하고수차례방문한후실측사진정보와구글지도등을참고하여안드로이드기반으로개발되었다. 증강현실개발오픈소스인 Mixare를수정보완하여개발된 Mixare-G, 자이로스코프센싱기술의적용과, GPS 계산및편차보정을통하여증강현실응용시스템으로서골프정보시스템 (Golf Vill) 메뉴는표 5의대분류, 중분류와같이구성하였다. 또한이에따른주요 User Interface는다음그림 6과같이구현하였다. 즉, 메인화면에는대분류인골프장정보와골프빌캐디, 스코어관리, SNS, 사용법설명그리고 QUICK CADDY 메뉴로구성되었으며, 각메뉴의기능을표 5 에설명되어있다. 1485
한국정보통신학회논문지 (J. Korea Inst. Inf. Commun. Eng.) Vol. 18, No. 6 : 1481~1487 Jun. 2014 본개발의핵심이라고할수있는증강현실메뉴는메인화면에있는골프빌캐디메뉴의하위메뉴에구성되었으며, 그림 6의골프빌캐디 ( 증강현실 ) 화면에장애물 ( 목적지 ) 까지의거리가순서대로표시되어있다. 스코어관리화면 SNS 화면 표 5. Golf Vill 메뉴구성 Table. 5 Golf Vill menu structure 대분류 중분류 설명 골프장안내 골프장소개 (000골프클럽) 골프장 코스보기 코스, 홀, 홀상세소개 정보 부대시설 부대시설소개 (000골프클럽 ) 오시는길 골프장위치표시 ( 구글맵 ) 골프빌캐디 퀵캐디 스코어관리 SNS 환경설정사용법 증강현실맵그린팁날씨 SNS 스코어관리 환경설정 장애물위치및거리정보출력해당홀이미지맵출력해당홀그린출력해당위치의날씨정보출력 Twitter 작성및조회현재 Score 작성및조회 단위설정, GPS 보정, 사용자설정, 평균클럽비거리설정 가장가까운티박스의홀정보출력. 현재위치에서목표지점까지의거리조회및그린팁조회 스코어목록조회및상세, 트래킹정보출력 Twitter/Facebook 작성및조회 단위설정, GPS 보정, 사용자설정, 평균클럽비거리설정 GOLFVILL Caddy App 사용방법 골프빌캐디 ( 증강현실 ) 화면 그림 6. smart phone 의앱동작화면 (Usre Interface) Fig. 6 smart phone App opreation screen Ⅴ. 결론 메인화면골프장정보화면 본연구는최근스마트폰이보급이급증함에따라스마트폰에적합한서비스로등장하고있는위치기반서비스를기반으로한증강현실기술을활용하는스마트폰용앱 골프정보시스템 의개발및구현에관하여기술하였다. 증강현실용오픈소스인 Mixare를수정보완한 Mixare-G와자이로스코프센싱기술을적용해개발한골프제공시스템은골퍼들이실제골프장에서경기를하면서직면하는문제인거리와위치정보의실감영상정보제공에기여하였다. 즉, 골프게임에서중요한그린현장에서홀이나해저드, 벙커등의각종장애물까지의거리를비실사정보를정확히 OverLay 하여실사의정보를잘해석할수있도록증강현실기술활용한것이다. 이에따라골프게임에실제적용할경우장애 1486
증강현실을활용한모바일위치기반응용서비스앱개발 물의위치나 ㄱ ㄴ 자홀에따른그린위치판별문제, 그린까지의거리에대한정보, 현장에서골프클럽에따른정보, 바람등의기상정보의부재같은문제점에대한해결책을제시하였다. 이는지금까지증강현실기술을관광이나지역정보제공에주로이용되어왔으나, 본논문에서제안한위치기반서비스와영상인식기술을바탕으로한시스템을활용하여영상검색, 커뮤니케이션, 엔터테인먼트, 레저활동등의다양한형태의비즈니스모델로범위를확대시킬수있을것이다. 감사의글이논문은 2014년도제주대학교학술진흥연구비지원사업에의하여연구되었음 REFERENCES [1] CMAR(Car MObile Augumented Reality) http://dnldf1234. blog.me/401488633421 [2] Augmented Reality, http://en.wikipedia.org/wiki/augmented _reality [3] Nikkei Communications, Revolution by the Smartphones and the Web, Everything on Augmented Reality, Translation by Hana Ryu, Mentor, 2010. [4] W. S. Jang, Y. G. Ji, Usability Evaluation for Smart Phone Augmented Reality Application User Interface, Society for e-business Studies, No 16, Vol 1, pp.35-47, 2011. [5] J. H. Jun, Standardization mobile augmented reality, TTA Journal, pp.81-86, Jan. 2012. [6] B. H. Jo, Mobile Augmented Reality Technology Trends, IT planning series, NIPA, pp.16-23, Jan. 2013. [7] Mixare, http://mixare.org/ [8] J. G. Son. B. K. Ju, Development of Location Information Service App Using an Open Source for Augmented Reality, Society for e-business Studies, No 13, Vol 1, pp.267-272, Jan. 2013. 김재필 (Jae-Pil Kim) 2002 년제주대학교통신공학과공학석사 2007 년제주대학교경영정보학과박사수료 관심분야 : MIS, 디지털콘텐츠, EC 이동철 (Dong-Cheol Lee) 2002 년성균관대학교산업공학과공학박사 2003 년 ~ 현제주대학교경영정보학과교수 관심분야 : MIS, EC, Agent, 콘텐츠비즈니스 1487