Journal of the Korea Academia-Industrial cooperation Society Vol. 15, No. 12 pp. 7187-7192, 2014 http://dx.doi.org/10.5762/kais.2014.15.12.7187 ISSN 1975-4701 / eissn 2288-4688 센서및카메라기술을적용한스마트폰파노라마사진지원시스템설계 김봉현 1, 오상영 2* 1 경남대학교컴퓨터공학과, 2 영동대학교경영학과 Design of a Smart Phone Panoramic Photograph Support System Using Sensor and Camera Technology Bong-Hyun Kim 1, Sang-Young Oh 2* 1 Dept. of Computer Engineering, Kyungnam University 2 Dept. of Business Administration, Youngdong University 요약최근들어, 위치기반의서비스분야는다양한사업영역으로확대되면서많은수익원을창출하고있다. 특히, 지도서비스는대중교통, 길찾기등과연동하여다양한정보를제공하고있다. 따라서, 본논문에서는지도서비스의핵심기술중하나로사용되고있는스트리트뷰, 로드뷰의파노라마사진지원서비스를스마트폰에서지원할수있는시스템을설계하기위한연구를수행하고자한다. 이를위해스마트폰의센서들을활용하여사용자들이쉽게파노라마사진을제작할수있도록사진촬영가이드를제공하고여러장의사진에서불필요한부분을제거하여사진연결부분의자연스러움등을처리하는알고리즘을적용하여한장의사진으로제공할수있는기술을설계하고자한다. 최종적으로, 6개월동안스마트폰파노라마사진과연동할수있는시스템을구성하고스마트폰파노라마사진어플을운영할수있는시스템을설계하고자한다. Abstract Recently, theservice field based on the location while expanding into a variety of business areas and have generated significant revenue. In particular, the map service provides a variety of information in conjunction with such public transport directions. Therefore, this study evaluated the map service, as one of the key technologies, StreetView and LoadView photographs of panoramic photograph-support service-modules that can be supported on smart phones. For this, purpose sensors were provided to allow smart phone users to easily publish panoramic photographs. The unnecessary parts could be removed from several photos and pictures using the design technology, and the naturalness of the connection could be maintained by applying the algorithm to handle a single photograph. Finally, a system to work with smartphone panoramic photographs was configured and designed to operate a smartphone application panoramic photograph for 6 months. Key Words : Panoramic Photograph, Sensor Technology, Camera Technology, Smart Phone 1. 서론최근들어인터넷포털의주수익원인검색광고시장이포화상태에이르고있으며경기침체로인해성장세가주춤하고있다. 이에반해위치기반지도서비스는급 격하게활성화된사업영역으로지역광고등많은수익원을창출하고있다. 인터넷포털사이트에서위치기반서비스기술을활용하는다음 (Daum) 과네이버 (Naver) 는지도서비스를전면확대하여버스, 지하철, 기차, 항공등대중교통연동및 도시간길찾기 기능을지원하 * Corresponding Author : Sang-Young Oh(Youngdong Univ.) Tel: +82-43-740-1285 email : culture@yd.ac.kr Received October 23, 2014 Revised November 3, 2014 Accepted December 11, 2014 7187
한국산학기술학회논문지제 15 권제 12 호, 2014 고있다. 또한주요도로실시간폐쇄회로 (CC) TV를통한도로상황확인, 자전거도로, 등산로등에관련된다양한정보서비스를하고있다. 이러한위치기반서비스를제공하기위해위성망을이용한 GPS나셀룰러망을이용한방식등이대표적으로활용되다가최근에는 AP(Access Point) 를이용한무선측위기법에대한연구도활발하게진행되고있다 [1,2]. 이와같은위치기반서비스분야는위치기반의실사영상제공서비스, 차량항법시스템등으로인해일반사용자들에대한공간정보및관련콘텐츠서비스시장이급속히확대되고있는추세이다. 예를들어, 구글어스의 스트리트뷰 와국내다음의 로드뷰 등일부포탈업체에서의인터넷을통한실제거리영상서비스는일반사용자의공간정보의활용및인식변화에많은영향을미쳤다. 또한최근모바일시장이활성화되면서스마트폰은위치정보센서, 상하센서, 터치센서등의센서를내장하면서이를활용한콘텐츠가사용자들에게많은호응을얻고있다. 스마트폰콘텐츠에서도스마트폰내에장착된위치정보센서를활용해스카이뷰, 스트리트뷰, 로드뷰등의지도서비스가제공되고있다. 그러나스마트폰의사용자들은스카이뷰, 스트리트뷰, 로드뷰등의지도서비스를사용하면서지도서비스에문제점이제기되고이다. 예를들어로드뷰서비스가일부대도시만서비스되는문제, 특정업체만의콘텐츠업로드로인해발생하는로드뷰갱신의불편함문제등이다. 이러한것은스마트폰사용자들이웹 2.0세대로서포탈이제공하는서비스사용을넘어정보제공자로서활동을원하고있기때문에이에대한문제를해결해야한다. 또한, 위치기반지도서비스는단순지도만을표시하는서비스에서실세계를가상공간에옮겨놓은듯이스트리트뷰, 로드뷰가구현되어사용자에게보다직관적으로지리정보를알아볼수있도록정보를제공해야한다. 스트리트뷰, 로드뷰서비스는특수카메라를사용하여지도콘텐츠인파노라마사진을제작하기때문에사용자들이일반스마트폰을사용하여이와같은콘텐츠를제작하는것은불가능하다. 또한, 이러한서비스는기술적인문제로인해지속적으로사용자참여가제한될수밖에없다 [3,4,5]. 따라서, 본논문에서는기존의웹상에서수행되던지도서비스의핵심기술중하나로사용되고있는파노라마사진지원서비스를스마트폰으로구현할수있는파노라마지원시스템을설계, 개발하기위한연구를수행 하고자한다. 이를위해스마트폰의센서들을활용하여사용자들이쉽게파노라마사진을제작할수있도록사진촬영가이드와여러장의사진을한장의사진으로불필요한부분을제거할수있는방법과자연스러운사진연결부분등을처리할수있는알고리즘을연구하고자한다. 또한위치기반지도를제작하고파노라마사진을등록할수있는서비스서버를이용하여스마트폰의파노라마사진을연동할수있는모듈을구현하고, 스마트폰의파노라마사진어플 (Application) 을운영할수있는시스템을설계하고자한다. 2. 선행기술의연구 2.1 웹기술모든서비스는어느덧웹으로옮겨지고있다. 웹은인간의사회, 경제활동을위한매개체로모든서비스를위한플랫폼으로인식되고있다. 이에웹콘텐츠를생성하는데있어사용자참여를증대시키고, 이를개방하여다른사용자들과공유하려는웹 2.0은새로운기술이라기보다하나의패러다임이라고보아야한다. 기존의웹기술이이미만들어진콘텐츠를제공받는형식이었다면, 새로운웹의패러다임은기존에콘텐츠를제공받던사용자들도웹의콘텐츠제작에참여하여다른사용자간에공유를통해웹의공동제작을통해콘텐츠의양과질을높여가는방법이다. 그위에이동중에도휴대폰이나휴대형컴퓨터등을통해웹콘텐츠를이용할수있도록해주는모바일웹기술이필요하다. 2.2 지도기반실세계정보제공서비스지도상에그지점에서찍은사진을올려놓음으로써, 실세계정보를제공하려는서비스들이있다. 그대표적인서비스사례로는플리커의지도서비스를들수있다. 플리커의지도서비스는사진에위치태그를넣어서사진촬영지를보여주거나세계를브라우징하고다른사람들이어디에다녀왔는지, 무엇을보았는지를일반사용자들이볼수있도록해놓은서비스이다. 이와비슷한형태의서비스로한국야후 (Yahoo Korea) 의라이프맵과사이월드의개인화지도서비스를들수있다. 야후의라이프맵서비스는플리커와연동한서비스를제공한다. 일상사진을시간과위치정보에따라지도위에저장하 7188
센서및카메라기술을적용한스마트폰파노라마사진지원시스템설계 고이를다른사람들과함께공유하기도한다. 야후의라이프맵서비스를통해관심지역별로다른사람들과의이야기와정보를공유할수있는오픈형지역커뮤니티를형성하기도한다 [6,7]. 싸이월드의개인화지도서비스는싸이월드미니홈피의사진을드래그앤드롭방식으로지도상에올려놓음으로써실제지도상에기록하는서비스이다. 2.3 파노라마사진기반지도서비스파노라마사진이란한지점에서 360 를돌아가며다양한각도에서찍은사진을조함하여마치 3차원공간을보는듯이착각을일으키게하는것을말한다 [8]. 이를이용한대표적인서비스가구글의 스트리트뷰 지도서비스를들수있다. 스트리트뷰서비스는구글맵서비스와결합한서비스로지도상의특정위치의거리와모습을파노라마사진을통해제공하는서비스이다. 사진속의거리에화살표가표시되며이를클릭하면원하는방향으로사진이이동한다. 또한거리를다양한각도에서볼수있어사용자가실제그거리에있는듯이착각을불러일으킨다. 2.4 파노라마사진촬영시스템스트리트뷰나다음의로드뷰등을촬영하는센서는여러대의카메라를바깥방향으로촬영하여하나의사진으로제작하는시스템이다. 로드뷰의사진촬영시스템은픽스코리아에서제작하였으며기본적으로 4대의카메라에어안렌즈를부착하여촬영한후소프트웨어를이용하여 4장의사진을스티칭한후하나의영상으로만드는방식으로파노라마사진을제작한다. 스트리트뷰의사진촬영시스템은캐나다의이머시브미디어 (Immersive Media) 에서제작하였으며기본적으로 11대의카메라를부착해서촬영한후소프트웨어를이용하여 11장의사진을스티칭하여하나의영상으로만드는방식으로파노라마사진을제작한다. 이러한촬영시스템은스트리트뷰, 로드뷰의서비스를위해주문제작되었고사용하는곳도서비스를구축하는몇개의지도서비스를제공하는포탈에서만한정적으로사용하고있다. [Fig. 1] System structure using panorama picture module 7189
한국산학기술학회논문지제 15 권제 12 호, 2014 3. 파노라마사진지원시스템설계본연구에서는구글의스리트뷰나다음의로드뷰제작용특수용카메라를사용하지않고도파노라마사진을제작할수있는시스템을개발하기위한파노라마사진지원시스템을설계하였다. 이를위해스마트폰의사진시스템을구동하여스마트폰사진기의해상도및촬영조건을정해진조건을설정하여주변사진을획득할수있는파노라마사진촬영기술을제안하였다. 또한파노라마사진을촬영할수있도록방향을표시하고촬영각도를제시하여사진을찍을수있도록가이드하는사용자인터페이스를설계하였다. 그리고촬영된사진을기반으로 360 의일체된파노라마사진을합성하기위한모바일용의경량화된알고리즘을설계하였다. 마지막으로촬영하여제작된파노라마사진을스마트폰어플을이용하여지도서버에등록하고, 스마트폰의화면에서구현할수있는시스템을설계하였다 [9,10]. [Fig. 1] 은파노라마사진지원모듈을적용한전체시스템구성도이다. 이와같이본논문에서는파노라마사진지원서비스를스마트폰으로제작할수있는지원시스템을설계, 개발하기위해아래의 4가지영역으로시스템을분류, 설계하였다. 첫째는촬영장소의절대위치측위기술의개발, 적용이다. 즉, 센서기반기술과카메라기반기술을응용하여보다정확한측위위치를정할수있는기술개발의제안이다. 센서기반기술은사용자의절대좌표인위도, 경도, 고도를인식하고절대좌표로부터객체정보관계를산출한다. 또한, 카메라기반기술은입력되는특징점을인식, 추적하고카메라와추적대상간의상대적위치를인식하여카메라를기준으로추적대상의 3D 좌표값인 x, y, z를실시간으로추적하여움직임을인식한다 [11]. 아래 [Table 1] 은센서기반기술및카메라기반기술에대한주요기능을나타낸것이다. [Table 1] Sensor technology and camera technology contents Technology Sensor technology camera technology Contents Absolute coordinates recognition α of the user Objects Information(POI) relationship calculated from α Recognition and tracking of input feature points Recognition the relative position between the camera and target tracking Real-time motion tracking of the target track on the 3D coordinates(x, y, z) by relative to the camera 둘째는파노라마사진촬영 UI(User Interface) 설계이다. 이를위해스마트폰의사진시스템을구동하여스마트폰사진기의해상도및촬영조건을정해진조건을설정하여주변사진을획득한다. 파노라마사진을제작하기위해서는스마트폰의위치센서 (GPS) 와기울기및방향센서를인식하여동작을감지한다. 감지된센서값을기반으로 [Fig. 3] 에왼쪽에회전방향, 촬영각도들을그림으로표시하도록설계하였다. 촬영된사진들을확인할수있도록 [Fig. 3] 의오른쪽에촬영된사진과촬영될사진의개수를표시하여사용자가직관적으로확인할수있도록설계하였다. 또한촬영중단이나완료시에필요한부가항목들고려하여 UI를설계하였다. [Fig. 3] Photograph UI design plan [Fig. 2] Positioning technology 셋째는파노라마사진제작알고리즘의설계이다. 즉, 촬영된사진을기반으로 360 의일체된파노라마사진을 7190
센서및카메라기술을적용한스마트폰파노라마사진지원시스템설계 합성하기위한스마트폰용의경량화된알고리즘을설계하였다. 360 를촬영한여러장의사진을파노라마를모은한장의사진으로변환하는알고리즘으로국내에서가장많은사용자층을갖고있는안드로이드 2.x에서사용하였다. 사진영상을처리하기위해다양한사진의변형, 이진연산, 변환영역기반처리등을적용하였다. 촬영된사진을이미각방향에대한값들을저장하고있어이들을순서대로연결하는작업을수행하였다. 마지막으로파노라마지원지도서버의구현이다. 촬영하여제작된파노라마사진을스마트폰어플을이용하여지도서버에등록하고스마트폰의화면에서시현되도록구현하였다. 파노라마사진지원지도서버는스마트폰클라이언트에서요청한지도정보를제공하고클라이언트가송신하는파노라마사진을수신하여지도에특정지점에연결하여지도정보및연계된사진을서비스하는시스템을구현하는것이다 [12]. [Fig. 4] 은지도서버의내부블록을도시한것이다. 서버의구성은 2차원지도객체, Map 정보및속성, 클라이언트메시지처리로구성하였다. 2차원지도객체모델은클라이언트에위치정보를수신하여위치정보에해당하는지도를서비스하기위하여위치정보와도형으로구성하였다. Map 정보및속성은도형으로표시된곳에대한지리정보의값들을저장하는구조로구성하였다. 또한클라이언트메시지처리는서버와스마트폰클라이언트가접속하고필요한정보는송수신하고접속을종료하는시점까지발생하는송수신메시지를처리하는루틴으로구성하였다. [Fig. 4] Map Server Implementation Block Diagram 4. 결론본논문에서는파노라마사진지원서비스를스마트폰으로제작할수있는지원시스템을설계하기위한연 구를수행하였다. 이를위해센서기반기술과카메라기반기술을응용하여정확한측위위치를정할수있는기술을제안하였으며스마트폰사진시스템을구동하여정해진해상도와촬영조건으로주변사진을획득할수있는파노라마사진촬영 UI를설계하였다. 또한, 촬영된사진을기반으로 360 의일체된파노라마사진을합성하기위한스마트폰용경량화된알고리즘을설계하였다. 본연구에서제안한위치기반파노라마기술은웹 2.0 시대에사용자들이원하는지도상의가상공간에서실제의생활을투영할수있는가상현실세계를구축할수있어국가의지리정보시스템 (NGIS) 에접목된다면차세대 GIS 기술을선도하는계기를마련될수있을것으로기대된다. References [1] S. H. Lee, Service Technology Trend based on Location, Electronics and Telecommunications Trends, Vol.20, No.3, 2005. [2] B. Robert and K. Pahlavan, "Site-specific RSS signature modeling for WiFi localization", Proc. IEEE GLOBECOM 2009, Honolulu, USA, Nov. 2009. DOI: http://dx.doi.org/10.1109/glocom.2009.5425740 [3] S. H. Lee, Innovation Strategy of Service Industry using Smartphone and Location-based Service, Samsung Economic Research Institute management note, Vol.62, 2010. [4] C. H. Kwan, H. G. Cho, H. Lee, Y. J. Lee, A Study on Synchronization S/W Development of Position based, Korean Society of Civil Engineering Autumn Conference, 2008. [5] H. G. Cho, H. Lee, Development of geodata Aquisition System for Panoramic Image Contents Service based on Location, Journal of Korean Contents Society, Vol.11, No.1, pp.438-447, 2011. DOI: http://dx.doi.org/10.5392/jkca.2011.11.1.438 [6] T. W. Kim, H. J. Yoo, Construction of Panoramic Images Based on Invariant Features, Journal of Korea Academia-Industrial Cooperation Society, Vol.7, No.6, pp.1214-1218, 2006. [7] O. H. Kwan, A Study on Development of Locative Contents by User Participation : Focused on Bike Application System in Kyeongchun Disused Rails Park, Seoul National University of Science and Technology 7191
한국산학기술학회논문지제 15 권제 12 호, 2014 A Master s Degree Paper, 2010. [8] J. G. Lee, High-end Picture Technic, Bookmade Pub., 2011. [9] Y. H. Lee, Y. J. Kim, A Study on the weighted Stitching Algorithm for Panorama Photo, Journal of Hanbat National Universuty Information Communications School, Vol.3, No.1, pp.119-123, 2005. [10] G. B. Kim, Panoramic Image Reconstruction using SURF Algorithm, Journal of Korean Computer Information Society, Vol.18, No.4, 2013. DOI: http://dx.doi.org/10.9708/jksci.2013.18.4.013 [11] S. H. Han, A Study on CSS-Based Real-Time Location Awareness Systems Error Compensation Algorithm, Hanse University A Doctor s Degree Paper, 2011. [12] K. J. Kim, S. H. Jeong, Y. U. Kwan, C. B. Shim, Implementation of Geographic Information System apply to Integrated Management of Water Wells Sub-Observation Network, Korea Academia-Industrial Cooperation Society Spring Conference, 2011. 김봉현 (Bong-Hyun Kim) [ 정회원 ] 2002 년 2 월 : 한밭대학교전자계산학과 ( 공학석사 ) 2009 년 2 월 : 한밭대학교컴퓨터공학과 ( 공학박사 ) 2000 년 7 월 ~ 2003 년 6 월 : ( 주 ) 한빛넥스젠연구소연구소장 2012 년 3 월 ~ 현재 : 경남대학교컴퓨터공학과교수 < 관심분야 > BIT 융합기술, 생체신호분석, 컴퓨터시스템, e-business 오상영 (Sang-Young Oh) [ 종신회원 ] 2002 년 3 월 ~ 2010 년 2 월 : 청주대학교경영학부교수 2010 년 9 월 ~ 현재 : 영동대학교경영학과교수 < 관심분야 > BSC, System Dynamics, Application Technology 7192