모바일라이프로그마이닝을이용한사용자관계추론및상황정보공유 User Relationship Inference and Contextual Information Sharing using Mobile Life-log Mining 박한샘, 오근현, 조성배 Department of Computer Science, Yonsei University 262 Seongsanno, Seodaemun-Gu, Seoul 120-749, South Korea Tel: +82-2-2123-3877, Fax: +82-2-365-2579, E-mail: {sammy, ocworld}@sclab.yonsei.ac.kr sbcho@cs.yonsei.ac.kr 연세대학교컴퓨터과학과 120-749 서울시서대문구성산로 262 연세대학교 요약 최근 2~3 년간스마트폰의수요는급격히증가해왔으며이는당분간지속될것으로전망된다. 한편모바일센서기술은스마트폰의대중화, 기술발달과더불어더욱발전하였으며, 대부분의스마트폰이카메라, GPS, 가속도센서등을포함한다. 이에휴대폰의등장으로활성화되기시작한모바일라이프로그마이닝연구에대한관심이더욱커지고있다. 본논문에서는스마트폰을이용해수집한사용자의모바일라이프로그로부터베이지안네트워크기반마이닝을통해사용자관계를추론한다. 또한이를통해모바일소셜네트워크를구성하기위해각사용자의중요도분석등소셜네트워크분석을수행한다. 이를위해행동, 감정등고수준상황정보가유용하게활용되었다. 실험에서는다양한사용자관계를바탕으로소셜네트워크를구성하고분석하며, 이를바탕으로한상황정보공유어플리케이션을소개한다. 키워드 : 라이프로그마이닝, 사용자관계추론, 소셜네트워크분석, 상황공유 1. 서론 휴대폰을중심으로한모바일디바이스가널리보급되어현대인의필수품이되었으며, 최근에는스마트폰의수요증가와함께모바일센서기술과같은관련기술이더욱발달하고있다. 이제사람들은자신이원하면언제라도다른사람들과의사소통을할수있으며정보를공유할수있게되었다. 통화외에도사진이나동영상찍기, 문자, 메일전달, 음악듣기, 인터넷사용등이가능하다. 최근에는공개된플랫폼을이용하여컴퓨터에서처럼사용자가원하는프로그램을직접구현하여사용할수도있게되었다. 이처럼스마트폰의등장으로다양한모바일라이프로그의수집이가능해졌다 [1, 2, 3]. 이렇게스마트폰을통해수집된모바일라이프로그는다양한연구를위해활용될수있다. 본논문에서는모바일라이프로그를활용한연구를크게모바일라이프로그수집, 모바일라이프로그마이닝및관리, 모바일라이프로그기반응용서비스의세가지로분류한다. MIT 미디어랩의 Reality Mining 그룹은 Reality Mining 프로젝트를위해통화로그, 주변블루투스기기, 기지국 ID, 응용프로그램사용로그등의정보를수집하여사용하였다 [1]. 또한도쿄대의 Aizawa 등은카메라, 마이크, 가속도센서, GPS 수신기, 중력센서등을포함한센서를이용하여모바일로그를수집하였다 [4]. 모바일라이프로그의마이닝및관리는인식, 모델링, 추론과같은연구주제를포함한다. Carnegie Mellon 대의 SenSay 프로젝트는휴대폰, 마이크, 가속도센서, GPS 수신기의로그를이용하여사용자상태를인식하였으며, 이를바탕으로휴대폰의모드를바꿔주는연구를수행하였다 [5]. Microsoft Reaearch 의 Predestination 프로젝트는운전을하는사용자의현재위치와현재시간, 목적지등의정보를바탕으로사용자가어디로향하고있는지를추론하였으며, 이를위해베이지안모델을사용하였다 [6]. 한편 Hwang 과 Cho 는모듈기반확률모델을이용하여라이프로그가운데주요이벤트를추론하였다 [3]. 모바일로그기반서비스는최근매우큰관심이집중되고있는주제로요약, 검색, 추천등이대표적이다. AniDiary 는베이지안네트워크를이용하여얻은만화형태의요약서비스를제공하며 [2], 앞서소개한도쿄대의상황기반검색시스템은상황정보를바탕으로한검색을제공한다 [4]. 추천서비스의대표적인예로 LBS (Location-based Service) 를들수있으며 LBS 는상업용프로그램을포함하여다양한형태로제공되고있다. 이처럼모바일라이프로그는
다양하게활용되고있으며, 향후스마트폰의수요가커짐에따라그여지가더욱커질것이다. 본논문은사용자들간의인터랙션정보, 고수준상황정보를중심으로한모바일라이프로그를수집하고, 마이닝기법을통해이로부터사용자사이의관계를추론하여모바일소셜네트워크분석에활용하고자하며, 이를바탕으로상황정보공유를위한어플리케이션을개발하고자한다. 2. 모바일소셜네트워크 정보기술에서의소셜네트워크는웹사이트상에서사용자프로필을바탕으로사용자간의관계를정의, 표현하는서비스를말한다 [7]. Facebook(http://www. facebook.com), MySpace(http://www.myspace.com) 등은대표적인웹기반의소셜네트워크서비스이며국내에서는싸이월드 (http://www.cyworld.com) 를대표적인서비스로들수있다. 최근에는스마트폰의보급과함께트위터 (http://www.twitter.com) 와같은모바일소셜네트워크도큰인기를끌고있으며, 모바일소셜네트워크가하나의연구분야로서활발히연구되고있다. 본논문에서는다양한모바일소셜네트워크를크게서버중심네트워크 (server-centered network) 와클라이언트중심네트워크 (client-centered network) 로분류하였다. 서버중심네트워크는네트워크를구성하고관리하기위한서버가존재하고클라이언트역할을하는모바일기기는센서입력과서비스를위한인터페이스의역할을수행하는경우를의미하며, 클라이언트중심네트워크는서버를따로두지않거나서버가있어도소셜네트워크상에서중요한역할을수행하지않는네트워크를의미한다. 클라이언트중심네트워크는구현이쉽고고성능의서버를필요로하지않기때문에일반적으로더많이사용되지만, 보통높은성능이필요하지않은간단한서비스제공을위해주로사용된다. 서버중심네트워크는다시두가지로나뉜다. 첫째는가장많이사용되는형태로블루투스로대표되는 WPAN (Wireless Personal Area Network) 을이용한모바일소셜네트워크다. 특정시간과장소에서임시로애드혹네트워크를구성한다. MIT 미디어랩은블루투스를이용하여 100 명규모의대규모모바일소셜네트워크연구를수행하였으며, 대규모데이터를바탕으로사회학적인접근방식을취하였다 [8]. Rudstrom, Coster 등은역시블루투스기반의모바일소셜네트워크를이용해주변의모바일사용자를위한간단한정보추천서비스인 MobiTip 을제안하였다 [9]. 두번째타입의클라이언트중심네트워크는스마트폰북어플리케이션에서사용되는사용자중심의모바일소셜네트워크이다. Oulavirta 등은모바일협력을돕기위한폰북어플리케이션인 ContextContacts 를제안하였고이와함께모바일디바이스에서의폰북 을설계하기위해필요한사항을체계적으로정리하였다 [10]. Hwang 등은긴급자동통화연결서비스등을지원하는사용자중심의통화서비스를제안하였다 [11]. 서버중심네트워크는고성능서버와많은계산양을필요로하지만강력하고다양한서비스를제공해줄수있다. 서버중심네트워크역시두가지로나누어보았는데, 하나는온라인소셜네트워크가확장된형태이다. 스마트폰이보급되며트위터와같은마이크로블로그가큰인기를끌고있으며, 이에따라 Facebook, MySpace, 싸이월드등기존의온라인소셜네트워크사이트들도모두모바일용서비스를함께제공하고있다. 데스크탑과스마트폰의향후수요를생각할때모바일소셜네트워크서비스의비중이점점더커질것이다. 나머지하나의서버중심네트워크는서버클라이언트구조를이용한모바일소셜네트워크이다. 대표적인서비스로친구추천을예로들수있다. MIT 미디어랩의 Serendipity 프로젝트는사용자프로필과관심사를바탕으로주위의이성이사용자와어울리는지를계산하여친구로추천해주는방식의서비스이다 [12]. 이때서버는사용자프로필, 관심사정보를저장, 관리해주는역할을수행한다. Grob 등은모바일사용자의그룹의사소통을지원하기위한서비스인 Cluestr 을제안하였다 [13]. Cluestr 의서버는사용자가속한커뮤니티 DB 와통화목록을관리하여통화대상을추천해준다. Coster 와 Svensson 은모바일사용자를위한협력추천을제공하기위해서버클라이언트구조를기반으로한추천서비스를개발하였다 [14]. 본논문은서버중심모바일소셜네트워크를사용한다. 모바일라이프로그로부터사용자의미관계를추론하고소셜네트워크분석을수행하며, 이를바탕으로상황정보공유서비스를제공한다. 3. 제안하는방법 그림 1 모바일라이프로그마이닝시스템개요
본장에서는서버클라이언트구조를바탕으로어떻게모바일라이프로그로부터사용자관계를추론하고모바일소셜네트워크분석을수행하는지를기술한다. 그림 1 은제안하는시스템의개요를보여준다. 모바일디바이스에서수집된라이프로그는저수준과고수준로그로구분되어라이프로그데이터베이스에저장되며, 이렇게저장된라이프로그는마이닝과정을거쳐소셜네트워크구성을위해활용된다. 라이프로그마이닝을위해본논문에선는베이지안네트워크를모델링하여사용자관계를추론한다. 서버 - 클라이언트구조를활용함으로써확장성면에서큰장점을갖는다. 서버에서전체네트워크구조를조감하면서정보공유, 정보추천등사용자에게필요한여러가지서비스를제공해줄수있으며, 라이프로그가공, 네트워크구성을위한계산등의복잡한연산은모두서버에서수행하도록하여클라이언트디바이스의부담을줄일수있다. 3.1. 확률모델기반사용자관계추론 사용자관계추론에앞서모바일라이프로그에대한설명과행동, 감정과같은고수준상황정보를어떻게수집했고어떻게분류했는지등의설명이필요한데, 이는이전연구에상세히설명되어있다 [15]. 베이지안네트워크 (Bayesian Network, BN) 는불확실성을포함하는문제의해결에유용한모델로방향성비순환그래프 (Directed Acyclic Graph) 의형태를취하며그래프의노드는확률변수를의미하고노드사이의아크는확률적의존관계를의미한다 [16]. 모바일도메인은많은불확실성을포함하며모든입력을안정적으로활용할수없는경우가발생할수있으므로적절한방법이라고할수있다 [3]. 그림 2 는두사용자의사용자관계추론을위해설계한베이지안네트워크모델의구조를보여준다. 모바일라이프로그의각변수를입력으로사용하여사용자개인관계 (private relation) 와업무관계 (work relation) 를추론하기위한것이다. 관계추론에영향을미치는요소로감정및관련변수, 사회적행동및관련변수, 업무행동및관련변수, 인터랙션관련변수로나누어도메인지식을바탕으로구조및파라미터를설계하였다. 이과정에서기존에소셜네트워크구성을위해사용되는사용자인터랙션뿐아니라행동, 감정과같은고수준의상황정보를함께활용함으로써모델의신뢰도를높이고더다양한분석이가능하도록하였다. 3.2. 소셜네트워크구성및분석 일반적으로소셜네트워크의관계는사용자간의연결강도만을고려하며, 특히모바일소셜네트워크의경우는연결유무만을고려하는경우가대부분이다. 본논문에서는모바일라이프로그로부터추론한사용자관계의 semantics 를소셜네트워크구성에활용한다. 본논문에서제안하는모바일소셜네트워크 N 은다음과같이정의된다. 여기에서 U 는사용자의집합, {u 1, u 2,, u n }, 을의미하며 R 은사용자사이의관계의집합을의미한다. n 은사용자수를의미하며, 사용자관계 R 은관계타입에따라다음과같이정의된다. R private_relation ={close friend, friend, acquaintance, none} R work_relation ={close colleague, colleague, acquaintance, none} 두사용자의관계는베이지안네트워크모델에의해추론되어결정된다. 소셜네트워크상에서는관계가가까울수록두꺼운연결로표현되도록하였다. 소셜네트워크분석을위해서는사용자관계뿐아니라사용자의중요도또한필요하다. 사용자의중요도는모바일소셜네트워크에서노드의크기에해당하도록표현하였으며, 본논문에서는이를위해소셜네트워크에서의 closeness centrality( 식 (1)) 를계산하였다 [17]. 여기에서함수 d(u i, u j ) 는두사용자간의최단거리를의미하며이는아래의식 (2) 에의해결정된다. (1) (2) 그림 2 사용자간의관계 (semantics) 를추론하기위한베이지안네트워크구조 이때두사용자사이의최대링크수는 3 으로제한하였고, 이는두사용자가친한사이가아닌경우
이관계는고려하지않는것을의미한다. 마지막으로소셜네트워크상에서사용자위치는실제사용자의물리적위치를고려하여배치하였다. 4. 실험결과 모바일라이프로그수집은 11 명의대학원생사용자에의해 15 일간수집되었으며, 삼성스마트폰 T* 옴니아 SCH-M490 을이용해수집하였다. 실험에서는이렇게수집된라이프로그로부터제안하는방법을통해구성된모바일소셜네트워크를보여주며, 이를바탕으로한상황공유어플리케이션을소개한다. 것을확인하였다. 개인관계가가까운사이이므로자연스러운결과라고볼수있다. 그림 4 는모바일소셜네트워크를시각화한것으로기본적인표현방법은그대로사용하되사용자주위에사용자가주로취한주요행동을비율별로보여줌으로써더많은정보를제공하도록하였다. 그림 4 는그림 3 의좌측상단부에해당하는네트워크를확대한것이다. 4.1. 사용자관계추론및모바일소셜네트워크 사용자간의관계는바라보는관점에따라다양하게해석될수있다. 본논문에서는베이지안네트워크모델을이용해추론되는개인관계와업무관계를기본으로사용하며, 이외에사용자관계와가장밀접한관계를갖는로그인인터랙션정보만을이용하여소셜네트워크를구성한다. 그림 3 개인관계를바탕으로구성한모바일소셜네트워크 그림 5 업무관계를바탕으로구성한모바일소셜네트워크 그림 5 는업무관계를바탕으로구성한모바일소셜네트워크를보여주며, 공통적인행동을분석해본결과사무실업무가매우큰비중으로나타났다. 이네트워크는좌측의네명과우측의일곱명이큰그룹을형성하고있는데, 이는물리적인위치와일치한다. 좌측의네명이한방을사용하고, 우측의일곱명은함께다른방을사용한다. 이는구성된네트워크가사용자의물리적위치에너무의존적임을의미하는것으로, 업무가주로사무실에서행해지므로크게잘못된것은아니지만업무관계만을보여주지는못한다는점에서개선의여지가있을것으로생각된다. 그림 4 개인관계를바탕으로구성한모바일소셜네트워크의시각화 ( 그림 3 의좌측상단부확대 ) 그림 3 은개인관계를바탕으로하여구성된모바일소셜네트워크를보여준다. 함께있을때의행동을분석해보면식사, 커피, 술집과같은사회활동이나농구, 당구, 산책과같은취미활동이주를이루는 그림 6 인터랙션기반의모바일소셜네트워크 마지막으로라이프로그가운데사용자관계를가장잘보여줄수있는인터랙션정보만을이용해모바일소셜네트워크를구성해보았으며, 그림 6 은이를보여준다. 통화, SMS 는방향성을가지므로이네트워크는추가적으로관계의방향성을제공한다.
그림 6 에서같은색으로모여진사용자는실제업무를주로함께하는팀이며, 여기에서보이듯이실제팀내구성원간의인터랙션이팀외사용자간의인터랙션보다활발한것을확인할수있다. 이렇게추론된결과를사용자사이의실제관계와비교함으로써얼마나정확한지를확인해보았다. 표 1 은이결과를보여준다. 실제관계의경우사용자보고서를통해직접답을얻었으며, 드물게두사용자의답이다른경우는덜가까운관계를정답으로사용하였다. 표에서보이듯이추론정확도는 61~76% 로네가지관계가운데하나를맞춰야하는것을감안하면꽤정확하다고할수있다. 표 1. 사용자관계추론정확도 추론을위한정보 추론정확도 ( 추론목표 ) 개인관계 72.2% ( 개인관계 ) 업무관계 64.8% ( 업무관계 ) 인터랙션 75.9% ( 개인관계 ) 인터랙션 61.8% ( 업무관계 ) 4.2. 상황정보공유어플리케이션 이렇게얻어진사용자관계와모바일소셜네트워크는다양하게활용될수있으며, 본논문에서는사용자상황정보공유어플리케이션을구현하여유용성을보이고자하였다. 5. 결론및향후연구 본논문에서는모바일라이프로그마이닝을통해모바일사용자의관계를추론하고모바일소셜네트워크분석을수행하였으며, 이정보를바탕으로사용자상황공유서비스를위한어플리케이션을개발하였다. 본논문에서사용한모바일라이프로그는행동, 감정과같은고수준상황정보를포함하여, 더욱다양하고의미있는분석이가능하다. 베이지안네트워크를이용한추론모델은사용자관계를비교적정확히알아내어의미있는모바일소셜네트워크를구성함을확인하였다. 스마트폰의대중화, 네트워크인프라의발달등과함께향후에는더욱다양한모바일라이프로그를활용할수있을것으로예상되며, 이를바탕으로더욱의미있는서비스를제공해줄수있을것이다. 이런맥락에서본논문에서사용자어노테이션을통해얻은행동, 감정과같은고수준상황정보를자동인식과정을통해얻을수있다면향후다양한연구에큰도움을줄수있을것으로예상된다. 감사의글 본연구는지식경제부및정보통신산업진흥원의대학 IT 연구센터지원사업의연구결과로수행되었음 (NIPA-2010-(C1090-1021-0008)). 참고문헌 그림 7 상황공유어플리케이션스크린샷 그림 7 은상황공유어플리케이션의스크린샷을보여준다. 왼쪽그림은친구의목록과이름, 행동, 감정을함께보여주며, 관계가가깝지않은사용자는행동, 감정과같은개인정보를공개하지않음으로써가까운사용자의경우더많은정보를공유할수있도록하였다. 또한가까운사용자의경우사용자이름을클릭하면사용자의지도상에서의위치와같이더구체적인상황정보 ( 오른쪽스크린샷 ) 를제공하도록하였다. [1] Eagle, N., and Pentland, A. (2006) Reality mining: Sensing complex social systems, Personal and Ubiquitous Computing, Vol. 10, pp. 255-268. [2] Cho, S.-B., Kim, K.-J., Hwang K.-S., and Song, I.-J. (2007). "AniDiary: Daily cartoon-style diary exploits Bayesian networks," IEEE Pervasive Computing, Vol. 6, No. 3, pp. 66-75. [3] Hwang, K.-S., and Cho, S.-B. (2009) Landmark detection from mobile life log using a modular Bayesian network model, Expert Systems with Applications, vol. 36, pp. 12065-12076. [4] Aizawa, K. (2005) Digitizing personal experience: Capture and retrieval of life log, Proc. of the Int. Multimedia Modeling Conf., pp. 10-15. [5] Siewiorek, D., Smailagic, A., Furukawa, J., Moraveji, N., Reiger, K., and Shaffer, J. (2003) SenSay: A context-aware mobile phone, Proc. of the IEEE Symposium on Wearable Computers (ISWC 03), pp. 248-249. [6] Krumm, J., and Horvitz, E. (2007) Predestination: Where do you want to go today? Computer, vol. 40, no. 4, pp. 105-107. [7] Staab., S. (2005) Social networks applied, IEEE Intelligent Systems, Vol. 20, No. 1, pp. 80-93. [8] Eagle, E., Pentland, A., and Lazer, D. (2010) Inferring friendship network structure by using
mobile phone data, Proceedings of the National Academy of Science, vol. 106, no. 36, pp. 15274-15278. [9] Rudstrom, A., Svensson, M., Coster, R., and Hook, K. (2004) MobiTip: Using Bluetooth as a mediator of social context, Ubicomp 2004. [10] Oulasvirta, A., Raento, M., and Tiitta, S. (2005) ContextContacts: Re-designing smartphone's contact book to support mobile awareness and collaboration, ACM Conference on MobileHCI 05, pp. 167-174. [11] Hwang, R.-H., Tsai, S.-Y., and Wang, C.-Y. (2009) UbiPhone: Human-centered ubiquitous phone system, IEEE Pervasive Computing, Vol. 8, No. 2, pp. 40-47. [12] Eagle, N., and Pentland, A. (2004) Social serendipity: Mobilizing social software, IEEE Pervasive Computing, Vol. 4, No. 2, pp. 28-34. [13] Grob, R., Kuhn, M., Wattenhofer., R., and Wirz., M. (2009) Cluestr: mobile social networking for enhanced group communication, ACM International Conference on Supporting Group Work (Group 09), pp. 81-90. [14] Coster, R., and Svensson, M. (2005) Incremental collaborative filtering for mobile devices, ACM Symposium on Applied Computing (SAC 05), pp. 1102-1106. [15] Park, H.-S., and Cho, S.-B. (2009) Lifelog mining for mobile social network construction, Proceedings of the Korea Business Intelligence Data Mining Conference. [16] Kleiter, G. D. (1996) Propagating imprecise probabilities in Bayesian networks, Artificial Intelligence, Vol. 88, No. 1-2, pp. 143-161. [17] Sabidussi, G. (1966) The centrality index of a graph, Psychometrika, vol. 31, pp. 581-603.