확률기반상위수준컨텍스트인식기를활용한라이프로그태깅인터페이스 781 확률기반상위수준컨텍스트인식기를활용한라이프로그태깅인터페이스 (A Lifelog Tagging Interface using High Level Context Recognizer based on Probability) 황주원 이영설 (Ju-Won Hwang) (Young-Seol Lee) 조성배 (Sung-Bae Cho) 요약모바일디바이스의발전으로이를이용하여개인의일상정보를지속적으로수집할수있게되었다. 하지만모바일환경에서수집한개인의일상정보는그양이매우방대하고, 모바일환경의불확실성과모바일디바이스의제한된용량과배터리등의제약사항이있어수집한일상정보가불확실하다는문제점이있다. 위의문제점을극복하고, 일상정보를효과적으로관리하기위해서는검색성을갖는특징정보를이용하여태깅하는작업이요구된다. 따라서, 본논문에서는상위수준컨텍스트인식기를활용한태깅인터페이스를이용하여보다정확한특징정보를태깅하는방법을제안한다. 제안하는방법은일상정보의특징정보인상위수준컨텍스트를베이지안네트워크로모델링한인식기로추출한후, 인식한상위수준컨텍스트를태깅인터페이 본연구는지식경제부및한국산업기술평가관리원의산업원천기술개발사업의일환으로수행하였음 (10033807, 다중센서및협업을위한자율학습기반상황인지기술 ) 이논문은 2009 한국컴퓨터종합학술대회에서 확률기반상위수준컨텍스트인식기를활용한라이프로그태깅인터페이스 의제목으로발표된논문을확장한것임. 학생회원 : 연세대학교컴퓨터과학과 juwon@sclab.yonsei.ac.kr tiras@sclab.yonsei.ac.kr 종신회원 : 연세대학교컴퓨터과학과교수 sbcho@cs.yonsei.ac.kr 논문접수 : 2009년 8월 13일심사완료 : 2009년 9월 21일 CopyrightC2009 한국정보과학회ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 컴퓨팅의실제및레터제15권제10호 (2009.10) 스를이용하여사용자에게추천하고, 사용자는추천된상위수준컨텍스트를선별하여일상정보에직접태깅할수있는것이특징이다. 제안하는태깅인터페이스는사용성, 목표성, 기능성, 주도성측면에서작업지원수준을평가한결과 81% 의만족도를보임을확인하였다. 키워드 : 베이지안네트워크, 태깅, 상위수준컨텍스트, 라이프로그 Abstract We can constantly gather personal life log from developed mobile device. However, gathered personal life log in mobile environment have a large amount log and uncertainty such as uncertainty of mobile environment, limited capacity and battery of mobile device. Tagging task using a landmark such as a key word should be required to overcome the above problem and to manage personal life log. In this paper, we propose new tagging method and a life log tagging interface using high level context recognizer based on probability. The new tagging method extract high level context such as landmark of life log using recognizer which is modeled from bayesian network and recommend recognized high level context to user using tagging interface. Finally user can directly do tagging task to life log. This task is a special feature in our process. As the result of experiments in task support level which include usability, level of a goal, function and leading, we achieved a feeling of satisfaction of 81%. Key words :Bayesian Network, Tagging, High Level Context, Lifelog 1. 서론 디지털디바이스의발전과더불어다양한디지털기능이하나의모바일디바이스로통합되고있다. 하나의모바일디바이스로 GPS, MP3, 카메라등의다양한기능을이용할수있게된것이다. 특히, 스마트폰의경우 PDA에모바일폰기능이더해져앞서설명한다양한기능의사용기록과통화, SMS 사용기록등의풍부한사용자정보의수집이가능케되었다 [1]. 수집한사용자정보는개인의일상에서일어나는모든일들의일상정보를의미하며일반적으로라이프로그라칭한다. 하지만수집한라이프로그를그대로사용할경우일상을기록, 검색, 공유하고나아가개인맞춤형서비스를제공하기에는어려움이있기때문에사용하기적당한값으로재정의하는과정이요구된다. 이와더불어모바일환경에서수집한라이프로그는실생활의불규칙성, 사용자의도및감정의불확실성, 인과관계의불확실성등의문제점이있어이를분석하고, 상위수준컨텍스트를인식하는과정과인식한결과를태깅하는과정이요구된다 [2]. 최근수집한라이프로그를분석하
782 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 10 호 (2009.10) 여개인의일상을관리하고서비스를제공하기위한연구가활발히진행되고있다. A. Krause는수집한개인의일상정보를분류, 학습, 인식시킨뒤베이지안네트워크를사용하여서비스를제공하는연구를하였으며 MS에서는디지털화할수있는개인의모든정보를수집하여제안하는 MyLifeBits 시스템으로기록, 검색, 관리하는연구를진행하였다 [3,4]. 본논문에서는모바일환경에서의문제점을극복하고, 보다효과적으로라이프로그를관리하기위한태깅인터페이스를제안한다. 제안하는태깅인터페이스는자동태깅에서의정확성문제와수동태깅에서의사용자의피로와주관적인관점이개입되는문제를극복하기위해라이프로그수집, 수집한로그분석, 상위수준컨텍스트인식, 라이프로그태깅네단계로구성하였다. 라이프로그수집단계에서는 GPS, 통화, SMS, 사진등의개인의일상정보를수집한다. 다음단계는상위수준컨텍스트인식기에서사용가능한값을추출하기위한분석단계로전처리를거친다. 상위수준컨텍스트인식단계에서는상위수준컨텍스트를상위행동과하위행동으로나누고, 전처리과정에서추출된값을분석하여정확한결과를인식하고자하였다. 이에는확률적인접근방법인베이지안네트워크로모델링한상위수준컨텍스트인식기를활용하였다. 마지막으로태깅단계에서는효과적인태깅을하기위해제안하는태깅인터페이스를사용하여인식한상위수준컨텍스트를확률순으로시각화시킨다. 또한사용자가인지하는행동범주를선택하여보다정확한정보로태깅할수있는방법과라이프로그를 30분단위로나누어하루동안의로그를시각화하는방법을제안한다. 2. 관련연구 2.1 고수준상황정보인식모바일디바이스는사용자가휴대하므로일상정보를수집하기용이하며무엇보다개인이소지하고있는디바이스이기때문에이를이용하여개인의일상을기록하고서비스를제공하고자하는연구들이진행중이다. A. Krause, A. Smailagic 등은웨어러블센서로부터수집된데이터를컨텍스트분류기로분류한뒤사용자의기호를반영하는컨텍스트에매칭하도록학습시켜상황을인식하였다. 예측한상황에대한서비스를제공하기위해서베이지안네트워크를사용하여서비스를선택하는방법을사용하였다 [3]. E. Horvitz 등은사람의인지행동을베이지안네트워크를이용하여개인 PC 에서수집된로그를바탕으로자동모델링하여특이성 (Landmark) 을인식하는방법을제안하였다 [5]. K.-S. Hwang, S.-B. Cho 등은수집된로그를베이지안네트 워크를기반으로모델링한분산모듈로분석하여사용자행동의특이성을탐지하는방법을제안하였다 [2]. 그러나 A. Krause, E. Horvitz, K.-S. Hwang이제안하는연구는시간대별수집한주요일상정보의흐름을시각화시키지않았으며인식한상황과특이성을일상정보에태깅하는연구를진행하지않았다. 따라서본논문에서는상위수준컨텍스트를인식하는것에서나아가일상정보의흐름을효과적으로시각화시키고, 인식된상위수준컨텍스트를이용하여라이프로그를태깅하는방법을제안한다. 2.2 라이프로그시각화 Nokia에서연구중인 NokiaviNe는핸드폰으로할수있는통화, SMS는물론이고, 사진, 동영상, mp3 정보를시간과지리적위치를기억해서사이트에저장시킨다. 이는해당사이트에서제공하는지도안에쌓이게된다. NokiaviNe의특징은기록을넘어서다른사용자와공유할수있다는것이다 [6]. 마이크로소프트의 MyLifeBits 는디지털화할수있는개인의모든문서, 사진등의수많은데이터를저장하여 MyLifeBits 시스템으로검색및관리하는방법을제안하였다 [4]. 하지만노키아와마이크로소프트의연구는상위수준컨텍스트의인식없이수집한라이프로그를분석하여서비스를제공한다. 본논문에서는상위수준인식기를활용하여라이프로그를효과적으로태깅하기위한방법을제안한다. 3. 라이프로그분석과상위수준컨텍스트인식및태깅본절에서는모바일디바이스로수집한라이프로그를전처리과정을통해분석한뒤, 베이지안네트워크로모델링한인식기로상위수준컨텍스트를추출하는방법과태깅인터페이스를이용한일상정보시각화와상위수준컨텍스트를이용하여라이프로그를태깅하는방법을제안한다. 제안하는방법의전체플로우는그림 1과같다. 그림 1 태깅인터페이스전체플로우
확률기반상위수준컨텍스트인식기를활용한라이프로그태깅인터페이스 783 3.1 라이프로그수집및분석본절은논문에서제안하는태깅인터페이스전체플로우중라이프로그수집과로그분석단계인전처리과정을설명한다. 태깅의대상이되는개인정보수집을위해 Windows mobile 6.0기반의모바일디바이스인삼성전자의스마트폰 m4650을사용하였으며대학생 12 명을대상으로 4주간일상정보를수집하였다. 수집한라이프로그를자동으로태깅하는상위수준컨텍스트인식기에서이용하기위해서는전처리과정이요구된다. 본연구의전처리과정에서는통화, SMS, MP3, 사진, 장소, 시간, 요일, 상태, 감정에해당하는일상정보를 30분단위로다시선택하였으며전처리를거친라이프로그의값은표 1과같다. 로그명 장소 통화 SMS MP3 사진시간요일상태감정 표 1 전처리된라이프로그값 로그값 Library, School, Theater, Park, Playground, Restaurant 외 22개장소통화횟수 SMS 사용횟수 Listening 사진이름, 사진이미지 Morning, Afternoon, Night, Dawn, NoDawn Workday, Saturday, Sunday Idle, Busy, Normal 외 3 개상태 Unhappy, Happy 전처리과정을거친라이프로그는각각의특정값을가지게되며제안하는태깅인터페이스에서그림 2와같이표시된다. A는라이프로그의텍스트정보이고 B는라이프로그중사진정보를이미지로나타낸것이다. 그림 2 라이프로그시각화 3.2 상위수준컨텍스트인식모바일환경은앞서설명한다양한불확실성이내제되어있고, 수집한라이프로그의양이방대하여관리하기에어려움이있기때문에수집한라이프로그를분석한상위수준컨텍스트의인식이요구된다. 이를위해본절에서는인식기를이용하여앞서전처리한값의상위 수준컨텍스트를추출한다. 제안하는방법에서는불확실한정보에서보다정확한특징정보를추출하기위해확률기반연산을하는베이지안네트워크를이용하여상위행동과하위행동별상위수준컨텍스트인식기를설계하였다. 설계한모델에서는모든노드의값을 Yes와 No로정의하였으며전처리과정을거친특정로그의값이 0.5이상이면증거노드의값을 Yes로세팅하였고, 0.5 미만이면증거노드의값을 No로세팅하였다. 세팅한노드값으로부터계층화된상위 하위행동별확률값을추론하여, 확률값이높은순으로상위수준컨텍스트의순위를추출한다. 베이지안네트워크는중요한변수들간의확률관계를노드와호 (arc) 로표현하는방향성비순환그래프 (DAG: directed acyclic graph) 형태이며 [7], 노드마다정의된조건부확률테이블 (CPT: conditional probability table) 에의해적은비용으로노드간의확률관계를효율적으로표현할수있는모델이다. 베이지안네트워크는 Bayes' Rule에의해조건부확률연산이가능하다. 다음수식은조건부확률연산수식을나타낸다. 이때, xn는 n번째노드를, πn는 xn의부모노드의집합을의미한다 [8]. P(x1, x2,, xn) = P(x1, x2,, xn-1)p(xn xn-1, xn-2,, x1) = P(x1)P(x2 x1)p(x3 x2, x1) = P(x1)P(x2 π2)p(x3 π3) P(xn πn) 이러한베이지안네트워크를기반으로특징정보를추출할수있는상위수준컨텍스트인식기를설계하였다. 설계한상위수준컨텍스트인식기로부터추출하고자하는특징정보는라이프로그로부터상황을인식한행동범주이다. 행동범주는표 2와같다. 추출한상위수준컨텍스트순위는제안하는태깅인터페이스에서각행동범주에맞는이미지버튼으로상위 3위까지시각화하였으며순위별로버튼의크기와색을달리하여인터페이스의직관성을높이고자하였다. 이는그림 3과같다. 3.3 라이프로그태깅태깅이란원하는데이터에쉽게접근하고자검색성을갖는특징정보를레이블링하는것이다. 때문에보다정확한상위수준컨텍스트를이용하여태깅하는것이요구된다. 본절에서는앞서인식한상위수준컨텍스트를확률순으로시각화시켜사용자참여를통해태깅의정확성을높이는태깅인터페이스를소개한다. 제안하는태깅인터페이스는 UI 디자인기본이론, HCI의사용자중심시스템접근방법과 Alison J.Head 의인터페이스디자인평가기준항목중작업지원수준과사용편리성및인터페이스구성부분을참고하여설
784 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 10 호 (2009.10) 표 2 계층화한상위 하위행동범주 상위행동범주 하위행동범주 TELEVISION_READING_AND_ WatchingTelevision OTHER_PASSIVE_LEISURE ReadingBooks ACTIVE_LEISURE EDUCATION_AND_ RELATED_ACTIVITIES HOUSEHOLD_WORK_ AND_RELATED_ACTIVITIES PAID_WORK_AND_ RELATED_ACTIVITIES SLEEP_MEALS_AND_ OTHER_RELATED_ACTIVITES MusicTheaterDance PlayingVideoGame Sports WalkingAndRunning Study FullTimeClass TravelingEducation Homework GroupStudy Examination TakeOutFood ShoppingEverydayGoods RepairServices LookingForWork WorkForPayAtMainJob NightSleep Naps Relaxing MealsAtSchool MealsAtHome SOCIAL_SUPPORT_CIVIC_ AND_VOLUNTARY_ACTIVITY ArmyTraining SOCIALIZING SPORTS_MOVIES_AND_ OTHER_ENTERTAINMENT_ EVENTS RestaurantMeals SocializingAtBars SocialGaterings SocializingWithFriends MealWithFriends MusicConcerts Festival OperaBalletTheater WatchingMovie 그림 4 태깅인터페이스의전체화면그림 5 라이프로그태깅인터페이스는사용자에게친숙한풀다운메뉴, 아이콘메뉴, 라이프로그윈도우, 사진탭, 라이프로그탭그리고상위행동버튼과하위행동버튼으로구성하였다. 기본적으로사용자이름과날짜를선택하거나, 태깅하려는파일을선택하면화면가운데에위치한라이프로그윈도우에서 30분단위로하루동안의로그흐름을볼수있도록하였다. 태깅하려는시간을클릭하면상위행동버튼과하위행동버튼을이용하여확률이높은순으로상위수준컨텍스트를추천받을수있으며사진정보가있을경우사진탭에서확인할수있다. 또한효과적인시각화를위해중요한정보인장소, 상태, 감정그리고상위행동과하위행동을눈에띄는색으로포인트를주었으며행동버튼에는알맞은이미지를제공하여인터페이스의직관성, 학습성을높이고자하였다. 그림 5는상위수준컨텍스트를이용하여라이프로그를태깅한것이다. 4. 실험및사용성평가 그림 3 상위수준컨텍스트시각화 계하였으며 [9], C# 으로구현하였다. 그림 4는태깅인터페이스의전체화면이다. 인터페이스평가기준은 Graphic User Interface를필요로하는분야에서유저인터페이스디자인평가에널리사용하는 Alison J.Head의인터페이스디자인평가기준항목을바탕으로태깅인터페이스적용평가에적합하도록재정의하였다. 본평가는태깅작업에대해이해하고있는대학원생 14명을대상으로실시하였다. 평가방법은 1점부터 5점까지점수를주게하였으며 1 점은 전혀그렇지않다 이고 5점은 매우그렇다 로평가한다. 그래프 1, 2, 3은태깅인터페이스평가기준별결과이다.
확률기반상위수준컨텍스트인식기를활용한라이프로그태깅인터페이스 785 그래프 1 태깅인터페이스의작업지원수준평가 집한라이프로그에사용될수있다. 라이프로그태깅단계에서는태깅인터페이스를이용하여앞서인식한상위수준컨텍스트를확률순으로시각화시켜정확한태깅을돕는다. 향후연구는상위수준컨텍스트인식기의성능을향상시켜야할것이며보다풍부한라이프로그를수집해야할것이다. 또한사용성평가에서인터페이스의부족한부분으로나타났던다양한메뉴체계제공과인터페이스를사용하면서즐거움을느낄수있도록보완해나가야할것이다. 참고문헌 그래프 2 태깅인터페이스의사용편리성평가그래프 3 태깅인터페이스의미학적인구성평가평가결과작업수행목표와의일치성, 기능성, 기능배치성, 작업목표성, 결과만족성등의문항에서높은평가를받았다. 이는사용자가태깅인터페이스를이용함으로써원하는작업결과를얻을수있음을나타낸다. 5. 결론및향후연구 [1] H.-S. Park and S.-B. Cho, "Prediction of User Activity based on Mobile Life-log using Dynamic Bayesian Network," Proc. the 30th KIPS Fall Conference, vol.15, no.2, pp.60-63, 2008. (in Korean) [2] K.-S. Hwang and S.-B. Cho, "Bayesian Inference Model for Landmark Detection on Mobile Device," Journal of Korea Information Science Society: Computing Practices, vol.13, no.1, pp.35-45, 2007. (in Korean) [3] A. Krause, A. Smailagic and D. P. Siewiorek, "Context-aware Mobile Computing: Learning Context-Dependent Personal Preferences from a Wearable Sensor Array," IEEE Trans on Mobile Computing, vol.5, no.2, pp.113-127, 2006. (in American) [4] J. Gemmell, G. Bell, R. Lueder, S. Drucker and C. Wong, "MyLifeBits: Fulfilling the Memex Vision," Proc of Int. Multimedia Conf., pp.235-238, 2002. (in French) [5] E. Horvitz, S. Dumais, and P.Koch, "Learning Predictive Models of Memory Landmarks," 26th Annual Meeting of the Cognitive Science Society, 2004. (in American) [ 6 ] http://vine.nokia.com/ [7] D. Heckerman, "Bayesian Networks for Data Mining," Data Mining and Knowledge Discovery, Vol.1, no.1, pp.79-119, 1997. (in American) [8] K.B. Korb and A.E. Nicholson, Bayesian Artificial Intelligence, Chapman & Hall/CRC, 2003. (in American) [9] A. J. Head, Design Wise: A Guide for Evaluating the Interface Design of Information Resources, Information Today, Inc., 1999. (in American) 본논문에서는개인의라이프로그를효율적으로관리하기위해확률기반상위수준컨텍스트인식기를활용한태깅인터페이스를제안하였다. 제안하는태깅인터페이스는라이프로그수집, 라이프로그분석, 상위수준컨텍스트인식, 라이프로그태깅네단계로구성하였다. 상위수준컨텍스트인식단계에서는베이지안네트워크로모델링한인식기를사용하였다. 베이지안네트워크는확률기반연산을함으로불확실한모바일환경에서수