906 정보과학회논문지 : 컴퓨팅의실제및레터제 14 권제 9 호 (2008.12) 사용자컨텍스트공유를위한상황인지메신저 (A Context-aware Messenger for Sharing User Contextual Information) 홍진혁 양성익 (Jin-Hyuk Hong) (Sung-Ihk Yang) 조성배 (Sung-Bae Cho) used, there is a growth on the concern about recognizing and sharing user context. Sharing context makes the interaction between human more plentiful as well as helps to keep a good social relationship. Recently, it has been applied to some messengers or mobile applications with sharing simple contexts, but it is still required to recognize and share more complex and diverse contexts. In this paper, we propose a context-aware messenger that collects various sensory information, recognizes representative user contexts such as emotion, stress, and activity by using dynamic Bayesian networks, and visualizes them. It includes a modular model that is effective to recognize various contexts and displays them in the form of icons. We have verified the proposed method with the scenario evaluation and usability test. Key words :Context, context-aware messenger, dynamic Bayesian network 요약모바일환경이보편화됨에따라사용자의상황을인식하고관련된각종컨텍스트를공유하는기술에대한관심이높아지고있다. 컨텍스트공유는사용자의의사소통를보다풍부하게할뿐만아니라사회적관계를원만하게유지하도록도와준다. 최근각종메신저나모바일어플리케이션에는간단한수준의사용자컨텍스트공유가적용되고있으나사용자환경이복잡해짐에따라더욱다양한컨텍스트의인식과공유가요구된다. 본논문에서는다양한센서정보를수집하여사용자의대표적컨텍스트인감정, 스트레스, 행동을동적확률모델을이용하여인식하고메신저에연동하여컨텍스트정보를공유하는상황인지메신저를개발한다. 다양한컨텍스트를인식하기위한다중모델을효과적으로구성하고아이콘방식으로컨텍스트를표시한다. 개발한시스템을사용자시나리오를바탕으로평가하여유용성을검증하였다. 키워드 : 컨텍스트, 상황인지메신저, 동적베이지안네트워크 Abstract As the mobile environment becomes widely 본연구는 ( 주 ) 삼성전자의지원에의해수행되었습니다. 이논문은 2008 한국컴퓨터종합학술대회에서 사용자컨텍스트공유를 위한상황인지메신저 의제목으로발표된논문을확장한것임 학생회원 : 연세대학교컴퓨터과학과 hjinh@sclab.yonsei.ac.kr unikys@sclab.yonsei.ac.kr 종신회원 : 연세대학교컴퓨터과학과교수 sbcho@cs.yonsei.ac.kr 논문접수 : 2008년 8월 27일심사완료 : 2008년 11월 16일 Copyright@2008 한국정보과학회ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 컴퓨팅의실제및레터제14권제9호 (2008.12) 1. 서론사람들은타인과의사소통을통해사회적관계를형성해가며, 날씨, 시간, 장소, 사용자의감정, 스트레스, 행동등의각종컨텍스트로구성된상황정보는의사소통이보다원활하도록활용된다. 과거에는이런컨텍스트정보를획득하거나공유하는것이매우어려웠지만, 최근 GPS, 생체센서, 시청각센서, 가속도센서등각종센서가개발되면서사용자의상황과관련된다양한정보를수집할수있으며, 모바일단말기, 메신저서비스등의보급으로타인과원격으로대화하거나정보를교환및공유하는것이가능해졌다 [1]. 상황정보공유에유용한컨텍스트는현재시각이나날씨등웹이나 PC에서명시적으로수집되는정보와사용자의위치, 감정, 행동등센서로부터수집된값을해석하여획득하는정보가있다. 특히센서값으로부터컨텍스트를인식하기위해서는저수준의센서값을전처리하고추론하는기술이필요하다. 또한보통다수의시계열센서값을바탕으로다양한컨텍스트를인식해야하기때문에하나의복잡한추론모델이아닌모바일환경에적합한모듈화된동적추론모델이요구된다 [2]. 본논문에서는사용자의생체정보와움직임정보, 스마트폰이나 PC에서수집되는기타정보를바탕으로사용자의대표적컨텍스트인감정, 스트레스, 행동을동적확률모델을이용하여추론한다. 메신저서비스에서추론된컨텍스트를아이콘형태로출력하여타사용자와공유한다. 간단한상황인지메신저플랫폼을개발하고사용자시나리오에기반하여그유용성을평가한다. 2. 배경 2.1 센서기반상황인식및공유시스템
사용자컨텍스트공유를위한상황인지메신저 907 센서를이용해사용자의상황을인식하는기술은최근유비쿼터스환경과웨어러블컴퓨팅분야에서많은관심을받고있다. 헬싱키대학의 Raento 등은 Nokia 폰을기반으로모바일상황인지플랫폼인 Context- Phone을개발하여각종모바일상황인지어플리케이션의설계가용이하도록하였고 [1], Krause 등은 SenSay 라는웨어러블센서플랫폼을제작하여사용자의행동을인식하고상황에맞는서비스를제공하였다 [3]. Korpipaa 등은저수준의이종센서정보를상황추론에유용하도록퍼지화하는전처리기술을제안하였고 [4], Ranganthan 등은상대방의간단한컨텍스트를수동으로공유하는채팅프로그램인 ConChat을개발하였다 [5]. 그외에도 Cho 등은각종센서와지능형폰을이용하여사용자의라이프로그를수집하고이로부터유의미한특징을추출하여사용자의일과를정리하는연구를진행하였다. 특히확률모델을이용하여센서에서수집된정보의불확실성을최소화하였다 [2]. 2.2 컨텍스트추론을위한확률모델각종센서정보로부터고수준의의미정보인컨텍스트를추론하는기술이연구되는가운데, 최근베이지안확률모델을이용해모바일센서환경에서발생하는다양한불확실성을효율적으로다루려는시도가활발히진행되고있다. Horvitz 등은베이지안네트워크를이용해 PC의로그데이타에서사용자의행동을인식하는모델을개발하였고 [6], SenSay에서는 SOM을이용해이산화된센서값을 Naive Bayes 분류기를이용해해석하였다. Ranganathan 등은불확실한컨텍스트를추론하기위해베이지안네트워크를활용하였고 [7], Dai 등은카메라로부터수집된영상을바탕으로동적베이지안네트워크를이용하여그룹행동을추론하였다 [8]. 3. 상황인지메신저본논문에서는그림 1과같이각종센서로부터사용자와관련된정보를시계열형태로수집하고저수준의센서정보를컨텍스트추론에적절한형태로평활화와이산화한다. 각컨텍스트별로동적확률모델을구성하여사용자의감정, 스트레스, 행동을추론한다. 추론된사용자컨텍스트는메신저의사용자상태에아이콘형태로표시된다. 사용자의감정, 스트레스, 행동을인식하기위해서본논문에서는 4가지유형의센서및기기인 Armband, 가속도센서, GPS 수신기, 스마트폰을통합한센서플랫폼을설계하였다. 통합센서플랫폼은사용자의생체정보 (physiological), 움직임 (movement), 기기정보 (device) 와환경정보 (environment) 를 50fps로수집하고평활화및이산화를통해표 1에서와같이정의된센서값을컨 그림 1 상황인지메신저구조표 1 통합센서플랫폼의수집정보센서정보전처리값생체정보 : 피부온도 { 높음, 중간, 낮음 } 생체정보 : 열유량 { 높음, 중간, 낮음 } 생체정보 : 피부전기반응 { 높음, 중간, 낮음 } 움직임 : 머리 [3Dacc, 3Dgyo, 3Dmag] { 높음, 중간, 낮음 } 움직임 : 오른팔 [3Dacc, 3Dgyo, 3Dmag] { 높음, 중간, 낮음 } 움직임 : 왼팔 [3Dacc, 3Dgyo, 3Dmag] { 높음, 중간, 낮음 } 움직임 : 오른손 [3Dacc, 3Dgyo, 3Dmag] { 높음, 중간, 낮음 } 움직임 : 왼손 [3Dacc, 3Dgyo, 3Dmag] { 높음, 중간, 낮음 } 기기정보 : 위치 { 실내, 실외 } 기기정보 : 휴대폰 { 사용, 비사용 } 기기정보 : 컴퓨터 { 사용, 비사용 } 환경정보 : 날씨 { 맑음, 구름, 비 } 환경정보 : 시간대 { 오전, 오후, 저녁 } 표 2 컨텍스트정의컨텍스트값감정 { 우울, 행복, 화남, 짜증, 보통 } 스트레스 { 피곤, 보통, 활력 } 행동 { 낮잠, 화장실, 전화, 업무, 미팅, 휴식, 운동 } 텍스트추론의증거값으로사용하며, 표 2와같이 3가지컨텍스트를추론한다. Armband는사용자의피부온도와몸에서발산되는열량인열유량, 피부의전기전도도인피부전기방응값을측정하고, 사용자의머리, 팔목과팔뚝에부착된가속도센서는각부위의 3축가속도 (3Dacc), 3축각속도 (3Dgyo) 와 3축으로구성된자기방향정보 (3Dmag) 를수집한다. GPS 수신가능여부로사용자가실내에있는지실외에있는지를판단하고, 그외정보는스마트폰을통해수집한다. 본논문에서는센서로부터시계열형태로수집된정보를바탕으로동적확률모델을구축하고각모델의출력값을통합하여컨텍스트를추론한다. 센서로부터수집되는정보에잡음이나결측치등이존재하기때문에불확실한데이타분석에적절한베이지안네트워크를기반으로동적확률모델을구축하였다. 컨텍스트를추론하는동적확률모델은그림 2와같이총 10개로, 각컨텍스트를추론하는 3개의장기모델과행동컨텍스트를심층적으로분석하는 7개의단기모델로구성된다.
908 정보과학회논문지 : 컴퓨팅의실제및레터제 14 권제 9 호 (2008.12) 그림 2 컨텍스트추론모델 감정과스트레스는영속성이있는컨텍스트이기때문에누적된센서값을활용하여설계된베이지안네트워크 (DBN) 로추론되는반면, 행동은사용자의즉각적인움직임에의해영향을받는비교적단기적인컨텍스트이기때문에각행동을인식하는다수의 DBN으로추론된다. 특히행동컨텍스트에대한추론모델이다수존재하기때문에본논문에서는 Hong 등이제안한포섭구조기반의모델통합기술을사용하여다수의추론결과값을통합한다 [9]. 3개의장기모델은수동으로설계하였고, 7개의단기모델은각컨텍스트별로 10회의샘플로구성된학습데이타에대한인식율과네트워크의복잡도를적합도로사용한진화기술을이용하여구조를학습하고 EM알고리즘을이용하여파라메터를학습하였다. 표 3은 DBN의구성내용을보여준다. 그림 3(a) 와 (b) 는스트레스를추론하는 DBN과화장실행동을추론하는 DBN의모습을각각보여준다. 장기모델은해당컨텍스트를추론하기위한목표노드 (T t) 와센서로부터수집된정보들을의미하는증거노드 (E t), 이전상태의컨텍스트값 (T t-1) 로구성된다. 목표노드의사후확률값 P(T t E t,t t-1) 는식 (1) 과같이베이즈규칙을적용하여사전에설계한조건부확률테이블을바탕으로계산한다. (1) 그림 3(b) 와같이단기모델은 4가지기본요소로구 성된 DBN 으로표현된다. G 1 은변수사이의정적인확률관계를표현한방향성비순환그래프를의미하고, G tr 은다른시점의변수들사이의확률적관계를나타내는방향성비순환그래프이다. Π는초기확률분포값이며, CPT는변수사이의조건부확률분포를의미한다. 일반적인베이지안네 (a) 스트레스컨텍스트추론을위한 DBN (b) 화장실컨텍스트추론을위한 DBN (Node_x_y: x번이전의 y번째증거노드, Node_y: 현재 y번째증거노드 ) 그림 3 컨텍스트추론을위한 DBN 예 트워크와는달리시계열정보를위한 G tr 을정의하며, 노드사이의링크는과거관측값 (E 1:t-1) 에서컨텍스트 (T t) 로, 컨텍스트 (T t) 에서현재관측값 (E t) 의방향으로연결된다. 각컨텍스트에대한사후확률값은식 (2) 와같이계산한다. (2) 본논문에서는그림 4와같이정의된아이콘을이용하여메신저어플리케이션의사용자컨텍스트를표시한다. 4. 구현결과 4.1 프로토타입본논문에서는그림 5와같이 BodyMedia사 (http://
사용자컨텍스트공유를위한상황인지메신저 909 그림 6 상황인지메신저구현모습 ( 좌 : 감정, 중간 : 스트레스, 우 : 행동 ) 그림 4 컨텍스트공유를위한아이콘 표 3 컨텍스트추론모델상세 모형 추론모델 노드수 CPT 크기 감정추론 DBN 10 288 장기 스트레스추론 DBN 12 108 행동추론 DBN 14 279 낮잠추론 DBN 7 78 화장실추론 DBN 12 39,384 전화추론 DBN 21 366 단기 업무추론 DBN 12 63 미팅추론 DBN 19 13,188 휴식추론 DBN 25 606 운동추론 DBN 21 39,522 상황인지메신저는그림 6과같이 Visual Sutio.Net 환경에서개발하였으며, 각컨텍스트카테고리를선택하는버튼과컨텍스트정보를표시하는사용자리스트로구성된다. 선택된컨텍스트카테고리에따라사용자리스트의사용자아이콘이해당컨텍스트로출력된다. 4.2 시나리오평가본논문에서제안한상황인지메신저의성능을관찰하기위해사용자평가시나리오를설계하였는데, 그림 7과같이가상으로하루일과에발생가능한목표컨텍스트를설정하고각컨텍스트의발생순서에맞추어사전에수집된로그를이용하여평가데이타를구축하였다. 행동의경우실제로수집된정보를사용하였고, 감정과스트레스는가정된상황과비슷한환경에서수집된로그를활용하였으며, 각컨텍스트별로약 1분길이의로그를이용하였다. 그림 8은그림 7에서제시된시나리오에대한컨텍스트추론결과를보여준다. 각컨텍스트별로사후확률값을계산하여가장높은갚은가지는컨텍스트가선택되도록하였다. 점선으로된원은잘못된추론결과를산출했음을의미하는데, 행동의경우완벽하게인식하였고, 감정과스트레스에서는약간의오분류가발생했는데, 보통이들컨텍스트는급격히변하는것이아니어서이전의값이많은영향을주었다. 뿐만아니라감정과스트레스는사용자에매우주관적이고본인의감정이 그림 5 통합센서플랫폼착용모습 www.bodymedia.com) 의 Armband와 Xsens사 (http:// www.xsens.com) 의 xbus 가속도센서킷, 스마트폰과 PC를통합하여센서플랫폼을구축하였고, 가속도센서는총 5개로머리, 오른팔, 왼팔, 오른손, 왼손에각각부착하였다. Armband는오른팔목에착용하였으며, 이들센서는메인 PC에연결되어센서정보를전송한다. 컨텍스트추론모듈에사용된 DBN은베이지안네트워크의대표적인추론라이브러리인 SMILE을이용하여구현하였다. 그림 7 사용자평가시나리오
910 정보과학회논문지 : 컴퓨팅의실제및레터제 14 권제 9 호 (2008.12) 그림 8 시나리오기반컨텍스트인식결과어떠한상태인지를평가하기도쉽지않다. 대체로긍정적인감정과부정적인감정으로나뉘는경향을보였으며, 짜증의경우조금늦게탐지되는것을확인하였다. 스트레스는하루일과속에서대체로증가하였으며, 휴식을취하는경우에도즉각적인반영이되지는않았다. 행동은각종센서값에직접적으로영향을주었으며, DBN을통해이를정확히인식할수있었다. 4.3 사용성평가본논문에서는 QUIS(Questionnaire for User Interface Satisfaction) 에따라설계된질의를바탕으로상황정보를공유하지않는경우, 텍스트를기반으로상황정보를공유하는경우와비교하여제안한상황인지메신저의사용성을평가하였다. 메신저를자주사용하는 20명의사용자를대상으로각질문에 1~5점 (1: 매우그렇지않다, 5: 매우그렇다 ) 을부여하도록하였다. 그림 9와같이상황정보를공유하는경우정보와재미에있어서사용자가높은점수를부여하였고특히아이콘을이용하여상황정보를출력할때재미와친숙함에서다른시스템보다높은점수를얻었다. 하지만장비의착용이불편해보인다는평가도함께받아상황인지메신저의사용성을높이기위해착용성이뛰어난센서플랫폼의개발이요구되었다. 그림 9 사용성평가결과 5. 결론본논문에서는각종센서와기기로부터수집된정보 를이용하여사용자의대표적컨텍스트인감정, 스트레스, 행동을추론하고다양한아이콘형태로출력하는상황인지메신저를개발하였다. 상황인지모듈중베이지안네트워크를이용한감정, 스트레스, 행동추론모듈은전문가지식을바탕으로수동으로설계하였고, 동적베이지안네트워크를이용한구체적행동컨텍스트추론모듈은수집된데이타를기반으로자동으로생성하였다. 행동은시계열정보의분석을통해보다정확히추론하였으며, 감정과스트레스는사용자로부터정확한레이블을획득하기어려웠고누적된양상을보였다. 향후에는본논문에서개발한상황인지메신저의인식성능을장기간수집한사용자로그를바탕으로평가하고, 사용성평가를통해유용성을검증하고, 다양한값의감정, 스트레스, 행동과컨텍스트공유에적합한정보를함께추가하여보다다양한정보를공유하도록시스템을확장하고자한다. 또한동적베이지안네트워크가복잡해질경우학습이나추론이어려워질수있기때문에다수의모듈형네트워크를통해컨텍스트를추론하는기술을함께연구하고자한다. 참고문헌 [1] M. Raento, et al., "ContextPhone: A prototyping platform for context-aware mobile applications," IEEE Pervasive Computing, Vol.4, No.2, pp. 51-59, 2005. [2] S.-B. Cho, et al., "AniDiary: Daily cartoon-style diary exploits Bayesian networks," IEEE Pervasive Computing, Vol.6, No.3, pp. 66-75, 2007. [3] A. Krause, et al., "Context-aware mobile computing: Learning context-dependent personal preferences from a wearable sensor array," IEEE Trans. Mobile Computing, Vol.5, No.2, pp. 113-127, 2006. [4] P. Korpipaa, et al., "Managing context information in mobile devices," IEEE Pervasive Computing, Vol.2, No. 3, pp. 42-51, 2003. [5] A. Ranganathan, et al., "ConChat: A context-aware chat program, IEEE Pervasive Computing, Vol.1, No. 3, pp. 51-57, 2002. [6] E. Horvitz, et al., "Learning predictive models of memory landmarks," 26th Ann. Meeting Cognitive Science Soc., pp. 583-588, 2004. [7] A. Ranganathan, et al., "Reasoning about uncertain contexts in pervasive computing environments," IEEE Pervasive Computing, Vol.3, No.2, pp. 62-70, 2004. [8] P. Dai, et al., "Group interaction analysis in dynamic context," IEEE Trans. Systems, Man, and Cybernetics-Part B: Cybernetics, Vol.38, No.1, pp. 275-282, 2008. [9] J.-H. Hong, et al., "Fingerprint classification using one-vs-all support vector machines dynamically ordered with naive Bayes classifiers," Pattern Recognition, Vol.41, No.2, pp. 662-671, 2008.