776 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 10 호 (2009.10) 베이지안네트워크와행동네트워크를이용한지능형합성캐릭터의행동생성및사용성평가 (Usability Test and Behavior Generation of Intelligent Synthetic Character using Bayesian Networks and Behavior Networks) 윤종원 조성배 (Jongwon Yoon) (Sung-Bae Cho) 요약최근스마트폰이유비쿼터스컴퓨팅구현에적합한기기로떠오르면서스마트폰에서동작하는개인화된지능형서비스에관한연구가활발히진행되고있다. 대표적인것이가상캐릭터를이용한것이다. 본논문에서는외부상황에따른에이전트의자연스러운행동생성을위해베이지안네트워크를이용하여사용자의감정상태와바쁨정도를추론한뒤이와함께 OCC 모델을이용한에이전트자체의감정상태, 그리고스마트폰에서수집된디바이스상태에기반을두어행동네트워크를이용해행동을선택하는방법을제안한다. 또한제안하는방법의유용성을검증하기위해사용성평가를시행하였다. 키워드 : 지능형합성캐릭터, 지능형에이전트, 스마트폰 본연구는지식경제부및정보통신산업진흥원의대학 IT연구센터지원사업의연구결과로수행되었음 (NIPA-2009-(C1090-0902-0046)) 이논문은제35회추계학술대회에서 베이지안네트워크와행동네트워크를이용한지능형합성캐릭터의행동생성및사용성평가 의제목으로발표된논문을확장한것임 학생회원 : 연세대학교컴퓨터과학과 jwyoon@sclab.yonsei.ac.kr 종신회원 : 연세대학교컴퓨터과학과교수 sbcho@cs.yonsei.ac.kr 논문접수 : 2009년 1월 16일심사완료 : 2009년 8월 24일 CopyrightC2009 한국정보과학회ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 컴퓨팅의실제및레터제15권제10호 (2009.10) Abstract As smartphones appear as suitable devices to implement ubiquitous computing recently, there are many researchers who study about personalized intelligent services in smartphones. An intelligent synthetic character is one of them. This paper proposes a method generating behaviors of an intelligent synthetic character. In order to generate more natural behaviors for the character, the Bayesian networks are exploited to infer the user's states and OCC model is utilized to create the character's emotion. After inferring the contexts, the behaviors are generated through the behavior selection networks with using the information. A usability test verifies the usefulness of the proposed method. Key words : Intelligent synthetic character, Intelligent agent, Smartphones 1. 서론 최근이동전화는사람대사람의커뮤니케이션에있어서필수적인수단으로자리잡고있다. 특히근래들어많은기업들이 PDA(Personal Digital Assistant) 와이동전화의기능이결합된스마트폰을경쟁적으로출시하고있으며, 이와더불어현재스마트폰이유비쿼터스컴퓨팅환경의구현에적합한기기로떠오르면서스마트폰에서개인화된지능형서비스의필요성이점점커지고있다. 하지만, 스마트폰의특성상적은저장용량, 작은화면및사람과의낮은상호작용능력등의한계가있으므로, 이를극복하고유용한서비스를제공하기위한기술개발이필수적이다. 본논문에서는스마트폰에서지능형서비스의도입및사람과의상호작용을효율적으로하기위해고안된지능형합성캐릭터의자연스러운행동생성방법을제안한다. 스마트폰에서수집한불확실한환경의불충분한정보를이용하여베이지안네트워크를통해사용자의감정상태와바쁨상태를추론하고, OCC모델을이용해캐릭터의감정상태를생성한뒤이를행동선택네트워크와결합하여적절한캐릭터의행동을생성한다. 2. 배경및관련연구 S. Schiaffino 등은개인화된일정관리에이전트를위한소프트웨어구조를제안하고사용자성향학습방법으로베이지안네트워크사례기반학습방법을제시하였다 [2]. 또한, Han 등은스마트폰에저장된일정정보및음성통화로그정보를이용하여사용자의감정상태와바쁨정도, 그리고연락처에저장된사람들과의친밀도등을베이지안네트워크를사용하여추론하는방법을제안하였다 [3]. Kim 등은지능형에이전트의내부상태를이용해행동을선택하고, 사용자와의상호작용을통해학습하는방법을제안하였다 [4]. 또한 Berg 등은스마트폰에서연락처정보에대하여사용자가캐릭터의특징만으로누구의연락처정보인지알수있게하였다 [5].
베이지안네트워크와행동네트워크를이용한지능형합성캐릭터의행동생성및사용성평가 777 본논문에서는이에착안하여사용자의감정상태및바쁨상태, 그리고다양한외부상황을고려하여동적환경변화에따른지능형캐릭터의상황에적합한자연스러운행동생성방법을제안한다. 3. 지능형합성캐릭터지능형합성캐릭터는인지시스템, 감정시스템, 동기시스템및행동선택시스템으로구성된다. 그림 1은제안하는지능형합성캐릭터의전체구조도를보여준다. 3.2 감정시스템감정시스템에서는인지시스템에서수집된정보들을이용하여사용자의감정상태와캐릭터의감정상태를추론한다. 감정시스템은사용자감정시스템과캐릭터감정시스템으로구성된다. 사용자감정시스템은베이지안네트워크를사용하여사용자의감정상태를추론한다. 그림 3은사용자의감정상태추론을위한베이지안네트워크의한부분을보여준다. 그림 1 제안하는지능형합성캐릭터의구조 3.1 인지시스템스마트폰상에서얻을수있는정보는표 1과같이사용자와관련된주소록, 일정, 통화기록등의정보와스마트폰기기자체의정보가있다. 인지시스템에서는이러한정보들중에서감정시스템과행동선택시스템에서필요한정보들을수집한다. 사용자정보 표 1 스마트폰에서얻을수있는정보 종류 구성요소 주소록 이름, 그룹, 전화번호, 이메일, 주소 일정 제목, 장소, 카테고리, 시간 통화기록 이름, 전화번호, 통화유형, 통화시간 스마트폰기기정보 배터리, 메모리, 터치패드, 화면상태, 실행프로그램, 현재시간 또한인지시스템에서는수집된정보들을이용하여사용자의바쁨상태를베이지안네트워크를사용하여추론한다. 그림 2는사용자의바쁨상태추론을위한베이지안네트워크의한부분을보여준다. 그림 2 바쁨상태추론베이지안네트워크의한부분 그림 3 감정상태추론베이지안네트워크의한부분또한사용자의감정상태를추론하기위하여감정을 2차원공간에서나타내는간단한모델인유발성-각성 (Valence-Arousal) 공간 [6] 을사용하였다. 유발성축은감정의성격을, 각성축은감정의강도를나타낸다. 본논문에서는유발성-각성공간상에행복, 흥미, 분노, 슬픔, 졸음등의 10가지감정을배치하였다. 베이지안네트워크를통해추론된사용자의유발성- 각성감정상태는유발성-각성공간상에서특정좌표에위치하게되며, 사용자의감정은 10가지감정중해당좌표와가장가까운곳에위치한감정으로결정된다. 캐릭터감정시스템은캐릭터의감정합성을 OCC모델 [7] 을사용하여캐릭터의감정상태를생성한다. 본논문에서는기존의 OCC모델을수정하여즐거움, 고뇌, 자부심, 수치심, 치욕, 감사등을포함하는총 14가지의감정유형을지닌 OCC모델을제안한다. 그림 4는본논문에서제안하는 OCC모델을나타낸다. OCC모델의목표는각각의감정유형의감정강도를시간에따라외부요인을이용하여변화시키고변화된감정강도를구하는데에있다 [8]. 개의감정유형이존재할때, 시간에대해차원의감정는다음과같이정의할수있다. (1)
778 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 10 호 (2009.10) 그림 4 제안하는 OCC 감정모델 캐릭터감정의강도는 3가지유형의외부요인인사건, 행동, 그리고물건에의해정해진다. 각각의외부요인들은고유의가중치를가지게된다. 가지의외부요인에대해시간에따른외부요인집단는다음과같이정의할수있다. (2) 외부요인의값은시간에서외부요인의존재여부값과각각의외부요인에할당된고유가중치값의곱으로표현된다. 감정모델은또한외부요인에대한내력을가지고있다. 는시간까지의외부요인내력을의미한다. 이때, 시간 에서새로운감정 은다음과같이계산된다. (3) 감정강도의변화량은외부요인에의한감정의변화량을계산하는감정변화함수 와내부요인에의한감정의쇠퇴량을결정하는감정쇠퇴함수 의합으로계산된다. 감정변화함수는우선적으로캐릭터가미리가지고있는목표, 표준, 태도를이용하여외부요인에대한평가를수행한다. 사건은캐릭터의목표에부합되는바람직한사건인지여부가만족 / 불만족으로평가되고행동은캐릭터의표준에의거하여캐릭터, 혹은사용자의행동의승인에대한평가를동의 / 비난으로내린다. 또한물건은캐릭터의태도를반영해캐릭터가해당물건을좋아하는지, 혹은싫어하는지선호 / 혐오로평가된다. 평가된외부요인은특정감정유형의감정강도에영향을미치게된다. 또한감정변화함수는외부요인내력과내력함수 [7] 를이용하여바로전에얻어진외부요인에의한감정강도변화량을조절한다. 감정쇠퇴함수는시간이지남에따라감정의강도를감소시키는역할을한다. 각각의감정유형은고유의감정쇠퇴함수를이용해다음단위시간에감소될감정강도변화량을구한다. 몇개의감정들이동시에활성화될경우에는해당감정들이결합되어새로운감정이활성화된다. 캐릭터의현재감정은위의과정을거쳐계산된감정강도들중강도가가장높은감정을택하게된다. 3.3 동기시스템캐릭터는항상정해진목표를가지고행동하는것이아니라인지시스템에서수집된정보들을이용하여상황에맞는목표를가지고행동한다. 표 2는상황에따른목표들을보여준다. 표 2 상황에따른목표목표상황알리기일정몇분전기기상태일치스마트폰의현재상태를표현감정상태일치사용자의감정상태에적합한행동 시간대일치현재시간대에적합한행동을표현 3.4 행동선택시스템행동선택시스템에서는행동네트워크를이용하며, 인지시스템에서수집된정보, 사용자의바쁨상태, 그리고캐릭터의감정상태를근거로하고동기시스템에서설정된목표를목표로삼아서현재상황을고려할때자연스럽다고판단되는캐릭터의행동을선택한다. 행동선택네트워크는행동들사이의관계, 목표, 외부환경을구성요소로하여현재상황에가장적합한행동을선택하는모델 [9] 로행동, 외부목표, 내부목표가링크를통해연결되어져있으며, 그림 5는구현한행동네트워크의일부분이다. 선행조건은행동이실행되기위해서참이어야하는조건들의집합이며, 추가조건은행동이실행되었을대참이되기쉬운조건들의집합이다. 삭제조건은행동이실행되었을때거짓이되기쉬운조건들의집합이고, 활성도는행동이활성화된정도를나타낸다. 각행동의활성도는상태와목표에의해증가하거나서로연결되어있는행동끼리주고받는다. 행동네트워크에는수행할
베이지안네트워크와행동네트워크를이용한지능형합성캐릭터의행동생성및사용성평가 779 그림 6 실제스마트폰상의캐릭터 (a) 와행동예시 (b) 그림 5 행동네트워크의한부분행동을결정하기위한임계치가있으며선행조건이모두참인행동중활성도가임계치를넘는행동을선택하게된다. 임계치를넘는행동이없을경우에는행동이선택될때까지임계치를일정량감소시켜가며행동을선택한다. 본논문에서제안하는행동네트워크는나타나기, 기뻐하기, 웃기, 노래하기, 놀기, 울기, 화내기, 밥먹기, 아침인사, 밤인사등 31가지의다양한행동을생성한다. 4. 동작의예본논문에서제안하는행동생성방법을사용하는캐릭터는 Microsoft의 Embedded Visual C++ 4.0과 Pocket PC SDK 2003으로제작되었으며, 실제스마트폰삼성 SPH-M4650 상에서실시간으로정보를수집하고추론하여 5초에한번씩행동을생성한다. 그림 6(a) 는실제스마트폰상에서동작하는캐릭터를보여준다. 제안하는캐릭터의유용성을보이기위하여다양한외부상황변화에따른캐릭터의행동을살펴보았다. 그림 7은시간의흐름에따라외부요인들이변화할때그에따른캐릭터의행동을도식화한것으로, 행동활성도가가장높은행동들이선택된행동들이다. 사용자가처음프로그램을실행하게되면캐릭터가화면에나타나있지않은상태이므로, 화면에없음 조건이참이되고그로인해 나타나기 행동이선택된다. 이후사용자의감정이슬픔상태이므로사용자의현재감정에적절한행동인 응원하기, 애교피우기, 울기 등의행동의활성도가높아지게된다. 그림 6(b) 는행동 응원하기, 애교피우기 의예를보여준다. 캐릭터는사용자를위로해주었다는행동에평가를내려자부심의감정을가지게되고캐릭터의감정이변함에따라 위로하기 행동이선택된다. 이후에도사용자의감정상태가변할경우행복, 흥미등의긍정적인감정의경우같이기뻐하는행동을수행하며분노, 졸음과같이부정적인감정의경우사용자를위로하는행동을수행한다. 사용자가음악을듣기위해미디어플레이어를실행시킬경우 음악재생 조건이참이되고동기시스템에의해 폰상태일치 목표가설정되어 춤추기 행동의활성도가증가함에따라선택될확률이높아진다. 캐릭터는이후음악에대해평가를내려감정상태가 선호 로바뀌게되고, 바뀐캐릭터의감정상태에적합한 웃기. 노래하기 의행동이선택될확률이높아진다. 점심시간이될경우에는 특별한시간 조건이참이되고 시간대일치 목표가설정되어 밥먹기 행동의 그림 7 시간에따른외부요인들의변화와캐릭터의행동
780 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 10 호 (2009.10) 활성도가높아진다. 또한, 사용자가장시간행복하면이 사건은캐릭터의 사용자의기분이좋기를바란다. 는목 표를성취시키기때문에캐릭터에의해평가되어감정 이 흡족 으로변화되고그에적합한 행복해하기 와 사 랑하기 행동이선택된다. 5. 사용성평가 본논문에서는다양한상황에있어서제안하는방법 에의해생성되는행동의적합성을검증하기위해사용 성평가를수행하였다. 사용성평가에는지능형캐릭터서비스에대해알고 는있지만실제사용경험은없는 20대남녀 8명이참 가하였다. 피험자들은총 10개의시나리오를수행한다. 피험자들은각시나리오마다본논문에서제안하는방 법으로선택되는 5개의연속된행동과무작위로선택되 는 5개의행동을관찰한후, 각행동의상황에대한적 합도를평가한다. 적합도는 1( 매우부적합함 )~5( 매우적 합함 ) 값을가진다. 표 3은사용성평가에사용한 10개 의시나리오를보여준다. 이후피험자별로무작위로선택하는방법과제안하 는방법의행동별점수를모두합한후, 각각의방법에 해당하는평균행동적합도점수를구한다. 표 4는피험 자들이평가한평균행동적합도점수를보여준다. 사용성평가결과분석을위해수집된두방법의평 표 3 사용성평가에사용한시나리오 시간대 일정상황 통화상황 1 평일아침 하루업무일정많음 없음 2 평일저녁 일정종료 친한사람들과자주 3 평일아침 일정없음 친한사람들과자주 4 주말오후 일정종료 친한사람들과자주 5 평일점심 남은일정많음 없음 6 평일밤 일정종료 없음 7 평일오전 하루업무일정많음 없음 8 평일아침 하루업무일정많음 잦은통화 9 평일오전 일정없음 업무시간에자주 10 평일오전 하루업무일정많음 업무시간에자주 표 4 평균행동적합도 피험자 무작위선택 제안하는방법 피험자1 2.46 4.50 피험자2 2.40 4.22 피험자3 3.00 4.44 피험자4 2.14 4.38 피험자5 2.44 4.40 피험자6 3.12 4.44 피험자7 2.88 4.54 피험자8 2.06 4.20 균행동적합도를이용해윌콕슨부호순위검정을실시하였다. 윌콕슨부호순위검정을수행한결과 Z=-2.512 가나왔고, 근사유의확률 ( 양측 ) 은 0.012가나왔다. 근사유의확률이 0.05보다작기때문에본논문에서제안하는행동선택방법이캐릭터행동의적합도에영향을미치는것으로확인되었다. 6. 결론 본논문에서는스마트폰상에서의지능형서비스의한방법인지능형캐릭터의자연스러운행동을생성하는방법을제안하였다. 캐릭터는스마트폰상에서얻을수있는정보를이용하여사용자의감정상태및바쁨상태를추론하고생성되는캐릭터의감정상태를이용하여행동선택네트워크를통해상황에가장적절한행동을선택한다. 또한사용성평가를통해제안하는방법의유용성을검증하였다. 그러나아직은사용자와캐릭터간의상호작용이힘들다는단점이있다. 캐릭터의행동에대한사용자의피드백에따라네트워크의구조가진화할수있는학습시스템을추가하는연구가필요하다. 참고문헌 [1] S. Piva, L. Marchesotti, C. Bonamico and C. S. Regazzoni, "Context based message selection strategies in a biologically inspired ambient intelligence system," In Proc. of Brain Inspired Cognitive Systems, 2004. [2] S. Schiaffino and A. Amandi, "On the design of a software secretary," In Proc. of the Argentine Symp. on Artificial intelligence, pp.218-230, 2002. [3] S.-J. Han and S.-B. Cho, "Intelligent agent based on Bayesian network for smartphone," Journal of Korea Information Science Society, vol.11, no.1, pp.81-91, 2004. [4] Y.-D. Kim, J.-H. Kim and Y.-J. Kim, "Behavior selection and learning for synthetic character," Evolutionary Computation, vol.1, pp.898-903, 2004. [5] S. Berg, A. S. Taylor and R. Harper, "Mobile phones for the next generation: device designs for teenagers," In Proc. of the Conf. on Human Factors in Computing Systems, pp.433-440, 2003. [6] R. Picard, "Affective computing," Media Laboratory Perceptual Computing TR 321, MIT Media Laboratory, 1995. [7] A. Ortony, G. Clore and A. Collins, The Cognitive Structure of Emotions, Cambridge University Press, Cambridge, UK, 1988. [8] A. Egges, S. Kshirsagar and N. Magnenat-Thalmann, "Generic personality and emotion simulation for conversational agents," Computer Animation and Virtual Words, pp.1-13, 2004. [9] P. Maes, "How to do the right thing," Connection Science Journal, vol.1, no.3, pp.291-323, 1989.