DBPIA-NURIMEDIA

Size: px

Start display at page:

Download "DBPIA-NURIMEDIA"

서구 목
6 years ago
Views:

1 베이지안네트워크와은닉마르코프모델을이용한 모바일행동인식 이영설, 조성배연세대학교컴퓨터과학과 Activity recognition on mobile environment using Bayesian network and hidden Markov model Young-Seol Lee, Sung-Bae Cho Dept. of Computer Science, Yonsei university 요약최근모바일환경에서다양한센서를사용하여인간의행동이나상태를인식하기위한연구들이많이진행되고있다. 이런추세는모바일폰에가속도센서나 GPS 장치등이추가되면서더확산되고있다. 센서를통해수집되는정보를이용하여인간의행동이나상태를실시간으로체크할수있다면그에맞는사용자맞춤형서비스를제공할수있게된다. 현재까지연구들에서모바일폰에서의행동인식을위한많은방법이제안되었으나다른종류의여러가지정보를사용하기위한방법들이잘제시되지는못하였다. 본논문에서는모바일폰에서수집할수있는가속도정보와 GPS 위치정보를이용하여행동을추론하는방법을제안한다. 제안하는방법은은닉마르코프모델을이용하여가속도정보를처리하고, 베이지안네트워크를이용하여가속도정보와 GPS 위치정보, 그리고시간정보를통합하여행동을인식하는방법을제안한다. 또한간단한실험을통하여제안하는방법의성능을검토한다. 1. 서론센서기술의발달로사람들의주변정보들을정밀하게수집하는기술이발전하고있다. 센서네트워크기술이나 GPS (Global Positioning System) 장치, 가속도센서와자이로센서, 온도, 습도, 조도, 그리고음향정보를수집할수있는센서들이개발되고있으며, 그센서들이점차모바일기기에탑재되고있으며, 이정보들을활용하여인간의행동을인식하는연구도함께이루어지고있다 [1]. 모바일기기에서수집된정보를통하여인간의행동을인식할수있게되면노인이나장애인을돌보는간호하는데필요한시간과비용을절감하고서비스의질을향상시킬수있다 [2]. 그외에도사람의위치나상황에따라서알맞은맞춤형서비스를제안하는일이가능해진다. 공항에서필요한비행기에탑승하기위한게이트에대한위치정보를제공하거나 [3], 식사시간에알맞은음식점을추천하는연구도진행되고있다 [4]. 또위치정보들로부터행동경로를파악하여더빠르게목적지에도착할수있는경로를제공하는데이용될수도있다. 모바일기기로부터인간의행동을인식할경우, 모바일기기에서수집된정보가유실되거나결손이존재할가능성이높고, 노이즈가포함될가능성이높기때문에완벽한정확률을보일수없다. 이런특성때문에대개의경우규칙기반방법이나논리적인추론보다는확률적인모델이나추론기법이사용된다. 확률은많은상황에서불확실한정도를정량적으로표시하고 수학적으로계산가능하게해주는좋은척도이다. 본논문에서는모바일폰에서수집할수있는가속도정보와 GPS 위치정보, 그리고시간정보를사용하여행동을인식하는확률모델을설계한다. 여기서는가속도정보를은닉마르코프모델을사용하여사용자의활동상태를인식하고, 베이지안네트워크를이용하여활동상태와위치정보, 시간정보를통합한다. 또한실제수집된데이터를이용하여제안하는방법의가능성을검증한다. 2. 관련연구 Riboni 등은가속도센서를내장한시계와가속도센서와 GPS 장치를부착한모바일폰을이용하여행동을인식하는연구를진행하였다. 이연구에서는행동인식을위하여통계적방법을적용한온톨로지를이용한추론기법을사용하였으며, 이기법의성능을검증하기위하여베이지안네트워크, SVM(Support Vector Machine) 등의다른기법들과비교하였다 [5]. Song 등은 3축가속도센서를이용하여노약자의행동을인식하는연구를진행하였다. 사용자의몸에부착한센서에서수집된가속도정보는 RF 통신을이용하여사용자의 PDA 에전송되고, 전송된정보를활용하여사용자의행동을인식한다. 인식에사용된방법은 SVM을이용하였다 [6]. 이연구는상당히높은정확도를보여주지만, 가속도정보만을활용하였다는한계

2 점을가지고있었다. Choudhury 등은 MSP(Mobile Sensing Platform) 을제안하였다. 그들이제안한플랫폼은모바일기기에서실시간으로데이터를수집하기위한일종의다중센서복합기이며, 그안에는 3축가속도센서, 기압계, 적외선센서, 나침반, 습도 / 온도계, 마이크로폰등을내장하고있다. 이기기를이용하여수집된정보를바탕으로행동을인식하는연구를진행하였다 [2]. 그외에도 Yang 등은가속도센서와팔에부착하는신체정보수집센서 ( 자이로센서, 체온등 ) 를바탕으로사용자의행동을인식하는연구를진행하였다 [7]. Philipose 등은물체에붙인 RFID 태그와각물체와인간행동의관계에대한지식을바탕으로행동을인식하는연구를진행하였다 [3]. Laster 등은 MSB(multi-modal sensor board) 라는기기를제작하여사용자의정보를수집하고 Walinkg, Sitting, Standing, Brushing Teeth 등의행동을인식하였다. MSB는 3축가속도센서, 습도계, 온도계, 마이크로폰등, 7개의센서를포함하고있고수집된정보를블루투스를이용하여휴대폰에전송한다 [8]. 이런대부분의연구들은 GPS, 가속도, 온도등의여러센서로부터얻은정보를자신들만의방식을이용하여가공하고그결과로사용자의행동을추론한다. 그러나각각의가속도정보나 GPS 이동패턴등은각각다른성질을가지고있으며, 그성질에맞는특징추출방법과인식방법을요구한다. 또한이다른성질의정보들을통합하여사람의행동을인식하기위해서는하나의확률모델로이정보들을융합할필요가있다. 본논문에서는가속도정보를이용하여행동인식에사용하기위해서은닉마르코프모델 (HMM : hidden Markov model) 을사용한다. HMM 은시계열분석에이용되는대표적인방법가운데하나로이방법을이용하면확률적으로모델을학습하여시간적으로입력되는데이터패턴에대해서정확한인식결과를보여준다. 또한이질적인정보들을통합하기위한확률모델로는베이지안네트워크모델을사용한다. 베이지안네트워크는확률적인모델이지만, 학습하는방법외에도사람이직접자신의지식이나견해를넣어서디자인할수있으므로, 학습하기어려운모델이나이질적인정보들을통합하는데있어서유리한특징을가지고있다. 본논문에서는최종적으로실제로수집한정보를바탕으로제안하는방법의가능성을보여준다. 3. 제안하는방법제안하는방법을실험하기위한시스템은모바일폰으로부터수집한가속도정보와 GPS 위치정보, 시간정보를바탕으로사용자의행동을추론한다. 그림 1은이시스템의전체적인구성을보여준다. 3.1 모바일데이터수집본논문에서는가속도정보를수집하기위하여삼성옴니아2 스마트폰을이용하였으며, 휴대용 GPS인 BT-335를이용하여 GPS 위치정보를함께수집하였다. 또한수집된정보를바탕으로휴대폰사용자의행동을추론하기위해서수행한행동을레이블링하였다. 수집된정보와레이블링의내역은표 1과같다. 표 1. 수집하는정보 구분 수집주기 상세내역 가속도 1/50초 X, Y, Z 축가속도 (-2g~2g) GPS 정보 1초 위도, 경도, 속도, 고도 시간 1초 날짜및시간 시간레이블 없음 특정행동에유리한시간 행동레이블 행동변화시 행동 (Shopping, Watching, Walking, Moving 등 ) 장소레이블 없음 방문장소중심점마킹 그림 1. 시스템전체구성도 3.2 시간및위치분석기 ( 방문상태및시간적상황판단 ) GPS 좌표정보를위치정보로환산하기위해서는기본적으로구글맵이나야후맵등에서제공하는맵정보를활용할수있다. 그러나오픈맵 API에서제공하는정보들로는개인적인방문장소를확인할수없고, 동일한장소라도그곳에서발생할수있는행동은사람에따라서달라진다. 예를들어술집종업원일경우밤에술집에가는것은다른사람의경우에는술을마시거나사회활동에관련된일이겠으나그사람에게는업무에관련된활동을위한것이다. 택배원이택배배달을위해서학교에방문하는것과학생이학교에방문하는것은시간과장소가동일하더라도다른행동을하기위해서이다. 따라서개인의활동을주변정보로부터정확히인식하기위해서는일정수준의개인적인레이블링을필요로한다. 시간이나장소레이블링을하는이유가여기에있다. 본논문에서는장소레이블링을위해서건물이나장소의중심점을찍고그장소에서일정

반경안에사용자의위치가존재할경우에그장소에방문한것으로취급한다. 일반적으로건물에진입하기전에 GPS 신호가소실되는경우가많으므로그림 2에서보는바와같이일정범위안에서신호가소실되었을경우, 그건물을방문한것으로인식한다. (1) 걷기, 서기, 뛰기의경우사용자의활동량이각행동마다크게바뀌기때문에이전시간과현재시간사이의가속도변화량을특징으로사용한다. 수식 1이사용하는특징값을나타낸다.

3 반경안에사용자의위치가존재할경우에그장소에방문한것으로취급한다. 일반적으로건물에진입하기전에 GPS 신호가소실되는경우가많으므로그림 2에서보는바와같이일정범위안에서신호가소실되었을경우, 그건물을방문한것으로인식한다. (1) 걷기, 서기, 뛰기의경우사용자의활동량이각행동마다크게바뀌기때문에이전시간과현재시간사이의가속도변화량을특징으로사용한다. 수식 1이사용하는특징값을나타낸다. 수식 1로구한가속도변화량으로부터행동에따른가속도패턴을학습하기위하여 HMM을이용한다. HMM은시계열학습에주로이용되는방법으로음성인식이나교통사고인식등여러방면에서활용되고있다. 여기서는 discrete HMM을학습시키기위하여가속도변화량을 0과 5 사이의값으로균등하게분할한다. 행동패턴을인식하기위해서각각의행동패턴에대해서하나의 HMM을학습시키고테스트데이터에대해서가장높은확률값을가지는모델을선택하는방법을이용한다. 그림 3은이것을나타내고있다. 상태수는 5로고정하였다. 그림 2. 레이블링한장소의방문판단 일반적으로신호가소실되는지점을잘잡아내기위한인식반경은건물의크기나출입구의위치에따라서달라지게되는데여기서는이전연구 [9] 의결과를활용하여인식반경을 0.3초로주고실험을진행하였다. 시간분석의경우에는사용자의직업이나성향에따라서특정행동에걸맞는시간대가존재한다. 학생의경우에는평일낮에는수업을듣고있을가능성이높고, 반면직장인의경우에는회사에서일을하고있을확률이높을것이다. 반대로도로공사처럼교통량이없는야간근무를주로하는사람들은평일낮에는자고밤에일하는경우가많을것이다. 따라서시간분석에서는사용자의직업과성향을고려하여특정시간대에무엇을주로하는지를구분한다. 여기에는몇몇통계자료 [10] 를활용하여직업이나나이별로특정한업무에소요하는시간을참고할수있다. 시간분석에사용되는시간구분규칙은통계자료와설계자의지식을반영하여설계되었다. 이것은설계자의사전지식을활용하는베이지안네트워크모델링규칙에어긋나지않는다. 3.3 동작분석기 ( 사용자활동상황판단 ) 사용자의활동상황을판단하기위해서가속도정보를분석한다. 본논문에서는모바일폰의가속도정보를바탕으로사용자의현재상태를앉기 / 서기, 걷기, 뛰기로구분한다. 기본적으로사용자의상태를앉기 / 서기, 걷기, 뛰기로구분하면특정장소에목적이있어서방문하였을경우에일반적으로앉기 / 서기상태를유지할것이므로특정장소를방문했는지혹은방문하지않았는지를구분하는데도움을줄수있으며, 동시에쇼핑이나물건을살펴보는행위처럼걷기와서기를반복하는행동패턴에대해서학습이가능하므로보다나은행동인식성능을보여줄수있다. 그림 3. HMM 적용방법 3.4 베이지안네트워크통합추론모듈각각의동작분석정보와장소정보, 그리고시간정보를통합하여행동을인식하기위한통합확률모델을필요로한다. 베이지안네트워크는각각의노드에확률값과증거값을세팅하는것으로사용자가특정행동을하고있을가능성을 0에서 1 사이의확률값으로나타내기에적합한모델이다. 특히이질적인정보들을통합하고그구조에설계자의지식을반영하여데이터가부족하거나불확실성이커서학습이어려운환경에서도안정적으로사용할수있다는장점을가지고있다. 본논문에서는계층적베이지안네트워크 (Hierarchical Bayesian network) [11] 를사용하여 3 단계구조로모델을구성한다. 계층적베이지안네트워크모델은각각인과적으로관련된증거값을하나의노드로묶어서처리하는기법으로단순히학습된베이지안네트워크나계층이없이설계된모델보다모델에더많은정보를담을수있고, 인과관계설정이쉽다는장점이있어베이지안네트워크모델링에잘적용될수있다. 그림 4. 계층적모델링

4. 실험및결과 4.2 가속도정보를이용한사용자활동량인식 본논문에서는실험을위하여옴니아 2 스마트폰과 BT-335 휴대용 GPS를이용하여총 1명의대학원생을대상으로약 1주일간데이터를수집하였다. 수집된데이터에는수집과동시에행동을레이블링하였다. 4.1 장소레이블링자주방문하는장소를기준으로 6군데의장소를레이블링하였다.

수집되는가속도정보의수집주파수는 50Hz 이며, 각각의가속도변화량을양자화하여 100개의가속도정보를가지고 HMM을학습시킨다. 그림 7은수집된가속도데이터의예이다. 그림 7에서 (A) 는걷기, (B) 는뛰기, (C) 는앉기 / 서기를나타내고있다.

동작정보인식결과 : 혼동행렬 앉기 / 서기 걷기 뛰기 앉기 / 서기 0.979 0.080 0.000 걷기 0.020 0.900 0.120 뛰기 0.000 0.020 0.880 그림 6. 귀가행동을위한레이블링장소 ( 집 ) 표 2.

4 4. 실험및결과 4.2 가속도정보를이용한사용자활동량인식 본논문에서는실험을위하여옴니아 2 스마트폰과 BT-335 휴대용 GPS를이용하여총 1명의대학원생을대상으로약 1주일간데이터를수집하였다. 수집된데이터에는수집과동시에행동을레이블링하였다. 4.1 장소레이블링자주방문하는장소를기준으로 6군데의장소를레이블링하였다. 그림 5와 6은레이블링의예를보여주며, 레이블링된방문장소와관련행동은표 6에요약되어있다. 집과학교앞버스정류장의경우, 등교와귀가에모두연관되어있으며, 학교의경우, 출입구가 2개있으며, 각각주로등교와귀가에사용되는곳이나뉘어있으므로각각을모두레이블링하였다. 3.3 절에서소개한것처럼 HMM을이용하여앉기 / 서기, 걷기, 뛰기를구분한다. 수집되는가속도정보의수집주파수는 50Hz 이며, 각각의가속도변화량을양자화하여 100개의가속도정보를가지고 HMM을학습시킨다. 그림 7은수집된가속도데이터의예이다. 그림 7에서 (A) 는걷기, (B) 는뛰기, (C) 는앉기 / 서기를나타내고있다. 그림 7에서보는바와같이명확하게구분될경우도있으나, 걷는도로의요철이나굴곡에따라서가속도변화량이커지는경우도있으며, 걷는중에도느리게걸을경우변화량이적은경우도존재한다. 특히뛰는중에는뛰다가지쳐서순간적으로속도가떨어지거나반대로뛰기시작할때가속도의변화량의패턴은급격히변화한다. 그림 5. 등교행동을위한레이블링장소 ( 학교, 정류장 ) 그림 7. 수집된가속도데이터의예 표 3. 동작정보인식결과 : 혼동행렬 앉기 / 서기 걷기 뛰기 앉기 / 서기 걷기 뛰기 그림 6. 귀가행동을위한레이블링장소 ( 집 ) 표 2. 레이블링장소및관련행동 장소 관련행동 집 등교, 귀가 공학원입구 등교 공학원출구 귀가 학교앞버스정류장 등교, 귀가 상암 CGV 영화관람 상점 쇼핑 학습을위한데이터셋은 1주일간가속도정보만수집하여이용하였으며, 테스트셋으로는 1주일간가속도정보와 GPS 위치정보를함께수집한집합을이용하였다. 표 3은학습시킨 HMM 을테스트한결과이다. 앉기 / 서기, 걷기, 뛰기동작에대해서각각 97.9 %, 90.0 %, 87.5% 의정확률을보여, 일반적으로잘구분되는것을보여주었다. 4.3 사용자행동인식결과사용자행동은위치정보와시간정보, 그리고활동량정보를토대로베이지안네트워크확률모델을통해서추론된다. 모델링된행동은쇼핑, 영화관람, 등교, 귀가의 4가지였으나실제데이터에서추론된행동은등교, 귀가, 영화관람의 3가지였다. 그림 8과 9는제안하는방법으로실험한결과를보여준다. 그림 8은어느평일하루동안등교및귀가확률의변화를보여준다. 파란색선은등교확률이며, 붉은선이귀가확률을나타

5 내고있다. 오전중에등교할때등교확률이증가하고, 이후밤에귀가할때귀가확률이크게증가는것을볼수있다. 시도해볼필요가있다. 또한위치정보와가속도정보를활용하여버스와지하철같은이동수단을사용하는상황역시구분해볼필요가있다 감사의글 그림 8. 어느평일의등교및귀가행동의확률변화반면그림 9는토요일에귀가후, 영화관람을했을경우의확률변동이다. 붉은색선은귀가확률이며, 파란색선은등교확률, 그리고녹색선이영화관람확률이다. 영화관람을시작하는지점에서확률이상승하는것을알수있다. 마찬가지로영화가종료되는시점에서도녹색선이크게상승하므로영화가시작하는시점과종료하는시점을파악할수있다. 그림 9. 주말의귀가후영화관람확률변화 5. 결론및토의본논문에서는모바일폰에서수집되는가속도정보와 GPS 위치정보를이용하여사용자의행동을인식하기위한연구를진행하였다. 그리고실제로수집한정보를토대로제안하는방법의가능성을보였다. 사용자의활동량을인식하는과정에서약간의오차가있었지만, 그이유는앉아있거나서있는상황에서사용자가의식하지않고휴대폰이크게흔들리는경우가있으며, 뛰고있다고레이블링된경우에도중간잠시멈춰서거나지나다는사람들과부딪히는것을피하기위해서걷거나하는경우가몇몇있었기때문으로생각된다. 향후연구로는우선모바일폰에서수집되는정보를늘려서테스트를진행해볼필요가있다. 현재실험결과는상당히적은양의데이터만사용했으므로모델의유용성에대한검증이부족했다. 또한 HMM의입력값을양자화할때종종불균등하게데이터구간을양자화할경우성능이증가하는경우가많다. 향후연구에서는가속도정보의불균등양자화를통해서실내에서걷는것과실외에서걷는사이의차이점을구분하는것을 본연구는지식경제부및한국산업기술평가관리원의산업원천 기술개발사업의일환으로수행하였음. ( , 다중센서및 협업을위한자율학습기반상황인지기술 ) 또한, 이논문은 2010년도정부 ( 교육과학기술부 ) 의재원으로한국연구재단뇌과 학원천기술개발사업의 지원을 받아 수행된 연구임 ( ). 참고문헌 [1] T. Choudhury, M. Philipose, D. Wyatt and J. Lester, Towards activity databases: using sensors and statistical models to summarize people s lives," IEEE Data Engineering Bulletin, Vol. 29, No. 1, pp , [2] T. Choudhury, G. Borriello, S. Consolvo, D. Haehnel, B. Harrison, B. Hemingway, J. Hightower, P. Pedja Klasnja, K. Koscher, A. LaMarca, James A. Landay, L. LeGrand, J. Lester, A. Rahimi, A. Rea, D. Wyatt, The mobile sensing platform: an embedded activity recognition system," IEEE Pervasive Computing, vol. 7, no. 2, pp , [3] J. Cassens, and A. Kofod-Petersen, "Explanations and case-based reasoning in ambient intelligent systems," CaCoA, [4] H.-T. Kim, and S.-B. Cho, "A probability and hierarchical method based on client-server system for restaurant recommendation service in mobile environment," Proc. Of. KCC, pp. vol 35, no. 2, pp ,2008. [5] D. Riboni and C. Bettini, "Context-aware activity recognition through a combination of ontological and statistical reasoning," Lecture Notes in Computer Science, vol. 5585, pp , [6] S.-K. Song,, J. Jang, and S. Park, "An efficient method for activity recognition of the elderly using tilt signals of tri-axial acceleration sensor," Lecture Notes in Computer Science, vol. 5120, pp , [7] S.-I. Yang and S.-B. Cho, "Recognizing human activities from accelerometer and physiological sensors," Lecture Notes in Electrical Engineering, vol. 35, pp , [8] J. Lester, T. Choudhury and G. Borriello, A practical approach to recognizing physical activities, Lecture

6 Notes in Computer Science : Pervasive Computing, pp. 1-16, [9] Y.-S. Lee, M.-C. Jung and S.-B. Cho, Collection and construction of user's context in smart phone," Proc. of KCC, vol. 33, no. 1(B), pp , [10] Statistics Canada, General social survey on time use," [11] E. Gyftodimos, and P. Flach, "Hierarchical Bayesian networks: a probabilistic reasoning model for structured domains," Proc. of the ICML-2002 Workshop, pp

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA 베이지안망모델링을이용한스마트폰 GPS 센서의에너지절약시스템 375 베이지안망모델링을이용한스마트폰 GPS 센서의에너지절약시스템 (An Energy Saving System for Smartphone GPS Sensors Using Bayesian Networks Modeling) 이시혁 조성배 (Si-Hyuk Yi) (Sung-Bae Cho) 요약최근스마트폰의사용량이급증함에따라