ISSN 2383-630X(Print) / ISSN 2383-6296(nline) Journal of KIISE, Vol. 43, No. 5, pp. 531-540, 2016. 5 http://dx.doi.org/10.5626/jk.2016.43.5.531 모바일및웨어러블센서데이터를이용한다양한식사상황인식시스템 (A Context Recognition System for Various Food Intake using Mobile and Wearable Sensor Data) 김기훈 조성배 (Kee-Hoon Kim) (Sung-Bae Cho) 요약최근모바일환경의다양한센서정보를이용한상황인지서비스가활발히연구되고있다. 본논문에서는모바일및웨어러블센서데이터를사용해다양한맥락에서나타날수있는사용자의식사상황을효과적으로인식할수있는확률모델을제안한다. 식사행위와관련된상황들을체계적으로모델링하기위해행위이론의 4 가지행위요소및육하원칙의 5 가지구성요소들을모바일및웨어러블의저수준센서데이터로추론가능한범위에맞게통합하여인식모델을구축하고, 트리구조의베이지안네트워크모델링방식을사용하여인식의경량화를시도하였다. 제안하는시스템의유용성을입증하기위하여 1 주일간다양한배경의 4 명사용자로부터식사상황및일상생활에대한 383 분의데이터를수집하였다. 실험결과기존의대표적인분류기들과비교하여상대적으로우수한인식률 (93.21%) 이도출되는것을확인하였다. 또한실제시나리오를통한내부분석을수행하여인식에사용되는각요소들의유용성을검증하였다. 키워드 : 상황인지, 행위인식, 베이지안네트워크, 웨어러블컴퓨팅, 센서데이터마이닝 Abstract Development of various sensors attached to mobile and wearable devices has led to increasing recognition of current context-based service to the user. In this study, we proposed a probabilistic model for recognizing user's food intake context, which can occur in a great variety of contexts. The model uses low-level sensor data from mobile and wrist-wearable devices that can be widely available in daily life. To cope with innate complexity and fuzziness in high-level activities like food intake, a context model represents the relevant contexts systematically based on 4 components of activity theory and 5 W s, and tree-structured Bayesian network recognizes the probabilistic state. To verify the proposed method, we collected 383 minutes of data from 4 people in a week and found that the proposed method outperforms the conventional machine learning methods in accuracy (93.21%). Also, we conducted a scenario-based test and investigated the effect contribution of individual components for recognition. Keywords: context awareness, activity recognition, Bayesian network, wearable computing, sensor data mining 학생회원 : 연세대학교컴퓨터과학과 aruwad.open@gmail.com 종신회원 : 연세대학교컴퓨터과학과교수 (Yonsei Univ.) sbcho@cs.yonsei.ac.kr (Corresponding author 임 ) 논문접수 : 2015년 8월 17일 (Received 17 August 2015) 논문수정 : 2016년 1월 28일 (Revised 28 January 2016) 심사완료 : 2016년 2월 22일 (Accepted 22 February 2016) CopyrightC2016 한국정보과학회ː 개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지제43권제5호 (2016. 5)
532 정보과학회논문지 제43권 제5호(2016. 5) 표 1 가속도 데이터의 상관분석 1. 서 론 Table 1 Correlation analysis for acceleration data 최근 모바일 및 웨어러블 환경에서 사용할 수 있는 (x, y) (x, z) (y, z) 센서가 다양해지면서 특정 개인에 대한 풍부한 저수준 Studying -0.14 0.79-0.15 데이터를 일상생활 중 지속적으로 수집하는 것이 가능 Eating (Sandwich) 0.7 0.12-0.26 해졌다. 이에 따라 개인의 일상행위를 인식하고 이를 헬 Eating (Steak) -0.25 0.32-0.2 스케어 분야, 생활 맞춤형 보조 시스템 등에 응용하려는 Playing the piano -0.35 0 0.18 Walking 0.35 0.32 0.12 Driving 0.08 0.71-0.24 연구가 활발히 진행되고 있다[1]. 본 논문에서는 스마트 폰과 손목의 웨어러블 장비의 센서 데이터를 이용해 사 용자의 식사상황을 인식하는 시스템을 제안한다. 식사행위는 연령, 인종, 문화적 배경 등에 관계없이 식사행위의 경우 세 값 모두 절대값이 0.3 부근으로 공부(0.79)나 운전(0.71)행위보다 매우 낮게 나타났으며, 보편적으로 나타나는 대표적인 인간의 일상행위로, 다양 식사행위 중에서도 식기를 사용하지 않아 손목 움직임 한 일상생활 인지기반의 서비스에 활용가능하다. 특히 패턴이 더 불확실할 수 있는 샌드위치를 먹는 경우가 식사행위는 인간의 기능적 상태를 묘사할 수 있는 대표 상관계수가 더 낮게 나타났다. 상관계수는 저수준 데이 적인 방법인 ADL(Activities of daily living)중 하나로, 터의 두 특징간의 변화량, 변화방향, 값의 관계를 나타 건강관리 시스템에서 중요한 역할을 하고 있다[2]. 또한 내는 변수로, 저수준 데이터에 대한 선형분류로는 식사 식사행위는 모든 인간에게 보편적으로 나타나는 만큼 행위를 분류하기 어렵다는 것을 보여준다. 그러나 식사 다양한 맥락 속에서 발생할 수 있는 고수준 행위로, 이 행위는 다양한 시계열 패턴을 나타낸다. 예컨대 그림 1 를 모바일 및 웨어러블 환경의 상용 센서만으로 적절한 에 점선으로 표기된 부분은 식사시 흔히 나타나는 손목 전력수준을 고려해 인식할 수 있다면 여타의 일상행위 의 회전패턴으로 세 값이 동시에 감소하는 모습을 보여 및 상황인지 서비스에 도움이 된다. 준다. 이는 동일한 식기를 사용하는 경우 광범하게 관찰 인간의 행위인식에는 HMM (Hidden Markov Model), 되리라고 예측할 수 있지만, 그림 1에 나타난 경우처럼 SVM (Support Vector Machine), ANN (Artificial Neural 손으로 먹는 경우에는 잘 나타나지 않거나 식사행위가 Network)과 같은 기계학습 방법이 많이 쓰인다[3]. 그 아닌 경우에도 나타날 수 있다. 본 논문에서는 행위이론 러나 식사행위는 고수준 행위로서 저수준 데이터의 특 과 육하원칙에 기반하여 손목의 회전패턴과 같은 식사 징이 매우 다양하게 나타날 수 있어, 저수준 데이터에 행위와 관련된 상황들을 체계적으로 모델링하고, 불확실 대한 기계학습만으로는 여타의 행위와 쉽게 구별할 수 성을 확률적으로 다룰 수 있는 베이지안 네트워크를 사 없다. 그림 1은 20대 남성 및 여성의 여러 행위로부터 용해 인식모델을 구축한다. 수집된 손목 가속도의 시계열 데이터이다. 표 1은 이에 대해 각 축의 값들간의 상관분석을 수행한 결과이다. 논문의 구성은 다음과 같다. 2절에서는 고수준 상황 인식을 위해 관련 상황들을 모델링한 연구와 DBN 그림 1 여러 행위에서의 손목 가속도 값 변화 Fig. 1 Change of wrist acceleration values in various activities
모바일및웨어러블센서데이터를이용한다양한식사상황인식시스템 533 (Dynamic Bayesian Network) 을사용하여인식모델을구축하고다른분류기와비교한연구, 행위의구성요소들을이론적으로분석한연구들을살펴본다. 3절에서는행위이론과 5W가어떻게반영되어제안하는인식모델이구축되었는지를설명하고, 트리구조의모듈형 DBN 설계를통한인식의경량화방식을보여준다. 4절에서는제안하는방법의유용성을입증하기위해수집된데이터및실험의명세를서술하고, 정확도평가및비교분석, 내부분석을수행한다. 5절에서는결론및향후연구방향을제시한다. 2. 관련연구 2.1 저수준데이터를사용한일상행위인식기계학습및베이지안네트워크등의확률모델링에기반한분류기를사용해현실의다양한문제들을해결하고비교하는연구가활발히진행되고있다 ( 표 2). 일상행위인식을위한인식모델에는시계열추론이가능한 DBN 및여러가지기계학습방법이주로사용되었다. 그런데많은연구들이인식을위해특징을정의하거나 [5] 널리알려진통계치를사용하나 [4,7], 이러한특징들이해당행위를인식하는데적합하지않을수있다. 예컨대식사시나타나는손목의동적패턴을인식하기위해서는단순히가속도값의평균보다는 y축값의상승과하락패턴을인식기준으로삼는것이적합할수있다. 2.2 행위구성이론육하원칙 (5W; 누가, 언제, 어디서, 무엇을, 어떻게 ) 은그자체로충분한설명력을갖는상황분석방법으로알려져있다 [8]. Marchiori은 WWW에존재하는방대한정보를 5W의기준에따라분류하여재사용성을높일것을제안하였고 [8], Jang과 Woo는스마트홈과관련하여거주자의상태정보를 5W에따라정의하였다 [9]. 그러나육하원칙은저수준데이터로결정할수있는구체적인기준을제시하기엔너무추상적이다. 예컨대 식당에서 밥을먹는다는정보는저수준데이터자체로바로 알수있는것이아니고, 공간조도의적합여부 와같이측정가능한개념으로구체화되어야한다. 행위이론및관련이론은행위의구성요소에대한보다자세한기준을제공한다. Nardi는인간의행위및상황과관련된컨텍스트를체계적으로이해하기위해 Activity Theory, Siutated Action Models, Distributed Cognition의접근법을비교분석하였다. 행위이론에의하면, 인간의행위는그행위에속하는사람이나사람들을의미하는주체, 행위의대상으로서 Subject의행위를특정의도대로유도하는객체, 주체의행위의도를달성하기위해반드시거쳐야하는의도지향적행위, 행위를위해무의식적이고반복적으로나타나는동작으로구성된다 [10]. 행위이론이주로개인의행위자체를분석단위로본다면, Situated Action Theory는행위가발생하는시점의행위자와행위환경의관련성을분석단위로삼는다 [10,12]. 이이론에의하면어떠한인간의행위구조를체계적으로정의하는것은행위가발생하는그시점의환경요소들을충분히고려해야한다 [11]. 본논문역시식사행위가갖는다양한배경컨텍스트들을확률적으로고려할수있는 DBN을설계하나, 육하원칙등의행위구성이론에기반해식사행위와관련된컨텍스트들을체계적으로정리하고이에기반해 DBN 을구축함으로써기존연구의한계점을보완한다. 표 3 은기존연구와제안하는방법을비교한결과이다. 표 3 관련연구와제안하는방법의비교 Table 3 Comparison of the proposed method with the related works Complexity of activities Probabilistic method Domain knowledge [4] low x x [5] low x x [6] high o x [7] high o x Proposed system very high o context modeling Author Kwapisz et al. [4] Khan et al. [5] Hong et al. [6] Dernbach et al. [7] Number of activities 6 7 7 6 표 2 저수준데이터를사용한일상행위인식의관련연구 Table 2 Related works for daily activity recognition using low-level data Sensors Features Model 3-axis accelerometer attached to a phone 3-axis accelerometer attached to a chest Accelerometer attached to wrist, GPS, skin temperature, etc 3-axis accelerometer attached to a phone Average, standard deviation, average absolute difference, etc Autoregressive coefficients, tilt angle, etc DT, MLP, LR Performance (%) 85.1, 91.7, 78.1 ANN 97.9 a result of k-means algorithm DBN 55.9~97.4 Mean, min, max, standard deviation, etc MLP, NB, BN, DT, BFT, k-star 52~78
534 정보과학회논문지제 43 권제 5 호 (2016. 5) 3. 식사상황인식시스템 그림 2는제안하는시스템의전체구조도이다. 데이터입력모듈은웨어러블장비의 6가지센서와스마트폰의 3가지센서로부터 9종의저수준데이터를입력받아저장한다. 데이터는전처리모듈을거친후추론모듈의 BN에입력되고, 도출된식사확률은임계점을거쳐최종적으로식사여부로출력된다. 추론모듈에는각각주체, 공간, 시간적특성을처리하는별도의 BN 모듈이존재한다. 그림 3은제안하는방법에기반해안드로이드플랫폼에서구축된데모어플리케이션으로, 시나리오테스트에활용하였다. 3.1 사용센서식사행위인식을위해스마트폰과손목에착용가능한웨어러블장비를사용하였다. 손목에착용하는웨어러블장비의보급률은다른장비에비해훨씬높고, 식사행위와관련된손동작및주변의온습도데이터를수집하기용이하다. 스마트폰은삼성갤럭시 S(SHV-E210S) 를사용하였으며, Android ver.4.3의수집기프로그램을작성하여스마트폰과웨어러블센서정보및사용자가실시간태깅한상황정보를수집하였다. 오른쪽손목에장착된 ( 오른손잡이의경우 ) 웨어러블장비는 InvenSense사의 MPU-9250 모션센서, Bosch사의 BME280 환경센서, Avago Technologies의 APDS-9900 조도센서등을탑재하여총 9가지의데이터를수집하며, 스마트폰과웨어러블장비는블루투스통신에의해연결되어동기화된다. 표 4는식사행위에사용된손목센서의 derived unit 및전력소모량, 수집주기를보여준다. 웨어러블장비는완충시약 6시간동안데이터를수집할수있어사용자의일상생활데이터를지속적으로수집할수있다. 그림 3 식사상황인식을위해구축된데모어플리케이션 Fig. 3 Demo application built for food intake context recognition 표 4 식사행위인식에사용된손목센서 Table 4 Wrist-wearable sensors used for food intake recognition Name Derived units Power consumption Frequency h_acc acceleration 450 20Hz h_lux luminance 250 1Hz h_temp degree Celsius 1.0 1Hz h_hum (density) 0.8 1Hz 그림 2 전체시스템구조 Fig. 2 verall system architecture
모바일및웨어러블센서데이터를이용한다양한식사상황인식시스템 535 3.2 식사행위의구성요소그림 4는식사행위인식을위해관련상황을모델링하고이를측정가능한개념으로구체화하는전체과정이다. 점선내의타원들은식사상황을여타의상황과구분할수있는상황들중일부로나타낸다. 논리기반의접근법은상황인지시스템에서가장빈번하게쓰이는방식중하나인데, 본논문도관련이론들을참고하여식사상황을주체, 객체, 공간, 시간적특성및하위컨텍스트들로분류하였다. 오른쪽겹선모양의타원들은추론에사용한데이터및관련센서들을나타낸것으로, 경량추론이라는목표를반영해저전력상용센서들로구성하였다. 표 5는베이지안네트워크를구축하기위해제안하는상황모델을 WL Lite를사용하여표현하였다. 먼저식사행위클래스는육하원칙에의거해 4개의하위클래스주체 / 객체 / 공간 / 시간적특성을갖는다. 각하위클래스는누가 / 어떻게 / 무엇을 / 어디서 / 언제에해당되며, 센서데이터로측정하기곤란한 왜 는제외되었다. 주체의특성은행위이론의행위구성방식을반영해, 식사목적달성을위해나타나는동작들 (goal-directed processes; Actions) 및식사시무의식적으로나타나는신체의상 태들 ( 체온, 자세등 ; perations) 을하위클래스로갖는다. 클래스들은 7개의특성값을통해식사행위에적합한지결정된다. 행위뿐만아니라행위가발생한환경의정보들을고려하기위해서 [12], 주어진상용센서로추론할수있는시공간의물리적특성들 ( 온도, 습도등 ) 을측정하였다. 시간적특성의경우스마트폰의시스템시간정보를활용하여두가지특성값을판단한다. 공간적특성의경우실내외여부, 이동으로인한공간의변화를판단하고, 공간의여러가지물리적특성들 ( 조도, 온도, 습도 ) 을관련도메인지식을기준으로그적합성을판단한다. 3.3 트리구조의모듈형동적베이지안네트워크 BN은불확실한상황을모델링하기위한방향성비순환그래프 (Directed Acyclic Graph) 로노드, 아크, 조건부확률테이블 (Conditional Probability Table; CPT) 로구성되어부모노드와자식노드사이의인과관계를확률적으로추론한다. 본논문에서는식사행위에서발생하는다양하고불확실한상황들을확률적으로추론하기위해그림 5와같은 BN을구축하여인식모델을설계하였다. 식사확률노드는네트워크의루트노드로서최종적인식사확률을출력하고, 주체 / 객체 / 시간 / 공간적특성의 4개의노드및이를추론하는데사용되는 90개의하위노 그림 4 식사행위인식을위한관련상황모델링구조 Fig. 4 Modeling structure of relevant contexts for food intake recognition
536 정보과학회논문지제 43 권제 5 호 (2016. 5) Class: Eating subclassf: Subject property subclassf: bject property subclassf: Spatial property subclassf: Temporal property 표 5 식사행위인식을위해제안하는상황모델 Table 5 The proposed context model for food intake recognition subclassf: action subclassf: status subclassf: wrist subclassf: body bjectproperty: dinnerware bjectproperty: back and forth mov bjectproperty: accumulated amt of mov bjectproperty: moving/stop bjectproperty:body temp bjectproperty:posture bjectproperty:relative pos of wrist bjectproperty:existence of food bjectproperty:spatial change bjectproperty:indoor/outdoor bjectproperty:spatial hum bjectproperty:spatial temp bjectproperty:spatial lux bjectproperty:current time bjectproperty:eating duration 그림 5 식사상황인식을위한베이지안네트워크 Fig. 5 Bayesian network for food intake recognition 드들이존재한다. 노드들은상황모델링결과를반영하여연관된것들끼리계층적구조를이루고있다. 3.3.1 동적베이지안네트워크를사용한시계열정보처리 DBN은시간정보를추론에반영하기위하여변수상태들간의시간적확률관계를방향을갖는간선으로나타낸베이지안네트워크이다 [13]. 식사상황은비교적연속적으로발생하고발생및지속시간이규칙적이라는시간적특성을갖고있다. DiningPr과 Dware( 식기사용여부 ) 노드는다음과같이설정된다. if if if (1) (2) 3.3.2 트리구조의베이지안네트워크모델링모바일환경에서사용자의하루일과중나타나는식사행위를인식하기위해서는적절한전력수준을고려하여야한다. 이를위해본논문에서는식사행위의경량추론에적합한트리구조의베이지안네트워크를제안한다. 식 (3) 은 4개의자식노드들을갖는부모노드 A의발생확률을계산한다. 자식노드는 b부터 E까지의알파벳으로표기되었으며, 대문자로표기된노드들은또다른자식노드들을가져자식노드들의상태에따라그확률값이결정된다. Marginal distribution 규칙에따라 A의발생확률은우변과같이계산되므로, 총 번만큼의조건부확률연산이필요하다.
모바일및웨어러블센서데이터를이용한다양한식사상황인식시스템 537 if and or 의 개수 내존재하는자식노드의수 (3) (4) (5) 식 (4) 는연산의경량화를위해트리구조의베이지안네트워크에기반해제안한규칙으로, 특정자식노드의상태가결정되고 ( ) 이에대한부모노드의조건부확률이매우작거나크다면해당자식노드의상태만으로부모노드의발생확률을계산하게된다. 제안하는인식모델은최종식사확률에임계값을적용해식사여부를판별하게되므로, 부모노드의확률을미세한수준까지계산할필요가없기때문이다. 경량화규칙에의해처리된경우, 해당자식노드와같은 Markov boundary 내에존재하는자식노드들의조건부확률을계산할필요가없으므로, 식 (5) 만큼조건부확률연산량이감소한다. 표 6은실제인식모델에서규칙이적용된자식노드들을정리한결과이다. 트리구조 BN의경우각 Markov boundary가논리적으로설계된상황모델과부합하여경량화규칙을적용하기용이하다. 예컨대손목움직임패턴자식노드에규칙을적용하는경우, 규칙은논리적으로구분된상태노드및그자식노드들과 d-separated되어영향을미치지않지만, 일반적인 BN의경우에는모든자식노드들이동일한 Markov boundary 내에존재하여규칙을적용하기어렵다. 이밖에도트리구조의설계방식은일반적인구조에비해정션트리제거를통해추론시간을감소시키고 [14], 전체베이지안네트워크를세분하여유지보수가용이하다는장점을갖는다 [3,15]. 표 6 규칙이적용된자식노드의연산량감소 Table 6 Computation reduction of rule-applied child nodes Child node dinnerware = using wrist_acc_mov = never phone_acc_mov = never 4. 실험및결과 Parent node Savings Counts Action 0.88 3 147 Action 0.03 3 52 Action 0.01 3 32 4.1 데이터제안하는인식모델의인식률을검증하기위하여연령대, businessman Activity place 표 7 정확도검증을위한데이터명세 Table 7 Data specification for accuracy test 1 2 3 4 Age 10s 20s 50s 50s Gender M M F M Job student student housewife hygiene walking bus affair shopping communication piano driving eating spoon/ chopsticks fork knife etc restaurant cafe home korean kind japanese western etc amount (minute) 32 259 67 25 직업등 7가지항목에따라데이터를수집하였다 ( 표 7). 활동은 ADLs(Activities of Daily Livings) 을참고하여대표적인일상생활들을대상으로분류하였다. 총 4명에대한 383분의데이터 (177,278 lines; 7.79 lines/sec) 를수집하였고, 식사상황의데이터는약 56.9% 의비중을차지하였다. 4.2 정확도평가수집된데이터에대하여임계점을 40% 로설정하여오프라인테스트를수행하여표 8과같은결과를얻었다. 특이도의경우 87.98% 로 93.39% 인민감도보다낮게나타나, 제안하는인식모델이식사행위를다른행위보다잘인식한다고평가할수있다. T-검정을위해제안하는인식모델의정확도가 90% 이상일것이라는가설을세울때, 모집단의표준편차를 1로가정할경우 p-value는 0.0014로, 유의수준 에서제안하는인식모델은 90% 의정확도를보여줄것으로기대할수있다. 그림 6은제안하는인식모델의 RC 곡선이다. 임계점이 30% 이하인구간에서는성능이낮게측정되어 (0.71) 대부분의오류케이스가식사확률 30% 이내에분포함을확인할수있고, 임계점이 40% 인경우와 50% 인경우에오분류비용이가장적게나왔다. 또한 AUC(Area Under
538 정보과학회논문지제 43 권제 5 호 (2016. 5) 표 8 인식결과의혼동행렬 Table 8 Confusion matrix of recognition Total Population Test utcome Condition Positive Negative Positive 196 22 Negative 4 161 Sensitivity = 93.39% Specificity = 87.98% 그림 6 제안하는인식모델의 RC 곡선 Precision = 97.25% FR = 97.58% Accuracy = 93.21% Fig. 6 RC curve for the proposed recognition model Curver; RC 곡선의아래면적 ) 는약 0.95로높게측정되어제안하는분류기의성능이높음을입증하였다. 4.3 비교분석및평가결과분석그림 7은제안하는인식모델의성능을다양한분류기들과비교한것이다. 판별및결과도출에는 Weka 3.6 표 9 오류케이스의종류별수 Table 9 Number of error cases according to types Error type Cause Number of errors unexpected value 19 (4) Type I missing value 3 Type II unexpected value 4 에서제공하는기계학습분류기들을사용하였고, 총데이터중 50% 의데이터를사용하여학습하고나머지데이터에대해판별을수행하였다. 제안하는인식모델의판정률은약 93.21% 로분류기들과비교해 33.37%p~ 41.67%p의우수한성능을보였다. 또한인식모델구축에 0.33~6.89초가소요되는다른분류기들과달리별도의구축비용및학습데이터가필요하지않다는점에서장점을갖는다. 표 9는오류케이스의종류별수를보여준다. 1종오류의경우 3가지경우를제외한모든경우들이움직임의양이적정치보다높게측정되어오분류결과가도출되었으며, 한명의데이터 (10대고등학생남성 ) 에서주로검출되었다. 활동량, 특히식사시사용하는손목의활동량이높은개인의경우주요상황인손목움직임누적량의오판정이발생하나, 다른상황들의보정을받아확률의오류는모두 7% 내외로크지않았다. 손목의활동량에대해오류판정알고리즘을보완한결과, 해당오류케이스가 4건으로줄었다. 이를제외한 3가지경우는공간조도값이부적절해근소한차이로오판정이발생했는데, 이는식사시손목위쪽부분 ( 손목센서가조도 그림 7 제안하는방법과다양한분류기들의성능비교 Fig. 7 Comparison of performance with various classifiers
모바일및웨어러블센서데이터를이용한다양한식사상황인식시스템 539 를측정하는부분 ) 이부적절해공간조도가제대로측정되지못하여발생한것으로보인다. 반면식사상황과유사한대화 운전 피아노등의행위에서는, 손목및스마트폰의움직임의양은유사하여잘분류되지못하였으나식기사용시의손목의움직임패턴을측정하는컨텍스트의확률이낮게측정되식사확률이 10%p 차이내잘분류된것으로드러났다. 4.4 시나리오분석제안하는인식모델의성능을검증하기위해일상생활에서수집된데이터를대상으로시나리오분석을수행하였다. 20대남성대학생의보편적인하루일과를대상으로검증을수행하였으며, 그림 8은판정에사용된손목움직임양 (hacc) 및공간온도 (spatial temp), 실내외여부 (in/outdoor), 식기사용여부 (dinnerware), 이동 / 멈춤여부 (is stop) 값을보여준다. 처음 25분동안의점심식사구간에서손목움직임양은 2200~6000내에서변동하 여비교적동적인활동인걷기및계단오르내리기 (Walking to the Cafe) 와잘구별되나, 주머니에손을넣고짧은거리를걷는경우 (Walking to the Classroom) 와강의를듣는경우 (Attending the Class) 와는잘구별되지않음이나타났다. 반면손목움직임의패턴을측정하는식기사용여부는비교적변동이크나강의를듣는경우와같이정적인상황으로부터식사상황을구별하는데도움이되는것으로나타났으며, 공간의온도및실내외여부는이동및밖에서아이스크림을먹는상황 (50% 및 70% 수준 ) 을실내의상황 ( 각 60%, 80% 수준 ) 과구별하는데적합하게사용됨을알수있다. 5. 결론및향후연구본논문에서는모바일및웨어러블의상용센서데이터를이용해사용자의대표적인일상행위중하나인식사행위를인식하는시스템을제안하였다. 식사행위의고 그림 8 제안모델의시나리오분석중내부값들의변화 Fig. 8 Change of internal values during the scenario test of the proposed model
540 정보과학회논문지제 43 권제 5 호 (2016. 5) 수준상황으로서의특징을다루기위해 DBN을사용하여인식모델을구축하였고, 행위이론및육하원칙등의관련이론에기반해체계적인상황모델을구축하였다. 제안하는모델의유용성을검증하기위해총 4명에대한 383분의데이터를수집하였고 93.21% 의정확도를도출하여, 기존의대표적인분류기들보다우수한성능을보임을입증하였다. 식사상황은광범위한관련상황과결부되어나타날수있는대표적인일상상황으로, 이에대한인식모델의정확도검증을위해서는인간의행위및상황전체를대표할수있는데이터의명세를획정하고이를통해검증하는것이필요하다. 또한일상생활에서의유용성을검증하기위해일상을대표할수있는시나리오단위의데이터수집및검증이필요하며, 나타날수있는오인식문제와전력소모량문제등의현실적인이슈들을보완할필요가있다. 마지막으로성능향상을위해오분석및각컨텍스트들의추론에대한기여도를분석하고인간의인식과정과비교해추론에미치는영향을조정하는연구가필요하다. References [1] M. Li, V. Rozgic, G. Thatte, S. Lee, A. Emken, M. Annavaram, U. Mitra, M. D. Spruij and S. Narayanan, "Multimodal physical activity recognition by fusing temporal and cepstral information," IEEE Trans. on Neural Systems and Rehabilitation Engineering, Vol. 18, No. 4, pp. 369-380, 2010. [2] Y. J. Hong, I. J. Kim, S. C. Ahn and H. G. Kim, "Mobile health monitoring system based on activity recognition using accelerometer," Simulation Modelling Practice and Theory, Vol. 18, No. 4, pp. 446-455, 2010. [3] A. Mannini and A. M. Sabatini, "Machine learning methods for classifying human physical activity from on-body accelerometers," Sensors, Vol. 10, No. 2, pp. 1154-1175, 2010. [4] J. R. Kwapisz, G. M. Weiss and S. A. Moore, "Activity recognition using cell phone accelerometers," ACM SigKDD Explorations Newsletter, Vol. 12, No. 2, pp. 74-82, 2011. [5] A. M. Khan, Y. K. Lee, S. Y. Lee and T. S. Kim, "A triaxial accelerometer-based physical-activity recognition via augmented-signal features and a hierarchical recognizer," IEEE Trans. on Information Technology in Biomedicine, Vol. 14, No. 5, pp. 1166-1172, 2010. [6] J. H. Hong, S. L. Yang and S.-B. Cho, "ConaMSN: A context-aware messenger using dynamic Bayesian networks with wearable sensors," Expert Systems with Applications, Vol. 37, No. 6, pp. 4680-4686, 2010. [7] S. Dernbach, B. Das, N. C. Krishnan, B. L. Thomas and D. J. Cook, "Simple and complex activity recognition through smart phones," 8th Int. Conf. on IEEE in Intelligent Environments, pp. 214-221, 2012. [8] M. Marchiori, "W5: The five w s of the world wide web," Trust Management, pp. 7-32, 2004. [9] S. Jang and W. Woo, "Ubi-UCAM: A unified context-aware application model," Modeling and Using Context, pp. 178-189, 2003. [10] A. N. Leont'ev, "The problem of activity in psychology," Soviet Psychology, Vol. 13, No. 2, pp. 4-33, 1974. [11] B. A. Nardi, "Studying context: A comparison of activity theory, situated action models, and distributed cognition," Context and Consciousness: Activity Theory and Human-Computer Interaction, pp. 69-102, 1996. [12] L. Suchman and Human-Machine Reconfigurations, Plans and Situated Actions, Cambridge University, 1986. [13] A. Hofleitner, R. Herring, P. Abbeel and A. Bayen, "Learning the dynamics of arterial traffic from probe data using a dynamic Bayesian network," IEEE Trans. on Intelligent Transportation Systems, Vol. 13, No. 4, pp. 1679-1693, 2012. [14] Y. S. Lee and S.-B. Cho, "Mobile context inference using two-layered Bayesian networks for smartphones," Expert Systems with Applications, Vol. 40, No. 11, pp. 4333-4345, 2013. [15] D. Kasper, G. Weidl, T. Dang, G. Breuel, A. Tamke, A. Wedel and W. Rosenstiel, "bject-oriented Bayesian networks for detection of lane change maneuvers," IEEE Intelligent Transportation Systems Magazine, Vol. 4, No. 3, pp. 19-31, 2012. 김기훈 연세대학교컴퓨터과학과학사. 연세대학교컴퓨터과학과소프트컴퓨팅연구실학석사연계과정. 관심분야는인공지능, 데이터마이닝, 행위인식, 웨어러블컴퓨팅등 조성배 1988년연세대학교전산과학과 ( 학사 ). 1990 년한국과학기술원전산학과 ( 석사 ). 1993 년한국과학기술원전산학과 ( 박사 ). 1993 년~1995년일본 ATR 인간정보통신연구소객원연구원. 1998년호주 Univ. of New South Wales 초청연구원. 1995 년~현재연세대학교컴퓨터과학과정교수. 관심분야는신경망, 패턴인식, 지능정보처리