<4D F736F F D E332E20C0DAC0B2BDC5B0E6B0E8B9DDC0C020C1F6C7A5B8A620C0CCBFEBC7D120BCBC20B0A1C1F620C1A4BCAD20BAD0B7F9>

Size: px

Start display at page:

Download "<4D F736F F D E332E20C0DAC0B2BDC5B0E6B0E8B9DDC0C020C1F6C7A5B8A620C0CCBFEBC7D120BCBC20B0A1C1F620C1A4BCAD20BAD0B7F9>"

보강 여
5 years ago
Views:

1 자율신경계반응지표를이용한세가지정서분류 Discrimination of Three Emotions using Parameters of Autonomic Nervous System Responses Eun-Hye Jang 1, Yeongji Eum 2, Sang-Hyeob Kim 1, Jin-Hun Sohn 2 1 BT Convergence Technology Research Department, Electronics and Telecommunications Research Institute, Daejeon, Department of Psychology/Brain Research Institute, Chungnam National, Daejeon, ABSTRACT Objective: The purpose of this study is to identify optimal algorithm for emotion recognition which classify three different emotional states (happiness, neutral, and surprise) using physiological features. Background: Recent emotion recognition studies have tried to detect human emotion by using physiological signals. It is important for emotion reconition to apply on human-computer interaction system for emotion detection. Method: 217 students participated in this experiment. During three different emotional stimuli are presented to participants, ANS responses(eda, SKT, ECG, Respiration, and PPG) as physiological signals were measured for 1 minute as baseline and for minutes during emotional state. The obtained signals were analyzed for 30 seconds from the baseline and the emotional state. Participants assessed the induced emotion on emotional assessment scale after emotional stimuli presentation. Analysis for emotion classification were done by linear discriminant analysis (SPSS 15.0), Support Vector Machine (SVM), and Multilayer perceptron (MLP) using substracting baseline values from the emotional state. Results: The emotional stimuli had 96% validity and 5.8 effectiveness on average. The result of linear discriminant analysis using physiological signals showed that an accuracy of three different emotions classification was 83.4%. And an accuracy of three emotions classification by SVM was 75.5% and 55.6% by MLP. Conclusion: This study identified that three emotions were classified by linear discriminant analysis using various physiological features. Future study is needed to obtain stability and reliablity of this result compare with accuracy of emotion classification using other algorithms. Application: This could help emotion recognition studies lead to better chance to recognize various human emotions by using physiological signals as well as is able to be applied on human-computer interaction system for emotion reecognition. Keywords: Emotion recognition, SVM (Support Vector Machine), MLP (Multilayer perceptron) 1. Introduction 최근 10여년간, 생리신호를이용한정서인식연구가활발히이루어지고있다. 생리신호를이용한정서 인식은얼굴표정인식이나음성인식에비하여환경의영향을덜받고, 사용자에따른사회적, 문화적차이에덜민감할뿐아니라, 생리신호는자율신경계의조절을받기때문에사회적으로학습된것이아닌인위적이지않은자연스러운정서상태에서획득되어정서인식에활용될수있다는장점을가진다 (Calvo & D Mello, 2010). 생리신호를이용하여정서를인식하는연구자들은

2 주로 Support Vector Machine (SVM), k-nearest neighbor classification (KNN), 그리고 Multilayer perceptron (MLP) 등과같은기계학습알고리즘을적용하여정서를분류및인식한다. SVM은이진패턴분류문제를해결하기위하여 Vapnik이제안한학습방법으로, 각범주의대표적인특성을갖는벡터를이용하여최적의 Hyperplane 을찾아범주를분류하는기법이다. 이알고리즘은인식성능과처리속도성능이매우뛰어나다는장점을가진다. Kim, Bang, 그리고 Kim(2004) 은세가지정서 ( 슬픔, 분노, 스트레스 ) 에대한심전도, 피부온도와땀반응의측정데이터를 SVM에적용하여 78% 의판별율을확인하였고, Calvo, Brown, 그리고 Scheding (2009) 은 8개정서 ( 중립, 분노, 비탄, 슬픔, 정신적사랑, 로맨틱사랑, 기쁨과경의 ) 에서심전도, 땀반응, 안면근육의움직임을측정하여획득한 120개 feature에의한판별율 42% 를보고하였다. KNN은분류 (classification) 하고자하는클래스의종류에대해서는알고있지만, 샘플각각에대한확률밀도함수를알지못하는상태에서사용하는알고리즘이다. 각샘플에대한확률모수치를구하지않고샘플의값을그대로좌표에표시하여참조집단에서가장유사하거나거리상으로가까운군집에속하는것으로분류하는방법이다. Picard, Vyzas, 그리고 Healey(2001) 는 8개정서 ( 중립, 분노, 비탄, 슬픔, 정신적사랑, 로맨틱사랑, 기쁨과경의 ) 를경험하는동안변화하는심전도, 땀반응, 그리고안면근육의움직임을측정하였고, 각측정치에서 40개의 feature 를추출하여 81.25% 의판별율을확인하였다. MLP는유기체의뇌구조를모방한계산모델인 neural network의알고리즘중하나이다. 입력층과출력층사이에 hidden layer의수가증가하고그연결이많아질수록 perceptron 이형성하는결정구역의특성은더욱고급화된다. 그러나 hidden layer의연결이많아질수록많은계산이필요하게되고학습속도와인식속도가느려지게된다. 또한메모리부담이증가하게되고, 일반화의어려움을야기할수있다. Haag, Goronzy, Schaich, 그리고 Williams(2004) 는정서의 arousal수준과 valence 수준에서심전도, 안면근육의움직임, 땀반응그리고혈압을측정한데이터를활용하여평균 80% 의정서판별율을획득하였다. 앞선연구들은적게는 40% 에서, 많게는 80% 의낮은인식률을보고하고있는데, 이는생리신호데이터에 적절한최적의기계학습알고리즘에대한평가가이루어지지않았고, 정서반응을잘반영하는최적의 feature 를선정하여사용하지않고너무많은 feature를사용하였기때문에나타나는결과이다. 또한주로기본정서를정서인식에활용하여실생활에서나타나는사회적정서를간과하였다는한계를가진다. 본연구에서는기쁨, 중립, 그리고놀람의세가지정서를경험할때나타나는자율신경계반응의변화를측정하고, 이들지표에의해세정서를최적으로판별할수있는최적의기계학습알고리즘을확인하고자하였다. 2. Method 2.1 Participants 본실험에는대학생 129명 ( 남 : 59명, 여 : 70명 ) 과중고등학생 88명 ( 남 : 37명, 여 : 51명 ) 이실험에참여하였다. 대학생참가자의평균연령은 22.0세였으며, 중고등학생평균연령은 16.0세였다. 이들은모두오른손잡이였으며, 실험시작전실험동의서를작성하였다. 또한과거심장질환, 호흡또는중추신경계의이상으로인한약물복용경험이없다고보고하였다. 2.2 Stimuli 각자극은시청각자극을조합하여해당정서를유발하는장면 60~75초로구성되었다 (Figure 1). 기쁨자극은실험참여자가게임을통해수행한성과에따라보상을주어기쁨을유발하였고, 놀람자극은실험참여자들이화면에집중하도록유도하는영상을 20초동안제시한후, 예고없이비명소리, 천둥소리, 유리깨지는소리를차례로제시하는세단계의동영상으로구성되었다. 청각자극이제시될때소리와함께시각자극 ( 비명지르는사람의얼굴, 번개, 그리고깨진유리 ) 이함께제시되었다. 중립자극은의자이미지가반복되었다. Happiness (1.5min)

2.4 Experimental Equipment Neutral (2min) Surprise (1min) Figure 1. The example of emotional stimuli 본연구에서사용된자극은 264명의집단예비실험을통하여효과성과타당성이모두 80% 이상인정서자극이었다. 효과성은유발된해당정서에대한강도를, 타당성은유발정서와해당정서의일치율을의미한다.

실험참여자가실험실내에서적응시간을가지는동안실험자는약 20분에걸쳐자율신경계반응 ( 피부전기반응, 피부표면온도, 심전도, 호흡과혈류량 ) 을측정하기위한전극을부착하고, 실험방법에대하여지시를하였다. 실험이시작되면, 실험자는자극이제시되기전 60초동안안정상태를측정하고, 정서유발자극이제시되는동안생리신호를측정하였다.

4m 크기의외부에서발생하는 artifact와소음이차단된방음실 ( 소음 35dB 이하 ) 이었다. 측정실내부에는피험자로부터 1m 앞에영상을제시하는 LCD 모니터가있으며, 2m 앞의좌우에놓인스피커 (BR 1800, Britz, USA) 를통해청각자극을제시하였다.

3 2.4 Experimental Equipment Neutral (2min) Surprise (1min) Figure 1. The example of emotional stimuli 본연구에서사용된자극은 264명의집단예비실험을통하여효과성과타당성이모두 80% 이상인정서자극이었다. 효과성은유발된해당정서에대한강도를, 타당성은유발정서와해당정서의일치율을의미한다. 기쁨자극은 81.6% 의타당성과 5.36점의효과성, 놀람자극은 97% 의타당성과 6.06점의효과성을가지는것으로나타났고, 중립자극은 94.8% 의타당성을가졌으며아무런정서를느끼지않은것으로나타났다. 2.3 Experimental Procedure 실험참여자는실험실에입실한뒤, 실험에대한소개를받고실험참가동의서를작성하였다. 실험참여자가실험실내에서적응시간을가지는동안실험자는약 20분에걸쳐자율신경계반응 ( 피부전기반응, 피부표면온도, 심전도, 호흡과혈류량 ) 을측정하기위한전극을부착하고, 실험방법에대하여지시를하였다. 실험이시작되면, 실험자는자극이제시되기전 60초동안안정상태를측정하고, 정서유발자극이제시되는동안생리신호를측정하였다. 자극제시가끝나면실험참여자는정서평가척도상에유발된정서에대하여평가하였다. 각정서마다상기절차가동일하게반복되었고, 자극제시는실험참여자간역균형화 (across-subject counterbalancing) 을통하여순서효과, 피로효과와연습효과와같은진행성오류를분산시켰다. 실험실은가로 3.3m, 세로 5.4m 크기의외부에서발생하는 artifact와소음이차단된방음실 ( 소음 35dB 이하 ) 이었다. 측정실내부에는피험자로부터 1m 앞에영상을제시하는 LCD 모니터가있으며, 2m 앞의좌우에놓인스피커 (BR 1800, Britz, USA) 를통해청각자극을제시하였다. 자율신경계반응중피부전기반응을측정하기위한전극은왼손검지와중지의가운데마디에부착되었고, 피부표면온도를위한전극은약지손가락에부착되었다. 심전도는왼쪽발목의복숭아뼈위를참조기준 (reference) 을잡고오른쪽손목에서측정되었고, 호흡은흉부에측정되었다. 혈류량센서는오른손엄지손가락에부착되었다. 각모듈에서획득된신호는 MP150 (Biopac, USA) A/D 변환기와 AcqKnowledge (version 4.1, Biopac, USA) 를통하여데이터가입력되었다. 2.5 Analysis 자율신경계반응분석을위하여획득된신호중에서안정상태 30초와각정서상태 30초를사용하였다. 정서상태는실험참여자가해당정서를가장강하게느낀시점을기준으로, 전후 15초인 30초구간을설정하였다. 각생리신호에서세부 feature를추출하였는데, 피부전기반응에서는피부전도수준과피부전도반응을추출하였고, 호흡에서는호흡시간, 호흡깊이, 호흡시간표준편차, 호흡깊이의표준편차를추출하였다. 심전도에서는심박률과 R파간격의표준편차, 심박률변산의저주파성분 (0.04~0.15Hz 의파워면적 ), 고주파성분 (0.15~0.4Hz의파워면적 ) 과심박동변이도를추출하였고, 평균피부온도와혈류량진폭의평균을 feature로추출하였다. 또한추출된 feature를활용하여세정서간판별율을확인하는방법으로, 통계기법인선형판별분석과기계학습알고리즘인 SVM과 MLP를실시하였다. 3. Results

4 3.1 The Result of Emotional Responses 각정서가효과적으로적절하게유발되었는지를검증하기위하여실험참가자의정서평가결과를활용하여각자극의적합성및효과성을분석하였다. 그결과, 각자극의적합성은기쁨자극 95.5%, 놀람자극 96%, 중립자극 96% 이었다. 효과성은 7점만점을기준으로하였을때, 기쁨자극이 5.4±1.8점이었고, 놀람은 6.2±0.1점이었다. 중립자극에서는아무런정서를느끼지않은것으로나타났다. 3.2 The Result of Emotion Recognition Table 3. The Result of Three Emotion Discriminant by MLP happiness neutral surprise Conclusion 세정서에대한판별율을알아보기위하여선형판별분석을실시한결과, 전체정서의판별율은 83.4% 이었고, 기쁨 78%, 중립 88.8%, 그리고놀람 83% 로분류되었다 (Table 1). Table 1. The Result of Three Emotion Discriminant by Linear Discriminant Analysis happiness neutral surprise SVM 알고리즘을활용한분석결과는전체정서의판별율이 75.5% 이었고, 기쁨 64.7%, 중립 77.7%, 놀람 84.1% 로나타났다 (Table 2). Table 2. The Result of Three Emotion Discriminant by SVM happiness neutral surprise MLP를이용한분석결과, 전체정서판별율이 55.6% 로나타났으며, 기쁨 11.6%, 중립 67.0%, 그리고놀람 88.1% 로정확분류되었다 (Table 3). 본연구에서는기쁨, 중립, 그리고놀람의세가지정서를가장효과적으로분류할수있는정서인식알고리즘을확인하고자하였다. 정서자극에대한정서평가결과, 세가지정서는적절하게효과적으로유발되었는데, 이는유발된자율신경계반응이각정서자극에의해유발된정서반응임을의미한다. 세정서를분류하기위하여 13 개의생리반응 feature 를활용한통계분석과기계학습알고리즘을적용한결과는선형판별분석을실시하였을때, 가장정확한판별율을보였다. 선형판별분석은선형판별함수를사용하여데이터신호를분류하는통계적방법 (Nicol, 1999) 으로, 6 가지이상의정서분류에서 80% 이상의인식율을가지는것으로선행연구들을통해보고된바있다 (Healey, 2000; Picard, 2001; Nasoz et al., 2003). 본연구에서역시 80% 이상의인식율을보였으며, 이러한결과는선형판별분석이정서분류에효과적임을지지한다. 본연구결과는생체신호처리에의한인간 - 컴퓨터상호작용기술에서정서인식연구의기초자료로활용가능하며, 정서인식및분류를위한표준화작업에도기여할수있을것이다. 또한본연구에사용된데이터는최대한정서를자연스럽게유발하도록하여획득되었기때문에실생활에적용가능한정서인식시스템개발에적용할수있을것으로생각된다. 그러나여러선행연구에서다수의생체신호를이용하여다양한알고리즘으로정서를분류하고있으나 (Picard, Vyzas, & Healey, 2001; Nasoz, Alvarez, Lisetti, Finkelstein, 2003; Alpaydin, 2004; Haag, Goronzy, Schaich & Williams, 2004; Wagner, Kim, & Andre, 2005), 현재까지어떠한알고리즘이가장좋은결과를제시하는지에대해서는아직풀리지않은과제이기때문에 (Arroyo- Palacios & Romano, 2008), 보다정확한정서분류를

5 위한방법론및알고리즘개발을위한연구가필요하다. Acknowledgements Yeongji Eum: Yeongji Highest degree: MA, Department of psychology, Chungnam national Position title: Researcher, Department of Psychology/Brain Research Institute, Chungnam National Areas of interest: brain Science, Neuroscience 본연구는 2010 년도 ( 교육과학기술부 ) 의재원으로한국연구재단 - 신기술융합형성장동력사업의지원을받아수행되었습니다 ( 과제번호 : 2010K001129, 2010K001126). Sang Hyeob Kim: shk1028@etri.re.kr Highest degree: PhD, Department of Apply Physics, Tohoku Position title: Principle Member of Engineering Staff, BT Convergence Technology Research Department, Electronics and Telecommunications Research Institute Areas of interest: Cognition Convergence, Emotion Recognition References Arroyo-Palacios, J., and Romano, D. M., "Towards a standardization in the use of physiological signals for affective recognition systems", Proceedings of Measuring Behavior 2008, Calvo, R. A. and D Mello, S., Affect detection: An interdisciplinary review of models, methods, and their applications, IEEE Transaction on Affective Computing, 1(1), 18-37, Calvo, R. A., Brown, I., and Scheding, S., "Effect of Experimental Factors on the Recognition of Affective Mental States through Physiological Measures", Proceedings of 22nd Australasian Joint Conference of Artificial Intelligence, Haag, A., Goronzy, S., Schaich, P., and Williams, J., Emotion Recognition Using Bio-Sensors: First Steps towards an Automatic System, Affective Dialogue Systems, 36-48, Kim, K., Bang, S., and Kim, S., Emotion Recognition System Using Short-Term Monitoring of Physiological Signals, Medical and Biological Engineering and Computing, 42, , Nasoz, F., Alvarez, K., Lisetti, C. L., and Finkelstein, N., "Emotion recognition from physiological signals using wireless sensors for presence technologies", Cognition, Technology and Work, 6, 4-14, Picard, R. W., Vyzas, E., and Healey, J., Toward Machine Emotional Intelligence: Analysis of Affective Physiological State, IEEE Trans. Pattern Analysis and Machine Intelligence, 23(10), , Jin-Hun Sohn: jhsohn@cnu.ac.kr Highest degree: PhD, Department of psychology, the of Korea Position title: Professor, Department of Psychology, Chungnam National Areas of interest: Brain Science, Neuroscience, Electro Physiology Author listings Eun-Hye Jang: cleta4u@etri.re.kr Highest degree: PhD, Department of P sychology, Chungnam National Position title: Researcher, BT Convergence Technology Research Department, Electronics and Telecommunications Research Institute Areas of interest: Emotion Recognition, Cognition Convergence

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA Journal of the Ergonomics Society of Korea Vol. 31, No. 2 pp.271-279, April 2012 http://dx.doi.org/10.5143/jesk.2012.31.2.271 Classification of Three Different Emotion by Physiological Parameters Eun-Hye