<4D F736F F D E33BEF3B1BC20C0CEBDC4BFA120C0C7C7D120B0A2BCBAB5B520C3F8C1A4BFA120B0FCC7D120BFACB1B82E646F63>

Size: px

Start display at page:

Download "<4D F736F F D E33BEF3B1BC20C0CEBDC4BFA120C0C7C7D120B0A2BCBAB5B520C3F8C1A4BFA120B0FCC7D120BFACB1B82E646F63>"

희웅 표
5 years ago
Views:

1 얼굴인식에의한각성도측정에관한연구 박재언 1 황민철 2 김용우 3 김지혜 3 문성철 1 조봉화 1 1 상명대학교감성공학과 / 2 상명대학교디지털미디어 / 3 상명대학교컴퓨터과학과 amiru84@naver.com, whang@smu.ac.kr, kimyongwoogo@nate.com, kjhlolo84@naver.com, anstjdcjf33@naver.com, efudeer@naver.com 준회원, 정회원, 준회원, 준회원, 준회원, 준회원 A study on the measurement of arousal level by face movement Jae Un Park 1, Min Cheol Whang 2, Yong Woo Kim 3, Ji Hye Kim 3, Sung Chul Mun 1, Bong Hwa Jo 1 1 Department of Emotional Engineering, Sangmyung University, Seoul, Department of Digital Media, Sangmyung University, Seoul, Department of Computer Science, Sangmyung University, Seoul, ABSTRACT The purpose of this study was to define emotions in the degree of arousal by distinguishing the specific features in facial expressions. A web camera was used to obtain images for extracting the coordinates of features in eyes, eyebrows, and mouths. Seven major factors that dictated the degree of arousal were drawn out by calculating the distances and angles of the coordinates. Of the factors, five factors were finally determined by a pre-test. Mapping the data in facial expressions onto subjective evaluations was tried to elevate the validity. Participants were three undergraduates of Sangmyung University, not visually handicapped. Two sets of relaxing and arousing movies were presented to each subject. Each movie popped up on the screen in order of relaxing, arousing, relaxing, and arousing movies every 90 seconds with rest for 70 seconds. The degrees of arousal in their facial expressions changed by the stimuli were measured. Each participant was asked to score what they felt in the degree of arousal. The rating was on a 1-to-7 Likert scale. Then, the two data was compared by drawing a matrix. The concordant rate of 75% between facial expressions and subjective evaluations was confirmed. This study was significant in that the approach to analyzing the degree of arousal in facial expressions and to comparing it with subjective judgments was carried out. The result gained from this study is expected to help define emotions in the degree of arousal. More studies on facial expressions of emotions in the aspects of valence and arousal dimensions should be followed in the future. Keywords: Arousal, Face movement, Recognition, Emotion, Russell, Ekman 본연구는지식경제부의 멀티모달인터랙션지원멀티버스게임플랫폼기술개발 ( ) 의지원을통해수행되었습니다.

1. 서론 2. 연구방법 얼굴의표정은사람의감성뿐만아니라다양한정보를포함함으로써의사소통의수단의하나로사용되어져왔다. 최근 HCI나로봇공학분야에서실시간얼굴인식을통한감성인식이주요관심사로부각되고있다. 얼굴표정은컴퓨터비전을활용하여인식하며, 영상기반인식방법과모델기반인식방법으로나눌수있다 [1].

본논문에서는얼굴의특징점을찾아 Ekman 과 Friesen 이제시하였던 FACS(Face Action Coding System) 기법에서얼굴표정변화를일으키는요소인 AU(Action Unit) 들중얼굴표정변화에많은영향을주는요소 7가지를선정하여이들의조합을활용하여얼굴을인식하였다 [4]. 기존 Ekman 의 FACS 기법은지금까지도연구되어지고발전시켜나가고있다.

Ekman 의기본감성에대해서는많은의문이제기되어왔다. 그중하나는 Ekman 의기본감성은긍정의감성과부정의감성으로나뉘었을때부정의감성으로편향된다는점이고, 또하나는감성들사이의관계에서도연관성이있을수가있음에도불구하고이감성들을독립적인감성차원으로해석하고있다는것이다 [6].

3 1. 서론 2. 연구방법 얼굴의표정은사람의감성뿐만아니라다양한정보를포함함으로써의사소통의수단의하나로사용되어져왔다. 최근 HCI나로봇공학분야에서실시간얼굴인식을통한감성인식이주요관심사로부각되고있다. 얼굴표정은컴퓨터비전을활용하여인식하며, 영상기반인식방법과모델기반인식방법으로나눌수있다 [1]. 영상기반의방법에서는이미지의화소값의특징들을활용하여 PCA를적용하거나 PCA 결과에 LDA방법을응용하는등의방법을많이사용한다 [2]. 모델기반의방법에서는 HMM이나 AAM을적용하여특징점을찾아특징점간의관계를이용하여표정을인식한다 [3]. 본논문에서는얼굴의특징점을찾아 Ekman 과 Friesen 이제시하였던 FACS(Face Action Coding System) 기법에서얼굴표정변화를일으키는요소인 AU(Action Unit) 들중얼굴표정변화에많은영향을주는요소 7가지를선정하여이들의조합을활용하여얼굴을인식하였다 [4]. 기존 Ekman 의 FACS 기법은지금까지도연구되어지고발전시켜나가고있다. Pantic 이개선된 AU와 FACS 기법을제시하여본논문에서는 Pantic 의제안한방법을활용하여얼굴표정을인식하였다 [5]. Pantic 의연구에서도나타나있듯이얼굴인식후사용된감성분류는 Ekman 이제시한 6가지기본감성 (Happy, Sad, Anger, Fear, Surprise, Disgust) 에따라표정분류를하고그것의정확성만을제시하고있는것이대부분이다. Ekman 의기본감성에대해서는많은의문이제기되어왔다. 그중하나는 Ekman 의기본감성은긍정의감성과부정의감성으로나뉘었을때부정의감성으로편향된다는점이고, 또하나는감성들사이의관계에서도연관성이있을수가있음에도불구하고이감성들을독립적인감성차원으로해석하고있다는것이다 [6]. 따라서실시간으로변화하는얼굴표정에따라나타나는다양한감성들에대해서감성간의연관성까지설명이가능한각성-이완, 쾌-불쾌의두축으로써감성을인식하는연구가필요하다. 본논문에서는감성인식에관한연구의일환으로써 FACS 기법을통해인식된얼굴표정의각성도측정을위한룰을제안하여각성도를측정하였다. 동시에주관평가를통해표정으로나타난각성도의실제느껴지는각성도와일치여부를확인하였다. 본연구의프로세스는다음과같다. 그림 1. 연구프로세스 2.1 측정프로그램측정프로그램은 National Instrument 사의 LabVIEW 과 LabVIEW VISION 을사용하여그림 2. 측정프로그램프로세스제작되었으며 Web 카메라는 Logitech QuickCam Communicate STX가사용되었다. 먼저측정프로그램의프로세스는다음과같다. 측정프로그램은영상처리과정이필요하다. 얼굴표정이촬영되어영상데이터가입력되면그레이스케일로변환되어지고이를바탕으로이진화가이루어진다. 이진화가이루어지영상은다시모폴로지연산을통해특징점추출을좀더명확하게할수있도록한다. 그후 LabVIEW 에서제공하는 Clamp VI를활용하여눈썹, 눈, 그리고입의특징점을추출하게된다. 측정프로그램은전술한바와같이 FACS 기법을통해얼굴표정을인식하고각성도를측정할수있도록제작되었다. 프로그램은크게두부분으로나눌수있다.

먼저, 축의정의를위해 Russell 의 Circumplex Model 로부터가장각성인 놀람 의형용사와가장이완인 졸린 의형용사를추출하여제시하였다. 제시한형용사에대해주관설문을받아 Russell 의형용사에대하여다시한번검증하였다.

또한요소로계산되어지기이전의특징점데이터를데이터베이스화하였다. 그리고주요요소를정규화하여정규화를바탕으로축의극좌표를설정하였다. 각성축의극좌표는전술한 놀람 과 졸린 의형용사에해당하는표정으로정의할수있는데이두형용사는가장각성과이완된것이라가정했기때문이다.

2 실험실험은현재의얼굴표정으로인식된각성도와주관평가와의일치여부를확인하기위하여실시하였다. 피실험자를고정시킨후 4가지의영상자극을제시함으로써자극에대한사용자의각성도를측정하였다. 실험의순그림 5. 실험순서표서는다음과같다.

그후피실험자의감성상태를중립으로획복시키는휴식의과정이 30초동안진행되며이와같은실험이 4회반복되어 4가지의자극에대해모두측정하게된다. 2.2.1 가설설정 그림 3. 프로그램화면 H 0 : 얼굴표정으로나타나는각성도는주관설문의각성도와일치하지않는다.

4 먼저, 축의정의를위해 Russell 의 Circumplex Model 로부터가장각성인 놀람 의형용사와가장이완인 졸린 의형용사를추출하여제시하였다. 제시한형용사에대해주관설문을받아 Russell 의형용사에대하여다시한번검증하였다. 제시한형용사에해당하는표정을짓도록하여얼굴표정에서 18개의특징점데이터를획득하였다. 획득된특징점데이터는 FACS 기법의 AU 에기초하여주요요소로계산되어졌다. AU는각성도측정의요소로서각성도와관련있는 7가지주요요소를선정하고그중사전실험을통해가장관련있는 5가지의요소가최종선정되었다. 또한요소로계산되어지기이전의특징점데이터를데이터베이스화하였다. 그리고주요요소를정규화하여정규화를바탕으로축의극좌표를설정하였다. 각성축의극좌표는전술한 놀람 과 졸린 의형용사에해당하는표정으로정의할수있는데이두형용사는가장각성과이완된것이라가정했기때문이다. 다음으로앞서정의된축을바탕으로실시간으로들어오는현재표정의각성도를측정하였다. 실시간으로들어오는표정또한데이터베이스를구축한후주요요소를뽑아정규화하여앞서정의된축에의해각성도를측정하였다. 다음의그림은프로그램과각성도룰에관한것이다. 적으로나타날수있는값보다예외적으로튀는값을잡아줄수있도록예외처리를하였다. 2.2 실험실험은현재의얼굴표정으로인식된각성도와주관평가와의일치여부를확인하기위하여실시하였다. 피실험자를고정시킨후 4가지의영상자극을제시함으로써자극에대한사용자의각성도를측정하였다. 실험의순그림 5. 실험순서표서는다음과같다. 먼저자극에앞서피실험자의감성상태를중립으로만들어주기위하여 30초동안회색의바탕화면을제시한다. 그리고영상자극을 90초동안제시하게되고영상자극이끝나면피실험자에게설문을 10초동안받도록한다. 그후피실험자의감성상태를중립으로획복시키는휴식의과정이 30초동안진행되며이와같은실험이 4회반복되어 4가지의자극에대해모두측정하게된다 가설설정 그림 3. 프로그램화면 H 0 : 얼굴표정으로나타나는각성도는주관설문의각성도와일치하지않는다. H 1 : 얼굴표정으로나타나는각성도는주관설문의각성도와일치한다. 단, 얼굴표정의각성도는 +20점 ~ -20점이며주관설문의경우 7점척도로서확인가능하다 독립변수와종속변수 그림 4. 얼굴특징점과 Action Unit 을통한각성도룰현재의얼굴표정이순간적으로그림자나미세한움직임으로인한난수발생으로오류가나타날수있으므로난수일경우 0으로써값을중립으로만드는것과평균 독립변수로각성과이완의영상자극이각각 2개씩선정되었다. 각성의영상자극으로하나는기인들이나오는신기한영상으로놀랄수있도록하였고, 다른하나는쾌감의각성을반영한웃기는영상을제시하였다. 이완의영상자극으로하나는잔잔한음악과함께아쿠아리움의영상이제시되고, 다른하나는평온한음악과함께자연풍경의영상이제시되었다. 영상자극은다음과같다.

이완 -12.064333 이완 1 이완 A 각성 -3.1428571 이완 5 각성 이완 -11.563636 이완 1 이완 각성 6.4727272 각성 5 각성 이완 -3.556543 이완 1 이완 B 각성 1.742267857 각성 5 각성 이완 8.031277 각성 3 이완 그림 6. 각성과이완의영상자극 C 각성 8.055777 각성 5 각성 이완 -0.

5 이완 이완 1 이완 A 각성 이완 5 각성 이완 이완 1 이완 각성 각성 5 각성 이완 이완 1 이완 B 각성 각성 5 각성 이완 각성 3 이완 그림 6. 각성과이완의영상자극 C 각성 각성 5 각성 이완 이완 1 이완 각성 각성 6 각성 이완 이완 1 이완 종속변수는 4가지영상자극에따라변화하는얼굴표정의각성도와주관설문을통해나타나는각성도이다 실험방법실험은측정프로그램에서적용한 5가지요소로서측정이가능한가를파악하기위하여대학생 3명 ( 평균나이 : 28.7 세, 표준편차 : 0.47) 을대상으로진행되었으며실험시간은레퍼런스데이터를획득후자극에대한반응과설문을하기까지 10분의시간이소요되었다. 17 Wide LCD 모니터를사용하였으며카메라를바라보고앉도록하였다. 각성 이완 5 각성이완자극의일치율 : 83.33% 각성자극의일치율 : 66.66% 피실험자의표정변화가실험시에더욱적게변화한다는것을감안한다면평균 74.99% 이라는각성도일치율은절대적은수치가아닐것이다. 또한개인별로일치되는감성에서차이가발생하는것을확인하였다. 4. 결론및검토 본연구에서는얼굴표정의각성도와주관설문에서 2.3 분석방법 먼저얼굴표정측정프로그램을통해나온데이터를분석하였다. 레퍼런스와자극의시간을동일하게하기위해레퍼런스와자극이가장민감했던부분의 30초를추출하여분석에반영하였다. 자극의시간당나타나는표정의데이터의평균을내어자극에대한각성도를평균값으로제시하였고각성과이완의감성을판단하였다. 다음으로자극의제시후실시하는설문을분석하였다. 자극에대한각성과이완의각성도를 7점척도로서감성을판단하였다. 그리고자극에해당하는얼굴표정의감성과주관설문의감성의일치여부를판단하였다. 3. 연구결과 본연구에서제안한측정프로그램과주관설문과의일치여부를살펴보면다음의표 1과같다. 표 1. 얼굴표정의각성도와주관설문의일치여부 피실험자 자극 얼굴표정평균점수 각성도 주관설문 각성도 나타나는각성도를맵핑시킴으로써얼굴표정으로도각성도를측정할수있다는것을검증하였다. 얼굴표정은공감각적이면서강한자극이아닐경우표정변화가뚜렷이나타나지않는단점이있다. 그러나미세한얼굴표정의변화도각성도를판단할수있는요소가됨을확인함으로써멀티모달인식을할경우더정확한각성도의판단이가능할것으로판단된다. 또한실시간얼굴인식의경우조명이나얼굴의각도, 사람의움직임등의제한적요소들때문에인식의어려움이있으나이런요소를극복할수있는연구가함께진행된다면더명확한데이터를얻을수있을것이다. 추후이미검증된방법인생리신호를통한각성도측정을통해측정프로그램의정확도와같은시간일때의표정에서나타나는각성의정도와생리신호를통해나타나는각성의정도를맵핑하여각성도측정의정확도를파악하는연구를진행할것이다 [7-8]. 또한본연구를바탕으로향후쾌감도를측정하고각성도와쾌감도가동시에측정되어지는연구를진행하여각성과쾌의축으로써모든감성들의인식이가능하도록하고자한다. 참고문헌

6 윤현섭, 한영준, and 한헌수, 표정별가버웨이블릿주성분특징을이용한실시간표정인식시스템, 한국지능시스템학회논문지, 19(6), , Gottumukkal, R. and V.K. Asari, An improved face recognition technique based on modular PCA approach, Pattern Recognition Letters, 25(4), , 고광은 and 심귀보, AAM 기반정서특징검출기법개발, 한국지능시스템학회, Ekman, P. and W. Frisen, Facial Action Coding System:A Technique for the Measurement of Facial Movement, Pantic, M. and L.J.M. Rothkrantz, Expert system for automatic analysis of facial expressions, Image and Vision Computing, 18(11), , Russell, J.A., A circumplex model of affect, Journal of Personality and Social Psychology, 39(6), , 고한우, 이완규, and 이건기, 피부전기활동변화에의한각성도의측정, 대한전자공학회, 김치중, 황민철, 김종화, 우진철, 김용우, and 김지혜, PPG(Photoplethysmography) 분석을이용한각성도평가에관한연구, 대한인간공학회지, 29(1), , 2010.

<4D F736F F D20342E3220B9CCB5F0BEEEBDBAC5B2C0C720B0A8BCBA20C0CEC5CDB7A2BCC720BFE4BCD2BFA120B0FCC7D120BFACB1B82E646F63>

<4D F736F F D20342E3220B9CCB5F0BEEEBDBAC5B2C0C720B0A8BCBA20C0CEC5CDB7A2BCC720BFE4BCD2BFA120B0FCC7D120BFACB1B82E646F63> 미디어스킨의감성인터랙션요소에관한연구 김용우 1 황민철 2 김지혜 1 조봉화 3 박재언 3 문성철 3 1 상명대학교컴퓨터과학과 / 2 상명대학교디지털미디어학부 / 3 상명대학교감성공학과 kimyongwoogo@nate.com, whang@smu.ac.kr, kimjh0805@gmail.com, efudeer@naver.com, amiru84@naver.com,