영상의색분포를이용한영화장면에대한시청자정서예측 467 영상의색분포를이용한영화장면에대한시청자정서예측 (Prediction of Emotion using Color Distribution of Movie Scene) 천효선 장병탁 (Hyo-Sun Chun) (Byoung-Tak Zhang) Abstract A relationship between emotion and color has been studied in a variety of research. Movie directors also use this relationship in order to express their intention of emotional response. In this paper, we propose a method that can predict emotion for movie scene using color distribution of movie scene. The problem is that one scene can cause different emotions for each viewer. Therefor we propose a probabilistic estimation method, that learns relationship between colors and emotions based on Hypernetwork model. As the result of experiments, we predict 87.75% of original distribution. Our proposed model can be applied to movie recommendation by showing estimated emotional distribution for movie audiences. Keywords: movie emotion, emotion estimation, color emotion, hypernetwork 요약색과정서사이의관계에대해서는많은심리학연구를통해알려져왔다. 영화에서도이러한사실을이용하여감독들은정서적의도를표현하기위해색을사용한다. 본논문에서는영화영상의색분포를기반으로시청자의정서를추정하는방법을제안한다. 그런데정서에는개인차가존재하기때문에확률적추정방법이필요하다. 본연구에서제안하는방법은영화영상으로부터색을샘플링하고정서분포에서는정서를샘플링한후그관계를하이퍼네트워크모델을통해학습한다. 그결과실제시청자정서의 87.75% 를예측할수있었다. 본논문에서제시한영화시청자정서추정모델은시청자의요구에원하는영화추천에도움이될것으로기대된다. 키워드 : 영화정서, 색정서, 정서추정, 하이퍼네트워크 이논문은정부 ( 미래창조과학부 ) 의재원으로한국연구재단의지원을받아수행된연구이며 (NRF-2010-0017734-Videome), 정부 ( 산업통상자원부 ) 의재원으로한국산업기술평가관리원지원 (KEIT-10035348-mLife, KEIT- 10044009) 및미공군연구소의지원 (FA2386-12-1-4087) 을일부받았음 이논문은제40회추계학술발표회에서 영화영상의색분포를이용한시청자정서의확률적추정 의제목으로발표된논문을확장한것임 학생회원 : 서울대학교컴퓨터공학부 hschun@bi.snu.ac.kr 종신회원 : 서울대학교컴퓨터공학부교수 btzhang@bi.snu.ac.kr (Corresponding author임 ) 논문접수 : 2014년 1월 24일 (Received 24 January 2014) 논문수정 : 2014년 4월 4일 (Revised 4 April 2014) 심사완료 : 2014년 4월 18일 (Accepted 18 April 2014) CopyrightC2014 한국정보과학회 ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 컴퓨팅의실제및레터제20권제8호 (2014.8) 1. 서론색과정서사이에유의미한상관관계가있다는것은이미수많은심리학연구들을통해잘알려져있다 [1-4]. 예를들어, 일반적으로푸른색은우울한정서를대변하고, 붉은색은열정, 흥분의정서를불러일으킨다. 영화에서도색과정서간의상관관계가존재한다 [5]. 영화감독은영화의내용이나전달하고자하는메시지를표현하기위해미장센을활용한다. 위에서도언급했듯이색과정서간의관계는심리학연구로부터잘알려져왔기때문에영화감독들은정서를전달하기위한도구중하나로색을많이활용한다. 이에본논문에서는영화영상의색분포를이용해시청자의정서를추정하는방법을제시한다. 방대한양의비디오데이터중시청자의구미에맞는컨텐츠를효과적으로추천하기위해서는영상에대한시청자의정서를예측할수있어야한다. 그러나동일한대상에대해느끼는정서가사람마다다르기때문에정서를가장적합한한가지로예측하는것은좋지못한방법이다. 본논문에서제시하는확률적정서추정모델은시청자의정서분포를예측한다. 본논문은총 6절로구성되어있다. 2절에서는정서연구에사용되는정서공간을소개하고, 본연구에서사용한정서공간에대해설명한다. 3절에서는영상에서색정보를얻는방법에대해기술한다. 4절에서는하이퍼네트워크학습모델을소개하고, 이를기반으로한색- 정서추정모델을제안한다. 5절에서실험을통해모델을검증한다. 6절에서는결론을맺고향후연구방향에대해검토한다. 2. 정서공간 2.1 에크만 6-정서공간일반적으로정서분석에많이사용되는정서공간은
468 정보과학회논문지 : 컴퓨팅의실제및레터제 20 권제 8 호 (2014.8) 에크만의 6-정서공간이다 [6]. 에크만의 6-정서공간은 Happy, Surprise, Fear, Anger, Disgust, Sad로이루어져있다. 그러나에크만의정서공간은영화에는적합하지않다. 첫째로, 긍정적인정서와부정적인정서의균형이맞지않는다. 긍정적인정서라고할수있는것은 Happy 하나이고, Fear, Anger, Disgust, Sad는부정적인정서이며, Surprise는상황에따라긍정적일수도있고부정적일수도있는정서이다. 부정적인정서의수가너무많아균형이맞지않는다. 둘째, 영화에서중요한몇몇중요한정서를나타내지못한다. 예를들어긴장감과같은정서는영화에서매우중요한부분이다. 2.2 Gross&Levenson 의 8-영화정서공간영화에적합한정서공간은 Gross&Levenson에의해연구된바가있다 [7]. 에크만의 6-정서공간을변형하여 Amusement, Contentment, Anger, Disgust, Fear, Neutral, Sadness, Surprise로이루어진 8-정서공간을정의하였다. 그러나 Gross&Levenson의정서공간도 2.1절에서제기한문제를해결하지는못하고있다. 2.3 12- 영화정서공간본연구에서는영화에적합하다고생각되는 12-정서공간을사용하였다 [8]. 이정서공간은 Comic, Romantic, Content, Joy, Surprise, Suspicious, Tense, Neutral, Anger, Disgust, Sad, Fear로이루어져있다. 에크만의 6-정서공간에영화에서중요하다고생각되는정서들을도입하였고, 긍정적정서, 부정적정서, 상황에따라긍정적일수도있고부정적일수도있는정서의균형을맞추었다 ( 표 1). 3. 색공간색과정서간의관계를알아보기위해영상으로부터색정보를추출해야한다. RGB 색공간은 256 256 256 개색으로이루어져있어공간이너무크고, 또한정서와의관련성도밝혀진바가없다. 본연구에서는정서분석에많이사용되는 Hue&Tone 색공간을활용하였다. Hue&Tone 색공간은 130개색으로이루어진색공간이다. 10개의 Hue와 12개 Tone으로이루어진 120개색과, 10개의 Neutral색으로구성되어있고, 고바야시에의한색-정서관련성연구에활용된바가있다 [9]. 색공간의변환은유클리디안거리를계산을통해하였다. Hue&Tone 색공간의 130개색의 RGB 값과프레임상의값과비교하여중가장가까운거리에있는색으로맵핑하였다 ( 그림 1). Positive Non-Postive & Non-Negative Negative 표 1 정서공간비교 Table 1 Comparison of Emotion Space Ekman 6-Emotion Gross and Levenson 8-Movie -Emotion 12-Movie -Emotion Happy Amusement Joy Contentment Contentment Romantic Comic Surprise Neutral Surprise Suspicious Tense Neutral Fear Fear Fear Angr Angr Angr Disgust Disgust Disgust Sad Sad Sad 그림 1 RGB에서 Hue&Tone으로의색공간변환 Fig. 1 Conversion of Color Space from RGB to Hue & Tone 4. 하이퍼네트워크정서추정모델 4.1 하이퍼네트워크하이퍼네트워크 (Hypernetwork) 는데이터를이루는정졈 (vertex) 들간의관계를하이퍼에지 (Hyperedge) 를통해표현하는확률그래프모델이다 [10]. 그림 2는하이퍼네트워크의구조를그림으로나타낸것이다. 일반적인그래프구조에서는에지 (edge) 가오직한쌍의정점들만연결할수있지만, 하이퍼에지는다수의정점들을연결하여관계를표현한다. 정점들간의연관관계의정도는하이퍼에지의가중치 (weight) 를통해표현된다. 데이터를 X, 모델을 W라고할때, 하이퍼네트워크모델에서데이터가생성될확률은다음과같이주어지고
영상의색분포를이용한영화장면에대한시청자정서예측 469 서소개된하이퍼네트워크학습방법을기본적으로따르는데, 하이퍼에지를생성하는방법은아래와같다. 그림 2 하이퍼네트워크구조 Fig. 2 Structure of Hypernetwork 및 은아래와같이정의된다. exp 4.2 정서학습알고리즘본연구에서는하이퍼네트워크를기반으로한영화장면의정서를학습하는방법을제안한다 ( 그림 3). [10] 에 For all frames, 1. Color Sampling Choose 1 random pixel Calculate hue&tone color of pixel 2. Emotion Sampling Sample 1 emotion from survey result 3. Hyperedge Generation Make hyperedge of {hue, tone, emotion} 4. Repeat 1~3 알고리즘 1 하이퍼에지생성알고리즘 Alg. 1 Generation of Hyperedge 4.3 영화장면의정서추정정서분포를가지고있지않은새로운영상에대해시청자의정서를예측하려는경우에는다음과같은알고리즘을통해정서를추정한다 ( 그림 4). For all frames, 1. Color Sampling Choose 1 random pixel Calculate hue&tone color of pixel 2. Hyperedge Sampling Find hyperedges related to sampled color Sample 1 hyperedge and get the emotion 3. Reconstructing emotion distribution by repeating 1~2 알고리즘 2 정서예측알고리즘 Alg. 2 Prediction of Emotion 5. 실험결과및분석 그림 3 영화장면의색 - 정서관계학습 Fig. 3 Learning Color-Emotion Relationship from Movie Scene 5.1 시청자정서조사영화영상에대한시청자들의정서분포를얻기위해 20대성인남녀 20명에게설문조사를실시하였다. 실험에사용된영화장면은 Amazing Spiderman의 12개장면으로, 사전설문을통해정서적요소가포함되었다고판단되는장면들을무작위로선택되었다. 시청자들에게영화장면을감상하게한후, 2.3절에서소개된 12- 영화정서중가장적합하다고판단되는한가지정서를고르도록하였다. 정서분포조사결과는그림 5와같다. [7] 에서언급된바와같이, Anger, Disgust, Content의정서는영화로부터강하게표출되지않았다. 5.2 학습결과시청자설문조사를통해얻은정서분포를이용하여하이퍼그래퍼정서추정모델에학습시켰다. 각장면에
470 정보과학회논문지 : 컴퓨팅의실제및레터제 20 권제 8 호 (2014.8) (a) 실제정서분포 그림 4 정서예측과정 Fig. 4 Predicting Emotion from New Movie Scene (b) 추정정서분포그림 6 영화장면 #5에대한정서추정결과 Fig. 6 Result of Experiment for Scene#5 (a) Survey Result (b) Prediction Result 치하였고, 랜덤하게생성한분포의경우평균 51.66% ( 표준편차 0.29) 가일치하였다. 그림 5 정서분포설문결과 Fig. 5 Result of Emotion Survey 대해, 설문으로부터얻은정서중가장많이응답된정서와, 학습을통해예측한정서중가장확률이높게예측된정서가얼마나일치하는지비교해보았다. leaveone-out cross-validation 방식으로테스트한결과, 시청자의실제정서와학습을통해예측한정서가평균 52.76% ( 표준편차 0.13) 일치하였다. 그러나본연구에서예측하려고한것은정서의분포이지가장적합한정서는아니다. 다시말해, 단순히가장확률이높은정서만을비교해수치로나타내는것은무리가있다. 따라서실제시청자정서분포와예측한정서분포가얼마나일치하는지를따져봐야한다. 아래와같은식에의해면적일치도를계산한결과, 모델이예측한분포의경우평균 87.75%( 표준편차 0.18) 가일 : 정서인덱스 : 실제시청자정서분포 : 예측한정서분포그림 6은영화장면 #5에대한시청자의정서를예측한결과로, 실제정서분포인그림 6(a) 가학습을통해그림 6(b) 로예측된것이다. 6. 결론및향후연구본논문에서는영화영상의색분포를기반으로시청자의정서를확률적으로추정하는방법을제안하였다. 본연구의의의는단순컨텐츠분석에서벗어나영화의정서적정보를학습을통해추정하고자한것에있다. 시청자들은모델이예측한정서분포를참고하여영화나드라마의분위기를파악할수있고, 정서상태에따른추천서비스에도응용한다면사용자의만족도가매우높아질수있을것이다. 본논문에서제안한정서추정모델에서는영상의시간적정보들이전혀고려되지않았다. 계속어둡기만한장면과처음에는어두웠다점점화사해지는장면은분명정서적으로큰차이가있다. 전자가지속적인정서적암흑을표현하고있다면후자는희망적분위기를전달
영상의색분포를이용한영화장면에대한시청자정서예측 471 하려할때많이쓰인다. 그러므로시간적정보들을분석할수있는방법이향후연구에서제시되어야할것이다. References [1] M. Hemphill, "A note on adults' color-emotion associations," Journal of Genetic Psychology, vol.157, pp.385-394, 1996. [2] F. Mahnke, "Color, environment, human response," New York: Van Nostrand Reinhold, 1996. [3] N. Kaya and H. H. Epps, "Relationship between color and emotion: a study of college students," College Student Journal, vol.38, no.3, pp.396-405, 2004. [4] P. Valdez and A. Mehrabian, "Effects of color on emotions," Journal of Experimental Psychology, vol.123, no.4, pp.394-409, 1994. [5] L. D. Giannetti, "Undestanding Movies," Pearson, 2010. [6] P. Ekman and W. V. Friesen, "Manual for facial action coding system," Palo Alto: Consulting Psychologists Press, 1978. [7] J. J. Gross and R. W. Levenson, "Emotion elicitation using films," Cognition and Emotion, vol.9, no.1, pp.87-108, 1995. [8] W. H. Choe, H.-S. Chun, J. Noh, S.-D. Lee and B.-T. Zhang, "Estimating multiple evoked emotions from videos," Proc. of the Annual Meeting of the Cognitive Science Society, pp.2046-2051, Aug. 2013. [9] S. Kobayashi, "Aim and method of the color image scale," Color Res. Appl., vol.6, no.2, pp.93-107, 1981. [10] B.-T. Zhang, "Hypernetworks: A molecular evolutionary architecture for cognitive learning and memory," IEEE Computational Intelligence Magazine, vol.3, no.3, pp.49-63, 2008.