Journal of Korea Multimedia Society Vol. 18, No. 9, September 2015(pp. 1068-1082) http://dx.doi.org/10.9717/kmms.2015.18.9.1068 감정 온톨로지 기반의 영화 추천 기법 김옥섭, 이석원 A Movie Recommendation Method based on Emotion Ontology Ok-Seob Kim, Seok-Won Lee ABSTRACT Due to the rapid advancement of the mobile technology, smart phones have been widely used in the current society. This lead to an easier way to retrieve video contents using web and mobile services. However, it is not a trivial problem to retrieve particular video contents based on users specific preferences. The current movie recommendation system is based on the users preference information. However, this system does not consider any emotional means or perspectives in each movie, which results in the dissatisfaction of user s emotional requirements. In order to address users preferences and emotional requirements, this research proposes a movie recommendation technology to represent a movie s emotion and its associations. The proposed approach contains the development of emotion ontology by representing the relationship between the emotion and the concepts which cause emotional effects. Based on the current movie metadata ontology, this research also developed movie-emotion ontology based on the representation of the metadata related to the emotion. The proposed movie recommendation method recommends the movie by using movie-emotion ontology based on the emotion knowledge. Using this proposed approach, the user will be able to get the list of movies based on their preferences and emotional requirements. Key words: Recommendation System, Ontology, Emotion, Movie 1. 서 론 스마트폰의 보급으로 사용자들이 장소와 시간에 구애 받지 않고 다양한 소프트웨어들을 손쉽게 사용 할 수 있게 되었고 웹, 모바일 서비스 등을 통해 다양 한 영화, 드라마 등의 콘텐츠를 사용자에게 제공하는 것이 가능해졌다. 이러한 서비스의 등장으로 사용자 는 이전보다 더 많은 콘텐츠에 쉽게 접근하고 시청하 는 것이 가능하게 되었지만, 제공되는 콘텐츠의 종류 가 다양해지고, 그 수가 방대해짐에 따라 사용자가 Corresponding Author : Seok-Won Lee, Address: (443-749) 206, World cup-ro, Yeongtong-gu, Suwon-si, Gyeonggi-do, Korea, TEL : +82-31-219-3548, FAX : +82-31-219-1614, E-mail : leesw@ajou.ac.kr Receipt date : Nov. 11, 2014, Revision date : May 30, 2015 Approval date : July 27, 2015 자신의 선호도에 맞는 콘텐츠를 검색하여 시청하는 것이 이전보다 어려워졌다. 그렇기 때문에 사용자의 선호도에 따른 콘텐츠를 사용자들이 보다 쉽게 제공 받을 수 있는 추천 시스템의 필요성이 증가되었다. 현재 VOD를 서비스하는 업체의 영화 추천 기능 은 최신작 위주로 영화 추천을 제공한다. 이는 사용 자의 선호도를 고려하지 않아 사용자들의 만족도가 떨어진다. 국외의 Amazon[1]은 영화간의 연관성이 높은 영화를 추천해주고, 국내의 Watcha[2]는 사용 자의 시청이력을 분석하여 영화의 장르, 내용 등의 Department of Computer Engineering, Graduate School, Ajou University (E-mail : kos123@ajou.ac.kr) Department of Software Convergence Technology, Ajou University This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education, Science and Technology (No.2013R1A1A2009801)
감정 온톨로지 기반의 영화 추천 기법 1069 사용자 선호도를 기반으로 영화를 추천해준다. 이와 같은 시도로 사용자들은 최신작 위주의 영화를 추천 받을 때보다 높은 만족도를 얻을 수 있게 되었다. 그 럼에도 불구하고, 이러한 영화 추천 방법들은 사용자 들이 영화를 통해 경험하고자 하는 경험, 감정 등과 같은 감정적 요구사항을 충족시켜주기에는 부족함 이 있다. 기존 추천 시스템들은 사용자들이 영화 관 람을 통해 특정 감정을 경험하고, 영화를 통한 욕구 충족을 하거나[3] 슬플 때 슬픈 영화를 감상을 함으 로써 감정의 정화를 이루려는 경향을 갖는 것[4]과 같은 특수한 성격을 갖는 사용자의 감정적 요구사항 을 만족 시켜줄 수 없다. 또한, 현재 다양한 소프트웨 어들이 사용자들의 다양한 요구사항을 만족시켜주 기 위한 사용자 중심의 소프트웨어를 설계를 지향하 는 추세이다. 사용자 중심의 소프트웨어를 설계하는 방법들을 연구하는 소프트웨어 요구공학 분야에서 는 감정적 요구사항(Emotional Requirement) 역시 연구되고 있다. 감정적 요구사항에서는 조언 시스템 (Advisory System) 또는 해설 시스템(Explanatory System)을 개발하는데 있어 필요한 요구사항으로 감정 역시 고려해야 한다고 언급한다[5][6]. 그렇기 때문에 기존 사용자 선호도 기반의 영화 추천 시스템 들은 앞서 설명한 사용자의 감정적 요구사항을 만족 시켜줄 수 있는 방법이 필요하다. 본 논문에서 제안하는 추천 기법은 영화 추천 시 스템에서 사용자의 선호도 정보뿐만 아니라 감정적 요구사항도 고려하여, 기존 영화 추천 시스템의 영화 추천 만족도와 감정적 요구사항을 충족시켜 더 개인 화된 영화 추천을 가능하도록 하는 추천 기법을 제안 한다. 이를 위해 영화의 메타데이터에서 영화가 가지 는 감정을 도출하고, 영화에서 도출된 감정을 사용자 선호도 정보 기반 영화 추천 시스템과 결합하여 영화 가 가지는 감정까지 고려한 영화 추천 서비스를 제공 한다. 영화가 갖는 감정을 도출하기 위해 Ekman[7] 이 제안한 여섯 가지 기본 감정(분노, 역겨움, 놀라움, 슬픔, 공포, 행복)과 각 감정의 의미를 갖는 감정유발 단어와의 연관성을 표현한 감정 온톨로지를 정의하 였다. 감정과 연관성을 가진 영화 메타데이터로는 장 르, 키워드, 줄거리 키워드가 있다. 이 세 가지 메타데 이터와 감정 온톨로지와의 연관성을 표현하여 영화- 감정 온톨로지를 정의하였다. 정의된 영화-감정 온 톨로지를 활용하여 영화가 가질 수 있는 감정을 도출 하고, 영화가 가지는 감정을 표현하여 영화 추천에 활용하였다. 사용자에게 제공되는 영화 추천 목록은 사용자의 영화 선호도뿐만 아니라 감정적 요구사항 까지 만족시켜줄 수 있기 때문에, 기존 영화 추천 시 스템 보다 더 높은 만족도를 사용자에게 제공할 수 있다. 본 논문의 구성은 제 2장에서 영화에서 감정을 추 출하는 방법과 감정을 고려한 영화 추천 시스템에 대한 관련 연구에 대하여 설명한다. 제 3장에서는 본 논문에서 제안하는 감정 온톨로지와, 영화-감정 온 톨로지 통합 과정에 대하여 설명한다. 제 4장에서는 영화-감정 온톨로지를 이용한 감정 도출 과정과 영 화 추천 과정에 대하여 설명한다. 제 5장에서는 영화 추천 서비스 평가를 위한 실험과 결과에 대하여 설명 한다. 제 6장에서는 본 논문의 결론과 향후 연구에 대하여 설명한다. 2. 관련 연구 음악 추천 분야에서 감정과 온톨로지를 활용하여 추천을 제공해주는 연구가 존재한다. Song[8]은 기 존 음악 추천 시스템에서 고려하지 못하는 사용자의 감정 상태를 고려하여 음악 추천을 제공함으로써, 더 높은 만족도를 사용자에게 제공한다. 사용자의 상황 과 음악 분위기의 연관성을 온톨로지로 정의하고 이 를 음악 추천 서비스에 활용하는 방법을 통해 사용자 의 감정 상태에 따른 음악 추천을 가능하게 하여 사 용자의 만족도를 높였다. 온톨로지를 활용해 지식을 정의했기 때문에, 지식의 공유와 재사용을 할 수 있 다는 장점을 가진다. 본 논문에서는 이러한 장점을 영화 추천 분야에 활용하려 한다. 영화 추천 분야에서 감정을 활용하여 추천을 제공 해주는 연구가 존재한다. Song[9]은 협업적 여과 (Collaborative Filtering)기법과 감정단어를 활용하 여 개인화된 영화 추천 방법을 제안했다. MBTI (Myers- Briggs Type Indicator) 검사에 따라 사용 자들을 그룹화 하고, 영화에 대한 각 그룹의 감정 단 어 선택을 통해 사용자에게 잘 맞는 영화를 추천해주 어 사용자의 만족도를 높이는 방법을 제안했다. 이 시스템은 추천 결과에 대한 만족도가 검증되지 않아 사용자의 만족도가 떨어질 수 있는 한계점을 가진다. Cho[10]는 기존 영화 추천 서비스가 최신작 위주의
1070 멀티미디어학회 논문지 제18권 제9호(2015. 9) 단순한 추천 서비스 제공하는 것을 극복하고자 감정 을 활용한 영화 추천을 제안한다. 특정 영화에 대한 사용자 리뷰 데이터를 수집하고, 이를 ConceptNet이 라는 자연어 처리 도구를 사용하여 문장의 단어와 에크만이 정의한 기본 감정 여섯 가지와 맵핑 (mapping)했다. 이를 장르 분류 기준과 비교하여 사 용자에게 제공하는 영화를 추천, 보통, 비추천으로 나눈 다음 제공해 주는 시스템을 제안 하였다. 이 시 스템에서는 사용자가 영화를 볼 때 고려하는 선호도 인 장르, 배우 등을 고려하지 않아 사용자의 만족도 가 떨어질 수 있는 문제점이 있다. Ho[11]는 기존 영 화 추천 시스템들이 고려하지 못하는 감정을 고려한 영화 추천을 제안한다. 패럿이 제시한 여섯 가지 기 본 감정(사랑, 기쁨, 놀람, 분노, 슬픔)을 감정을 대표 할 수 있는 색과 연결한다. 사용자에게 영화를 제시 하면, 사용자는 세 가지 색을 선택하고, 세 가지 중 다수를 차지하는 감정을 해당 영화에 대한 사용자의 감정으로 지정한다. 이를 협업 필터링 방식을 통해 같은 영화에 대해 같은 감정을 느끼는 사용자를 묶는 방법을 통해 영화 추천을 한다. 이 시스템의 문제는 정확성이 검증되지 않았고, 색과 감정의 관계는 사용 자의 문화, 종교에 따라 달라질 수 있다는 것이다. 본 논문에서는 기존 감정 기반 영화 추천 시스템이 가지는 문제점들을 해결하고자 한다. 첫 번째 문제점 인 사용자의 영화 선호도를 고려하지 않아 사용자의 만족도가 떨어질 수 있는 점은 사용자의 선호도에 따른 영화 추천을 제공해주는 시스템의 온톨로지를 재사용하여 감정과의 연관성을 정의하여 선호도와 감정을 고려한 영화 추천을 통해 극복할 수 있다. 두 번째 문제점인 다수의 사용자에게 감정적 만족을 제 공하지 못하는 점은 문화, 종교와 상관없이 같은 감 정을 느끼게 할 수 있는 기본 감정만으로 영화를 분 류하여 이를 영화 추천에 활용하여 극복할 수 있다. 3. 선호도와 감정을 고려한 영화 추천을 위한 온 톨로지 모델 3.1 기본 감정과 감정 유발 단어 본 논문에서는 다수의 사용자에게 감정적 요구사 항을 만족 시켜주기 위한 영화를 추천해주는 것을 목표로 한다. 하지만 감정(Emotion)은 국가, 종교, 문 화 등에 따라 다르게 느껴지는 특성을 가진다. 그렇 기 때문에, 특정 감정을 느낄 수 있는 영화를 사용자 에게 추천해 주어도 사용자가 느끼는 감정은 다를 수 있다. 다수의 사용자에게 감정적 요구사항을 만족 시켜 주기 위해 다수의 사람들이 같은 느낌을 받을 수 있는 감정을 영화에서 도출해야만 한다. 이 문제 를 해결하기 위해 국가, 종교, 문화 등과 관계없이 일반적으로 누구나 같은 감정을 느낄 수 있는 기본 감정(Basic Emotion)을 사용한다. 영화를 Ekman[7] 이 정의한 여섯 가지 기본감정은 국가, 종교, 문화 등에 관계없이 사람의 표정에서 느낄 수 있는 감정을 정의한 것이다. 각 감정의 정의[12]는 Table 1과 같 다. 영화가 갖는 감정을 기본 감정으로 분류하면, 다 수의 사용자에게 같은 감정을 제공해주는 것이 가능 하다. 우리가 사용하는 단어에는 특정 감정을 유발할 수 있다는 특징이 있다. 다시 말해, 단어들에는 특정 감 정적 의미가 존재한다. 예를 들어, 이별 이라는 단어 에서는 슬픔, 고문실 이라는 단어에서는 공포라는 감정을 느낄 수 있다. Kim[13]은 감정적 의미를 갖는 단어들을 앞서 언급한 여섯 가지 기본 감정에 따라 분류하였다. 분류된 단어는 분노 10단어, 역겨움 20 단어, 공포 24단어, 행복 83단어, 슬픔 36단어, 놀람 11단어로 총 184단어이다. 감정유발단어의 일부는 Table 2와 같다. 감정유발단어는 영화의 메타데이터 인 줄거리 키워드에서 나타나는 단어의 감정적 의미 를 찾는데 사용된다. 줄거리의 키워드에서 찾은 감정 Table 1. Definition of emotion Emotion Anger Disgust Fear Happiness Sadness Surprise Definition A feeling that is oriented toward some real or supposed grievance Strong feelings of dislike An emotion experienced in anticipation of some specific pain or danger State of well-being characterized by emotions ranging from contentment to intense joy Emotions experienced when not in a state of well-being The astonishment you feel when something totally unexpected happens to you
감정 온톨로지 기반의 영화 추천 기법 1071 Table 2. Example of emotion words Anger Disgust Fear Happiness Sadness Surprise treacherous subject foul confinement pleasure poverty scream outrage mustiness torture chamber date tear sudden stop deception secretion savage beast cherry blossoms pain fainting traitor stench danger blessing loneliness reversal absurd filth terrorist luck parting reversal hatred excrement explosive delight funeral breaking news 적 의미들은 영화가 갖는 감정을 도출 하는데 필요한 증거가 될 수 있다. 3.2 감정 온톨로지 감정 온톨로지는 기본 감정과 감정유발단어의 연 관성을 표현하여, 영화가 갖는 감정을 도출하고, 감 정 기반의 영화 추천 서비스를 제공하기 위해 사용된 다. 감정 온톨로지는 온톨로지 개발 101방법론[14]에 따라 3.1절에서 설명한 여섯 가지 기본감정과 각 기 본감정을 유발할 수 있는 감정유발단어의 개념 (Concept), 관계(Property), 객체(Individual)를 온톨 로지 언어인 Web Ontology Language(OWL)[15]를 통해 정의하였다. 이렇게 정의된 감정 온톨로지는 Fig. 1과 같다. 감정 온톨로지는 여섯 가지 기본 감정 과, 각 기본 감정을 유발할 수 있는 단어들의 집합을 관계로 표현함으로서, 특정 요소들이 갖는 감정적 의 미를 나타내게 된다. 이 온톨로지는 누구나 같은 감 정을 느끼는 기본 감정을 도출하는데 활용하여 다수 의 사용자에게 감정적 요구사항을 만족시켜 주고자 한다. Fig. 1에서 원은 개념을 나타내고, 화살표는 관계 를 나타낸다. 감정 온톨로지를 통해 감정유발단어로 선정된 단어들과 감정의 관계를 표현했기 때문에 단 어들이 갖는 감정적 의미를 알 수 있다. 또한, 다른 도메인과 감정 온톨로지와의 관계를 통해 특정 개념 의 감정을 표현할 수 있어, 그와 관련된 감정을 알 수 있다. 감정 온톨로지를 정의하기 위해서는, 감정과 감정 유발단어를 표현하기 위한 개념들을 정의하고, 각 개 념간의 연관성을 표현하기 위한 관계를 표현해야 한 다. 감정과 감정유발단어를 표현하기 위한 개념들은 Table 3과 같고, 각 개념들의 연관성을 표현하기 위 한 관계들은 Table 4와 같다. 감정 온톨로지를 정의하기 위해 필요한 감정과 감 정유발단어는 각각 Emotion, EmotionalWord 개념 으로 표현된다. 여섯 가지 기본 감정을 표현하기 위 해, Emotion개념과 EmotionalWord개념은 여섯 개 의 하위 개념을 가진다. Emotion개념의 하위 여섯 개의 개념은 분노, 역겨움, 공포, 행복, 슬픔, 놀람을 의미하는 객체를 갖고, EmotionalWord개념의 하위 여섯 개의 개념은 각 기본 감정을 유발할 수 있는 단어들을 객체로 갖는다. 이렇게 입력된 각 객체의 수는 Table 5와 같다. Emotion개념은의 각 하위 개념 은 각 기본 감정을 갖기 때문에 각각 1개의 객체를 갖는다. EmotionalWord개념의 각 하위 개념의 객체 수가 3.1절에서 설명한 감정유발단어의 수 보다 1개 씩 많은 이유는 기본 감정 역시 감정을 유발할 수 있지만 감정유발단어로는 분류되지 않았기 때문에 추가 되었다. 3.3 영화 메타데이터 온톨로지와 감정 온톨로지의 통합 온톨로지 개발 101 방법론[14]에서는 온톨로지를 만드는 두 번째 과정으로 기존의 존재하는 온톨로지 의 재사용을 고려해야 한다고 언급한다. 영화 추천에 있어 영화에 대한 지식은 중요한 요소이다. Kim[16] 은 사용자 선호도 기반의 영화 추천 서비스를 제공하 기 위해 영화 메타데이터들과 각 메타데이터들의 연 관성을 표현한 영화 메타데이터 온톨로지를 정의했 다. 본 논문에서는 영화와 감정의 연관성을 표현하기 위해 영화 메타데이터 온톨로지를 활용한다. 영화 메타데이터 온톨로지에서는 영화의 제목, 장 르, 배우, 감독 등 열 가지 메타데이터를 사용한다. 영화 메타데이터 온톨로지의 여러 가지 개념들 중 각 메타데이터와 영화와 감정과의 연관성을 분석했 을 때, 감정을 나타낼 수 있는 요소에는 장르, 키워드,
1072 멀티미디어학회 논문지 제18권 제9호(2015. 9) Fig. 1. Emotion ontology. 줄거리 키워드가 적합하였다. 각 요소들이 갖는 감정 적 의미는 다음과 같다. 장르는 영화가 가지는 속성에 따라 영화를 분류하 는 기준이다. 장르가 가지는 감정적 요소를 찾기 위 해, 각 감정을 느낄 수 있는 영화들을 선정하고, 해당 영화들이 갖는 장르들을 분석했다. 각 감정에 해당하 Table 3. Concept of Emotion ontology Concept Emotion Anger Disgust Fear Happiness Sadness Surprise EmotionalWord AngerWord DisgustWord FearWord HappinessWord SadnessWord SurpriseWord Description The basic emotion that everyone can feel. The anger of basic emotion. The disgust of basic emotion. The fear of basic emotion. The happiness of basic emotion. The sadness of basic emotion. The surprise of basic emotion. The word of emotion making that can cause basic emotion. The word that can cause anger. The word that can cause disgust. The word that can cause fear. The word that can cause happiness. The word that can cause sadness. The word that can cause surprise.
감정 온톨로지 기반의 영화 추천 기법 1073 Table 4. Relation of Emotion ontology Relation describes describesanger describesdisgust describesfear describeshappiness describessadness describessurprise subclassof Description Expressing the relation that the word of emotion making describe the specific emotion. Expressing the relation that the word of anger making describe the anger emotion. Expressing the relation that the word of disgust making describe the disgust emotion. Expressing the relation that the word of fear making describe the fear emotion. Expressing the relation that the word of happiness making describe the happiness emotion. Expressing the relation that the word of sadness making describe the sadness emotion. Expressing the relation that the word of surprise making describe the surprise emotion. Expressing the relation that the concept of super class. Table 5. Number of individual Concept Number of individual Anger 1 Disgust 1 Fear 1 Happiness 1 Sadness 1 Surprise 1 AngerWord 11 DisgustWord 21 FearWord 25 HappinessWord 84 SadnessWord 37 SurpriseWord 12 는 영화들이 갖는 장르들은 Table 6과 같다. Table 6에서 장르1은 각 감정에 해당하는 영화들이 갖는 가장 많은 수를 차지하는 장르고, 장르2는 그 다음으 로 많은 수를 차지하는 장르이다. 감정 역겨움 은 해 당 감정을 나타내는 영화의 수가 적기 때문에 분석할 수 없었다. 분석된 결과는 영화 메타데이터 온톨로지 의 메타데이터와 감정 온톨로지의 감정과의 관계를 정의할 때 활용한다. Table 6. Emotion related genre Emotion Genre 1 Genre 2 Anger Drama Thriller Disgust - - Surprise Thriller Mystery, Crime Happiness Comedy Romance/Melo Sadness Drama Romance/Melo Fear Fear Thriller 키워드는 국내 포털 사이트(http://movie.daum. net)에서 제공하는 키워드 목록이다. 이 키워드는 영 화 내용의 핵심이 되는 대표적인 요소를 나타내는 단어로써 영화마다 몇 가지씩 지정되어 있다. 예를 들어, 숀 펜, 다코타 패닝 주연의 영화 I am Sam 이 라는 영화는 아이의 지능을 가진 아버지가 혼자서 딸을 키우는 내용을 다뤄, 아버지의 순수한 사랑과 감동을 제공한다. 이 영화에 지정된 키워드는 가족, 아버지, 슬픈, 감동, 장애인으로 영화가 나타내는 슬 픈 감정을 표현한다. 키워드는 줄거리 키워드와 달리 사람이 직접 분류하여 지정했기 때문에 줄거리 키워 드보다 더 높은 감정적 중요도를 가진다. 이에 따라, 감정을 도출하기 위해 줄거리 키워드보다 중요한 요 소라고 판단할 수 있다. 이러한 키워드는 영화 메타 데이터 온톨로지의 메타데이터와 감정 온톨로지의 감정과의 관계를 정의할 때 활용한다. 줄거리 키워드는 영화의 전반적인 내용을 나타내 는 영화 줄거리에서 추출된 키워드이다. 줄거리에서 명사형 단어들을 추출하여 KMDB[17]에서 제공하 는 9,000여개의 키워드 목록과 맵핑된 것이다. 이러 한 과정을 통해 만들어진 줄거리 키워드는 영화의 주요 내용을 대표한다. 줄거리 키워드는 감정을 유발 하는 단어와의 관계를 통해 영화의 줄거리에서 나타 나는 감정적 요소를 찾기 위해 영화 메타데이터 온톨 로지의 메타데이터와 감정 온톨로지의 감정 유발 단 어와의 관계를 정의할 때 활용한다. 영화가 나타내는 감정을 도출하기 위해 앞서 설명 한 세 가지의 영화 메타데이터와 감정과의 관계를 표현한다. Fig. 2는 감정과 영화의 관계를 정의한 영 화-감정 온톨로지이다. 영화-감정 온톨로지를 정의 하기 위해서는, 영화 메타데이터와 감정의 연관성을
1074 멀티미디어학회 논문지 제18권 제9호(2015. 9) 3.4 영화-감정 온톨로지 검증 제안하는 영화 추천 기법에서 활용되는 영화-감 정 온톨로지는 영화 추천의 핵심이 되기 때문에 정의 된 온톨로지의 정확성이 검증되어야 한다. 적합성 질 문(Competency Questions)은 온톨로지를 기반으로 하는 시스템에서 어떤 질문에 대한 답이 맞는지를 검증하는 역할을 한다[14]. 본 논문에서 사용한 적합 성 질문의 일부는 다음과 같다. Fig. 2. Movie-Emotion ontology. 표현하기 위한 관계를 표현해야 한다. 영화와 감정의 연관성을 표현하기 위한 관계들은 Table 7과 같다. 키워드는 국내 포털에서 제공되는 정제된 데이터 이기 때문에 영화 줄거리에서 추출한 줄거리 키워드 보다 영화에 있어 더 중요한 감정적 의미를 갖는다. 그래서 키워드는 감정과 hasmoreemotionalmeaning관계로 표현되고, 줄거리 키워드는 hasemotional Meaning관계로 표현된다. 장르는 앞서 설명한 것과 같이 특정 감정을 나타내는 영화가 갖는 장르에 따라 hasrelatedgenre 관계로 표현된다. 장르, 키워드, 줄 거리 키워드를 통해 영화의 감정을 도출하면 영화가 나타내는 감정을 표현하기 위해 hasemotion 관계가 사용된다. * 적합성 질문1. 외로움 이라는 단어가 유발하는 감정은 무엇인가? * 적합성 질문2. 공포 감정을 나타내는 영화는 무 엇인가? * 적합성 질문3. 배우 정우성 이 출연한 슬픈 영 화는 무엇인가? 정의한 적합성 질문들에 해당하는 질의문을 만들 고, 온톨로지에서 해당 질의문의 결과를 확인하였다. 먼저, 감정 온톨로지에 대해서 기본 감정과 각 기본 감정을 유발하는 감정 유발 단어에 대해서 검증하였 다. 그 다음으로, 영화-감정 온톨로지에 대해서 영화 의 메타데이터와 기본 감정, 감정 유발단어의 관계에 대해서 검증하였다. 예를 들어, 적합성 질문1 에 대 한 결과로는 슬픔 이 나왔다. 적합성 질문2 에 대 한 결과로는 쏘우, 13일의 금요일 등의 나왔다. 적합성 질문3 에 대한 결과로는 새드무비, 내 머 리 속의 지우개 등이 나왔다. 이외의 다른 적합성 질문들에도 질문에 대한 적합한 결과들이 나타났다. 4. 영화 추천 시스템 구조 4.1 감정 도출 과정 선호도와 감정을 고려한 영화 추천 서비스를 제공 하기 위해서는 영화가 가지는 감정을 도출하는 과정 이 선행되어야 한다. 영화 감정 도출 과정은 영화가 가질 수 있는 기본 감정 중 하나를 도출하는 과정이 Table 7. Relation of Movie-Emotion ontology Relation hasemotionalmeaning hasmoreemotionalmeaning hasrelatedgenre hasemotion Description Expressing the relation that the synopsis keyword have the meaning of the specific emotion. Expressing the relation that the keyword have a specific emotion meaning. Expressing the relation that the emotion have a relation with the specific genre. Expressing the relation that the movie have a specific emotion.
감정 온톨로지 기반의 영화 추천 기법 1075 Fig. 3. Emotion deduction process. 다. 감정 추출 과정의 구조는 Fig. 3과 같다. 감정 도 출 과정은 세 가지 부분으로 나뉜다. 각 부분은 질의 문 생성, 감정 도출, 지식 추가이다. 각 부분은 다음과 같다. * 질의문 생성 감정 도출 과정의 입력데이터는 특정 영화의 메타 데이터인 장르, 줄거리, 줄거리 키워드이다. 질의문 은 각 메타데이터와 연관성을 갖는 감정을 영화-감 정 온톨로지에서 찾는다. 온톨로지에서 감정을 찾기 위한 질의문은 SPARQL[18]을 사용한다. 질의문 생 성 과정에서 생성되는 질의문 중 특정 영화의 장르와 연관성을 갖는 감정을 찾는 질의문은 Table 8과 같다. * 감정 도출 감정 도출 과정은 각 메타데이터와 연관성을 갖는 감정들을 토대로 영화가 갖는 대표적인 감정을 도출 해내는 과정이다. 각 메타데이터와 연관성을 갖는 감 정들은 메타데이터에 따라 다른 가중치를 갖는다. 이 는 앞서 설명한 영화 메타데이터가 갖는 감정의 대표 성을 기반으로 가중치 값을 조정하여 나온 결과들을 다수의 사람들의 검증을 통해 얻었다. 여섯 가지 기 본 감정 각각의 가중치는 식 (1)을 통해 계산된다. (1) 특정 영화 는 각 감정과 관련된 메타데이터 개를 갖는다. 가 갖는 특정 감정에 대한 가중 치 합은 로 계산된다. 특정 영화 가 갖는 메타데이터와 연관성을 갖는 특정 감정 는 메타데이터에 따라 다른 가중치를 갖는데, 이를 구하 는 감정 가중치 식은 식 (2)와 같다. (2) 각 기본 감정에 해당하는 가중치를 식 (1)을 통해 계산되고, 여섯 개의 감정 가중치 중 최댓값을 구한 다. 가중치 값의 따라 분류된 감정의 정확도가 높은 값인 감정 가중치의 값이 50 초과일 경우, 해당 가중 치를 갖는 감정을 해당 영화의 감정으로 결정한다. * 지식 추가 지식 추가 과정은 영화 도출 과정을 통해 특정 영 Table 8. Example of query for emotion deduction Type Query Description Genre select?emotion where { IPTV:content_1 IPTV:hasGenre?genre?genre IPTV:hasRelatedGenre?emotion. } order by?emotion The movie that have a ID content_1 have a specific genre, and the specific genre search the emotion that have a association.
1076 멀티미디어학회 논문지 제18권 제9호(2015. 9) 화의 감정이 도출되면 이를 영화-감정 온톨로지에 추가하는 과정이다. 특정 영화와 감정은 hasemotion 관계를 지정하여 영화-감정 온톨로지에 추가한다. 이를 통해 영화 추천 과정에서 사용자의 선호도와 감정을 활용한 영화 추천 서비스를 제공할 수 있게 된다. 4.2 영화 추천 과정 영화 추천 과정은 사용자의 선호도정보와 감정을 활용하여 사용자가 원하는 영화를 검색해주는 과정 이다. 영화 추천 과정의 전체 구조는 Fig. 4와 같다. 시스템의 입력 데이터는 사용자는 자신이 선호하는 장르, 키워드, 배우 등의 선호도와 자신이 현재 느끼 고 싶은 감정이다. 영화 추천 과정은 세 가지 부분으 로 나뉜다. 각 부분은 질의문 생성, 가중치 계산, 영화 목록 생성이다. 각 부분은 다음과 같다. * 질의문 생성 질의문 생성 과정은 영화-감정온톨로지에서 사용 자의 선호도와 감정과 연관성을 갖는 영화를 찾기 위한 질의문을 생성하는 과정이다. 생성된 질의문은 영화-감정 온톨로지에서 해당되는 모든 영화를 검색 한다. 생성되는 질의문 중 사용자가 원하는 감정에 해 당하는 영화를 검색하는 질의문은 Table 9와 같다. * 가중치 계산 가중치 계산 과정에서는 선호도와 감정을 활용한 질의문을 통해 검색된 모든 영화의 가중치를 계산하 는 과정이다. 선호도 기반의 영화 추천 기법인 Kim [16]의 실험 결과에 감정적 요소가 적용되었을 때의 만족도를 비교하기 위해 동일한 가중치 값을 부여하 였고, 감정의 가중치를 실험에서 가장 높은 가중치를 갖는 배우와 같은 가중치를 부여하였다. 이는 감정을 추천에 활용했을 때와 하지 않았을 때를 비교하기 위해서이다. 각 요소에 의해 검색된 영화 가중치의 계산은 식 (3)을 통해 계산한다. (3) 특정 영화 의 영화 추천을 위한 가중치 합은 로 계산된다. 은 특정 영화 의 평점이다. 특정 영화 는 개의 요소를 갖는다. 특정 영화 의 메타데이터 가 갖는 Fig. 4. Movie recommendation process. Table 9. Example of query for movie recommendation Type Query Description Genre select?content where {?content IPTV:hasEmotion IPTV:happiness. } order by?content Searching all movies that have the emotion of happiness.
감정 온톨로지 기반의 영화 추천 기법 1077 가중치는 식 (4)와 같다. (4) 선호도와 감정에 의해 검색된 모든 영화들의 가중 치를 계산하고 해당 영화의 평점을 계산하여 해당 영화의 가중치를 계산한다. * 영화 목록 생성 영화 목록 생성과정은 가중치 계산 과정을 통해 검색된 모든 영화의 가중치가 계산되면, 가중치의 값 을 내림차순 정렬하여 상위 20개의 결과를 만든다. 검색된 영화는 영화의 ID 값이기 때문에 ID에 해당 하는 영화의 모든 정보를 조회하여 사용자에게 제공 한다. 5. 실 험 5.1 실험환경 제안하는 영화 추천 방법의 만족도를 검증하기 위 한 실험자들은 영화진흥위원회[19]에서 조사한 영화 를 관람하는 비중이 제일 높은 20대의 남/여 20명씩 총 40명으로 구성되었다. 실험에 사용되는 데이터는 다음영화[20]에서 제공하는 약 15,000개의 영화 중, 평점이 7.0 이상인 영화를 선별하여 총 5,502개의 영 화를 대상으로 한다. 이 실험은 기존 선호도 기반의 영화 추천 시스템에서 감정까지 고려했을 때의 만족 도를 보기 위한 실험이다. 실험자가 많은 선호도 정 보를 입력하지만 실제 본 논문에서는 기존 추천 시스 템에서 여섯 가지 기본 감정 중 한 가지 선택을 추가 적으로 하여 감정적 만족도를 높여 주는가에 대해 알아본다. 이를 통해 영화 추천에서 감정을 추천의 요소로 고려하는 것의 대해 알아보고자 한다. 실험은 실험자들이 여섯 가지 기본 감정 중 하나 의 감정을 느끼고 싶어 한다고 가정한다. 선호도를 기반으로 추천된 영화 목록과 선호도와 감정을 기반 으로 추천된 영화 목록에서 자신이 느끼고 싶어 하는 감정을 만족시키는 영화를 모두 선택하게 하여 각 추천 목록에서 만족되는 영화의 수를 비교하였다. Fig. 5는 사용자의 정보와 선호도 정보인 장르, 키 워드, 배우와 현재 느끼고 싶은 감정을 입력하는 화면 이다. Fig. 6은 사용자의 선호도 정보를 기반으로 추 천된 영화 목록의 예시다. Fig. 7은 사용자의 선호도 정보와 감정을 기반으로 추천된 영화 목록의 예시다. 5.2 영화 추천 만족도 평과 이번 절에서는 감정을 기반으로 한 영화 추천 기 Fig. 5. Demo capture for input the user preference and emotion.
1078 멀티미디어학회 논문지 제18권 제9호(2015. 9) Fig. 6. Demo capture for user preference based movie recommendation result. Fig. 7. Demo capture for user preference and emotion based movie recommendation result. 법을 통해 추천된 영화목록에 대한 사용자의 만족도 를 검증한다. 사용자들은 기본정보를 입력하고, 영화 추천에 필요한 장르, 키워드, 배우, 감정을 입력하면 영화 추천을 제공한다. 사용자에게는 입력한 선호도 정보를 기반으로 추 천되는 영화 목록과 선호도 정보와 감정을 기반으로 추천되는 영화 목록이 제공된다. 사용자에게 제공되 는 영화의 수는 각 20개 이다. 사용자는 두 가지 목록 에서 각각 자신이 원하는 감정에 해당하는 영화를 선택하게 한다. 각 목록에서 사용자가 원하는 감정에
감정 온톨로지 기반의 영화 추천 기법 1079 해당하는 영화의 수를 비교하여 추천 기법의 만족도 를 검증한다. 실제 실험 데이터 중, 여성 실험 참여자 실험자 A 는 선호 장르를 SF, 로맨스-멜로, 시대극, 선호 키워드를 가족, 메디컬, 어머니, 여행, 선호 배우를 정우성, 느끼고 싶은 감정을 행복 이 라고 선택하였다. 실험자 A 는 사용자의 선호도 정 보만을 고려한 20개의 추천 영화에서 프리키 프라 이데이, 선샤인 클리닝 을 행복한 감정을 느낄 수 있다고 평가하였다. 이는 실험자 A 가 입력한 데이 터 중 영화 분야에서 가족, 어머니 라는 키워드가 갖는 감정적 의미는 슬픔 에 가깝기 때문에 기존 사용자 선호도 기반의 영화 추천 기법을 통해 행복 이라는 감정을 느끼게 해주는 영화를 제공해주기 어 렵다. 제안 하는 추천 기법을 통한 20개의 추천 영화 에서는 앞서 실험자 A 가 선택한 2개의 영화를 포 함하며 엄마 시집 보내기, 정글북, 호텔 뉴 헴프 셔, 초콜렛, 하트 브레이커스, 사이드 웨이 를 행복한 감정을 느낄 수 있다고 평가하였다. 이는 실 험자 A 가 입력한 선호도 정보와 행복 이라는 감정 을 갖는 영화들을 통합한 결과를 사용자에게 추천해 주었기 때문에 사용자가 예상치 못한 영화들을 추천 해주어 사용자의 만족도를 높여 주는 것이 가능했다. 실험의 결과 값은 Fig. 8, Fig. 9와 Table 10으로 Table 10. Result of satisfaction Relation Male Female Total Result 1 5.35 (26.5%) 6.30 (31.5%) 5.83 (26.8%) Result 2 8.35 (41.8%) 9.55 (47.8%) 8.95 (44.8%) 나타났다. Fig. 8과 Fig. 9에서 가로축은 실험자의 이 름을 나타내고, 세로축은 실험자가 만족한 영화의 수 를 나타낸다. Table 10의 값은 남성과 여성이 만족한 영화의 수와 20개의 영화 중 만족한 영화의 비율을 나타낸다. 결과1 은 사용자의 선호도 정보만을 기 반으로 제공되는 영화 추천 목록 중 사용자가 원하는 감정을 만족시키는 영화의 수를 나타내고, 결과2 는 사용자의 선호도 정보와 감정을 기반으로 제공되는 영화 추천 목록 중 사용자가 원하는 감정을 만족시키 는 영화의 수를 나타낸다. 남성의 경우 결과1 에서 20개 영화 중 평균 5.35개로 26.8%의 영화에 대해서 만족했다. 결과2 에서 20개 중 평균 8.35개로 41.8% 의 영화에 대해서 만족하여 결과1 에 비해 만족도 가 15% 증가했다. 여성의 경우 결과1 에서 20개 영 화 중 평균 6.3개로 31.5%의 영화에 대해서 만족했 다. 결과2 에서 20개 중 평균 9.55개로 47.8%의 영화 에 대해서 만족하여 결과1 에 비해 만족도가 16.3% 증가했다. 남/여를 통합한 결과1 에서는 평균 5.83 Fig. 8. Result of satisfaction from male.
1080 멀티미디어학회 논문지 제18권 제9호(2015. 9) Fig. 9. Result of satisfaction from female. 개로 29.1%의 만족도를 보였고, 결과2"에서는 평균 8.95개로 44.8%의 만족도를 보여 결과1에 비해 만족 도가 15.6% 증가했다. 실험 결과의 의미는 세 가지로 분석된다. 첫 번째 로, 영화 추천에서 감정을 고려하는 것이 기존 추천 시스템에 결합하여 좋은 동반 상승효과를 보여 사용 자에게 더 큰 만족도를 제공한다는 것을 알 수 있다. 이는 온톨로지가 갖는 지식의 재사용성이라는 장점 이 잘 나타는 부분이다. 두 번째로, 선호도만 고려했 을 남성보단 여성에게서 더 높은 추천 만족도를 보였 는데, 이는 남성보다 여성이 감정적 동화를 더욱 잘 하기 때문으로 분석된다. 마지막으로, 선호도만 고려 했을 경우보다 만족도의 증가치가 크지 않은 것은 실험에 참가한 대부분의 사람들이 자신이 느끼고 싶 어 하는 감정과 연관성이 높은 키워드나 장르를 잘 인식하고 있었다는 것을 의미한다. 그럼에도 불구하 고, 만족도가 증가한 것은 온톨로지를 활용한 영화 추천 기법을 통해 사람의 지식을 대신해 사용자들이 평소에 생각지 못한 영화를 제공할 수 있다는 것을 의미한다. 6. 결 론 본 논문에서는 감정과 기본감정의 연관성을 이용 하여 감정 온톨로지를 정의하고, 기존 영화 메타데이 터 온톨리지와 감정 온톨로지를 통합하여 사용자의 취향뿐만 아니라 감정적 요구사항도 만족시켜 주는 영화 추천 기법을 제안하였다. 영화-감정 온톨로지 를 통해 영화가 가지는 감정을 도출하고, 이를 영화 추천에 활용하여 기존 영화 추천 시스템에서 부족한 감정적 요구사항에 따른 만족도를 향상시키는 기법 을 제안하였다. 제안하는 기법은 기존 영화 추천시스 템에서 사용하는 장르, 키워드, 배우의 사용자 선호 도 정보와 사용자가 느끼고 싶은 감정을 사용자로부 터 입력 받아 각 요소의 가중치 값의 합을 통해 사용 자에게 적절한 영화를 추천하게 된다. 제안 방법의 검증을 위해 평점 7.0 이상인 영화 5,502개의 영화 데이터를 영화-감정 온톨리지에 사용하고 실험을 하 였다. 실험은 감정을 고려하지 않을 경우와 했을 경 우, 사용자의 감정적 요구사항의 만족도를 보았다. 실험 결과 감정을 고려하지 않았을 경우 추천 해주는 20개의 영화 중 29.1%에 대해 만족을 보였고, 감정을 고려했을 경우 추천 해주는 20개의 영화 중 44.8%에 대해 만족을 보였다. 실험 결과를 통해 감정을 영화 추천의 요소로 고려하였을 경우 사용자의 감정적 요 구사항의 만족도가 15.6%가 증가했다는 것을 보였 다. 실험의 결과는 세 가지로 분석된다. 첫 번째로, 남성보다는 여성에게서 더 높은 만족도를 보였다. 이
감정 온톨로지 기반의 영화 추천 기법 1081 는 여성이 남성보다 감정적 동화를 더 잘하기 때문으 로 분석된다. 두 번째로, 제안하는 추천 기법이 사용 자의 감정적 요구사항을 더 만족시켜줄 수 있고, 감 정이라는 요소가 영화 추천 분야에서 고려해야 하는 추천 요소라는 것을 보여 주었다. 마지막으로, 선호 도만 고려했을 경우보다 만족도의 증가치가 크지 않 은 것은 실험에 참가한 대부분의 사람들이 자신이 느끼고 싶어 하는 감정과 연관성이 높은 키워드나 장르를 잘 인식하고 있었고, 그럼에도 만족도가 증가 한 것은 온톨로지를 활용한 영화 추천 기법을 통해 사람의 지식을 대신해 사용자들이 평소에 생각지 못 한 영화를 제공할 수 있다는 것을 의미한다. 향후 연구는 제안 방법의 한계점인 역겨움 감정 에 대해서도 데이터를 분석, 수집하여 영화-감정 온 톨리지를 보완한다. 또한, 제안 추천 기법에 협업적 여과 기법을 도입하여, 비슷한 영화에서 특정 감정을 느끼는 경향이 비슷한 사용자들을 분류하여 사용자 에게 영화를 추천하는 보다 개인화된 추천 기법을 연구하고자 한다. 또한, 아직 수식에 대한 증명에 부 족함이 있기 때문에 향후 연구를 통해 보완해 나가려 한다. 마지막으로 현재 추천 기법을 활용한 영화 추 천 시스템에서 요구하는 사용자 입력 데이터를 간소 화할 방법을 통해 사용자에게 편의성을 제공할 방법 을 연구하고자 한다. 이들을 통해 사용자에게 보다 높은 만족도를 제공할 수 있을 것이라 예상된다. REFERENCE [ 1 ] Amazon.com, http://www.amazon.com (accessed Feb. 15, 2014) [ 2 ] Watcha, https://watcha.net (accessed Feb. 15, 2014) [ 3 ] N.H. Choi and A.Y. Lim, "The Roles of Sympathy and Empathy on the Effects of Dramatic Factors on Attitude toward Film," J ournal of Consumer Studies, Vol. 20, No. 3, pp. 243-271, 2009 [ 4 ] S.K. Westerwick, Y. Gong, H. Hagner, and L. Kerbeykian, "Tragedy Viewers Count Their Blessings: Feeling Low on Fiction Leads to Feeling High on Life," Communication Research, Vol. 40, No. 6, pp. 747-766, 2012. [ 5 ] A. Sutcliffe, "Emotional Requirements Engineering," P roceeding of Requirements Engineering Conference, pp 321-322, 2011. [ 6 ] E.J. Lee, G.W. Kim, and W.B. Kim. "An Authoring Framework for Emotion-Aware User Interface of Mobile Applications." Journal of Korea Multimedia Society Vol.18, No.3 pp. 376-386, 2015. [ 7 ] Scherer, Klaus R., and Paul Ekman, Approaches to Emotion, Psychology Press, New York, 2014. [ 8 ] S.H. Song, M.K. Kim, S.M. Rho, and E.J. Hwang, "Music Ontology for Mood and Situation Reasoning to Support Music Retrieval and Recommendation," P roceeding of International Conference Digital Society, pp. 304-309, 2009. [ 9 ] M.N. Song, H. Namgoong, H.G. Kim, and J.H. Eune, "A Proposed Movie Recommendation Method using Emotional Word Selection," P roceeding of Online Communities and Social Computing, pp. 525-534, 2009. [10] S.B. Cho, "A Collaborative Filtering Recommendation System using ConceptNet-based Mood Classification by Genre," Korea Computer Congress, Vol. 38, No. 1(B), pp. 216-219, 2011. [11] A.T. Ho, I.L.L. Menezes, and Y. Tagmouti, "E-mrs: Emotion-based Movie Recommender System," P roceedings of International Association for Development of the Information Society e-commerce Conference, pp. 1-8, 2006. [12] WordNet Search 3.1, http://wordnetweb.princeton.edu/perl/webwn (accessed Apr. 28, 2014) [13] B.R. Kim, Compilation of the Korean Affective Word List, Master s thesis of Yonsei University College of Medicine, 2010. [14] N.F. Noy and D.L. McGuinness, Ontology Development 101 : A Guide to Creating Your First Ontology, Stanford Knowledge Systems Laboratory Tech, 2001.
1082 멀티미디어학회 논문지 제18권 제9호(2015. 9) [15] D.L. McGuinness and F.V. Harmelen, OWL Web Ontology Language Overview, W3C Recommendation, 2004. [16] J.Y. Kim and S.W. Lee, "The Ontology Based, the Movie Contents Recommendation Scheme, Using Relations of Movie Metadata," The J ournal of Intelligence and Information Systems, Vol. 19, No. 3, pp. 25-44, 2013. [17] KMDb, http://www.kmdb.or.kr (accessed Oct. 24, 2013) [18] E. Prud Hommeaux and A. Seaborne, SP ARQL Query Language for RDF, W3C Recommendation, 2008. [19] Korean Film Council, Report for Movie Consumption, Korean Film Council, 2011. [20] DAUM Movie, http://movie.daum.net (accessed Mar. 4, 2014) 김 옥 섭 2012년 8월 아주대학교 정보 컴퓨 터 공학과 졸업 2015년 2월 아주대학교 컴퓨터 공 학과 (공학석사) 관심분야 : 추천 시스템, 데이터마 이닝, 지식표현 이 석 원 1992년 8월 동국대 전자계산학과 졸업 1996년 5월 Univ. of Pittsburgh, Computer Science Artificial Intelligence (이학석사) 2003년 12월 George Mason Univ. Computer Science Software Engineering (공학박사) 1999년 12월~2000년 2월 IBM T.J. Watson Research Center 연구원 2000년 3월~2003년 7월 Science Applications International Corporation (SAIC), Senior Research Scientist 2003년 8월~2010년 7월 University of North Carolina at Charlotte, Dept. of Software and Information Systems 교수 2010년 8월~2011년 7월 University of Nebraska Lincoln, Dept. of Computer Science and Engineering, 방문 교수 2011년 8월~2012년 1월 University of Texas at San Antonio, Dept. of Information Systems and Cyber Security 교수 2012년 3월~현재 아주대학교 소프트웨어 융합학과 교 수 및 아주대학교 소프트웨어특성화대학원장 관심분야 : 기계학습, 인공지능, 요구공학, 소프트웨어공학, 정보보안, 소프트웨어 보호 및 보증