DBPIA-NURIMEDIA

Size: px

Start display at page:

Download "DBPIA-NURIMEDIA"

익 전
5 years ago
Views:

키워드기반추천시스템데이터셋구축및분석 배은영 *, 유석종 ** 요약 추천시스템 이란대상자가좋아할만한무언가를추천하는시스템을일컫는다 아마존의상품추천 페이스북이나링크드인의친구추천 넷플릭스와왓차의영화추천 행태기반광고 뉴스추천등여러분야에서추천시스템은이미널리활용중이며진화중에있다 학계에서도추천시스템에대한관심과연구는꾸준하게증가를하고있으며 이분야의논문수또한해마다증가하고있고

1 키워드기반추천시스템데이터셋구축및분석 배은영 *, 유석종 ** 요약 추천시스템 이란대상자가좋아할만한무언가를추천하는시스템을일컫는다 아마존의상품추천 페이스북이나링크드인의친구추천 넷플릭스와왓차의영화추천 행태기반광고 뉴스추천등여러분야에서추천시스템은이미널리활용중이며진화중에있다 학계에서도추천시스템에대한관심과연구는꾸준하게증가를하고있으며 이분야의논문수또한해마다증가하고있고 연구분야또한점점세분화되고다양해지고있다 본논문에서는추천시스템에관한주요연구주제나적용대상도메인 선호기법 연구주제에대한트렌드등을파악하기위하여 전자도서관및 전자도서관으로부터얻은추천시스템논문관련자료를토대로데이터셋을구축하고분석을진행하였다 Abstract Recommender system is a system that recommends something that a person would like. Recommender systems are widely used and evolving in various fields such as Amazon product recommendation, Facebook or Linkedin friend recommendation, Netflix and Watcha movie recommendation, behavior based advertisement, news recommendation. In the academia, interest and research on recommender systems are steadily increasing, and the number of papers in this field is increasing year by year, and the field of research is becoming more and more fragmented and diversified. In this paper, we constructed a dataset based on dissertation data of recommender system obtained from IEEE Xplore Digital Library and ACM Digital Library, and proceeded with the analysis in order to grasp major research topics, application domains, preference techniques, and trends in research topics. Keywords recommender system, collaborative filtering, recommender trend 숙명여자대학교소프트웨어학부 - ORCID: 숙명여자대학교소프트웨어학부 교신저자 - ORCID: ž Received: Mar. 09, 2018, Revised: Jun. 19, 2018, Accepted: Jun. 22, 2018 ž Corresponding Author: Seok-Jong Yu Department of Software, Sookmyung Womens s University, Korea Tel.: , sjyu@sm.ac.kr

2 92 키워드기반추천시스템데이터셋구축및분석 서론추천시스템은사용자가아이템에대해어떻게평가할지를예측하는정보필터링시스템의일종이다. 과거가미래다 라는말이있듯이과거의데이터를기반으로하여사용자가원하는최적화된아이템이무엇인가를예측하고추천하는일은많은산업군에서필요한부분이며, 이미아마존의상품추천, 페이스북이나링크드인의친구추천, 넷플릭스와왓차의영화추천, 행태기반광고, 뉴스추천, 쇼핑몰의상품추천등다양한영역에서활용되고있다. 추천시스템에대한관심및활용도가높아지면서학계의연구방향도다양해지고있다. 1998년부터등장하기시작한추천시스템관련논문은그수가해마다증가하고있고, 연구분야또한세분화되고다양한형태로변화되고있다. 본논문에서는 IEEE 및 ACM의전자도서관에서제공되는논문관련자료를가지고데이터셋을구축하고, 논문의키워드를중심으로과거부터현재까지추천시스템의주요연구주제, 주요이슈의변화에대한흐름등을확인해보고자하였다. 추천시스템의이해 1990년대중후반협업필터링에관한연구논문 [1] 이등장한이후, 추천시스템은학계에서주요한연구분야가되었다. 추천시스템은선호도또는사용자에의해아이템에주어지는평점을예측하는정보필터링시스템이라고할수있으며, 추천시스템의목표는사용자가관심을가질만한아이템이나제품들에대해유용하고도분별있는추천을해주는것이다. 추천시스템은사용하는정보등에따라보통아래와같이분류가된다 [2]-[7]. - 내용기반필터링 (Content based Filtering) 내용기반필터링은아이템자체를분석하여추천을구현하는기법으로, 내용기반필터링을위해서는아이템을분석한프로파일 (Item Profile) 과사용자의선호도프로파일 (User Profile) 을추출하여이의유사성을계산한다. 이기법은아이템의내용을분석해야하므로아이템분석알고리즘이핵심적이며, 이를위해군집분석 (Clustering Analysis), 인공신경망 (Artificial Neural Network), tf-idf(term frequency inverse document frequency) 등의기술이주로사용된다. - 협업필터링 (CF, Collaborative Filtering) 협업필터링이란사용자의행위를모델링하고유사도가높은사용자들의행위를예측하는방식으로, 비슷한패턴을가진사용자나항목을추출하는기술이핵심이며주로행렬분해 (Matrix Factorization), k-최근접이웃알고리즘 (knn, k-nearest Neighbor Algorithm) 등의방법이사용된다. 협업필터링을위해서는반드시기존자료를활용해야하고, 사용자의행위로분석하기때문에높은정확도를위해서는많은데이터가있어야한다. 협업필터링방식은메모리기반협업필터링 (Memory based CF) 과모델기반협업필터링 (Model based CF) 이있다. 메모리기반협업필터링은사용자와아이템에대한액션을모두메모리위에올려두고사용자 -아이템간의관계를계산하는방법이며, 모델기반협업필터링은베이즈네트워크 (Bayesian Network) 나인공신경망등다양한머신러닝기법을통해서추천을해주는방식이다. - 하이브리드추천시스템 (Hybrid Recommender system) 내용기반필터링과협업필터링을결합하는등다양한추천방식을조합하여추천하는시스템이다. 추천시스템연구에서다루어지는주요연구주제에는초기사용자문제 (Cold Start), 확장성 (Scalability),

3 희소성 (Sparsity), 다양성 (Diversity), 예측가능성 (Predictability), 동의어 (Synonymy), 악의적평가점수입력 (Shilling Attack), 선호특성항목의반복추천 (Overspecialization), 비일관적평가점수입력 (Grey Sheep), 관심적은다수항목추천 (Long Tail Item Recommendation), 참신성 (Novelty), 개인정보보호 (Privacy), 오류및악의적인데이터 (Erroneous and Malicious Data), 빅데이터등이있으며이중몇가지를소개하면아래와같다 [4]-[8]. - 초기사용자문제 : 새로운항목이추가되는경우이를추천할수있는정보가쌓일때까지는정확한추천이어려워진다는것을의미한다. - 희소성 : 막대한양의아이템에대비하여사용자의평점의양은아주희소할수있으며, 이문제로인해예측의정확도가감소할수있다. 희소성문제를해결하기위하여특이값분해 (SVD, Singular Value Decomposition), 인구통계학적필터링, 내용기반필터링기법등이제안되고있다. - 동의어 : comedy movie 와 comedy film 과같이유사한아이템에대하여다른이름으로도불리어지는경우를의미하며, 이문제를해결하기위하여온톨로지 (Ontologies), 특이값분해, LSA(Latent Semantic Analysis) 등이사용된다. - 악의적평가 : 악의적인사용자가아이템에대하여의도적으로잘못된평점을넣는경우를의미한다. - 비일관된평가 : 독특한취향의사용자에의한추천을의미하며, k-mean 클러스터링등의방법을통해다른사용자들로부터독특한사용자를분리해내는기법을사용한다. 추천시스템은서비스에큰영향을미치는요소이기때문에오래전부터많은학자들과기업들에서연구를하고있는주요한분야중의하나이다. 그림 1 은 IEEE 데이터셋과 ACM 데이터셋을 합산한추천시스템논문편수이다 년부터등장 하기시작한추천시스템관련논문은해마다증가 를하고있으며, 특히 2009 년경부터급격한증가추 세를보이고있음을알수있다. 본본문에서는매년증가하고있는추천시스템에 대한주요연구주제가무엇인지, 연구도메인은 무엇인지, 연구주제는어떠한방향으로다양해지고 있는지등에대해알아보고자하였으며, 이를위하 여 IEEE 및 ACM 전자도서관에서제공되는논문 정보를활용하여키워드를중심으로분석을진행하 기위하여데이터셋을구축하였고, 분석을시도해 보았다. 추천시스템키워드기반데이터셋구축 추천시스템연구주제분석을위한데이터셋구 축절차는그림 2 와같으며, 이를위하여본논문에 서는 IEEE 및 ACM 의전자도서관에서제공되는자 료를활용하였다. 전처리작업을통하여결측값을제거하고, 논문 들에서제시되는키워드묶음을각각의키워드로 분리한후논문번호와년도에일대일매핑작업을 진행하였고, 유사의미를갖는키워드에대해서는 그룹핑작업을수행하였다. IEEE 와 ACM 의자료는 합치지않고각각의자료를별도로하여분석을진 행하였다.

제공된총 31개의필드중에서데이터셋구축을위한용도로논문제목, 저자가제시한키워드, 논문발행년도필드를사용하였으며, 저자가제시한키워드가제시되어있지않은논문에대해서는논문의내용이비교적구체적으로표현되어있는 INSPEC non-controlled Terms 을사용하였다. 사용된필드및데이터값의예는그림 3과같다.

4 94 키워드기반추천시스템데이터셋구축및분석 는작업을진행하였다. ACM 데이터셋구축을위 하여사용된필드및데이터예는그림 4 와같다. IEEE 및 ACM의전자도서관으로부터얻은자료는 xls파일과 csv파일이며, 그림 2와같은절차로전처리작업을진행하였다. IEEE 자료의경우는 IEEE Xplore 전자도서관 [9] 로부터 2017년 12월기준, 1998년부터 2017년까지의추천시스템논문자료 5839건을 xls파일형태로받은후전처리작업을진행하였다. 제공된총 31개의필드중에서데이터셋구축을위한용도로논문제목, 저자가제시한키워드, 논문발행년도필드를사용하였으며, 저자가제시한키워드가제시되어있지않은논문에대해서는논문의내용이비교적구체적으로표현되어있는 INSPEC non-controlled Terms 을사용하였다. 사용된필드및데이터값의예는그림 3과같다. IEEE 자료에서는논문을식별하는고유번호가제공이되지않았기때문에각논문마다논문번호 (Id) 를생성하였으며, 논문들에서제시된키워드의묶음을각각의키워드로분리를하고, 분리된각키워드들은그림 5와같이논문번호및논문발행년도에일대일매핑시켰다. ACM 자료의경우에는 ACM 전자도서관 [10] 로부터 2017년 12월기준, 1998년부터 2017년까지추천시스템에대한논문자료 2007건을 csv파일형태로받은후전처리작업을진행하였다. 제공된총 27개의필드중에서논문번호, 논문제목, 논문발행년도, 키워드필드를사용하였으며, IEEE 자료처리처럼키워드묶음을각각의키워드로분리하고분리된각키워드마다논문번호와논문발행년도를매핑하

일대일매핑작업을한데이터는 MS-SQL 서버를사용하여데이터베이스로구축한후그룹핑작업을하였다 [ 그림 6]. 먼저데이터가제대로들어가있지않은레코드를삭제한후에동의어처리를위해서모든문자는소문자로변환하고, 복수형태의단어는단수형태로통일화하였다. 또한복합어로구성된키워드나유사의미이면서다르게표현된키워드에대해서는동일한형식으로표준화하였다.

5 일대일매핑작업을한데이터는 MS-SQL 서버를사용하여데이터베이스로구축한후그룹핑작업을하였다 [ 그림 6]. 먼저데이터가제대로들어가있지않은레코드를삭제한후에동의어처리를위해서모든문자는소문자로변환하고, 복수형태의단어는단수형태로통일화하였다. 또한복합어로구성된키워드나유사의미이면서다르게표현된키워드에대해서는동일한형식으로표준화하였다. SVM와 support vector machine의예처럼같은용어인데다르게표현된키워드는모두약어로통일화하여진행을하였다. ACM 자료에대한전처리작업도 IEEE 자료와유사한방법으로진행하였다. 키워드중심의빈도분석및시각화 IEEE논문의경우, 전처리작업을통해그룹핑작업을진행했음에도불구하고키워드의종류수가현저히많았다. 키워드당빈도수를확인해본결과총 3132의유일한키워드중에서그림 7에서보이는것처럼협업필터링이압도적으로많이나왔으며, personalized recommendation, e-commerce, social network, user preference 등의용어가많이등장하였다. 각키워드에대해연도별로빈도를확인해본바, 추천시스템연구의주요이슈인초기사용자문제나희소성은여전히주요연구이슈로다루고있으며, e-commerce 나 hybrid recommendation 에대한연구도증가추세임을확인할수있었다. 또한 data mining, association rule이나 machine learning 등의키워드의빈도로보아추천시스템의연구방향이좀더다양해지고있음도그림 8을통해확인할수있었다. 한편, 영화데이터셋인 movielens 키워드가상위에랭크되어있는데이는데이터확보가관건인추천시스템연구에서공개용데이터셋을활용한영역이논문에서많이활용이되고있음을보인다. 그림 9는연구대상도메인별로키워드를비교해본것으로서 movie 와 music 영역으로부터추천시스템에대한연구가시작되었고, 현재까지도주요연구대상도메인임을알수있다. 추천시스템연구에서는데이터확보가중요한관건이기때문에 Netflex, Movielens, Last.fm 등데이터셋이공개되어있는도메인에대한추천시스템연구가좀더활발히진행되고있음을유추할수있으며, 근래들어서는 travel, social network, job 등추천시스템의연구적용분야가점점다양해지고있음도확인할수있다.

것으로보아기계학습이추천시스템에도활용이되 고있음을확인할수가있다. 한편협업필터링뿐만아니라 e-commerce, social network, matrix factorization 도꾸준하게많이등장하는주제어이고, 다양성도 2011년이후꾸준하게많이연구가이루어지는주제어였다.

6 96 키워드기반추천시스템데이터셋구축및분석 ACM 데이터셋에서가장많이나온키워드역 시협업필터링이었다. 오랜시간이소요되어실시 간추천이필요한현실에적용하기어려운단점이 있음에도불구하고좋은성능을발휘한다는장점으 로인해학계에서는여전히협업필터링에대하여 많은관심을보이고있음을알수있으며, machine learning 에관련된키워드에대해서도 deep learning, neural network, recurrent neural network 등이나타난 것으로보아기계학습이추천시스템에도활용이되 고있음을확인할수가있다. 한편협업필터링뿐만아니라 e-commerce, social network, matrix factorization 도꾸준하게많이등장하는주제어이고, 다양성도 2011년이후꾸준하게많이연구가이루어지는주제어였다. 또한 personalization 에관한주제도꾸준히증가하고있는연구주제였으며, 추천의다양성을높이고자하는연구도증가하고있는추세임을확인할수있다. 그림 10은연도별로키워드당빈도율을확인해본것이다. 키워드빈도율은해당년도의키워드빈도를해당년도의논문수로나누어계산하였다. 협업필터링의경우 2004~2006 년도에는논문중 45% 정도가협업필터링을키워드로하고있으나, 점차협업필터링키워드등장비율이줄고있음을알수있다. 협업필터링키워드의등장비율이점점낮아지는이유는추천시스템에대한연구가점차세분화됨에따라논문에서제시되는키워드의수와종류가다양해지기때문이다. 그림 11은 2008년부터 ~2017 년까지주요키워드의순위변화를비교해본것이다. 협업필터링, matrix factorization, social network, personalization, 초기사용자문제, 다양성등은매해많은논문에서등장하는키워드이며, machine learning 관련키워드들도등장횟수가점점많아지고있음을보인다. content based filtering 이나 context aware recommendation, group recommendation 등도매해자주등장하는키워드임을확인할수있다.

7 ~ 그림 12는추천시스템연구의적용분야비교를자바스크립트기반의반응형시각화라이브러리인 D3.js를활용하여표현한것이다. 추천시스템에대한연구가활발해지던시기인초창기와비교하여 근래에들어서는다양한분야를대상으로추천시스템에대한연구가진행이되고있으며, 특히 social network 나 health 에대한연구가점차활발해지고있음을알수있다.

social network 와 e-commerce 의경우, 연구적용 대상도메인이기도하지만적용대상과는별개로키 워드목록에포함이되는부분이있어서적용대상 현재각산업군에서추천시스템은다양하게활용이되고있으며, 학계에서도추천시스템에대한연구는여전히활발하게이루어지고있다.

8 98 키워드기반추천시스템데이터셋구축및분석 도메인순위에서는생략을하였다. 추천기법에대해서는협업필터링에대한연구가많았으며, 주요연구이슈로는초기사용자문제나희소성에관한연구가많이이루어지고있음을알수있었다. 결론 ~ ~ 두개의학술사이트로부터얻은논문관련정보 중키워드분석을통해논문의주요연구이슈들에 대한빈도를그림 13 과같이정리해본결과에의 하면, 추천시스템에관한논문중에는 music 을적용 대상도메인으로연구를진행한논문이가장많았 다. social network 와 e-commerce 의경우, 연구적용 대상도메인이기도하지만적용대상과는별개로키 워드목록에포함이되는부분이있어서적용대상 현재각산업군에서추천시스템은다양하게활용이되고있으며, 학계에서도추천시스템에대한연구는여전히활발하게이루어지고있다. 본논문에서는 IEEE와 ACM 전자도서관으로부터얻은자료들을활용하여데이터셋을구축하고, 구축된데이터셋을통해추천시스템에관한주요연구주제나적용대상도메인, 선호기법등에대하여확인해보았다. 키워드빈도를활용한분석을통하여, 추천시스템이등장한초반에비해연구영역이나대상등이다양해지고세분화되어지고있음을알수있었고개인화추천, 머신러닝, 데이터마이닝을활용한추천시스템에대한연구들이점차늘어나고있음도확인할수있었다. 다른관점에서의미있는결과를도출해보고자추천시스템관련논문들에제시되어있는키워드묶음을사용한분석을시도해보았지만, 유사키워드를그룹핑하는데있어서인간의주관적지식이개입될수밖에없는한계가있음을확인할수있었다. 논문키워드를통한분석에서정확도가높은결과를얻어내기위해서는다양한단어로표현되어있는키워드의표준화가중요한작업이고, 이를위해서는관련전공용어에대하여온톨로지구축, 메타데이터레지스트리구축등의방법등을사용하여동일개념을식별할수있도록하는것이필요하겠다. 또한다양한산업군에서추천시스템이활발하게활용되고있음에도불구하고연구논문에서는 music 이나 movie 등연구대상도메인이다소제한적인데, 이는데이터확보에기인하기때문이라판단이되며, 넷플릭스등과같이추천시스템이유용하게활용될수있는다양한산업군에서데이터셋을공개해준다면추천시스템에대한학계의연구

cooperative work, pp. 175-186, Oct. 1994. [2] Francesco Ricci, Lior Rokach, and Bracha Shapira, "Introduction to Recommender Systems Handbook", Springer, pp. 25-47, 2011.

9 가더욱활발하게진행될수있을것이다. 논문에제시된키워드와논문주제에대한관련성을놓고보았을때, 키워드를중심으로한분석방법은어느정도의미가있을것이며, 연구자의연구방향설정등에도다소도움이될수있겠다. [1] Paul Resnick, Neophytos Iacovou, Mitesh Suchak, and Peter Bergstrom, "An open architecture for collaborative filtering of netnews", Proceedings of the 1994 ACM conference on Computer supported cooperative work, pp , Oct [2] Francesco Ricci, Lior Rokach, and Bracha Shapira, "Introduction to Recommender Systems Handbook", Springer, pp , [3] Isinkaye, Folajimi, and Ojokoh, "Recommendation systems: Principles, methods and evaluation", Egyptian Informatics Journal, Vol. 16, No. 3, pp , Jun [4] Shah Khusro, Zafar Ali, and Irfan Ullah, "Recommender Systems; Issues, Challenges, and Research Opportunities", A Comparative Study on Hough Transform Segmentation Approach for Outlier Iris Image, pp , Feb [5] Sarika Jain, Anjali Grover, Praveen Singh Thakur, and Sourabh Kumar Choudhary, "Trends, Problems And Solutions of Recommender System", International Conference on Computing, Communication and Automation, pp , May [6] Soanpet. Sree Lakshmi, and Adi Lakshmi, "Recommendation Systems; Issues and challenges", International Journal of Computer Science and Information Technologies, Vol. 5, No. 4, pp , May [7] Omkar S. Revankar and Y. V. Haribhakta, "Survey on Collaborative Filtering Technique in Recommendation System", International Journal of Application or Innovation in Engineering & Management, Vol. 4, No. 3, pp , Mar [8] Gediminas Adomavicius and Alexander Tuzhilin, "Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions", IEEE transactions on knowledge and data engineering, Vol. 17, No. 6, pp , Apr [9] IEEE Xplore Digital Library( ieee.org/search/advsearch.jsp) [Accessed: Feb ] [10] ACM Digital Library( [Accessed: Feb ] 저자소개배은영 (Eun-Young Bae) 년 월 숙명여자대학교이과대학통계학과 이학사 년 월 서강대학교정보통신대학원정보처리전공 공학사 년 월 현재 숙명여자대학교컴퓨터과학과일반대학원박사과정관심분야 추천시스템 정보시각화 협업필터링 컴퓨터교육유석종 (Seok-Jong Yu) 년 월 연세대학교컴퓨터과학과 이학사 년 월 연세대학교대학원컴퓨터과학과 이학석사 년 월 연세대학교대학원컴퓨터과학과 공학박사 년 현재 숙명여자대학교소프트웨어학부교수관심분야 그래픽스 추천시스템 협업필터링

Recommender Systems - Beyond Collaborative Filtering

Recommender Systems - Beyond Collaborative Filtering Recommender Systems Beyond Collaborative Filtering Sungjoo Ha May 17th, 2016 Sungjoo Ha 1 / 19 Recommender Systems Problem 사용자가얼마나특정아이템을좋아할지예측해보자. 과거행동을바탕으로 다른사용자와의관계를바탕으로 아이템사이의관계로부터 문맥을살펴보고... Sungjoo