韓國經營科學會誌第 31 권第 2 號 2006 年 6 月 1 27 협업필터링기반상품추천에서의평가횟수와성능 * 이홍주 ** 김종우 *** 박성주 ** Number of Ratings and Performance in Collaborative Filtering-based Product Recommendation* Hong Joo Lee** Jong Woo Kim*** Sung Joo Park** Abstract The Collaborative Filtering (CF) is one of the popular techniques for personalization in e-commerce storefronts. For CF-based recommendation, every customer needs to provide subjective evaluation ratings for some products based on his/her preference. Also, if an e-commerce site recommends a new product, some customers should rate it. However, there is no in-depth investigation on the impacts on recommendation performance of two number of ratings, i.e. the number of ratings of an individual customer and the number of ratings of an item, even though these are important factors to determine performance of CF methods. In this study, using publicly available EachMovie data set, we empirically investigate the relationships between the two number of ratings and the performance of CF. For the purpose, three analyses were executed. The first and second analyses were performed to investigate the relationship between the number of ratings of a particular customer and the recommendation performance of CF. In the third analysis, we investigate the relationship between the number of ratings on a particular item and the recommendation performance of CF. From these experiments, we can find that there are thresholds in terms of the number of ratings below which the recommendation performances increase monotonically. That is, the number of ratings of a customer and the number of ratings on an item are critical to the recommendation performance of CF when the number of ratings is less than the thresholds, but the value of the ratings decreases after the numbers of ratings pass the thresholds. The results of the experiments provide insight to making operational decisions concerning collaborative filtering in practice. Keyword:Collaborative Filtering, Product Recommendation, Personalization, e-commerce 논문접수일 :2005년 8월 25일논문게재확정일 :2006년 3월 14일 * 이논문은 2005년한양대학교일반연구비지원으로연구되었음 (HY-2005-G). ** 한국과학기술원, 테크노경영대학원 *** 한양대학교경영학부 교신저자
28 이홍주 김종우 박성주 1. 서론 전자상거래에서고객에게적합한혹은관심있어할만한상품을개인화하여제공하는것은고객의상품검색노력을줄여줄뿐만이아니라, 고객의충성도제고에도도움을주기때문에고객관계관리측면에서도중요하게인식되고있다 [1, 12, 13, 19]. 고객의선호도를파악하여고객에게개인화된서비스의제공과상품을추천하기위해많은연구들과추천기법, 추천시스템들이제시되어왔다 [1-3, 6-8, 10, 12, 14-21, 23, 28, 29]. 현재상용화된추천시스템들에서가장많이활용되고있는추천기법은협업필터링 (Collaborative Filtering, CF) 이며 [4, 5, 11, 15, 22], 해당고객과선호도가유사한고객들의선호도를활용하여추천할상품을선정하는기법이다 [6, 25, 26, 29]. 협업필터링에서는고객들이제시한상품들에대한평가점수에의존하여고객간의유사도와상품에대한예상평가점수를계산하여이를바탕으로상품을추천한다. 따라서고객의상품평가점수로이루어진고객-상품행렬이상품추천을위한기본적인데이터가된다. 이러한고객-상품행렬은, 고객이모든상품에대하여평가점수를제시하는것이불가능하기때문에, 희소행렬 (sparse matrix) 형태를가지게된다. 이러한고객-상품행렬의희소성을극복하기위한방안으로사용자나상품을클러스터링하거나구매데이터를활용한기법들을활용하여선호도데이터가매우희소한상황에서추천성능을개선시키는방안들이연구되고있다 [13, 23]. 또한이러한고객-상품행렬의희소성은 cold start 문제를야기한다. 협업필터링의 cold start 문제란상품에대한평가점수가적은고객에대해서는, 그리고고객들의평가가적은상품에대해서는좋은추천성능을제공하지못하는문제점을의미한다 [24, 26]. 이러한문제를해결하기위해서고객의선호도표시데이터가적은초기에는고객의인구통계학적정보에기반을둔추천방안과베스트셀러와같은유명한상품을추천하는방안을 활용하는추천전략에대한연구가이루어졌다 [24]. 협업필터링의추천을위해서활용되는기본데이터가고객-상품행렬형태로저장된평가점수들이므로, 고객의평가횟수가추천성능에직접적으로영향을주는것을직관적으로추측할수있다. 하지만, 이러한평가횟수와추천성능에대한심층적이고실증적인연구는아직까지부족한형편이다. 본연구에서는협업필터링의연구에서많이활용되는 EachMovie 데이터집합을이용하여고객의평가횟수와추천성능간의관계에대하여실험을수행하였다. 첫번째로평가횟수가다른고객집단간의추천성능의차이에대한실험을수행하였다. 두번째실험은신규고객이평가를거듭하면서추천성능이어떻게향상되는지에대한실험을수행하였다. 마지막으로몇번이상선호도가표시된상품을고객에게추천하는것이협업필터링의추천성능을높일수있는가에대한실험을수행하였다. 본논문의구성은다음과같다. 2장에서는협업필터링기법과관련연구들을살펴본다. 3장에서는평가횟수와추천성능에대한세가지실험설계와실험결과를소개한다. 4장에서실험의의의와본연구의결론을제시한다. 2. 관련문헌 2.1 협업필터링의기본구조 협업필터링의첫번째단계는고객의선호도데이터를가지고고객-상품행렬을구성하는것이다. 전통적인협업필터링알고리즘에서의입력데이터는사용자명의상품개에대한선호도평가점수나구매이력자료이다. 이고객-상품간의 행렬을 라고하면, 는고객 i의상품 k에대한 평가점수이고, 는고객 i의평가점수평균이다. 협업필터링의두번째단계는고객간의유사도를구하는것이다. 고객간의유사도를피어슨상관계수형태로구하는계산하는식은식 (1) 과같다. 식 (1) 은고객 i, j 간의상관계수를구하는식으
협업필터링기반상품추천에서의평가횟수와성능 1 29 로, 상관계수는두고객의선호도가유사한경우에는 1에가까운값을가지게되고, 상반된선호도를갖는경우에는 -1에가까운값을가지게된다. (1) 식 (2) 는고객-상품간의행렬을고객별로벡터로표현하여, 두고객의유사도를두고객벡터간의코사인값으로계산하는식이다. 이경우에는고객, 를차원의벡터로표현하게된다 [17]. (2) 식 (1) 이나식 (2) 를통해계산된고객들간의유사도를통해유사고객 (neighbor) 을선정하게된다. 협업필터링의마지막단계는상품에대한고객의선호도점수를예측하는것이다. 상품에대한고객의선호도점수예측은다음의식 (3) 를통해서이루어진다. 식 (3) 은고객의상품에대한선호도점수인 를예측하는식으로, 는상품 를평가한고객의집합을의미한다. 2.2 협업필터링관련연구 (3) 협업필터링에대한연구중의많은연구들이, 새로운협업필터링방안을제시하거나기존의방안을수정한기법들을제시하고, 이들을기존방안들과성능비교를하고있다. Breese et al.[6] 과 Gonzalez-Caro et al.[9] 는다양한협업필터링알고리즘의성능을비교하였으며, Mild and Natter [19] 는협업필터링과회귀모델의성능을비교하였다. 사용자기반의협업필터링에서가장문제시되고있는부분은사용되는데이터의희소성 (sparsity) 과협업필터링알고리즘의확장성 (scalability) 이기때문에 [15, 17, 25, 26, 29], 이와관련된연구들이많이진행되었다. 협업필터링에적용되는알고리즘은고객-상품행렬 에서고객과상품의차원이증가함에따라더욱많은컴퓨팅역량을필요로하기때문에추천성과를감소시키지않으면서사용되는상품과고객의차원을줄이기위한연구들이진행되었다. Latent Semantic Indexing(LSI) 기법을활용하여고객-상품행렬 () 의차원을줄이는방안들이제시되었으며 [17, 24], 이방안은 고객-상품행렬 () 이 singular value decomposition에의해서랭크의근사행렬로대체한후에협업필터링을수행하는것이다. Linden et al.[17] 은고객차원의축소를위해사용자의무작위추출, 평가회수가적은사용자의제거, 유사사용자들의클러스터링같은방법을활용하였으며, 상품차원의축소를위해평가회수가많은상품이나평가횟수가적은상품을제거하는방법을활용하였다. Sarwar et al.[24] 는사용자와상품의차원이추천성과에미치는영향에대해서조사하였으며, 효율적인인덱싱기법의활용을통해추천알고리즘의확장성을향상시킬수있음을보였다. 또한, 협업필터링에서사용자에대한예측치를계산할때활용되는네이버 (neighbor) 들의규모가협업필터링알고리즘의계산효율성과추천성과에영향을미친다. 추천성과를저하시키지않는적절한네이버들의규모를계산하였으며, MovieLens 데이터집합에서는 80명에서 120명정도의네이버가적절한것으로파악되었으며 EachMovie 데이터집합에서는 170명에서 220명정도의네이버규모가적절한것으로파악되었다 [24, 25]. 이와함께, 추천방안의성과를측정하기위해학습집합과테스트집합으로데이터를나누는적절한비율에대한연구도수행되었으며전체집합에서 0.8의데이터를학습집합으로나누는것이적절한것으로파악되었다 [24, 25]. 사용자의평가횟수가추천성능에밀접하게관련되어있음에도불구하고, 이들간의관계에대한연구는상당히부족한형편이다. 실제로, 평가횟수
30 이홍주 김종우 박성주 < 표 1> 협업필터링에서의계수선택 Mild & Natter (2002) Sarwar et al. (2000) Sarwar et al. (2001) Ansari et al. (2000) Breese et al. (1998) 데이터집합 사용자수, 상품수 EachMovie 61,007 명, 419 개 MovieLens 943 명, 1682 개 MovieLens 943 명, 1682 개 EachMovie 2000 명, 340 개 EachMovie 4119 명, 1623 개 고객의최소선호도표시수 상품의최소피선호도표시수 3 개 50 회 20 개 1 회 20 개 1 회 네이버 (Neighbor) 의수 10~80 명 ( 최적 ) 80~120 명 ( 최적 ) 30 명 ( 최적 ) 추천상품수 1 개 1 회 - - - - - - - 10 개 - 가추천성능에결정적인역할을함에도불구하고, 협업필터링의성능비교를수행한많은연구들에서조차도원래의데이터집합에서실험에활용할데이터집합을추출하면서, 몇번이상의선호도를표시한사용자의데이터를활용하였는지, 몇번이상선호도가표시된상품을활용하였는지에대하여아무런근거를제시하지않거나, 어떤연구들에서는이들에대한언급이빠진경우도많이있다. < 표 1> 은관련연구들에서의실험에사용한데이터집합과실험에포함된고객의최소선호도표시수, 상품의최소선호도표시수, 유사고객의수, 추천상품의수등을요약한것이다. < 표 1> 에서볼수있듯이대부분의연구들이자의적으로계수를선택하여데이터를선정하였으며, 어떠한기준으로실험용데이터집합을선정하였는지에언급하지않고있다. 또한 < 표 1> 에서 - 로표시된경우는, 해당데이터를제시하지않은경우이다. 협업필터링에서는고객의상품에대한선호도표시데이터가적은경우에는추천성능이좋지않은 cold start 문제가발생한다 [24, 26]. 이문제를해결하기위해서전자상거래사이트나추천시스템 에서는사용자의선호도표시데이터가적은초기에는고객의인구통계학적정보에기반을둔방안과베스트셀러와같은유명한상품을추천하는기법들이활용하는추천전략을통해추천을수행한다 [24]. 그후에고객의선호도표시데이터가많아지게되면협업필터링방안으로추천전략을변경하여추천을수행한다. 그러나이러한해결책에도불구하고, 언제협업필터링방안으로추천전략을전환할것인지에대한물음이남게된다. Cold start 문제에관한많은연구들이초기추천전략을제시하는데중점을두고있어, 고객의선호도표시데이터의수가초기에서점점증가하는경우에협업필터링으로언제전환할지에대한연구에는많은관심을두지않았다. 본연구에서는다루고자하는평가횟수와추천성능에대한관계에대하여, 구체적인연구질문들은다음과같다. 고객의평가횟수에따라협업필터링의추천성능이어떻게달라지는가? 고객의평가횟수가증가함에따라협업필터
협업필터링기반상품추천에서의평가횟수와성능 1 31 링의추천성능은어떻게향상되는가? 협업필터링의안정적인추천성과를얻기위 해서는고객이몇회이상선호도를표시한상 품을추천하여야하는가? 3. 평가횟수와추천성능간의관계 본연구에서는협업필터링에서의평가횟수와추 천성능간의연관관계를파악하기위하여, 협업필 터링연구에서많이사용되는 EachMovie 데이터집 합을활용하여실험을수행하였다 [6, 19]. EachMovie 데이터집합은 72,916 명의고객이 1,628 개의영화 에대해총 2,811,983 회의선호도를표시한데이터 집합이며, 선호도표시는 0 점부터 5 점까지 6 단계 로이루어졌다. 다음의절들에서수행된실험에는 < 표 2> 에표기된것같은데이터집합이활용되 었다. 협업필터링의성능측정방안으로는기존연구에 서많이활용되는척도인예측치와실제선호도간 의차이에기반을둔 Mean Absolute Error(MAE) 와 Root Mean Squared Error(RMSE) 를활용하였 으며, 두지표는다음과같은식을통해계산된다. (4) 도예측치이다. 다음 3개의절에서평가횟수와추천성능간의관계를파악하기위해수행된 3개의실험을자세하게설명하도록한다. 3.1절은고객의선호도표시수와추천성능간의관계를파악하기위한실험이며, 3.2절은고객의초기시점부터선호도표시수증가에따른추천성능의변화를파악하기위한실험이다. 3.3절은상품에대한선호도표시수와추천성능간의관계를파악하기위해수행된실험이다. 3.1 고객의선호도표시수와협업필터링성능간의관계에관한실험 3.1.1 데이터집합과실험방안실험의수행을위해 < 표 2> 에표시된것처럼 EachMovie 데이터집합에서 4개이상의영화에선호도를표시한고객들중무작위로추출된 10% 의고객을실험에활용하였다. EachMovie 데이터집합에서무작위로선정된데이터집합은모두 5,748 명의고객이 249,840 개의선호도를표시한집합이며, 고객의선호도표시횟수의평균은 43.37회, 표준편차는 51.70이다. 실험을위해선정된데이터집합들을고객의선호도표시횟수를기준으로 < 표 3> 과같이각각 10개의그룹으로구분하였다. < 표 3> 에표기된데이터의희소수준은 (5) (6) 은예측하여야하는상품의총수이며, 는상품에대해고객이입력한실제선호도값이며는상품에대해협업필터링에의해계산된선호 로정의되며 [26], 여기서 는 ( 고객의수 상품의수 ) 이며 는고객들의총선 호도표시횟수이다. < 표 2> 실험데이터집합 데이터집합 실 험 고객선정기준 고객수 선호도표시수 평균표시수 표준편차 EachMovie - - 72,916 2,811,983 - - 사용자 10% 3.1 4개이상투표 5,748 249,840 43.47 51.70 사용자 2.5% 3.2 4개이상투표 1,437 66,634 46.37 50.64 사용자 5% 3.3-2,874 134,197 46.69 53.74
32 이홍주 김종우 박성주 그룹 선호도표시횟수범위 선호도표시횟수평균 < 표 3> 데이터집합의그룹화 편차 고객수 총선호도표시횟수 희소수준 1 4~6 4.8547 0.7662 606 2942 0.9970 2 7~9 7.9822 0.8199 505 4031 0.9951 3 10~14 11.8134 1.4691 643 7596 0.9927 4 15~20 17.3996 1.7331 588 10231 0.9893 5 21~26 23.5579 1.6763 509 11991 0.9855 6 27~34 30.2385 2.3126 524 15845 0.9814 7 35~46 40.0608 3.5981 608 24357 0.9755 8 47~63 54.4125 4.8393 572 31124 0.9666 9 64~94 77.5317 9.1004 568 44038 0.9524 10 95~817 156.3456 77.1566 625 97716 0.9039 각그룹에속한고객의선호도표시데이터의 70% 를무작위로선정하여고객간의유사도계산에활용하며, 나머지 30% 의데이터에대해선호도를예측하였다. 실험은다음과같은단계를거쳐수행되었다. (4), 식 (5) 의 MAE와 RMSE를계산하였다. 5 반복수행위의과정을 30회반복하여수행하였다. 실험절차에대한도식적인표현은 [ 그림 1] 과같다. 1 학습집합과테스트집합선정 < 표 3> 에표시된각그룹에서무작위로선정된 70% 의고객선호도데이터를고객간의유사도와상품에대한예측선호도를계산하기위한학습집합으로선정하고, 나머지 30% 의고객선호도데이터는추천성과를측정하기위한테스트집합으로활용하기위하여구분하였다. 30 회반복 각그룹별로진행 o 고객을선호도표시횟수를기준으로 10 개그룹으로구분 1 70% 를학습집합, 30% 를테스트집합으로할당 2 학습집합을활용한고객유사도계산 3 테스트집합에대한예측치계산 2 고객간의유사도계산 1에서선정된학습집합과고객간의상관관계를측정하는식 (1) 을활용하여고객간의유사도를계산하였다. 3 상품에대한선호도예측치계산 2에서계산된고객간의유사도와식 (3) 을활용하여, 1에서선정된테스트집합에속해있는평가점수에대한예측선호도를계산하였다. 4 협업필터링의추천성능측정 3에서계산된테스트집합에속한예측선호도와실제사용자가입력한선호도를이용하여, 식 4 추천성과 (MAE, RMSE) 계산 5 최종추천성과 (MAE, RMSE) 계산 [ 그림 1] 고객의선호도표시수와성능간의관계에대한실험절차 3.1.2 실험결과 위실험의결과를 EachMovie 데이터집합의각그룹별추천성과로표시한것이 [ 그림 2] 이다. [ 그림 2] 에표시된 MAE와 RMSE값은 30회반복수행을통해나온 MAE, RMSE 결과의평균치이다. MAE와 RMSE 값이그룹 1에서그룹 5까지지속적으로감소하는것을볼수있으며, 그룹 9를제외
협업필터링기반상품추천에서의평가횟수와성능 1 33 한그룹 5부터그룹 10까지의 MAE와 RMSE값은크게차이가없는것을볼수있다. Performance 2 1.9 1.8 1.7 1.6 1.5 1.4 1.3 1.2 1.1 1 0.9 0.8 MAE - EachMovie Group1 Group2 Group3 Group4 Group5 Group6 Group7 Group8 Group9 Group10 RMSE - EachMovie [ 그림 2] 고객의선호도표시수와추천성능간의관계 위그룹들의 MAE 값의평균과표준편차를정리한것이 < 표 4> 이며, 그룹별추천성능의차이를알아보기위하여 one-way ANOVA 테스트를수행하였다. 이테스트의귀무가설은다음과같다. 는 i번째그룹의 MAE 평균값을뜻하며, 귀무가설의뜻은그룹들의 MAE 평균값이동일하다는것이다. < 표 4> 에정리된것처럼 EachMovie 데이터에대해테스트한결과 F값이 1807.506이고, p값이 0.000이어서귀무가설은기각되었다. 이는 10개그룹의추천성과가차이가난다는것으로볼수있다. Duncan 테스트결과에서알수있듯이그룹 1에서그룹 6까지는유의한차이로 MAE 값이모두단조감소하며, 그룹 6, 7, 8, 10은유사한값을나타내고그룹 9가가장낮은 MAE 값을갖는다고볼수있다. 그룹의사용자선호도표시수가적을수록추천성과는안좋은것으로볼수있으며, 일정수준이상의평가점수를확보하면추천성능의개선이거의없는것을볼수있다. EachMovie 데이터집합에서는고객의선호도표시수가 34개를넘으면추천성능이안정적인값을나타내었다. < 표 4> 고객평가횟수와추천성능간의관계 평균 MAE 표준편차 그룹 1 1.4823 0.0406 그룹 2 1.3449 0.0308 그룹 3 1.2458 0.023 그룹 4 1.1533 0.0187 그룹 5 1.0863 0.0149 그룹 6 1.0652 0.0129 그룹 7 1.0557 0.0105 그룹 8 1.0525 0.0073 그룹 9 0.9936 0.0064 그룹10 1.0545 0.0032 F-value 1807.506 (p-value =0.000) Duncan 테스트 그룹 1 > 그룹 2 > 그룹 3 > 그룹 4 > 그룹 5 > 그룹 6, 7, 8, 10 > 그룹 9 따라서협업필터링을활용하여추천을수행하는전자상거래사이트에서는고객들로부터많은수의선호도표시데이터를확보하기위해많은비용과자원을투입하는것보다는일정수준의선호도표시데이터만을확보하여사용하는것이상품추천에서효율적일수있다. 반대로협업필터링의수행을통해개인화된상품을추천하기위해서는선호도표시데이터의수가적어도일정개수이상되어야안정적인추천성과를보장할수있다는것을의미한다. 3.2 고객의선호도표시수에따른최적초기추천시점에관한실험 3.2.1 데이터집합과실험방안 고객의선호도표시수에따른협업필터링의최적초기추천시점에관한실험의수행을위해 EachMovie 전체자료집합에서무작위로고객 2.5% 를추출한데이터집합을활용하였다. EachMovie 집합에서무작위로선정된데이터집합은 1,437명의고객이 66,634회의선호도를표시한집합이며 ( 희소수준 0.9715), 고객의선호도표시회수평균은 46.37회, 표준편차는 50.64이다. EachMovie 데이터집합을활용한실험은다음과같은단계를거쳐수행되었다.
34 이홍주 김종우 박성주 1 테스트고객의선정선정된실험집합의고객중선호도표시회수가 110회이상 130회이하인고객 50명을선출하여테스트고객으로선정하였으며, 이외의다른모든고객데이터는학습집합으로활용하였다. 2 초기화및중단고객의평가횟수를나타내는 를 1 로초기화하였다. 이초기화단계가 30회이상반복된후에실험을중단하였다. 3 학습집합과테스트집합으로분리테스트고객집합의고객선호도자료를평가일자순서로정렬하여가장최근 10개의선호도표시데이터를테스트집합으로선정하였다. 나머지고객선호도자료에서개만큼의선호도자료를무작위로추출하여 1단계에서생성된학습집합에첨가하였다. 4 고객간의유사도계산 3단계에서생성된학습집합을가지고식 (1) 을활용하여고객간의유사도를계산하였다. 5 상품에대한예측선호도계산 3단계에서생성된테스트집합에대해 4단계에서생성된고객유사도와학습집합을가지고식 (3) 을활용하여고객의예측선호도를계산하였다. 6 협업필터링의성능측정 3단계에서생성된테스트집합에속한실제사용자가입력한선호도와 5단계에서생성된예측선호도를비교하여 MAE와 RMSE를계산하였다. 7 반복의값을 1씩늘리고, 3단계로넘어간다. 만약 1 증가된의값이 100을넘을경우에는 2단계로이동하였다. 두번째실험절차에대한도식적인표현은 [ 그림 3] 과같다. 1 테스트고객 ( 선호도표시횟수가 110 회이상 130 회이하인 50 명 ) 선정 3-1 고객별최근 10 개의선호도표시데이터를테스트집합으로선정 3-2 고객별로나머지선호도표시데이터중 i 개를무작위로선정하여학습집합에포함 4 학습집합을활용한고객유사도계산 5 테스트집합에대한선호도예측 6 추천성과 (MAE, RMSE) 계산 7 최종추천성과 (MAE, RMSE) 계산 2i 를각 1 부터시작해서 100 까지 1 씩증가시키면반복 30 회반복 [ 그림 3] 고객의선호도표시수에따른최적초기추천시점에관한실험절차 3.2.2 실험결과 [ 그림 4] 는두번째실험결과이며, i값이 1에서 100까지증가하는경우의추천성과추이를보여주고있다. EachMovie 데이터집합에서는고객이입력한선호도를 1개에서 20개까지활용하여예측하였을때에는 MAE값이 1.42에서 0.95까지지속적으로감소하였다. Performance 1.9 1.8 1.7 1.6 1.5 1.4 1.3 1.2 1.1 1 0.9 1 9 17 25 33 41 49 57 65 73 81 89 97 Number of Ratings (i) MAE RMSE [ 그림 4] 고객의선호도표시수에따른최적초기추천시점에관한실험 고객의선호도표시수가 20~30개를넘는경우에는추천성능이일정범위의값을갖도록안정되며, 고객의선호도표시수가 30개이상으로증가하더라도추천성능이개선되지않는다는것을알수있다. 고객의선호도표시수에따른최적초기추
협업필터링기반상품추천에서의평가횟수와성능 1 35 천시점에관한실험의결과는데이터의특성에따라유동적이기는하지만사용자가 20~30개이상의상품에선호도를표시하였을때가그이하만큼의상품에선호도를표시하였을때보다추천성과가안정적인것으로볼수있다. 이는 3.1절의실험결과와유사하다고볼수있다. 3.1의실험에서는고객의선호도표시수가 21~26개인그룹 5부터추천성과가안정적이되었다. 많은전자상거래사이트들이고객의선호도데이터가적은시기에는 cold start 문제를해결하기위하여인구통계학적정보나일반적으로고객이많이구매하는상품을추천하는방안을활용하고있다. 위의실험결과를활용하여, 고객에대한상품추천전략을협업필터링으로전환하는적절한시점을선택하는기준으로활용할수있다. 협업필터링을활용하여상품을추천하는전자상거래사이트에서는자신의데이터를가지고위와유사한실험의수행하여, 협업필터링에의한최적초기추천시점을정하는것이필요하다. 3.3 상품의피선호도표시수와협업필터링성능간의관계에관한실험 3.3.1 데이터집합과실험방안실험의수행을위해 EachMovie 전체집합에서무작위로 5% 의고객을선정한데이터집합을활용하였다. EachMovie 데이터집합에서무작위로선정된데이터집합은모두 2,874명의고객이 134,197회의선호도를표시한집합이며 ( 희소수준 0.9713), 고객의선호도표시횟수평균은 46.69회, 표준편차는 53.74이다. 데이터집합에서영화에대해고객이선호도를표시한최소횟수는 1회이며, 최대표시횟수는 1,843회이다. 실험은다음과같은단계를거쳐수행되였다. 1 학습집합, 테스트집합선정실험집합에서 70% 의고객선호도데이터를고객간의유사도와상품에대한예측선호도계산을위한학습집합으로선정하였고, 나머지 30% 의고 객선호도데이터를테스트집합으로선정하였다. 2 고객간의유사도계산 1단계에서학습집합으로선정된데이터를가지고식 (1) 을활용하여고객간의유사도를계산하였다. 3 상품에대한예측선호도계산 1단계에서학습집합으로선정된데이터와 2 단계에서계산된고객간의유사도를가지고, 식 (3) 을활용하여테스트집합에속한평가점수에대한예측선호도를계산하였다. 4 협업필터링의성능측정 1단계에서생성된테스트집합에속한실제고객이입력한선호도와 3단계에서생성된예측선호도를비교하여 MAE와 RMSE를계산하였다. 5 반복위실험을 30회반복실시하였다. 6 결과분석 5단계까지의실험이종료된이후에, 상품의피선호도표시수에따라 MAE 와 RMSE 를분석하였다. [ 그림 5] 는세번째실험절차에대한도식적인표현이다. 30 회반복 1 데이터집합의 70% 를학습집합, 30% 를테스트집합으로할당 2 학습집합을활용한고객유사도계산 3 테스트집합에대한예측치계산 4 추천성과 (MAE, RMSE) 계산 6 상품의피선호도표시수별로추천성과 (MAE, RMSE) 계산 [ 그림 5] 상품의피선호도표시수와성능간의관계에대한실험절차 3.3.2 실험결과 [ 그림 6](a) 은 EachMovie 데이터집합에서상품의피선호도표시수가 1인경우부터 200인경우
36 이홍주 김종우 박성주 까지의 MAE와 RMSE를나타낸것이다. 상품의피선호도표시수가 1부터 10까지증가하는경우에 MAE와 RMSE가급격히떨어지는것을볼수있다. 상품의피선호도표시수가 10을넘어서면 MAE가 0.7과 0.9 수준에서변동하지만안정적인성능을보인다고할수있다. [ 그림 6](a) 에는표시가되지않았지만상품의피선호도표시수가 200 을넘어최대표시회수인 1843까지증가하는경우에도 10부터 200까지와비슷한결과를보인다. Performance 1.7 1.6 1.5 1.4 1.3 1.2 1.1 1 0.9 0.8 0.7 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106113120127134141148155162169176183190197 Number of Ratings on a product 데이터그룹들의추천성능을나타낸것이다. 그룹 1, 2, 3의 MAE 평균값이다른그룹들의 MAE평균값보다큰것을알수있으며, 다른그룹들의 MAE 평균값은유사한것으로볼수있다. 그룹 < 표 5> 실험집합의그룹화 선호도표시횟수의범위 상품의수 (30 회반복실험총계 ) 1 1 63,597 2 2~3 77,259 3 4~6 70,730 4 7~9 51,622 5 10~14 56,676 6 15~21 52,648 7 22~36 54,358 8 37~74 52,201 9 75~200 53,047 10 201~1830 62,124 EachMovie-MAE EachMovie-RMSE < 표 6> 상품에대한투표수와추천성능간의관계 Performance 2.0 1.9 1.8 1.7 1.6 1.5 1.4 1.3 1.2 1.1 1.0 0.9 0.8 0.7 (a) 상품에대한선호도표시수 EachMovie - MAE (b) 데이터그룹 Group1 Group2 Group3 Group4 Group5 Group6 Group7 Group8 Group9 Group10 EachMovie - RMSE [ 그림 6] 상품에대한선호도표시수와추천성능간의관계 상품의피선호도표시수에따른추천성능을통계적으로검증하기위하여 < 표 5> 처럼선호도표시수에따라데이터를그룹화한후에, 각그룹별로 MAE 평균값의차이를검증하였다. [ 그림 6](b) 는 < 표 5> 에따라그룹화된 EachMovie MAE EachMovie Mean std F-value Duncan Test 그룹 1 1.2143 0.1357 그룹 2 1.1051 0.1203 그룹 3 0.9569 0.0869 그룹 4 0.8444 0.0821 그룹 5 0.8293 0.0767 그룹 6 0.7960 0.0835 그룹 7 0.8389 0.0980 그룹 8 0.8503 0.1325 그룹 9 0.8539 0.1376 그룹10 0.8637 0.1242 68.097 (p-value = 0.000) Group 1 > Group 2 > Group 3 > Group 4, 5, 7, 8, 9, 10 > Group 6 각그룹들의 MAE의평균과표준편차를정리한것이 < 표 6> 이다. 그룹들의추천성능에차이가있는지를 one-way ANOVA 로테스트하였다. EachMovie 데이터집합에대한귀무가설은 10개그룹의 MAE 평균값이같다는것이었으며, F값이 68.097이고 p값이 0.000이어서귀무가설은기각되었다. Duncan 테
협업필터링기반상품추천에서의평가횟수와성능 1 37 스트결과에서알수있듯이그룹 1에서그룹 4까지는유의한차이로 MAE 값이모두단조감소하며, 그룹 4, 5, 7, 8, 9, 10은유사한값을나타내고그룹 6이가장낮은 MAE 값을갖는다고볼수있다. EachMovie 데이터의경우에는상품의피선호도표시수가 15~21개를넘었을때추천하여주는것이안정적인추천성능를보이는것으로볼수있다. 그룹내의상품의피선호도표시수가적을수록추천성능이안좋은것으로볼수있으며, 상품에대한선호도표시수를일정수준이상확보하면추천성능의감소는크지않은것을볼수있다. 전자상거래업체의입장에서는신규상품의경우에실험에서파악된수준이하로평가된상품을협업필터링을통해추천하는것은적절하지않다고볼수있다. 상품을추천하기위해서는실험에서파악된수준만큼의선호도를표시해주는평가단을운영하는것도추천에도움을줄수있다. 이결과를활용하여고객들로부터충분히평가받지못한상품들을제거하여고객-상품행렬의차원을축소시킬수있으며, 축소된행렬로협업필터링을수행하는경우에는협업필터링의확장성문제를어느정도경감시킬수있다. 4. 결론 본논문에서는협업필터링에추천성능과고객의선호도평가횟수와상품의피선호도표시횟수의관계에대하여연구를수행하였다. 논문에서수행한세가지의실험을통하여고객의선호도평가횟수와상품의피선호도표시횟수가적은경우에는평가횟수가증가하면, 추천성능도함께향상되는것을볼수있었다. 하지만, 평가횟수가일정한수준을넘으면추천성능은더이상향상되지않는것을볼수있었다. 따라서협업필터링을활용하는전자상거래업체가안정적인추천성능을확보하기위해서는고객선호도데이터를적정한희소수준이상으로유지하여야한다. 하지만, 일정한수준이상의선호도표시는추천성능에추가적 인이익을가져오지않으므로, 일정한수준이상의추가적인선호도정보획득을위한노력은시간과비용측면에서낭비가된다. 본연구결과를실제에적용하는데있어서유의할점은, 추천성능에향상의한계가되는평가횟수가데이터집합에의존적이라는것이다. 따라서본연구결과를실제적용하기위해서는자신의데이터집합을가지고본연구에서실행한것과유사한실험을통해서한계치를확인하는과정이필요하다. 참고문헌 [1] 김재경, 서지혜, 안도현, 조윤호, 협업필터링기법을활용한개인화된상품추천방법론개발에관한연구, 한국지능정보시스템학회논문지, 제8권, 제2호 (2002), pp.139-157. [2] 김종우, 이경미, 인터넷상점에서개인화광고를위한장바구니분석기법의활용, 경영과학, 제17권, 제3호 (2000), pp.19-30. [3] Ansari, A., S. Essegaier, and R. Kohli, Internet Recommendation Systems, Journal of Marketing Research, Vol.37, No.3(2004), pp.363-375. [4] Autonomy, http://www.autonomy.com, 2004. [5] BeFree, http://www.befree.com, 2004. [6] Breese, J.S., D. Heckerman, and C. Kadie, Empirical Analysis of Predictive Algorithms for Collaborative Filtering, Technical Report, MSR-TR-98-12, Microsoft Research, 1998. [7] Chen, Y. and E. George, A Bayesian model for Collaborative Filtering, Technical Report, Statistics Department, University of Texas at Austin, 2000. [8] Cho, Y.H., J.K. Kim, and S.H. Kim, A Personalized Recommender System based on Web usage Mining and Decision Tree
38 이홍주 김종우 박성주 Induction, Expert Systems with Applications, Vol.23, No.3(2002), pp.329-242. [9] Gonzalez-Caro, C.N., M.L. Calderon-Benavides, J.J. Perez-Alcazar, J.C. Garcia-Diaz, and J. Delgado, Towards a More Comprehensive Comarison of Collaborative Filtering Algorithms, In A.H.F. Laedner and A. L. Oliveira (eds.), SPIRE 2002, Lecture Notes in Computer Science 2476, (2002), pp.248-253. [10] Gupta, O., M. Digiovanni, H. Norita, and K. Goldberg, Jester 2.0:Evaluation of a new Linear time Collaborative Filtering Algorithm, 22nd International ACM SIGIR Conference on Research and Development in Information Retrieval, (1999), pp.291-292. [11] Gustos, http://www.gustos.com, 2004. [12] Kim, J.K., Y.H. Cho, W.J. Kim, J.R. Kim, J.R., and J.H. Suh, A Personalized Recommendation Procedure for Internet Shopping Support, Electronic Commerce Research and Applications, Vol.1(2002), pp.301-313. [13] Kim, J.W., H.J. Lee, and S.J. Bae, Data Sparsity and Collaborative Filtering-based E-Commerce Personalized Recommendation, Working Paper, Hanyang University, 2004. [14] Kim, J.W., B.H. Lee, M.J. Shaw, H. Chang, and M. Nelson, Application of Decision Tree Induction Techniques to Personalized Advertisements on Internet Storefront, International Journal of Electronic Commerce, Vol.5, No.3 (2001), pp.45-62. [15] Konstan, J.A, B.N. Miller, D. Maltz, J.L. Herlocker, L.R. Gordon, and J. Riedl, Group- Lens:Applying Collaborative Filtering to Usenet News, Communication of the ACM, Vol.40, No.3(1997), pp.77-87. [16] Lee, C.H., Y.H. Kim, and P.K. Rhee, Web Personalization Expert with Combining Collaborative Filtering and Association Rule Mining Techniques, Expert Systems with Applications, Vol.21, No.3(2001), pp.131-137. [17] Linden, G., B. Smith, and J. York, Amazon.com Recommendations:Item-to-item Collaborative Filtering, IEEE Internet Computing, Vol.7, No.3(2003), pp.76-80. [18] Malone, T.W., K.R. Grant, F.A. Turbak, S.A. Brobst, and M.D. Cohen, Intelligent Information Sharing Systems, Communications of the ACM, Vol.30, No.5(1987), pp.390-402. [19] Mild, A. and M. Natter, Collaborative Filtering or Regression Models for Internet Recommendation Systems?, Journal of Targeting, Measurement and Analysis of Marketing, Vol.10, No.4(2002), pp. 304-313. [20] Mobasher, B., R. Cooley, and J. Srivastava, Automatic Personalization based on web usage Mining, Communication of the ACM, Vol.43, No.8(2000), pp.142-151. [21] Mulvenna, M.D., S.S. Anand, and A.G. Buchner, Personalization on the Net using Web Mining, Communication of the ACM, Vol.43, No. 8(2000), pp.122-125. [22] Net Perception, http://www.netperceptions. com, 2004. [23] Roh, T.H., K.J. Oh, and I. Han, The Collaborative Filtering Recommendation based on SOM Cluster-indexing CBR, Expert Systems with Applications, Vol.25(2003), pp.413-423. [24] Sarwar, B., G. Karypis, J. Konstan, and J. Riedl, Analysis of Recommendation Algorithms for E-Commerce, Proceedings of EC 00, Minneapolis, (2000), pp.158-167. [25] Sarwar, B., G. Karypis, J. Konstan, and J. Riedl, Item-Based Collaborative Filtering Recommendation Algorithms, Proceedings of WWW10,
협업필터링기반상품추천에서의평가횟수와성능 1 39 Hong Kong, (2001), pp.285-295. [26] Schein, A.I., A. Popescul, L.H. Ungar, and D.M. Pennock, Methods and Metrics for Cold-Start Recommendations, Proceedings of the ACM SIGIR 02, Tampere, Finland, (2002), pp.253-260. [27] Shardanand, U. and P. Maes, Social Information Filtering:Algorithms for Automating Word of Mouth, Proceedings of Conference on Human Factors in Computer Systems, (1995), pp.210-217. [28] Rashid, A.M., I. Albert, D. Cosley, S.K. Lam, S.M. McNee, J.A. Konstan, and J. Riedl, Getting to Know You:Learning New User Preferences in Recommender Systems, Proceedings of the ACM IUI 02, San Francisco, (2002), pp.127-134. [29] Resnick, P., N. Iacovou, M. Suchak, P. Bergstrom, and J. Riedl, GroupLens:An Open Architecture for Collaborative Filtering of Netnews, Proceedings of the ACM 1994 Conference on Computer Supported Cooperative Work, New York, (1994), pp. 175-186.