<31372D332D303620C3D6C0E7BFF820C0CCC8ABC1D62E687770>

Transcription

1 개인화추천시스템의사용자평가에대한통합적접근 : 시스템성과와사용자태도를기반으로 An Integrated Perspective of User Evaluating Personalized Recommender Systems : Performance-Driven or User-Centric 최재원 (Jaewon Choi) *, 이홍주 (Hong Joo Lee) ** 초 록 온라인에서추천시스템은사용자들의구매이력또는선호도를바탕으로적절한콘텐츠또는서비스를제공하는 IT 기술이다. 추천시스템에대한사용자의평가에는추천결과에기반한시스템성과와추천방식에의해형성되는사용자의태도에대한두측면모두고려되어야한다. 그러나시스템성과와사용자태도에대한통합적관점의추천시스템평가에대한연구는많지않았다. 본연구의목적은추천시스템에대한사용자평가의통합적관점을제시하는것에있다. 그에따라사용자태도형성과관련하여자기참조 (Self-reference) 와사회적실재감 (Social Presence) 의정도를구분하여웹기반실험을수행하였으며추천시스템의성과측정을위하여추천알고리즘평가에널리활용되어온정확성 (Accuracy) 과새로움 (Novelty) 을활용하였다. 연구의결과로추천시스템의사용자만족에미치는변수로정확성과새로움이시스템특성요소로제시되었으며사용자태도관점에서사회적실재감이사용자의만족에영향을주었다. ABSTRACT This study focused on user evaluation for personalized recommender systems with the integrated view of performance of the system and user attitude of recommender systems. Since users evaluations of recommender systems can be affected by recommendation outcomes and presentation methods, both system performances based on outcomes and user attitudes formed by the presentation methods should be considered when explaining users evaluations. However, an integrated view of system performance and user attitudes has not been applied to explain users evaluation of recommender systems. Thus, the goal of this study is to explain users evaluations of recommender systems under the integrated view of predictive features and explanation features at the same time. Our findings suggest that social presence, both accuracy and noveltyhave impacts onuser satisfaction for recommender systems. Especially, predictive features including accuracy and novelty affected user satisfaction. Novelty as well as accuracy is one of the significant factors for user satisfaction while recommender systems provided usual items users have 1) * 연세대학교정보대학원박사후연구원 ** 교신저자, 가톨릭대학교경영학과교수 2012 년 08 월 16 일접수, 2012 년 08 월 20 일심사완료후 2012 년 08 월 21 일게재확정.

2 86 한국전자거래학회지제 17 권제 3 호 experienced when systems provide serendipitous items. Likewise, explanation features with social presence and self-reference were important for user evaluation of personalized recommender systems. For explanation features, while social presence appears as one of important factors to user satisfaction of evaluating personalized recommendations, self-reference has no significant effect on user s satisfaction for recommender systems when compared to the result of social presence. Self-referencing messages did not affect user satisfaction but the levels of self-referencing are different between low and high groups in the experiment. 키워드 : 개인화, 영화추천, 사회적실재감, 자기참조, 사용자만족 Personalization, Movie Recommendations, Social Presence, Self-Reference, User Satisfaction 1. 서론온라인거래에서개인화된웹경험을제공하는것은전자거래의중요한특성중하나이다 [34, 51, 55]. 온라인스토어들이사용자의관심에맞는제품또는서비스를제공하는것은사용자의탐색노력을감소시킬수있으며사용자의만족과판매를증가시키는역할을한다 [32, 52, 56]. 특히, 사용자의선호도와구매이력을중심으로추천을제공하는추천시스템은사용자가다양한대안들중에서의사결정을할수있도록도움을제공한다 [53]. 다양한연구에서추천을제공하는방식이제시되어왔으며많은제품과서비스의추천에활용되어왔다 [13, 26]. 제품을추천하는과정은일반적으로고객에대한명확한이해, 추천제공, 그리고추천에대한효과를측정하는 3단계로진행된다 [6]. 이를기반으로많은연구들이추천시스템에대하여더정확한추천알고리즘을제시하고자노력해왔으며제시된추천시스템알고리즘을통해사용자의특성에대한이해와추천제품전달에집중해왔다 [26, 42]. 기존연구들의관점은사 용자에대한예측적특성에기반하여추천시스템성과를향상시키는것에중점을두었다. 추천시스템의성과는주로추천정확도 (Accuracy) 와새로움 (Novelty) 에기반하여측정되어왔다. 정확성은예측된고객의선호도와실제선호도가얼마나잘맞는지를의미하며새로움은얼마나새로운제품이고객에게추천되었는지에대한정도이다 [26]. 다른접근으로서추천시스템에대한사용자태도관점의연구들은사용자들이추천시스템을평가하는데활용되는개념들을확인해왔다 [7, 30, 32, 34, 55]. 시스템의유용성과사용자만족은추천시스템에대한사용자평가를측정하는요소들로서널리이용되어왔다 [56]. 일반적인추천시스템연구들은예측성과의향상에중점을두고있으나추천시스템사용을통한사용자의인지적행동변화역시추천성과의개선만큼중요하다. 그럼에도불구하고현재까지추천시스템의예측적특성 (Predictive features) 과사용자에대한추천전달방식특성 (Explanation features) 을통합적으로고려한연구는많지않다. 예측적특성은추천시스템이사용자에게얼

3 개인화추천시스템의사용자평가에대한통합적접근 87 마나정확하고새로운추천결과를제공할수있는가를의미하는반면, 전달방식특성은추천결과가어떻게그리고왜사용자에게추천되었는지를설명하는것과관련이있다. 추천시스템이사용자의기존선호도를반영하고유사사용자들의선호도를학습함으로써추천결과를산출하고있음에도, 추천시스템에대한사용자태도평가는추천시스템의전달방식에의한효과로서자기참조 (Self-reference) 와사회적실재감 (Social presence) 을고려하지않았다. 자기참조란사용자가 자신 (Self) 과연관된상황또는이슈에대하여긍정적태도를형성하게되는정도를의미한다 [52]. 사회적실재감은사용자가타인이있음을감지하고추천결과에대하여고려하게되는정도로정의될수있다 [32]. 아마존닷컴 (Amazon.com) 은고객에게추천을제공함에있어서 당신이구매한 를기반으로추천한다 는추천이유를문구화하여설명한다. 사용자의기존구매이력을기반으로제품을추천한다는점에서사용자본인의내재적요소를자극하는방식은자기참조를통한긍정적태도형성을발생시킨다. 따라서사용자자신에기반한추천방식은추천알고리즘의성과와는별도의관점으로서사용자행동에영향을증가시킬수있다. 마찬가지로사용자와유사한선호도를가진사용자들의목록을제시하고추천과정을설명하는것은유사한사용자들의과거경험을반영한자극이라는점에서외부의자극을통한사용자태도형성에중요한요소이다 [8]. 그러므로유사사용자들의존재와그들의정보를이용한추천절차를설명하는것은특정 사용자에대한사회적실재감을형성하고사용자태도에영향을미치게된다. 따라서, 본연구의목적은추천시스템의예측적특성과추천전달방식특성을동시에고려하여추천시스템에대한사용자평가를이해하는것이다. 그에따라서, 본연구에서는다양한수준의추천알고리즘을적용하여상품추천을수행한후시스템성과와사용자만족의관계를조사하였다. 제품추천을위하여영화선호도데이터를실험참가자들에게서수집하였으며 Netflix 영화데이터를기반으로추천을제공하였다. 따라서본연구의주요연구질문은추천시스템에대한사용자태도관점과시스템성과의관계를동시에고려함으로써이론적공헌을하고자함에있다. 또한실무적관점에서기업이사용자의사결정과정을어떻게촉진시킬수있는가를확인하고자하였다. 2. 선행연구및연구모형 2.1 개인화추천시스템개인화추천시스템은각사용자들의선호도를기반으로적절한콘텐츠또는서비스를제공하는것을의미한다 [4, 34, 51]. 기존연구들은고객의의사결정과정과추천결과에대하여추천시스템활용의영향력을제시하였다 [52, 56]. 개인의선호도에기반되어생성된추천콘텐츠에노출된사용자들은더적은노력으로콘텐츠에대한탐색이가능하며쇼핑완료시간을더절약할수있다 [52]. 다시말해서, 추천을제공하는시스템에의해의사

4 88 한국전자거래학회지제 17 권제 3 호 결정에고려되어야하는제품의수가줄어든다면사용자들의제품탐색노력또한줄어든다 [2, 23, 24]. 기존연구에서는제품탐색에대한노력과지속시간이줄어들었음에도불구하고고객들은랜덤추천리스트보다는개인화된추천리스트로부터더많은제품을채택하였으며그에따라개인과관련된웹콘텐츠가더욱유용한것으로고려되었다 [52]. 다양한연구들에서사용자가추천절차에참여하고추천시스템의결과물을경험한이후추천시스템에대한사용자의주관적평가는다양한방식들로측정되었다 [7, 27, 30, 34]. 추천시스템이다양한형태와알고리즘에기반되어왔기때문에, 각추천시스템이보유한특성은사용자의의사결정의질과연관된다 [5, 56]. 또한보다투명한추천방식으로추천시스템이추천을제공하였을때사용자들은더욱추천결과를채택하게된다 [31]. 추천목록의수가작고추천목록들을구분하기쉬울때, 사용자들은추천을더욱받아들이려는경향을가진다 [51]. 추천과함께고객리뷰를제공함으로써아마존닷컴 (Amazon.com) 에대한사용자의지각된사회적실재감은향상된다 [32]. 따라서본연구에서는예측적특성 ( 정확성과새로움 ) 뿐만아니라추천시스템에 < 그림 1> 연구모형 대한만족에영향을미치는추천방식의특성으로서자기참조와사회적실재감을활용하고자하였다. 본연구에서수행된연구모형은 < 그림 1> 과같다 개인화추천시스템에서의지각된정확성과새로움추천시스템에대한사용자의만족은많은선행연구에서제시되어왔으며주로초기시스템의사용이후추천시스템의도입에대한사용자의만족을측정하기위해제시되어왔다 [7, 30, 55]. Wang and Benbasat[55]. 추천시스템에대한평가는주로사용자의재사용과만족에영향력을미친다. Wang and Benbasat[55] 과 Al-Natour et al.[7] 은추천시스템의재사용을위하여시스템이사용자에게제공하는유용함에대하여제시하여왔다. 사용자의시스템에대한도입을위하여시스템의유용성을확인하는것은매우중요하며유용한시스템은사용자의재사용을이끌어낼수있다 [17]. 추천시스템에대한사용자만족은주로추천시스템의유용성에의해증가한다 [7, 32, 56]. 그로인하여추천시스템이제공하는정확한추천제공능력과새로운추천을제공하는능력은사용자가추천시스템을평가하는유용성평가척도로서이용이가능하다. Liang et al.[34] 의연구에따르면추천시스템에대한사용자만족은얼마나정확한추천이제공되는지에따라증가될수있다. 따라서사용자선호에적합한추천이제공된다면, 사용자는추천시스템에대해보다긍정적인태도를형성하는것이가능하다 [7, 49, 50]. 대부분추천시스템에서정확성이가장중요

5 개인화추천시스템의사용자평가에대한통합적접근 89 한특성으로논의되는이유는추천시스템이사용자에대해얼마나예측능력이향상되었는가에집중해왔기때문이다. 따라서, 많은선행연구는추천시스템의예측능력을향상시키는알고리즘을제시해왔다 [26, 43, 44, 45]. 시스템의정확성은사용자의사용이후지각된가치를측정하는것이필요하며지각된추천시스템의정확성은알고리즘의정확성과는다른개념으로서제시될수있다 [48]. 따라서실제사용자기반의추천을제공하는시스템은사용자평가를이해하기위해실제추천시스템에대한사용자의지각된정확성을측정하는것이필요하다. 그러므로본연구에서는추천시스템의지각된정확성과만족의관계를다음과같이제시한다. 가설 1 : 추천시스템에대한지각된정확성은사용자의시스템만족에긍정적영향을미친다. 사용자에게새로운제품및서비스를제공하는것은추천의새로움 (Novelty) 또는우연성 (Serendipity) 과관련된다. 추천시스템의새로움은사용자가알지못했던새로운추천항목을제공하는시스템의능력에대한사용자의평가로서정의된다 [48]. 지각된새로움은추천시스템의사용자평가에대한요소로서고려되어야한다 [20]. 추천시스템이사용자의선호에적합한추천을제공하였으나이미알고있었던정보였다면이는사용자가이용하기에는적합하지않은정보이다. 그러므로사용자선호에맞는정확한추천을제공하는것과마찬가지로알지못했던새로운제품을제공하는것은매우중요하다. 특히, 추천시스템에대한사용자의지각된새로움은사용자의태도와만족을긍정적으로향상시키는데중요하다 [26]. 따라서, 본연구에서는추천시스템의성과와관련하여다음의가설을제시한다. 가설 2 : 추천시스템의새로움은시스템에대한사용자만족에긍정적인영향을미친다. 2.2 자기참조효과와사회적실재감대부분사람들은자신에게중요한개인적인것들을기억하거나친밀한사람들이있는집단내에서사람들이이야기한것들을기억한다. 이와유사하게웹사용자들은자신들에게친밀하고유사한의미를가지는상황과특성들을기억하는경향이있다 [37]. 기존연구와유사하게본연구에서는웹개인화에서의자기참조 (Self-reference) 를사용자의과거특정경험또는자신과연관된개인화된웹콘텐츠를제공하는수준으로정의하였다 [52]. 마케팅연구영역에서, 자기참조의증가는제공하는메시지의고려를증가시키며그로인하여사용자설득을강화시킬수있다 [11, 18, 37]. 아마존닷컴 (Amazon.com) 에서보여지는것처럼자기참조화된배너메시지를받는사용자들은추천된제품에대해수용하려는경향을보인다. 당신이 을구매했기때문에이제품을추천합니다. 와같은추천에관련된이유를제공하는것은자기참조효과와연관된다. 가설 3 : 추천시스템에서자기참조효과

6 90 한국전자거래학회지제 17 권제 3 호 는사용자의시스템만족에긍정적인영향을미친다. 사회적실재감은특정집단에의해영향을받는사회적관계를의미한다 [22]. Kumar and Benbasat[32] 은웹사이트에서의사회적실재감을웹사이트와방문객사이에서형성되는심리적연결감으로정의하였다. 웹사이트에서사용자가느끼는사회적실재감은다양한사회적단서 (Social cues) 를제공받음으로서형성될수있다 [22]. 유사선호도를가진사용자들의과거경험에기반하기때문에추천시스템에서사용하는많은알고리즘은추천대상사용자와유사한성향을가진사용자들을파악한다. 유사사용자를제공하고유사사용자들의과거경험을반영했다는추천절차를사용자에게제시함으로써, 추천대상사용자의사회적실재감은온라인상황에서증가될수있다 [14, 15]. 따라서본연구에서는사회적실재감을웹사이트에서유사사용자들에의해영향을받는사회적관계로서정의하였다. 이메일과보이스메일환경에서사회적실재감은사용자가시스템을평가하는데긍정적영향을미치는것으로제시되어왔다 [29]. 특히사회적실재감은사용자의시스템에대한사용과만족에영향을미치는것으로제시되었으며사용자의신뢰적태도형성에도영향을주는변수로서제시되었다 [16, 21, 32]. 특히사회적실재감이높은시스템은더욱풍부한정보의제공이가능하기때문에사용자들의시스템평가에긍정적인영향을미칠수있다 [1]. 따라서추천시스템에대한사회적실재감은사용자의유용성평가변수로서 사용될수있다 [32]. 그러므로본연구에서는사회적실재감을사용자의시스템에대한평가를위한변수로서제시한다. 가설 4: 추천시스템의사회적실재감은추천시스템에대한사용자의만족에긍정적인영향을미친다. 3. 연구방법론 3.1 연구방법본연구는추천시스템에대한사용자평가에영향을미치는변수들을확인하기위하여추천시스템을구축하고웹기반실험을진행했다. 실험을위한기본데이터와선호도정보활용을위해 Netflix의영화정보와선호도자료를이용하였다. 전반적인실험절차는 < 그림 2> 와같다. 실험참가자에게추천을위한선행단계로 2001년부터 2005년까지한국에서개봉된영화들중 20개영화를사용자에게제시하였다. 실험참가자들은 20가지영화에대해각영화별개인의선호도점수를입력한후추천알고리즘에의해각 5개영화를추천받았다. Lee et al.[33] 의연구에따라, 본연구에서는 20개이상의영화정보에대하여사용자의선호도를수집하였다. 그후, 실험첫단계에서획득한실험참가자들의영화별선호도점수에기반하여개인화된영화추천을제공하였다. 개인화된추천을제공하기위하여, 본연구에서는추천시스템을자기참조정보의제공과사회적실재감의제공정도를다양화

7 개인화추천시스템의사용자평가에대한통합적접근 개영화선호도입력 (7 점척도 ) 5 가지추천된영화정보획득 추천시스템에대한평가를위하여설문참여 < 그림 2> 추천을위한실험단계 하여 2 2 실험사이트를구성하였다. 구축된각각의추천시스템은파일럿테스트를통하여수정보완후본실험에이용되었으며, < 표 1> 처럼구성되었다. 실험참가자들은영화관련온라인커뮤니티에광고를게재하여모집및참가하였으며해당참여자중 10% 의참여자를무작위로추첨하여스타벅스카페라떼이용기프티콘을지급하였다. 실험참가자들은주어진웹링크를통하여실험사이트에접근하였으며참가자들은무작위로 4가지실험사이트중하나의실험사이트에할당되도록하였다. 사용자기반협업필터링 (User-to-user collaborative filtering) 은 A와 B 집단의추천을제공하기위하여사용되었다 [47]. 이메커니즘은유사사용자의선호도를이용한다. < 그림 3> 과 < 그림 4> 와같이, A와 B 집단의차이는추천된영화에대하여유사사용자목록을실험참여자에게제시하는것이다. B 집단의참여자에게유사사용자목록을제공함으로써 B 집단의참여자들의사회적실재감을증가시킬수있다. < 그림 3> A 집단의추천예시 < 표 1> 실험집단 : 자기참조와사회적실재감 사회적실재감 낮음 높음 낮음 A 집단 개인화추천제공 B 집단 개인화추천제공 유사사용자제공 : 유사선호도사용자목록제공 자기참조 높음 C 집단 개인화추천제공 자기참조 : 당신이선호도를제공했던제품에기반하여본제품을추천합니다. D 집단 개인화추천제공 유사사용자제공 : 유사선호도사용자목록을제공 자기참조 : 당신이제공한선호도제품에기반하여본제품을추천합니다.

8 92 한국전자거래학회지제 17 권제 3 호 추천방식으로, 본연구에서는아마존닷컴 (Amazon.com) 과같은방식으로추천이유에대한설명을제공하였다 [35]. 참여자가입력한선호도에기반한추천을제공한다는문구를명시함으로써추천시스템이자기참조효과를증가시킬수있다. < 그림 4> B 집단에게제공된추천페이지의예시 < 그림 6> D 집단에대해제공한추천시스템 < 그림 5> C 집단에게제공된추천페이지의예시 C 집단은아이템기반협업필터링 (Item-to -item collaborative filtering)[47] 을통해생성된추천목록을제공하였다. 아이템기반협업필터링은아이템간의유사도를고려한 D 집단의경우사용자기반협업필터링과아이템기반협업필터링의조합에의해추천을제공하는하이브리드 (hybrid) 방식의추천을제공하였다 [10]. D 집단의실험참가자들은유사사용자의목록과자기참조문장을결합한추천결과를제공받았다. 실험에참여한참가자들에게영화가추천된후에, 참가자들은인지된정확성 (perceived < 표 2> 연구모형을통한구성개념 구성개념항목수선행연구새로움 (Novelty) 3 Xu[57] 정확성 (Accuracy) 3 Berlyne[9], Holbrook[28], Moorman[38], Osgood et al.[41], Unger[54] 사회적실재감 (Social presence) 3 Gefen and Straub[22], Kumar and Benbasat[32] 자기참조 (Self-Reference) 3 Martin and Hewstone[36], Meyer-Levy and Peracchio[37], Rogers et al.[46] 만족 (Satisfaction) 5 Oliver et al.[39], Oliver and Swan[40]

9 개인화추천시스템의사용자평가에대한통합적접근 93 accuracy), 인지된새로움 (perceived novelty), 사회적실재감 (social presence), 자기참조 (self referent), 만족 (satisfaction) 을측정하기위한웹기반설문에참여하였다. 설문에사용된구성개념과문항은 < 표 2> 처럼선행연구에의해제시된것을연구의내용에맞게수정후사용하였다. 각측정항목은리커트 7점척도를통해측정되었다. 3.2 데이터분석및타당성확인 < 표 3> 과같이총 160명이참여하였으며각집단별로 40명의참여자가무작위로배정되었다. 측정된구성개념들에대한타당성을측정하기위하여탐색적요인분석 (Exploratory Factor Analysis : EFA) 을실시하였으며, 집단인원 (%) A B C D 한달평균영화관람횟수 1 편 2~3 편 4~5 편 6~8 편 인원 (%) 성별인원 (%) 연령인원 (%) 남성여성 < 표 3> 응답자특성 세미만 20~24 25~29 30~34 35~39 40~ 결과는 < 표 4> 와같다. 요인분석을실시한후설문항목에대한신뢰도를측정하였다. 그에따라본연구에서사용된설문항목의 요인 ( 참고문헌 ) 새로움 [57] 정확성 [9, 28, 38, 41, 54] 사회적실재감 [22, 32] 자기참조 [36, 37, 46] 만족 [39, 40] < 표 4> 측정개념에대한분석결과 측정된설문항목 요인부하량 이추천시스템은나의새로운영화에대한호기심을만족시켰다 추천시스템은내관심에맞는새로운영화를제공했다 추천시스템이추천한영화는나에게친숙했다 추천시스템은제품을선택하는나의결정에좋은원천이된다 추천시스템은내가필요로하는추천결과를제공한다 추천시스템은나에게적절한제품을제공한다 나는추천시스템을사용하면서인간적인상호작용을느꼈다 나는추천시스템이나에게개인화된결과를제공한다고생각한다 나는추천시스템으로부터사교적인느낌을받았다 나는추천결과가나와연관이있다고생각한다 나는추천페이지가나에게잘설명한다고생각한다 나는추천시스템이나의흥미에맞는제품을고려하여제공했다고생각한다 나는경험한추천시스템에대해매우만족한다 내가이용한추천시스템은좋은시스템이다 추천시스템은내가사용한추천시스템중좋은시스템중하나이다 추천시스템은내가필요로하는제품을정확히제공한다 이추천시스템을사용하는나의선택은매우지혜로운선택이다 신뢰성 (α)

10 94 한국전자거래학회지제 17 권제 3 호 신뢰도계수 (Cronbach s alpha) 는모두 0.7 이상을획득하여설문항목의신뢰성을확인하였다. 연구의설문문항들에대한타당성확인을위해서, PLS를통하여확인적요인분석 (Confirmatory Factor Analysis : CFA) 를수행하였으며수렴타당성 (Convergent Validity) 과판별타당성 (Discriminant Validity) 을확인하였다. 수렴타당성은 3가지척도에의하여평가된다 [19]. 첫번째척도는모든측정요인들의부하량이유의미해야한다는것이다. 두번째, 개념신뢰도는 0.80 이상을획득해야만측정모형이적합하다고할수있다. 세번째로각구성개념들에의한평균분산추출지수 (average variance extracted : AVE) 가 0.5 이상이면측정모형이적합하다고할수있다. 세가지척도에기반한확인적요인분석의결과와수렴타당성에대한결과는 < 표 5>, < 표 6> 과같다. 개념신뢰도는 0.881부터 0.946까지나타났으며모두 0.80 이상의수치를나타냈다. 또한각구성개념들에대한 AVE는 0.713부터 0.853까지값이도출되어기준값 0.50 이상을충족하였다. 따라서본연구에서제시한구성개 념들의수렴타당성이확보되었다. 각설문항목들은해당구성개념에유의하게부하되었으며수렴타당성을확인하였다. 판별타당성은두가지혹은그이상의척도들간의판별성의정도를의미한다. 판별타당성을검토하는방법으로각구성개념들간의상관관계보다분산추출지수의제곱근이각요인의상관계수의제곱보다크다면판별타당성이확보되었다고할수있다 [12]. < 표 6> 과같이, 각구성개념의 AVE의제곱근이상관계수보다더큰것을확인할수있으며제안된구성개념들간의판별타당성을확인할수있다. 본연구에서제시한구성개념들의타당성을확인하였기에제시된연구모형에기반하여분석을실시하였다. < 표 5> 제안된연구모형에대한수렴타당성 AVE 개념신뢰도 R 2 정확성 만족 새로움 사회적실재감 자기참조 < 표 6>AVE를통한판별타당성결과 정확성 만족 새로움 사회적실재감 자기참조 정확성 * 만족 * 새로움 * 사회적실재감 * 자기참조 * AVE 주 ) * AVE의제곱근.

11 개인화추천시스템의사용자평가에대한통합적접근 결과분석본연구에서는추천시스템의특성에따라 4가지추천시스템을제시하였으며각실험집단간의사회적실재감과자기참조정도의차이를확인하기위하여 ANOVA 분석을수행하였다. 그후제안된연구모형을 PLS 를이용하여각구성개념들간의관계를분석하였다. 제시된추천시스템들의특성에따른영향력을확인하기위하여지각된정확성과새로움에대한 4가지실험집단의차이를 ANOVA 분석을통해확인하였으며그결과는 < 표 7> 과같다. 지각된새로움은집단간차이가유의수준 0.05 이하로나타남으로서각집단별차이가없다는귀무가설이기각되었다. 따라서각집단별로추천방식에의한추천의새로움은집단간의차이가나타나는것으로확인되었다. D 집단이제일새로운추천결과를주는것으로나타났으며집단 B와 C가 A보다높은평균값을보임에따라보다다양한정보를제공함에따라참여자가느끼는지각된새로움이높아지는것을확인할수 있다. 지각된정확성역시유의수준 0.01 이하로나타나추천방식에따른추천의정확도는모두같다는귀무가설이기각되었다. 따라서집단간추천정확도의차이가발생하는것을확인하였다. 특히, D 집단이지각된정확성이제일높다는점에서지각된새로움과유사한결과를나타냄에따라자기참조와유사사용자를모두고려한추천방식이사용자의지각적평가에서제일좋은방식으로나타났다. 그러나, 유사사용자를고려하여추천을제공하였던 B 집단의지각된정확성은자기참조를공유한집단 C에비하여더낮게나타나지각된정확성과새로움은추천시스템의평가에대한차이가나타났다. 추가적으로, 사회적실재감과자기참조의영향력을확인하기위하여각실험집단군을두변수에대한높고낮은집단으로분리하고사회적실재감과자기참조정도의차이를확인하였다. 낮은수준의사회적실재감을제공하는집단은 A와 C 집단으로두집단은추천제공시유사사용자목록을제공하지않는다. 이와반대로, 집단 B와 D는유사사 < 표 7> 추천의새로움과정확성에대한비교 차원 집단 인원수 순위 평균 자유도 F 유의수준 A 새로움 B C D A 정확도 B C D

12 96 한국전자거래학회지제 17 권제 3 호 용자목록을제공함에따라사회적실재감을높게제공하는집단으로구분하였다. 또한추천방식의특성에따라자기참조효과역시높고낮은참조그룹으로구분하였다. 집단 C와 D는 당신이평가한영화에기반하여이영화를추천한다. 는문구를제공함에따라자기참조효과가높게제공되는집단이며집단 A와 B는낮은집단으로구분되었다. 그에따라두변수들의조작적차이를확인하기위하여 < 표 8> 과같이 t검정을실시하였다. < 표 8> 사회적실재감과자기참조의수준비교 요인 사회적실재감 자기참조 집단 인원수 평균 t 값유의수준 낮음 (A, C) 높음 (B, D) 낮음 (A, B) 높음 (C, D) < 표 8> 에서나타나는것과같이, 사회적실재감은집단간차이가같다는귀무가설이기각되고유의수준 0.05 수준에서집단간의차이를확인할수있다. 자기참조효과에대하여귀무가설이기각됨에따라서유의수준 p < 0.000에서자기참조효과의수준별집단차이를확인할수있었다. 연구에서제시한집단간의차이를확인한후, 제시된연구모형에대한경로분석을위하여 PLS를사용한구조방정식모형을활용하였다. < 그림 7> 에서보여지는것과같이추천시스템에대한사용자만족과관련하여지각된정확성의영향력은유의한것으로나타났으며경로계수는 0.147(p < 0.01) 이었다. < 그림 7> 연구모형에대한경로분석결과따라서가설 1은지지된다. 추천시스템의성과와관련된또다른변수인지각된새로움은유의수준 p<0.01 수준에서유의한것으로나타났으며가설 2가지지되는것을확인할수있다. 추천시스템에대한사용자기반의변수인사회적실재감과추천시스템에대한사용자만족의관계는유의미한것으로나타났으며경로계수는 0.395(p < 0.01) 로나타나가설 4 는지지되었다. 그러나사용자기반변수의또다른변수인자기참조의경우추천시스템에대한사용자만족에영향을미치지못하는것으로나타났다 (p > 0.1). 따라서연구모형에서제시된가설 3은지지되지못했다. 연구모형에대한가설검정의결과를기반으로, 추천의새로움과사회적실재감의계수가추천정확성과비교하여상대적으로크게나타났다. 그에따라실험에서제시한추천정확성과자기참조효과가추천시스템에대한필수적요소인반면, 사전에경험하지못한새로운추천결과를제공하는능력과유사사용자를제공하는사회적실재감은사용자의추천시스템에대한기대치와만족에직접적인영향을주는중요한변수가될수있다.

13 개인화추천시스템의사용자평가에대한통합적접근 결론본연구는개인화추천시스템에대한사용자평가에대하여추천시스템의성과적측면과사용자태도측면에대한통합적관점을제공하였다. 첫째, 추천시스템에대한사용자평가의항목으로예측적특성의관점인지각된정확성과지각된새로움을제시할수있으며두변수는사용자의만족에영향력을발휘하는것으로나타났다. 두번째, 자기참조효과와사회적실재감을통한추천제공의이유를제시하는방법은추천시스템에대한사용자의평가에대하여중요한역할을한다. < 표 7> 에서보여지는것과같이사회적실재감을제공받는집단 B는자기참조효과를제공받는집단 C와비교할때지각된새로움에더큰영향력을받는다. 그러나자기참조효과를제공받는집단 C는추천시스템에대한지각적정확성관점에서사회적실재감을제공받는집단 B보다더큰영향력을받는다. 따라서, 사회적실재감과자기참조효과는추천시스템의사용자에게제공되는자극의분리된특성으로나타나며두자극은서로다른수준에서사용자의추천시스템에대한평가에영향력을발휘한다. 세번째, 개인화된추천시스템을제공받은사용자가추천시스템에대한평가를함에있어서사회적실재감은매우중요한요소이다. 본연구에서는유사사용자들의평가를추천결과에이용하여사용자들의사회적실재감을향상시킴으로서사용자는보다정확한추천결과를제공받는추천정확성측면의향상을얻을수있으며추천시스템의예측적능력이의사결정에있어효과적인결과를제 공한다고생각한다. 대다수의선행연구들이제시하는것과같이추천시스템에대한사용자평가는추천시스템의예측적능력을통해이루어진다 [3]. 그러나추천시스템의사용자들이어떠한처리절차를거쳐추천이제공된것인지확인할수없는상황에서, 시스템이제시하는추천결과는추천시스템의성능에대한사용자의인지적평가에영향을주기에한계가존재한다. 따라서사용자가접하게되는추천결과의구성은추천시스템에대한사용자평가를구체화하기위한단서가될수있다. 본연구에서는사회적실재감을통한사용자평가가시스템에대한만족에매우중요한역할을하고있다는것을알수있다. 반면자기참조효과는사용자의추천시스템에대한만족에통계적으로유의한영향력을발휘하지못했다. 사회적실재감의결과와비교하였을때, 자신의선호도에기반하여추천된영화인지아닌지에대한정보를얻는것이아닌유사한타인의평가가사용자의만족에더중요한역할을한다는것을알수있다. 기존연구에서자기참조효과는 자신 (Self) 의관점을이용함으로써사용자의행동에자극을주기위한목적으로사용자의상호작용을향상시키는점에집중했다. 본연구에서자기참조메시지는사용자의만족에영향력을발휘하지않았음에도불구하고자기참조의수준이높고낮은집단에의해다를수있음을제시하였다. 추천시스템이제공하는추천이사용자의정보를통한추천이라는것을더강화시켜주고있다는점에서추천시스템의결과에대한고려가더욱증가하지만실제자기참조에의한사용자만족이증가되는것은아니며제품고려를위해서는자기

14 98 한국전자거래학회지제 17 권제 3 호 참조보다는유사사용자에의한추천이더유용하다. 연구의결과에따라본연구는온라인상점에대한실무적시사점을제공한다. 첫째, 기존추천시스템연구에서추천알고리즘의성과평가도구로서활용되는정확성과더불어, 지각된새로움은추천시스템의사용자평가에있어서중요한요소이다. 추천시스템의추천결과가사용자가경험한일반적인제품들을제공하고있음에도, 추천에서사용자가느끼게되는자기선호에적합한추천결과의우연성은추천시스템이반드시제공해야할요소이다. 두번째로, 사회적실재감과자기참조효과를통한추천에대한이유를제공하는방법은사용자에게더욱제품선택에대한고려를강화시키는방법이며새로운제품에대한탐색기회를제공하는좋은도구이다. 그러므로추천을통해제품을제공할때, 기업은사용자에게어떻게추천이생성되었는지설명해야한다. 특히, 정확한추천을제공함에있어서사회적실재감을고려한추천방식을제공하는것이필요하며사용자가아직경험하지않은제품을추천하는것이중요하다. 다시말해서, 고객에게개인화경험을제공하기위하여기업이어떻게사회적실재감을인지시키는것이가능할지고려하는것이필요하다. 이는더정확한정보를제공받는다는느낌에더불어사용자에게제공되는메시지를더욱정교화할필요가있음을의미한다. 본연구는몇가지제한점이존재한다. 첫번째로, 실험에이용된영화데이터는 2005년까지개봉된영화들을기반으로추천이제공되었다. 대부분의실험참가자들은본연구에 참여하기전에실험에활용된영화중에서많은영화들을경험했을가능성이높다. 따라서본실험의참가자들이새로운추천정보를제공받았다고느끼기는어렵다. 그러나추천시스템의협업필터링방식의특성상기존사용자평가점수를통해참가자들의선호점수를고려한추천을제공한다는점에서이미개봉된영화자료들에대한선호도를획득하는것이필요하다. 두번째, 본연구는오직영화정보에집중한추천시스템을사용하였다. 선행연구에서제품의특성이추천된제품에대한사용자평가에차이를만들어낼수있다고제시했다 [15, 25]. 영화는재미를추구하는아이템이지만깊이몰입하지않는쾌락재특성의저관여상품이다. 따라서, 유용재나고관여제품들에서본연구의결과가어떻게나타나는지에대한추가적인연구가필요하다. 참고문헌 [1] 서길수, 과업의특성과매체경험이인지된매체풍요도와사회적존재성에미치는영향, Asia Pacific Journal of Information Systems, 제8권, 제3호, pp , [2] 손재봉, 서용무, 협업필터링시스템에서 Degree of March를이용한성능향상, Information System Review, 제8권, 제2 호, pp , [3] 엄태영, 김우주, 박상언, 태그네트워크를이용한개인화북마크추천시스템, 한국전자거래학회지, 제15권, 제4호, pp ,

15 개인화추천시스템의사용자평가에대한통합적접근 [4] 이석준, 이희춘, 협업필터링추천에서대응평균알고리즘의예측성능에관한연구, Information System Review, 제9권, 제1호, pp , [5] 이재식, 명훈식, 사례기반추론을이용한인터넷서점의서적추천시스템개발, 한국전자거래학회지, 제13권, 제4호, pp , [6] Adomavicius, G. and Tuzhilin, A., Personalization Technologies : A Processoriented Perspective, Communications of the ACM, Vol. 48, No. 10, pp , [7] Al-Natour, S., Benbasat, I., and Cenfetelli, R. T., The Effects of Process and Outcome Similarity on Users Evaluations of Decision Aids, Decision Sciences, Vol. 39, No. 2, pp , [8] Arazy, O., Kumar, N., and Shapira, B., A Theory-Driven Design Framework for Social Recommender Systems, Journal of the Association for Information Systems, Vol. 11, No. 9, pp , [9] Berlyne, D. E. (Ed.), Novelty, Complexity, and Interestingness, New York : Wiley, [10] Burke, R., Hybrid Recommender Systems : Survey and Experiments, User Modeling and User-Adapted Interaction, Vol. 12, No. 4, pp , [11] Burnkrant, R. E. and Unnava, H. R., Effects of Self-referencing on Persuasion, Journal of Consumer Research, Vol. 22, No. 1, pp , [12] Chin, W. W. (Ed.), The partial least squares approach to structural equation modeling : Modern Methods for Business Research, Mahwah, NJ, US : Lawrence Erlbaum Associates Publishers, [13] Choeh, J. Y. and Lee, H. J., Mobile push personalization and user experience, AI Communications, Vol. 21, No. 2-2, pp , [14] Choi, J., Lee, H. J., and Kim, Y. C., The Influence of Social Presence on Evaluating Personalized Recommender Systems, Paper presented at the PACIS 2009 India, [15] Choi, J., Lee, H. J., and Kim, Y. C., The Influence of Social Presence on Costomer Intention to Reuse Online Recommender Systems : The Roles of Personalization and Product Type, International Journal of Electronic Commerce, Vol. 16, No. 1, pp , [16] Cyr, D., Hassanein, K., Head, M., and Ivanov, A., The Role of Social Presence in Establishing Loyalty in e-service Environments, Interacting with Computers, Vol. 19, No. 1, pp , [17] Davis, F. D., Perceived Usefulness, Perceived Ease of Use and User Acceptance of Information Technology, MIS Quarterly, Vol. 13, No. 3, pp , [18] Escalas, J. E., Self-Referencing and

16 100 한국전자거래학회지제 17 권제 3 호 Persuasion : Narrative Transportation versus Analytical Elaboration, Journal of Consumer Research, Vol. 33, No. 4, pp , [19] Fornell, C. and Larcker, D. F., Evaluating Structural Equation Models with Unobservable Variables and Measurement Error, Journal of Marketing Research, Vol. 18, No. 3, pp , [20] Fouss, F. and Saerens, M., Evaluating performance of recommender systems : An experimental comparison, Paper presented at the IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, [21] Gefen, D., Karahanna, E., and Straub, D. W., Trust and TAM in Online Shopping : An Integrated Model, MIS Quarterly, Vol. 27, No. 1, pp , [22] Gefen, D. and Straub, D. W., Consumer Trust in B2C e-commerce and the Importance of Social Presence : Experiments in e-products and e-services, Omega, Vol. 32, No. 6, pp , [23] Häubl, G. and Murray, K. B., Double Agent : Assessing the Role of Electronic Product Recommendation System, Sloan Management Review, Vol. 47, No. 3, pp. 8-12, [24] Häubl, G. and Trifts, V., Consumer Decision Making in Online Shopping Environments : The Effects of Interactive Decision Aids, Marketing Science, Vol. 19, No. 1, pp. 4-21, [25] Hassanein, K. and Head, M., The Impact of Infusing Social Presence in the Web Interface : An Investigation Across Different Products, International Journal of Electronic Commerce, Vol. 10, No. 2, pp , [26] Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T., Evaluating Collaborative Filtering Recommender Systems, ACM Transactions on Information Systems, Vol. 22, No. 1, pp. 5-53, [27] Ho, S. Y. and Kwok, S. H., The Attraction of Personalized Service for Users in m-commerce, ACM SIGecom Exchanges, Vol. 3, No. 4, pp , [28] Holbrook, M. B. (Ed.), Introduction : The Esthetic Imperative in Consumer Research, MI : Association for Consumer Research, [29] Karahanna, E. and Limayem, M., and V-Mail Usage : Generalizing Across Technologies, Journal of Organizational Computing and Electronic Commerce, Vol. 10, No. 1, pp , [30] Komiak, S. Y. X. and Benbasat, I., The Effects of Personalization and Familiarity on Trust and Adoption of Recommendation Agents, MIS Quarterly, Vol. 30, No. 4, pp , [31] Kramer, T., The effect of measurement task transparency on preference construction and evaluations of personalized recommendations, Journal of Marketing Research, Vol. 44, No. 2, pp ,

17 개인화추천시스템의사용자평가에대한통합적접근 [32] Kumar, N. and Benbasat, I., The Influence of Recommendations and Consumer Reviews on Evaluations of Websites, Information Systems Research, Vol. 17, No. 4, pp , [33] Lee, H. J., Kim, J. W., and Park, S. J., Understanding Collaborative Filtering Parameters for Personalized Recommendations in e-commerce, Electronic Commerce Research, Vol. 7, No. 3-4, pp , [34] Liang, T., Lai, H., and Ku, Y., Personalized Content Recommendation and User Satisfaction : Theoretical Synthesis and Empirical Findings, Journal of Management Information Systems, Vol. 23, No. 3, pp , [35] Linden, G., Smith, B., and York, J., Amazon.com Recommendations : Itemto-item Collaborative Filtering, IEEE Internet Computing, Vol. 7, No. 3, pp , [36] Martin, R. and Hewstone, M., Social-influence Processes of Control and Change : Conformity, Obedience to Authority and Innovation, London : Sage, [37] Meyers-Levy, J. and Peracchio, L. A., Moderators of the Impact of Self-Reference on Persuasion, Journal of Consumer Research, Vol. 22, No. 4, pp , [38] Moorman, C., Organizational Market Information Processes : Cultural Antecedents and New Product Outcomes, Journal of Marketing Research, Vol. 32, No. 3, pp , [39] Oliver, R. L., Robertson, T. S., and Mitchell, D. J., Imagine and Analyzing in Response to New Product Advertising, Journal of Advertising, Vol. 22, No. 4, pp , [40] Oliver, R. L. and Swan, J. E., Equity and disconfirmation perceptions as influences on merchant and product satisfaction, Journal of Consumer Research, Vol. 16, No. 3, pp , [41] Osgood, C. E., Succi, G. J., and Tannenbaum, P. H., The Measurement of Meaning, IL : University of Illinois, [42] Pu, P. and Chen, L., A User-Centric Evaluation Framework of Recommender Systems, Paper presented at the In proceedings of the ACM RecSys 2010 Workshop on User-Centric Evaluation of Recommender Systems and their Interfaces (UCERSTI), [43] Resnick, P., Iacovou, N., Suchak, N., and Bergstrom, P., GroupLens : An Open Architecture for Collaborative Filtering of Netnews, Paper presented at the the 1994 ACM Conference on computersupported cooperative work, [44] Resnick, P. and Varian, H. R., Recommender Systems, Communications of the ACM, Vol. 40, No. 3, pp , [45] Ricci, F., Mobile Recommender Systems, International Journal of Informa-

18 102 한국전자거래학회지제 17 권제 3 호 tion Technology and Tourism, Vol. 12, No. 3, pp. 1-24, [46] Rogers, T. B., Kuiper, N. A., and Kirker, W., Self-reference and the encoding of personal information, Journal of Personality and Social Psychology, Vol. 35, No. 9, pp , [47] Sarwar, B., Karypis, G., Konstan, J., and Riedl, J., Item-based Collaborative Filtering Recommendation Algorithms, Paper presented at the Proceedings of the 10th international conference on World Wide Web, Hong Kong, [48] Shani, G. and Gunawardana, A., Recommender Systems Handbook : Evaluating Recommendation Systems : Springer, [49] Sinha, R. and Swearingen, K., Comparing Recommendations made by Online Systems and Friends, Paper presented at the DELOS-NSF Workshop on Personalization and Recommender Systems in Digital Libraries, [50] Swearingen, K. and Sinha, R., ACM SIGIR Workshop on Recommender Systems Beyond Algorithms : An HCI Perspective on Recommender Systems, [51] Tam, K. Y. and Ho, S. Y., Web Personalization As A Persuasion Strategy : An Elaboration Likelihood Model Perspective, Information Systems Research, Vol. 16, No. 3, pp , [52] Tam, K. Y. and Ho, S. Y., Understanding the Impact of Web Personalization on User Information Processing and Decision Outcome, MIS Quarterly, Vol. 30, No. 4, pp , [53] Thirumalai, S. and Sinha, K. K., Customization Strategies in Electronic Retailing : Implications of Customer Purchase Behavior, Decision Sciences, Vol. 40, No. 1, pp. 5-36, [54] Unger, L., Consumer Marketing Trends in the 1980s : When Growth Slows, Journal of Consumer Research, Vol. 9, No. 2, pp , [55] Wang, W. and Benbasat, I., Recommendation Agents for Electronic Commerce : Effects of Explanation Facilities on Trusting Beliefs, Journal of Management Information Systems, Vol. 23, No. 4, pp , [56] Xiao, B. and Benbasat, I., E-commerce Product Recommendation Agents : Use, Characteristics, and Impact, MIS Quarterly, Vol. 31, No. 1, pp , [57] Xu, D. J., The Influence of Personalization in Affecting Consumer Attitudes Toward Mobile Advertising in China, Journal of Computer Information Systems, Vol. 47, No. 2, pp. 9-19, 2006.

19 개인화추천시스템의사용자평가에대한통합적접근 103 저자소개 최재원 ( jaewonchoi@yonsei.ac.kr) 2004년 가톨릭대학교경영학과졸업 2006년 가톨릭대학교일반대학원경영학과 (MS) 2010년 가톨릭대학교일반대학원경영학과 (Ph.D) 2010년~2011년 KAIST 테크노경영연구소연수연구원 2011년~현재 연세대학교정보대학원박사후연구원 관심분야 웹개인화, 집단지성, 모바일추천시스템, 클라우드컴퓨팅 이홍주 ( hongjoo@catholic.ac.kr) 1997년 KAIST 산업경영학과졸업 1999년 KAIST 테크노경영대학원경영공학 (MS) 2006년 KAIST 테크노경영대학원경영공학 (Ph.D) 2006년 MIT Center for Collective Intelligence, Post-doctoral Fellow 2007년~현재 가톨릭대학교경영학과교수 관심분야 개인화, 집단지성, 모바일비즈니스