Recommender Systems Beyond Collaborative Filtering Sungjoo Ha May 17th, 2016 Sungjoo Ha 1 / 19
Recommender Systems Problem 사용자가얼마나특정아이템을좋아할지예측해보자. 과거행동을바탕으로 다른사용자와의관계를바탕으로 아이템사이의관계로부터 문맥을살펴보고... Sungjoo Ha 2 / 19
Collaborative Filtering m 사용자, n 아이템 사용자가의견을표출한아이템목록이존재 직접적인점수 암묵적인표현 구매여부, 트랙재생여부등 표현되지않은의견을예측 사용자 / 아이템사이의관계를활용해서 Sungjoo Ha 3 / 19
Approaches to CF Neighborhood method Matrix factorization Restricted Boltzmann machines Sungjoo Ha 4 / 19
Content-based Recommendation 내용에기반한추천 내용을바탕으로사용자의취향을파악하는모델을만들어서활용 아이템의성격혹은특징을 내용 이라함 영화의장르 개봉년도 출연배우 영화의줄거리텍스트 Sungjoo Ha 5 / 19
Pros and Cons 장점 단점 다른사용자의정보가필요하지않음 새로운아이템도추천할수있음 이유 를제공할수있는경우가많음 내용 의품질이좋아야함 쓸모있는피쳐의추출이어려운매체가많음 주어진피쳐로사용자의취향이모델링가능해야함 Sungjoo Ha 6 / 19
Music Recommendations 곡을 400 여가지속성으로분류 미묘한 현악기의활용 춤추고싶어지는비트 멋진트럼본솔로 트위터및위키백과등의웹정보수집 음원으로부터직접적으로피쳐추출 Convolutional neural network 를사용 이미 40 차원벡터로표현된음원데이터를학습용으로사용 Sungjoo Ha 7 / 19
Hybrid Approach 다양한방식으로 CF 와 CB 를결합 가중치를주는방식 상황에따라다른방법을활용하는방식 양쪽의추천을적당히섞어서보여주는방식 한쪽의결과가다른쪽의입력으로들어가는방식 동시에양쪽을학습 Topic modeling 을통해얻은 latent topic space 를 CF 에서아이템의 latent vector representation 으로활용 이두개를포괄하는모델을만들어서동시에최적화 Sungjoo Ha 8 / 19
Beyond Traditional Approaches Learning to rank Context-aware recommendations Deep learning Similarity Bandit formulation Social recommendations Sungjoo Ha 9 / 19
Context-aware Recommendations 상황에따라다른추천을하는시스템 Tensor factorization Factorization machines Sungjoo Ha 10 / 19
Matrix Factorization? 5 4? 1? 1 2???? 5 3? 4 0.2 4.8 4.1 3.0 0.7 4.9 1.3 2.0 1.7 3.8 3.1 0.3 4.9 2.7 2.3 3.9 Sungjoo Ha 11 / 19
Tensor Factorization Items Context Higher-order singular value decomposition (HOSVD) Users Sungjoo Ha 12 / 19
Factorization Machines Matrix/tensor factorization 접근의일반화 행렬이나텐서의모양에따라최적화알고리즘을새로유도해야하는것을우회 아이디어 : 기존의행렬분해는사용자를나타내는피쳐와아이템을나타내는피쳐의상호작용을모델링하는것 Indicator/real value 피쳐와그에대응되는가중치벡터를모델링 Sungjoo Ha 13 / 19
Factorization Machines n n n ŷ(x) = w 0 + w i x i + v i, v j x i x j i=1 i=1 j=i+1 w 0 R, w R n, V R n k 수식을잘정리하면 O(kn 2 ) 대신 O(kn) 의연산만필요 Sungjoo Ha 14 / 19
MF Compared with FM Matrix factorization SVD++ ŷ(x) = w 0 + w u + w i + v u, v i ŷ(x) = w0 + w u + w i + v u, v i + 1 Nu l N u v i, v l Factorization machines with user/item/other movies rated ŷ(x) = w0 + w u + w i + v u, v i + 1 Nu l N u v i, v l + 1 Nu l N u (w l + v u, v l + 1 Nu l N u,l >l v l, v l ) Sungjoo Ha 15 / 19
Bandit Formulation 오프라인이아닌온라인형태의접근 Exploration/exploitation tradeoff 아는것을바탕으로좋은추천해주기 상호작용을통해사용자에대해더알아내기 Sungjoo Ha 16 / 19
Multi-armed Bandits 다양한수익률을낼수있는슬롯머신이있을때어떤전략을사용해야좋은가? 몇가지가정하에이론적인결과들이연구되어있음 Sungjoo Ha 17 / 19
MAB ɛ-greedy ɛ의확률로랜덤한시도 1 ɛ의확률로현재가장좋은레버를당김 Upper confidence bound (UCB) Posterior의평균과함께분산을고려 잘모르는것은좋을것이라고낙관적으로가정해서가장좋은레버를당김 UCT의아이디어는여기에서옴 몇가지가정하에최적임이보장됨 Thompson sampling (probability matching) 베이지안모델링 Posterior로부터모델을샘플링해서이를최적화하는방식 역시몇가지가정하에최적임이보장됨 Sungjoo Ha 18 / 19
References The Recommender Problem Revisited, Amatriain and Mobasher, KDD tutorial, 2014 Recommender Systems: Collaborative Filtering and other approaches, Amatriain, MLSS, 2014 Music Recommendations at Spotify, Bernhardsson, NYC Machine Learning Meetup, 2013 Recommending music on Spotify with deep learning, Dieleman, 2014 Collaborative Topic Modeling for Recommending Scientific Articles, KDD, 2011 Factorization Machines, Rendel, ICDM, 2010 Sungjoo Ha 19 / 19