미디어소비 : 추천 Personalized Media Lab. / 미디어기술원 2018.07.12
YouTube: 2005 1
YouTube: 현재 (2017 2018) 2
무엇을볼것인가? 무엇을보여줄것인가? 무엇을볼것인가? 검색 1 2 무엇을보여줄것인가? 제안 3
추천의적용영역 미디어라이프사이클 시청전 시청중 후 무엇을볼것인가? 감상을돕는정보는? 컨텐츠의연관서비스는? 추천 4
사용자에게추천의기대효과 : 선택고민제거, 편리한 UI/UX 미디어라이프사이클 시청전 시청중 후 무엇을볼것인가? 감상을돕는정보는? 컨텐츠의연관서비스는? 추천 : 편리 5
사업자에게추천의기대효과 : 지속적인소비 미디어라이프사이클 시청전 시청중 후 무엇을볼것인가? 감상을돕는정보는? 컨텐츠의연관서비스는? 추천 : 지속적소비 6
추천 : Discovery & Fatten long tail 7
추천서비스 맛집 Item Peo ple 친구 Admob 8
실제효과 YouTube 는 2012 이후지금까지 10 배이상의시청률증가를달성했으며이는시청자들을개인화하는알고리즘에의해가능했다 - 월스트리트저널, 2017 년 2 월 동영상시청연장 ( 체류시간증가 ) 을통한광고수입증가 Netflix 개인화추천엔진의가치는십억달러이상이다. 이는매출의 1/7 수준이다 -Netflix Personalized Research Report, 2016 년 6 월 알고리즘적용기준 : 1 0.1% 고객유지개선도 (Retention Improvement), 2 0.1% 단위시간당시청수 (Viewing) ( 연기준 500~5,000 만달러 ) 9
사용자에게추천이란? 마지막에중단한 ( 또는시리즈 ) 컨텐츠가장최근 ( 또는오늘 / 주간 / 월간 ) 컨텐츠가장인기컨텐츠비슷한컨텐츠취향이비슷한사용자가본컨텐츠전문가가고른컨텐츠좋아할컨텐츠 10
개발자에게추천이란? 컨텐츠소비통계 가장최근 ( 또는오늘 / 주간 / 월간 ) 컨텐츠 가장인기컨텐츠 비슷한컨텐츠 컨텐츠 ( 딥 ) 메타 사용자소비통계 큐레이션??? 취향이비슷한사용자가본컨텐츠전문가가고른컨텐츠상황 ( 또는분위기 ) 에맞는컨텐츠좋아할컨텐츠 컨텐츠 ( 딥 ) 메타 & 환경정보 개인화 추천알고리즘분류 Top k Content-based filtering: 장르, 주제 ( 키워드 ), 악기등과같은컨텐츠속성의유사성으로추천 Collaborative filtering: 비슷한재생패턴의사용자를묶어추천 11
CB (Contents Based Filtering) 정의및특징 아이템의속성을계산하여속성의유사도를기반으로추천 액션을좋아하는사용자에게액션영화를 Shakira 가수음악을좋아하는사용자에게 Shakira 노래를 피아노곡을좋아하는사용자에게피아노곡을 음식과전원생활을좋아하는사용자에게 { 음식 & 전원생활 } 주제의영화를 속성과유사도는미리계산가능함에따라빠른추천이가능 추천의정확도판별이명확하나속성에따라품질의차이가발생 추천결과가정형화됨 공유되는속성이존재하지않으면추천될수없음 대표적특성 장르 악기 키워드 수동 vs 자동 (oksusu의 이런영화어때요? 예 ) 리틀포레스트 # 요리, # 힐링, # 시골 ) 12
CF (Collaborative Filtering) 정의및특징 사용자혹은컨텐츠간의재생이력혹은재생연관성기반의추천 컨텐츠타입혹은속성에영향받지않음 교차추천 User based CF 사용자의평가내역으로사용자간의유사도를얻고비슷한선호도를가진사람들이선택한상품을추천 서비스초창기데이터가별로없거나신규사용자에대해서는추천정확도가떨어질수있음 Item based CF 사용자가조회하는아이템간의조회 ( 구매 ) 유사도를기반으로연관아이템을보여주는방식 아이템평가를하지있지않은신규사용자에도추천가능 Cold start problem User based CF Item based CF 13
CF 알고리즘 1: Matrix completion 사용자의켄텐츠구매 ( 재생 ) 이력과선호도는사용자 - 컨텐츠를축으로한행렬로표현 결국추천은사용자가구매하지않은컨텐츠에대해어떤선호도를주는지를예측하는문제이고이는 행렬에서빈항목을채우는문제 (Solver: Matrix completion) 와같음 Log - User0 이 Item0 을구매후평점 3 으로평가 - User1 이 Item0 을구매후평점 4 로평가 - User2 가 Item0 을구매후평점 1 로평가 - - - User4 가 Item4 를구매후평점 3 으로평가 Recommendation - User3 에게는무엇을추천할까? - User0 에게는무엇을추천할까? Item 0 Item 1 Item 2 Item 3 Item 4 User 0 3-2 4 - User 1 4 4 3 - - User 2 1 3-2 4 User 3 4 4 - - - User 4 3 5 2 4 3 14
CF 알고리즘구현 1: Matrix completion Matrix factorization 사용자의켄텐츠구매 ( 재생 ) 이력과선호도는사용자 - 컨텐츠를축으로한행렬로표현 결국추천은사용자가구매하지않은컨텐츠에대해어떤선호도를주는지를예측하는문제이고이는 행렬에서빈항목을채우는문제 (Solver: Matrix completion) 와같음 Matrix completion 해결은추천영역에서는 Matrix factorization 을통해해결 Item 0 Item 1 Item 2 Item 3 Item 4 NEW User 0 3-5 2 4-3 - User 1 4 4 3 - - - User 2 1 3-2 4 - User 3 4 4-3 - - - User 4 3 5 2 4 3-15
MF (Matrix Factorization) SVD (Singular Value Decomposition) 원리이용 특이값인수분해 : 행렬을몇개의잠재변수차원으로축소시켜서분해시킬수있다 1 2 3 16
MF (Matrix Factorization) SVD를이용한 Matrix Completion를통해사용자영화선호도예측 - SVD에서가중치행렬이 U와 V로분산되었다고가정 - K개의잠재유저속성을가진 U행렬과 K개의아이템속성을가진 V행렬 2개로분해할수있다고가정 1 2 17
MF (Matrix Factorization) 근사된 M 행렬 (M ) 과 M 행렬의차이 (RMSE) 를최소화해서 M 의빈자리채우기 1 2 3 4 18
MF (Matrix Factorization) ALS (Alternative Least Square) 1. V 매트릭스에만임의값을채움 2. V를고정하고 U를최적화 3. U를고정하고 V를최적화 4. 2,3를반복하여원하는조건을충족하면종료 SGD (Stochastic Gradient Descent) 1. U, V를임의의값으로초기화 2. User-rating Matrix에서임의의값선택 3. U, V에서해당값에영향을주는성분만 Update해서 M과의오차최소화 4. 2,3을반복하여원하는조건을충족하면종료 19
CF 알고리즘 2: DL (Deep Learning) 사용자의켄텐츠구매 ( 재생 ) 이력을 Vector 화하고 DNN/RNN 으로학습하고이를통하여특정사 용자가다음에볼컨텐츠를확률순으로출력하여추천 대규모사용자 / 아이템에대해우수한성능사용자선호도에크게민감하지않음 Hybrid(CF + CB + @) 시스템으로확장이용이대부분 Global top player는 MF에서 DL로전환 Candidate Generation DNN Model Ranking DNN Model 데이터정제 / Vector 화 N 개의추천영상후보 예상시청시간으로정렬 20
그밖의추천시스템고려사항 Serendipity 우연또는우연적발견이라는의미로얼마나놀라운추천을해주는가 Discovery 사용자가인지하지못하는아이템을추천 Long tail 아이템을제공하여사용자의서비스 Exploration 을높임 Coverage 추천되는아이템의총비율 (n/n*100) Diversity 추천시스템은사용자에게다양한추천결과를제공해줘야함 Inter-list : 여러번의추천요청에대해같은아이템을추천해주는것을지양 Intra-list : 추천결과로제공되는 K 개의아이템이비슷한속성으로만이뤄지는것을지양 신뢰문제 평가 추천결과에대해사용자가신뢰할수있을만한근거제공예 ) 예상평점, 좋아하는장르의영화, 다른사람들이함께본상품 추천정확도지표예 ) RMSE, MAP, Recall 성능평가예 ) A/B test 21
SKT 미디어기술원 (Personalized Media Lab.): 추천 Consumption lifecycle: 시청전 시청중 후 Problem: 무엇을볼것인가? 감상을돕는정보는? 컨텐츠의연관서비스는? Solution: Recommendation Media discovery 미디어메타, 리뷰, Social media 기반키워드자동생성 영상 / 음원 / 대사분석 키워드기반 CB 추천 사용이력기반 CF 추천 ( 개인화 ) 딥메타데이터생성, 관리 딥메타기반부가서비스 ( 인물 / 객체, Binge watching, 미디어검색, e-commerce 등 ) 제공 Goal: 미디어소비강화및부가서비스제안으로미디어사업경쟁력강화 22
SKT 미디어기술원 (Personalized Media Lab.): 추천 영상 음악 키워드 CB 추천 & 영화, 드라마 (VoD), 실시간, 클립에대한 CF-CB 추천 ( 개인화 ) 음원, 가사, 작사, 작곡, 가수기반 & 청취이력기반추천 ( 개인화 ) 미디어추천으로진화중 Cross-domain( 예 : 영화 음악 ) 추천? 추출된키워드 # 히어로 oksusu 홈 23
SKT 미디어기술원 (Personalized Media Lab.): T & B code challenge 24
감사합니다!