공학석사학위논문 텍스트데이터를활용하는 추천시스템에서의행렬분해법 Matrix Factorization for Recommendation Systems Utilizing Text Data 2017 년 12 월 서울대학교대학원 전기 정보공학부 손동희

Size: px

Start display at page:

Download "공학석사학위논문 텍스트데이터를활용하는 추천시스템에서의행렬분해법 Matrix Factorization for Recommendation Systems Utilizing Text Data 2017 년 12 월 서울대학교대학원 전기 정보공학부 손동희"

유찬 망절
6 years ago
Views:

1 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 공학석사학위논문 텍스트데이터를활용하는 추천시스템에서의행렬분해법 Matrix Factorization for Recommendation Systems Utilizing Text Data 2017 년 12 월 서울대학교대학원 전기 정보공학부 손동희

3 텍스트데이터를활용하는 추천시스템에서의행렬분해법 지도교수 심규석 이논문을공학석사학위논문으로제출함 2017 년 11 월 서울대학교대학원 전기 정보공학부 손동희 손동희의공학석사학위논문을인준함 2017 년 12 월 위원장김태환 ( 인 ) 부위원장심규석 ( 인 ) 위원홍성수 ( 인 )

4 초 록 많은회사들이매출을늘리기위하여추천시스템을사용하고있다. 행렬분해법은추천시스템에서주로사용되는방법중하나로, 사용자의선호도를근거로하여제품을추천한다. 그러나, 전자거래가발전하면서, 제품과사용자의수가증가했고데이터희소성문제로인해정확한추천이힘들어졌다. 이러한문제를해결하기위해제품과관련된텍스트데이터를사용하는행렬분해법이최근제안되었다. 제안된방법중컨볼루션뉴럴네트워크를이용하여텍스트데이터로부터특징벡터를추출하여제품을추천하는방법이효과적이다. 하지만기존연구는단어수준으로텍스트데이터를고려하기때문에학습해야하는파라미터의수가많은등의문제가발생한다. 본논문에서는문자단위컨볼루션뉴럴네트워크를사용하여추천을위해효과적으로문자단위특징을뽑아내는행렬분해법을제안한다. 또한제안하는행렬분해법의성능을검증하기위하여실제데이터를이용하여실험을진행하였다. 주요어 : 추천시스템, 행렬분해법, 컨볼루션뉴럴네트워크, 문자단위학번 : i

5 목 차 제 1 장서론... 1 제 1 절연구의배경및내용... 1 제 2 장관련연구... 3 제 1 절행렬분해법... 3 제 2 절컨볼루션뉴럴네트워크... 6 제 3 절문자단위텍스트분석... 9 제 3 장제안하는행렬분해법 제 1 절문자단위컨볼루션뉴럴네트워크구조 제 2 절최적화과정 제 4 장실험 제 1 절실험환경및실험데이터 제 2 절성능측정지표및세부사항 제 3 절실험결과및분석 제 5 장결론 참고문헌 Abstract ii

6 표목차 [ 표 1] 실험데이터의통계치 [ 표 2] 모델과데이터에따른 RMSE 와컨볼루션뉴럴네트워크에서의모델파라미터수 [ 표 3] 한에폭당소요되는평균학습시간 ( 초 ) 그림목차 [ 그림 1] 행렬분해법의과정... 4 [ 그림 2] 제품관련데이터를활용하는행렬분해법... 5 [ 그림 3] `1 차원컨볼루션뉴럴네트워크의구조... 8 [ 그림 4] 문자단위컨볼루션뉴럴네트워크구조 [ 그림 5] 제안하는모델의학습과정에대한의사코드 iii

7 제 1 장서론 제 1 절연구의배경및내용 추천시스템은특정사용자가가장구매할법한제품을해당사용자에게추천해준다. 그렇기때문에, 기업의이익을최대화하기위해서추천시스템을통한정확한제품추천이중요하다. 실제로 Amazon과 E-Bay와같은회사들은현재추천시스템을이용하여, 사용자에게제품을추천해주고있다 [11]. 그리고 Netflix와 YouTube 역시추천시스템을통해사용자에게영화와영상을추천해주고있다. Netflix에서시청되는영화중 80% 가추천의영향을받았고 [1], YouTube에서시청되는영상중 60% 가추천에의한것이다 [2]. 최근전자상업거래등이발전하면서제품과사용자의숫자가급격히증가하고있다. 제품과사용자의수가급격히증가함에따라추천시스템에서사용하는사용자-제품평점행렬의희소성 (sparsity) 이증가하였다. 데이터의희소성이증가하였기때문에기존추천시스템에서주로사용되는방법중하나인행렬분해법 [3] 의성능이떨어졌다. 이러한데이터희소성문제를해결하기위하여, 제품과관련있는데이터를사용하는연구들 [4, 5, 6] 이진행되었다. 특히컨볼루션뉴럴네트워크를이용하여제품과관련된텍스트데이터를단어단위로고려하여, 추천을진행하는연구 [4] 가최근제시되었다. 하지만단어를기본단위로하여텍스트데이터를고려하면같은접두사, 접미사등을가지면서유사한의미를가지는단어를다른단어로인식하는등의원인으로인하여학습해야하는파라미터의개수가비교적많고, 학습데이터에나타나지않은단어가시험데이터에나타나는경우해당단어의의미를효율적으로반영하지못하는문제가발생한다. 본논문에서는텍스트데이터를문자단위로고려하기위한문자단위컨볼루션뉴럴네트워크를사용하는행렬분해법을 1

8 제안하였다. 먼저 2장에서는기존의행렬분해법에대한설명을포함하여, 컨볼루션뉴럴네트워크와문자단위텍스트분석에대하여소개한다. 3장에서는본논문에서제안하는문자단위컨볼루션뉴럴네트워크를이용한행렬분해법모델에대해소개한다. 4장에서는제안한모델과단어단위컨볼루션뉴럴네트워크를이용하는행렬분해법의성능을비교하고, 그에대한분석을진행한다. 마지막으로 5장에서는내용을정리하고결론을맺는다. 2

9 제 2 장관련연구 제 1 절행렬분해법 협업필터링은특정사용자의선호도를파악하여해당사용자와비슷한선호도를가지고있는사용자가구매한제품을해당사용자에게추천해주는방식이다. 이러한협업필터링을모델링하는방법중많이사용되는방법이행렬분해법이다. 행렬분해법에서사용하는데이터는사용자-제품평점행렬이다. 사용자-제품평점행렬은 N명의사용자와 M개의제품, 그리고각사용자가제품에매긴평점에대한정보가있는경우정의된다. 사용자-제품평점행렬 R R N M 에서의각원소 (R) i,j 는 i 번째사용자가 j 번째제품에매긴평점으로정의된다. 실제상황에서사용자가모든제품에대하여평점을매기지않기때문에, 사용자-제품평점행렬 R에는알지못하는원소들이상당수존재한다. 행렬분해법은사용자-제품평점행렬 R 에서값을알지못하는원소들을추측하는방법으로, 사용자-제품평점행렬의본래모습을추정하는것이행렬분해법의목표이다. 3

10 그림 1. 행렬분해법의과정 불완전한사용자-제품평점행렬 R 을추정하기위하여행렬 R의계수 (rank) 를 k로가정한다. R의계수를 k로가정하였기때문에 R 을 2개의잠재행렬 (latent matrix) U T R N k 와 V R k M 의곱으로나타낼수있다. 행렬분해법은현재주어진사용자-제품평점행렬 R 을가장잘나타낼수있는잠재행렬 U 와 V 를구하는방법이다. 잠재행렬 U 의 i 번째열에해당하는벡터를 u i, V의 j번째열에해당하는벡터를 v j 라고했을때, 각벡터들은 i 번째사용자에대한잠재벡터 (latent vector), j 번째제품에대한잠재벡터를뜻한다. 또한, i 번째사용자가 j 번째제품에매긴평점의추정치 r ij는 u i 와 v j 두잠재벡터의내적으로정의된다. 그림 1은행렬분해법의과정을그림으로표현한것으로, 실제사용자-제품평점행렬을사용자잠재행렬과제품잠재행렬로나누어추정하는것을표현하고있다. 행렬분해법에서잠재행렬 U, V 를추정하는방법으로가장일반적인방법은손실함수 (loss function) 을정의한후, 손실함수를최소화시키는 U, V 를구하는방법이다. 확률모델링을이용하여손실함수를정의하는방법이 [3] 에서제시되었다. N M ij (r ij u T i v j ) u U v V i j 4

11 ij 는지시함수 (indicator function) 로 r ij 가학습데이터에서관측이된경우에 1을가지고, 나머지경우에는 0을가지는함수이다. 그리고 는프로베니우스노름 (Frobenius norm) 을의미한다. 위식에서 (r ij u T i v j ) 부분은잠재벡터 u i, v j 을이용하여추정한추정치와실제학습데이터에존재하는평점간의차이를의미하는부분이고, U 와 V 부분은오버피팅을막기위하여추가된부분이다. 위손실함수를최소화하는파라미터 U, V 를경사하강법 (gradient descent) 방법으로찾는것이행렬분해법의일반적방법이다. 최근, 사용자-제품평점행렬의희소성이높아지면서아이템과관련된여러데이터를활용하는행렬분해법모델들 [4, 5] 이제시되었다. 이러한방법들은제품과관련된데이터로부터인공신경망구조를이용해특징벡터를뽑아내고뽑아낸특징벡터를행렬분해법에서잠재행렬 V 를추측하는데사용한다. [4] 에서는제품과관련된텍스트데이터로부터단어단위특징벡터를뽑아내는행렬분해법을제시하였고, [5] 에서는제품의이미지데이터로부터특징벡터를뽑아내어, 행렬분해법을진행하는모델을제시하였다. 그림 2는제품과관련된데이터를활용하여행렬분해법을진행하는과정에대하여표현하는그림이다. 그림 2. 제품관련데이터를활용하는행렬분해법 5

12 제 2 절컨볼루션뉴럴네트워크 컨볼루션뉴럴네트워크는이미지분야에서주로사용되는인공신경망구조이다. 이미지데이터로부터특징벡터를뽑아내는경우에주로사용되고있으며, 이미지분류 [7] 를포함한여러분야에서활용되고있다. 일반적인이미지데이터에대해서는 2차원컨볼루션뉴럴네트워크가적용되지만, 본논문에서는텍스트데이터에대하여컨볼루션뉴럴네트워크를적용할것이므로텍스트데이터에주로사용되는 1차원컨볼루션뉴럴네트워크를소개한다. 컨볼루션뉴럴네트워크는크게컨볼루션레이어 (convolutional layer) 와풀링레이어 (pooling layer) 로나눌수있다. 입력벡터시퀀스 x (x, x,, x T ) 로주어지고, 시퀀스 x 의각원소 x i ( i T ) 는 d 차원벡터일때, 필터의개수가 k 개이고윈도우사이즈가 인경우컨볼루션레이어는행렬 W [W, W,, W k ] 로나타낼수있고 ( W i R d h i k ), j 번째채널을통해컨볼루션레이어에서일어나는연산은아래와같다. c l j f(w j x l:l+h b j ) 여기서 x l:l+h R d h 는입력벡터 x l, x l+,, x l+h 를모두이어붙인 (concatenate) 한벡터이고, b j 는바이어스 (bias) 텀이고, f는원소별로적용되는비선형함수로 sigmoid 함수, tanh 함수, ReLU 함수 [12] 등을사용한다. 는컨볼루션연산을의미한다. 컨볼루션연산이란연산자의왼쪽피연산자, 오른쪽피연산자를원소별곱셈 (element-wise multiplication) 을진행한후그결과값으로나온행렬에있는모든원소를더하는연산이다. 최종적으로 j 번째채널에서생성된특징벡터는 c j l 를발생할수있는윈도우의모든경우에대하여이어붙인 (concatenate) 벡터이다. 그렇기때문에컨볼루션레이어에서최종적으로얻어지는벡터는다음과같다. 6

13 c j [c j, c j j,, c T h+ ] 풀링레이어에서는많은경우컨볼루션레이어에서의출력시퀀스 c [c, c,, c k ] 를입력으로받지만, 본논문에서는좀더일반적인경우를가정하여각원소가 d차원벡터 y j ( j P) 인시퀀스 y (y, y,, y P ) 를입력으로받는다고하자. 풀링레이어에서의연산은차원을줄여주는다운샘플링효과가있는데, 길이 n 에대하여정의되게된다. 여기서 n 은몇개의원소를고려하여특징벡터를뽑을것인지를결정하는하이퍼파라미터이다. 풀링레이어에서의연산은아래와같이정의된다. m t g(y t, y t+,, y t+n ) 여기서 g 는어떤기준으로특징벡터를뽑을지를결정해주는함수이다. 대부분의경우에 max함수를사용해준다. 그렇기때문에풀링레이어의이름을맥스풀링레이어라고부르는경우도있다. 모든 t 에대하여풀링레이어연산을한후에결과를모두이어붙인것을풀링레이어의최종출력벡터이다. 식으로나타내면아래와같다. m (m, m,, m P n+ ) 그림 3은본논문에서제시하는모델이사용하는 1차원컨볼루션뉴럴네트워크구조이다. 해당예제는컨볼루션레이어에서의윈도우사이즈가 2인경우를그림으로표현하였다. 그리고풀링레이어연산을진행할때 n T 로설정한경우이고, 모든채널에서출력된결과에대하여풀링레이어연산을진행하였다. 컨볼루션레이어와풀링레이어를연속적으로적용하는경우가많고, 그결과나온벡터를 v라고했을때, v를시퀀스 X 에대한특징벡터로사용하고이를완전연결레이어 (fully connected layer) 와같은또다른네트워크의입력으로넣어사용하는경우도많다. 이러한 1차원컨볼루션뉴럴네트워크를사용하여텍스트로부터특징벡터를추출해낸후, 여러테스크를진행하는연구들 [4, 8] 이제시되었다. 7

14 그림 3. 1 차원컨볼루션뉴럴네트워크의구조 8

15 제 3 절문자단위텍스트분석 텍스트데이터를인공신경망구조를이용하여고려하는대부분의모델들 [4, 8] 은단어를기본단위로고려하게된다. 하지만단어를기본단위로고려하게되면몇가지문제점이발생한다. 첫째로, 학습데이터에존재하지않는단어가시험데이터에나타나는경우그단어의의미를효과적으로반영할수없다. 단어단위로텍스트를고려하는경우, 학습데이터에존재하는단어를통해단어들의집합을만들고해당집합에없는단어는모두 Unknown 이라는토큰으로취급을한다. 그렇기때문에학습데이터에없는새로운단어가시험데이터에서나타나는경우, 새로운단어모두가 Unknown 이라는토큰으로취급받고, 그로인해새로운단어의실제의미를효과적으로반영할수없다. 이러한문제는학습데이터에있는단어들의집합 ( 일반적으로해당집합을 vocabulary 라고표기함 ) 에존재하지않는단어때문에발생하는문제이므로, Out of Vocabulary(OOV) 문제라고도한다. 둘째로, 학습해야하는파라미터의개수가상대적으로많다는것이다. 인공신경망구조에서텍스트를단어단위로고려하는경우, 앞에서서술한것처럼학습데이터에있는단어들을이용해집합을만들고, 해당집합에있는단어들을각각 e차원의벡터로변환하여인공신경망구조에적용하게된다. 그렇기때문에해당집합에있는단어들의개수를 D 라고하면, 집합에있는모든단어를벡터로바꾸기위해필요한파라미터개수는 D e 개이다. e 에해당되는단어를의미하는벡터차원은상당히높은차원인 100차원, 200차원등으로변환하는것이일반적이다. 집합에있는단어들의수도상당히많기때문에, 학습해야하는파라미터의개수가비교적많아지게된다. 이러한문제를해결하기위하여텍스트를인공신경망구조를이용하여고려할때, 단어를기본단위로하는모델이아닌 9

16 문자를기본단위로하여고려하는모델들이제시되었다. 문자단위로텍스트를고려하게되면, 모델이단어를구성하고있는문자열로부터의미를학습하기때문에학습데이터에없는단어의의미도문자열을이용하여의미를추론해낼수있을뿐만아니라오타가발생한텍스트를다루는경우, SNS에있는텍스트와같이형태가쉽게변하는텍스트를다루는경우에도의미를효율적으로파악할수있다. 문자단위로텍스트를파악하는경우학습데이터에있는문자들을이용해문자들의집합을만들고, 해당집합에있는각문자를벡터로대응시켜인공신경망에활용한다. 이경우집합에있는문자의수를 D, 각문자로부터대응시킨문자의벡터차원을 e 이라고했을때집합에있는모든문자를벡터로대응시키기위해학습해야하는파라미터의개수는 D e 이다. 영어의경우문자의수는알파벳, 숫자, 기타특수문자등약 100개가량으로제한되고, 문자를벡터로바꾸는경우에큰차원이필요하지않고 8~20 차원정도로설정해도충분하다. 텍스트를단어로고려한경우보다필요한파라미터의개수가급격하게줄어들게된다. 이러한이유때문에텍스트데이터를문자단위로고려하는모델은문서분류 [9] 와정보검색 [10] 등에활용되고있다. 10

17 제 3 장제안하는행렬분해법 본연구에서제안하는행렬분해법 (CharMF) 은 [4] 에서제안하는행렬분해법을기반으로하고있고, 컨볼루션뉴럴네트워크에서의입력으로텍스트를고려하는경우에기본단위를문자단위로고려한것이차이점이다. 제안하는행렬분해법 (CharMF) 과 ConvMF[4] 가기존의행렬분해법 [3] 과의가장큰차이점은 j 번째제품에대한잠재벡터 v j 를만들때, 제품과관련된텍스트를고려한다는점이다. 제 1 절문자단위컨볼루션뉴럴네트워크구조 제품과관련된텍스트를고려하기위해서본논문에서는 1차원컨볼루션뉴럴네트워크를사용하였고, 문자단위컨볼루션뉴럴네트워크를사용하는행렬분해법모델 [4] 의단점을극복하기위해, 문자단위컨볼루션뉴럴네트워크구조를사용하였다. 사용한 1차원컨볼루션뉴럴네트워크는임베딩레이어 (Embedding layer), 컨볼루션레이어 (Convolutional layer), 풀링레이어 (Pooling layer), 출력레이어 (Output layer) 로이루어져있다. 전체적인컨볼루션뉴럴네트워크의구조는 [4] 와같고, 입력텍스트데이터의기본단위를문자단위로한다는것이다른점이다. 컨볼루션뉴럴네트워크의구조가 [4] 와같지만본논문에서이해를위하여설명을하겠다. 1. 임베딩레이어 (Embedding layer) 임베딩레이어는텍스트데이터를행렬로바꾸어주는역할을한다. Vocabulary에존재하는모든문자에대하여대응되는벡터를생성한다. 텍스트데이터를문자 t 개의배열로보고각문자들을해당되는벡터로변환한다. 그후, 문자 t개에해당하는벡터들을모두이어붙여 (concatenate) 텍스트데이터에해당하는행렬을만들어준다. 각문자에해당되는벡터들은최적화과정에서단어임베딩벡터처럼학습된다. 텍스트데이터를행렬로바꾸었을때나타나는행렬 D R p t 는다음과 11

18 같이나타낼수있다. D [, c i, c i, c i+, ] p 는문자를벡터로나타냈을때몇차원의벡터로나타낼것인가를정하는하이퍼파라미터 ( 임베딩차원 ) 이고, l 은텍스트길이, c i 는텍스트에서 i번째문자를대응시킨벡터이다. 2. 컨볼루션레이어 (Convolution layer) 컨볼루션레이어는임베딩레이어에서구한텍스트행렬로부터특징벡터를뽑아낸다. 윈도우사이즈를이용하여몇개의문자를고려하여특징벡터를뽑아낼지결정하고, 몇개의채널을통해특징벡터를뽑아낼지결정한다. ws가윈도우사이즈이고, k개의필터를통해텍스트의 i번째문자에서부터 i ws번째문자까지고려하면서 j 번째채널에서뽑아낸문맥적특징벡터 c j i 는다음과같이나타난다. c i j f(w c j D(:, i: (i ws )) b c j ) 윈도우행렬 W j c R p ws 이고, 비선형함수 f 는 ConvMF[4] 에서사용한것과같은 ReLU함수 [12] 를사용하였다. 최종적으로 j번째채널에서생성된특징벡터는 c j i 를모든윈도우에대해이어붙인 (concatenate) 벡터를사용한다. 그렇기때문에 j 번째채널에서최종적으로생성된특징벡터 c j 는다음과같이표현이가능하다. c j [c j, c j j,, c l ws+ ] 3. 풀링레이어 (Pooling layer) 풀링레이어에서는각채널에서생성된특징벡터의차원을줄여준다. 특징벡터의차원을줄이면서텍스트를잘나타내야한다. 본모델은최대풀링 (max pooling) 을사용했으며, 모든채널에대하여최대풀링된특징벡터를모두이어붙인 (concatenate) 벡터를텍스트데이터에대한최종적인특징벡터로사용한다. 풀링레이어에서최종적으로뽑힌텍스트의특징벡터 d f 는다음과같다. 12

19 d f [max(c ), max(c ),, max (c n c)] 여기서 n c 는컨볼루션레이어에서사용한채널의개수이다. 4. 출력레이어 (Output layer) 풀링레이어에서뽑은텍스트데이터의특징벡터차원이 행렬분해법에서가정했던 R 의계수인 k 가아니기때문에 직접적으로제품의특징벡터로사용할수없다. 그렇기때문에 출력레이어에서는풀링레이어에서뽑은특징벡터를행렬 분해법에사용할수있도록제품의특징벡터로변환시켜준다. 최종적으로변환된아이템의특징벡터 s 는아래의식에의하여 계산된다. s tan (W f {tan(w f d f b f )} b f ) W f R f n c, W f R k f 는벡터의차원을바꿔주기위한투사행렬이고, b f R f, b f R k 는바이어스텀이다. 위의계산과정을통해텍스트데이터에대한특징벡터는제품의잠재벡터로변환된다. 입력으로 j 번째제품에대한텍스트 X j 가입력으로들어간경우, 최종적으로출력되는 j 번째제품에대한잠재벡터 s j 는다음과같이정리하여나타낼수있다. s j CNN(W, X j ) W 는컨볼루션뉴럴네트워크에서의모든모델파라미터이고, CNN 은앞의과정에서설명한모든과정을나타낸다. 그림 4 는본논문에서사용한문자단위컨볼루션뉴럴네트워크구조를그림으로나타낸것이다. 그림 4. 문자단위컨볼루션뉴럴네트워크구조 13

20 제 2 절최적화과정 제안하는모델의손실함수와최적화과정은 ConvMF[4] 에서의똑같은형태의손실함수와최적화과정을 사용한다. N i M j (U, V, W) (r ij u i T v j ) u i M j v j cnn(w, X j ) k w k u i 와 v j 의경우경사하강법 (gradient descent) 를이용하여 업데이트를해준다. 본모델에서사용한경사하강법은좌표 하강법 (coordinate descent) 로 u i 만변수로생각하여최적해를 찾은후 v j 만을변수로생각하여최적해를찾는것을반복하는 방법이다. u i 와 v j 로손실함수를미분하여최적해를찾아 업데이트하는식은다음과같다. u i (VV T U k ) VR i v j (UU T V k ) (UR j VCNN(W, X j )) k 는 k k 단위행렬이고, R i M N (r ij ) j, Rj (r ij ) i 이다. 컨볼루션뉴럴네트워크에서의파라미터들은전체손실함수 (U, V, W) 에서컨볼루션뉴럴네트워크와관련있는부분만을 최소화시키기위한방향으로학습된다. 그렇기때문에전체손실 함수 (U, V, W) 에서컨볼루션뉴럴네트워크와관련있는부분에 해당하는손실함수는다음과같다. M cnn(w) j v j cnn(w, X j ) k w k 위의손실함수식을기반으로하여, 컨볼루션뉴럴네트워크의 파라미터들은에러역전파방법 (back propagation) 을통하여 최적화된다. 컨볼루션뉴럴네트워크를통해뽑아낸특징벡터가제품의 잠재벡터를잘나타내야하기때문에, 한에폭에서일어나는 실제학습과정은먼저 u i, v j 를학습한후, 컨볼루션뉴럴 네트워크를학습하는과정으로진행된다. 또한오버피팅을막기 14 N i

21 위하여 early stopping 테크닉을사용하였다. Early stopping 테크닉의과정은다음과같다. 학습을해나가면서, 검증데이터 (validation data) 에대해성능을측정을동시에측정한다. 매학습에폭마다이전에폭에서의검증데이터에대한성능과학습에폭에서의검증데이터에대한성능을비교한다. 학습에폭이전의검증데이터성능이더좋은경우에대해서만 count 를 1만큼증가시킨다. count 가하이퍼파라미터 c 보다커지게되는경우에학습을중단한다. Early stopping을사용하면, 너무지나치게학습데이터에피팅 (fitting) 되는오버피팅문제를방지할수있기때문에많이사용되는일반화기법이다. 그림 5는학습과정을나타내는의사코드이다. 그림 5에서 5,6번째줄은 u i 와 v j 를학습하는과정이고, 7번째줄은컨볼루션뉴럴네트워크의파라미터를학습하는과정이다. Train_Procedure(U, V, W, X, train_data, valid_data, c) 1. count = 0 2. prev_eval = 3. while count<c 4. for r ij train_data 5. u i (VV T λ U I k ) VR i 6. v j (UU T λ V I k ) (UR j λ V CNN(W, X j ) 7. W train_cnn(w, X j ) 8. eval = eval_measure(u, V, W, X,valid_data) 9. if (eval<pre_eval) 10. prev_eval = eval 11. else 12. count ++ 그림 5. 제안하는모델의학습과정에대한의사코드 15

22 제 4 장실험 제 1 절실험환경및실험데이터 실험은 Intel(R) Core(TM) i GHz의환경인머신에서진행되었다. 메인메모리의용량은 4GB이고, 장착된그래픽카드는 GeForce GTX980 GPU 이다. 실험에서사용한데이터는 2종류로다음과같다. MovieLens 1 : 사용자가영화에대하여평점을매겨놓은데이터이다. 사용한텍스트데이터는 IMDB 2 사이트에서해당영화의줄거리 (plot summary) 를사용하였다. 매겨놓은평점의범위는 1점 ~5점이다. Amazon 3 : 사용자가 instant video 제품에대하여평점을매겨놓은데이터이다. 사용한텍스트데이터는해당제품에대한리뷰텍스트를사용하였다. 매겨놓은평점의범위는 1점 ~5점이다. 실험을통하여성능을비교한알고리즘은총 4가지로다음과같다. ProbMF[3] : 사용자-제품평점행렬만을이용해, 최적화과정을통해평점을추정하는알고리즘이다. ConvMF[4] : 사용자-제품평점행렬과제품과관련된텍스트를함께고려하여평점을추정하는알고리즘이다. 제품과관련된텍스트를고려할때단어단위컨볼루션뉴럴네트워크를사용하는모델이다. ConvMF+[4] : ConvMF와동일한알고리즘으로, 단어를벡터로임베딩할때미리학습되어있는파라미터인 Glove[13] 를이용하는알고리즘이다. CharMF : 본논문에서제안하는알고리즘으로, 사용자-제품평점행렬과제품과관련된텍스트를함께고려하여평점을추정하는알고리즘이다. 제품과관련된텍스트를고려할때문자단위컨볼루션뉴럴네트워크를사용하는모델이다

표 1. 실험데이터의통계치 Data # of users # of items # of ratings Density MovieLens 6,040 3,667 997,780 4.

23 표 1. 실험데이터의통계치 Data # of users # of items # of ratings Density MovieLens 6,040 3, , % Amazon 426,924 26, , % 표 1 은각실험데이터에대한통계치를나타내는것으로, density 는데이터에서알려진평점의개수를사용자 - 제품 평점에서존재할수있는모든평점의개수로나눈것이다. 17

24 제 2 절성능측정지표및세부사항 성능측정지표로는평균제곱근오차 (RMSE) 를사용하였다. 실제데이터에서확인할수있는평점값을 r ij, 각알고리즘을이용하여추정한값을 r ij으로두면, 평균제곱근오차를나타내는식은아래와같다.,, ( ) f tin s 해당식에서 ij 는시험데이터 (test data) 에서 r ij 이존재하는경우에는 1, 그렇지않은경우에는 0 을가지는함수이다. 전체데이터의 80% 는학습데이터로, 10% 는검증 데이터 (validation data), 10% 는시험데이터로사용하였다. 실험은 3 번반복하였고, 그평균값을측정하였다. 채널의개수와 u, v 값은 [4] 에서의값과똑같이사용하였다. 제안하는 모델에서고려한문자는모두 95 개이고, 아래와같다. 알파벳대문자 : ABCDEFGHIJKLMNOPQRSTUVWXYZ 알파벳소문자 : abcdefghijklmnopqrstuvwxyz 기타특수문자 : ` =\~!@#$%^&*()_+,./<>?[]{};:'" 모든문서는앞에서 1000 개단어에해당하는내용만고려하여 사용하였다. 그리고최적화과정에서 early stopping 을위해 count 가 5 보다작은경우에대해서만학습을진행하였다. 18

25 제 3 절실험결과및분석 표 2와표 3을통하여모델과데이터에따른실험결과를비교하였다. 표 2에서는데이터와모델을바꿔가며평균제곱근오차를측정하였고, 표 3에서는데이터와모델을바꿔가며한에폭당소요되는평균학습시간을측정하였다. 1. 모델의성능비교 표 2의실험결과를통해, MovieLens 데이터에대해서텍스트데이터를사용하지않는 ProbMF[3] 보다텍스트데이터를활용하는 ConvMF[4], ConvMF+[4], CharMF 3가지모델의성능이더좋다는것을알수있다. 그리고텍스트데이터를활용하는 3가지모델모두비슷한성능을보이고있다는것을알수있다. 이러한결과를통해텍스트데이터를고려하여추천을진행할경우, 성능이높아진다는것을알수있다. Amazon 데이터에대해서역시텍스트데이터를사용하지않는 ProbMF[3] 보다텍스트데이터를활용하는모델의성능이더좋다는것을알수있다. 텍스트데이터를활용하는모델중에서는본논문에서제안하는 CharMF의경우가가장성능이좋다는것을알수있다. 또한 MovieLens 데이터와 Amazon 데이터모두에대하여, 텍스트를사용하는모델의컨볼루션뉴럴네트워크파라미터수를비교하면본논문에서제안하는 CharMF가 ConvMF와 ConvMF+ 보다훨씬적다는것을알수있다. CharMF가컨볼루션뉴럴네트워크의파라미터개수가적기때문에더많은시스템에적용하기쉬운장점등이있어활용가능성이높다. 그렇기때문에, 성능과모델파라미터의개수모두 CharMF가기존모델인 ConvMF, ConvMF+ 보다뛰어나다는것을알수있다. 표 2는데이터와모델을바꿔가며실험했을때, 평균제곱근오차와컨볼루션뉴럴네트워크에서의모델파라미터의개수를나타낸것이다. 19

26 표 2. 모델과데이터에따른 RMSE 와컨볼루션뉴럴네트워크에서의모델파라미터수 Data MovieLens 모델 RMSE # of parameters RMSE ( 0 5 ) Amazon # of parameters ( 0 5 ) ProbMF ConvMF ConvMF CharMF

27 2. 한에폭당소요되는평균학습시간비교 표 3을통하여 ConvMF[4] 와 CharMF의데이터에따라한에폭 (1 epoch) 당소요되는평균학습시간을비교할수있다.(ConvMF와 ConvMF+ 는실질적으로비슷한모델이므로, 여기서는 ConvMF에대해서만서술한다.) 표 3에의하면한에폭당소요되는학습시간은 ConvMF보다 CharMF가더짧다. ConvMF와 CharMF에서의한에폭당소요되는학습시간은 2가지요소에의하여결정된다. 첫번째요소는사용자-제품평점행렬을나타내는파라미터인 U와 V를학습하는시간이고, 두번째요소는컨볼루션뉴럴네트워크의파라미터들을학습하는시간이다. 사용자-제품평점행렬의계수 (rank) 를똑같이가정하고, 학습데이터로같은데이터를사용했더라면 ConvMF와 CharMF에서의한에폭당소요되는학습시간의첫번째요소인 U 와 V 를학습하는시간은이론적으로같다. 그렇기때문에시간에서차이가나는이유는두번째요소인컨볼루션뉴럴네트워크의파라미터들을학습하는시간에의한것이라고생각할수있다. 해당컨볼루션뉴럴네트워크의파라미터를학습하는시간은컨볼루션레이어에서발생되는연산의영향이가장크다. ConvMF보다 CharMF의한에폭당소요되는학습시간이줄어들었기때문에, CharMF의컨볼루션레이어에서발생되는연산시간이줄어들었기때문으로해석할수있다. 컨볼루션레이어에서의발생되는연산시간이줄어든이유중가장주요한원인으로생각해볼수있는것은텍스트의기본단위를벡터로바꾸는과정에서벡터의차원이줄어듦을생각해볼수있다. ConvMF에서는 200차원벡터를사용했지만, CharMF에서는 8차원벡터를사용하였다. 입력으로들어가는벡터의차원이급격히줄어들어, 컨볼루션레이어에서의연산량이줄었고, 그로인해한에폭당소요되는학습시간이줄어들었다고해석할수있다. 21

28 표 3. 한에폭당소요되는평균학습시간 ( 초 ) 모델 MovieLens 한에폭당소요되는평균학습시간 ( 초 ) Data Amazon 한에폭당소요되는평균학습시간 ( 초 ) ConvMF ConvMF CharMF

29 제 5 장결론 본논문에서는텍스트로부터문자단위의미를고려하기위해, 문자단위컨볼루션뉴럴네트워크를이용한행렬분해모델을제시하였다. 제시한모델을단어단위컨볼루션뉴럴네트워크를이용한행렬분해모델 [4] 과실제데이터를이용하여실험을통해성능및한에폭당평균학습시간을비교하였다. 본논문에서제시한모델의성능이단어를단위로텍스트를고려하는모델보다좋은경우가있다는것을확인하였고, 성능이낮은경우에도허용할수있는정도의수치였다는것을확인하였다. 그리고모델파라미터숫자에대한측면에서는기존모델보다훨씬좋아진다는것을알수있다. 한에폭당소요되는평균학습시간이줄어든것을실험적으로확인하였고그로인한원인으로는텍스트의기본단위를벡터로바꾸는과정에서차원이줄어들었기때문으로해석할수있다. 또한문자단위로텍스트를고려할때모든문자를소문자로고려하는경우, 대문자와소문자를따로고려하는경우에대하여도실험을진행하였고, 성능을비교하였다. 실험을통하여본논문에서제안한문자단위컨볼루션뉴럴네트워크를활용하여텍스트데이터로부터문자단위특징을뽑아내었을때, 그특징이잘뽑아지고추천시스템의성능이향상된다는것을알수있다. 23

30 참고문헌 [1] Gomez-Uribe, Carlos A., and Neil Hunt. "The netflix recommender system: Algorithms, business value, and innovation." ACM Transactions on Management Information Systems (TMIS) 6.4 (2016): 13. [2] Davidson, James, et al. "The YouTube video recommendation system." Proceedings of the fourth ACM conference on Recommender systems. ACM, [3] Mnih, Andriy, and Ruslan R. Salakhutdinov. "Probabilistic matrix factorization." Advances in neural information processing systems [4] D Kim, C Park, J Oh, S Lee, and H Yu. "Convolutional matrix factorization for document context-aware recommendation. In Proceedings of the 10th ACM Conference on Recommender Systems. ACM, p [5] H Ruining, and J McAuley. "VBPR: Visual Bayesian Personalized Ranking from Implicit Feedback. In AAAI p [6] F Zhang, NJ Yuan, D Lian, X Xie, and WY Ma. "Collaborative knowledge base embedding for recommender systems. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. ACM, p [7] Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arxiv preprint arxiv: (2014). [8] Y Kim. "Convolutional neural networks for sentence classification. arxiv preprint arxiv: (2014). [9] X Zhang, J Zhao and Y LeCun. Character-level convolutional networks for text classification. In Advances in neural information processing systems p [10] Y Shen, X He, J Gao, L Deng and G Mesnil. A latent 24

31 semantic model with convolutional-pooling structure for information retrieval. In Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management. ACM, p [11] Lu, Jie, et al. "Recommender system application developments: a survey." Decision Support Systems 74 (2015): [12] Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." Proceedings of the 27th international conference on machine learning (ICML-10) [13] J Pennington, R Socher and C Manning. Glove: Global Vectors for Word Representation. In: Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP) p

32 Abstract Matrix Factorization for Recommendation Systems Utilizing Text Data - By Using a Character-level Convolutional Neural Network- Donghee Son Electrical and Computer Engineering The Graduate School Seoul National University Many companies are using recommendation systems to maximize the companies profit. Matrix factorization is mainly used by recommendation systems to exploit information about users preferences for items. However, since the numbers of users and items dramatically increasing due to development of E-commerce, it becomes difficult to make successful recommendations. Recently the use of text data related to items was proposed for matrix factorization to overcome this drawback. The recommendation system was shown to be effective extracting feature vector by using a word-level convolutional neural network. However, it involves a large number of parameters to learn in a word-level convolutional neural network. Thus, I propose the matrix factorization algorithm, which utilizes a character-level convolutional neural network to extract the character-level context features for recommendation from text data. I also conducted performance study with real-life datasets to show the effectiveness of the proposed matrix factorization algorithm. Keywords : recommendation system, matrix factorization, convolutional neural network, character-level Student Number :

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우,