저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

Transcription

1 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 공학석사학위논문 순환신경망기반시퀀스투시퀀스학습을이용한대화응답생성 Dialogue response generation using RNN-based sequence-to-sequence learning 2017 년 2 월 서울대학교대학원 컴퓨터공학부 하승도

3 초록 최근대화형에이전트의잇따른등장으로주목을받고있는대화시스템은작업의특정여부에따라작업지향대화시스템과비작업지향대화시스템으로구분할수있다. 이중챗봇으로대표되는비작업지향대화시스템은작업이특정되거나대화형식이제한되지않아사용자와다양한주제의대화를진행할수있다. 하지만대화의문맥을파악하고그에적절한응답을출력해야되기때문에작업지향대화시스템보다어려운문제로평가받고있다. 본연구는순환신경망기반인코더-디코더를이용해대화를구성하는발화들사이의변환확률을학습해대화모델을만들고, 입력된대화의문맥에적절한응답을생성하는문제를다룬다. 그리고미리학습된단어임베딩을이용해단어들의의미적관계를강화하고, 선행발화들전체가후행발화로변환되는확률을구해전체적인대화의문맥을고려한응답을생성하고, 모델파라미터를분석하여최적의값을찾아응답의품질을향상시키는방법을제시한다. 이어서응답의품질을측정하는정량적, 정성적평가기준을제안한다. 직접구축한트위터대화말뭉치를이용해본연구에서제안한방법들의유효성을검증한결과, 생성된응답에대한평가가향상되었다. 그리고미리정의된후보응답중응답을추천하는대화모델과응답의품질을비교한결과, 본연구에서제안한모델의응답이대화에더적절하고선호도또한높았다. 주요어 : 대화응답생성, 챗봇, 순환신경망, 시퀀스투시퀀스 학번 : i

4 목차 제 1 장서론 연구의배경 연구의내용 논문의구성 7 제 2 장관련연구 분류기반대화모델 생성기반대화모델 11 제 3 장시퀀스투시퀀스학습을이용한대화응답생성 문제의정의 시퀀스투시퀀스학습 순환신경망 인코더-디코더 미리학습된단어임베딩의이용 소스시퀀스의범위확장 모델파라미터와주의메커니즘영향분석 26 제 4 장성능평가 데이터셋 성능평가지표 31 ii

5 4.3. 성능평가결과 제안한방법의효과 분류기반대화모델과의비교 38 제 5 장결론및향후연구 결론 향후연구 42 참고문헌 43 Abstract 48 iii

6 그림목차 그림 1 분류기반대화모델의구조 9 그림 2 학습셋크기에따른후보응답의추천비중 10 그림 3 학습셋크기에따른인용구의테스트셋정확도 10 그림 4 학습에사용되는대화구조의예 13 그림 5 순환신경망의구조 14 그림 6 LSTM의구조 16 그림 7 인코더-디코더의구조 17 그림 8 시퀀스투시퀀스의구조및학습방법 20 그림 9 벡터공간에사상된단어들의관계 22 그림 10 기본적인소스시퀀스및응답생성의예 25 그림 11 범위가확장된소스시퀀스및응답생성의예 25 그림 12 파라미터크기와주의메커니즘적용에따른 Perplexity 변화 28 그림 13 개별모델응답의적절성비교 35 그림 14 개별모델응답의자연스러움비교 36 그림 15 제안한방법의효과 37 그림 16 분류모델과생성모델응답의적절성비교 39 iv

7 표목차 표 1 대화말뭉치의통계적정보 30 표 2 대화말뭉치의어휘정보 30 표 3 제안한방법의효과에대한정량적평가 33 표 4 제안한방법의효과에대한정성적평가 34 표 5 분류모델과생성모델응답의적절성비교 38 v

8 제 1 장서론 1.1. 연구의배경 최근대화시스템 (dialogue system) 에대한연구가활발히이루어지면서애플 (Apple) 의시리 (Siri), 구글 (Google) 의구글어시스턴트 (Google Assistant), 아마존 (Amazon) 의에코 (Echo) 와같이실제환경에서사용가능한대화형에이전트가속속등장하고있다. 대화시스템이란사용자와자연어 (natural language) 로소통하면서정보를교환하거나업무의처리를돕는프로그램을뜻한다. 대화시스템은작업의특정여부에따라작업지향대화시스템 (task-oriented dialogue system) 과비작업지향대화시스템 (non task-oriented dialogue system) 으로구분할수있다. 작업지향대화시스템은쇼핑, 길찾기또는금융거래와같이작업이특정된상황에이용되며사용자와대화를주고받으면서사용자의작업의도를파악하고결과에반영한다. 작업과관련없는대화는허용하지않고미리정의된행위 (action) 를수행하기위한대화만을진행하는것이일반적이다. 반면비작업지향대화시스템은작업이특정되거나대화형식이제한되지않아사용자와다양한주제의대화를진행할수있다. 이처럼사용자와자연어로소통하며비작업지향대화를나누는컴퓨터프로그램을챗봇 (chatbot) 이라한다 [29]. 구글 (Google) 의알로 (Allo) 1), 페이스북 (Facebook) 의메신저 (Messenger) 2) 와같이챗봇을내장한모바일메시징앱 (app) 이등 1) 1

9 장하면서챗봇이주목을받고있으며작업지향대화시스템과결합하여사용자와대화를나누면서사용자의의도를자연스럽게파악하려는시도가진행되고있다. 챗봇은작업지향대화시스템과달리대화의형식이미리정의되지않아대화의문맥 (context) 을파악하고입력된메시지 (message) 에적절한응답 (response) 을출력해야한다. 따라서작업지향대화시스템보다어려운문제로평가받고있다 [13]. 챗봇이사용자와다양한주제의대화를나누도록하려면우선각주제전반에대한배경지식을구조화하거나 [9], 사용자가입력한메시지의주제를추정하고관련어를추출하거나 [31], 질의에포함된개체명 (entity) 을식별하거나 [9], 해당질의에적절한응답을문법과문장구조에알맞게생성하는등 [25] 다수의복잡한과정을거쳐야한다. 다행히도인공신경망과기계학습으로대표되는인공지능기술의획기적인발전으로인해발화 (utterance) 들의서열 (sequence) 로이루어진대량의대화말뭉치 (corpus) 를학습하는것만으로도선행발화 (pre-utterance) 가후행발화 (subsequent utterance) 로변환되는확률을계산하여대화모델을만드는일이가능해졌다. 그리고학습이완료된대화모델에메시지를입력하면이를분류 (classification) 해응답을추천하거나 [1], 메시지로부터응답을생성 (generation) 하는 [33] 연구가활발히이루어지고있다. 입력메시지를분류해응답을추천하는연구에서는미리정의된후보응답들중메시지와문맥적유사도 (contextual similarity) 가높은응답을출력하는분류모델을제안했다. 학습에사용한대화말뭉치와유사도가높은메시지에대해서는정확한응답을출력한 2) 2

10 다는장점이있다. 하지만대화말뭉치와유사도가낮은메시지에대한응답의정확도가낮고, 출력할수있는응답의수가한정되어있기때문에사용자와자연스러운대화를나누는챗봇으로활용하기에부족함이있다. 반면입력메시지로부터응답을생성하는연구에서는선행발화가후행발화로변환되는확률모델을미리학습한다음, 입력메시지를모델의확률에따라변환시켜응답을생성한다. 입력메시지에의미적으로대응하면서도학습데이터에없던새로운응답을출력할능력이있어챗봇으로활용하기적합하다. 한가지중요한점은응답이자동으로생성되는만큼응답의품질을보장할수없다는것이다. 따라서학습에사용되는목적함수를개선하여응답의다양성을높이는연구 [15], 메시지를입력하는사용자의대화패턴을학습하여개인화된응답을생성하는연구 [16], 메시지의주제를파악하여학습셋에는없지만주제와연관된단어 (topic word) 를응답에추가하는연구 [34] 모두생성된응답의품질을높이려는공통의목적을취하고있다. 3

11 1.2. 연구의내용 본연구는대화를구성하는발화들사이의변환관계를학습하여대화모델을만들고, 입력된대화의문맥에적절한응답을생성하는문제를다룬다. 이어서응답의품질을향상시키는방법을제시하고응답의품질을측정하는정량적, 정성적평가지표를제안한다. 그리고본연구에서응답의품질을향상시키기위해제안한방법들이유효한지검증한다음, 분류기반응답추천연구 [1] 와견주어응답의품질이향상됨을보인다. 학습에사용한시퀀스투시퀀스 (Sequence-to-Sequence) 는기계번역문제에깊은신경망 (Deep Neural Networks) 기반학습을적용한신경망기계번역 (Neural Machine Translation) 연구 [4, 32] 를통해처음소개되었다. 영어에서프랑스어로번역된병렬말뭉치 (parallel corpus) 로부터소스시퀀스 (source sequence) 를영어문장으로, 타겟시퀀스 (target sequence) 를프랑스어문장으로간주하여두문장간변환확률을학습하였다. 그리고 [33] 은이학습방법을대화모델에적용하여입력메시지에대해일부적절한응답을생성함을사례로보였고챗봇구현에적합한학습방법이될수있다는가능성을확인하였다. 본연구를설계하는과정에서시퀀스투시퀀스학습의두가지특징에주목하였다. 첫번째특징은한대화내선행발화와후행발화를한쌍으로간주하여학습한다는것이다. 이는기계번역문제에서시퀀스투시퀀스학습을하는방식을대화에그대로적용했기때문인데, 문장단위로번역을하는문제와전체대화문맥의범위내에서응답을 4

12 생성하는문제의차이를고려할필요가있다. 대화에서상대방의말에응답할때는상대방이직전에했던말한마디뿐아니라대화의전체적인흐름을고려하기때문이다 [6]. 기존연구들 [15, 33, 34] 은기계번역과유사하게발화단위로학습을하였다. 하지만학습과정에서한개의선행발화만을이용하는대화모델이대화의전체적인흐름을고려하여문맥에적절한응답을생성할수있을지는미지수다. 따라서학습단계에서소스시퀀스의범위를선행발화에서선행발화들전체로확장하여, 선행발화가후행발화로변환되는확률모델이아닌선행대화가후행발화로변환되는확률모델을학습한내용을소개한다. 시퀀스투시퀀스학습의두번째특징은학습에사용하는대화말뭉치의대화스타일에따라생성되는응답의형태가변한다는것이다. 예를들어전자우편데이터를이용해모델을학습하면긍정적인표현의응답이주로생성된다. 이는전자우편의작성자들이주로긍정적이고격식있는표현을사용했기때문이다 [11]. 따라서사용자와일상적인대화를나누는챗봇을구현하기위해서는일상적인대화를수행한데이터를우선적으로확보해야한다. 이에사용자들의대화가실시간으로등록되는소셜미디어에서일상회화에주로사용되는표현이나문구를사용한대화들을수집하여대화말뭉치 (dialogue corpus) 를구축한내용을소개한다. 모델이생성한응답의품질을평가하는것또한중요하나현재로서는객관적인기준이마련되어있지않다 [33]. 일부연구 [8, 16, 30] 에서는기계번역에서사용하는평가기준인 BLEU[23] 나텍스트요약에서사용하는평가기준인 ROUGE[17] 를사용하였다. 하 5

13 지만정답으로미리정의한응답과모델이출력한응답간단어가일치하는비율로평가한결과와사용자가직접응답을읽고평가한결과사이에상관관계가없다고주장하는연구도있다 [18]. 정답으로정의한응답과완전히다른단어로구성된응답이라도대화에는적절한경우가있기때문이다. 따라서응답의품질에영향을미치는요인들을정의하고정량적평가와정성적평가를병행하여응답의품질을평가하는방법을소개한다. 그리고이평가방법을이용하여, 소스시퀀스의범위를확장하여학습한모델이생성한응답의품질이향상된결과및입력메시지를분류해응답을추천하는연구 [1] 에서추천한응답과본연구에서제안하는모델이생성한응답의품질을비교한결과를소개한다. 6

14 1.3. 논문의구성 지금까지챗봇으로대표되는비작업지향대화시스템의특징과구현상어려운점을살펴보았다. 그리고본연구에서다루는문제를소개하고앞으로기술할내용들을요약하였다. 2 장에서는기존에연구된분류기반대화모델과생성기반대화모델을소개하고한계점을짚어본다. 그리고본연구에서생성기반대화모델을사용하는이유를제시한다. 3 장에서는본연구에서다루는대화응답생성의문제를정의하고생성기반대화모델의기반이되는순환신경망과시퀀스투시퀀스학습을소개한다. 이어서이대화모델이생성한응답의품질을향상시키는방법을제시한다. 4 장에서는학습에사용한데이터셋의구축과정과응답의품질을평가하는방법을소개한다. 그다음, 본연구에서응답의품질을향상시키기위해제안한방법들이유효한지검증하고분류기반응답추천모델이추천한응답과본연구에서제안하는모델이생성한응답의품질을비교해본다. 마지막으로 5 장에서는연구의결론을내리고향후연구를제안한다. 7

15 제 2 장관련연구 이장에서는대화모델의관련연구를살펴보고한계점을짚어본다. 대화모델이란특정대화를구성하는발화들의서열 (sequence) 이주어졌을때다음에이어질응답을예측하는모델이다. 모델의종류는크게두가지로나눌수있다. 하나는 2.1 에서살펴볼분류기반대화모델로서, 미리정의된후보응답들에대한확률분포를구해확률이가장높은응답을선택한다. 다른하나는 2.2 에서살펴볼생성기반대화모델로서, 선행발화가후행발화로변환되는확률모델을학습하여응답을생성한다. 두모델에대한소개와함께한계점을짚어보고분류기반대화모델보다생성기반대화모델이챗봇으로대표되는비작업지향대화시스템의구현에적합한이유를제시한다 분류기반대화모델 [1] 은대화에서자주사용되는인용구 (quote) 나일상표현 (common phrase) 을미리후보응답으로선정한다음, 주어진대화와문맥적유사도 (contextual similarity) 가높은응답을추천하는분류기반대화모델을제안했다. 대화말뭉치로학습된분류모델에대화가입력되면코사인유사도 (cosine similarity) 를비롯해랜덤포레스트 (Random Forest), 8

16 합성곱신경망 (Convolutional Neural Network), 순환신경망 (Recurrent Neural Network) 분류기등다양한유사도비교및분류알고리즘을적용해후보응답들의순위목록 (ranked list) 들을각알고리즘마다구한다. 그리고순위목록들을순위통합법 (rank aggregation) 알고리즘으로통합하여최적의후보응답순위목록을생성한다. 그림 1 분류기반대화모델의구조 모델을평가하기위해각후보응답을정답으로하는대화를 10 개씩선정하여테스트셋 (test set) 을만들었다. 테스트결과, 이모델은대화말뭉치를차지하는비중이높은후보응답, 즉학습셋 (train set) 의크기가큰후보응답은추천되는횟수가많고테스트셋 (test set) 에대해서도높은정확도를보였다. 반면학습셋의크기가작은후보응답은추천되는횟수가현저히낮고테스트셋에대한정확도도낮게나타났다. 결과를그림 2 와그림 3 에나타냈으며학습셋의크기순으로하위 50 개후보응답의학습셋에대한비중은전체의 6%, 추천횟수에대한비중은전체의 1%, 테스트셋에대한정확도는평균 5% 로나타났다. 9

17 추천할수있는응답의수가한정되어있고학습셋의크기에따 라추천되는횟수의편중이크기때문에사용자와자연스러운대화 를나누는챗봇으로활용하기에부족함이있다. 그림 2 학습셋크기에따른후보응답의추천비중 그림 3 학습셋크기에따른인용구의테스트셋정확도 10

18 2.2. 생성기반대화모델 [33] 은시퀀스투시퀀스학습을생성기반대화모델에최초로적용하여입력메시지에대해일부적절한응답을생성함을사례로보였고챗봇구현에적합한학습방법이될수있다는가능성을확인하였다. 입력메시지에의미적으로대응하면서도학습데이터에없던새로운응답을출력할수있어챗봇으로활용하기적합하다. 하지만 Me, too, I don t know 와같이일반적인표현이대화말뭉치에빈번하다보니학습결과생성된응답들도일반적이고단조롭다. 즉, 응답이자동으로생성되는만큼응답의품질을보장할수없다는단점이있다. 그래서학습에사용되는목적함수를개선하여응답의다양성을높이는연구 [15], 메시지를입력하는사용자의대화패턴을학습하여개인화된응답을생성하는연구 [16], 메시지의주제를파악하여학습데이터에는없지만주제와연관된단어 (topic word) 를응답에추가하는연구 [34] 모두생성된응답의품질을높이려는공통의목적을취하고있다. 한편기존연구 [15, 16, 33, 34] 는대화를기계번역과유사하게발화단위로학습하였다. 그리고한개의발화로이루어진메시지를입력받은모델이출력한응답만을사례로보였다. 하지만학습과정에서한개의선행발화만을이용하는대화모델이대화의전체적인흐름을고려하여문맥에적절한응답을생성할수있을지는미지수다. 또한발화들의길이가짧고그내용이함축적이거나추상적인경우, 발화단위학습의단점은더욱두드러진다. 문장단위로번역을하는문제와전체대화문맥의범위내에서응답을생성하는문제의차이를고려할필요가있다. 11

19 제 3 장시퀀스투시퀀스학습을이용한 대화응답생성 이장에서는대화를구성하는발화들사이의변환관계를학습하여생성기반대화모델을만들고, 입력된대화에대해모델이생성하는응답의품질을향상시키는방법을제시한다. 3.1 에서는본연구에서다루는문제를기호로정의한다. 3.2 에서는생성기반대화모델의기반이되는순환신경망과시퀀스투시퀀스학습에대해소개한다. 3.3 에서는충분히큰말뭉치로미리학습한단어임베딩으로모델을초기화하는방법을제시한다. 3.4 에서는학습단계에서소스시퀀스의범위를선행발화에서선행발화들전체로확장하여, 선행발화가후행발화로변환되는확률모델이아닌선행대화가후행발화로변환되는확률모델을학습하는방법을제시한다. 3.5 에서는모델을구성하는파라미터들을정의하고, 각파라미터들이모델의성능에미치는영향을분석한다 문제의정의 본연구는대화를구성하는발화들사이의변환관계를학습하여대화모델을만들고, 입력된대화의문맥에적절한응답을생성하는문제를다룬다. 시퀀스투시퀀스학습을적용하기위해대화를구성하는발화들을그림 4 처럼선행발화 (right, I need to lose this 12

20 weight asap!) 후행발화 (me too.), 선행발화 (me too.) 후행발 화 (we got this!) 처럼연쇄적인쌍으로표현한다. 그리고선행발화 는메시지 (message), 후행발화는응답 (response) 이라부른다. 그림 4 학습에사용되는대화구조의예 이를기호로정의하면다음과같다. 대화 는발화 의시퀀스 ( 은발화의수 ) 로정의되고, 각발화는단어 의시퀀 스 ( 는발화 의단어수 ) 로정의된다. 학습단계에서는메시지 가소스시퀀스로입 력되면, 응답 이타겟시퀀스로입력된 다. 시퀀스투시퀀스학습의목표는주어진메시지 가응답 으로변환되는확률 을최대화하는것이며확률은 다음과같이정의된다. (3.1) 13

21 3.2. 시퀀스투시퀀스학습 순환신경망 순환신경망 (Recurrent Neural Network, 이하 RNN)[26] 은시퀀스투시퀀스학습의기반이되는인공신경망으로특정단어들의서열 (sequence) 이주어졌을때다음에이어질단어를예측하는문제인언어모델링 (language modeling)[20] 에성공적으로적용되어기계번역 [2, 32] 이나텍스트요약 [22] 에적극활용되고있다. RNN 의구조는그림 5 와같다. 그림 5 순환신경망의구조 순차데이터의특징은시간요소가있고인접한데이터의관계가독립적이지않다는것이다. 이러한특징을신경망에반영한것이그림 5 ( 출처 : 의왼쪽구조이다. 특정시점 (time step) 에입력 가입력되면신경망의메모리에해당하는은닉뉴런 가이전시점의은닉상태 (hidden state) 를반영하 14

22 여은닉상태 를계산한다. 그리고 를출력뉴런 에통과시켜출력 를생성한다. 즉시점에따라순서대로입력을받고, 이전시점의은닉상태를현시점의입력과공유하여인접한입력간종속성을띠게하므로순차데이터의특징을잘반영한신경망이라볼수있다. 그림 5 의오른쪽구조는왼쪽구조를펼친것으로서연속된세시점에서의 RNN 작동방식을개념적으로나타낸것이다. 특정시점 에은닉뉴런 와출력뉴런 에서수행되는계산을식으로나타내면다음과같다. (3.2) (3.3) 위식에서 는입력가중치행렬, 는은닉가중치행렬, 는출력가중치행렬을나타낸다. 와 는 0 또는 1 로표현된이산값을 0 과 1 사이 ( 또는 1 과 1 사이 ) 의연속값으로변환하는비선형함수로서주로시그모이드 (sigmoid) 함수나쌍곡탄젠트 (tanh) 함수를사용한다. 순차적인데이터로학습을하는과정에서,, 와같은가중치행렬의값들은그라디언트하강 (Gradient Descent) 과역전파 (Back Propagation) 알고리즘에의해입력에대한출력의오류를줄이는방향으로조정된다. 지금까지살펴본 RNN 은가장기본적인구조로서시점이길어질수록초기에입력된정보가손실되는문제가있다. 그래서그림 6 ( 출처 : Chung, J. et al. Empirical evaluation of gated recurrent 15

23 neural networks on sequence modeling. 2014) 과같이 RNN 의메모리에해당하는은닉뉴런대신셀상태 (cell state), 망각게이트 (forget gate), 입력게이트 (input gate), 출력게이트 (output gate) 등한개의상태와세개의게이트로구성된메모리셀을사용하여은닉상태를계산할때초기에입력된정보의손실을막을수있는 LSTM(Long Short Term Memory) 이연구되었다 [10]. 그림 6 LSTM 의구조 은닉상태와는별도로과거의입력에대한정보를기억하는메모리인셀상태와입력, 은닉상태, 셀상태를다음상태나시점에얼마나반영할지조절하는게이트들을추가함으로써긴시퀀스로구성된데이터의초기입력정보도오래보존할수있다. 16

24 인코더 - 디코더 시퀀스투시퀀스 (Sequence-to-Sequence) 는동일의미의영어문장-프랑스어문장처럼대응쌍을이루는데이터를위한학습방법으로서기계번역문제에깊은신경망 (Deep Neural Networks) 기반학습을적용한신경망기계번역 (Neural Machine Translation) 연구 [4, 32] 를통해처음소개되었다. 이학습은앞서소개한순환신경망의한종류인 LSTM 이여러개연결된인코더 (encoder) 와디코더 (decoder) 를통해이루어지며입력데이터에해당하는소스시퀀스 (source sequence) 가출력데이터에해당하는타겟시퀀스 (target sequence) 로변환되는확률모델을만드는것을목표로한다. 그림 7 인코더 - 디코더의구조 17

25 그림 7 ( 출처 : [4]) 에서인코더는소스시퀀스 를구성하는토큰 를순서대로 LSTM 에입력시켜마지막 LSTM 에서출력된은닉상태 (hidden state) 을문맥벡터 (context vector) 로취한다. 이벡터가소스시퀀스의정보를압축하고있다고간주하는것이다. 식으로나타내면다음과같다. (3.4) (3.5) 는이전은닉상태 과입력 를받은 LSTM 이출력한은닉상태를, 는각 LSTM 이출력한은닉상태들중소스시퀀스를대표하는은닉상태를추출하는함수를뜻한다. 기본적으로는마지막은닉상태인 을추출한다. 다음으로디코더는타겟시퀀스 를구성하는임의의토큰 을각각 LSTM 에입력시킴과동시에문맥벡터 를첫번째 LSTM 에은닉상태로입력시킨다. 그리고토큰 을입력받은두번째 LSTM 이출력하는토큰의확률분포에서토큰 가출력될확률이최대가되도록이전셀상태 (cell state) 의값을조정하면서학습을진행한다. 이때토큰의확률분포는학습데이터의모든어휘 ( 중복을제외한개별단어 ) 에대해계산되며확률이가장큰단어가 LSTM 의출력이된다. 이를식으로나타내면다음과같다. (3.6) (3.7) 18

26 이전토큰, 이전셀상태, 문맥벡터 를은닉상태로입력받은 LSTM 은셀상태를 로갱신한다. 그리고함수 는타겟시퀀스의모든이전토큰들 과소스시퀀스 가토큰 로변환될확률 를계산한다. 전체모델을하나의식으로표현하면다음과같다. (3.8) 지금까지소개한기본적인시퀀스투시퀀스학습은소스시퀀스 의길이가길어질수록인코더가생성한문맥벡터가소스시퀀스의 정보를제대로포함하기어려워진다는문제가있다. 문맥벡터는그 크기가한정되어있기때문이다. 이를해결하기위해문맥벡터를디코딩과정에서동적으로생성 하는주의메커니즘 (Attention Mechanism) 이연구되었다 [2]. 앞서 소개한기본적인시퀀스투시퀀스의디코더가하나의문맥벡터 로모든단어들을생성했다면, 주의기반시퀀스투시퀀스의디코 더는각 LSTM 마다서로다른문맥벡터 를이용한다. 이때문 맥벡터들은인코더의각 LSTM 에서생성된모든은닉상태 의가중치합으로나타내어진다. 이를식으로나타내면다음 과같다. (3.9) (3.10) 19

27 은닉상태의가중치 는디코더의셀상태 와인코더의은 닉상태 를별도의피드포워드신경망 (Feed-Forward Neural Network) 에통과시켜얻은두상태의연관성 을다른시점에 서의연관성들 과상대적으로비교하여계산한다. 주의메커니즘을이용해시퀀스를학습하면소스시퀀스의단어들중타겟시퀀스와연관성이높은단어일수록문맥벡터의생성에높은비중을차지하게된다. 따라서길이가긴소스시퀀스의앞부분에위치한단어라도타겟시퀀스와연관성이높으면문맥벡터에반영이되므로초기에입력된단어의정보를보존할수있다. 그림 8 시퀀스투시퀀스의구조및학습방법 인코더-디코더 LSTM 을문장시퀀스단위의학습에적용하면그림 8 ( 출처 : [2]) 과같은구조가된다. 인코딩단계에서는소스시퀀스문장 ABC 의각단어 A, B, C 를고정된차원의벡터로매핑하는단어임베딩 (word embedding)[3] 과정을통해프로그램이이해할수있는형태로변환하여 LSTM 에입력한다. 그리고문장의끝을나타내는 <EOS> 토큰이등장하면하나의문맥벡터를출력한다. 그리고디코딩단계에서는타겟시퀀스문장 WXYZ 의첫번째단어 W 와문맥벡터를 LSTM 에입력한다. 그다음, X 20

28 의이전단어들, 즉소스시퀀스 ABC 와타겟시퀀스 W 의다음에등장할단어의확률분포를계산한다. 그리고단어 X 로변환된확률이최대가되도록셀상태의값을갱신한다. 그결과단어 X 가등장할확률이최대가된다. 갱신된셀상태와단어 X 는다음 LSTM 의입력으로들어가앞서진행했던과정을반복한다. 이과정은시퀀스의끝을나타내는 <EOS> 토큰이등장할때까지반복된다. 모든시퀀스에대한학습이끝나면입력된임의의문장을다른문장으로변환하는확률모델이완성된다. 추론단계에서는입력문장을인코더에입력하여문맥벡터를구한다음, 학습단계에서미리구해둔셀상태와함께디코더에입력한다. 각 LSTM 에서는단어의등장확률분포를구하고등장확률이가장높은단어를출력해다음 LSTM 의입력으로보낸다. <EOS> 토큰이등장하면디코딩을중단하고앞서출력된단어들을연결하여출력문장을만든다 미리학습된단어임베딩의이용 시퀀스투시퀀스학습을이용한기존대화모델 [15, 16, 33, 34] 들은개별단어들에고정된차원의무작위실수값으로초기화된벡터를할당하고, 시퀀스의변환확률을학습함과동시에단어벡터들도학습하는결합학습 (jointly learning) 을한다. 즉시퀀스의변환확률이최대가되도록단어벡터의값을수정하는것이다. 본연구에서는미리학습된단어임베딩으로벡터를초기화하여단어들의의미적관계를강화하는방법을제시한다. 21

29 이에앞서단어임베딩에대한의미를구체적으로설명하면다음과같다. 텍스트로표현된대화말뭉치로시퀀스투시퀀스학습을하기위해서는텍스트를 LSTM 에입력가능한실수벡터의형태로변환하는과정이필요하다. 기본적으로는개별단어들을고정된차원의서로다른값을가진실수벡터로매핑 (mapping) 한다. 이과정을단어임베딩 (word embedding) 이라고하며개별단어에매핑된벡터는단어벡터 (word vector) 라고한다. 벡터의특징은방향성이있다는것인데, 단어임베딩모델들은말뭉치를학습하면서말뭉치에포함된단어들사이의의미적관계 (semantic relationship) 를벡터값에반영한다 [21]. 그래서그림 9 ( 출처 : 처럼남자-여자의관계가있는단어쌍 (king 과 queen, sir 와 madam 등 ) 들은방향성도유사하다. 이렇게단어들사이의의미적관계가잘학습된단어벡터들을또다른학습의입력으로사용하면전체학습의성능을향상시킬수있다 [28]. 그림 9 벡터공간에사상된단어들의관계 22

30 하지만충분히크지않은말뭉치로는학습셋에포함된단어들의의미적관계를벡터로완전히표현하기어렵다. 특히문어말뭉치 (written language corpus) 에비해양이절대적으로부족한대화말뭉치를이용하는대화모델연구에서는미리학습된단어임베딩의사용이효과적이다. 따라서본연구에서는약 60 억개이상의토큰으로이루어진위키피디아 (Wikipedia) 말뭉치와 20 억개이상의토큰으로이루어진트위터 (Twitter) 말뭉치로미리학습된 (pre-trained) 단어임베딩인 GloVe[24] 를이용하여단어벡터를초기화하고결합학습을수행하였다 소스시퀀스의범위확장 기존대화모델 [15, 16, 33, 34] 들은대화를기계번역과유사하게발화단위로학습하였다. 하지만대화의문맥에적절한응답을생성하기위해서는대화의선행발화들을전체적으로고려할필요가있다. 또한대화를구성하는발화들의길이가짧거나발화의내용이함축적이고추상적인경우학습의품질이하락한다. 본연구에서는소스시퀀스의범위를선행발화에서선행발화들전체로확장해선행대화를후행발화로변환하는방법을제시한다. 본연구에서사용하는소셜미디어대화말뭉치의경우, 그양이풍부하고내용도일상대화에가깝다는장점이있다. 하지만개별대화를구성하는평균발화의수와각발화를구성하는단어의수가 [33] 에서사용한영화자막데이터 3) 의발화수와단어수보다 3) 23

31 적다. 또한발화간인과관계와내용의전달이뚜렷한영화대사와 달리트위터상의대화는발화의의미가함축적인경우가많다 [5]. 따라서대화에서상대방의말에응답할때상대방이직전에했던 말한마디뿐아니라대화의전체적인흐름을고려한다는연구 [6] 에착안하여, 소스시퀀스의범위를선행발화에서선행발화들전체 로확장해선행발화가후행발화로변환되는확률모델이아닌선행 대화가후행발화로변환되는확률모델을구한다. 문제의정의로부터메시지 를대화의첫메시지 부터현재메시지까지연결한선행대화 로확장한 다. 연결기호 에대한정의는다음과같다. (3.11) 학습단계에서선행대화 가소스시퀀스로입력 되면, 응답 이타겟시퀀스로입력된 다. 이때선행대화 가응답 으로변환되는확 률 를최대화하는것이학습의목표이며 확률은다음과같이정의된다. (3.12) 학습을완료한다음추론 (inference) 단계에서도시퀀스의범위 확장은적용된다. 그림 10 은기존연구 [15, 16, 33, 34] 에서사용 한기본적인소스시퀀스및생성된응답의예시이다. 응답이생성 24

32 되기직전메시지 (I ll miss you too! I still plan to visit Seattle) 가소스시퀀스로입력되고인코더는문맥벡터를생성하여디코더 에전달한다. 그리고디코더는응답 (yes you do!!!) 을생성한다. 그림 10 기본적인소스시퀀스및응답생성의예그림 11 은본연구에서사용한범위가확장된소스시퀀스및생성된응답의예시이다. 이전메시지들 (Thanks... journey! You are... luck! I ll miss... Seattle) 이연결되어소스시퀀스로입력되고인코더는문맥벡터를생성하여디코더에전달한다. 그리고디코더는응답 (really? that s awesome! I m sure we ll see you soon!) 을생성한다. 그림 11 범위가확장된소스시퀀스및응답생성의예 25

33 3.5. 모델파라미터와주의메커니즘영향분석 이번절에서는시퀀스투시퀀스학습에이용되는파라미터 (parameter) 들을정의하고, 이들이학습의성능에미치는영향을분 석해최적의파라미터를탐색한다. 또한소스시퀀스의길이가길어 질수록인코더가생성한문맥벡터가소스시퀀스의정보를제대로 포함하기어려워지는문제를해결한주의메커니즘 (Attention Mechanism) 을본연구의모델에적용하여얻은효과를소개한다. 대화모델의성능측정에는 Perplexity 를사용한다. 이지표는 학습과정에서대화모델이어느정도의확률로응답을생성하는지 측정하는데사용된다 [2]. 학습셋에포함된대화가소스시퀀스로 입력되었을때, 타겟시퀀스인응답의각단어가디코더에서생성될 확률 의역기하평균으로측정한다. (3.13) Perplexity 가낮을수록, 즉응답생성확률이높을수록대화모델의성능이높은것으로판단한다. 하지만모델이학습한대화와전혀다른내용의대화가입력되면측정이왜곡되는단점이있다. 따라서본연구에서는이지표를응답의품질을측정하는데사용하지않고, 대화모델이파라미터의구성에따라테스트셋을얼마나잘학습하는지평가하는데사용한다. 학습에사용되는대표적인파라미터는인코더또는디코더를구성하는 LSTM 개수 (number of cells), 각 LSTM 의메모리크기 (cell size), 그리고 LSTM 의레이어수 (number of layers) 이다. 26

34 LSTM 개수는인코더와디코더가받아들일수있는시퀀스의최대길이를결정하는파라미터이다. 대화모델에서는인코더와디코더에최대로입력가능한단어수에해당한다. 3.4 절의소스시퀀스범위확장방법을적용하여 20 단어, 30 단어, 40 단어에대해실험했으며 30 단어에서가장좋은성능을보였다. 성능측정에사용한대화학습셋의각발화가평균 11 단어임을고려했을때, 이전발화세개를입력으로받았을때응답을가장잘생성했다고해석할수있다. LSTM 메모리크기는인코더나디코더가공유하는은닉상태 (hidden state) 의뉴런개수를결정하는파라미터이다. 이값이클수록문맥벡터 (context vector) 에소스시퀀스의정보를많이담을수있다. 512, 1024, 1536 에대해실험했으며 512 에서 1024 로확장될때성능이크게향상되었으나, 1024 에서 1536 으로확장될때는큰차이가없었다. 즉학습셋의크기에따라 1024 개이상의뉴런은크게영향이없음을확인하였다. LSTM 레이어수는인코더와동일한구조의인코더를다층으로쌓을때사용하는파라미터이다. 이값이클수록심층학습이가능해져문맥벡터에더욱잠재적인 (latent) 정보를담을수있다. 단일레이어 (1-layer), 이중레이어 (2-layers), 삼중레이어 (3-layers) 에대해실험했으며이중레이어가가장좋은성능을보였다. 학습셋의양에비해얕은레이어의사용은학습셋을충분히학습하지못하게만들고, 깊은레이어의사용은특정학습셋에대한과적합 (overfitting) 을유발한다 [27]. 한편 3.4 절의소스시퀀스범위확장방법을적용하면서소스시퀀스의길이가길어져, 인코더가생성한문맥벡터가소스시퀀스 27

35 의정보를제대로포함하기어려워지는문제가발생했다. 그래서 에서소개한주의메커니즘 (Attention Mechanism) 을적용하여소스시퀀스의길이가 30 인상황에대해모델의성능이향상되는것을확인하였다. 대표적인파라미터의크기와주의메커니즘의적용에따른 Perplexity 변화는그림 12 와같다. 결과로부터 LSTM 개수는 30 개, LSTM 메모리크기는 1024, LSTM 레이어수는 2 개, 그리고주의메커니즘을적용하여소스시퀀스가길어지는상황에대응하였다. 그림 12 파라미터크기와주의메커니즘적용에따른 Perplexity 변화 28

36 제 4 장성능평가 4.1. 데이터셋 사용자와일상적인대화를나누는챗봇을구현하기위해서는일상적인대화를수행한데이터를우선적으로확보해야한다. 이에사용자들의대화가실시간으로등록되는소셜미디어중하나인트위터 (Twitter) 4) 에서주로사용되는표현이나문구를사용한대화들을수집하였다. 우선트위터에 2016 년 3 월 10 일까지작성된영문트윗 (tweet) 들중 2 백만건을수집하여등장빈도가높은일상표현 (common phrase) 100 개를선정하였다. 이어서해당일상표현들을사용한영문대화 ( 답글로연속된트윗의묶음 ) 17 만건을수집하여대화말뭉치를구축하였다. 또한오타, 문법오류, 인터넷용어나약어등사전에등록되지않은단어 (Out of vocabulary) 와같이정제되지않은트위터대화의특성을보완하고자영화자막에서추출한 8 만건의영문대화로구성된코넬영화대화말뭉치 (Cornell Movie Dialogs Corpus) 5) 도추가하여학습에사용할대화말뭉치를더욱풍부하게만들었다. 대화말뭉치의구성은표 1 과같다. 그리고코넬 + 트위터대화말뭉치를무작위로분리하여대화의 80% 는학습셋 (train set), 10% 는검증셋 (validation set), 10% 는테스트셋 (test set) 으로사용하였다. 4) 5) 29

37 표 1 대화말뭉치의통계적정보 코넬영화대화 트위터대화 코넬 + 트위터 대화말뭉치 대화수 83, , ,496 발화수 304, ,785 1,135,231 대화당 평균발화수 단어수 3,380,675 9,950,573 13,331,248 발화당 평균단어수 어휘수 35,019 91,850 97,050 한편대화말뭉치의약 10 만개어휘 ( 중복을제외한개별단어 ) 구성을살펴보면빈도수기준상위 3 만개어휘가전체단어의 99% 를차지한다. 하위 7 만개어휘는등장빈도가 6 회이하에불 과하다. 따라서학습의효율을위해상위 3 만개어휘만사용하고 나머지어휘들은 UNK(unknown) 토큰으로처리하였다. 표 2 대화말뭉치의어휘정보 어휘 해당단어수 총단어수 비중 상위 3만개 13,193,079 13,331, % 하위 7만개 138,169 13,331, % 30

38 4.2. 성능평가지표 현재로서는모델의성능을평가하기위한객관적인기준이마련되어있지않다 [33]. 일반적으로 Perplexity 를이용하여대화모델의성능을측정하나이값이우수하다고하여학습셋으로충분히학습하지못한케이스에대한응답의품질까지보장하지는않는다. 따라서응답의품질에영향을미치는요인들을직접정의하고, 응답의통계적정보로수행하는정량적평가와응답을직접읽고수행하는정성적평가를병행하여응답의품질을평가한다. 응답의품질에영향을미치는요인은네가지로정의하였다. 응답의길이 (length), 응답의형태가많고다양함의정도를나타내는다양성 (variety), 주어진대화의문맥에응답이의미적으로어울림의정도를나타내는적절성 (appropriateness), 그리고응답자체의매끄러움과완성의정도를나타내는자연스러움 (naturalness) 이다. 정량적평가지표인길이와다양성에대한정의및평가방식은다음과같다. 길이 (length) 는응답을구성하는단어의수를나타내는지표다. 응답의길이가짧으면대화는딱딱하고단순해진다. 따라서길이가길수록응답의품질이향상되는것으로가정하였다. 다양성 (variety) 은응답의형태가많고다양함의정도를나타내는지표다. 모델에테스트셋의대화들을입력하여얻은응답들중중복을제외한개별응답의수로측정한다. 응답이다양하지않으면대화는지루하고단조로워진다. 따라서다양성이높을수록응답의품질이향상되는것으로가정하였다. 31

39 정성적평가지표인적절성과자연스러움에대한정의및평가방식은다음과같다. 적절성 (appropriateness) 은주어진대화의문맥에응답이의미적으로어울림의정도를나타내는지표다. 평가자 3 명이대화 30 개와모델이생성한응답을읽고각응답이대화의문맥에정확히어울리면 A, 응답이대화의문맥에정확히어울리진않으나사용가능하면 B, 응답이대화의문맥에어울리지않으면 C 로평가하였다. 응답이대화의문맥에적절하지않으면대화의수준은낮아진다. 따라서응답의품질을결정하는가장중요한평가요소라할수있다. 자연스러움 (Naturalness) 은응답자체의매끄러움과완성의정도를나타내는지표다. 평가자 3 명이대화 30 개에대해모델이생성한응답을읽고응답이문법에정확히맞고매끄럽게해석되면 A, 문법에정확히맞진않으나상당부분해석이되면 B, 문법이어색하고해석이어려우면 C 로평가하였다. 응답이자연스럽지않으면대화는매끄럽지못하고모델에대한신뢰도또한하락한다 성능평가결과 앞서정의한측정지표들을이용한두가지실험으로본연구에서제시한대화모델의성능을평가한다. 첫번째실험에서는본연구에서응답의품질을향상시키기위해제안한방법들의효과를살펴본다. 이를위해세가지기존모델과각방법들을적용한두가지모델이생성한응답들의길이, 다양성, 적절성, 자연스러움을비 32

40 교한다. 두번째실험에서는분류기반대화모델이적절한응답을추천하지못했던대화들에대해본연구의대화모델이문맥에적절한응답을생성하는지살펴본다. 이를위해분류기반대화모델의추천정확도가낮았던대화들을선정하여분류모델과본연구의대화모델로응답을생성하고적절성을평가한다 제안한방법의효과 본연구에서제안한방법의효과를확인하기위해비교대상인분류기반대화모델 (CLS), 기본적인시퀀스투시퀀스학습모델 (S2S), 학습단계의목적함수를개선하여응답의다양성을높인최신연구 (S2S+MMI)[15], 3.3 절의미리학습된워드임베딩을적용한모델 (S2S+WV), 3.4 절의소스시퀀스의범위를확장한모델 (S2S+WV+SE) 이상다섯가지모델에대한정량적평가를진행하였다. 대화 6,700 개로구성된동일한테스트셋으로테스트하였으며길이의단위는단어, 다양성의단위는개별응답수이다. 표 3 제안한방법의효과에대한정량적평가 길이 ( 단위 : 단어 ) 다양성 ( 단위 : 응답 ) CLS S2S 6.9 5,199 S2S+MMI 8.6 5,640 S2S+WV 7.5 5,903 S2S+WV+SE 9.5 6,053 33

41 길이와다양성의경우, CLS 는미리정의된 100 개의후보응답의평균길이가 2.3 단어로짧은편이라추천된응답의길이도 2.2 단어로동일한수준이었으며 2.1 절에서지적한대로추천되는후보응답의종류가편중되어서로다른응답을 45 개밖에추천하지못했다. 반면 S2S 는생성된응답의길이가 3 배이상길고 6,700 개의응답중 5,199 개의응답이서로다를정도로다양성도높았다. 또한 S2S+MMI 도응답의다양성을높이려는시도가효과를보였다. 미리학습된워드임베딩을적용하거나 (S2S+WV) 소스시퀀스의범위를확장 (S2S+WV+SE) 할수록길이와다양성이증가하였다. 이어서위네가지모델에대한정성적평가를진행하였다. 테스트셋대화중 30 개를무작위로추출하여테스트하였으며출력된응답의적절성과자연스러움을 3 단계척도로측정하였다. 표 4 제안한방법의효과에대한정성적평가 적절성 * 자연스러움 * CLS 58% 100% S2S 30% 81% S2S+MMI 33% 80% S2S+WV 43% 75% S2S+WV+SE 71% 84% * 평가의결과중 A 와 B 의비율만합산하여표기함 적절성의경우, CLS 가몇가지응답생성모델들에비해적절성이높았다. 그이유는 CLS 가미리정의된후보응답들중 Me, too, That s awesome!, So good 등대화에일반적으로통용 34

42 되는후보응답들을주로추천하였기때문이다. 그래서 S2S 나 S2S+MMI 가단순한응답을반복하는 CLS 보다응답의적절성에한계를드러냈다. 하지만이런종류의응답들은상당수의대화문맥에적절할지라도대화를단조롭게만들거나, 심한경우대화의지속을어렵게만든다. 반면에본연구에서제안한방법을모두적용한 S2S+WV+SE 가생성한응답의적절성은 CLS 가추천한응답의적절성보다 10% 이상상승하였다. 그림 13 에서 CLS 가받은 A 의비율이 37% 인데비해 S2S+WV+SE 가받은 A 의비율은 59% 로 20% 이상상승하였다. 따라서미리학습된워드임베딩으로단어의의미적관계를강화하고, 입력시퀀스의범위를확장시켜대화문맥에더욱적절한응답을생성할수있다. 특히소스시퀀스범위확장 (SE) 의적용여부가응답의적절성에큰영향을주었다. 즉선행발화를한개씩만보고응답을생성하는학습을한 S2S 와 S2S+WV 만으로는대화의문맥까지파악하기에부족함이있다. 그림 13 개별모델응답의적절성비교 35

43 자연스러움의경우, 응답문장자체의품질을측정하는만큼미리정의된후보응답에대해일정수준의품질을보장하는 CLS 는높은평가를받았다. 따라서생성기반대화모델의목표중하나는응답의자연스러움을 CLS 의수준까지높이는것이다. 본연구의모델들은최대 84% 수준의자연스러움을보였으며, 그림 14 를보면 A 의비율이 B 보다적게는 3 배에서많게는 5 배이상높았다. 모델이변함에따라평가또한향상되는지확인하기위해대응표본 T-검정 (paired T-test) 을수행하였다. S2S+WV+SE 가다른세모델들보다평가가향상된것으로나타났으며이차이는통계적으로유의했다 (t<0, p<.05). 그리고평가자간평가일치도 (agreement) 를측정하는카파계수 (Fleiss Kappa) 는네가지모델의적절성평가일치도가평균 로적당한 (moderate) 수준을, 자연스러움평가일치도가평균 로상당한 (substantial) 수준을나타냈다 [14]. 즉적절성에대한평가는다소개인차가있었으나자연스러움에대한평가는대부분일치했다. 그림 14 개별모델응답의자연스러움비교 36

44 마지막으로평가지표간상관관계를간단히알아보았다. 적절성에서 A 를받은응답의 98% 는자연스러움에서 A 를받았다. 반대로자연스러움에서 A 를받은응답의 88% 는적절성에서 A 를받았다. 즉두지표는관련성이높은것으로보이며응답이적절성을높게평가받기위해서는일정수준자연스러움을보장해야함을유추할수있다. 한편적절성과응답의길이, 자연스러움과응답의길이는뚜렷한상관관계를보이지않았다. 이절에서살펴본결과를그림 15 에종합적으로나타냈다. 평가지표간단위 (scale) 에차이가있어정규화를수행하였다. 따라서평가지표간비교는하지않으며평가지표내에서각모델의상대적인값을비교하는데사용한다. 그림 15 제안한방법의효과 37

45 분류기반대화모델과의비교 분류기반대화모델 (CLS) 의응답추천정확도가낮았던대화들, 즉학습셋으로충분히학습하지못해응답의추천이어려웠던대화들 30 개에대해분류모델 (CLS) 과본연구의대표적인대화모델 (S2S+WV+SE) 이출력한응답의적절성을평가하였다. 그리고두응답중선호하는응답에대한투표를진행하였다. 표 5 분류모델과생성모델응답의적절성비교 적절성 * 선호도 CLS 44% 19% S2S+WV+SE 78% 81% * 평가의결과중 A 와 B 의비율만합산하여표기함 적절성의경우, CLS 는 절에서수행했던실험의결과보다 14% 하락했다. CLS 의응답추천정확도가낮았던대화들을대상으로했으므로당연한현상이다. 반면 S2S+WV+SE 는이전실험보다 7% 상승했다. 본연구에서제안하는모델은개별후보응답들의학습셋크기나구성에영향을받지않고주어진대화에적절한응답을생성함을실험으로확인하였다. 또한그림 16 을보면 S2S+WV+SE 는 CLS 에비해 C 의비율은절반이상줄면서 A 의비율은두배늘어났다. S2S+WV+SE 는모든정성적평가에서 A 의비율이가장높고 C 의비율이가장낮은안정적인분포를나타냈다는점도의미가있다. 38

46 선호도의경우, 두모델의응답중선호응답을확인하기위해투표를시행했으며 S2S+WV+SE 가 81% 로더높게나타났다. 그리고두모델의적절성이동점인상황에서는 79% 가 S2S+WV+SE 의응답을선호하였다 절과마찬가지로대응표본 T-검정 (paired T-test) 을수행한결과, S2S+WV+SE 이 CLS 보다평가가향상된것으로나타났으며이차이는통계적으로유의했다 (t<0, p<.05). 그리고카파계수 (Fleiss Kappa) 는 CLS 적절성평가일치도가 로적당한 (moderate) 수준을, S2S+WV+SE 적절성평가일치도가 으로상당한 (substantial) 수준을나타냈다. 그림 16 분류모델과생성모델응답의적절성비교 39

47 제 5 장결론및향후연구 5.1. 결론 본연구에서는순환신경망기반인코더-디코더를이용하여대화를구성하는발화들사이의변환관계를학습해대화모델을만들고, 입력된대화의문맥에적절한응답을생성하는문제를다루었다. 그리고응답의품질을향상시키는방법을제시하였다. 이어서응답의품질을측정하는정량적, 정성적평가지표를제안하였다. 먼저충분히크지않은말뭉치로는학습셋에포함된단어들의의미적관계를벡터로완전히표현하기어렵다는데착안하여충분히큰말뭉치로미리학습한단어임베딩으로모델을초기화하였다. 문어말뭉치 (written language corpus) 에비해양이절대적으로부족한대화말뭉치를이용하는대화모델연구에서는미리학습된단어임베딩의사용이효과적임을실험을통해증명하였다. 다음으로대화에서상대방의말에응답할때상대방이직전에했던말한마디뿐아니라대화의전체적인흐름을고려한다는연구에착안하여학습단계의소스시퀀스범위를선행발화에서선행발화들전체로확장하여, 선행대화가후행발화로변환되는확률모델을학습하였다. 이방법을통해응답의품질이크게향상되었음을실험으로검증하였다. 40

48 추가적으로대화모델을구성하는파라미터들을정의하고, 각파라미터들이모델의성능에미치는영향을분석하였다. 그리고주의메커니즘을적용하여모델의성능이향상되었음을보였다. 그리고이방법들을종합적으로적용한대화모델이생성한응답이미리정의된후보응답중에서응답을추천하는분류기반대화모델의응답보다그종류와의미가다양하고대화문맥에도더욱적절했음을정량적, 정성적평가를통해증명하였다. 이처럼응답을생성하는대화모델은챗봇으로대표되는비작업지향대화시스템의구현에적합하다. 본연구에서제안한대화모델도테스트셋에있던대화를입력받는과정을사용자가실시간으로전송하는메시지를입력받는과정으로치환하면챗봇으로바로활용할수있을정도로실용적이다. 한편챗봇의성능을평가하는근본적인요소는결국응답의품질인데, 안타깝게도이를측정하는객관적인기준이마련되어있지않다. 따라서본연구에서응답의품질을평가하는기준으로정의한응답의길이, 다양성, 적절성, 자연스러움이추후객관적인기준을마련하는데도움이되길기대해본다. 또한응답의품질을향상시키기위해본연구에서제안한방법외에도다양한방법이존재할것이며, 최근주목을받고있는만큼사용자와자연스러운대화를나눌수있는챗봇이등장할수있기를기대한다. 41

49 5.2. 향후연구 다음세가지를향후개선해보고자한다. 첫번째는응답의품질을향상시키는방법으로서소스시퀀스의범위를선행발화들전체로제한없이확장했던것을선택적으로확장하는것이다. 즉선행발화들중에서문맥적유사도가높은발화들만을선택하여소스시퀀스로활용하는것이다. 이는주제의변화가빈번히일어나는대화에서효과를보일것으로예상된다. 짧은문장에대한유사도측정이나 [19] 인공신경망을이용한문장분류 [12] 등의방법을접목할수있다. 두번째는챗봇의기능에관련된것으로서일상대화뿐아니라간단한질의-응답 (Question-Answering) 도수행하는것이다. 기존연구 [33] 에서챗봇에일반상식관련질의를던지던사례에서착안하였다. 위키피디아 (Wikipedia) 같은외부지식텍스트를학습하여응답의생성에활용하면사용자의질의에대해사람처럼자연스러운응답을하는시스템을구현할수있을것이다. 세번째도챗봇의기능에관련된것인데지금까지는주어진대화에대한응답만을생성했다면앞으로는질문도생성하는것이다. 연구에서사용한대화말뭉치에서의문형발화 ( 물음표가포함된발화 ) 는전체발화의 11% 이고, 생성된응답들중에서도의문형발화는전체응답의 5% 에불과하다. 의문형발화에대한학습을강화하여챗봇이사용자에게질문을한다면더욱자연스러운대화를할수있을것이다. 42

50 참고문헌 [1] Ahn, Y., Lee, H., Jeon, H., Ha, S., & Lee, S. G. (2016). Quote Recommendation for Dialogs and Writings. CBRecSys 2016, (pp ). [2] Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. In Proceedings of the International Conference on Learning Representations. [3] Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. journal of machine learning research, 3 (pp ). [4] Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Empirical Methods in Natural Language Processing (pp ). [5] Davidov, D., Tsur, O., & Rappoport, A. (2010). Semi-supervised recognition of sarcastic sentences in twitter and amazon. In Proceedings of the 14 th conference on computational natural language learning (pp ). [6] Drew, P. (2005). Conversation analysis. Handbook of language and social interaction (pp ). [7] Galibert, O., Illouz, G., & Rosset, S. (2005). Ritel: an open-domain, human-computer dialog system. In Interspeech (pp ). 43

51 [8] Gu, J., Lu, Z., Li, H., & Li, V. O. (2016). Incorporating copying mechanism in sequence-to-sequence learning. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (pp ). [9] Han, S., Bang, J., Ryu, S., & Lee, G. G. (2015). Exploiting knowledge base to generate responses for natural language dialog listening agents. In 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue (pp ). [10] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8). (pp ). [11] Kannan, A., Kurach, K., Ravi, S., Kaufmann, T., Tomkins, A., Miklos, B.,... & Ramavajjala, V. (2016). Smart Reply: Automated Response Suggestion for . In Proceedings of the ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp ). [12] Kim, Y. (2014). Convolutional neural networks for sentence classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (pp ) [13] Klüwer, T. (2011). From chatbots to dialog systems. International Journal (pp. 1-22). [14] Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. biometrics (pp ). 44

52 [15] Li, J., Galley, M., Brockett, C., Gao, J., & Dolan, B. (2016). A diversity-promoting objective function for neural conversation models. Proceedings of NAACL-HLT (pp ). [16] Li, J., Galley, M., Brockett, C., Gao, J., & Dolan, B. (2016). A Persona-Based Neural Conversation Model. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (pp ). [17] Lin, C. Y. (2004). Rouge: A package for automatic evaluation of summaries. In Text summarization branches out: Proceedings of the ACL-04 workshop (Vol. 8). [18] Liu, C. W., Lowe, R., Serban, I. V., Noseworthy, M., Charlin, L., & Pineau, J. (2016). How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. The Proceedings of the Empirical Methods in Natural Language Processing (pp ) [19] Mihalcea, R., Corley, C., & Strapparava, C. (2006). Corpus-based and knowledge-based measures of text semantic similarity. In AAAI (pp ). [20] Mikolov, T., Karafiát, M., Burget, L., Cernocký, J., & Khudanpur, S. (2010). Recurrent neural network based language model. In Interspeech (pp. 3). [21] Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems (pp ). 45

53 [22] Nallapati, R., Zhou, B., glar Gulçehre, Ç., & Xiang, B. (2016). Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond. Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning (pp ). [23] Papineni, K., Roukos, S., Ward, T., Henderson, J., & Reeder, F. (2002). Corpus-based comprehensive and diagnostic MT evaluation: Initial Arabic, Chinese, French, and Spanish results. In Proceedings of the second international conference on Human Language Technology Research (pp ). [24] Pennington, J., Socher, R., & Manning, C. D. (2014). Glove: Global Vectors for Word Representation. In Empirical Methods in Natural Language Processing (pp ). [25] Ritter, A., Cherry, C., & Dolan, W. B. (2011). Data-driven response generation in social media. In Proceedings of the conference on Empirical Methods in Natural Language Processing (pp ). [26] Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1988). Learning representations by back-propagating errors. Cognitive modeling, 5(3), 1. [27] Sak, H., Senior, A. W., & Beaufays, F. (2014). Long short-term memory recurrent neural network architectures for large scale acoustic modeling. In Interspeech (pp ). 46

54 [28] Serban, I. V., Sordoni, A., Bengio, Y., Courville, A., & Pineau, J. (2016). Building end-to-end dialogue systems using generative hierarchical neural network models. In AAAI (pp ). [29] Shawar, B. A., & Atwell, E. (2003). Using dialogue corpora to train a chatbot. In Proceedings of the Corpus Linguistics 2003 conference (pp ). [30] Sordoni, A., Galley, M., Auli, M., Brockett, C., Ji, Y., Mitchell, M.,... & Dolan, B. (2015). A neural network approach to context-sensitive generation of conversational responses. Proceedings of the 2015 Conference of the NAACL-HLT (pp ). [31] Sugiyama, H., Meguro, T., Higashinaka, R., & Minami, Y. (2013). Open-domain utterance generation for conversational dialogue systems using web-scale dependency structures. In Proceedings of SIGDIAL (pp ). [32] Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In Advances in neural information processing systems (pp ). [33] Vinyals, O., & Le, Q. (2015). A neural conversational model. ICML Deep Learning Workshop. [34] Xing, C., Wu, W., Wu, Y., Liu, J., Huang, Y., Zhou, M., & Ma, W. Y. (2016). Topic Aware Neural Response Generation. In AAAI

55 Abstract Dialogue response generation using RNN-based sequence-to-sequence learning Seungdo Ha Dept. of Computer Science and Engineering The Graduate School Seoul National University Recently, a dialogue system is getting attention due to the success of various interactive agents like Siri. A dialogue system is divided into the task-oriented dialogue system and the non-task-oriented dialogue system depending on whether the task is specific or not. The non-task-oriented dialogue system represented by chatbot is able to conduct conversation with users on various topics. However, since the task is not specified and it needs to understand the context of the dialogue to generate an appropriate response to the input message, it is considered to be more difficult than the task oriented dialogue system. We deal with the problem of learning the transition probabilities between the utterances using a Recurrent Neural Network based encoder - decoder, and generating the appropriate response in the context of the input dialogue. And we propose a method to improve the quality of the response, such as enforcing semantic relation of words by using pre-trained word embedding, finding the probability that the whole of 48

56 the preceding utterances are converted into the response to consider the context of the whole dialogue, and analyzing the model parameters to find the optimal value. Next, we also propose a quantitative and qualitative evaluation criterion that measures the quality of the response. As a result of verifying the validity of the proposed methods using Twitter dialogue corpus, the evaluation was improved in all aspects including length, diversity, appropriateness, and naturalness of generated responses. And we compare the quality of response with the dialogue model that recommends the appropriate response to the dialogue among the pre-defined candidate responses, the responses generated by our proposed model were more appropriate to the dialogue, and the preference for responses was high. Keywords : Dialogue Response Generation, Chatbot, Recurrent Neural Network, Sequence-to-Sequence Student ID :