heecheol.seo@navercorp.com)
www.chatbots.org 637 개영어챗봇
http://www.loebner.net/prizef/loebner-prize.html http://www.aisb.org.uk/media/files/loebnerprize2015/rose.pdf
AIML (The Artificial Intelligence Markup Language) 방법검색기반방법 Deep learning 기반방법 Deep learning + 유사도기반방법
사용자 : 너이름이뭐니시스템 : 저는네이버아이입니다. <category> <pattern> 너이름이뭐니 </pattern> <template> <srai> 너는누구 </srai> </template> </category> <category> <pattern> 너누구 </pattern> <template> <srai> 너는누구 </srai> </template> </category> <category> <pattern> 너는누구 </pattern> <template> 저는네이버아이입니다. </template> </category>
A: 너희집어디니? B: 당신마음속이요... A: 너반가워 B: 저도반가워요 집이어디? 당신마음속이요... A: 졸려 B: 그럼얼른주무세요.
RNN (recurrent neural network) PRONOUN VERB ADJECTIVE It is funny http://www.wildml.com/2015/09/ recurrent-neural-networks-tutorial-part-2 -implementing-a-language-model-rnn-with-python-numpy-and-theano/
Seq2Seq = RNN + RNN 입력 RNN (encoder) RNN (decoder) 출력 Vinyals and Le, A Neural Conversational Model, 2015
Seq2seq 그럼얼른주무세요 지금너무졸립다 그럼얼른주무세요
Seq2seq 방법문제점 I Don t Know
Seq2seq + 유사도기반 A: 너희집어디니? B: 당신마음속이요... A: 너반가워 B: 저도반가워요 에구너무졸려 A: 졸려 B: 그럼얼른주무세요. 그럼얼른주무세요.
스푸너 : 로봇이교향곡을쓸수있어? 로봇이캔버스에멋진명화를그릴수있냐고? 서니 : 그럼당신은할수있나요? 영화 아이로봇 대사, https://namu.wiki/w/ 아이로봇
Amazon echo SKT NUGU Google Home KT Giga Genie (2014. 11) (2016.09) (2016.11) (2017.01)
SoftBank pepper Jibo Musio CogniToys (2015. 06)
출처 : wwdc 2016
출처 : wwdc 2016
Amazon Alexa skills
kik 의 H&M 페이스북 1-800-FLOWERS 11 번가바로
음성 / 텍스트입력 자연어이해 기억 (memory) 대화관리 (Dialog Management) Task 관리 음성 / 텍스트출력 자연어생성
Task 관리 검색 QnA 음성 / 텍스트입력 자연어이해 지식추출 번역 추천 요약 기억 (memory) 대화관리 (Dialog Management) 전화 일정 문자 메일 음성 / 텍스트출력 자연어생성 메모 쇼핑 음악 잡담 예약 / 예매
내일강남구삼성동날씨어때? 자연어이해 도메인 : 날씨의도 : 날씨검색날짜 : 내일지역 : 강남구삼성동 대화관리 날씨검색 & 결과파싱 : - 오전맑음 - 오후구름많음 자연어생성 내일날씨는오전에는맑다가오후에는구름이많아지겠어요.
2) 주변맛집알려줘 자연어이해 도메인 : 지역의도 : 맛집검색 대화관리 기억 : 지역 = 강남구삼성동 삼성동맛집검색 & 결과파싱 - 수담한정식 - 오리옥스코엑스점 자연어생성 삼성동맛집을찾아봤어요. 수담한정식, 오리옥스코엑스점이있어요.
내일강남구삼성동날씨어때? 날짜 지역 도메인 : 날씨의도 : 날씨검색
내일강남구삼성동날씨어때 형태소분석명사명사명사명사형용사 고유명사분석 날짜 _B 지역 _B 지역 _I
CNN (convolutional neural network) http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp
Lafferty et al., Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data, 2001
Ma and Hovy, End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF, 2016 Lample et al., Neural Architecture for Named Entity Recognition, 2016
Lee and Dernoncourt, Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks, 2016
frame 도메인 : 날씨 내일강남구삼성동날씨어때? 의도 : 날씨검색 날짜 : 내일 지역 : 강남구삼성동 도메인 : 지역 주변맛집알려줘 의도 : 맛집검색 날짜 : 내일 지역 : 강남구삼성동
(Fully Observable) Markov Decision Process (MDP) 사용자입력이명확한경우 1-best 입력 Partially Observable MDP (POMDP) 사용자입력이모호한경우 n-best 입력
도착지 =? 출발지 =? 출발날짜 =? 출발시간 =? s 도착지 = 제주출발지 =? 출발날짜 =? 출발시간 =? s 시스템 :? a 시스템 : 어디가세요? a 사용자 : 제주 u s: state a: action u: user
도착지 =? 출발지 =? 출발날짜 =? 출발시간 =? s 도착지 = 제주출발지 =? 출발날짜 =? 출발시간 =? s 도착지 = 대구출발지 =? 출발날짜 =? 출발시간 =? s 1.0 0.0 0.0 Belief state 시스템 : 어디에가세요? a 음성인식결과 ( 확률 ) 사용자 : 제주 (0.8) 사용자 : 대구 (0.2) u 도착지 =? 출발지 =? 출발날짜 =? 출발시간 =? s 도착지 = 제주출발지 =? 출발날짜 =? 출발시간 =? s 도착지 = 대구출발지 =? 출발날짜 =? 출발시간 =? s 0.2 0.4 0.3 Belief state
Yang et al, End-to-end joint learning of natural language understanding and dialogue manager, 2017
Human-Machine dialogue datasets Serban et al., A Survey of Available Corpora for Building Data-Driven Dialogue Systems, 2017
Human-human constrained spoken dialogue datasets Serban et al., A Survey of Available Corpora for Building Data-Driven Dialogue Systems, 2017
PLACE: 강남구삼성동 DATE: 내일 AM_WEATHER: 흐림 PM_WEATHER: 가끔비 [PLACE] [DATE] 날씨는오전에는 [AM_WEATHER], 오후에는 [PM_WEATHER] 입니다. 강남구삼성동내일날씨는오전에는흐림, 오후에는가끔비입니다.
Oh and Rudnicky, Stochastic natural language generation for spoken dialog systems, 2002
Wen et al., Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking, 2015
사람과대화하듯이네이버서비스를이용할수있습니다. (2017.3 베타오픈 )
자연어이해 (NLU) 대화관리주제판단, 중의성해결, 생략복원잡담모드, 끝말잇기모드, 번역모드표현정규화 NLU 후처리의도분석기억관리작업관리시나리오관리질의추천발화내용생성 분석결과랭킹, 분석결과확장정답검색, 뉴스읽기, 앱실행오류복구질의, 필터링질의, 제어질의 자연어생성 (NLG)
네이버앱의네앱연구소통해서설치
고맙습니다.