WM103 AJOU UNIV MIS 아주대학교경영정보학과김성근아주대학교경영정보학과신민철 우리는이미챗봇을맞이할준비가되어있다 KMAC 경영혁신논문공모전주제분야 : Digital 경영

WM103 AJOU UNIV MIS 아주대학교경영정보학과김성근아주대학교경영정보학과신민철 우리는이미챗봇을맞이할준비가되어있다 KMAC 경영혁신논문공모전주제분야 : Digital 경영

발표순서우리는이미챗봇을맞이할준비가되어있다. 연구동기및배경 연구방법 결론및의의 02 04 Start 01 03 05 End 문헌연구 연구결과

연구의동기및배경

챗봇시연우리는이미챗봇을맞이할준비가되어있다. 챗봇시연 http://pensionbot.dothome.co.kr/ http://pf.kakao.com/_kcmgxl

연구의동기우리는이미챗봇을맞이할준비가되어있다. 개인사업 ( 펜션 ) 을하면서청소, 빨래. 운전, 온라인마케팅항상바빴지만가장힘들었던건 24 시간빗발치는전화문의

연구동기우리는이미챗봇을맞이할준비가되어있다. 인공지능챗봇 대화형인터페이스상에서규칙이나인공지능으로사용자와상호작용하는서비스로컴퓨터가인간의대화를기계적으로학습하여사람과대화를함 즉, 컴퓨터가가상의비서, 가상상담원역할을하게됨 챗봇은사실대규모의고객센터를가진대기업보다 직접고객센터역할까지모두소화해야하는자영업자들에게더절실한서비스가아닐까?

연구의배경챗봇시장의성장 챗봇시장의성장 스마트폰보급의대중화와함께모바일메신저이용자수가 SNS 이용자수를초월하고있다. 서비스창구로서메신저가새로운가치를가지게된것이다. 업체 Facebook 카카오 Line Telegram Tencent API Send/Receive API 플러스친구자동응답 API Bot API Bot API Message API < 메신저이용자수 VS SNS 앱이용자수 >, Business Insider

연구의배경챗봇개발의어려움 챗봇개발의어려움 챗봇을개발하기위해서는사용자가작성한메시지를이해하기위한자연어처리, 자연어이해등의고급기술뿐만아니라챗봇의목적에적합하게담화의시나리오를설계해야하는등, 단순한프로그램개발외에도많은노력을필요로한다. < 챗봇개발에필요한기술 >

연구의배경기술접근성 기술접근성 최근일류 IT 기업들은챗봇기술을보다많은사람들이사용할수있도록자연어처리, 자연어이해등, 기계학습기술을클라우드서비스로제공하기시작했다. 다양한고성능클라우드플랫폼이공개된덕분에챗봇개발비용은점점더저렴해질것으로예상되고있으며, 더욱더많은기업들이챗봇을활용한서비스를제공하게될것으로예상된다 (Khorozov, 2017).

우리는이미챗봇을맞이할준비가되었다. 중소자영업자들에게서일상적으로생성되는데이터를분석하여공개된챗봇 API 에적용함으로서사업을위한인공지능챗봇을쉽게제작할수있는세상이되었다. 그러므로우리는, 소상공인을위한챗봇을해당방법으로제작하고, 챗봇의성능을분석하고자한다.

문헌연구

문헌연구 챗봇의역사챗봇문헌연구 Parry (Kenneth Colby ) 성격을부여하고스스로판단 AIML (Artifical Intelligence Markup Language) 챗봇에탑재되는지식을정의하는기준을세움 1966 1972 1973 2003 2011 단순한패턴에대해서정해진대답을하는수준 머신러닝 + 빅데이터 + 자연어처리 언어를이해하고적합한대답을출력하는형태로발전중 ELIZA (Weizenbaum) 상담치료를목적으로개발 SHRDLU (Winograd) 사용자의말을이해하고명령을수행 SIRI Slot 모델기반 FrameBased

문헌연구 챗봇개발챗봇개발문헌연구 1 규칙기반모델 사용자의입력에서발견되는특정패턴에따라답변이제시 2 코퍼스기반 - 검색모델 사전정의된응답중가장알맞은응답을제시 3 코퍼스기반 - 생성모델 사전정의된답변에의존하지않고입력값에따라답변을생성 4 Frame based dialogue (Bobrow et al., 1977) 챗봇내담화가특정목적에따라종결되도록하는시나리오기반의담화전략 5 고객지원서비스챗봇 (Shawar,Atwell,&Roberts, 2005) 고객지원서비스는단순질의응답형태정보검색기반모델을사용 6 챗봇개발난이도 (Britz, 2016) 대화의길이가길고주제가다양할수록챗봇개발의난이도상승 본연구에서는 본연구에서는코퍼스기반검색모델의챗봇을개발프레임기반모델이아닌고객지원단순질의응답형태이나, 머신러닝기술을바탕으로적절한답변을제공비교적짧은대화이며, 주제를 펜션예약후업체에문의하는상황 으로제한

문헌연구 텍스트마이닝텍스트마이닝연구 1 단어의의미파악을위해벡터공간모델활용 Albright, 2004; Salton, Wong, & Yang, 1975 2 의미있는단어들을추출하기위해 TF-IDF 기법활용 Salton et al., 1975 3 온라인포럼에서챗봇에필요한데이터를추출및수집 Huang, Zhou, and Yang 2007 4 챗봇에게특정분야의지식을구축하기위하여텍스트마이닝기술을활용 Chiari 2012. 본연구에서는 본연구에서는 LSA 라는벡터공간모델을사용하였으며, TF-IDF 를적용하였음온라인웹사이트에서필요한데이터를웹크롤링을활용하여수집하였으며챗봇의성능을정확도로평가하되, 완전히적합하지는않지만수용가능한대답을 관련된대답 으로구분

문헌연구 챗봇의성능평가챗봇의성능평가 1 웹사이트의상품정보와챗봇을같이제공하는경우에사용자의태도를분석 Sivaramakrishnan, Wan, and T ang (2007) 2 통합기술수용이론 (UTAUT) 를이용하여챗봇의수용요인분석 민수진, 김헌진, and 송근혜 (2017) 3 확장된기술수용이론 (ETAM) 을이용하여챗봇의사용의도를분석 박민수 (2017) 4 FAQ 챗봇의경우정답이존재하기때문에정확도, 정밀도, 재현율, F-score 를평가척도로사용 5 챗봇이응답한결과에대해 정확하다, 보통이지만수용할수있다, 부적합하다 세가지수준으로평가한결과활용 Voorhees & Buckland (2003) Huang et al. (2007) 본연구에서는 본연구에서는챗봇의답변성능과사용자들의지각된사용성두가지측면에서챗봇의성능을측정챗봇의성능을정확도로평가하되, 완전히적합하지는않지만수용가능한대답을 관련된대답 으로구분챗봇의사용성에대한평가척도를개발하여사용자들의인지된사용성을조사하였음

연구방법

연구방법연구의흐름 데이터분석 담화설계 주제분석을통해주요주제를추출하여담화시나리오를작성 챗봇의 정확도평가 데이터수집펜션웹사이트에서질의응답데이터를웹크롤링을통해수집 챗봇개발메신저연동 MS API 통신하는 API 서버개발카카오톡메신저와연동 사용자경험조사 현실적유용성검증 기존웹사이트에누적된데이터를활용하여데이터분석을실시하였으며펜션주와협의를거쳐챗봇의답변을생성하고 MS 의챗봇 API 를활용, 카카오톡메신저와연동함 2 가지방법으로펜션의성능을평가하여챗봇의현실적유용성검증

연구방법 데이터수집챗봇개발을위한데이터수집 데이터수집 출처 : 펜션웹사이트 Q&A 게시판내용 : 2012 년 5월 ~ 현재까지총 1066 개의질문과대답데이터 질의응답예시 제목 예약확인부탁드립니다 작성자 김성근 7 월 23 일 -24 일 00 객실예약하고계좌이체하였습니다. 내용 예약확인부탁드립니다. 그리고갈때올때가평역픽업서비스도부탁드립니다. 인원은아이한명어른한명 입니다. 안녕하세요 000000 펜션입니다. 답변 입금확인후예약완료문자발송해드렸습니다. 픽업은가평역도착후전화한번부탁드립니다.

연구방법 데이터분석챗봇개발을위한데이터분석 데이터분석 각단어의빈도분석후도메인전문가가단어의주제분류 워드임베딩 (LSA) 을통해단어의주제분류 교통 바베큐 수영장 주변정보 대중교통 16 바베큐 424 수영복 17 마트 100 도보 42 바베큐세트 112 수영장 134 배달음식 8 버스 50 바베큐장 48 튜브 3 산책 5 자가용 10 숯불 62 튜브대여 26 식당 30 전철 97 숫불 16 펌프유무 4 편의점 6 택시 6 기타 53 픽업 402 기타 50 빈도 : 612 빈도 : 662 빈도 : 184 빈도 : 202 관광 예약 펜션정보 계곡 16 가격 256 가구 15 인터넷 15 관광지입장료 42 결제 358 가전 34 잔디밭 5 레일바이크 50 날씨 16 객실구조 85 전망 9 산악바이크 10 애견동반 4 객실위치 4 조미료 85 수상레저 97 영수증 17 기타 4 조식정보 94 스쿠터대여 6 예약 1236 방음 5 충전기 8 주요관광지 402 예약변경 31 비치물품 15 취사도구 44 체험 25 예약일수 20 생수 5 침구 45 인원 483 시설정보 39 화장실 37 추가비용 39 이용규칙 166 기타 71 환불 26 빈도 : 648 빈도 : 2486 빈도 : 785

연구방법 담화생성챗봇개발을위한담화생성 담화설계및생성 주제및단어기반 55 개담화에대한 75 개답변생성

연구방법 담화생성챗봇개발을위한담화생성 담화설계및생성 주제및단어기반 55 개담화에대한 75 개답변생성

연구방법 챗봇개발챗봇프로그램의전체적인구조 챗봇구현및메신저연동 Microsoft Q&A Maker + 카카오톡메신저연동

연구방법 챗봇개발챗봇에활용한플랫폼 (API) 및자료입력 챗봇플랫폼의설정 Microsoft Q&A Maker 를활용

연구방법 챗봇개발챗봇과메신저간연동서버개발 메신저연동 카카오톡메신저연동 자동응답 API 규격에맞추어서버개발 https://github.com/shinminchul/kmac-chatbot

연구결과

연구결과챗봇의성능평가 챗봇의성능평가 평가 1 : 챗봇이실제사용자들의질문에정확하게대답하는정도 평가 2 : 챗봇을사용한사람들의사용자경험및태도 챗봇의정확도평가 챗봇이고객의질의에알맞게대답한빈도, 잘못응답한빈도모르는답변을전화로연결한빈도로챗봇의정확도에대한정량적인평가를실시함 챗봇의지각된성능평가 실험대상자들에게챗봇을직접사용하게한후설문조사를통해서챗봇을사용하면서경험한내용에대해서설문조사를통해지각된성능을평가하고자하였음

연구결과챗봇의성능평가 챗봇의성능평가 대상 : 20세에서 26세사이의대학생인원 : 35명가정 : 펜션이용을위해펜션예약후챗봇사용안내를문자로받음 실험 1 : 총 204 개의챗봇로그수집 ( 챗봇의정확도평가 ) 실험 2 : 총 35 개설문결과수집 ( 챗봇의지각된성능평가 )

연구결과챗봇의성능평가 챗봇의정확도평가 챗봇의정확도평가 챗봇의답변을질문에대해대답한형태에따라 4 가지종류로분류 TP : 챗봇이알고있는사실에대해정확하게답변 답변의종류질문답변 TN : 챗봇이모르는사실에대해모른다고답변 정확한답변 (TP) 픽업가능한가요? 픽업서비스는가평역, 가평터미널에서입실과퇴실시운행합니다. FP : 챗봇이모르는사실에대해알고있는잘못된답변을제공 관련된답변 추석연휴때요금이어떻게되나요? 비수기 1 박기준 2-3 인실 (10-13 만원 ) 3-4 인실 (12-15 만원 ) 5-7 인실 (20-26 만원 ) 입니다. FN : 챗봇이알고있는사실에대해모른다는답변을제공 무관한답변 (FP+FN) 전화연결유도 (TN) 펜션에어떻게갈수있나요? 골프장있나요? 자라섬은차량으로 10 분거리입니다만재즈페스티벌기간에차량정체가심합니다. 죄송합니다. 말씀하신내용은모르겠네요 ^^; 직접전화로문의해주세요 000-0000- 0000

연구결과챗봇의성능평가 챗봇의정확도평가 챗봇의성능평가 챗봇의정확도평가 사용자들과챗봇의상호작용횟수는평균 6.8 회 204 개질문중 13 개의답변 (6.4%) 을제외한대부분의답변을응대함 답변의종류빈도비율 정확한답변 (TP) 141 69.1% 관련된답변 32 15.7% 무관한답변 (FP+FN) 13 6.4% 전화연결유도 (TN) 28 8.8%

연구결과챗봇의성능평가 사용자평가문항개발 챗봇의지각된성능평가 사용자평가문항개발 Morville (2004) 의사용성평가모델인허니콤모델을수정 항목 문항 유용성 챗봇의응답이포함하고있는정보는유용하다. 챗봇의응답은내의도를잘반영하고있다. 채팅화면은직관적으로구성되어있다. 사용성 텍스트, 화면, 아이콘배치가적절하다. 1 회발화당글자수는적절하다. 채팅시실제사람과대화하는느낌을받는다. 감성성 대화체가실제사람과유사하게느껴진다. 챗봇의말투, 어조가불쾌감을일으킨다.(REVERSE CODING) 챗봇의비문자적자료활용이실제사람과대화처럼느껴지는데에도움이된다. 입력처리, 동작의결과및진행에대해적절한피드백을제공한다. 신뢰성 적절한응답에실패한경우, 챗봇이이에대한명확한이유를설명하고있다. 적절한응답에실패한경우, 챗봇이이에대해충분히양해를구하고있다. 챗봇덕분에펜션에대한이미지가좋아졌다. 사용의도 다시예약한다면문의사항은전화대신챗봇을이용할것이다. 이챗봇서비스에전반적으로만족한다.

연구결과챗봇의지각된성능 - 유용성 챗봇의성능평가 사용자평가 유용성영역

연구결과챗봇의지각된성능 - 사용성 챗봇의성능평가 사용자평가 사용성영역

연구결과챗봇의지각된성능 - 감성성 챗봇의성능평가 사용자평가 감성성영역

연구결과챗봇의지각된성능 - 신뢰성 챗봇의성능평가 사용자평가 신뢰성영역

연구결과챗봇의지각된성능 - 사용의도 챗봇의성능평가 사용자평가 사용의도영역

결론및의의

결과및의의챗봇개발및유용성검증 챗봇개발및유용성검증 별도의대량의데이터수집없이챗봇제작 고객의질의에대해 84.3% 의정확도로답변을제공 ( 관련답변포함 ) 사용자들은챗봇이제공한정보는유용하다고판단 챗봇사용경험은고객들이펜션에대해긍정적인이미지를갖게함 높은기술수준과방대한데이터없이개발이가능함 업무에효율성을증대시킬뿐아니라고객들의만족도를높임

결과및의의챗봇개발의체계적인절차및방안제시 챗봇개발의체계적인절차및방안제시 데이터수집 분석 담화생성 API 메신저연동 성능평가 데이터분석소스코드 크롤링 : https://github.com/kimsungguen/pensionbot/blob/master/crawl/q_a_cr.md 키워드 : https://github.com/kimsungguen/pensionbot/blob/master/word_count/word_count.md 주제 : https://github.com/kimsungguen/pensionbot/blob/master/lsa/lsa.md 메신저연동소스코드 https://github.com/shinminchul/kmac-chatbot 산업에필요한최신기술을직접활용하고유용성을검증 이론과학술적의의에만치중하지않고 현실적인문제해결과실증에중점에둔연구수행

결과및의의토의및한계점 토의및한계점 챗봇이대중에게익숙해지는데어떤요소가필요한가? 챗봇을다시이용하겠다 -> 41% 만이그렇다고응답 사용자가감내할수있는챗봇의정확도수준 연구방법의한계점 조사대상 20 대대학생 ( 챗봇에대한기대수준이연령에따라다를수있음 ) 실제펜션을예약했다는가정하에설문실시 ( 실제펜션을예약한고객이아님 ) 후속연구 챗봇도입후실제업무의효율성이증가하였는지에대한통계적검증 챗봇도입전후전화문의의증감비교

펜션게시판데이터수집및분석 : 1일챗봇의질의응답시나리오생성 : 2일카카오톡챗봇연동 : 1일 총개발기간 : 4 일 챗봇이가져다주는 자유시간은 우리삶속에이미데이터가있고, 쉽게사용할수있는기술이준비되어있다. 그러므로, 우리는이미챗봇을맞이할준비가되었다.

경청해주셔서감사합니다 WM103