기획시리즈 주간기술동향 2016. 4. 13. 언어처리를이용한인공지능기술동향 - 자연어대화인터페이스를중심으로 - 정한민한국과학기술정보연구원융합기술연구본부책임연구원 jhm@kisti.re.kr 김경선 다이퀘스트기술연구소 1. 서론 2. 자연어대화인터페이스주요기술 3. 자연어대화인터페이스국내외동향 4. 결론 1. 서론오랜기간동안부정적인인식의대명사가되었던 인공지능 (Artificial Intelligence) 이란기술용어가뜨겁게달아오르고있다. 구글의알파고가세계최고프로기사중한명인이세돌 9 단과바둑대결을벌여 4:1 로승리를거둔것이최근엄청난화제가되었다. 이에충격을받은정부에서도전례없는수준의속도로 인공지능중심적인 4 차산업혁명 에대한준비와인공지능에대한투자계획들을발표하고있는상황이다. 영국현지에도알파고에대한뉴스가많이보도될정도로관심이컸지만, 우리나라에서대국을벌였고, 직접눈으로패배를목격했기때문에그충격이더컸던것으로보인다. 이대국이전에는계산적인영역에서우위에있는알파고보다창조적인영역에서우위에있는이세돌 9 단이우위를점할것이라고이세돌 9 단본인을비롯하여많은관계자들이예측했지만, 막상뚜껑을열자프로기사들조차당혹스럽게만드는알파고의실력에인공지능의무서움을직접체험하게된계기가되었다는점에서승패를떠나, 그동안부정적인시각이많았던인공지능에대한대처가절실하다는인식이본격대두된것은관련분야를연구하고있는입장에서고무적이라고할수있다. 구글알파고는 1) 인공지능기술중강화학습 (Reinforcement Learning) 이라는기계학 * 본내용과관련된사항은한국과학기술정보연구원융합기술연구본부정한민책임연구원 ( 042-869-1772) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 1) 영국딥마인드 (DeepMind) 가개발한알파고이지만, 2014 년초에 4 억달러내외의금액으로구글이딥마인드를인수함에따라본고에서는구글알파고라고표현함 12
기획시리즈 인공지능 < 자료 > http://navercast.naver.com/contents.nhn?rid=122&contents_id=109419 ( 그림 1) 네이처에실린구글알파고관련기술들 습기술중하나를중점적으로사용하여인간의지능을모방하고, 더나아가넘어설수 있도록설계되었으며 [1], 이번대국을통해왜많은국내외기업들이차기신성장동력으 로인공지능을선택하여연구개발하고있는지를확실하게보여주었다. ( 그림 2) 는최근주목받고있는인공지능관련주요기업과연구내용을정리한것으 - Watson Deep QA 기술개발을통해 2011 년제퍼디퀴즈쇼에서우승함 - 방대한자료를검색해질문에맞는답을찾는단답형응답에최적화됨 - 헬스케어, 파이낸스분야로영역확장중이며, 최근에는소프트뱅크의페퍼에도적용됨 - 알파고, 텐서플로우등딥러닝기반의인공지능기술을다양한영역에적용하고있음 - Knowledge Graph 를구축하여질의응답영역에사용함 - 음성 / 이미지인식, 빅데이터처리영역에적용될인공지능기술을연구하고있음 - 표정 / 음성인식회사들인이모션트, 보컬 IQ 를인수하여인공지능기술을연구함 - 개인비서서비스시리를통해자연어대화기술을스마트폰에최초로탑재함 - 애플플랫폼을중심으로제품에실제적용할수있는인공지능기술을연구하고있음 - 페이스북메신저를통해서비스되는인공지능개인비서서비스를적용함 - 온라인쇼핑, 레스토랑예약등의작업을수행하며사람이감독및관리함 - 딥러닝전문가얀쿤교수를영입하여 AI 센터에서인공지능기술을연구하고있음 - IBM Watson 을모델로미래창조과학부주관연구과제를통해 QA 엔진을개발중임 - 장학퀴즈에도전하여개발기술을입증하기위한준비를진행중임 - 정보분석과추론을통해정확도를점진적으로높이는인텔리전스알고리즘개발중임 - 인공지능플랫폼 BE-ME 및이를이용한개인비서서비스를 MWC2015 에출품함 - 음성인식, 자연어처리등 ICT 분야에적용될인공지능기술을연구하고있음 < 자료 > http://news.naver.com/main/read.nhn?mode=lsd&mid=shm&sid1=105&oid=023&aid=0003151069 ( 그림 2) 국내외기업들의인공지능연구현황 정보통신기술진흥센터 13
주간기술동향 2016. 4. 13. ( 그림 3) 자연어대화인터페이스예로이들의인공지능연구현황을보면음성인식 (Voice Recognition), 자연어처리 (Natural Language Processing) 에대한연구개발이집중적으로많음을알수있다. 특히, 인간과기계간의사소통의갭을자연어대화를이용하여해결하려는연구에많은투자가있음을확인할수있으며, 핵심기술중하나인자연어대화인터페이스 (Conversational Natural Language Interface) 는기계와인간사이의대화를위해인간이사용하는언어인한국어, 영어등자연어를그대로이용하는자연스러운인터페이스이다. 일반적으로는우리에게익숙한애플시리나삼성전자 S 보이스처럼음성인식 + 자연어대화를결합한음성대화인터페이스를많이사용하나최근에는음성인식을배제하고문자메시지나문자기반 SNS 등에서자연어대화기술을독립적으로활용하는서비스들로확장되고있다. 자연어대화인터페이스는개인의디바이스나서비스기능활용, 관심사검색, 채팅등을지원하는개인비서로봇기능에초점을맞추었으나현재는금융, 쇼핑등고객상대영역에서상품에대한설명이나구매, 예약등을지원하는상담로봇기능으로확장되고있다 [3],[4]. 그렇기때문에, 초기에는주로스마트폰위주였으나지금은웨어러블기기, 자동차, 로봇에이르기까지다양한기기에적용되고있다. 2. 자연어대화인터페이스주요기술 자연어대화인터페이스에서처리하는대화유형은크게사회적관습이나지식, 대화 모델을바탕으로의사소통을위한채팅형대화와사용자의발화의도를이해하고발화의 14
기획시리즈 인공지능 ( 그림 4) 대화유형에따른자연어대화인터페이스의대응예목적에따라적합한발화또는작업을수행하는목적지향형대화로나눌수있다. ( 그림 4) 는각대화유형의예들을보여주며, 첫번째는 안녕 이라는말에대응하여 안녕 이라고대답하는인사말대화나 아머리아파어떻게하지 라는말에대응하여 아프냐나도아프다 라는유행어를사용하여재미있게응답하는농담식대화를포함하는채팅형대화이고, 아머리아파어떻게하지 라는말을듣고웨어러블기기로부터얻은체온, 위치등의센서데이터와주변정보를이용하여병원을추천하거나 ( 두번째 ), 보유하고있는다양한지식베이스를검색하여응답하는 ( 세번째 ) 목적지향형대화의예들을보여준다. 자연어대화인터페이스를프로세스관점에서살펴보면 ( 그림 5) 와같이발화이해, 대화관리, 응답생성으로나뉘어진다. 발화이해는텍스트형태의발화 (Speech Act) 를대상으로형태소 / 개체명 / 화행 / 의도분석을통해사용자의도를파악하고발화의미구조를생성하는단계이고, 대화관리는채팅 /QA( 질의응답 )/ 대화모델을이용하여응답의미구조를생성하는단계이며, 응답생성은지식추론과서비스수행엔진을이용하여지식베이스로부터적절한응답을생성하는단계이다. 정보통신기술진흥센터 15
주간기술동향 2016. 4. 13. 사용자 입력 음성입력문자입력터치입력센서정보 발화이해 대화관리 응답생성 형태소분석 채팅모델 지식추론엔진 개체명분석 QA 모델 화행분석대화모델 서비스수행엔진 의도분석 화면출력 음성합성 시스템 서비스수행출력 정보제공 언어 / 대화지식베이스 내 / 외부지식베이스 내 / 외부서비스 언어사전대화예제 DB 영역지식 / 서비스메타 DB ( 그림 5) 자연어대화인터페이스를위한프로세스 가. 발화이해발화이해는사용자발화를언어적으로분석하여사용자의도를기계가이해할수있는 ( 사용자 ) 발화의미구조를생성하는단계이다. ( 그림 6) 은사용자발화시발생할수있는오류를보정하고형태소 / 개체명 / 화행 / 의도분석과정을거쳐발화의미구조를생성하는 음성 / 언어 DB 전처리음성인식 / 오타보정 형태소분석 개체명분석 화행분석 타행의 ( 다행히, 다행의 ) 공인인증서를대한은행인터넷뱅킹에사용하려면인증서를다시발급받아야하나요? 타행 /ncn 의 /j 공인 /ncp 인증서 /ncn 를 /j 대한 /ncp 은행 /ncn 인터넷 /ncn 뱅킹 /ncp 에 /j 사용 /ncp 하 /xsp 려면 /ef 인증서 /ncn 를 /j 다시 /ncn 발급 /ncp 받 /pv 아 /ep 야 /ef 하 /pv 나요 /ef?/sf - 기관 : 대한은행 - 서비스 : 공인인증서 _ 발급 - 기능 : 재발급 - 대상 : 타행, 공인인증서, 인터넷뱅킹 - 화행 : 질문 (Y/N QUESTION) 의도분석 - 의도 : 공인인증서 _ 발급 사용자발화의미구조결정 공인인증서 _ 발급 _ 질문 ( ) - 화행 : 질문 (Y/N QUESTION) - 의도 : 공인인증서 _ 발급 - 대상 : 타행, 공인인증서, 인터넷뱅킹 ( 그림 6) 발화이해프로세스 16
기획시리즈 인공지능 ( 사용자 ) 발화의미구조 공인인증서 _ 발급 _ 질문 ( ) - 화행 : 질문 (Y/N QUESTION) - 의도 : 공인인증서 _ 발급 - 대상 : 타행, 공인인증서, 인터넷뱅킹 규칙기반대화모델 통계기반대화모델 대화 History 영역지식 DB 대화예제 DB ( 사용자 ) 응답의미구조 고객센터 _FAQ_ 보여주기 () { FAQ_ 검색결과 _ 가져오기 ( 공인인증서 _ 발급 ), 인사말생성 ( 아침 ) } ( 그림 7) 대화관리프로세스 발화이해의전형적인과정들을보여준다. 이모든분석과정들은반드시거쳐야하는것 은아니며, 필요에따라병합되거나생략될수있다. 나. 대화관리대화관리는발화의미구조를기반으로적합한대화모델을적용하여 ( 시스템 ) 응답의미구조를생성하는단계이다. 대화유형에맞는응답을생성하기위해서는대화모델의선택이중요한데, 대화모델은크게규칙기반대화모델과통계기반대화모델로나뉜다. - 계획 (Plan) 기반대화모델은가장전통적인규칙기반대화모델로이후에나온다른대화모델들의기반이되었다. 작업 (Task) 을아젠다 (Agenda) 에따라만들기쉽고유연하게조절이가능하도록영역 (Domain), 문제해결 (Problem-Solving), 담화 (Discourse) 의세부계획 (Sub-plan) 으로나누어대화모델을설계하여이전 Script 기반대화모델의단점인도메인이식성 (Portability) 문제를해결하였다. - 액티브온톨로지 (Active Ontology) 기반대화모델은애플시리 (Siri) 에적용된모델로, 작업을온톨로지내개념들로나누어정의하고추론을통해서비스에필요한시스템응답의미구조를생성한다. 또한, 수행엔진모듈을이용하여외부데이터연계나서비스를수행하여풍부한서비스가가능하도록하는특징이있다. 정보통신기술진흥센터 17
주간기술동향 2016. 4. 13. < 자료 > Jennifer Chu-Carroll and Sandra Carberry, Communication for Conflict Resolution in Multi-Agent Collaborative Planning, In Proceedings of the 1st International Conference on Multiagent Systems, 1995. ( 그림 8) 계획기반대화모델의예 - 예제 (Example) 기반대화모델은통계기반대화모델의하나로개발편의성이높은대화모델이다 [7]. 딥러닝에서요구하는것처럼대화예제빅데이터를대상으로언어분석엔진들을이용하여대화예제색인를생성하는인덱싱과정과대화예제색인을검색하여사용자발화와가장유사한예제를찾는검색과정으로나뉜다. - POMDP(Partially Observable Markov Decision Process; 부분적으로관찰이가능한마르코프결정프로세스 ) 기반대화모델은구글알파고와마찬가지로강화학습을사용하는통계기반대화모델이다 [8]. 대화가이루어지고있는상황과그상황에서발생한응답들을포함하는사용자행위를확률적으로모델링하여과거대화이력들로부터학습한대화모델을바탕으로자율적의사결정을수행한다. 알파고가수많은기보들 ( 통계기반대화모델에서학습을위해사용하는과거대화이력들에해 18
기획시리즈 인공지능 < 자료 > Adam Cheyer and Tom Gruber, Siri: A Virtual Personal Assistant, http://ontolog.cim3.net/file/resource/presentation/ Siri_20100225/Siri--An-Ontology-driven-Application-for-the-Masses--AdamCheyer-TomGruber_20100225.pdf 당한다고볼수있음 ) 을학습하여현재상황에가장적합한수를찾는것과같은원 리다. ( 그림 9) 액티브온톨로지기반대화모델의예 < 자료 > 이청재, 음성대화시스템을위한예제기반대화관리방법, 포항공과대학교박사학위논문, 2010. ( 그림 10) 예제기반대화모델의예 정보통신기술진흥센터 19
주간기술동향 2016. 4. 13. < 자료 > Steve J. Young, Using POMDPs for Dialog Management, SLT, 2006. ( 그림 11) POMDP 기반대화모델의예다. 응답생성응답생성은 ( 시스템 ) 응답의미구조로부터사용자에게전달될응답발화, 행위등총체적인반응을생성하는단계이다. 응답발화생성을위해서는발화템플릿을만들어놓 < 자료 > David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty, Building Watson: An Overview of the DeepQA Project, AI Magazine 31(3), 2010. ( 그림 12) 지식추론엔진을이용한 IBM Watson 구조 20
기획시리즈 인공지능 고적절한정보를결합하는템플릿기반방법이일반적이며, IBM Watson 은지식베이스와지식추론엔진을이용하여질문에대한정답을생성하며, 애플시리는다양한외부데이터와서비스연계를위해서비스수행엔진을사용한다. - 지식추론엔진 : 지식베이스를검색하는데사용되는전략으로정방향추론 (Forward Chaining) 과역방향추론 (Backward Chaining) 으로나뉜다 [9]. ( 그림 12) 는 IBM Watson 에서사용하는지식추론엔진의예로다양한정보로부터정답추론을위해필요한지식베이스를구축하고, 지식추론을통해적절한정답들과그에대응하는확률들을생성한다 [10]. - 서비스수행엔진 : 미리정의된서비스를수행하는엔진으로화행 (Speech Act) 을파악하고내외부서비스등과연계하여결과를생성한다. 애플시리에서사용하는모델기반서비스수행엔진은다양한외부데이터와서비스를연계하기위해각모델의개념별로개념실현을위한외부데이터, 서비스, 속성등을사전에정의하고, 이를이용하여사용자발화에적합한응답을생성하거나서비스를수행한다. 3. 자연어대화인터페이스국내외동향애플시리로촉발된개인비서로봇은스마트폰중심의삼성전자 S 보이스, LG 전자 Q 보이스와웨어러블기기, 자동차, 로봇들로확장할수있는범용플랫폼으로서의구글 Now, 마이크로소프트 Cortana, 페이스북 M 으로진화하고있다. 사물인터넷 (IoT) 이향후미래사회의핵심이될전망이며, 현재는국내제조업체보다글로벌서비스기업들이주도권을잡고있다. 자연어대화인터페이스가개인비서로봇에없어서는안될필수적인인터페이스로인식되고있으며, 아마존역시스피커에자연어대화인터페이스를삽입한에코를출시하였고, 소프트뱅크또한로봇페퍼에 IBM Watson 을탑재하여출시하였다. 가. 스마트기기를위한개인비서서비스스마트기기를위한개인비서서비스는주로스마트폰과패블릿, 태블릿, 스마트워치등에서적용되고있으며, 알람, 스케줄관리, 전화걸기등의기기본연의기능과지식네비게이션, 채팅등부가기능과결합하고있다. 초기에는인간친화적이고지루함을해소해줄수있는채팅기능에초점을맞추고있었으나, 점차주변지식을활용하는부분으로확 정보통신기술진흥센터 21
주간기술동향 2016. 4. 13. 장되고있다. 현재상용화된개인비서서비스를분류하면스마트폰제조사들과인터넷서비스기업들의행보가확연히다름을알수있다. 스마트폰제조사들에서개발한 S 보이스와 Q 보이스등의개인비서서비스는주로디바이스의기능적활용에중점을두고있는반면에, 인터넷서비스기업들에서개발한구글 Now, 네이버 Link 등의개인비서서비스는자체보유한엄청난지식베이스를활용하여스마트기기들에서지식네비게이션을제공한다. 나. 자연어대화인터페이스를이용한 IoT, 로보틱스서비스 IoT 와로보틱스 (Robotics) 가미래사회에서핵심역할을할것으로기대하고있으며, 이러한배경하에서주목받는몇가지서비스들을소개하고자한다. - 아마존에코 (Echo): 아마존에서만든스피커기반음성서비스를제공하는저가보급형인공지능기기로, 스마트홈을위한 IoT 허브역할을목표로한다. 특히, 아마존에코는알렉사 (Alexa) 라는음성자연어대화인터페이스를이용하여연계된사물인터넷서비스에대한조절과프라임뮤직음악, 도미노피자주문, 우버렌터카요청등다양한외부서비스와의연계를통해그적용영역을확대하고있다 - 지보 (Jibo): 보급형으로만들어진가정용인공지능로봇으로메시지전송, 사진촬영, 영상전화등스마트홈에서필요한기능들을갖춘 IoT 허브를목표로한다 [14]. 또한, 사용자의표정을읽어감정을인식하는기능, 자연어대화인터페이스를이용하여사용자친화적인인터페이스를제공한다. 삼성전자와 LG U + 가각각 200 만달러를투자하여일부지분을확보하였으며, 상용화출시도계획하고있다. - 소프트뱅크페퍼 (Pepper): 가정이나업소에서사용할수있는인공지능로봇으로 IBM Watson 을이용한자연어대화인터페이스를제공한다 [15]. 최근에는얼굴인식을통해고객의인상, 연령, 성별등을파악하고, 마이크로소프트빅데이터분석시스템인애저 (Azure) 를활용하여소매점서비스, 관광안내, 노인돌봄및의료서비스, 교육서비스등다양한분야로적용영역을확장중에있다. 다. 자연어대화인터페이스를이용한문자상담서비스 최근인터넷뱅크에선정된카카오뱅크에서 24 시간상담로봇서비스를제공한다고하 여금융권의초미의관심사가되고있다. 이를기회로은행뿐만아니라증권사, 카드사등 22
기획시리즈 인공지능 많은금융기업들이자연어대화인터페이스를이용한자동상담도입을적극검토중에있으며, 향후에는콜센터를운영하고있는타분야기업및기관들로확장될것으로예측된다. 국내에서는현재자연어대화인터페이스를이용한자동상담을운영하는곳이없지만, 스마트기기나빅데이터기술등이나오기훨씬전인, 2000 년대초에 LG eshop 의쇼핑에이전트나 SK 1mm 서비스가개발되어시험적용된적은있었다 [17]. 국외에서는 Next IT 를중심으로항공예약, 콜센터상담, 금융상담등다양한영역에서문자를활용한자동문자상담서비스가고객들에게제공되고있으며, 조만간우리나라에서도이러한서비스들을접할수있을것으로보인다. 4. 결론자연어대화인터페이스는최근급격히관심이증가한인공지능기술이실제상용화되어활발히적용되고있는주요기술로, 스마트기기들을위한개인비서서비스에서출발하여스마트홈을위한 IoT 허브및로봇, 그리고, 지능형자동상담서비스까지다양한형태로우리곁에다가오고있다. 자연어대화인터페이스는기반이되는자연어처리기술뿐만아니라빅데이터분석, IoT 및외부서비스연계등현재주목받고있는핵심기술들이복합된융합기술이라고할수있다. 그렇지만, 딥러닝을포함한기계학습 (Machine Learning), 지식표현 (Knowledge Representation), 추론 (Reasoning), 지식베이스구축등고도의인공지능기술들이활용되어야한다는점에서진입장벽또한높은편이다. 구글, 애플, 아마존, IBM 등글로벌 IT 기업들이대규모투자를통해이미상용화수준에도달해있는데반해, 국내기술수준은상용화에도달하기에는많이부족하다는점에서시급히집중투자가이루어져야한다. 최근, 정부에서도알파고 ( 세계랭킹 3 위였던이세돌 9 단을 5 위로밀어내고, 세계랭킹 2 위에새롭게진입함, http://www.goratings.org/ 2016.3.29 기준 ) 가일으킨큰충격을시발점으로인공지능중심적 4 차산업혁명을준비해야한다는목소리가커지고있으며 [19], 이를달성하기위한실질적지원이산ㆍ학ㆍ연연계를통한시너지를낼수있는방향으로확대될필요가있다. 정보통신기술진흥센터 23
주간기술동향 2016. 4. 13. < 참고문헌 > [1] Elizabeth Gibney, Google AI algorithm masters ancient game of Go, Nature 529, 2016. [2] http://navercast.naver.com/contents.nhn?rid=122&contents_id=109419 [3] http://www.apple.com/ios/siri/ [4] httphttp://www.nextit.com/platform.php [5] Jennifer Chu-Carroll and Sandra Carberry, Communication for Conflict Resolution in Multi- Agent Collaborative Planning, In Proceedings of the 1st International Conference on Multiagent Systems, 1995. [6] Adam Cheyer and Tom Gruber, Siri: A Virtual Personal Assistant, http://ontolog.cim3.net/file/resource/presentation/siri_20100225/siri--an-ontology-driven- Application-for-the-Masses--AdamCheyer-TomGruber_20100225.pdf [7] 이청재, 음성대화시스템을위한예제기반대화관리방법, 포항공과대학교박사학위논문, 2010. [8] Steve J. Young, Using POMDPs for Dialog Management, SLT, 2006. [9] https://ko.wikipedia.org/wiki/%ec%b6%94%eb%a1%a0_%ec%97%94%ec%a7%84 [10] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty, Building Watson: An Overview of the DeepQA Project, AI Magazine 31(3), 2010. [11] http://blog.naver.com/skygowoo/50146246457 [12] http://blog.naver.com/jad02/20159978455 [13] http://www.amazon.com/b/?node=14047587011 [14] https://www.jibo.com/ [15] http://www.softbank.jp/en/robot/ [16] http://www.itnews.or.kr/?p=17633 [17] 서정연, 음성 / 영상통합정보를활용하는지능형말동무로봇용대화음성인터페이스기술및워크벤치도구개발, 지식경제프론티어기술개발인간기능생활지원지능로봇기술개발사업최종보고서, 2013. [18] http://www.nextit.com/case-studies/alaska-airlines/ [19] http://biz.chosun.com/site/data/html_dir/2016/03/15/2016031501665.html?main_hot4 24