1868 호 2018.10.17.
주간기술동향 은과학기술정보통신부 ICT 동향분석및정책지원 과제의일환으로정보통신기술진흥센터 (IITP) 에서발간하고있습니다. 주간기술동향 은인터넷 (http://www.itfind.or.kr) 을통해서비스를이용할수있으며, 본고의내용은필자의주관적인의견으로 IITP의공식적인입장이아님을밝힙니다. 정보통신기술진흥센터의 주간기술동향 저작물은공공누리 출처표시- 상업적이용금지 조건에따라이용할수있습니다. 공공누리의제2유형에따라상업적이용은금지하나, 별도의이용허락 을받을경우에는가능하오니이용하실때공공누리출처표시지침을참조하시기바랍니다.(http://www.kogl.or.kr/info/license.do 참고 ) 예시 ) 본저작물은 OOO( 기관명 ) 에서 OO년 작성하여공공누리제O유형으로개방한 저작물명 ( 작성자 :OOO) 을이용하였으며, 해당저작물은 OOO( 기관명 ), OOO( 홈페이지주소 ) 에서무료로다운받으실수있습니다.
ICT 신기술 최신 ICT 이슈 1868 호 기획시리즈 2 인공지능형로봇언어학습시스템개발동향과과제 [ 김인석 / 국제언어교육연구원 ] Ⅰ. 서론 Ⅱ. 인공지능형로봇언어학습시스템개발현황과기술동향 Ⅲ. 인공지능형로봇언어학습시스템개발방향 IV. 인공지능형언어학습용로봇시스템의언어교수 학습론적활용방안 Ⅴ. 맺음말 ICT 신기술 18 감정인식기술동향 [ 송병철 김대하 최동윤 이민규 / 인하대학교 ] Ⅰ. 서론 Ⅱ. 감정인식기술개요 Ⅲ. EmotiW의소개 Ⅳ. 멀티모달딥러닝기반감정인식 Ⅴ. 결론및시사점 최신 ICT 이슈 30 Ⅰ. VR 인구 10억명목표, 비 ( 非 ) 게임콘텐츠로사용자확대나선오큘러스 Ⅱ. 새로운영상서비스개발나서는스포츠업계, 트위터로카메라제어 Ⅲ. 제프베조스의 블루오리진, 로켓엔진공급계약체결
주간기술동향 2018. 10. 17. 인공지능형로봇언어학습시스템개발동향과과제 * 김인석국제언어교육연구원이사장 4차산업혁명시대가도래됨에따라인공지능기술과로봇공학기술을언어학습에적용시키려는시도가활발하게이루어지고있다. 이러한시도는언어학습자들이언어를재래적인방법보다인공지능형로봇언어학습시스템을통해더욱쉽게배울수있다는믿음에서기인한다. 본고에서는인공지능기술기반언어학습시스템개발현황을살펴보고, 이시스템들을국내초 중 고학생들을대상으로한교수 학습설계및개발에적용하는방안을제시한다. 또한, 시스템개발시인공지능기술, 로봇공학시스템, 언어교육전문가들간의협업의중요성을역설한다. I. 서론 인공지능형시스템을활용한언어학습은 80년대초반에 MIT가 5년간연구 개발한 ALLP (Athena Language Learning Program) 가효시이다. 그러나, ALLP 시스템은그당시의자동음성인식기술 (Automatic Speech Recognition Technology) 과자연언어처리기술 (Natural Language Processing Technology) 의개발수준이초보적단계여서학습자와인공지능형언어학습시스템간에쌍방향대화를할수가없었기때문에후속연구없이중단되었다. 그후 CD-Interactive, CD-ROM, DVD-ROM 시대를거친후인공지능기술중음성인식기술이활발하게연구되었으며, 90년대들어이자동음성인식기술이외국어학습용멀티미디어코스웨어에장착되어사용되기시작했다 [1]. 2000년대에접어들어서는자연언어처리 (Natural Language Parser: NLP) 기술이발달되면서일본어학습용 Robo-Sensei System, 독일어학습용 E-Tutor System, 포르투갈어학습용 Tagarella System과같은외국어학습용인공지능프로그램 (Intelligent Language Tutors: ILTs) 이선을보이기시작했다 [12]. 그러나이러한인공지능형 ILTs 시스템들도육성으로하는쌍 * 본내용은김인석이사장 ( 02-335-7017, timmykim@nate.com) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP의공식적인입장이아님을밝힙니다. 2 www.iitp.kr
기획시리즈 인공지능 방향외국어대화인식이아닌문자인식으로대화를전개하거나, 어휘학습, 문법학습에국한되어쌍방향으로대화가가능하여인공지능형시스템과거리가멀어서외국어대화학습에크게도움이되지못했다 [11]. 2010년중반에들어서음성인식기술과자연언어처리기술을겸비한인공지능형콘텐츠가교육현장에서사용되기시작했다. 최근들어, 이양대공학기술이급기야로봇에융 복합적으로통합된인공지능형로봇영어학습시스템이시장에출시되면서로봇시스템을이용한외국어학습이가능하게되었다. 본고에서는인공지능형로봇언어학습시스템개발현황을살펴보고, 이언어학습용로봇시스템이언어학습에실질적인도움을줄수있는개발방향을제시함으로써국내로봇제작기업의언어학습용로봇제작에실질적인도움을주고자한다. II. 인공지능형로봇언어학습시스템개발현황과기술동향 1. 인공지능형로봇언어학습시스템개발현황 4차산업혁명시대에들어서면서인공지능기술 (Artificial Intelligence) 의발전에힘입어지능형서비스로봇이빠르게진화하고있다. 로봇유형은기술과사용도에따라크게제조용로봇, 개인서비스용로봇, 전문서비스로봇으로대분류된다 [3]. 제조 ( 산업 ) 용로봇은산업각분야의제조현장에서생산과출하작업을위한로봇이며, 개인서비스로봇은건강, 교육, 가사도우미등의목적으로개발된로봇이며, 전문서비스로봇은의료, 복지, 군사등의특별한목적으로개발된로봇이다. 제조용로봇 ( 미국의자동차정비서비스용 VGo 등 ) 은제조업혁신과맞물려로봇시장의주류위치를선점했고, 전문서비스로봇은의료치료 ( 미국수술용 da Vinci), 군사목적 ( 미국부상병구조용 Vecna), 사회안전 ( 일본 Asimo) 등의사회적중요성때문에뒤를잇고있으며, 개인서비스로봇은가사지원 ( 미국가정용 Jibo, 대만가정용 Zenbo), 교육 ( 미국교육용 Beam), 헬스케어 ( 일본치매저하용보코비 ), 엔터테인먼트 ( 프랑스음식배달용 Buddy), 산업의고객응대서비스 ( 일본 Pepper) 의목적으로개발된로봇으로최근연구와개발이빠르게진행되고있다 [5]. 특히, 개인서비스로봇은최근다양한개인도우미역할을하는컴패니언로봇 (Companion Robot) 으로소프트웨어적서비스중심으로제공되는데, 고령인구와 1인가구증가, 맞벌이의일반화, 저출산, 교육열, 헬스케어, 여가지원등의사회적여건의변화로고부가가치창출이가능한미래산업아이템으로부상하고있다 [7]. 또한, 연구 개발의관심축이산업로봇에서서비스로봇으 정보통신기술진흥센터 3
주간기술동향 2018. 10. 17. 로급격하게이동되고있는양상마저띄고있다 [9]. 언어학습용로봇은개인서비스용컴패니언로봇으로서학습자들이언어를학습할때원어민처럼옆에두고수시로도움을받을수있는휴머노이드형로봇으로정의할수있다. 인공지능형언어학습용로봇으로분류되는 1세대로봇으로는유진로보틱스의아이로비, 혼다의아시모 (ASIMO), 한국과학기술연구원지능로봇사업단의잉키로봇을들수있다. 이로봇학습시스템들은학습자들이실제로사용할수있는수준에이르지는못했다 [8]. 그후 2000년대자연언어처리 (NLP) 기술이발전되고, 이기술을언어학습에적용하는다양한시도가이루어졌고, 결국인공지능형로봇언어학습용시스템이 2010년대에선을보이게되었다. 국내 외로봇언어학습시스템은영어를중심으로개발되어왔다고해도과언이아닌데, 최근관심을끌고있는영어학습용로봇시스템은 [ 표 1] 과같이요약된다. [ 표 1] 영어학습용로봇시스템개발현황 품명 목표언어 연도 개발사 인공지능기술도 Dave ESL ChatBot 영어 2010 미국 Wallace AI Foundation 영어로짤막한일상생활관련대화 TYCHE 영어 2016 AI brain( 한국 ) 제한적쌍방형영어대화 ( 스마트폰제품 ) Musio 영어 2016 AKA Intelligence( 일본 ) 유창한수준의영어대화가능 Sophia 영어 2016 Hanson Robotics( 미국 ) 다양한주제에관해유창한영어로대화가가능 GenieTutor* 영어 2014 ETRI( 한국 ) 원천기술형수준 MINDs English* 영어 2018 MINDs LAB * 인공지능형영어학습용콘텐츠이지만아직로봇으로개발되지는않은제품을나타냄 < 자료 > 국제언어교육연구원자체작성 대화형영어회화가가능하며개인학습피드백제공 [ 표 1] 에서 Dave ESL ChatBot 는 2010 년도초부터온라인으로출시되어세계의어느곳에서 나웹에접속하여영어학습자가영어대화학습을할수있는유료서비스용챗봇이다. TYCHE, MUSIO, Sophia 는인공지능형로봇제품들로개발연도는각각 2016 년이다. ETRI 가개발한 GenieTutor 는인공지능형콘텐츠 (2014 년 ) 로로봇제품은아니며현재초중고학생용영어학습용 시스템으로사용할수있도록개발되었는데, 현재상용화작업이다양한방법으로진행되고있다. 최근 GenieTutor 원천기술을이용하여개발된상용시스템으로는 Hancom 의말랑말랑 Genie Tutor, 울릉군시범서비스, 두산동아 Debates 콘텐츠등을들수있다. 마지막으로, MINDs English 는인공지능형영어학습용시스템으로학습자와프로그램간의쌍방대화가가능하도록 개발되었는데, 10 월경출시될예정으로있다. 이두시스템은로봇제품은아니지만, 인공지능기술 4 www.iitp.kr
기획시리즈 인공지능 을보유하고있어서향후언제라도로봇시스템으로통합개발이가능하기때문에본고에서는영어학습용로봇시스템분류표에포함시켰으며, 로봇으로통합하여개발하는방법은 III-2에서설명할것이다. 다음항에서는 4개의로봇영어학습시스템과 2개의인공지능형영어학습시스템에관해개괄적으로설명하고자한다. 2. 인공지능형로봇영어학습시스템의개발사례 가. ALICE ChatBot[15] ALICE ChatBot은거의 50여전이전에 Weisenbaum 박사가초기자연언어대화시스템인 ELIZA를개발하면서세상에알려지게되었다. 그후 ELIZA에사용된인공지능기술을적용하여로봇프로그램인 ALICEBOT이개발되었으며, 2000년과 2001년도에뢰브너 (Loebner) 인공지능기술상을받을정도로그성능이우수한것으로평가되었다. ALICEBOT은무료로제공되는 AIML (Artificial Intelligence Markup Language) 인공지능기술을적용하여개발된온라인텍스트채팅을이용한영어대화연습프로그램으로 2010년부터누구나홈페이지에접속하여유료로연습할수있다. DAVE E.S.L. ChatBot은오픈소스코드인 AIML 인공지능기술을이용하여제작된챗봇으로인간원어민가정교사를앞에두고대화하는것처럼대화연습을할수있어서영어를배우는학습자들에게인기가높은데, [ 그림 1] 은대화예시화면이다. 사실상 AIML 인공지능기술은무료소스코드이고, 최소한의디자인원칙을적용하여개발된공학기술이기때문에 HTML 지식을가지고있고웹페이지를개발할수있는자라면누구나다운로드하여자신이원하는영어학습프로그램을개발할수있다. 이러한이유로 AIML는세계적으로챗봇공학 (Chatbot Technology) 시장의 80% < 자료 > Kim, I. The Overview of Intelligent Computer-assisted Language Learning and Its Activity Design Issues and Pedagogical Considerations. islpal Conference Proceedings 2015-2 (Australia), 2015, p.14. [ 그림 1] Dave ESL Chatbot 대화화면 정보통신기술진흥센터 5
주간기술동향 2018. 10. 17. < 자료 > Rohan Chikorde, Implementing Chatbots Using Deep Learning. https://www.slideshare.net, 2016, Slide 9. [ 그림 2] Alice ChatBot 시스템구조도를점유하고있는실정이다. [ 그림 2] 는 AliceBot 알고리즘을보여주고있다. 위시스템구조도는 4단계로구분된다. 첫단계는학습자의대화문장입력단계이다. 학습자가대화문장을마이크에대고말하면음성인식장치를통과한후문자입력형태로변형된다. 이경우음성을문자로변형해주는공학기술이필요한데, 이것이 Speech to Text 기술이다. 이변환된문자입력은중앙의대화인식장치 (NLP) 에전달되어해득된후에학습자의문장에적절한의미를조합하게된다. 세번째단계에서는조합된문장내용을실제대화문자형태로생성시킨후이문장의문자를음성으로변환시키는과정을밟게된다. 이과정에서는문자를음성으로변환시키는데사용되는 Text to Speech 기술이적용된다. 이변환은첫번째단계에서적용된 Speech to Text와정반대되는기술이다. 마지막단계에서는세번째단계에서생성된음성을컴퓨터화면에있는아바타또는로봇의입을통하거나컴퓨터스피커를통해서학습자의귀에들리게된다. 나. TYCHE 타이키로봇은스마트폰에연결하여사용하는영어학습용 AI 로봇인데, 그학습모형도는 [ 그림 3] 과같다. 타이키는언어지시, 아바타만들기, 감정 표현과학습자의얼굴인식을통한액세스제 어등의기능을가지고있어학습자의취향 에따라다이나믹한로봇의멋진모습들을 < 자료 > http://tyche.club [ 그림 3] 타이키로봇영어학습화면 6 www.iitp.kr
기획시리즈 인공지능 커스터마이징할수있다. 음성명령을통해프로그래밍하고로봇을움직일수있도록제작되어있다. 예를들어, 사용자가 앞으로움직인다음왼쪽으로돌고뒤로다시움직여 (Move forward, turn left and move backward) 라고명령하면, 타이키는음성명령어를이해하고움직인다. 타이키는사용자의표정에반응해웃음짓는등다양한표정변화를지녔다. 어린이가타이키와친구처럼놀며언어를학습할수있도록제작되었다. 타이키로봇의특징으로 대화하는친구로봇, 주인이누구인지잘아는지능로봇, 배운것을기억하여자신만의고유한인공지능친구로성장, 영어로대화함으로써영어능력향상, 정보검색, 스케줄을관리해주는인공지능비서 등을들수있다. 타이키로봇은자연언어프로세싱기능이내장된환경추론과움직임의용이함을위한공간감각용카메라를고급기술로통합시킨로봇이다. 타이키는매력적인청각, 시각앱을사용한재미뿐만아니라학습자들이프로그래밍기술과쉽고간단한드래그앤드롭기능을통해로봇제어도연습할수있도록제작되어있다. 타이키는케임브리지잉글리쉬레벨1의 97% 수준으로자연스럽게영어대화가가능하며, 지능과의교감을통해아이들의지능계발을돕는것을특징으로삼고있다. 다. MUSIO 뮤지오는일본 AKA사가자체개발한최첨단 AI 엔진 뮤즈 (Muse) 를탑재한인공지능로봇으로뮤즈의딥러닝 (deep-learning) 알고리즘을바탕으로대화의문맥및상황을인지하도록제작되어있다. 뮤지오로봇은사용자와의대화내용을기억할수있어자연스러운소통이가능하며, 자체적인감정체계를가지고있어, 사람과의대화내용, 피곤한정도등여러가지요인등의감정상태를표정, 색, 소리로표현하도록개발되어있다. 이에따라학습자와로봇간에친밀한관계의형성이가능한데, 이는학습자들의학습동기를불러일으킬수있어서학습친화적이다. 최근일본학교에구축된뮤지오전용교실에서학생들에게컴퓨터교실과마찬가지로 1 명당 1대의기기가배정되었다. 뮤지오는원어민수준의영어소통이가능한것으로알려져있으며, 이때문에학생들의발음교정및회화연습을담당하는등보조교사역할을하 는것이가능하다. 뮤지오전용교실은본수 업이끝난이후에도점심시간및방과후자율 학습시간에도학생들이자유롭게사용할수 < 자료 > akaintelligence.com [ 그림 4] 아카의 AI 엔진뮤즈구성도 정보통신기술진흥센터 7
주간기술동향 2018. 10. 17. 있어서학생들의영어학습의욕을고취시키고있다. 로봇뮤지오 (MUSIO) 의인공기능기술적특징은딥러닝기반의자연어처리기술을통해사전에프로그래밍되지않은새로운문장을생성하는 AI 엔진이라는점이다. 사용자와의대화내역뿐만아니라시와소설등의문학자료, 인터넷상에존재하는방대한정보를검색, 학습하여사용자가입력한값에가장적절한문장을도출해내도록개발되어있어, 영어를배우고자하는학습자들에게유용한학습도구로사용될수있다. 라. 인공지능로봇소피아 (Sophia) 최근여성의모습을하고사람과대화가가능한인공지능로봇이많은언론에서주목을받은적이있다. 소피아 (Sophia) 라는이름을가진이로봇은미국의휴머노이드로봇전문스타트업핸슨로보틱스 (Hanson Robotics) 가개발한것이다. 소피아 (Sophia) 는인공지능개발자데이비드핸슨 (David Hanson) 이설립한 핸슨로보틱스 가 KAIST와협업하여걸을수있는로봇으로개발한휴머노이드로봇이다. 소피아로렌같은특정인의외모와 62가지의표정반응을띄면서딥러닝을통한자연어대화가가능하다는점에서세계적인관심을자아낸바있다. 영어로진행한미국경제전문방송앵커와의인터뷰에서경제, 사회, 가정, 정치등의주제에관해상식적으로이해가능한수준으로척척답을해내서청중들을놀라게만들기도했다. 2018년 1월한국의한호텔에서개최된시연행사에서인공지능로봇소피아는노랑저고리, 꽃분홍치마, 색동저고리를입어화려한색감의한복자태를뽐내기도했다. 이어진행자인한국의한정치인과의일대일영어대화에서 로봇의발전에따라어떠한직업이사라질것인가? 라는질문에소피아는 과거인간이해왔던일중많은것을로봇이대신할것이다. 이로인해직업이바뀌게되겠지만인간은스스로잠재력을발휘할것이다. 역사적으로그랬던것처럼인간은발전적인방향으로변화에적응할것이다. 라고유창한영어로답하였다. < 자료 > http://www.hansonrobotics.com [ 그림 5] 인공지능로봇 Sophia 8 www.iitp.kr
기획시리즈 인공지능 소피아는멀리서보면사람과거의흡사한여성외모를띄고있다. 더욱놀라운점은바로사람처럼 60가지나되는감정을느끼고표현할수있다는점이다. 소피아는 2017 미래투자이니셔티브행사에연사로초대되어사회자와토론을벌인적이있는데, 이유튜브영상을보면소피아는단순하고일상적인대화수준을넘어지적으로매우뛰어난수준의대화를보여주었으며, 이는소피아가빅데이터의수집과딥러닝과정을거쳐수준높은지적능력을보유하고있음을입증시켜주었다. 소피아는향후의학분야에서활용할전망으로알려져있지만, 소피아가인공지능대화의언어가영어인점을감안하면영어학습자들을위한쌍방향영어인공지능시스템으로개발하는것이어렵지않을것으로보이기때문에이방면의시도는해볼만하다고본다. 마. MINDs English 마인즈랩은 2018년부터인공지능플랫폼마인즈에이아이와다양한 AI 엔진을기반으로인공지능로봇서비스를제공하고있는데, 시스템구조도는 [ 그림 6] 과같다. 마인즈랩사는지난 7월 COEX에서개최된국제인공지능대전에서 MINDs English 시스템을선보였으며, 이제품은한국인에특화된발음및의미교정이가능한인공지능형영어학습용시스템으로기본회화부터각종공인시험준비까지할수있는수준으로개발되었다. 이시스템은영어학습을 < 자료 > http://maum.ai [ 그림 6] AI 플랫폼마인즈에이아이시스템구조도 정보통신기술진흥센터 9
주간기술동향 2018. 10. 17. 진단, 자가학습, 체득화, 체크와검증, 튜터링과복습등의 5단계로구성했다. 특히회화용학습은사용자의음성인식에기반한패턴드릴, 롤플레잉, 시나리오방식의회화연습프로그램으로구성한것이특징이다. 마인즈랩사는 MINDs English 시스템을미국의 IBM 인공지능형 DB와알고리즘을사용하여개발했기때문에콘텐츠의신뢰도와안정성이높아추후학교현장을통해검증해볼필요가있다. 특히, MINDs English는성인대상학습용시스템이기때문에초중고학생들의국가영어교육과정영어학습을위한시스템을개발하는것도어렵지않을것으로본다. 바. 인공지능형영어회화프로그램 GenieTutor Genie Tutor는일상생활주제로구성된영어대화에관해학습자의음성데이터를받아들여이에적합한음성데이터를출력시켜주는인공지능형영어학습시스템으로 2014년에 ETRI가그원천기술을개발했다. GenieTutor는학습자문장의문법정확성, 의미의적절성등을체크한후학습자들의대화에적절한반응을출력해주는일련의과정을통해서 GenieTutor와학습자간의영어대화가가능하도록개발되었다. [ 그림 7] 은 Genie Tutor의시스템구조도이다. < 자료 > 박전규. 대화형영어말하기학습기술, ETRI, 정부기관대상연구발표자료, 2018. [ 그림 7] GenieTutor 의상세시스템구조도 10 www.iitp.kr
기획시리즈 인공지능 [ 그림 7] 은 GenieTutor의상세시스템구조도인데, 중간부분 ( 비정형자연어음성인식 ) 의음성인식단계를거친후하단부의자연언어처리단계 ( 문법, 표현, 오류검출 ) 에진입하여대화문맥기반문법오류교정을하도록구성되어있다. GenieTutor 시스템은학습자의음성데이터를인공지능형시스템을이용하여그에적절한응답을음성으로변환하여송출시켜줌으로써쌍방향영어대화가가능하다. 외국의다른인공지능형외국어학습용프로그램이대부분문자입력을처리하는수준으로개발되어있다는점을감안하면 GenieTutor의인공지능원천기술은이들보다앞선것으로평가할수있다. 따라서 GenieTutor를활용하여향후본격적인개발이이루어진다면국제적인인공지능형외국어교육용시스템 (ICALL) 연구에서도주목을받을것으로생각된다. 이인공지능형 Genie Tutor 원천기술시스템을로봇시스템에통합시켜서로봇제품으로출시할경우그유용성은매우높을것으로보이기때문에이러한시도는해볼만하다 [12]. III. 인공지능형로봇언어학습시스템개발방향 1. 로봇의시스템구조도 인공지능기술과로봇기술은서로다른공학기술이며, 상호간에독립적으로작용한다. 즉, 로봇제품이반드시인공지능기술을내재해야할필요는없다. 그러나로봇에인공지능을내장시켰다면보다심화된작업을수행해낼수있기때문에이상적이다. 2000년대들어인공지능과로봇공학의발전으로관련기술이안정화됨에따라미국기업을중심으로인공지능 (Artificial Intelligence) 과로봇공학 (Robotics) 간의융복합연구, 개발이활성화되고있다 [10]. 로봇시스템구조도는적용인지이론과개발목적에따라서로다른데, 이중대표적인것을들면, 교육용로봇시스템구조도, 소셜로봇시스템구조도, 로봇의윤리적판단력시스템구조도모형등이있다. 이중두번째시스템구조도가비교적이해하기쉽기때문에이것을아래에제시하여설명하고자한다. 위시스템구조도는크게사고적측면구조와감각운동측면구조로구분된다. 전자는 ORO( 능동적지식창고 ), SPARK( 기하학적추론모듈 ), DIALOGS( 자연언어처리모듈 ), HATP( 상징적과업계획모듈 ), SHARY/pyROBOTS( 처리통제모듈 ), MHP( 인간인지모션및조작계획모듈 ) 등의 6개모듈로구성된다. 이사고적측면구조는도식의하단부소리 감각측면모듈과상호작용하여로봇이주어진과업을수행한다. 이두개의측면구조의상호작용에관해서는 Lemaignan 외 (2017) 의논문 (48~49쪽) 을참고하기바란다. 정보통신기술진흥센터 11
주간기술동향 2018. 10. 17. < 자료 > Lemaignan, S., Warnier, W., Sisbot, A., Clodic, A, and Alami, R. Artificial cognition for social human robot interaction: An implementation. Artificial Intelligence. 2017, Vol. 247, p48~49. [ 그림 8] 소셜로봇시스템구조도인공지능형언어학습용로봇시스템을개발하기위해서는위의소셜로봇시스템구조도의 DIALOGS 모듈을음성인식기술 (ASR Technology) 과자연언어처리기술 (Natural Language Processing Technology) 에통합적으로내장시키는것이필요하다. 그러나앞서 II-1의 [ 표 1] 에제시한 4종의영어학습용로봇시스템의구조도가기업비밀유지차원에서외부에공개된바가없지만, 위에기술한소셜로봇시스템구조도와유사한형태의구조도가개발되어사용되었을것으로보인다. 다음항에서는이소셜로봇시스템의한부류인영어교육용로봇을국내초 중 고학생들대상으로한로봇시스템으로개발하는방안을제시하고자한다. 2. 인공지능형로봇영어학습시스템개발방향의제시 II-1 에서인공지능을겸비한영어학습용로봇시스템을 4 개종류, 인공지능형영어학습시스템을 2 개종류로구분하여제시했다. 이시스템들의영어교육의효율성을제고시킬수있도록보수, 개발 이가능하다. 12 www.iitp.kr
기획시리즈 인공지능 가. 로봇영어학습시스템의보완개발방향 Dave ESL Bot, TYCHE 로봇시스템, Musio 로봇영어학습시스템은시장검증을거친후상용화될수있을것으로보인다. 첫번째시스템은인공지능챗봇 (ChatBot) 형태로웹상에서공급하고있기때문에, 이시스템을활용하여로봇영어학습시스템개발이가능하다. 두번째 TYCHE 로봇시스템은놀이용토이 (Toy) 를가지고놀면서영어학습을유도하는제품으로시판중에있다. 이로봇시스템의영어학습효과성을실험연구를통해입증하고, 이결과를전문학술지에게재하여시스템의우수성을입증하는것이바람직하다. Musio 시스템은장기간의심도깊은언어교육공학연구를토대로개발되어최근일본초중고학교에도입된바있으며, 이시스템의영어학습적효과성의입증이필요하다. 또한, 이시스템구조도도외부에공개되지않고있어서이에대한검증이필요하다. 로봇 Sophia는휴머노이드로봇으로지금까지가장우수한쌍방향영어대화가가능한로봇으로평가되고있다. Sophia의시스템구조도는아직문헌에보고된적이없어서알기어렵지만, 로봇성능시연을보면원어민성인수준의영어대화를능란하게구사하도록알고리즘이개발된것으로보이기때문에이알고리즘을응용하여영어학습자들을위한영어대화학습용시스템을개발하는것은어렵지않을것으로보인다. 아울러인공지능형영어학습시스템인 GenieTutor와 MINDs English도이들의인공지능알고리즘을이용하여로봇시스템으로개발하는것은어렵지않을것으로보인다. 위의로봇영어학습시스템과인공지능형영어학습시스템을활용하여한국초중고학생을위한영어학습용로봇시스템을개발할때, 영어교육전문가, 설계전문가, 로봇공학전문가, 인공지능전문가가협업하는것이필요하다. 특히, 초중고등학교영어교육과정자료, 학생들의영어습득데이터, 오류분석자료등에관한연구도수반되어야할것이다. 나. 전문가간의협력개발의필요성인공지능형영어학습용로봇시스템개발을하기위해서는언어습득전문가, 인공지능공학기술전문가및로봇시스템개발전문가간의협업이필요한데, 협업모형도는 [ 그림 9] 와같다. 인공지능형언어학습용로봇시스템제작은언어습득연구에서시작된다. 영어교 육용시스템이기때문에학습할영어교육 과정, 학습대상언어기능, 주제, 학습자 < 자료 > 국제언어교육연구원자체작성 [ 그림 9] 전문가간협업모형도 정보통신기술진흥센터 13
주간기술동향 2018. 10. 17. 변이, 영어교수 학습설계등에관한전문적인연구가선행되어야한다. 그이유는이러한영어습득론적전문적연구가수반되지않는경우, 개발된로봇시스템의영어교육의효과성을담보할수없기때문이다. 언어습득연구가어느정도이루어진후에인공지능기술전문가팀과의협업이필요하다. 인공지능알고리즘의시스템적성격에따라서언어습득연구가추가로필요하기때문에언어습득전문가와인공지능기술전문가팀간에협력연구가필수적이다. 그다음단계에서는언어습득연구팀과인공지능기술전문가팀이연구한자료를콘텐츠개발전문업체에의뢰하여영어학습용콘텐츠시스템으로개발한다. 로봇시스템개발전문가팀은개발된인공지능형콘텐츠시스템을토대로로봇알고리즘을고안한다. 이때영어교수 학습설계는영어교육공학팀이하는것이이상적이다. 교수 학습알고리즘을토대로로봇시스템개발시로봇의용도, 사용하게될교수학습론적상황등이고려되어야한다. 3. 언어교육용로봇학습시스템개발시고려해야할교수 학습설계이슈 인공지능로봇학습시스템은재래적인학습방법인지도학습 (Supervised Learning) 과달리분류되지않은데이터를학습시키고배우는비지도학습 (Unsupervised Learning) 을통해서이루어지는것이필수적이다. 언어학습시스템은대화학습시스템이기때문에언어학습자들이비지도학습을할수있도록시스템을설계한다면원어민을대체하여사용될수있다. 언어교육용로봇학습시스템이학습자들의인지능력과발달수준에부합되게설계되어야학습효과를크게낼수있다는점은두말할필요가없다. Kim & Smith(2018) 의연구는어린이들을위한로봇시스템을디자인할때고려해야할 6가지측면을다중적상호작용, 자주적지원, 동료상호작용의시뮬레이션, 상상력을유발시키는학습활동, 반복적인노출, 로봇시스템에연계된자료를활용한학습강화등으로구분하여제시했다. Komis 외 (2018) 는교육용로봇의학습활동제시유형을예비활동단계 (a), 초기지식구조형성활동단계 (b), 지식구조형성강화단계 (c), 평가활동단계 (d), 초인지기반인지적학습활동단계 (e) 로구분하여제시했다. 이러한학습활동안은학습자들이로봇시스템을통해서지식을한단계씩쌓아가는것을수월하게해주고학습의효과성을제고시키는데도움이될것이기때문에로봇프로그램개발시고려하는것이바람직하다. Komis 외 (2018) 연구는교육용로봇학습활동의학습자참여난이도에비례하여, 제시하는학습활동과업의인지적계층구조를조절하는것이필요하다고했다. [ 그림 10] 에서학습자는 1단계의학습활동인단순한노출에서시작하여토론활동, 개별적 / 집단협력학습활동, 로봇을이용한조작적활동, 창의적이고프로젝트중심의도전적인학습활동을거치 14 www.iitp.kr
기획시리즈 인공지능 < 자료 > Komis, V., Romero, M., & Misirli, Anastasia., A scenario-based approach for designing educational robotics activities for co-creative problem solving. Retrieved from the website, 2018, p.7. [ 그림 10] 교육용로봇교수학습활동의계층구조도면서지식을주워모아, 차근차근쌓아가면서, 쌓아둔지식을기반으로새로운지식을창출해내는능력을쌓게된다. 따라서교육용로봇시스템을개발할때 Komis 외연구가제시하는학습활동의계층구조를고려할만하다. 외국어학습용로봇은범용학습용로봇이기는하지만언어학습에사용되기때문에언어습득이론과교수 학습설계원칙을준수하여개발하는것이필요하다. 인공지능형로봇언어교육용프로그램개발시다음과같은언어습득적요소들이고려되어야한다. - 로봇을통한자연스러운언어대화의연출 - 학습자의반응에따라적절한피드백제공 - 학습자가선택할수있는다양한정답옵션제공 - 학습자전략의활용을유도 - 학습자들의언어대화모델링과코칭이학습에수반되어야함 - 로봇액정화면을활용한통합적, 반복적학습기회제공 - 로봇프로그램과연계된워크북등의부수교재개발언어교육용로봇프로그램을개발할때교수 학습론적, 언어습득론적, 지식의계층구조를고려해야하는데, 위와같은언어교육학적측면을고려하는것은쉬운일이아니다. 그러나교육용로봇이학생들을대상으로교육목적으로사용되기때문에로봇공학적기술뿐만아니라교육학적, 교수 학습론적, 언어습득론적, 지식의계층구조전문가들이협력하여개발하는것이필요하다. 정보통신기술진흥센터 15
주간기술동향 2018. 10. 17. IV. 인공지능형언어학습용로봇시스템의언어교수 학습론적활용방안 교수 학습상황을고려하지않고언어학습용로봇시스템을개발하는것은로봇시스템의학습효과성을담보할수없기때문에개발초기에이러한점이전문적으로고려되어야한다 [6]. 언어학습용로봇시스템은교육방법에따라크게개인언어학습용로봇 (Desk English Talking Robot) 과언어수업보조용로봇 (English Talking Assistant Robot) 유형으로구분된다. 개인언어학습용로봇은학습자개개인이시간과공간의제약을받지않고언어를학습하는데사용되며, 개발시학생들이미리로봇과대화하기전에대화문을 workbook, 음성등을통해서연습한이후에로봇과대화하도록하는나선형학습체계의개발이필요하다 [2]. 또한, 학생의학습전략 (learning strategies) 과매체간 ( 로봇, workbook, 보조교재등 ) 의상호보완적학습기능연구를수행하고, 이결과를바탕으로보조학습자료들을제작하여언어학습의효과성을극대화하도록하는것이바람직하다. 한편, 언어수업보조용로봇은교사가교실에서언어수업중사용할수있는제품으로실제수업상황에서활용하기에적합하도록개발시로봇과 TV 모니터와의상호작용을위해서로봇의가슴부위에액정판을개발하여학생들이수업자료를볼수있도록하여수업의효과성을증대시키는것이필요하다. V. 맺음말 우리나라사람이원어민수준에도달하려면수십년간의세월이걸리고원어민과일상적인업무를수행할수있을정도로유창한영어를습득하는데는적어도 3, 4천시간이상의집중적인영어훈련이필요하다. 그런데, 우리나라에서는초등학교 3학년부터영어학습을시작하여고등학교 3학년까지 10년동안에걸쳐서학습하는시간이 1,000 시간이조금넘는상황이어서실효성있는영어교육이되기어렵다. 이러한이유때문에효율적으로영어교육을실시함과동시에과도한외국어사교육비를줄이기위해서는외국어원어민교사를대체할수있는인공지능형로봇영어학습용시스템의개발과보급이절실하다 [2]. 공학전문가의연구실에서공학적인마인드로만개발되는로봇은수명이짧지만, 로봇제조와관계되는여러분야에서전문가팀들이컨소시엄을형성하여융 복합적으로언어학습용로봇시스템을개발한다면로봇시스템학습의효율성은배가될것이다. 학습자들의수준과성향에맞는로봇학습시스템을개발하여각급학교에제공하고, 지역간우수시스템을공유하는제도를수립하는것도필요하다. 본고에서살펴본인공지능형언어학습용로봇시스템연구가우리나라의로봇시스템개발산업에많은도움이되길바란다. 16 www.iitp.kr
기획시리즈 인공지능 [ 참고문헌 ] [1] 김인석, 4차산업혁명시대정신에부합하는초중등학교에서의쌍방향인공지능형영어교육혁신방안의제시, IGEER연구소, 창립세미나자료집, 2017, pp.9-221. [2] 김은솔, 로봇을이용한외국어교육. 4차산업혁명시대인간과로봇의공진화, 한국인지과학회연차학술대회논문집, 2017, p.29. [3] 김재홍, 2017년글로벌로봇산업시장동향및진출전략, Kotra Global Market Report 18-007, 2018, p.70. [4] 박전규. 대화형영어말하기학습기술, ETRI, 정부기관대상연구발표자료, 2018. [5] 안성원, 국내외로봇산업및정책현황. 월간 SW 중심사회, 2016년 7월호. [6] 이영준, 김경, 유헌창, 임웅, 계보경, 로봇의교육적활용방안및적정기능연구, Keris 연구보고 KR 2007-26, 2017. [7] 윤훈주, 정지선, 플랫폼으로진화하는컴패니언로봇활용전략, 한국정보화진흥원 IT Future Strategy 2017~2018, pp.431-459. [8] 산업경제리서치, 지능형로봇분야별기술개발동향및시장전망, 2018. [9 진석용, 김종대, 신재욱, 이우근, 유미연, 100년된꿈, 로봇시대가열리고있다, LG Business Insight 연구보고서, 2014. [10] IRS 글로벌, 4차산업혁명시대의지능형로봇분야별기술개발동향과시장전망, 2018. [11] Chapelle, C.A., & Sauro, S., The Handbook of Technology and Second Language Teaching and Learning, Hoboken, NJ: Wiley Blackwell, 2017. [12] Kim, I. The Overview of Intelligent Computer-assisted Language Learning and Its Activity Design Issues and Pedagogical Considerations. islpal Conference Proceedings 2015-2 (Australia), 2015. [13] Kim, Y., & Smith, D. Robot-based learning design for young children, The research project co-sponsored by SK-Telecom and U.S. National Science Foundation, 2018. [14] Komis, V., Romero, M., & Misirli, Anastasia., A scenario-based approach for designing educational robotics activities for co-creative problem solving, Retrieved from the website, 2018. [15] Lemaignan, S., Warnier, W., Sisbot, A., Clodic, A, and Alami, R. Artificial cognition for social human robot interaction: An implementation. Artificial Intelligence, Vol.247, 2017, pp.48-69. [16] Rohan, C, Implementing Chatbots Using Deep Learning, https://www.slideshare.net/rohanchikorde, 2016, Slide 9. 정보통신기술진흥센터 17
주간기술동향 2018. 10. 17. 감정인식기술동향 * 송병철김대하 * 최동윤 * 이민규 * 인하대학교교수인하대학교대학원생 * I. 서론 최근소피아나페퍼같은소셜로봇이화제가되고있다. 소셜로봇이란과거기계적움직임을통해인간의육체적노동을대신하는기존로봇의개념과달리인간과커뮤니케이션을수행할수있는능력을갖추고자율적으로동작하여사회적행동을하는감성중심의로봇을말한다. 소셜로봇의주요기능중하나가사람과의자연스러운대화를통해사람의감정상태를파악하고로봇자신의감정을전달하는정서적인상호작용이다. 센싱기술과기계학습기술의발달로인해영상및음성, 생체신호를통해인간의감정및내면상태의파악이가능한기술들이개발되고있으며일부는실제적용되고있다. 먼저영상센싱기반감정인식기술을살펴보면, 영상센서정보를이용한얼굴인식및개인 ID 식별등의연구가지속적으로연구되어왔으며각종스마트기기및 SNS 등에서기능들이구현되어사용되고있다. 또한, 최근에는얼굴의특징점을이용하여인간의감정을판단하는기술이개발되고있으며인간의동작인식을통한행동분류기술등이연구되고있다. 이와같은컴퓨터비전기술을이용한사용자식별과인간감정및행동인식에대한기술은소셜로봇이인간의내면을인식하는데있어서필수적인기술이다. 한편, 음성정보기반감정인식과관련해서는인간의목소리의떨림등의패턴분석을통해감정상태를파악하는기술들이개발되고실제현장에서응용되고있다. 예를들어, 미국 AT&T의콜센터에서는음성인식기술을이용하여실시간으로속기록을생성하고고객의감정상태를파악하여대응하는데이용하고있다. 또한, 자폐증과같이표정으로감정이드러나지않는질환에서는소셜로봇과의대화에서얻을수있는환자의음성정보를이용하여내면상태를파악할수있다. * 본내용은송병철교수 ( 032-860-7413, bcsong@inha.ac.kr) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 18 www.iitp.kr
ICT 신기술 < 자료 > Google [ 그림 1] 영상 / 음성 / 생체의복합적신호시스템 마지막으로생체신호정보기반감정인식의경우, EEG, EMG, ECG 등의생체신호가인간의심리상태를파악하는데상관관계가매우큰정보가될수있다. 최근수요가증가하고있는스마트워치등의웨어러블디바이스를이용한생체신호및감정상태모니터링기술이개발되고있다. 마이크로소프트의경우심전도센서가장착된스포츠브라를통해사용자의신체및감정상태를파악하는제품을개발중이다. 딥러닝은신호센싱과함께정확한감정인식을위해필수적인요소이다. 딥러닝이란컴퓨터가데이터베이스를이용하여스스로데이터를분류하는기준을학습하도록하는기계학습을말한다. 일반적인딥러닝은인간의뇌를모델링한신경망구조 (Neural Network) 를기반으로하며여러단계에걸쳐입력데이터의가치판단및분류과정을수행한다. 이론적개념은 70~80년대에완성되었으나학습과정에서필요한방대한데이터와연산량때문에한동안실용화되지못하고있었다. 그러나최근빅데이터를통한충분한데이터베이스와하드웨어처리속도의발달로인해딥러닝기술의적용이한층용이해졌다. 딥러닝기술의발달로인해최근인공지능 (AI) 기술의발전도급격하게이루어지고있는데이에대한사례는우리사회에서쉽게접할수있다. 세계적으로이슈가되었던구글딥마인드가개발한알파고는딥러닝기술을통해바둑에서인공지능성능을확인하였고이는인공지능시대를여는데큰이바지를하였다. 컴퓨터비전기술분야에서는 CNN(Convolutional Neural Network) 을이용하여영상데이터의객체검출및인식기술이확연하게향상되었고, 음성분야에서는 RNN(Recurrent Neural Network) 을이용하여음성인식및음악장르분류등에우수한성능을보이고있다. 앞서언급한센싱기술과딥러닝기술, 그리고데이터베이스기술이융합되어최근인간의감정인식기술이발전하는추세에있다. 인간의표면적인감정은얼굴표정이나행동그리고음성으로 정보통신기술진흥센터 19
주간기술동향 2018. 10. 17. 인식이가능하다. 하지만, 내면적인감정인식은쉽지않은데, 생체신호를이용하면인식이가능할수있다. 따라서단일신호에만의존하지않고, 영상, 음성, 생체신호등멀티모달신호를사용하는것은감정인식의정확도를향상시키는데기여할수있다. 그러므로멀티모달신호를이용한딥러닝알고리즘을효과적으로설계하고학습시킬수있다면소셜로봇같은기계와인간의상호작용이좀더원활해질수있을것이다. II. 감정인식기술개요 1. 동영상기반감정인식기술동향 동영상기반감정인식은단일영상에서얼굴의특징을분석하는것에서부터시작한다. 초기에는고전적인기계학습및컴퓨터비전을사용하여얼굴의특징을분류하는연구가진행되었다 [1]. 예를들면, 얼굴영상에서추출된그래디언트를기반으로얼굴의특징을추출하고 SVM(Singular Vector Machine) 이나랜덤포레스트같은알고리즘으로그특징들을분석함으로써얼굴의표정을파악한다. 그러나이와같은기술은주변배경또는영상의조도에크게영향을받는다는단점이있다. 또한, 얼굴의각도에영향을받기때문에높은성능을달성하기매우힘들다. [ 그림 2] 는영상의그래디언트기반분석과이를응용한 HOG(Histogram of Gradients) 분석의예시를보여준다 [2]. < 자료 > Dadi, H. S., and Pillutla, G. K. M.(2016). Improved face recognition rate using HOG features and SVM classifier. IOSR J Electron. Commun. Eng(IOSR-JECE) [ 그림 2] 그래디언트기반얼굴특징분석및해당영상의 HOG 특징맵 초기연구에사용되었던데이터셋은 [ 그림 3] 의 CK+ 와같이주로실험실및제한된환경에서 확보된것들이었다. 이후에는 [ 그림 3] 의 AFEW 와같이점차일상적인상황을담은동영상들을 담은데이터셋들이주로이용되고있다. 20 www.iitp.kr
ICT 신기술 (a) CK+ (b) AFEW < 자료 > http://www.pitt.edu/~emotion/ck-spread.htm < 자료 > https://cs.anu.edu.au/few/afew.html [ 그림 3] 데이터베이스의예앞서언급한바와같이감정인식연구는갈수록판단하기힘든상황에서의인물감정인식쪽으로연구가확장되고있다. 예를들면, AFEW 데이터셋은점차리얼리티쇼나시트콤과같이좀더즉각적인감정의분석에초점을두고있다. 한편, 딥러닝기술의급속한발전에따라영상내얼굴의이차원적인특징을추출하고분석하기위해 CNN과같은딥네트워크가널리사용되고있다. 또한, 동영상내프레임들의시간적연속성을추출 / 분석하기위한 LSTM(Long Short-Term Memory) 이라는기법도자주사용되고있다. 예를들면, [ 그림 4] 와같이 LSTM 네트워크내부에서프레임별로가중치를달리하여연속적인프레임에서좀더의미있는프레임을찾기위한연구가진행되고있다 [3]. 마지막으로사람의감정을단순히화남, 역겨움, 두려움, 행복함, 중립, 슬픔, 놀라움등 7가지로분류하는데서벗어나좀더세밀한감정분석을위해연속적인 Arousal-Valence(AV) 영역에서의감정인식연구도활발해지고있다. 이는사람의감정을특정한라벨로분류하는것보다흥분정도와 positive/negative 정도를파악하여그수치로사람의감정을연속적으로분류하는것이더효율적 (a) Recurrent Neural Network(RNN) (b) Long Short-Term Memory(LSTM) < 자료 > http://ratsgo.github.io/ [ 그림 4] RNN 및 LSTM 구조 정보통신기술진흥센터 21
주간기술동향 2018. 10. 17. 일수있기때문이다. 한편 AV 영역에서의감정인식분석을위한 AffectNet 데이터셋이만들어져 관련연구가활발히진행되고있다 [4]. 2. 음성기반감정인식기술동향 상기동영상기반감정인식기술동향에서알수있듯이음성은영상과함께감정을인식하기위한또다른중요한실마리이다. 그러나음성만으로감정인식을하는응용사례는실제로많지않다. 이는동영상속에서음성정보는산발적으로존재하기때문이다. 일부음성정보만을이용한감정인식연구를살펴보면다음과같다. 한동안음성기반감정인식연구는작은시간영역단위의실시간감정인식에집중되어있었다 [11]. 실시간감정인식연구는크게두가지로서새로운특징을추출하거나분류방법론을달리하여정확도를개선하는연구들로나뉜다. 특징추출연구로는개인마다발성의특징이다르기때문에이를반영하는특징을찾는것을목표로한다. 예를들면, 구간이아닌순간감정을인식하는기술이있다 [12]. 분류방법론중하나인계층적분류방법론은여러개의분류기들을사용하여음성에서비슷한감정의인자를나누어분류하는방식이다 [13]. 비교적높은정확도를보이지만짧은음성만인지가가능한단점이있다. 한편남성과여성의학습모델을각각생성한다음, 입력음성을남성혹은여성으로선별한다음성별에맞는학습모델과비교하는방식으로인지하는방법도있다 [14]. 최근에는딥러닝을이용한음성기반감정인식기술들이주를이루고있다. 예를들면, 이지원등은일반화오류를보완할수있는다중작업기반합성곱신경망을이용한음성감정인식시스템을제안하였다 [15]. 즉, 감정분류만을수행하던기존신경망을확장시켜성별, 감정활성도, 긍정도정보를활용한다중작업기반신경망학습을통해감정인식의성능을높이고자하였다. 한편, 강소연등은베이지안로지스틱회귀 (Bayesian logistic regression) 를랜덤포레스트 (random forest) 로대체하여종래베이지안기법들보다정량적인감정인식성능을향상시킨바있다 [16]. 3. 생체신호기반감정인식기술동향 한편, 맥박이나 EEG같은생체신호를이용한감정인식연구도오랫동안연구되어왔다. 먼저해외연구사례를살펴보면, Haag 등은여러바이오센서들로부터얻은다중신호를사용하여감정을인식하도록컴퓨터를학습시키는방법을소개했다 [20]. 논문에따르면자체데이터베이스를이용하기는했지만제안하는신경망기반시스템을사용하였을때 90% 내외의높은정확도를보였다. 22 www.iitp.kr
ICT 신기술 참고문헌 [21] 은감정인식을위한뇌파에대한포괄적인설명과함께딥러닝을포함한여러가지특징추출기법들을소개하였다. 우리나라에서도최근생체신호를이용한감정인식및그응용연구들이이루어지고있다. 송병호등은사용자와로봇간감성적인교감을통해 LED 조명을제어하는시스템으로써사용자의생체신호 ( 맥박, 혈압, 혈당 ) 를측정하여분석한후감성을분류하는연구를수행하였다 [17]. 또한, 이현수등은사용자의생체신호를기반으로감정을판별하여이를바탕으로음악을추천하는시스템을제안하였다 [18]. 류기민등은인공신경망을이용하여감정에따른 EEG 신호를 AV 영역에서분류하는기법을선보였다 [19]. 제안기법은 Valence 축의경우종래기법보다약간낮은결과를얻었지만, Arousal 축에대해서는 5% 향상된결과를보였다. III. EmotiW 의소개 EmotiW(Emotion Recognition in the Wild Challenge) 는 ACM의 ICMI(International Conference on Multimodal Interaction) 라는학술대회와함께개최되는감정인식기술경진대회이다. 세부적으로는세가지부문으로나뉘며, 그룹-단위감정인식 (group-level emotion recognition), 참여강도인식 (engagement in the wild), 그리고동영상인식 (audio-video sub-challenge) 등이다. 먼저그룹-단위감정인식부문을살펴보면다음과같다. 주요작업은사진속사람들로부터인지된감정을긍정적, 중립적, 부정적감정중하나로분류하는것이다. 예를들면, SNS 사용자는다양한사교행사중촬영한영상들을인터넷을통해시스템에업로드한다. 영상은회의, 결혼, 파티와같은긍정적상황을담을수있고, 회사내회의와같은중립적인상황을표현할수도있다. 때로는장례식같은부정적인상황의영상일수도있다. 이부문경쟁에서사용하는데이터셋은 Group Affect Database 2.0[1] 으로서상기와같은다양한상황을담고있다. 상기데이터셋은학습, 검증및테스트의세가지서브-세트로구성된다. 두번째로 2018년신설된 Engagement in the wild 경쟁부문에서는동영상에서피사체의참여강도를예측하는것이목표이다. 녹화세션중피실험자는교육용동영상 (MOOC) 을시청한다. 데이터셋은다양한조건과다양한환경에서기록되었다. 마지막으로동영상내인물의일반적인감정인식을평가하는부문으로 Audiovideo Emotion Recognition 이있다. 다양한동영상에나오는인물들의표정및분위기를통해감정을예측해가장높은정확도를보이는팀이우승하는대회이다. 이대회에서사용하는기본데이터셋은앞서언급한 AFEW 데이터셋이며, 인위적인환경에서의데이터셋들보다훨씬난이도가 정보통신기술진흥센터 23
주간기술동향 2018. 10. 17. 높다. AFEW 데이터셋도학습, 평가, 그리고테스트데이터셋들로이루어져있다. 학습및평가 데이터는각동영상내인물이어떤감정을가지는지에대한정보가주어지며성능에대한지표로 활용이가능하다. IV. 멀티모달딥러닝기반감정인식 1. 기술발전추이및고찰 2015년이전까지는영상에서핸드크래프트특징을추출하는방법이많이사용되었으나, 그이후에는딥러닝을이용한다양한방법이나오고, 더나아가영상및음성의멀티모달을통해꾸준히성능이발전되고있다 ([ 그림 5] 참조 ). 딥러닝을이용한감정인식방법에는 CNN-RNN과 Convolutional 3D 기법을적절히융합한사례가있다 [5]. CNN은영상의공간적인특징을잘추출해주며, 이는인간의표정에대한적절한특징을잘추출하도록도와준다. 또한, RNN에서는시간적인특징을고려해줄수있기때문에영상의맥락및분위기를적절히학습할수있도록도와준다. 또한, CNN은한장의영상을입력으로받지만 convolutional 3D 네트워크는동영상을입력으로받을수있으며, 이를통해공간영역에서의콘벌루션 (convolution) 연산을적용할수있을뿐만아니라시간영역에대해서도콘벌루션 < 자료 > Fan, Yin, et al. "Video-based emotion recognition using CNN-RNN and C3D hybrid networks." Proceedings of the 18th ACM International Conference on Multimodal Interaction. ACM, 2016. [ 그림 5] CNN-LSTM 과 Convolutional 3D 기법을이용한감정인식네트워크 24 www.iitp.kr
ICT 신기술 < 자료 > Vielzeuf, Valentin, Stephane Pateux, and Frederic Jurie. "Temporal multimodal fusion for video emotion classification in the wild." Proceedings of the 19th ACM International Conference on Multimodal Interaction. ACM, 2017. [ 그림 6] 딥러닝기반멀티모달융합기법 연산을수행할수있다. 따라서학습성능이향상될수있다. 한편, 딥러닝네트워크개선뿐만아니라다양한신호에대한융합을통해감정인식성능을높이 는접근방법들이있다. [ 그림 6] 은딥러닝네트워크기반으로추출한세가지신호 ( 영상, 음성, 동영 상 ) 를 MLP(Multi-Layer Perceptron) 를통해늦은융합 (Late Fusion) 하는방식을보인다 [6]. 프레임단위로는공간적인특징, 동영상단위로는움직임등시간축특징, 음성에서분위기에 대한요소를각각추출하여특징벡터를구성한다. [ 그림 6] 과같이총세단계에걸친 MLP 를 통해상기세가지신호가적절한가중치를부여받으면서합쳐진다. 2. 멀티모달딥러닝 멀티모달딥러닝은성질이다른복수의입력을처리하는딥러닝알고리즘으로각각의신호모달 리티에서부족한정보를상호보완하여인식성능을향상하고자하는데목적이있다. 감정인식 정보통신기술진흥센터 25
주간기술동향 2018. 10. 17. (a) Early Fusion (b) Late Fusion (c) Deep Fusion < 자료 > c IEEE CVPR 2017. [ 그림 7] 멀티모달딥러닝융합방식예시분야에서도널리사용되고있으며일반적으로앞에서언급된영상정보를이용한감정인식에서영상내부의표정으로드러나지않는감정정보를인물의대화톤이나의성어같은음성신호나 EEG와맥박같은생체신호를분석하여보완할수있다. 멀티모달딥러닝과정에서는서로다른모달리티의정보를융합하는과정이핵심이다. 융합과정은 [ 그림 7] 과같이크게조기융합과늦은융합으로나누어진다. 조기융합의경우서로다른모달리티의입력에대해정규화등의전처리를수행하고두입력을결합하여하나의알고리즘에입력하는방식이다. 전처리의복잡도가있을수는있지만, 하나의딥네트워크로처리하기때문에상대적으로연산량이적은장점이있다. 반면, 데이터레벨에서융합이먼저이루어지기때문에각모달리티가가진고유의특징을추출하는데는한계가존재한다. 늦은융합의경우서로다른모달리티가각각의네트워크를통해처리되어출력직전에결과를융합하여최종결과를구하는방식이다. 이는각모달리티고유의특징을추출하는데효과적이다. 반면, 모달리티별로네트워크를사용하기때문에연산량측면에서는부담이될수있다. [ 그림 7] 하단은하이브리드융합혹은깊은융합을보여주고있으며, 조기융합과늦은융합을합친방식이라고할수있다. 즉, 모달리티별네트워크가존재하면서중간중간특징맵을융합하는방식이다 [7]. 잘활용하면조기융합과늦은융합의장점만을살릴수있다. 그러나설계의난이도가높고, 복잡도또한만만치않다. 26 www.iitp.kr
ICT 신기술 3. 최근동향 멀티모달딥러닝기법은 EmotiW에서도대부분의팀들에의해활용되고있다. EmotiW에서제공하는데이터셋은인물의표정과음성이존재하는비디오와오디오의멀티모달정보를제공한다. 최근 EmotiW에서발표되는기술은영상정보를처리하는네트워크와음성정보를처리하는네트워크를별도로설계하여처리하고감정에대한출력확률정보를융합하는늦은융합과정이주를이루고있다 [6]. 영상정보를처리하는네트워크는영상정보를 CNN과 LSTM이융합된구조를이용하는것이대표적이고, 음성정보의경우스펙트로그램및 MFCC(Mel-Frequency Cepstrum Coefficient) 등주파수도메인의정보로변환하여영상과마찬가지로 CNN 등의딥러닝기법을활용하고있다 [8]. 생체신호에대한멀티모달딥러닝감정인식으로 [ 그림 8] 과같이뇌파정보인 EEG 신호와맥박정보인 PPG 신호를동시에이용한사례가있다 [9]. 이기술의경우 EEG 신호와 PPG 신호를주파수도메인의신호로변환하여행렬의형태로표현한다음두신호를결합하여 3차원텐서의형태로구성하여딥러닝네트워크의입력으로사용하는조기융합방식을이용하고있다. 즉, EEG 신호와 PPG 신호가결합된입력을영상시퀀스로처리하는 Convolutional LSTM[10] 을통해감정인식을수행한다. < 자료 > c IEEE TAFFC 2018. [ 그림 8] EEG 신호의 PPG 신호의융합 정보통신기술진흥센터 27
주간기술동향 2018. 10. 17. 최근감정인식분야에서의멀티모달딥러닝의활용으로는영상정보와음성정보를동시에활용하거나여러종류의생체신호를융합하여사용하는사례가대부분이다. 현시점에서는실험데이터의취득및동기화문제등으로인해영상 / 음성 / 생체신호등의복합적인멀티모달감정인식에대한감정인식기술은많이등장하지않고있으며영상정보와생체신호간의분석정도가발표되고있다. 향후영상 / 생체신호등을이용한멀티모달딥러닝기반의감정인식기법의개발이이루어질것으로전망되며기존의영상 / 음성또는생체신호들간의멀티모달감정인식기술에비해성능이크게향상될것으로예상된다. V. 결론및시사점 감정인식기술은진정한인간-컴퓨터 ( 혹은로봇 ) 간상호작용을위한핵심요소기술이다. 감정인식의재료가되는얼굴표정 ( 영상 ), 목소리 ( 음성 ), EEG나맥박 ( 생체신호 ) 등이정확한감정인식을위해서는함께이용되는것이바람직하다. 그러기위해서는소위멀티모달센싱및딥러닝기술이지속적으로발전되어야한다. 아울러본고에서는자세히언급되지않았지만데이터베이스의구축도매우중요하다. 일반적인물체인식데이터베이스에비해감정인식데이터베이스는턱없이부족하다. 기술발전을위해서는이에대한투자와연구가절실하다. 마지막으로감정인식기술은정상인뿐만아니라자폐같은장애가있는분들에게매우유용하게사용될것으로보인다. 이미몇몇연구기관에서수행된연구결과에따르면감정인식기술은진찰은물론치료목적으로매우중요하게사용될것으로보인다. [ 참고문헌 ] [1] Zhao, W., Chellappa, R., Phillips, P. J., & Rosenfeld, A. Face recognition: A literature survey, ACM computing surveys(csur), 2003, 35(4), 399-458. [2] Dadi, H. S., & Pillutla, G. K. M., Improved face recognition rate using HOG features and SVM classifier, IOSR J Electron Commun Eng(IOSR-JECE), 2016, 11(4), 34-44. [3] TAO, Fei; LIU, Gang. Advanced LSTM: A Study about Better Time Dependency Modeling in Emotion Recognition, arxiv preprint arxiv:1710.10197, 2017. [4] Mollahosseini, A., Hasani, B., & Mahoor, M. H. Affectnet: A database for facial expression, valence, and arousal computing in the wild, arxiv preprint arxiv:1708.03985. 2017. [5] Fan, Yin, et al. Video-based emotion recognition using CNN-RNN and C3D hybrid networks, Proceedings of the 18th ACM International Conference on Multimodal Interaction. ACM, 2016. 28 www.iitp.kr
ICT 신기술 [6] Vielzeuf, Valentin, Stephane Pateux, and Frederic Jurie. Temporal multimodal fusion for video emotion classification in the wild, Proceedings of the 19th ACM International Conference on Multimodal Interaction. ACM, 2017. [7] Baltrušaitis, T., Ahuja, C., & Morency, L. P. Multimodal machine learning: A survey and taxonomy, IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI), 2018, early access [8] Wang, Shuai, et al. Emotion recognition with multimodal features and temporal models, Proceedings of the 19th ACM International Conference on Multimodal Interaction. ACM, 2017. [9] Kim, B. H., & Jo, S. Deep Physiological Affect Network for the Recognition of Human Emotions, IEEE Transactions on Affective Computing(TAFFC), 2018, early access [10] Xingjian, S. H. I., Chen, Z., Wang, H., Yeung, D. Y., Wong, W. K., & Woo, W. C., Convolutional LSTM network: A machine learning approach for precipitation nowcasting, In Advances in neural information processing systems(nips), 2015, pp.802-810. [11] 방재훈, 이승룡, 감성기반서비스를위한통화음성감정인식기법, 정보과학회논문지, 제41 권, 제3호, 2014, pp.208-213. [12] A. B. Kandali, A. Routray, T. K. Basu, Emotion recognition from Assamese speeches using MFCC features and GMM classifier, IEEE Region 10 Conference(TENCON), Nov, 2008, pp.1-5, 19-21. [13] Z. Xiao, Dellandrea, L. Chen, W. Dou, Recognition of emotions in speech by a hierarchical approach, ACII 2009, 2009, pp.401-408. [14] Y. Cho, K. S. Park, A Study on The Improvement of Emotion Recognition by Gender Discrimination, Journal of IEEK, vol.45, 2008, pp.401-408. [15] 이지원외, 다중작업기반의합성곱신경망을이용한음성감정인식, 2017년한국통신학회하계종합학술대회, 2017. 6. [16] 강소연, 최욱, Random forest를이용한음성신호기반감정인식, 2017년한국통신학회동계종합학술발표회, 2017년. [17] 송병호외, 사용자생체신호인식기반감성소셜로봇시스템설계, 제어로봇시스템학회하계학술대회, 2018. [18] 이현수외, 생체신호를이용한사용자감정기반의음악추천시스템제안, 대한전자공학회하계종합학술대회, 2017. [19] 류기민, 차형태, EEG 신호기반인공신경망을통한감정인식에대한연구, 한국통신학회동계종합학술발표회, 2018. [20] Haag, Andreas, et al. Emotion recognition using bio-sensors: First steps towards an automatic system, Tutorial and research workshop on affective dialogue systems. Springer, Berlin, Heidelberg, 2004. [21] Jenke, Robert, Angelika Peer, and Martin Buss. Feature extraction and selection for emotion recognition from EEG, IEEE Transactions on Affective Computing 5.3(2014): 327-339. 정보통신기술진흥센터 29
주간기술동향 2018. 10. 17. 최신 ICT 이슈 * I. VR 인구 10 억명목표, 비 ( 非 ) 게임콘텐츠로사용자확대나선오큘러스 5월 오큘러스고 발표에이어 9월에 오큘러스퀘스트 출시시점이공개되며, VR 업계가고대해왔던독립형 HMD들의라인업이갖춰지게되었음. VR 인구 10억명을기치로내건페이스북에게보다중요한제품은오큘러스고인데, 199 달러에판매되는오큘러스고는동영상과 SNS 등비게임콘텐츠이용에최적화된 VR 저변확대를위한기기임. 선의제약이없어진오큘러스퀘스트역시새로운게임경험제공으로저변확대에기여할전망 9월말에열린 오큘러스 (Oculus) VR 개발자컨퍼런스는가상현실 (VR) 에관심이없는사람들을끌어들여 VR 생태계를조성해야하는 VR 업계가새로운해답을내놓은자리였음 오큘러스리프트, HTC 바이브, 소니 PSVR 등주요 VR 헤드마운티드디스플레이 (HMD) 들이차례로출시된 2016년은 VR 원년 으로불리며벤처캐피탈들의투자가몰리기도했음 2016년에 VR용 HMD 판매량이가파르게증가하고시장도성장하는듯했지만, 얼리어답터들의구매가끝난이후대중적확산에는접어들지못했으며, 2018년상반기까지도상황에변화가없어 VR 업계가수요정체의우려에휩싸인것이사실 이런상황을타파하기위해지금까지 VR 에관심이없거나실망감을느꼈던사람들의관심을어떻게불러모을까하는것이 VR 업계의지상과제가되었음 그타개책의하나가 9월 26일개최된페 이스북산하 오큘러스 VR 의 5번째개발자컨퍼런스인 오큘러스커넥트 5(Oculus < 자료 > CNET [ 그림 1] VR 인구 10억명기치를내건저커버그 * 본내용과관련된사항은산업분석팀 ( 042-612-8296) 과최신ICT동향컬럼리스트박종훈집필위원 (soma0722@naver.com 02-576-2600) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP의공식적인입장이아님을밝힙니다. 30 www.iitp.kr
최신 ICT 이슈 Connect 5) 에서제시되었는데, 기조연설에나선마크저커버그는 VR 인구 10억명 이라는야심찬목표를내걸었음 VR 인구 10억명을향한오큘러스의행보는 2018년 5월, 독립형 (standalone) VR HMD인 오큘러스고 (Oculus Go)' 를내놓으며이미시작 독립형이라는말은 PC로부터독립을의미하며, 오큘러스리프트나 HTC 바이브등은 PC에서구동되는 VR 콘텐츠를받아디스플레이하는방식임 PC 기반의 HMD는 VR이확산되지못한주요이유로꼽히기도하는데, VR HMD 기기자체도고가이지만고퀄리티의 VR 콘텐츠를구동하려면 CPU와 GPU가최고급사양이어야하기때문에 PC 본체가격만 160만원이상이되기때문 또한, 초기 HMD는 PC와 HMD를선으로연결했는데, 게임같이사용자의움직임을요구하는콘텐츠의경우, 선에걸려넘어지는문제를신경쓰지않을수없었음 선의문제는무선 HMD를통해해소가가능하지만, 최고급 PC가필요하다는점은최근의모바일중심스낵컬처와대척점에있는것이어서 VR이가정에보급되는데최대걸림돌이되었으며, VR방이나 VR테마파크등집밖에서 VR을경험하게만든요인이되었음 5월에발표된 오큘러스고 는이런문제를해결하기위한노력의산물인데, PC나게임콘솔 ( 플레이스테이션또는엑스박스 ) 등외부기기와연결이필요없는데다가가격이 199 달러여서 VR 콘텐츠를쉽게경험할수있는환경을제공할수있음 이번커넥트 5 기조연설에서는 5월에발표된오큘러스고의성과가공개되었으며, 구매자의약 80% 가이전에발매된오큘러스플랫폼의 HMD인오큘러스리프트나기어 VR을소유한적이없으며최초의 VR 기기로오큘러스고를구매했다고함 물론, 오큘러스고는 PC 기반의오큘러스 리프트에비해경험수준이떨어지기때문에, VR의사용자경험을해쳐오히려 VR 확산에걸림돌이될것이란지적도있음 < 자료 > CNET [ 그림 2] 오큘러스고구매자의 80% 는 VR 새내기 그러나이번컨퍼런스에서오큘러스고의성과를내세운것으로보아오큘러스와페이스북은 VR 사용자기반의확대가 VR 생태계조성에보다중요한요소라판단한것으로추정해볼수있음 정보통신기술진흥센터 31
주간기술동향 2018. 10. 17. PC 독립형인오큘러스고는타깃콘텐츠면에서도게임에초점을맞춘이전모델과확연한차이를보이는데, 비 ( 非 ) 게임콘텐츠 에주력하려는의도를명확히알수있음 이번기조연설에서는오큘러스고를통해 1,000개이상의앱을이용할수있다고밝혔는데, 지금까지 VR 콘텐츠가게임중심이었던것에비해게이머이외의사용자를늘리기위한 비게임 VR 콘텐츠확충에주력하고있음을보여주었음 오큘러스고는머리의 요 (yaw, 좌우움직임 )/ 피치 (pitch, 전후움직임 )/ 롤 (roll, 회전 ) 을감지하는 3 DoF(Degrees of Freedom, 자유도 ) 를지원함 따라서 X축, Y축, Z축선상의직선움직임과함께세축의회전움직임감지까지 6 DoF를지원하는오큘러스리프트에비해오큘러스고는게이머의움직임추적에한계가있음 이런특성으로인해오큘러스고는사용자가 VR 게임보다는 VR 영상을시청하거나가상공간에서커뮤니케이션하는용도에초점을두도록유도하는듯한느낌을주고있음 실제로오큘러스고에는최대 4 명이같은가상공간에모여각자의아바타로소통하는 오큘러스룸 (Oculus Rooms) 과콘서트나스포츠등의이벤트를공공전시처럼가상공간에서함께감상할수있는 오큘러스베뉴 (Oculus Venues) 등의앱을제공함 이번커넥트 5 컨퍼런스의기조강연에서도새로운비게임 VR 콘텐츠와앱에대한발표가있었으며, 대표적으로 VR 영상 < 자료 > Computer Business Review [ 그림 3] 가상공간에서 VR로함께스포츠중계시청 (360도영상 ) 을시청할수있는 유튜브 VR(YouTube VR) 의지원을꼽을수있음 또한, 2018년가을부터는오큘러스고나기어 VR을쓰고오큘러스베뉴를통해미프로농구 (NBA) 경기를시청할수있다고발표해대회장을들썩이게만들기도하였음 한편, 비게임콘텐츠에초점을맞추려는전략은기존모델인오큘러스리프트에까지미치고있는데, 비게임콘텐츠확충을위한기능과개발환경을한층강화한다고발표 예를들어, 앱의구매와작동, 각종설정등의작업을수행하기위한초기화면에해당하는기능인 홈 (Home) 에배치할수있는아이템의폭을넓혔으며, 사용자가게임등에서획득한좋아하는아이템을홈내에설치하고커스터마이징할수있게하였음 32 www.iitp.kr
최신 ICT 이슈 개발자들에게는이러한개인맞춤형아이템 (Custom Developer Items) 을제작할수있는개발환경을 2018년내에제공할예정이라고함 홈등의가상공간에서사용하는아바타도보다리얼하게만들었는데, 아바타의표정이나몸짓을리얼하게함으로써보다현실감있는커뮤니케이션을도모할수있도록하려는목적이며, 이를위한 < 자료 > Oculus [ 그림 4] 오큘러스리프트의홈화면개인화설정 SDK( 소프트웨어개발키트 ) 도연내에제공할계획임 또한, PC의 2차원 (2D) 화면과 3차원 (3D) 가상공간양쪽모두에서끊김없이연계하여작업할수있게해주는기능인 하이브리드앱 (Hybrid Apps) 도발표하였음 이기능을이용하면가령컴퓨터화면에서 3D 객체를생성한후가상공간에서이 3D 객체를잡고돌리며모양을확인하거나색상과디자인을조정할수있게됨 이렇게하면작업의효율화를도모할수있는데기조강연에서는프랑스알레고리드믹 (Allegorithmic) 의툴인 섭스턴스페인터 (Substance Painter) 하이브리드앱을예로들어설명하였음 사실이러한일련의기능확장및단기간에이정도의개발환경을정비하기는매우힘든일인데, 이는페이스북이오큘러스 VR 플랫폼에상당한인원과자금을투입하고있음을방증하는것이기도함 이번커넥트 5는 5월에있은오큘러스고발표회의연장선상에있는데, 하이엔드급독립형 VR HMD인 오큘러스퀘스트 (Oculus Quest) 가추가로공개되었기때문 오큘러스퀘스트는코드명 산타크루즈 (Santa Cruz) 로개발되어온것인데, 2016년 10월에열린 커넥트 3 컨퍼런스에서그존재가알려진후이번에약 2년반만에정식제품명으로함께소개되었음 오큘러스퀘스트는오큘러스고와같은독립형이면서도 PC와연결하는방식인기존의오큘러스리프트수준의성능을갖춘것이특징 가령 3축자유도 (DoF) 만지원하는오큘러스고와달리오큘러스퀘스트는 6축자유도를지원하기때문에오큘러스리프트수준의가상현실몰입감을구현할수있음 정보통신기술진흥센터 33
주간기술동향 2018. 10. 17. 오큘러스퀘스트는본체의네모서리에각각하나씩총 4개의센서가탑재되어있으며, 이를이용하여주위의 3차원데이터를검색하고그결과값을컨트롤러에내장된동작감지센서의결과와조합하여 6 DoF 동작감지를가능하게한것으로보임 여기에 3,200 1,440( 한쪽눈당 1,600 1,440) 의고해상도 OLED 디스플레이와내장스피커를탑재하고있으며, 이는 < 자료 > CNET [ 그림 5] 하이엔드독립형 VR HMD 오큘러스퀘스트 PC 기반의리프트모델보다도높은비주얼퍼포먼스구현이가능한사양임 오큘러스퀘스트는페이스북으로서도많은공을들인제품이지만, 앞서언급한 VR 확산의양대걸림돌을동시에해결할수있다는점에서 VR 업계도크게주목하고있음 오큘러스퀘스트는기조강연에나선마크저커버그가직접발표했는데, 이는페이스북의 VR 에대한관심이여전하고오큘러스퀘스트에대한기대감이높음을시사 오큘러스퀘스트가 6 DoF를지원하는최초의독립형 HMD는아니며, 이미 HTC의바이브포커스 (Vive Focus) 나구글데이드림 (Daydream) 을지원하는레노버의 미라지솔로 (Mirage Sole with Daydream) 등경쟁제품들이출시되어있는상태 그러나퀘스트는본체뿐만아니라컨트롤러도 6 DoF를지원하고있으며, 경쟁제품들도컨트롤러의 6 DoF 지원예정임을밝히고있으나시기는특정하지못하고있다는점에서현재까지가장앞선독립형 HMD 기기라할수있음 또한, 2019년봄에출시되는오큘러스퀘스트의가격은 399 달러부터시작될것이라고하는데, 이역시전작리프트에비하면가격부담을낮춘것이며가격대로만보면게임콘솔들과경쟁이가능한수준임 즉, 가격과성능면에서볼때오큘러스퀘스트는앞서설명한 VR 확산의양대걸림돌인케이블연결의번거로움과최고수준의 PC가필요하다는비용의문제를동시에해결할수있음을시사하는데, 이때문에퀘스트는 VR 업계의관심을받고있는것 오큘러스고가비게임콘텐츠에초점을둔 HMD라한다면, 이번발표회에서마크저커버그는오큘러스퀘스트가게임에특화된 HMD임을명확히밝혔음 34 www.iitp.kr
최신 ICT 이슈 PC 기반의리프트모델은처음부터게임에초점을맞춘것이었지만그렇다고지난 2년간 VR 게임이성장세를보여준것은아니며오히려정체된듯한모습이었음 그이유는 VR 체험정도에그치는캐주얼게임들만즐비하고선뜻구매할만한게임들이많지않았기때문이며, 이러한실망이쌓이면서 VR 기기를보유한이용자들도더이상콘텐츠를구매하지않는결과로이어졌고신규이용자유입도되지않은것임 반대로구매할만한게임이부족한가장큰이유는역량있는게임개발사들이 VR 게임시장에진입하지않고있기때문이며, 이는게임이용자수가한정되어있어, 즉 HMD 보급규모가작다보니 VR 게임으로거둬들일수있는기대수익이작기때문임 결국, 여러요인들이서로꼬리를물며악순환이벌어진것인데, 이문제해결을위한오큘러스의전략은먼저오큘러스고를통해 VR 사용자기반을늘린후자연스레발생하는 VR 게임에대한수요를오큘러스퀘스트로유입시키겠다는것으로보임 오큘러스퀘스트를통해 VR 게임을활성화시키겠다는저커버그의의지는제품과함께출시되는게임타이틀의면면을통해서도확인할수있음 퀘스트라는제품명도게임을떠올리게하거니와, 발매와동시에출시되는타이틀이 50개이상이라고하는데, 이중에는스타워즈시리즈의 VR용시리즈인 Vader Immorta: A Star Wars VR Series 의에피소드 1 등대작게임들도포함되어있음 이밖에도저커버그는 VR 액션게임의대명사인 로보리콜 (Robo Recall), 익스트림암벽등반스포츠게임인 더클라임 (The Climb), 3인칭액션어드벤처게임 모스 (Moss) 등도포함되어있다고강조하였음 오큘러스는그동안대작어드벤처게임인 론에코 (Lone Echo) 와같이독점콘텐츠확보에꾸준히투자해오고있는만큼, 오큘러스퀘스트 를통해이용할수있는고퀄리티게임의유통활성화를적극추진해나갈것이라예상해볼수있음 퀘스트를실제이용해본 VR 게임이용자들은대부분선이없는 HMD를이용하여퀄리티의게임을즐길수있게되었다는데만족감을표하고있는데, 이런반응을감안하면 VR 게임업계로서는시장반등의계기를맞이하게될가능성도있음 한편, 선이없는 6축자유도의 HMD가등장했다는점은 VR 게임의장르와이용패턴에도변화를가져올전망이며, 자유로운이동이가능한 VR 게임들이활성화될것으로보임 커넥트 5 전시장에서시연된오큘러스퀘스트의데모는케이블로연결해야하는리프트 HMD 정보통신기술진흥센터 35
주간기술동향 2018. 10. 17. 에서는구현이어려웠던 VR 콘텐츠의체험에초점을두었음 가령 Dead and Buried Arena 게임은케이블연결로는플레이가어려운유형의 VR 게임인데, 일정한넓이의필드에서두팀이각각의진지로나뉘어그늘에숨거나돌아다니며총격전을하는대전형게임이기때문 이런류의워킹어트랙션게임은현재가정이아닌 VR 아케이드등에서백팩컴 < 자료 > CNET [ 그림 6] 오큘러스퀘스트기반워킹어트랙션 퓨터를등에지고오큘러스리프트를컴퓨터와연결하는방식으로이용하고있는데, 아무래도번거롭고무게부담도있기때문에필드의크기가제한되는등의문제가있었음 무엇보다현재의워킹어트랙션게임들은필드사방에동작감지를위한고가의카메라수십대를달아야하다보니설치비용이수천만원을넘어서게되는데, 이는결국고가의게임이용료로귀착되는치명적문제가있었음 Dead and Buried Arena 게임은오큘러스퀘스트의기능을활용한게임으로플레이필드의 3D 지도를만들고그위에서부극과같은가상의필드를조성하는데, 가상필드에서는현실의블랙박스가나무상자로바뀌고여기숨어총격전을할수있음 게임이용자들은오큘러스퀘스트본체가리프트에비해가볍고, 컨트롤러의반응도좋으며, 컨트롤러위치감지범위가 180도로인간의시야각 200도에근접한데다위치감지정확도가높아대체로만족감을표시하였음 또한, 무선 HMD을이용해활동성을강화한스포츠게임들은실제운동경기에보다가까워지며향후 VR e-스포츠의새로운흐름을만들어낼것으로보임 커넥트 5 전시장에서선보인또하나의데모게임은 Tennis Scramble 이라는 VR 테니스게임이었는데, 엑스박스키넥트나위스포츠같은 2차원모션센싱게임을가상의입체공간으로확장한게임 전시장에는미니테니스코트를연상케하는플레이필드가여러개마련되었으며, 실제테니스경기처럼코트양쪽에오큘러스퀘스트를쓴선수들이자리잡고플레이하였음 게임플레이어들은실제경기를하듯미니코트를전후좌우로움직였는데, 전시회장에서는공간제약상필드를작게했지만크게만들면더큰움직임을유도할수도있음 36 www.iitp.kr
최신 ICT 이슈 게임내용도상대방이친공이내쪽으로올수록커보이게연출하는등실제테니스를하는듯한느낌을주도록만들어져이용자들로부터대체로호평을받았음 이런류의게임은스포츠활동의일환으로 VR 게임을자리잡게할가능성도제시하고있는데, 게임에대한부정적인인식을해소할수도있다는점에서주목받고있음 또한, 기존 e-스포츠에비해 VR 게임은 < 자료 > CNET [ 그림 7] 오큘러스퀘스트기반 VR 테니스게임 보는사람이재미를느낄수없어 e-스포츠종목으로는부적합하다는의견이많았는데, 보는재미가아닌플레이어가직접움직이는재미라는점에서이전과다른 e-스포츠의컨셉을제시할가능성도있음 오큘러스퀘스트의발표로이제 1세대오큘러스라인업이마무리된셈인데, VR 시장이죽음의계곡을넘어기대대로새로운플랫폼으로부상할수있을지에관심이모이고있음 2014년에오큘러스가공개되고 2016년하반기에오큘러스리프트가출시되며 VR에대한관심과투자가치솟았으나 2017년이 VR 원년이될것이라는기대는 2018년으로이월되었고 2018년에도기대만큼의성과를거두었다고평하기엔부족한감이큼 그러나 VR 업계에서돌파구혹은구세주로갈망해왔던하이엔드급독립형 HMD가발표됨에따라정식제품이출시될 2019년이또다시 VR 원년으로기대를받고있음 오큘러스가공개된이후지금까지약 5년동안의시간은 VR 기술의가치와소비자수용도에대한개념검증의시기였다할수있음 기대를모았던 VR 게임이나소셜 VR의확산속도가실망스러운것도사실이지만, VR 아케이드와테마파크같은새로운유형의엔터테인먼트가등장하기도했고, 기업으로눈을돌리면이미생산성향상과비용절감의효과적도구로자리매김해가고있음 VR에대한높은관심은사실모바일이후, 즉포스트스마트폰시대를대비하고선점해야한다는기술업계의강박감이어느정도반영된면이있음 처음부터기대가너무컸기때문에실망의목소리도나온것인데, 오히려현실에발을딛고소비자와접점을찾아가는과정에서 VR의가치와활용처가정립되고효과적인기기형태들이개발되며새로운기대감이형성되는모습도보이고있음 정보통신기술진흥센터 37
주간기술동향 2018. 10. 17. 오큘러스고와오큘러스퀘스트는보다많은사람들에게다가가기위한 VR 업계의고민과노력을상징하는제품으로볼수있는데, 이런성과들이쌓여사용자기반을늘려간다면차세대플랫폼으로서 VR의비전은차츰현실화되어갈수있을것임 스마트폰도등장부터현재와같은지위를확보하기까지시간이필요했다는점, 그리고사람들이언젠가영화 레디플레이어원 과같은세상이오지않을까라상상한다는점은 VR 업계에여전히많은가능성과기회가남아있음을시사함 [ 참고문헌 ] [1] VentureBeat, The DeanBeat: Will the Oculus Quest get Zuckerberg to his 1 billion VR users?, 2018. 9. 28. [2] The Verge, Oculus Quest put us in an arena-scale Wild West shootout, 2018. 9. 27. [3] Oculus Blog, Introducing Oculus Quest, Our First 6DOF All-in-One VR System, 2018. 9. 26. [4] Business Insider, Mark Zuckerberg s $3 billion bet on VR is finally paying off, 2018. 5. 1. II. 새로운영상서비스개발나서는스포츠업계, 트위터로카메라제어 미국스포츠업계에서는 2018년시청자들에게새로운영상서비스를전달하려는시도가계속이루어지고있는데, 가장먼저시작된것은 VR( 가상현실 ) 기술을접목한중계임 우선 2018년 3월에열린, 소위 3월의광란 (March Madness) 이라불리는 NCAA 미국대학농구선수권대회에서는전체 67경기중 21경기를터너스포츠가 VR로중계했는데, 이는 2017년에 VR로중계된것이 9경기인것에비해두배이상늘어난것임 터너스포츠의마크존슨수석부사장은 2018년 VR 중계의과제는카메라의설치장소였는데, 가능한한코트에가까운장소에카메라를설치해되도록이면팬들이코트에있는것처럼느끼게한다는것을목표로세웠음 하지만이는쉽지않은도전이었는데, 실 제경기를하다보면카메라가방해가되거나선수의부상을야기할가능성이있어협회에서난색을표했기때문 < 자료 > NCAA [ 그림 1] NCAA의 VR 중계관련보도자료 38 www.iitp.kr
최신 ICT 이슈 테스트결과농구경기에서 VR 카메라의설치장소는바스켓후방과측면라인에설치하는것으로결정되었는데, 마크존슨은현시점에서는이것이최선이었다고평가 여기에 파이널포 (Final Four) 로불리는준결승전과결승전에서는각대학의학생들이진을치고있는관중석에카메라를추가설치했는데, 이는학생들이자기팀의활약에흥분하는분위기속에있는듯한몰입감을제공하려는것으로 VR 특성을살린시도였음 사운드면에서도변화를꾀했는데, 2017년에는 VR 영상을보는사람과일반 TV 영상시청자의화각이서로다를가능성이있기때문에, VR로전달되는영상에는중계실황및해설등사운드를입히지않았음 2018년터너스포츠는 VR 영상전용캐스터를둠으로써실황중계를전달하는시도를했는데, VR 영상이팬들에게자연스럽게받아들여지려면당분간이런시행착오들이계속될것으로보임 한편, 대학농구와달리 NBA 프로농구는팬들에게몰입감을제공한다는동일한목적을달성하기위해 AR( 증강현실 ) 기술과 360도영상을접목한영상서비스를시작하였음 신인급선수의육성을목적으로하는 NBA 섬머리그에서는 NBA AR 이라는앱을배포했는데, 앱을열고카메라로주위풍경을촬영하면화면에 가상의문 이표시됨 그문을들어서면안에서는 NBA 경기영상이흐르고있어마치농구코트의사이드라인에있는것같은영상체험을할수있으며, 체험후에는다시문이나타나는데이를통과하면현실세계로돌아오게되어있음 < 자료 > The Awesomer, https://youtu.be/0erhhadeiqg [ 그림 2] 증강현실과 360 도동영상을결합한 NBA AR 앱의실행화면 정보통신기술진흥센터 39
주간기술동향 2018. 10. 17. AR 기능외에도이앱이가진특징은세로영상을사용한다는점인데, 최근청소년들은스마트폰을세로로잡고동영상을촬영하고감상하는것을선호하고있기때문에, 이런성향에맞춘서비스를테스트하려는것으로보임 NBA의디지털상품관리부문마이크앨런수석부사장은섬머리그몇경기는경기전체를세로로촬영해제공했는데, 이러한새롭고흥미로운시도를통해배운것이많다고말하며, 다가오는 NBA 정식시즌을겨냥해검토해야할것들이있다고언급 PGA 프로골프협회와터너스포츠는 VR이나 AR은아니지만, TV 중계와경기관전을상호보완하고확장하기위한수단으로 PGA TOUR LIVE( 투어라이브 ) 앱을제공하고있음 이앱의특징은타이거우즈와필미켈슨등주요선수의모든샷을동영상으로시청할수있는것인데, TV 중계가모든선수의모든샷을다방송할수는없기때문에 TV 중계를보고있는시청자들이라도앱을통해영상을보고싶은동기를가지게됨 또한, 경기가열리는골프장에는와이파이환경을정비하고, 앱에식당, 용품판매점, 화장실등의위치가표시되는지도기능을포함시켰는데, 이는현장에서직접관전하는팬들이앱을이용하도록고려한것임 이런방식의중계는우리나라에서도 LG유플러스가 U+ 골프 라는서비스로출시하여상당히좋은평가를받고있는데, 인기선수독점중계, 지난홀다시보기, 출전선수스윙보기등의기능을제공하고있음 선수의관점에서보는영상을전달하려는종목도있는데, 실내축구인아레나풋볼리그 (AFL) 가스포츠전문스트리밍기업과제휴를통해테스트해보고있음 스트리밍업체마뉴멘탈스포츠네트워크는 6월에열린 AFL 플레이오프경기에서 1팀에 1명씩헬멧에생방송용카메라 헬멧캠 (HelmetCam) 을달고그영상을생방송하였음 헬멧에카메라를탑재해 TV 중계에이용하려는시도는 1990년대에프로미식축구 (NFL) 의하부리그등에서이루어진적이있지만, 카메라의크기와이미지의흔들림등이문제로지적되어무산된바있음 < 자료 > Monumental Sports Networks [ 그림 3] 카메라가장착된헬멧캠 40 www.iitp.kr
최신 ICT 이슈 AFL측은그동안카메라가소형화되었고, 웨어러블라이브스트리밍플랫폼업체인 액션스트리머 (Action Streamer) 가이미지안정화소프트웨어를개발했기때문에, 이번에다시한번시도해보게된것이라설명 AFL이미국에서주류스포츠가아닌점도있고해서헬멧캠으로전송된영상의조회수가얼마나되는지는공개되지않고있는데, SNS에게시된헬멧캠하이라이트동영상은평균 1만뷰정도를기록하고있음 스포츠중계에투자를늘려가고있는인텔이유사자유시점영상을생성하는시스템개발을진행하고있지만, AFL의시도처럼날것그대로의영상제공서비스가앞으로늘어날가능성도다시대두되고있음 가장최근의스포츠중계혁신사례로는팬들이트위터를통해중계카메라를제어해자신만의영상을얻는시도가이루어진것을들수있음 이런서비스는미국프로축구리그 (MLS) 에서 8월 24일벌어진로스앤젤레스 FC와 LA 갤럭시의시합에서이루어졌음 축구장코너옆에는원격지원이되는 SLR 카메라가설치되었는데, 트위터이용자가 #LALookIn 이라는해시태그를달고트윗을날리면, 카메라가사진이나동영상을자동으로찍고, 이를트윗을날린사용자에게댓글로달아주는방식으로제공함 이런시도가좋은반응을이끌어냈는지여부는알려지지않고있지만, 팬들이활기 찬움직임을담은실감나는이미지를얻게하려는시도라는점에서의의가있음 < 자료 > LAFC on Twitter [ 그림 4] 트윗으로경기장의카메라셔터를작동 [ 참고문헌 ] [1] SportsPro Media, 8. 28, https://bit.ly/2y5a91b [2] Sport Innovators, 9. 28, https://nkbp.jp/2cyc5mw 정보통신기술진흥센터 41
주간기술동향 2018. 10. 17. III. 제프베조스의 블루오리진, 로켓엔진공급계약체결 아마존의제프베조스가참여하고있는민간로켓기업 블루오리진 (Blue Origin)' 이로켓발사서비스업체인 United Launch Alliance의신개발로켓을위한로켓엔진공급자로선정 유나이티드런치얼라이언스는새로개발중인로켓 Vulcan Centaur( 벌컨센토 ) 에탑재할로켓엔진으로블루오리진의 BE-4 를선정했다고정식발표 블루오리진이이번공급계약경쟁에서이긴상대는, 그동안유나이티드런치얼라이언스에로켓엔진을공급해왔으며, 미공군에도납품해온가장오래된로켓엔진개발업체 에어로젯로켓다인 (Aerojet Rocketdyne) 임 이때문에블루오리진의이번공급계약승리는미국로켓산업과군수산업에있어역사적사건이라는평가도나오고있음 블루오리진의 BE-4는로켓연료로메탄을사용하는데, 추진력이우수해우주왕복선주엔진보다 25% 나강력한정도여서항공우주업계에서주목해오고있었음 블루오리진은성능뿐만아니라가격면에서도강점이있어선정이되었는데, 그동안비용대비효과를전혀고려하지않던항공우주업계의변화를상징하는사건이될것으로보임 에어로젯로켓다인이로켓엔진 AR1을제공하는조건으로미공군에엔진개발비용의대부분을부담시키는것에비해, 블루오리진은로켓엔진개발비용부담을로켓제조업체에요구하지않고있어로켓제조업체로서는비용면에서도큰메리트가있음 그동안항공우주산업의로켓엔진공급경쟁에서는비용대비효과는무시하는방향으로전개되어, 결국에어로젯로켓다인이계약을수주하는역사가반복되어왔음 그러나 Falcon( 팰컨 ) 9 을개발하여 NASA의국제우주정거장에물자수송계약을따낸 스페이스X 의등장으로전통기업이수주한다는관행은변화하기시작하고있음 한편, 수주에실패한에어로젯로켓다인은엔진공급실적이없는 BE-4를채택한것은국가안보의문제가있다며, 로켓엔진공급계약의재검토를요구하는로비를전개중임 [ 참고문헌 ] [1] Ars Technica, 9. 28, https://bit.ly/2omdyah [2] Daily Mail, 10. 4, https://dailym.ai/2cxjp75 42 www.iitp.kr
사업책임자: 최령 ( 기술정책단장 ) 과제책임자: 이성용 ( 산업분석팀장 ) 참여연구원: 변화성, 이재환, 이효은, 이상길, 안기찬, 김용균, 박혜영, 김우진, 전영미 ( 위촉 ) 통권 1868(2018-40) 발행년월일 : 2018년 10월 17일발행소 : 편집인겸발행인 : 석제범등록번호 : 대전다-01003 등록년월일 : 1985년 11월 4일인쇄인 : 승일미디어그룹 (34054) 대전광역시유성구유성대로 1548( 화암동 58-4번지 ) 전화 : (042) 612-8296, 8214 팩스 : (042) 612-8209