서비스 / 융복합 R&D 기계가만들어내는스토리, 스스로교육 R&D 학습하는인공지능으로 1. 세계최초, 스스로똑똑해지는 AI 스토리텔링머신 2. 어린아이처럼단어 - 이미지를스스로조합 3. 교육과로봇, 스마트기기까지.. 활용은무궁무진! 35
서비스 / 융복합 R&D 교육 R&D 기계가만들어내는스토리, 스스로학습하는인공지능으로 서울대연구팀이영상에담긴정보를스스로습득하고특정화면을보여주면그상황에적절한단어나대사를만들어내는인공지능컴퓨터프로그램을세계최초로개발함. AAAI-2015 에도소개돼화제를모은이기술은어린아이들이영어동영상을보면서영어를배워가는과정을본떠기계에구현한것임. 상상력기계에뽀로로만화영화를입력한후특정장면을제시하면캐릭터의특징에맞춰그에맞는대사를정교하게만들어냄. 이기술은향후교육과로봇, 스마트기기등에폭넓게활용될것으로기대됨 1. 세계최초, 스스로똑똑해지는 AI 스토리텔링머신 2015 년 2월, 국내연구진이만화영화를보면서지식을습득하고등장인물과장면을스스로설명해주는인공지능스토리텔링기술을개발함 ( 동아사이언스, 2015.2.3) 서울대컴퓨터공학부및인지과학연구소장병탁교수팀이개발한이기술은영상의빅데이터를분석해물체와단어가연결된개념을습득하고스스로지능을높이도록해줌 기존의컴퓨터는정보를입력하면빠르게연산하고처리하는수준에그쳤지만, 이인공지능기술은단어와영상을이용해스스로지식을쌓아갈수있음 (YTN, 2015.2.15) ' 상상력기계 (Imagination Machine)' 로도불리나, 명칭과는달리이기술은실제기계가아닌일종의컴퓨터프로그램임 이상상력기계의실체는연구자가입력한영상정보를스스로습득하고제시된특정화면에적절한단어나대사를만들어내는컴퓨터프로그램임 영상에담긴정보를스스로이해하도록한후특정장면을입력하면캐릭터의특징에맞춰거기에맞는대사를만들어내는방식인데, 연구진은만화영화 ' 뽀로로 ' 를이용해상상력기계의성능을테스트함 36
이 연구결과는 제29회 세계 인공지능학술대회(AAAI-2015) 에 발표되면서 세계의 인공지능과 인지과학 연구자들의 이목을 끔(동아일보, 2015.2.3) 이 상상력 기계는 만화영화 빅데이터로부터 지식을 자동으로 구축하는 기술을 세계 최초로 선보였다는 점에서 학술적 기술적 의의가 있음 그림 16. 개발기술의 원리 및 구현 모습 출처: YTN(2015.2.15, http://www.ytn.co.kr/_ln/0105_201502150008440621) 영상 캡처 37
서비스 / 융복합 R&D 교육 R&D AAAI 는인공지능분야에서가장권위있는학회로, 상위 12% 에포함되는세계적으로인정받은연구에한해발표기회가주어짐 ( 전자신문, 2015.2.3.) 2. 어린아이처럼단어 - 이미지를스스로조합 어린아이들이동영상을보면서영어를배워가는과정을본떠구현한기술로, 단어 -이미지를스스로조합하는인공지능기술이기본원리임 이는사람의뇌처럼로봇이개념을유연하고빠르게발달시켜가면서지식을쌓아인간수준의지능에도달해가는과정을모사한것임 (YTN, 2015.2.15) 근본원리는이미지와단어에대한개념을형성하고인지기능이발달될수있도록한것인데, 이는만화영화를보는어린아이의뇌에서일어나는인지현상과같은방식임 ( 동아일보, 2015.2.3) (1단계 - 입력 학습 ) 상상력기계에 ' 뽀로로 ' 시리즈를입력하면기계가연상메모리를활용해영상의화면, 대사, 줄거리등을학습함 연구진은 ' 뽀뽀로 ' 전편에해당하는 1,232분분량의 183개에피소드영상과영어자막을상상력기계에입력함 ( 동아일보, 2015.2.3) 전체영상은 16,000여개의이미지와자막의쌍으로변환되며, 이를토대로사람의뇌신경망을닮은연상메모리구조가만화영화의화면과대사, 줄거리는물론, 각캐릭터의특성까지스스로학습함 ( 연합뉴스, 2015.2.3) 상상력기계가이미지와자막간의의미적관계와시간적흐름및줄거리를캐치하고, 각등장인물의특성까지파악함 (2단계 - 출력 ) 학습후에는기계에특정장면을입력하면캐릭터의특징에맞춰그에맞는대사를만들어내며, 대사가주어지면그림을추론함 ( 머니투데이, 2015.2.3) 상상력기계가해당이미지를단어로변환한뒤학습된모델을이용해이미지에대한적절한자막 ( 언어대사 ) 을출력함 ( 동아일보, 2015.2.3) 예를들어, 뽀로로와패티가마주보는장면에서는 " 뽀로로가 ' 안녕 ' 이라고인사하자 ' 패티 ' 가활짝웃으며손을흔들었어요." 라는대사가만들어짐 ( 연합뉴스, 2015.2.3) 특정캐릭터의이름과대사 ( 단어 ) 를입력하면이에적합한이미지도표시해주는데, 이때등 38
장인물의특성까지반영한자막설명도함께제시해줌 만화영화를본컴퓨터가스스로학습해등장인물과성격, 상황들을파악하기때문에입력된영상이많아질수록이미지와자막의조합이정교해지며, 만화영화를 100 분입력했을때와 1,000 분입력했을때출력되는대사가달라짐 ( 연합뉴스, 2015.2.3) 에피소드가쌓여갈수록뽀로로의성격이어떤단어와문장, 이미지로가장잘표현될수있는지에대한지식이점점쌓여가며, 시간이지나면서캐릭터의특성이변할수있기때문에기계가유추하는대사는원래대사와달라질수있음 13편의영상이입력된경우에는연구자가입력한주제어에대해단편적인정보만을나열하지만, 180여편의영상을본후에는똑같은주제어에도이미지와자막의정교한조합을만들어냄 (YTN, 2015.2.15.) 그림 17. 대사및이미지출력모습 기계에이미지를입력함 해당장면을설명하는자막이출력됨 이와관련된새로운이미지도함께출력해줌 출처 : 동아사이언스 (2015.2.3, http://www.dongascience.com/news/view/6058) 이미지를토대로재구성 39
서비스 / 융복합 R&D 교육 R&D 3. 교육과로봇, 스마트기기까지.. 활용은무궁무진! 스토리텔링을가능하게하는이인공지능프로그램은로봇, 컴퓨터, 스마트폰등다양한기기에적용될수있어활용도가매우높은데, 특히교육 / 학습, 로봇등에의적용이활발할것으로전망됨 개인영어학습에사용할경우, 미리영어버전의만화영화를입력한후어떤상황에서어떤영어대사가나올지, 다음이야기가어떻게진행될지아이와함께만들어가는방식으로개인교사역할을수행할수있음 ( 연합뉴스, 2015.2.3) 인공지능으로피교육자의행동도학습함으로써학습능률을극대화시킬수있으며, 아동교육용비디오를모두모아학습한뇌신경망메모리를로봇에이식해활용할수도있음 ( 머니투데이, 2015.2.3) 이번연구는앞으로빅데이터에기반을둔인공지능개발에획기적인발판이될것이며, 연구진은현재도인공지능스토리텔링연구확장에박차를가하고있음 상상력기계는앞으로도감정을표현하고사람과대화하는인공지능기술개발에폭넓게응용될수있을것으로기대를모으고있음 상상력기계가스캔하는영화데이터를변경함으로써또다른도메인의지식도습득할수있음 ( 머니투데이, 2015.2.3) 현재연구진은미국드라마 프렌즈 의 10년치빅데이터를분석해스스로학습하며지능을높이는인공지능연구를진행중임 참고문헌 동아사이언스 (2015.2.3). 뽀로로 에서인공지능탄생? 장병탁서울大교수팀, 그림과단어의상호연상이용한 상상력기계 개발. Retrieved from http://www.dongascience.com/news/view/6058 동아일보 (2015.2.3). 국내연구팀, 뽀로로 보면서 스스로영어깨우치는프로그램개발. Retrieved f rom http://news.donga.com/3/all/20150203/69452266/1 머니투데이뉴스 (2015.2.3). 장병탁서울대교수, ' 만화보고지식쌓는 ' 기술개발. Retrieved from htt p://www.mt.co.kr/view/mtview.php?type=1&no=2015020313452407179&outlink=1 YTN(2015.2.15). ' 뽀로로 ' 보면인공지능도똑똑해진다. Retrieved from http://www.ytn.co.kr/_ln/01 05_201502150008440621 연합뉴스 (2015.2.3). 애니속적절한대사술술 서울대 ' 상상력기계 ' 개발. Retrieved from http://w ww.yonhapnews.co.kr/bulletin/2015/02/03/0200000000akr20150203116800004. HTML 조선일보 (2015.2.3). 서울대, 만화영화보고스스로학습하는인공지능개발. Retrieved from http://n 40
ews.chosun.com/site/data/html_dir/2015/02/03/2015020301285.html 전자신문 (2015.2.3). 서울대장병탁교수팀, 만화영화빅데이터기반인공지능기술개발. Retrieved from http://www.etnews.com/20150203000114 헤럴드경제 (205.2.3). 서울대연구팀 상상력기계 개발 애니속적절한대사술술. Retrieved from http://news.heraldcorp.com/view.php?ud=20150203001244&md=20150203173651_bl 용어정리 2015 세계인공지능학술대회 (AAAI 2015) 인공지능 (AI Artificial Intelligence) 스토리텔링 (storytelling) 연상메모리 (associative memory) 쿼리 (query) AAAI(Association for the Advancement of Artificial Intelligence) 에서주최하는학회시리즈중인공지능분야에관련된학회로, ICML, NIPS, IJCAI 와함께인공지능, 기술학습분야세계최고수준의학회로꼽힘. 이전까지는대게 6~7 월에열리던것과달리 2015 년부터최초로겨울시즌 (2 월 ) 에개최됨. 다양한인공지능분야의전문가들간의협력연구의장을만들기위해정규트랙외에 AI and the Web, Cognitive Systems, Computational Sustainability, Integrated Systems 등총 4 개의특별트랙으로논문을모집하여운영함 인간의지능으로할수있는사고, 학습, 자기계발등을컴퓨터가할수있도록하는방법을연구하는컴퓨터공학및정보기술의한분야. 생각하고, 학습하고, 판단하는인간고유의지식활동을하는컴퓨터시스템으로, 컴퓨터가인간의지능적인행동을모방할수있도록하는것을의미함 ' 스토리 (story) + 텔링 (telling)' 의합성어로서말그대로 ' 이야기하다 ' 라는의미. 상대방에게알리고자하는바를재미있고생생한이야기로설득력있게전달하는행위로, 스토리를연결성과완결성을가지고끌어가는것을뜻함 메모리의접근속도를높이기위해기억장치의주소를이용하여데이터에접근하지않고데이터의내용에의해접근하는메모리로, 검색을빠르게할수있음. CAM(contents address memory) 또는 CARAM(contents addressed RAM) 이라고도불림 데이터베이스관리시스템에대한처리요구 ( 문의 ) 를문자열로서표현한것. 시스템에데이터검색이나갱신, 삭제등을명령할때쓰임. 대상이되는테이블이나데이터의추출조건, 나열방법을지정함 41
서비스 / 융복합 R&D 교육 R&D 42