인공지능, 어디까지왔나? 추형석선임연구원

Transcription

1 인공지능, 어디까지왔나? 추형석선임연구원

2 본보고서는 과학기술정보통신부정보통신진흥기금 을지원받아제작한것으로과학기술정보통신부의공식의견과다를수있습니다. 본보고서의내용은연구진의개인견해이며, 본보고서와관련한의문사항또는수정 보완할필요가있는경우에는아래연락처로연락해주시기바랍니다. 소프트웨어정책연구소기술 공학연구실추형석선임연구원

3 현대인공지능기술의발전속도는매우빠르다는것에의심할여지가없다. 이사실은한편으로최신인공지능기술을제대로파악하기조차어렵다는것을대변한다. 또한인공지능의적용이다양한산업에이르러범용목적기술 (General Purpose Technology) 로주목받자그경계가모호해졌다. 예를들어, 빅데이터분석과인공지능의차이는무엇일까? 방법론의차이일까? 현대인공지능의중추인학습기반의인공지능은필연적으로빅데이터를요구한다. 성공적인인공지능시스템을구축하기위해서는양질의데이터가다다익선이다. 이러한관점에서빅데이터와인공지능은서로다른분야로구분짓기어렵다고본다. 인공지능기술을발전상을이해하려면인공지능연구의특성별로구분지어바라볼필요가있다. 그러나인공지능의적용범위가지속적으로확장되고, 인공지능을주도하는주체가글로벌 IT 기업이라는관점에서일목요연하게구분짓기는어렵다. 또한국제적인시장조사기관의분류체계역시매우상이하기때문에, 참고문헌을기반으로한기술의분류는한계가있다. 이보고서에서는인공지능연구분야의구분을위해가설을통한접근을취했다. 이것은인공지능기술의굵직한트렌드를바탕으로인공지능을바라보는관점을제시한다. 그렇다면현재인공지능기술은어디까지왔을까? 이보고서에서는지난 2017년 AlphaGo Zero 이후인공지능연구계에서공개된주요연구성과를살펴볼것이다. 특히인공지능자체의성능을향상시킨연구를분석했다. 현재심층학습 (Deep learning) 은매우좋은성능을보이고있으나, 여전히좁은인공지능, 약인공지능에머물고있다. 이를개선하기위한노력으로학습하는방법을학습하는메타학습분야가부상하고있다. 또한최적의인공신경망구조를찾는신경망구조탐색, 뉴로모픽칩에탑재되는스파이킹신경망, 마지막으로도메인간지식을전이하는전이학습을살펴볼것이다. 인공지능은지금도빠르게그영역을확장하고있다. 이보고서에서다룬내용은특히인공지능의성능자체를향상시키는연구결과에집중했다. 다양한산업계에서인공지능의성공사례는지금도속속들이나오고있을것이다. 인공지능의거대한조류속에서인공지능의기술적발전에대한시의성있는분석이매우중요한시점이다.

4 There is no doubt that the speed of modern artificial intelligence (AI) technology is very fast. This, on the other hand, means that it is difficult to grasp the latest AI technology. In addition, the application of AI came to various industries and became a general purpose technology. For example, what is the difference between big data analysis and AI? Is it a difference in methodology? Learning-based AI, the backbone of modern artificial intelligence, inevitably requires big data. In order to build a successful artificial intelligence system, high-quality data is the more the better. From this point of view, big data and AI are hard to distinguish from each other. To understand the evolution of AI technology, a good classification of technology is needed. However, it is difficult to propose a clear classification system from the viewpoint that the major player of AI is a global IT company, and the range of application of AI is continuously expanding. In addition, since the classification of international market research institutes is also very different, there is also a limit to the construction of classification based on references. In this report, we took a hypothetical approach to suggest a classification of AI technology. This suggests the viewpoint of AI based on the big trend of AI technology. So where is AI now? In this report, we will look at the major research achievements published in the AI research community since Alpha Go Zero in In particular, we analyzed the research that improved the performance of artificial intelligence itself. Deep learning is currently performing very well, but it is still in the narrow AI. There is an emerging field of meta learning that learns how to learn in an effort to improve it. In addition, we will explore neural architecture structure search for optimal neural network structure, spiking neural network in neuromorphic chip, and finally transfer learning to transfer knowledge between domains. AI is still expanding rapidly. The report focuses on research that specifically improves the performance of AI. The success stories of AI in various industries are still on-going. A timely analysis of the technological development of AI is very important.

5 1. 서론 1 (1) 배경 1 (2) 심층학습의한계 3 2. 인공지능기술발전의트렌드 5 (1) 인공지능 R&D 와산업의특징 5 (2) 인공지능연구영역의구분 8 3. 인공지능최신연구현황 결론 24

6 1. Introduction 1 (1) Backgrounds 1 (2) Limitations of Deep Learning 3 2. A Trend of AI Developments 5 (1) Characteristics of AI R&D and Industry 5 (2) Classification of AI Research Fields 8 3. Recent Trends of AI researches Conclusions 24

7 1. 서론 (1) 배경 인공지능은 21세기들어가장혁신적인기술이다. 현재인공지능의상승세는무섭다. 당장우리와밀접한관련이있는제품이나서비스에인공지능이라는단어가출현하고있기때문이다. 그렇다면인공지능은기술의범위는어디까지일까? 인공지능이라는개념은 1956년다트머스회의에서최초로정립됐다. 당시의인공지능은사람의지능을모사하는기계장치로사람처럼언어로소통하고문제를해결할수있다는개념이었다. 1) 그러나사람의지능의실체는여전히모호하다. 지능은인간과동물을구분짓는잣대로활용하고있으나, 동물들역시생존을위해지속적으로학습한다. 반면인간은가치를위해학습하고적용하기때문에, 더고차원적인지능활동을한다고볼수있다. 따라서인공지능의궁극적인목표는다트머스회의에서언급됐듯이사람과유사한혹은사람수준의기계장치개발에있다. 하지만사람의지능적행동은그원리에대한가설은있으나아직실험적으로규명되지않았다. 예를들면, 사람의동기 (motivation), 의식 (consciousness), 감정 (emotion) 등지능의밑바탕이되는요소들에대한가설이존재할뿐모사가어려운상황이다. 이에따라현재인공지능은사람수준의지능을구현하기보다, 지능적행동의일부를모사하는데그치고있다. 그러나이것조차과거 60여년간의인공지능역사에서는매우어려운과제였다. 이러한상황에서심층학습 (Deep Learning) 의등장은현대인공지능기술의지평을바꿔놨다. 바둑인공지능프로그램 AlphaGo에서소개된것처럼, 심층학습은바로빅데이터를학습해패턴을인식하는기술이다. 심층학습은 1980년대를풍미한인공지능기술인인공신경망 (Artificial Neural Network) 을기반으로한다. 인공신경망은동물의신경망구조를모사한개념으로, 자극에의한정보전달과헵 (Hebb) 의이론 2) 에근거한다. 1) The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it. An attempt will be made to find how to make machines use language, form abstractions and concepts, solve kinds of problems now reserved for humans, and improve themselves. (Dartmouth workshop, Wikipedia) 2) 두뉴런사이의정보전달이빈번하게일어나면그것들을연결하는시냅스가강화된다 ( 더쉽게정보를전파한다 ) 는이론 1

8 심층학습의성공사례는매우다양하다. 우리가접하는스마트스피커의음성인식, 포털사이트의기사추천, 자율주행차의주변환경인식, 기계번역등다양한사례가있다. 그원천은데이터다. 데이터가인공지능이라는분석도구를만나그가치가높아진것이다. 여기서인공지능의주요한쓰임새를찾을수있다. 인공지능의본질적인목표는인간수준의지능을구현하는것이나, 현재는복잡한데이터에서패턴을탁월하게인식하는기술로활용되고있다는것이다. 즉심층학습을도구로데이터에서의미있는결과를도출하는것이현대인공지능에서주류를이루고있는접근이다. 여기서주목할점은심층학습에적용될수있는데이터의종류가상당히폭넓다는것이다. 이러한특징으로인해인공지능이범용목적기술 (General Purpose Technology) 3) 로부상하고있는것이다. 따라서인공지능은대량의데이터가생성되는분야면적용될가능성이높다. 사회관계망서비스, 인터넷상거래, 금융거래, 병원처방등우리의행동이모두데이터로기록되고, 이를활용해다양한산업적활용이가능하기때문이다. 이러한관점에서다시첫번째질문이었던 인공지능기술의범위 를상기시켜보면, 이에대한답은쉽게내리기가어렵다. 인공지능의적용은그범위가넓을뿐만아니라급속도로확장되고있기때문이다. 또한 SW를통해문제를해결하는접근이대중화됨에따라시스템의일부에서인공지능이활용되는경우가대부분이기때문에, 어떠한제품에서인공지능이차지하는비중을산정하기에도쉽지않다. 인공지능기술자체에서도그범위가모호함을찾을수있다. 현재우리산업과사회가인식하고있는인공지능은심층학습이다. 심지어는인공지능을심층학습과동치의개념으로사용하는사례도적지않다. 바로심층학습의성능이그간의인공지능방법론을압도할정도로높기때문이다. 그러나심층학습이만능은아니기때문에현재심층학습이겪고있는한계에대해살펴볼것이다. 그렇다면현재인공지능은어디까지왔을까? 이보고서의목적은인공지능연구의최신동향을쉽게전달하는데있다. 앞서언급한대로인공지능의기술의범위가매우폭넓기때문에, 어떠한인공지능연구의최신동향을다루는가에대한기준도필요한실정이다. 이보고서는분석하고자하는인공지능연구의대상을구체화하기위해인공지능연구분야를구분하는관점을제시할것이다. 3) 여기서의미하는범용은심층학습이라는기술자체가범용성이있는것이아니라, 음성, 이미지, 신호등다양한데이터를인공신경망으로학습할수있다는의미임 2

9 (2) 심층학습의한계 심층학습은만능이아니다. 심층학습은단어자체에서도찾을수있듯이데이터를학습하여패턴을인식하는기술이다. 따라서데이터수급과관련된문제는곧심층학습의한계와도맞물려있다. 또한기술적으로도불완전한점이존재한다. 이번절에서는심층학습의한계를크게세가지관점에서논의해보겠다. 첫번째한계는심층학습의학습 (training) 데이터와시험 (testing) 데이터의분포다. 일반적으로심층학습의성능을측정할때는시험데이터의예측성능을활용한다. 그러나보통시험데이터는전체데이터의일부를활용한다. 다시말하자면, 전체데이터가 100이라고가정할때, 학습에는 80이활용되고나머지 20을시험데이터로사용한다는것이다. 바로이부분이학습-시험데이터가동일한분포에서나왔다는것을의미한다. 이것이시사하는바는무엇일까? 예를들어시뮬레이션환경에서로봇팔이물체를집는알고리즘을심층학습을활용해구현했다고보자. 여기서시험데이터가여전히시뮬레이션환경에서생산됐다면, 학습된인공지능이물건을집는행위를잘처리할수있을것이다. 그러나이인공지능을실제로봇팔에적용한다면필연적으로실패할가능성이높다. 그이유는시뮬레이션환경과실제환경이매우다르기때문이다. 실제환경에서는중력, 공기와의마찰, 관성, 기계의갑작스런오작동등고려해야할요소가매우많다. 따라서실제환경에적용하기위해서는학습데이터를실제와가깝게구현하던가, 시뮬레이션환경을실제에가깝게구성해야할필요가있다. 어느쪽도만만치않다. 또다른예로는, 고전게임기 ATARI 2600의벽돌깨기 (breakout) 게임을구현한강화학습에서도찾을수있다. 벽돌깨기인공지능은게임인공지능의혁신적인결과중하나였지만, 벽돌깨기게임의명도를 20% 올렸을때는제대로작동하지않는다. 인간이보기에는큰차이가아니지만인공지능이바라보기에는전혀다른문제라는것이다. 심층학습의두번째한계는지속적인학습이불가능하다는점이다. 우리는흔히인공지능을실시간으로학습할수있는것처럼오해할수있다. 그러나현재심층학습의기술로는지속적인학습이어렵다. 예를들어 100만개의데이터로학습한인공신경망모델이있다고가정하자. 여기에 10만개의데이터가추가됐을때, 이미학습된신경망에추가적으로 10만개를학습하여성능을더향상시킬수있을까? 이에대한결론은 알수없다 가답이다. 10만개를학습하여 3

10 성능이올라갈지, 아니면 110만개를다시학습하여성능이향상될지는알수가없다. 효율의관점에서봤을때는 10만개를추가적으로학습하는것이타당해보인다. 그러나현재는 10만개를추가적으로학습하던 110만개를다시학습하던일단시도를해보고선택하는것이일반적이다. 이러한현상의원인은인공신경망의구조적인특성에서도유추할수있다. 인공신경망을학습하는행위는수학적으로비용함수의최소값을찾는과정이다. 그러나비용함수의차원은인공신경망의가중치개수이며, 보통수백만개를넘어서기때문에결과적으로수백만차원의비선형함수에서최소값을찾는문제로귀결된다. 보통 5차원만넘어서도차원의저주 (curse of dimensionality) 로인해해석적으로최소값을구하기어렵고, 수치적인근사로찾는방법이일반적이다. 따라서 100만개로학습한최적의인공신경망을 10만개로추가학습한다고해도의미있는결과를보장할수없다. 심층학습의세번째한계는설명가능성이낮다는점이다. 현재심층학습의성능은비록설명이불가능해도학계에서받아들여지고산업계에활용될만큼높다. 그만큼높은성능이현대인공지능의붐을이끈원동력이다. 그러나어떠한방법론을쓰던성능이좋기만하면되는분야가있는반면, 그인과관계를철저히규명해야하는분야도있다. 예를들어자율주행차가사고를냈는데, 그원인을특히심층학습에서찾으려한다면매우어려울것이다. 그이유는현재심층학습기술의설명가능성이매우낮기때문이다. 인공지능의설명가능성은보수적인관점에서인공지능이우리의삶과공존할수있는마지노선일것이다. 한편으로는설명가능성에집중하기보다, 경험적으로인공지능을도입하는것이효율적이라면응당도입해야한다는관점도있다. 현재많은과학기술들은그역효과를철저히규명하고보장하기는어렵다. 기술을먼저도입하고나서발생하는문제를단계적으로대처해나가자는관점이다. 그러나인공지능이점점고도화됨에따라인공지능이인적 물적피해의직접적인원인이될수도있다. 이것이설명불가능하여모든책임을단순히인공지능을사용한주체에부과한다면매우부조리할가능성이높으며사회적문제를야기할것이다. 지금까지심층학습의한계에대해논의했다. 그렇다면현재인공지능기술은어디까지왔을까? 이러한한계를극복하기위한노력은어느정도진척이됐을까? 이물음에답하기위해인공지능기술의주요트렌드와실제최신동향을분석해보겠다. 4

11 2. 인공지능기술발전의트렌드 본격적으로인공지능의최신연구현황을분석하기앞서, 인공지능기술발전의트렌드를살펴보고자한다. 그목적은궁극적으로인공지능연구의영역을객관적으로구분하고영역별로드맵을제안하는데있다. 그러나현재단계에서는먼저인공지능연구를구분하기위한가설을세우는것으로출발하겠다. 이가설에대한근거는인공지능 R&D와산업의특징에서찾아볼것이다. (1) 인공지능 R&D 와산업의특징 다음 < 표 1> 인공지능기술의주요특징을기술한다. 이것은전문가회의, 국내외문헌자료등에서재구성한것으로세부적인내용에대해살펴볼것이다. 이특징을바탕으로인공지능연구영역의구분에대한가설을제시할것이다. 1. 인공지능기술의발전속도는매우빠르다. 2. 인공지능기술이적용되는분야가빠른속도로확장되고있다. 3. 인공지능기술을주도하는주체는글로벌 IT기업이다. 4. 현재인공지능기술은약인공지능 (weak AI) 에머물고있다. 1. 인공지능기술의발전속도는매우빠르다. 인공지능의발전속도가매우빠른근본적인이유심층학습에대한연구의과도한집중때문이다. 심층학습은앞서소개한대로한계가분명한기술이지만, 매우높은성능을보이고있다. 그열기는아직지속되고있으며, 이제연구계나산업계를불문하고인공지능이라는키워드를적극적으로활용하고있다. 또한오픈사이언스생태계의확대로연구결과를공유하는 arxiv, 개발한코드를공개하는 github 저장소, 수십여종에이르는심층학습공개SW 등심층학습이라는기술의접근성자체가매우낮아졌다. 또한심층학습의설명가능성을보장하기위한이론적연구역시심층학습의눈부신성과로인해연구가집중되고있다. 예를들면, 일반적인인공신경망에서은닉층 (hidden layer) 을 3층, 4층으로구성했을때의차이점을수학적으로증명하는내용등을다룬다. 이처럼심층학습의대성공으로인한전세계적인연구의집중은결국심층학습의빠른발전속도에기여하고있다. 한가지특이 5

12 한점은현재인공지능연구에서심층학습이차지하는비중은대략적으로 80% 이상으로추정된다는것이다. 따라서현시점의인공지능은대부분이심층학습이라는관점에이의가많지않다. 결국인공지능기술의빠른발전속도는곧심층학습의방법론자체의성능향상에기여하고있다. 예를들면, 적은데이터로학습하는방법, 학습하는방법을학습하는접근 (Learning to learn), 설명가능한인공지능등이이에속한다고볼수있다. 이러한접근은기초 응용 개발의 R&D 단계로볼때기초연구에속한다. 2. 인공지능기술이적용되는분야가빠른속도로확장되고있다. 앞서언급한대로현재인공지능은대부분심층학습이이끌어간다고볼수있다. 심층학습은매우다양한형태로진화하고있으나본질적으로는분류와군집에최적화된방법론이다. 여기서분류와군집은인식 (recognition) 과탐지 (detection) 의영역에서필수적인요소볼수있다. 인식과탐지는컴퓨터과학에서대표적으로컴퓨터비전, 자연어처리, 음성인식, 데이터마이닝등의영역이속한다. 따라서심층학습은인공지능과관련된컴퓨터과학의영역을재편했다고볼수있으며, 실제로언급한분야에서높은성과를달성했다. 이러한성과는곧타산업과연구영역으로전파되고있다. 컴퓨터비전은의료영역에서암을진단하고, 자연어처리는기계번역에적용되며, 음성인식은스마트스피커에탑재됐다. 또한많은데이터가누적돼있는기초과학분야에까지심층학습이전파되어새로운모델링기법으로활용되고있다. 따라서인공지능기술의지속적인확대는심층학습을실제응용분야나타산업에접목시키는것으로해석할수있다. R&D 단계에서볼때는응용 개발연구의영역이혼합되어있는양상이다. 3. 인공지능기술을주도하는주체는글로벌 IT기업이다. 이사실에대해서는큰이견이없을것이다. 인공지능을대표하는글로벌 IT기업은미국과중국이우세한상황이며, 기술력과생태계는미국이앞서고있으나중국이무섭게추격하고있는흐름이다. 글로벌 IT기업이인공지능을주도하고있는상황은기술발전의측면에서는이례적이다. 보통기초학문에서의새로운발견이응용학문으로이어지고, 이것이산업계에전파되는과정이일반적이다. 그러나인공지능은산업계에서주도하고있으며이것이역으로기초학문에영향을미치고있다. 이러한이유로이론적접근보다는실증적인접근이받아들여진다고볼수있다. 이론적으로탄탄한배경보다는실제문제해결의가능성에집중하고있는인공지능의활용은곧 SW의속성과도일맥상통한다. SW는승자독식의원리가적용되는 6

13 대표적인분야로, 인공지능역시아직승자는없는상황이나승자를차지하기위한경쟁이본격화되고있다. 그중심에는플랫폼이있다. 인공지능의플랫폼화전략에단연앞서있는기업은구글이다. 구글은심층학습공개SW, 클라우드서비스에서도후발주자였다. 심층학습에서는텐서플로우를공개하기이전카페 (Caffe) 나토치 (Torch) 와같은공개SW가이미선점을하고있었으며, 클라우드는아마존웹서비스가 (AWS) 가시장의대부분을차지하고있었다. 이상황에서구글은기계학습클라우드플랫폼 (Machine Learning Cloud Platform) 을서비스하여활로를모색했다. 구글의텐서플로우로작성된소스코드는구글의대규모클라우드에활용할수있으며, 최근에는데이터를기반으로최적의학습모델을제공하는 AutoML을출시했다. 비단기계학습자체뿐만아니라고성능 OpenAPI 4) 도지원하고있다. 이처럼인공지능을둘러싼글로벌 IT 기업의경쟁은곧플랫폼의전쟁으로확산되고있다. 5. 현재인공지능기술은약인공지능 (weak AI) 에머물고있다. 심층학습이눈부신성과를거두고있으나기술적인관점에서현재인공지능은약인공지능에머물러있다. 즉, 인간의특정한지능을모사하는것은잘하지만여러가지지능을단일시스템으로모사하지는못한다는것이다. 이를극복하기위한연구는현재진행중에있다. 많은연구자들이심층학습이그돌파구를열것이라고기대하고있으나, 전통적으로인간의지능의실체에대해연구해온뇌과학, 인지과학, 심리학등의분야에서는여전히범용인공지능의길은어렵다고추정한다. 감정 (emotion) 을예로들어보자. 현재심층학습에서는사람의표정으로감정을예측하는기술로소위감성지능을구현하기위해노력하고있다. 그러나심리학자, 뇌과학자의관점에서의감정은다르다. 사람은기뻐도무표정할때가있으며, 슬플때도리어웃는경우도있기때문이다. 이러한것이구현되려면감정에대해탄탄한이론적인연구가선행되지않고서는불가능하다는입장이다. 그럼에도불구하고세번째황금기를맞이한인공지능의관심은여전히현재진행형이다. 인공지능기술에서단연선두를달리고있는미국은차세대인공지능 AI Next Campaign을추진하며 20억달러를투자한다고밝혔다. 미국의뒤를바짝추격하고있는중국역시 2017년차세대인공지능발전계획을발표하며범용인공지능개발에대한적극적인의지를보이고있다. 현재심층학습을비롯한인공지능기술은약인공지능에머물고있으나이를극복하기위한차세대인공지능연구가추진되고있다고볼수있다. 4) 시각지능, 기계번역, 음성인식등 7

14 지금까지인공지능 R&D 와산업의특징으로다섯가지를논의했다. 이특징들 을바탕으로도출한시사점은다음 < 표 2> 와같다. < 표 2> 는다음절에서제시 할인공지능연구영역구분의근거자료로활용될것이다. 1. 인공지능기술의발전속도는매우빠르다. 인공지능자체의성능향상을위한인공지능기초연구 2. 인공지능기술이적용되는분야가빠른속도로확장되고있다. 인공지능을도구로활용하는응용 개발연구 3. 인공지능기술을주도하는주체는글로벌 IT기업이다. 인공지능을둘러싼글로벌 IT 기업의플랫폼경쟁 4. 현재인공지능기술은약인공지능 (weak AI) 에머물고있다. 범용인공지능등차세대인공지능의대두 (2) 인공지능연구영역의구분 인공지능기술은앞서소개했듯이범용목적기술에가까운도구적인속성으로인해명확한기준을근거로연구의영역을구분하기어렵다. 또한해외기관들이제시하는기준 [ 별첨참고 ] 들은기술과산업분류가혼재되어있는상태라일관성이없다. 이보고서에서는인공지능 R&D와산업의특징을바탕으로연구영역의구분을위한가설을세워볼것이다. 먼저인공지능연구영역은총네가지로그정의는다음 < 표 3> 과같다. 구분정의 인공지능기초연구인공지능응용연구인공지능개발연구차세대인공지능 - 인공지능성능자체를향상시키기위한연구 ( 향후 5 년 ) - 예시 : 메타학습, 설명가능한인공지능등 - 컴퓨터과학의인식및탐지분야연구 - 예시 : 컴퓨터비전, 자연어처리, 음성인식, 데이터마이닝등 - 인공지능응용연구가타산업에서활용되는연구 - 예시 : 의료이미지에서암진단, 금융이상거래예측등 - 사람수준의지능을구현하기위한인공지능연구 ( 향후 20 년 ) - 예시 : 범용인공지능, 인공생명등 8

15 < 표 3> 에서인공지능의연구단계를 R&D 단계를차용해서썼으나, R&D에서의미하는기초 응용 개발연구와는의미가일맥상통하지는않으므로해석의유의가필요하다. 또한네가지영역명확하게구분되는개념은아니며서로교집합이존재할수있다는사실역시감안해야한다. 그것이인공지능 R&D의특징이기때문이다. < 표 3> 의흐름은다음과같이해석할수있다. 먼저심층학습이본격적으로성과를보여주기시작한것은인공지능응용연구였다. 특히컴퓨터비전의분야에서인공신경망기술을지속적으로연구했던결과가심층학습의모태가된다. 심층학습의 4대석학 5) 인얀르쿤뉴욕대교수는필기숫자인식을위해합성곱신경망 (Convolutional Neural Network) 을제안했으며, 심층학습의창시자인제프리힌튼토론토대교수는비지도학습기반의심층신뢰신경망 (Deep Belief Network) 의개념을통해역시이미지인식의성능을획기적으로향상시켰다. 따라서인공지능응용연구가혁신을일으킨주체가됐다. 특히심층학습이이미지, 음성, 언어분야에서괄목할만한성능이증명되자산업계로의전파가활발히이루어졌다. 과거낮은인식률로인해산업에의적용이어려웠던분야가점차활력을찾기시작했다. 이는인공지능응용연구가개발연구의마중물역할을했다고볼수있다. 인공지능개발연구에서도각산업계에서적용한심층학습의성과가두드러지는반면, 심층학습의태생적인한계로인한어려움이발생했다. 바로서론에서소개한심층학습의한계다. 이를극복하기위한노력이바로인공지능기초연구라고볼수있다. 플랫폼은인공지능응용연구가개발연구로빠르게확산시키는윤활유역할을하며, 차세대인공지능은인공지능의개념이태동했을때부터이어온범용인공지능개발을목표로하는것이다. 특히차세대인공지능은심층학습의성과에힘입어심층학습기반의범용인공지능개발에집중하는경향이대두됐다. 이러한관점에서차세대인공지능연구는인공지능기초연구와도맞물려있다. 이흐름을도식화하면다음 [ 그림 1] 과같다. 심층학습은인공지능응용연구에서촉발되어인공지능개발연구에빠르게적용됐으며, 심층학습의한계를극복하기위한기초연구가이루어지고있다. 플랫폼은인공지능응용연구와개발연구의간극을이어준다. 5) 2015 년 Nature 지에게제된 Deep Learning 의저자얀르쿤 (Yann Lecun), 요슈아벤지오 (Yoshua Bengio), 제프리힌튼 (Geoffrey Hinton) 교수와스탠포드대학교수인앤드류응 (Andrew Ng) 9

16 < 표 3> 을도식화하면다음 [ 그림 2] 와같다. 10

17 [ 그림 2] 의해석은다음과같다. 먼저인공지능연구영역의도식화는가설단계임을고려해야한다. 먼저인공지능응용연구와개발연구는그경계가모호할수있으나, 인공지능개발연구가대부분인공지능응용연구결과를차용한다는가정으로구분지을수있다. 물론개발연구의결과가응용연구에직 간접적으로영향을미칠수도있다. 인공지능기초연구는인공지능응용연구의성과를향상시킬수있다는점에서서로교집합이존재한다. 또한반대로응용연구에서직면한난제를해결하기위해기초연구의주제를제시할수있다. 차세대인공지능은기초연구와응용연구모두와관련이있으나, 현시점에서도전적인과제를수행하기때문에상당부분독립된연구라고볼수있다. 플랫폼은인공지능응용연구와개발연구의유기적인전파를위한개념으로본다면보조적인기능을수행한다. [ 그림 2] 에서연구영역을원으로표현했는데, 원의크기는현재인공지능과관련된연구의비중을말한다. 이도식화는아직가설을세우는단계로원의크기는지속적인연구를통해조정될수있다. 특히어떠한인공지능연구가어느원에속하는지혹은교집합에포함될것인지를통해원의배치가변경되거나새로운영역 ( 원 ) 가추가될수있을것이다. 지금까지인공지능의 R&D와산업의특성을바탕으로인공지능연구영역의구분에대한가설을제시했다. 이것을고도화하기위해서는수많은인공지능관련연구들을대입하고개선해야하는것이숙제로남아있다. 비록가설로출발하지만제시한인공지능연구영역의구분이심층학습의여러방법론과산업에의적용까지모두아우를수있다는측면에서의미가있다고본다. 11

18 3. 인공지능최신연구현황 이제인공지능이어디까지왔을까? 의물음에답하기위한인공지능최신연구현황을분석해보겠다. 특히지난 2017년 10월 AlphaGo Zero 이후어떠한연구성과가있었는지를주로살펴보겠다. 다음 < 표 4> 는이보고서에서분석할인공지능연구결과를나타내며, 앞서제시한인공지능연구영역의구분을활용했다. 구분주제 1 메타학습 : 학습하는방법을학습하는심층학습기법 인공지능기초연구 2 신경망구조탐색 : 최적의인공신경망구조를도출하는방법 3 스파이킹신경망 : 뉴로모픽칩의학습방법 4 전이학습 : 학습된신경망을전이 (transfer) 하여활용하는방법 이보고서에서는 < 표 4> 와같이총 4개의주제에대해최신연구현황을분석해보겠다. 2장에서제안한연구영역을기준으로보면모두인공지능기초연구에속한다. 인공지능기초연구를중점적으로다루는이유는이분야가향후기반연구와활용연구에접목되어성능을향상시킬수있는기반이되기때문이다. 인공지능기반연구는적용분야에대한도메인지식이상당히필요하기때문에별도의보고서로분석해볼예정이다. 반면인공지능활용연구를다루지않는이유는먼저그범위가매우넓고, 활용연구분야의대부분은심층학습의인공지능이라기보다는빅데이터를분석하는데이터과학에가까운경향이있기때문에제외했다. 차세대인공지능의경우는범용인공지능을주제로발간된보고서 6) 에서심도있게다뤘다. 최신연구동향의분석범위는다음과같다. 먼저기술이등장하게된배경과 기존기술과의차별점, 성능과적용가능분야, 마지막으로향후전망을다룰것 이다. 6) 범용인공지능의개념과연구현황, 소프트웨어정책연구소 ( ) 12

19 (1) 메타학습 메타학습 (Meta learning) 은교육학에서나온메타인지 (Meta cognition) 의개념으로부터출발한다. 메타인지는 내가아는것과모르는것을즉각적으로인지하는것 을의미한다. 다시말하자면, 특정사람이특정행위를하는데있어이해하고있는부분과그렇지못한부분을얼마나인지 (cognition) 하고있는가를판단하는것이다. 따라서메타인지가높은집단은일반적인집단에비해동일한낯선환경에서새로운문제를더잘해결한다는실험적결과가존재한다. 메타학습은메타인지로부터파생된개념이다. 메타학습은기존에학습했던정보를바탕으로새로운문제를해결하는접근을통칭하는것으로볼수있다. 더범위를좁혀기계학습의범주에서메타학습을해석하자면, 이것은기존에학습한시스템으로새로운임무 (task) 를해결하기위한방법론을연구하는분야다. 여기서새로운임무의범주는아직기초적인수준에머물러있어, 이미지를인식하는시스템의경우새로운임무역시이미지인식을의미한다. 아직이미지인식시스템이음성인식까지하기란요원한일이다. 더구체적으로메타학습의배경을살펴보자. 메타학습은일반적으로학습하는방법을학습 (Learning to learn) 하는분야를포괄한다. 현재연구계에서는이미학습된시스템에어떻게새로운것을학습시킬수있는가를고민하고있다. 예를들면, 100가지객체를인식하기위한심층학습모델이개발되었다고가정했을때, 100가지객체이외의새로운객체를어떻게 효율적 으로학습시킬수있는지에대한것이다. 여기서효율적이라는점은데이터와학습시간의측면을의미한다. 따라서짧은학습시간에적은데이터를활용해효율적으로학습하는기법이메타학습분야에서현재진행중인연구과제다. 메타학습의측정방법 (Way, Shot) Ÿ 메타학습의성능을측정하는기준으로 Way 와 Shot 이라는단어를활용하는데, 개념적으로 Way 는분류 (Class) 의개수, Shot 은데이터의수로볼수있음 Ÿ 5 Way 1 Shot 의경우 5 개의분류와각분류에한개의데이터가있는것으로이데이터를성공적으로학습하느냐의여부로메타러닝의성능을측정 Ÿ Shot 은낮을수록 ( 데이터가적음 ), Way 는높을수록 ( 분류가많음 ) 문제가어려워짐 13

20 메타학습중가장대중적으로알려진원샷학습 (One-shot Learning) 은앞서 Shot 의개념을살펴봤다시피한개의데이터로학습하는방법이다. 다음 [ 그림 3] 은원샷학습의대략적인구조를표현한다. 자료 : Oriol Vinyals, Charles Blundell, Timothy Lillicrap, Koray Kavukcuoglu, and Daan Wierstra, Matching Networks for One Shot Learning, [ 그림 3] 을토대로원샷학습을살펴보자. [ 그림 3] 에서원샷학습의목표는네장의서로다른강아지이미지를분류하는것이다. 그림상으로는 4 Way 1 Shot의문제다. 이목표를달성하기위해원샷러닝은두가지함수를활용한다. 먼저 는이미지에서특성 (feature) 을추출하는역할을수행하며, 는추론 (inference) 하는데활용된다. 일반적으로 는이미지분류의기능을수행하기위해이미학습된인공신경망 (pre-trained network) 을활용하여특성 7) 을추출한다. 이특성을재분류하는것이 의역할이다. 바로이미학습된신경망이 Way( 분류 ) 별로주어진 Shot( 이미지 ) 이서로구분될수있는특성을추출하고, 이것을군집 (clustering) 하는것이 라는것이다. 원샷학습의성능은제한적이지만이미지인식분야에서는좋은결과를나타내고있다. 그러나한계점역시분명하다. 앞서소개한 는이미학습된신경망이라는점이다. 또한 의학습 (training) 에활용된데이터와 shot은어느정도유사성이보장되어야한다는것역시또하나의단점이라고볼수있다. 7) 여기서특징은일반적으로분류층 (classifier) 이전에있는 full-connected 층의값을활용함 14

21 또다른메타학습으로는메타최적화학습 (Meta optimizer learning) 이있다. 기본적으로인공신경망을학습한다는개념은오차를역전파 (error back-propagation) 하여인공신경망을구성하는가중치를최적화하는것이다. 여기서오차는보통손실함수 (Loss function) 으로정의한다. 손실함수의가장큰예는특정학습단계에있는인공신경망의출력값과실제값 (label) 의차이의합으로본다. 메타최적화학습은이손실함수를인공신경망으로구현하는접근이다. 이것은메타손실 (meta-loss) 라고정의되며, 이메타손실자체가낮아지는방향으로학습한다면적은데이터로도의미있는학습을할수있다는개념이다. 메타학습은학습하는방법을학습하는방법론으로부상하고있으나, 현재진행되고있는연구성과로봤을때는여전히가야할길이멀다. 현재메타학습의주요과제는학습의 효율화 다. 심층학습기술은그성능이매우뛰어나지만그성능을달성하기위해수많은데이터가사용됐다는것은누구나인지하고있는사실이다. 이에반해사람은적은양의데이터로도일반화시키는능력이매우뛰어나기때문에, 메타학습은이러한사람의학습방법을모방하는부분에초점을두고있는것이다. 사실적은데이터로학습할수있는기술이개발된다면, 심층학습은새로운국면으로진입할것이다. 그만큼데이터의수급이원활하지않은분야가많으며, 기술자체에대한수요가높다는것을반증한다. (2) 신경망구조탐색 신경망구조탐색 (Neural Architecture Search, NAS) 은기본적으로메타학습의개념과비슷하다. 바로학습하는방법을학습하는것인데, 신경망구조탐색이다른점은인공신경망의구조에중점을둔다는것이다. 최적의인공신경망구조는경험적인결과를바탕으로한다. 구글 AlphaGo의정책망은 13층의합성곱신경망을, 페이스북의딥페이스는 9층의합성곱신경망을활용했다. 이처럼은닉층의개수와성능의상관관계가불분명한이유로, 많은연구자들은경험적으로많이학습해보고최적의결과를도출하는접근이일반적이다. 신경망구조탐색은은닉층의수, 합성곱의크기와모수등연구자가변경해가며학습해보는방법을자동화하는것에중점을둔다. 물론신경망구조탐색도완벽하게모든경우의수를학습하는접근은아니기때문에, 여전히귀납적인접근방법이긴하나용이하게활용할수있다는부분이장점이다. 15

22 신경망구조탐색은 [ 그림 4] 와같이순환신경망 (Recurrent Neural Network) 을통해파생되는신경망을학습하여최적의인공신경망구조를탐색하는기술이다. 신경망구조탐색에서는인공신경망을일종의다변문자열 (variable-length string) 로구체화한다. 문자열로표현된인공신경망 (child network) A는순환신경망의구조를갖는 Controller로부터 p의확률로생성된다. 인공신경망 A가학습되고난뒤검증데이터로정확도 R을산출하고, R을바탕으로확률 p를갱신한다. R이높을수록최적의신경망구조를찾아간다는개념이신경망구조탐색의원리다. 자료 : Neural architecture search with reinforcement learning 에서재구성 신경망구조탐색은구글이먼저제안한방법론으로 2016년에처음소개될당시수백장의고성능 GPU를활용한결과였다. 말그대로귀납적인방법을풍부한계산자원으로구현한것으로볼수있다. 그결과모델링을근거로한방법론에버금가는성능을달성했다. 구글은 2018년효율적인신경망구조탐색 (Efficient NAS) 기술을소개하여고성능 GPU 한장만으로도좋은성능을달성함을 < 표 5> 와같이증명했다. 방법론 경험적인방법 (DenseNet) CIFAR-10 파라메터수 ( 백만 ) 오차율 (%) 방법론 경험적인방법 (LSTM) Penn Treebank 파라메터수 ( 백만 ) 혼잡도 NAS NAS ENAS ENAS 자료 : Pham, Hieu, et al. "Efficient Neural Architecture Search via Parameter Sharing." arxiv preprint arxiv: (2018). 16

23 < 표 5> 에서시험한데이터셋인 CIFAR(Canadian Institute For Advanced Research)-10은 6만장의사진을 10개의종류로구분한이미지데이터로, 이미지분류의성능을측정하는기준데이터로활용된다. 파라메터수는인공신경망의가중치개수를의미하며파라메터수가작을수록더간소한인공신경망을의미한다. 신경망구조탐색은이미지분류문제에서기존의경험적인방법보다더적은수의파라메터로도높은성능을달성했음을확인할수있다. 반면 Penn Treebank 데이터셋은언어모델의성능을측정하는데활용된다. 언어모델은주어진문장의다음에올단어를예측하는것으로, 측정기준은적절함을판단하는혼잡도 (Perplexity) 를활용하며낮을수록성능이좋다. 마찬가지로신경망구조탐색이기존의경험적인방법에버금갈정도임을증명했다. 구글이신경망구조탐색을개발한이유는최근출시한서비스인 AutoML에서찾을수있다. 바로기업이심층학습을적용하기위한장벽을현저히낮추는서비스인것이다. 과거수백장의 GPU가필요했던신경망구조탐색을한장의 GPU만으로도성공적인학습이가능했다는점역시구글의인프라운영에도효율을높였다. 신경망구조탐색은개인이나기업이심층학습을적용하기위한간극을낮췄다는점에서충분히의미가있다. 또한구글이신경망구조탐색을비롯한인공지능기초연구에몰두하고있는이유도이러한서비스의성능을향상시킬수있다고도해석할수있다. (3) 스파이킹신경망 스파이킹신경망 (Spiking Neural Network) 은인공신경망과마찬가지로신경계의생물학적동작방식을모사한방법이다. 그러나심층학습의기반이되는인공신경망과스파이킹신경망은상당부분차이가있다. 첫번째차이는학습하는방법이다. 인공신경망은오차역전파법 (error back-propagation) 을활용해신경망전체의가중치를변경하여학습한다. 반면스파이킹신경망은세포수준의지역적인학습을수행한다. 두번째차이는앞서심층학습의한계로언급했던지속적인학습에관한것이다. 스파이킹신경망은구조적으로인공신경망보다우리의신경계와가깝기때문에연속적인학습이가능하다. 세번째차이는학습시전력의소비다. 스파이킹신경망은뇌구조를모사한뉴로모픽칩을학습시키는데활용되는기술이다. 인공신경망은수백수천와트를사용하는 GPU로학습하는반면스파이킹신경망은밀리와트로도학습이가능하다. 8) 17

24 스파이킹신경망에서스파이크 (Spike) 의의미는새물학적인뉴런이정보를교환할때발생하는전기적파동을말한다. 스파이킹신경망은세가지생물학적가정을토대로제안된방법니다. 먼저스파이킹신경망을구성하는뉴런은많은입력을받고하나의스파이크신호를출력한다. 두번째가정으로스파이크가생성될확률은입력이클수록증가하고약할수록감소한다. 마지막으로오직하나의기준점으로스파이크생성여부를결정한다. 스파이크를표현하는수학적모델은디랙-델타합수이다. 시간에따라발생하는간헐적인스파이크는각스파이크에해당하는디랙-델타함수의합으로표현되고, 이합을스파이크트레인 (Spike train) 이라고표현한다. 이스파이크트레인이뉴런의입력과출력이된다. 스파이킹신경망의학습과정은특정두인공신경세포를연결하는가중치를조정하는것이다. 이것은생리학적학습의규칙에따라시냅스의연결강도의변화를기술한 Hebb의이론에기반한다. 쉽게표현하자면두개의신경세포가서로반복적이고지속적으로점화 (firing) 한다면상호간의가중치가강화된다는것을의미한다. 가중치의변화량은두인공신경세포의스파이크트레인과스파이크트레인의저역통과필터 (Low-pass filter) 로구성된다. 이관계식을통해가중치가변화하고신경망이학습된다. 스파이킹신경망의구조는다음 [ 그림 5] 와같다. 자료 : Kulkarni, Santosh, Sishaj P. Simon, and Kinattingal Sundareswaran. "A spiking neural network (SNN) forecast engine for short-term electrical load forecasting." Applied Soft Computing 13.8 (2013): ) ESSER, S. K., et al. Convolutional networks for fast, energy-efficient neuromorphic computing Preprint on ArXiv. 18

25 이제스파이킹신경망의성능에대해살펴보자. 일반적으로어떠한시스템을학습함에있어모델미지수만큼학습데이터의수가보장되어야한다. 쉽게말하자면연립방정식에서미지수와방정식의관계라고볼수있다. 그러나그모델이인공신경망의영역에들어서면관점이달라진다. 사람의뇌는 개만큼의시냅스 ( 미지수 ) 가존재하나, 실제로사용하는양은 10 9 개정도이다. 즉, 모든뉴런이하나의정보처리를위해사용되는형태가아닌것이다. 이러한관점에서스파이킹신경망은스파이크트레인형태로정보를변형하여학습하기때문에연산의효율측면에서강점이있다. 이것은저전력의특성과도이어지는부분이다. 아래 [ 그림 6] MNIST 9) 데이터셋에대해일반적인인공신경망과스파이킹신경망의성능을비교한그래프다. 자료 : Tavanaei, Amirhossein, et al. "Deep Learning in Spiking Neural Networks." arxiv preprint arxiv: (2018). [ 그림 6] 의 x축은연산의수, y축은예측의정확도를나타낸다. 검은색세로점선은인공신경망을활용해 98% 의정확도를달성하기위한연산수이며, 다양한색의그래프로나타낸것은스파이킹신경망을활용했을때연산수에따른성능향상을나타낸것이다. 분홍색그래프는 98% 정확도를달성하지못한경우를의미하며, 나머지녹색, 노란색, 파란색은 98% 를달성한스파이킹신경망을의미한다. 종합적으로볼때인공신경망의연산수대비해스파이킹신경망은최대 1/4 수준의연산수만으로도 98% 의정확도를달성했다는측면에서연산의효율이높다. 9) Modified National Institute of Standards and Technology database 로손글씨숫자 10 개 (0~9) 에대한 6 만장의학습이미지와 1 만장의시험이미지로구성되어, 숫자인식의성능측정을하는데기준점이되는데이터로활용됨 19

26 스파이킹신경망의향후전망은크게두가지로볼수있다. 먼저성능측면에서는숙제가많다. 현재동일한임무에대해서는인공신경망의성능이더좋다. 스파이킹신경망은기존의인공신경망에버금가는성능은어느정도증명했으나, 인공신경망의성능을초월하지는못한다. 따라서스파이킹신경망의특성을살린응용분야를모색하고성공사례를만들어야할것이다. 두번째전망으로저전력의특성을살리는접근이부각될것이다. 현재인공신경망을학습하고추론하기위해서는고성능계산자원이필요하다. 스파이킹신경망은저전력으로구현할수있다는특성으로학습에필요한자원을획기적으로낮출수있다. 최근회자되고있는엣지 (Edge) 컴퓨팅에서그영향력을발휘할수있을것이라전망된다. (4) 전이학습 전이학습 (Transfer Learning) 은이미학습된시스템의지식을전이 (transfer) 시켜새로운임무를해결하기위한학습방법을의미한다. 이것은도메인적응 (domain adaptation), 일반적인게임플레이 (general game playing), 다중임무학습 (multi-task learning) 등조금범용적인인공지능을연구하는기계학습방법론이다. 그러나 2016년부터심층학습에서전이학습이라는단어를차용했었는데, 여기서다루고자하는전이학습과는다른것을먼저밝힌다. 심층학습의전이학습은이미학습된인공신경망 (pre-trained network) 을재사용하는접근이다. 2017년을끝으로막을내린이미지인식경진대회 ILSVRC (ImageNet Large Scale Visual Recognition Challenge) 에서는이미지분류를성공적으로수행한인공신경망구조가공개됐다. 2012년에우승한 AlexNet, 2015년에우승한 ResNet이대표적인예다. 만약한개발자가새로운이미지를분류하는것을심층학습으로구현하고자한다면, 이미학습된 AlexNet을활용하는것이심층학습에서의전이학습이다. 혹은이미학습된신경망을조금변형한다는측면에서미세조정 (fine-tuning) 이라고도불린다. 이러한접근법은많은분야에서실험적인성과를거뒀다. AlexNet을처음부터학습하려면길게는일주일이상의시간이소요되는반면, 전이학습을활용할경우몇시간안에학습이끝나기때문이다. 20

27 심층학습에서의전이학습과미세조정 Ÿ 심층학습에서의전이학습 (transfer learning) 과미세조정 (fine-tuning) 은모두이미학습된인공신경망을활용하는점에서공통점이있음 Ÿ 이둘의차이점은 ImageNet 의 AlexNet 이나 ResNet 을활용하는경우다음과같이구별될수있음 Ÿ 전이학습의경우이미학습된신경망의가중치전체를재학습시키는접근으로새로운데이터가이미지분류의임무이나 ImageNet 데이터와의성격이상이할경우활용됨 Ÿ 미세조정은 ImageNet 과유사한데이터를재학습하는경우에주로활용되며, 구조적으로마지막 fully-connected 층과 classfier 층을연결하는가중치만재학습하는방법으로비용이저렴함 심층학습에서의전이학습은큰의미에서본질적인전이학습과일맥상통하는부분이있으나매우제한적인접근이다. 심층학습의전이학습은이미학습한인공신경망을바탕으로새로운데이터의학습을통해새로운임무를해결한다는측면에서일부공통점이있다고본다. 그러나본질적인전이학습에서는이미지를분류하는인공신경망의지식이전이되어음성인식에적용된다는것을의미한다. 현재전이학습이라는용어가인공지능연구계에서혼재되어사용되는측면이있기때문에, 용어를활용하는데있어주의가필요하다. 전이학습은개념자체가범용인공지능에맞물려있기때문에현시점에서는매우도전적인과제다. 전이학습과관련된대표적인연구는구글딥마인드의 PathNet이있다. PathNet은인공신경망이학습을진행하면서신경망의어떤부분이새로운임무 (task) 에도재사용될수있을지를탐색하는기법이다. 신경망의재사용 (path로표현 ) 가능성을측정하기위해유전알고리즘 (genetic algorithm) 을활용했으며, 이것의적합도를판단하기위한비용함수를제안했다. 특히실험적인결과를통해신경망의재사용가능성이높은인공신경망으로새임무를학습한효율이미세조정 (fine-tuning) 방법보다우월함을증명했다. [ 그림 7] 은 PathNet의구조를나타낸다. 이그림에서는먼저 A라는게임을학습하기위해 4개의은닉층과각층당 10개의노드를활용했다. 여기서재사용가능성이높은노드가붉은색으로표현되며, 이것을활용해 B라는게임을학습한다면효율이올라간다는의미다. 21

28 자료 : Fernando, Chrisantha, et al. "Pathnet: Evolution channels gradient descent in super neural networks." arxiv preprint arxiv: (2017). 전이학습은앞서소개한스파이킹신경망과도관련이있다. 스파이킹신경망이인공신경망의전체를활용한다기보다일부를활용한다는접근은 PathNet의방법과유사하다. 스파이킹신경망이전통적인인공신경망기법보다뇌에더가까운구조를모사한다고본다면, PathNet 역시틀은인공신경망이나재사용의관점에서뇌의구조적인기능을모사했다고볼수있다. 또한 PathNet은가장먼저소개한메타학습과도맞물려있다. 그성능역시마찬가지다. 이두가지연구의궁극적인목표는범용인공지능에있기때문이다. 현재전이학습의연구는여전히같은도메인안에서의전이 (transfer) 에국한돼있다. 심지어는데이터의속성이비슷해야성공적인전이가이루어진다는측면도존재한다. 이러한이유로진정한의미에서도메인간의전이 (transfer) 가이루어지기는아직요원한일이라고판단된다. 22

29 (5) 소결지금까지네가지인공지능기초연구의사례를살펴봤다. 먼저기초연구의공통점은두가지특징으로요약할수있다. 첫번째는모두인공신경망기반의접근방법이다. 인공신경망은동물의뇌신경계를모사한접근으로, 1980년대주류를이끌었던방법론이었으나데이터와계산자원의한계로인해정체기에진입했었다. 그러나빅데이터의출현과저렴한고성능 HW의보급으로인공신경망을필두로한심층학습이재조명됐다. 심층학습의눈부신성공으로인해현재인공지능기초연구역시심층학습의성능을향상시키는데초점이맞춰져있다고볼수있다. 이성능을향상시키는방점은앞서소개한심층학습의한계를극복하기위한것이다. 두번째특징은인공지능기초연구가아직초기단계에머물러있다는점이다. 분석한인공지능기초연구는궁극적으로심층학습의효율성과범용성을높이는데중점을두고있다. 그러나효율성과범용성어느측면에서도아직실험적인단계이며, 많은가정을두고도출한결과다. 물론심층학습자체가가지고있는기술적한계를고려하면이러한시도가활발히이루어진다는면은긍정적이라볼수있다. 보통 R&D 단계에서기초연구는 5년이상의장기과제가대부분이다. 하지만현재심층학습이라는키워드에집중되고있는트렌드를볼때 2~3년이내에는기초연구에서괄목할만한성과가있을것이라기대된다. 인공지능기초연구는향후인공지능의방향을좌우할수있는잠재력이높다고판단된다. 그만큼달성하고자하는목표역시어렵다. 이보고서에서인공지능기초연구를중점적으로다룬것역시이러한이유에서다. 현재인공지능연구의영역에서기초연구가차지하는비중은그렇게크지않으나, 인공지능의근원적인성능을높일수있다는점에서큰의미가있을것이다. 23

30 4. 결론 인공지능이세번째황금기를맞이하며성공가도를달리고있다. 많은연구자들이이번황금기만큼은지속될것이라고희망찬예측을하고있다. 현대인공지능은과거두번의황금기와는배경이다르다. 빅데이터의출현과값싼계산자원의보급으로인공지능자체가발전하기위한기반이다져졌기때문이다. 그렇다면인공지능의세번째황금기가어떤식으로지속되고있는지에대한이해가중요하다. 인공지능기술의체계적인이해를돕기위해이보고서에서는가설단계이지만인공지능연구영역의가설을제안했다. 그근거는현재인공지능과관련된 R&D와산업의특성에서도출했다. 심층학습의근원지인인공지능기반연구, 심층학습을활용해각산업계에서적용하는인공지능활용연구, 심층학습의한계를극복하기위한인공지능기초연구가그주요골자다. 특히이보고서에서는파급력이높은인공지능기초연구에중점을두고연구네가지사례를분석했다. 물론이것은빙산의일각에불과하겠지만인공지능기초연구의방향은이해할수있을것이다. 현재인공지능기초연구는좁은인공지능에머물러있는심층학습의범용성을높이는방향으로진행되고있다. 이것은곧차세대인공지능연구의초석이자응용 개발연구에의접목되어성능을향상시키는데기여할것이다. 인공지능기초연구는상당부분범용인공지능과가까운부분이있으나, 인공신경망기술에중점을두고있다는점에서구별된다. 따라서인공지능기초연구가어떠한식으로발전할지그귀추가주목된다. 향후연구로는제안한인공지능연구영역의구분을고도화하기위한작업이진행될것이다. 또한심층학습을촉발시킨인공지능응용분야에대해서주제별로기술의진척상황을분석해볼것이다. 인공지능은지금도끊임없이발전하고있다. 인공지능이라는거대한조류속에우리가가장먼저할수있는일은기술의발전상을이해하는것이라고생각한다. 24

31 [ 별첨 ] 인공지능기술분류 1. IDC 대분류 Hardware 세부분야 Server, Storage Software Cognitive Application, Cognitive Platform Service IT Service, Business Service 자료 : Worldwide Semiannual Cognitive/Artificial Intelligence Systems Spending Guide, IDC(2017) 2. GVR (Grand View Research) 대분류 Hardware 세부분야 The hardware segment includes chipsets such as the Central Processing Unit (CPU), Graphics Processing Unit (GPU), Application-Specific Integrated Circuits (ASIC), Field-Programmable Gate Array (FPGA) Software AI-based software solutions include libraries for designing and deploying artificial intelligence applications including those for, inference, primitives, video analytics, sparse matrices, linear algebra, and multi-hardware communication capabilities. Service The service segment includes installation, integration, and maintenance & support undertakings 자료 : Artificial Intelligence Market Analysis(By Solution By Technology By End-use, By Region, and Segment Forecasts , AI Market, GVR(2017) 25

32 3. Gartner 대분류 Core AI Technology Leading AI Application Areas AI in the Enterprise AI in Vertical Industries 세부분야 Machine Learning, Deep Learning and Neural Networks Natural-Language Processing, Speech Recognition and Text to Speech, Computer Vision, Machine Reasoning, Decision Making and Algorithms, Business Analytics and Data Science, Robots and Sensors Bots, Chatbots and Virtual Assistants, Conversational AI Platforms, Analytics and Predictive Analytics Models, Smart Objects, Sensors and Environments General Enterprise AI Strategies, Customer Service and Support, Digital Business Initiatives, Digital Commerce and Digital Commerce Personalization, Governance and Information Management for AI, Human Capital Management/Recruiting, Internet of Things, IT Service Monitoring/Help Desk, Legal, Ethical and Social Issues, Sales, Security and Fraud, Workplace and Digital Workplace Automotive, Banking, Asset and Wealth Management, Capital Markets, Business Process Outsourcing, Customer Management, Finance and Accounting Procurement, and HR, Consumer Products With AI, Government, Healthcare, Life Science and Pharma Education (K-12 and Higher Education), Insurance Services Property, Casualty and Life, Invest/Venture Capital and AI, Manufacturing Operations, Retail, Supply Chain, Telecom, Topics Specific to Regional AI Usage 자료 : A Framework for Applying AI in the Enterprise, Gartner(2017) 26

33 [ 참고문헌 ] 1. 국외문헌 Esser, S. K., et al. "Convolutional networks for fast, energy-efficient neuromorphic computing " Preprint on ArXiv. org/abs/ Accessed 27 (2016). Fernando, Chrisantha, et al. "Pathnet: Evolution channels gradient descent in super neural networks." arxiv preprint arxiv: (2017). Kulkarni, Santosh, Sishaj P. Simon, and Kinattingal Sundareswaran. "A spiking neural network (SNN) forecast engine for short-term electrical load forecasting." Applied Soft Computing 13.8 (2013): Pham, Hieu, et al. "Efficient Neural Architecture Search via Parameter Sharing." arxiv preprint arxiv: (2018). Tavanaei, Amirhossein, et al. "Deep Learning in Spiking Neural Networks." arxiv preprint arxiv: (2018). Vinyals, Oriol, et al. "Matching networks for one shot learning." Advances in Neural Information Processing Systems Zoph, Barret, and Quoc V. Le. "Neural architecture search with reinforcement learning." arxiv preprint arxiv: (2016). 2. 국내문헌 범용인공지능의개념과연구현황, 이슈리포트 , 소프트웨어정책연구소 (2018) 3. 기타 Dartmouth workshop, Google Cloud AutoML, Hebbian theory, 27

34 주의 1. 이보고서는소프트웨어정책연구소에서수행한연구보고서입니다. 2. 이보고서의내용을발표할때에는반드시소프트웨어정책연구소에서수행한 연구결과임을밝혀야합니다. [ 소프트웨어정책연구소 ] 에의해작성된 [SPRI 보고서 ] 는공공저작물자유이용허락표시기준제 4 유형 ( 출처표시 - 상업적이용금지 - 변경금지 ) 에따라이용할수있습니다. ( 출처를밝히면자유로운이용이가능하지만, 영리목적으로이용할수없고, 변경없이그대로이용해야합니다.)