보안연구부 -2016-043 인공지능 (AI) 개요및기술동향 - 딥러닝 (Deep Learning) 기술의발달을중심으로 - ( 보안연구부보안기술연구팀 / 2016.8.26.) 개요 기술연구및투자의장기간침체가있었던인공지능 (AI) 은최근딥러닝기반기술의발달및기존기술과의결합등을통해산업전반에적용가능한수준으로발전하고있음 이에현재활용되고있는인공지능기술중딥러닝에대한개념및기술동향을중심으로소개하고자함 인공지능 (Artificial Intelligence, AI) ( 개념 ) 인간의지능 ( 인지, 추론, 학습등 ) 을컴퓨터나시스템등으로만든것또는만들수있는방법론이나실현가능성등을연구하는기술또는과학 초기인공지능의개념은미국다트머스 (Dartmouth) 학술회의에서존매카시 (John McCarthy) 가 기계를인간행동의지식에서와같이행동하게만드는것 이라고제안 (1956 년 ) ( 구분 ) 인공지능의목표에따라 4가지, 실제사고해결유무에따라 2가지로구분 - ( 인공지능의목표에따른구분 ) 인공지능의목표에따라아래그림과같이분류 인간의사고작용 (thinking) 행동 (behavior) < 인공지능의목표에따른분류 > 인간과같은사고시스템 (1985 년 Haugeland 와 1978년 Bellman 의정의 ) 인간과같은행동시스템 (1990 년 Kurzweil 과 1991 년 Rich 와 Knight 의정의 ) 이론적 (ideal) 합리적사고시스템 (1985 년 Charniak 과 McDermott, 1992 년 Winston 의정의 ) 합리적행동시스템 (1990 년 Schalkoff 와 1993 년 Lugar 와 Stubblefield 의정의 ) 합리적 (rational) 자료 : 조영임, 인공지능기술동향및발전방향, 정보통신기술진흥센터 (2016.2.17) 자료재구성 - ( 인공지능의사고해결유무에따른구분 ) 최근인공지능의사고해결유무에 따라약한인공지능 (Weak AI) 과강한인공지능 (Strong AI) 2 가지로구분 < 인공지능의사고해결유무에따른구분 > 약한인공지능 강한인공지능 어떤문제를실제로사고하거나해결할수없는컴퓨터기반의인공적인지능을만들어내는것에대한연구이며, 학습을통해특정한문제를해결 실제로사고하거나해결할수있다는점에서약한인공지능과차이가있으며, 1 인간의사고와같이컴퓨터프로그램이행동및사고하는인간형인공지능과 2 인간과다른형태의사고능력을발전시키는컴퓨터프로그램인비인간형인공지능으로구분 - 1 -
인공지능기술 ( 재부상배경 ) 최근 1빅데이터발달, 2정보처리 ( 연산, 저장 ) 능력의향상, 3딥러닝알고리즘의향상, 4클라우드기반환경등의영향으로인공지능의학습, 추론, 인지기술을발달시킬수있는환경이조성됨에따라재조명되기시작함 ( 주요기술 ) 전산신경과학 (Computational Neuroscience), 로봇틱스인지로봇공학 (Robotics) 등다양한학문영역에걸쳐있고정형화된기술분류체계는아직미흡하지만, 최근 패턴인식, 머신러닝, 딥러닝 등이인공지능관련기술중주요기술분야 1) 로언급됨 ( 기술의특성 ) 인공지능은일반성, 방대성등지식의특성뿐만아니라일반소프트웨어시스템과달리추론기능등의특성을가짐 < 인공지능기술의특성 > 특성일반성방대성부정확성지식이용추론기능휴리스틱탐색출력효율성제고 내용 중요성질을공통적으로가지고있는상황을그룹화함 중요성질이공통적으로형성되기이전의기초자료는매우방대함 현실문제에서주어지는정보가부정확하며, 그로인해표현역시불명확함 소프트웨어는자료나정보를사용하는반면인공지능은인간과같은지식을이용 적은자료로해 ( 解 ) 를찾거나많은자료에서공통점을찾아내는것등은인간의사고과정에서발생하는추론기능과같음 경험적인방법의원리를이용하여, 방대한양의탐색영역에서최적의해를구하고자일정한규칙에근거하여해를찾는방법인휴리스틱탐색 (heuristic search) 기능제공 입력정보가비교적완전혹은완벽하지않더라도결과물을생성하는기능 자료 : 석왕헌, 이광희, ETRI, 인공지능기술과산업의가능성, 2015.10.30. 딥러닝 (Deep Learning) 기반인공지능기술 ( 딥러닝 2) 의혁신성 ) 인공지능기술발달의핵심은학습, 추론등을수행하는인간뇌의특성을컴퓨팅모델화하는것이며, 인간의신경망구조를모방한딥러닝은초고용량학습알고리즘의특징을통해기존알고리즘과달리고성능을발휘 1) 패턴인식, 머신러닝, 딥러닝 에대한개념은 전자금융과금융보안 창간호 (2015.7) 의 머신러닝을활용한스마트서비스와금융 참조 2) 상세한 딥러닝의개념및특징 은금융보안원, 머신러닝개요및활용동향 (2016.3.24.) 보고서에서참조 - 2 -
- ( 딥러닝의특징 ) 1특징추출 (Feature Extraction) 을위한전처리과정 (pre-processing) 을전체학습프로세스에포함 *, 2영상데이터와같이차원수가크고복잡한데이터의경우전처리과정에서손실될수도있는정보를자동추출, 3높은수준의추상화작업 (Abstraction) ** 에효율적이며시뮬레이션크기를늘릴수록대량의데이터를흡수하는능력이좋아지는특징 * 기존의전처리과정 ( 주어진데이터를다루기쉬운형태로변환하는과정 ) 과특징추출 ( 데이터에서가장핵심적인정보를특징으로찾는과정 ) 의두단계를분리하여문제를해결하던방식을하나의프로세스로통합 ** 다량의데이터나복잡한자료들속에서핵심적인내용또는기능을요약하는작업 ( 딥러닝에서오버피팅 (overfitting) * 의최소화 ) 인공지능등학습에있어서나타나는주요문제점중하나인오버피팅은딥러닝기술에서강력한형태로방지하고인공지능의연구개발을가속화하는중요한계기를마련 * 과 ( 다 ) 적합이라고도하며, 만들어진모델의성능이학습데이터 (training set) 에서는좋지만, 새로운데이터 (test data) 에서는좋지않은 ( 혹은일반화되지않은 ) 경우를의미함 < 오버피팅의예 > => 학습을통해얻어진고차다항식함수 ( 결정경계분류기 ) 에따라 2가지형태 ( 붉은색원형태 (O) 와파란색다이아몬드형태 ( )) 의데이터분류시, 1 학습데이터집합에서는결정경계분류기를기준으로잘못분류된영역이없으나 2 데스트데이터집합에서는하늘색으로표시된영역 ( 결정경계분류기위영역과점선으로표시한함수의아래영역 ) 에서 O형태의데이터가 1의해당영역과달리오분류발생자료 : 박해영, 이관용, 패턴인식과기계학습재구성 - ( 오버피팅의발생원인 ) 일반성및유연성등수많은상황을동시에처리하는인간의뇌 ( 지능 ) 를기존의컴퓨터구조로구현하는것은매우어려운문제이며, 인공지능에서 학습 을효율적으로수행하기위한기술 ( 알고리즘등 ) 들이복잡도 (complexity) 가너무높은 ( 혹은낮은 ) 모델의학습, 학습데이터와현실세계의데이터와의차이등으로인해오버피팅의문제가발생 - 3 -
- ( 오버피팅해결을위한딥러닝알고리즘 ) 딥러닝은 1제한된볼츠만머신 (Restricted Boltzman Machine, RBM), 2Dropout 형태등의효율적학습형태의알고리즘을통해신경망의일반화능력최대화등으로오버피팅을최소화 1 제한된볼츠만머신은기존볼츠만머신에서볼수있는유닛 (visible unit) 과은닉유닛 (hidden unit) 간연결망의효율성을고려하여제한을둔모델로써두개의층을구성하여신경망학습의효율성을높임 < 볼츠만머신구조의예 > < 제한된볼츠만머신구조의예 > 2 Drop-Out 은학습단계에서심층신경망 (Deep Neural Network) 의모든뉴런을사용하지않고랜덤하게보통 50% 정도만사용하며여러개신경망의앙상블효과 * 를통해오버피팅을줄일수있는방법임 * 학습알고리즘들을따로사용하지않고다수의학습알고리즘을유연한구조로만들어더좋은성능을얻는효과 < 일반적인심층신경망의구조 > < Dropout 이적용된심층신경망의구조 > 자료 : Nitish Srivastava, Georey Hinton et al., Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Journal of Machine Learning Research 15(2014), p.1930, 2014.6.14. - 4 -
인공지능기술의동향및전망 글로벌 IT 기업들은인공지능기술및플랫폼기술을육성하고시장영향력을 보다확대하기위해주로딥러닝기술위주의인공지능기술을오픈소스로 공개하는추세 기업 ( 단체 ) 명인공지능기술 구글 (Google) 페이스북 (Facebook) 마이크로소프트 (Microsoft) IBM 야후 (Yahoo) 바이두 (Bidu) < 글로벌 IT 기업의인공지능기술오픈소스공개사례 > 텐서플로우 (TensorFlow) 토치 (Torch) 빅서 (Big Sur) CNTK DMTK 프로젝트 AIX 시스템 ML (System ML) 카페온스파크 (CaffeOnSpark) Warp-CTC 패들패들 (PArallel Distibuted Deep LEarning) 내용 구글제품에이용되고데이터플로우그래픽방식 (Data Flow Graph) * 을사용하는머신러닝 ( 딥러닝 ) 오픈소스라이브러리일부를공개 ( 15.11.9) * 수학계산과데이터흐름의노드 (Node) 와엣지 (Edge) 를사용한방향그래프로표현 오픈소스기반딥러닝 SW 프로젝트로일부딥러닝모듈을공개 ( 15.1.16) 데이터를학습시사용되는인공지능서버이며오픈소스로공개 ( 15.12.10.) 엔비디아 (NVIDIA) GPU가 8개가장착되어데이터처리속도가뛰어남 코타나 (Cortana, 인공지능도우미 ) 나 Skype 번역어플리케이션에사용하는딥러닝프레임워크인 Computation Network Toolkit 를오픈소스로공개 ( 15.4) 분산머신러닝툴킷인 Distributed Machine Learning Toolkit 을오픈소스로 Github 에공개 ( 15.11.12.) MS의인기게임인 마인크래프트 (Minecraft) 를활용하여인공지능알고리즘을테스트 * 하는소프트웨어를 GitHub 에오픈소스로공개 ( 16.7.8.) * 실제기계장치를만들지않고도물리적인대상을다룰수있도록개발자들이로봇에내리는명령과수행결과를테스트할수있도록돕는 AI 플랫폼 IBM 머신러닝기술인 시스템 ML 을 아파치스파크 (Apache Spark) * 오픈소스생태계에공개계획을밝힘 ( 15.7.6.) * IBM의향후 10년간중요한오픈소스프로젝트이자빅데이터분석기술 야후의플리커 (Flickr, 온라인이미지공유서비스 ) 에적용한딥러닝소프트웨어를오픈소스로공개 ( 16.2.16.) 바이두실리콘밸리연구소에서개발한 AI SW로컴퓨터가사람의말을인식하기위해필요한머신러닝기술에적용되며오픈소스로공개 ( 16.1.14.) 바이두의딥스피치 (Deep Speech, 언어인식프로그램 ) 2에사용됨 분산환경을위한딥러닝플랫폼으로데이터분석및모델링을지원하며소스코드와관련문서가깃허브에공개예정 ( 16.9.30.) 삼성전자베레스 (Veles) 딥러닝응용프로그램개발을위한분산형플랫폼을오픈소스로 - 5 -
기업 ( 단체 ) 명인공지능기술 오픈 AI (Open AI) 범용인공지능 내용 공개 ( 15.11) 개방형범용병렬컴퓨팅프레임워크인오픈 CL 또는 GPU에서수행하는알고리즘을 C프로그래밍언어를비롯한산업표준언어를사용해작성할수있도록하는 GPGPU 기술인쿠다 (CUDA) 를사용 테슬라등의기업이약 10억달러 ( 약 1조2000 억원 ) 규모의연구자금을모아비영리연구단체설립 ( 15.12.14.) 전세계인류에도움을주는범용인공지능을만드는것이연구단체의목표임 자료 : 각기업의인공지능기술공개사이트및관련기사 인공지능기술분야중딥러닝관련기술이가장빠르게확산될것으로보이며, 이미지인식기술이다음으로높은시장을형성할것으로전망 - 다만딥러닝과이미지인식기술의매출규모는많은차이가있으며 2020년까지는대부분딥러닝기술이시장을주도할것으로전망됨 < 인공지능기술별관련매출액전망 > 단위 : 백만달러 자료 : 석왕헌, 이광희, 인공지능기술과산업의가능성, ETRI Issue Peport 2015-04, 2015.10.30. 의 Tractica 2015 자료재인용 현재딥러닝기술의발달을기반으로산업에적용및기술발전중인 인공지능은 약한인공지능 에서 강한인공지능 형태로진화할 것으로예상됨 - OVUM 3) 에서는딥러닝기술의발달과더불어인공지능기술은과거 5 년간제한된범위에서특정한내용 ( 예 : 구글의보이스등 ) 을처리하기 위해활용되었으나, 기술 2015 2016 2017 2018 2019 2020 연평균성장률 인지컴퓨팅 10.9 11.6 12.4 13.2 14.2 15.0 6.5% 머신러닝 13.6 14.8 16.2 17.9 19.8 21.4 9.6% 딥러닝 108.5 221.1 453.1 929.5 1,904.6 3,884.9 104.5% 응용프로그램인터페이스예측 20.3 22.9 26.4 30.8 36.0 43.4 16.4% 자연어처리 7.8 10.1 13.0 16.6 21.1 26.3 27.5% 이미지인식 24.4 32.6 44.7 61.7 85.7 119.1 37.3% 음성인식 14.6 16.6 19.3 22.6 26.4 30.9 16.1% 기타 2.3 2.4 2.6 2.8 3.1 3.5 9.1% 합계 202.5 332.1 587.5 1,095.1 2,111.0 4,144.7 82.9% 3) www.ovum.com, IT 및통신에대한연구 (Research) 및컨설팅회사 - 6 -
- 향후 10 년간은인공지능시스템이확장된범위 ( 예 : 지능형홈시스템등 ) 에서산업시장에활용될것으로예측 < 2025 년까지인공지능기술이적용될신흥및개발산업시장에대한예측 > 신흥산업시장 개발산업시장 구분 2015-2017 2018-2021 2022-2025 비즈니스측면 소비자측면 비즈니스측면 소비자측면 자료 : OVUM, Machine Learning in Business Use Cases, 2015.4.20. - 또한한국전자통신연구원에서발표한바에따르면빅데이터와딥러닝 기술기반의약한인공지능 ( 15 년 ) 에서인간의능력을증강시키는기술 ( 18 년 ) 로진화하며 상업적서비스로 IBM의 Watson 과같은 AI기반의사결정지원시스템의학 / 의료, 과학연구, 교육등을포함한서비스 - 스스로사고 판단 예측, 스스로학습 진화, 두뇌를모사하는인지 컴퓨팅등강한인공지능 ( 25 년 ) 기술로진화될것으로전망 4) AI기반소비자제품 / 앱 ( 음 악인식앱등 ) 예 ) 이미상용화된애플 의시리, 구글의보이스등 금융알고리즘기반트레이딩시스템등 AI 기반한시스템의지속적성장 기존게임에포함된 AI 기능외에독창적인 AI 기능의발달 로봇의두뇌에 AI적용사무실, 공장, 외부등에 서 AI가적용된로봇의상용화 AI가지원및자동화시킨지능형홈시스템 예 ) TV프로그램녹화, 요리및게임할수있는 AI 기반홈시스템 제품과소프트웨어앱의표준기능에진보된 AI 가지원하는시스템이적용 스마트기기에서사용하기위한지능형개인앱의급격한소비시장형성 딥러닝알고리즘의지속적인개선및사용증가예술가가새로운가능성을탐구하는곳에서획기적인 AI의출현 시끄러운환경에서도음성인식률이 99% 이상으로정확도의발달 사무실과가정의로봇에발전된 AI 적용의일반화 지능형홈시스템은 AI 시스템, 응용프로그램. 유지보수요구사항등에대한시장기회창출 시사점 ( 인공지능기술중딥러닝기술과융합한응용애플리케이션개발및연구에대한분석필요 ) 현재산업에적용및기술발전중인딥러닝기술을중심으로타기술과융합등을통해활용가치를분석하는것이선행적으로필요 ( 인공지능플랫폼활용 ) 인공지능을차세대플랫폼기술로육성하기위한글로벌 IT기업들의전략중하나인인공지능플랫폼을활용하여금융분야에맞는서비스분석및개발을통해경쟁력확보필요 4) 김병운, 인공지능동향분석과국가차원정책제언, 한국정보화진흥원정보화정책제 23 권제 1 호 (pp.74~93) 의자료중 ETRI(2016) 재인용자료 - 7 -