Chapter 1. 머신러닝개요 < 기계학습개론 > 강의서울대학교컴퓨터공학부장병탁 교재 : 장교수의딥러닝, 홍릉과학출판사, 2017. Slides Prepared by 장병탁, 김준호, 이상우 Biointelligence Laboratory School of Computer Science and Engineering Seoul National University
목차 1.1 머신러닝의특성 3 1.2 프로그래밍방식과의차이점... 7 1.3 산업적응용사례 10 1.4 역사와최근발전동향... 16 1.5 책의구성... 35 2
인공지능, 머신러닝, 딥러닝 1.1 머신러닝의특성 기계가학습을할수있도록하는연구분야 인공지능연구의한분야로서최근들어딥러닝을통해서빠르게발전 Artificial Intelligence Machine Learning Deep Learning 3
학습시스템과머신러닝 머신러닝의특성 4
머신러닝의정의 머신러닝의특성 머신러닝을보다형식화하여정의하면 환경 (Environment, E) 과의상호작용을통해서축적되는경험적인데이터 (Data, D) 를바탕으로지식즉모델 (Model, M) 을자동으로구축하고스스로성능 (Performance, P) 을향상하는시스템 이다 (Mitchell, 1997). 5
딥러닝 머신러닝의특성 많은수의신경층을쌓아입력된데이터가여러단계의특징추출과정을거쳐자동으로고수준의추상적인지식을추출하는방식 특징추출과특징분류를특징학습의문제로통합 ( 보다자동화된학습기술 ) 딥러닝을통해서신경망에대한관심이다시늘어남에다라머신러닝연구에관심을다시갖기시작함 다양한분야에의응용 Google 의 GoogLeNet, 백만여장의이미지로부터천가지종류의물체를분류 Facebook 의 DeepFace, 사람의얼굴을인식하는문제에서인간수준의성능 Microsoft 의딥러닝을적용한음성인식기술 Google 의 DeepMind, 실제사람처럼비디오게임을학습하는기술 6
1.2 프로그래밍방식과의차이점 일반적인컴퓨터프로그램 사람이알고리듬설계및코딩 주어진문제 ( 데이터 ) 에대한답출력 머신러닝프로그램 사람이코딩 기계가알고리듬을자동프로그래밍 (Automatic Programming) 데이터에대한프로그램을출력 7
프로그래밍방식과의차이점 학습시스템의구성요소 : 환경 E, 데이터 D, 모델 M, 성능지수 P 환경 (E): 학습시스템이상호작용하는대상, 학습할문제 데이터 (D): 환경과상호작용을통해축적된경험 프로그램이작성될때모든가능한입력을고려하여그경우만을다루는것과구별됨 모델 (M): 데이터를모델링하는학습시스템의구조 성능지수 (P): 학습시스템의성능평가지표 학습시스템이목표를이루기위하여최적화해야하는대상 8
머신러닝이필요한문제 프로그래밍방식과의차이점 명시적문제해결지식의부재 ( 알고리듬부재 ) 프로그래밍이어려운문제 ( 예 : 음성인식 ) 지속적으로변화하는문제 ( 예 : 자율이동로봇 ) 머신러닝더욱중요해지는이유 빅데이터의존재 ( 학습에필요 ) 컴퓨팅성능의향상 ( 고난도학습이가능 ) 서비스와직접연결 ( 비지니스적효과 ) 비즈니스가치창출 ( 회사가치향상 ) 9
1.3 산업적응용사례 자율주행자동차 1992 년, 신경망구조를이용한자동차자동운전 2005 년, 사막환경무인자동차대회에서성공적으로운전을수행 Stanford 대학 AI Lab 의 Stanley 가우승함 (Sebastian Thrun 교수팀 ) 2007 년, 도시환경무인자동차대회에서성공적으로운전을수행 2010 년, 구글이무인자동차를발표 (Larry Page & Sebastian Thrun) 10
ALVINN (CMU, 1992) ALVINN (Autonomous Land Vehicle In a Neural Networks) 카네기멜론대학교와메르세데스벤츠가합작으로수행 100km 이상의속도로고속도를장기주행하는것에성공 전면카메라로수집한전면영상이입력 운전대와가속페달및브레이크페달을조정하는것이출력 11
DARPA Grand Challenge (2005) 스탠포드팀이 DARPA Grand Challenge 에서우승 무인자동차가사막을 131 마일을질주하는데에성공 Racing Video: http://youtu.be/m2acmnfzpng Stanford Racing Team: http://cs.stanford.edu/group/roadrunner//old/index.html 12
DARPA Urban Challenge (2007) CMU와 GM이우승하여 200만불을차지 6시간내에 96 km 도시구간을완주하는것이목표 도로주행계획, 상황인식, 주행환경모델링의기술이필요 http://youtu.be/p0ntv2mbjha 13
Google 의자율주행자동차 (2010) 인공지능기술을사용하여스스로판단할수있는무인자동차를발표 ( 문제가발생하면운전석탑승자에게자동으로경고 ) 인공지능 / 컴퓨터비전 / GPS / 구글맵 / 다양한센서등을사용 Test Driving: http://youtu.be/x0i5dhoetfe Ted by Sebastian Thrun: http://youtu.be/r_t-x4n7hvq 14
머신러닝의다양한활용분야 산업적응용사례 15
1.4 역사와최근발전동향 지난 70 여년동안의머신러닝연구 : 잠재기 (1940-1980), 태동기 (1980-1995), 성장기 (1995-2010), 도약기 (2010- 현재 ) 16
역사와최근발전동향 : 태동기 (1980-1995) 17
역사와최근발전동향 : 성장기 (1995-2010) 18
역사와최근발전동향 : 도약기 (2010- 현재 ) 19
튜링머신 생각하는기계 (1950) 앨런튜링은사람이인간과같은지능적행동을보일수있을지시험하는튜링테스트를제안 Turing Alan M. Computing machinery and intelligence. Mind, 1950. http://youtu.be/1uda7jkiztw 앨런튜링 (1912-1954) 20
퍼셉트론 (1958) Rosenblatt 은신경망모델의일종인퍼셉트론과그학습알고리즘을제시 21
역사와최근발전동향 : 초기역사 1959 년 Samuel 의논문 Some Studies in Machine Learning Using the Game of Checkers 에서 머신러닝 용어등장 게임보드패턴기반특징들의가중치곱의합으로평가함수를정의하고변경하여게임을학습 1958 년, Rosenblatt 은신경망모델의일종인퍼셉트론과그학습알고리즘을제시 인공신경망모델에기반을제공한자연신경망에대한연구는 1940 년에시작 1983 년과 1986 년에두권의책이머신러닝연구의기반마련 Machine Learning: An Artificial Intelligence Approach 의 Volume I 과 II 1984 년머신러닝과계산이론의접목, 이론적인틀을갖추기시작 Valiant 는 Communications of the ACM 에 A Theory of the Learnable 이란제목의계산학습이론 (Computational Learning Theory) 논문을발표 1986 년신경망기반의연결론적머신러닝연구시작 Rumelhart & McClleland 의 Parallel Distributed Processing 모델에관한연구 1986 년기계학습분야최초의학술지 Machine Learning 저널창간 22
머신러닝학회, 저널의태동 ICML 1980 AAAI 1980 UAI 1985 AISTATS 1985 NIPS 1987 ICLR 2013 MLJ 1986 Neural Networks Neural Computation JMLR 2001 1988 1989 23
역사와발전동향 1980 1990 2000 2010 1985 1995 2005 2015 Algorithm: MLP DT SVM PGM CNN Model: 신경망모델 확률통계적모델 딥러닝모델 Data: MNIST PASCAL ImageNet IT: PC 의보급 웹, 데이터마이닝정보검색, 전자상거래 스마트폰자율주행차 24
IBM Watson 이 Jeopardy! 쇼에서우승 (2011) IBM 의 Watson 이슈퍼컴퓨터를이용하여, 역대재퍼디챔피언을제치고우승을차지 자연어처리, 정보검색, 지식표상및추론, 머신러닝이사용 Jeopardy!: http://youtu.be/wfr3lom_xhe 장난감로봇에연결된 Watwon: http://youtu.be/1q2v2ripjtg 25
Apple Siri 개인스마트폰비서 (2011) 2011년 Apple에서 iphone을위한개인스마트폰비서시스템 Siri를발표 음성인식을통하여사용자와대화하여의사소통 사용자의개별선호도에적응하며결과를개인화하며, 인근식당의선호를학습 http://youtu.be/8ciaggasro0 26
ImageNet & AlexNet (2012~) ImageNet: 100 만장의이미지, 1000 개의물체 FeiFei 그룹에서구축및공개 2012 년, Hinton 그룹에서는 ImageNet Challenge (ILSVRC) 에서딥러닝기반 AlexNet 을소개, 16.4% 의에러율을보고함 20% 중반의에러율을보이는기존컴퓨터비전기술을압도 현재 2% 대의에러율을보임 (ILSVRC results, 2017) ImageNet 을통해학습된네트워크들은다른데이터의학습을위하여사용됨 27
최근산업동향 머신러닝에대한기업들의투자증가 NIPS 학회의참가자수급증 글로벌 IT 기업들의인공지능연구소설립및스타트업인수 Google의 8개의로보틱스회사인수및인공지능스타트업투자와딥러닝연구자들채용, DeepMind를 7000억원에인수 중국의바이두, 스탠포드의 Andrew Ng 교수를영입해실리콘밸리에딥러닝연구소설립 Facebook, NIPS-2014 기조연설에서 Facebook AI Research 인공지능연구소설립선언 테슬라, 인공지능회사 OpenAI 설립공표 28
머신러닝학회의부흥 NIPS Attendance 2015 NIPS Attendance 2016 29
머신러닝논문수의증가 인공지능 / 머신러닝 / 딥러닝논문의수와트랜드 인공지능및머신러닝관련 arxiv 논문수의월별증가 30
AI 산업화 : 스피커타입스마트비서 홈서비스를위한보급형스피커타입스마트비서의등장 배송주문, 음악추천등실생활응용과긴밀히연결 Amazon Echo, Google Home, SKT NUGU 31
알파고 바둑세계챔피언에승리하다 (2016) 2016년 3월, 알파고가바둑인간최강자이세돌을 4:1로누르고우승 바둑기사들의막대한바둑기보를학습하여성능을향상 그뒤에, 두알파고가서로겨루는방식으로추가적으로성능을향상 32
AI/ML 최근발전동향 AlphaGo 이후 네이버, Naver Labs를분사하여인공지능연구사업화 삼성전자, 가전제품과스마트폰등에인공지능기술도입한신제품개발 SKT, 음성기반인공지능스피커 NUGU 출시 LG 전자, 가전제품박람회 CES에서다양한형태의인공지능로봇제품 많은서비스기업들이고객상담서비스를위해챗봇도입 산업전반에서사물인터넷 (IoT) 과빅데이터를기반으로하는제 4차산업혁명의물결이일어나고있고머신러닝기반의인공지능은그동력원역할을할것으로예측된다. 33
머신러닝 요약 경험 ( 데이터 ) 으로부터모델을자동으로생성하여스스로성능을향상하는시스템 인공지능연구의한분야로서최근들어딥러닝을통해서빠르게발전 환경, 데이터, 모델, 성능지수의네가지요소를지님 프로그래밍 vs. 머신러닝 기존프로그래밍은사람이알고리듬설계및코딩 머신러닝은기계가데이터가주어지면알고리듬을자동으로프로그래밍 70 여년의역사 잠재기 (~1980), 태동기 (1980-1995), 성장기 (1995-2010), 도약기 (2010~) 다양한산업적응용분야에적용 정보검색, 자연어처리, 물체인식, 음성인식, 자율주행자동차, 로보틱스 최근딥러닝을통하여그응용분야와활용역량이크게증가하고있다 34
1.5 책의구성 1장 : 머신러닝개요 2장 : 신경망 3장 : 딥러닝과정규화 4장 : 컨볼류션신경망 5장 : 딥빌리프넷 6장 : 딥하이퍼넷 7장 : 순환신경망 8장 : 딥강화학습 9장 : 뉴럴튜링머신 10장 : 종단학습모델 11장 : 대립학습모델 12장 : 잔차학습모델 35