ILLUSTRATION DE MANABU DEEP LEARNING Takayoshi Yamashita 2016 All rights reserved. Original Japanese edition published by KODANSHA LTD. Korean translation rights arranged with KODANSHA LTD. through Shin Won Agency Co. 이 책의 한국어판 저작권은 신원 에이전시를 통해 저작권자와의 독점 계약으로 제이펍에 있습니다. 저작권법에 의해 한국 내에서 보호를 받는 저작물이므로 무단 전재와 무단 복제를 금합니다. 초판 1쇄 발행 2017년 6월 30일 지은이 야마시타 타카요시 옮긴이 심효섭 펴낸이 장성두 펴낸곳 제이펍 출판신고 2009년 11월 10일 제406-2009 - 000087호 주소 경기도 파주시 회동길 159 3층 3-B호 전화 070-8201 - 9010 / 팩스 02-6280 - 0405 홈페이지 www.jpub.kr / 원고투고 jeipub@gmail.com 독자문의 readers.jpub@gmail.com / 교재문의 jeipubmarketer@gmail.com 편집부 이민숙, 황혜나, 이 슬, 이주원 / 소통 기획팀 민지환, 현지환 교정 교열 이 슬 / 본문디자인 황혜나 / 표지디자인 미디어픽스 용지 에스에이치페이퍼 / 인쇄 한길프린테크 / 제본 광우제책사 ISBN 979-11 - 85890-89 - 0 (93000) 값 23,000원 이 책은 저작권법에 따라 보호를 받는 저작물이므로 무단 전재와 무단 복제를 금지하며, 이 책 내용의 전부 또는 일부를 이용하려면 반드시 저작권자와 제이펍의 서면동의를 받아야 합니다. 잘못된 책은 구입하신 서점에서 바꾸어 드립니다. 제이펍은 독자 여러분의 아이디어와 원고 투고를 기다리고 있습니다. 책으로 펴내고자 하는 아이디어나 원고가 있으신 분께서는 책의 간단한 개요와 차례, 구성과 저(역)자 약력 등을 메일로 보내주세요. jeipub@gmail.com
드리는말씀 이책에기재된내용을기반으로한운용결과에대해저자, 역자, 소프트웨어개발자및제공자, 제이펍출판사는일체의책임을지지않으므로양해바랍니다. 이책에등장하는회사명, 제품명은일반적으로각회사의등록상표 ( 또는상표 ) 이며, 본문중에는 TM, c, R 마크등을생략하고있습니다. 이책에서소개하는도구의설치방법은이용환경에따라필요한라이브러리나명령에차이가있을수있으므로주의가필요합니다. 또한, 이도구들은업데이트가잦으며, 업데이트에따라사양이변경될수도있으므로각도구의공식사이트를참고하기바랍니다. 본문에서대괄호 ( 첨자 ) 로표시한숫자는참고문헌정보입니다. 책의뒷부분에각숫자에해당하는참고문헌을표기했습니다. 책내용과관련된문의사항은옮긴이나출판사로연락해주시기바랍니다. - 옮긴이 : flourscent@gmail.com - 출판사 : readers.jpub@gmail.com
차례 viii ix xi CHAPTER 1 서론 1 1.1 딥러닝이란 2 1.2 주목받게된계기 3 1.3 왜딥러닝인가 6 1.4 딥러닝이란무엇인가 7 1.5 이책의구성 8 CHAPTER 2 신경망 11 2.1 신경망의역사 12 2.2 매컬러-피츠의신경회로망모형 14 2.3 퍼셉트론 16 2.4 다층퍼셉트론 18 2.5 역전파법 19 2.6 오차함수와활성화함수 30 2.7 우도함수 32 2.8 확률적경사하강법 33 2.9 학습률 35 2.10 정리 35 CHAPTER 3 합성곱신경망 37 3.1 합성곱신경망의구성 38 3.2 합성곱층 40 3.3 풀링층 41 3.4 전결합층 42 차례 v
3.5 출력층 43 3.6 신경망의학습방법 43 3.7 정리 50 CHAPTER 4 제약볼츠만머신 51 4.1 홉필드네트워크 52 4.2 볼츠만머신 57 4.3 제약볼츠만머신 61 4.4 대조적발산 63 4.5 딥빌리프넷 66 4.6 정리 68 CHAPTER 5 자기부호화기 69 5.1 자기부호화기 70 5.2 디노이징자기부호화기 73 5.3 희소자기부호화기 74 5.4 적층자기부호화기 79 5.5 사전훈련에서의이용 79 5.6 정리 80 CHAPTER 6 일반화성능을향상시키기위한방법 81 6.1 학습표본 82 6.2 전처리 89 6.3 활성화함수 94 6.4 드롭아웃 97 6.5 드롭커넥트 98 6.7 정리 101 CHAPTER 7 딥러닝을위한도구 103 7.1 딥러닝개발환경 104 7.2 Theano 104 7.3 Pylearn2 112 7.4 Caffe 122 vi 차례
7.5 학습시스템 DIGITS 141 7.6 Chainer 149 7.7 텐서플로 164 7.8 정리 179 CHAPTER 8 딥러닝의현재와미래 181 8.1 딥러닝의응용사례 182 8.2 딥러닝의미래 198 8.3 정리 200 202 209 차례 vii
옮긴이머리말 지난해에출간된 딥러닝제대로시작하기 에이어두번째딥러닝서적을번역하게되었습니다. 딥러닝제대로시작하기 가비록딥러닝의원리를자세히설명하는책이기는하지만, 원리를엄밀하게설명하기위해주로많은수의수식에의존했습니다. 수식의깊은의미를이해할수있다면더할나위가없겠지만, 원리에대한이해보다는실무에빠르게응용을원하는독자분께는아쉬움이많았으리라생각합니다. 이책은이런아쉬움을가졌던독자를위한책입니다. 수식과함께딥러닝기술이어떻게동작하는지를시각화한일러스트와조금더이해하기쉬운설명, 그리고학습한이론을바로구현해볼수있도록구현도구와사용법에대해서도다루고있습니다. 이런의미에서 딥러닝제대로시작하기 의좋은보완재가되어주기를희망합니다. 이책은크게이론과실제두부분으로구성됩니다. 딥러닝이전의신경망연구부터시작하여합성곱신경망, 제약볼츠만머신, 자기부호화기의구조와학습방법을차근차근설명합니다. 7장은공개된다양한딥러닝도구를소개하고기초적인사용법을설명합니다. 이미많이사용되고있는 Theano와 PyLearn2, Caffe와조금낯설지만 NVIDIA에서만든 DIGITS, 일본에서만들어진 Chainer에대한소개도있습니다. 마지막으로, 현재가장많이쓰이는텐서플로도다룹니다. 마지막으로, 부모님, 아내정이, 제이펍장성두실장님, 그리고좋은책을만들기위해힘써주신담당자이슬님께도감사를드립니다. viii 옮긴이머리말
머리말 요즘에는연일딥러닝이화제에오르며오히려딥러닝이란말을듣지않는날이더적을정도로느껴집니다. 전세계의대학과 IT 기업을중심으로딥러닝연구가진행되고있으며, 다양한분야에서매우높은성능을달성한사례가보고되고있습니다. 또, 이미지인식이나음성인식등의벤치마크테스트에서가장높은성능을달성한사례나사람의인식능력에근접하거나이를능가하는사례도다수보고되고있습니다. 그리고인공지능으로이어지는지식에대한자동획득이나지식의강화로연결될수있을만한연구도진행되고있습니다. 더욱이이사례들은놀랄만큼최근 2~3 년에집중되어있습니다. 이렇듯딥러닝을둘러싼환경은매우빠른속도로진화하고있으며, 매일같이새로운기법이제안되고있습니다. 이책을집필하는중에도, 쓰기시작했을때는생각하지못했던새로운연구사례가발표되거나새로운딥러닝도구가공개되어딥러닝입문서를집필하는어려움을새삼느꼈습니다. 저는지금까지딥러닝에대한세미나, 강연, 튜토리얼등의강사를맡을기회가여러번있었습니다. 이강연에많은분들이참석해주셨고, 딥러닝에대한높은주목도를눈으로직접확인할수있었습니다. 이강연에서저는초심자를포함하여다양한분들이이해할수있도록가능한한구체적인예를들어설명하려고했습니다. 강연내용처럼이책에서도딥러닝을배우는학생이나이제막딥러닝연구에도전하는대학원생, 나아가기업에서연구개발에종사하는분까지쉽게이해할수있도록하는데중점을두었습니다. 머리말 ix
딥러닝은매우빠르게진화하고있는기술인한편, 상당히긴역사적배경을갖고있는신경망기술을기초로하고있습니다. 이책은딥러닝의역사적배경을파악하면서먼저기초가되는신경망을이해하고, 나아가서는딥러닝의다양한기초적기법을모두이해할수있도록최근의응용기법도소개하고있습니다. 이책에는단순히학술적으로딥러닝을이해할뿐만아니라, 실제로활용하려고할때필요한노하우를실험예제로써싣고있습니다. 어디까지나예제이지만, 참고가되었으면하는바람입니다. 또, 오픈소스로공개된딥러닝도구에대해설치방법부터간단한활용사례까지소개하였습니다. 이들도구를사용하여독자분이원하는연구를진행할수있다면더바랄나위가없겠습니다. 그러나이들도구는아직개발중인것도많고업데이트나버전업이빈번하게있을수있습니다. 그때문에이책에실린설치방법이나구현방법이바뀔수도있음을양해해주시기바랍니다. 이책을통해딥러닝에대한지식을익히고, 나아가새로운아이디어를내주었으면합니다. 그리고뛰어난기법이나응용사례를발굴하여전세계에알려주었으면합니다. 그런인재가한명이라도더발굴되는데이책이도움이된다면좋겠습니다. 마지막으로, 이책의집필에있어구성단계부터집필, 그리고교정까지많은분들의조언과협력이있었습니다. 이자리를빌려감사의인사를드립니다. x 머리말
베타리더후기 고승광 ( 플랜티넷 ) 알파고대전이후인공지능이 IT 분야의대유행이되었습니다. 회사업무에텐서플로를적용해보려고했지만워낙기본지식이없어서진전이없었는데, 마침이책과인연이닿았습니다. 수학적지식이나오기때문에초급자가보기엔조금어려울것같습니다. 딥러닝을심도있게익히기보다는전체적인흐름을익히고자하는독자에게도움이될것같습니다. 김종욱 (KAIST) 대한민국사람들이라면누구나한번쯤머신러닝이나딥러닝에대해서들어봤을것입니다. 특히, 알파고와이세돌의대결은큰이슈였습니다. 이책은세기의대결에참전했 던알파고라는 AI가어떤식으로학습하고동작하는지가늠할수있도록딥러닝의기본적인이론부터적용사례까지엿볼수있는재미있는책입니다. 송영준스르륵읽어보면짧다고여길수있지만, 수식하나하나이해하면서보려고하면심도있는책입니다. 여러딥러닝기술의이론을알려주고, 이기술들을사용할수있는다양한툴을고루설명하고있는점이인상적입니다. 베타리더후기 xi
심상용 ( 이상한모임 ) 이책은입문서처럼여겨질수도있습니다만, 많은내용이압축되어있으므로충분한시간을가지고읽어보시길권합니다. 또한, 근래에사용되고있는다양한딥러닝프레임워크들을소개하고있어적절한프레임워크를비교하고선택할때도움이될것같습니다. 이정훈 (SK주식회사 ) 머신러닝, 딥러닝은초보자가쉽게접할수있는분야는아닙니다. 관련책역시여러종이나오고있지만, 대부분쉽게읽히지않는것이현실입니다. 이책은곳곳에그림을넣어딱딱하지않게설명한것이장점입니다. 이책을교과서라고생각하면서읽어보기를추천합니다. 이책과함께다양한참고자료를찾아보며공부한다면어느새한계단올라선모습을발견할수있을겁니다. 이철혁 ( 스노우 ) 처음에는수학공식들이어렵고생소하게느껴질수있으나, 차근차근반복해서따라가다보면충분히이해할수있도록구성되어있습니다. 기본을탄탄하게다지고시작할수있게도와줍니다. 반드시알아야할기본지식과다양한프레임워크, 도구를소개함과동시에, 활용방안까지골고루설명하고있어독자에게큰도움이될것입니다. 제이펍은책에대한애정과기술에대한열정이뜨거운베타리더들로하여금출간되는모든서적에사전검증을시행하고있습니다. xii 베타리더후기
An illustrated Guide to Deep Learning C H A P T E R 1 서론 딥러닝이지금과같은주목을받게된이유는무엇일까? 또딥러닝에는어떤방법을사용할까? 이번장에서는딥러닝에대한여러의문을정리하고, 딥러닝을이해하는첫발을딛는다.
1 1 딥러닝이란 deep learning 은 심층학습 이라고도불리는머신러닝의한방법으로, 입력된데이터에대한유형분류나회귀를수행하는기법이다. 그럼머신러닝이란무엇일까? 머신러닝은인공지능의한갈래로연구되기시작하였는데, 로봇이나컴퓨터등의기계가바람직한행동을위한파라미터를경험 ( 학습 ) 으로부터획득하도록하는기법 을말한다. 그리고지금은좀더넓은의미로 데이터에서이미본사례들로부터아직보지못한것을예측하는기법 이라고도할수있다. 머신러닝은자연어처리나이미지인식, 생물정보학, 위험예측등공학분야뿐아니라경제학이나심리학과같은여러분야에서큰성공을거두고있다. 머신러닝을하는, 다시말해로봇이나컴퓨터에경험을주기위해서는어떤방법이필요할까? 머신러닝은통계적학습으로, 많은양의데이터를사용하여학습한다. 데이터와그에대한예측대상인정답신호 (supervisory signal) 를함께주고, 데이터와정답신호양쪽에서공통적인정보혹은특징적인정보를기반으로예측을수행하는방법을획득한다. 은색이나엣지등사람이정의한방법으로추출된정보다 ( 그림 1.1). 특징값을추출할때는정답신호를이용하지않고데이터에서자동적으로추출하는것도있다. 정답신호를사용하는학습을 supervised learning, 정답신호를사용하지않는학습을 unsupervised learning 이라부른다. 딥러닝은지도학습과비지도학습중어느쪽에해당할까? 딥러닝에는두방법이모두사용된다. 어떻게두가지방법이모두쓰이는지는뒤에자세히설명하겠지만, 딥러닝은정답신호의유무에상관없이대량의데이터를사용하여주어진데이터의분류나회귀를수행하는신경망을학습한다. 신경망은여러층을갖는계층구조로, 사람의인지가이루어지는메커니즘과비슷한구조를가진다. 입력이미지 특징추출 이나경계선등사람이정의한추출방법 0.5 0.3 0.9 1.2 4.5 6.3 0.9 0.3 0.4 특징값 그림 1 1 특징값 특징값은이미지를수치의연속열로변환한것이야. 2 CHAPTER 1 서론
1.2 주목받게 된 계기 딥러닝은 어느 날 갑자기 출현한 기술이 아니라 몇 가지 연구 사례가 연이어 보고되 면서 큰 주목을 받게 되었다. 그중 하나가 2011년에 음성 인식 분야에서 보고된 사 례다.[61, 24] 이때까지 음성 인식에서는 GMM(Gaussian Mixture Model)과 HMM(Hidden Markov Model)을 사용하는 기법이 일반적이어서, 이 방법을 서로 다르게 개량하여 한 계치에 가까운 성능 수준에서 미세한 차이를 겨루고 있는 상황이었다. 딥러닝을 이용 한 방법은 이들 한계치를 크게 웃돌아 대폭적인 성능 향상과 함께 2011년의 벤치마크 테스트 1위를 달성하였다. 이런 흐름이 이미지 인식 분야에도 미치게 되었다. 이미지 인식에서는 매년 일반 물 체 인식 경진대회가 열린다. 이때까지의 이미지 인식에서는 SIFT 같은 축소/확대에 따라 변하지 않는 특징값과 BoVW(Bag of Visual Words) 특징 표현법, 그리고 Fisher vector 같은 차원 축소 기법을 사용하는 방법이 일반적이었다. 여기서도 딥러닝 기술 이 지금까지의 성능 기록을 깨고, 큰 성능 개선을 이루었다(그림 1.2).[34] 이에 따라 이 미지 인식 분야에서도 딥러닝이 유효하다는 것이 확인되었고 널리 보급되는 계기가 되었다. 그림에 나온 것이 무엇인지 알 수 있다니 신기하지? 그림 1.2 딥러닝에 의한 물체 인식 (문헌 [34]의 그림 4 인용) 1.2 주목받게 된 계기 3
이와 같은 시기에, 딥러닝을 이용하여 고양이의 얼굴을 인식하는 구조를 자동 학습하 는 기법을 개발하였다는 뉴스가 발표되며[48], 일반인 사이에도 딥러닝이 알려지게 되 었다(그림 1.3). 이 기법에서는 컴퓨터에 유튜브 동영상을 정답 신호 없이 입력하면, 고양 이의 얼굴을 보았을 때 크게 반응하는 특정한 뉴런을 자동으로 획득한다. 즉, 아기처럼 어떤 사물 을 인식하고, 그 후에 사물의 이름을 배우는 과정이 기계에서 실현되었다고도 볼 수 있다. 이 학습 기법으로 고양이의 얼굴뿐만 아니라, 사람의 얼굴에도 반응하는 뉴 런도 자동으로 얻을 수 있다. 유튜브의 영상을 학습 데이터로 노출시키면, 특정한 영상에 반응하는 뉴런을 자동으로 만들 수 있다. 사람의 얼굴 이미지에 반응하는 뉴런의 평균 이미지 고양이의 얼굴 이미지에 반응하는 뉴런의 평균 이미지 사람이나 고양이의 얼굴이 동영상에 자주 나와서 자동적으로 알 수 있게 되는 걸까? 그림 1.3 사람이나 고양이의 얼굴에 반응하는 뉴런을 자동으로 획득 (이미지는 문헌 [48]의 그림 3, 6 인용) 여기서 나아가, Google이 인수한 DeepMind는 간단한 게임을 과제로 부여하여 어떤 움직임을 취해야 높은 점수를 얻을 수 있는지를 자동으로 학습하는 기법을 제안하기 도 하였다.[45, 46] 이 기법은 과학학술지 Nature에도 게재되어 인공지능 연구에 획기적 인 진보라 여겨지고 있다. 이렇게 다양한 분야에서 딥러닝이 주목받게 된 이유는, 학습에 충분한 데이터를 수 집하기 수월해진 정보 환경과 성능을 향상시키기 위한 여러 기법이 제안된 것, 그리고 GPU와 메모리 같은 하드웨어의 성능 향상이 마침 한꺼번에 겹쳐 일어났기 때문이다. 4 CHAPTER 1 서론
초고속인터넷의보급으로대량의이미지데이터가네트워크상에공개되어있으며, 이미지인식의경우수백만장에이르는 이구축되어있다. [32, 53] 음성인식분야에도수백시간분량의데이터가현재사용가능하다. 성능을향상시키는방법으로는 [65] 과같은과적합을제어하는방법, 학습이잘수렴되는 [47] 나 방법 [4] 등이제안되어딥러닝의성능향상을돕고있다. 한편, 하드웨어의진보면에서는 GPU의등장과그성능향상이딥러닝이약진할수있도록하였다. GPU는 Graphics Processing Unit 의약자로, 게임이나그래픽소프트웨어에서영상처리를목적으로사용되는전용프로세서다 ( 그림 1.4). GPU는많은수의연산회로를탑재하고있어서연산을병렬화할수있다. NVIDIA는 CUDA라는전용병렬프로그래밍환경을제공하고있다. NVIDIA의 GPU는일반소비자를대상으로하는 GeForce, 과학용연산에특화된 Tesla 로나뉘며, 임베디드환경을위한 Tegra 제품군도보유하고있다. 딥러닝에서는긴처리시간이문제가되었으나, 병렬처리가가능해진덕분에 CUDA를통해 GPU 연산을이용하면처리시간을줄일수있게됐다. 지금은딥러닝을위한고속연산라이브러리를제공하는데까지이르렀다. [10] 특히, 최근에일어난 GPU의성능향상은괄목할정도여서 2012년경에는 1개월정도걸리던딥러닝학습이 2015년에는불과며칠만에완료될정도의진보를보이고있다. 딥러닝은이렇게다양한분야의진보를배경으로하여주목을받게되었으며, 더많은분야에서혁신을일으키고있다. 일반소비자용 GPU - GeForce ( 출처 : Max Pixel, https://goo.gl/0yssjs) 과학연산용 GPU - Tesla ( 출처 : flickr, GBPublic_PR, https://goo.gl/fcjpws) 임베디드용 GPU - Tegra ( 출처 : WIKIMEDIA COMMONS, https://goo.gl/fu8z79) 병렬처리가가능하다니대단해! 그림 1 4 GPU 의외관 1.2 주목받게된계기 5
1 3 왜딥러닝인가 딥러닝은여러분야의벤치마크테스트에서기존의성능기록을연달아갱신하면서주목을받게되었다. 또한, 사람의뇌에서일어나는지식획득과정과유사한구조를구현했다는것이알려져있다. 여러벤치마크테스트에서성능기록을갱신하는것은방법자체가뛰어나다는방증이다. 딥러닝이정말뛰어난점은, 좋은성능을발휘할수있는특징을자동적으로찾아낸다는점이다. 종래에는그림 1.5 와같이, 수동으로어떤특징을사용할것인지를설계해야만했다. 다시말하면, 이미지를분류할때에색을주로볼것인지, 경계선을주로볼것인지등을미리정해서머신러닝을수행했었다. 그러나딥러닝에서는자동적으로어떤정보를기준으로판단할것인지를대량의데이터로부터얻은정보를통해결정한다. 그래서사람이미처생각하지못한색혹은경계선의조합과같은특징을자동적으로학습할수있다. 이를통해어려운인식문제에서도종래기록을갱신하는고성능이가능해지는것이다. 입력이미지 특징추출 이나경계선등사람이정의한추출방법 0.5 0.3 0.9 1.2 4.5 6.3 0.9 0.3 0.4 특징값 식별을위한처리 에스프 소 식별결과 입력이미지 특징추출및식별을위한처리 추출하려는정보를자동적으로 하여식별 에스프 소 식별결과 어떤정보를특징으로삼아야하는지고민하지않아도딥러닝에서는자동으로특징을선택해주는구나. 그림 1 5 기존머신러닝과딥러닝의차이 6 CHAPTER 1 서론
1 4 딥러닝이란무엇인가 딥러닝은어디까지나개념적인단어다. 딥러닝이란대체무엇일까? 일반적으로말하면여러층으로구성된신경망을가리킨다. 몇층이상되어야한다는정해진기준은없으며, 신경망도다양한구조를갖는다. 대략적으로나누어도여러가지가있지만, 그기원을고려하면그림 1.6 과같은형태가된다. 다층퍼셉트론 다층화 딥뉴 넷 합성곱층도입 합성곱신경망 딥빌리프넷 딥볼츠만머신 다층화 다층화 제약볼츠만머신 신경망을여러층으로확장하면딥러닝이구나. 그림 1 6 딥러닝과관련된기법의큰갈래 딥러닝은 [55] 을기원으로하는것과볼츠만머신 [1] 을기원으로하는것두가지로크게나눌수있다. 퍼셉트론을기원으로하는것중에가장기본적인구성은퍼셉트론을여러층으로쌓은 이다. 이들의파생형태로, 사람의시각피질과같은구성을도입한합성곱신경망 [35, 36] 이이미지인식분야에서많이쓰인다. 이와달리그래피컬모델로부터탄생한볼츠만머신을기원으로하는구조가있다. [15, 64] 을다층화한 [60], [25] 이이에속한다. 1.4 딥러닝이란무엇인가 7
또퍼셉트론을기원으로하는기법은일반적으로지도학습방식을취하며, 정답신호 를기반으로하여학습을실시한다. 이와달리제약볼츠만머신을기원으로하는기 법은비지도학습을하며, 주어진데이터만사용하여신경망을학습한다. 1 5 이책의구성 이책에서는딥러닝과관련된여러기법과이미지인식분야의최신응용사례를소개한다. 2장에서는신경망의역사를따라어떤변화를거쳐현재의딥러닝에이르렀는지소개하고, 신경망의기원이되는퍼셉트론, 그리고다층퍼셉트론을설명한다. 또한, 다층퍼셉트론을학습하기위한오차역전파법과이를이용한확률적기울기하강법에대해서도설명한다. 여기서는다층퍼셉트론의원리를이해하고, 직접구현이가능한수준을목표로한다. 3장에서는이미지인식분야에서많이사용되는합성곱신경망에대해, 신경망을구성하는서로다른유형의층구조와그학습방법에대해설명한다. 합성곱신경망을사용하기위해서는여러파라미터를사전에결정해야한다. 이들을어떻게바꾸면성능에어떤영향을미치게되는지에대한사례도소개한다. 4장에서는그래피컬모델로부터파생된볼츠만머신과제약볼츠만머신, 그리고이를다층화한딥빌리프넷에대하여설명한다. 그리고제약볼츠만머신을학습시키기위한방법인대조적발산에대해서도설명한다. 5장에서는퍼셉트론의표현을이용하여효율적인정보압축을수행하거나다층화한신경망이나합성곱신경망의사전학습에쓰이는자기부호화기에대하여설명한다. 6장에서는딥러닝의각기법에있어일반화성능을향상시키기위한드롭아웃이나드롭커넥트같은트릭, 전처리, 활성화함수등을설명한다. 또한, 딥러닝의학습에쓰이는데이터집합에대한소개도다룬다. 7장에서는딥러닝을실제로이용하기위한공개된도구를소개한다. 8 CHAPTER 1 서론
8장에서는지금널리사용되는딥러닝의연구사례를소개한다. 이책은딥러닝과관련된방법과그이용을위한도구를이론과실용의양면에서설명하고자한다. 딥러닝에대해더깊은이해를원하는독자는참고문헌 [82, 83] 을보기바란다. 1.5 이책의구성 9