기획시리즈 딥러닝기반기계학습기술동향 강대기 동서대학교컴퓨터공학부부교수 dkkang@dongseo.ac.kr 1. 딥러닝기계학습의역사적배경 2. 컨볼루션신경망 3. 딥빌리프네트워크 4. 딥 Q-러닝 5. 딥러닝기반공개소프트웨어 6. 결론 1. 딥러닝기계학습의역사적배경 1960 년대후반부터 1970 년대초반까지는인공지능의암흑기로불린다. 1950 년대에는인공지능이라는이름이붙은과제제안서는많은기대속에수월하게심사를통과하였다. 그러나이러한기대에도불구하고, 알고리즘의복잡도에대한연구 [1],[2] 가발전하면서기존의컴퓨터로는효과적으로다룰수없는문제들이많다는사실들이드러났고, 컴퓨터비전및기계번역등의분야에서단순하게생각하고프로그램을개발하기보다는좀더심층적으로의미론적추상화 (abstraction) 를실현한상태에서이를토대로자동화시켜야한다는점들을깨닫게되었다. 1970 년대초반부터 1980 년대중반까지는전문가시스템이성공을거두었으나심볼기반인공지능이가지는한정된분야에만적용가능한점, 수동적인지식의입력및모순되는지식의충돌등의여러문제로제한적인성공을거두고, 1980 년대중반부터는신경망에대한연구가활발해지기시작했다. 이시기에는그로스버그의 Adaptive Resonance Theory(ART)[3], 홉필드신경망 [4], 자기조직맵 [5], 강화학습 (Reinforcement Learning: RL)[6] 등이연구되었고, 가장두드러진성과는역전파학습알고리즘 [7]-[11] 으로나타 * 본내용과관련된사항은동서대학교컴퓨터공학부강대기교수 ( 051-320-1724) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 12
기획시리즈 인공지능 났다. 그러나이러한알고리즘들은상대적으로적은수의레이어 (layer) 로구성된얕은네트워크에대해서만효과적으로사용되었다. 레이어의계층이많아지거나네트워크가복잡해지면매우느린학습시간 [12] 의문제, 학습이수렴 (convergence) 이안되고발산하는문제, 생성된모델이학습데이터에지나치게가까워지는오버피팅 (overfitting) 등의치명적인문제점들을보이게되어비현실적인방법으로간주되었다. 이러한문제들에도불구하고본고의딥러닝주제에맞춰초기의혁신적인연구들을언급할필요가분명히있을것이다. 1960 년초에는고양이의시각령 ( 視覺 1; visual cortex) 에서발견되는단순한세포들과복잡한세포들에대한연구들이수행되었다 [13],[14]. 이러한세포들은특정한특성을가진시각적인입력에반응하였고, 복잡한세포들은단순한세포들에비해공간적으로불변한특성을보였으며, 관찰결과는지금까지도깊은구조를가지는신경망에대한연구에영향을주고있다. 1965 년부터 1971 년까지는 Ivakhnenko 등에의해이른바데이터핸들링을위한그룹메소드 (Group Method of Data Handling: GMDH) 에의해훈련되는딥러닝을수행하는최초의전방향다층퍼셉트론인 deep GMDH network 이등장하였다 [15]-[18]. Ivakhnenko 가 1971 년에발표한논문 [18] 에따르면 deep GMDH network 은 8 개의계층구조를가지고있으며, 다양한분야에사용가능성을보인바있다. 그리고 1979 년 Kunihiko Fukushima 는컴퓨터비전문제를위한본격적인딥러닝네트워크인 Neocognitron[19] 을소개했다. Neocognitron 은컨볼루션신경망의개념을소개했으며, 이는 2 차원입력으로구성된컨볼루션유닛의수용부 (receptive field) 에서상위노드들까지가가중치벡터를통해연결되어필터역할을하며추상화를제공하는구조이다. 이수용부가활성화된결과들은상위계층의입력으로스태킹되어올라가는과정이반복된다. Neocognitron 은컨볼루션과서브샘플링을사용하는현대의지도학습 (Supervised Learning: SL) 을통한전방향그래디언트기반딥러너 ( 컨볼루션신경망 ) 와비슷하지만승자독식 (winner-take-all: WTA) 기반의비지도학습규칙을사용하여맥스풀링 (max-pooling) 이아닌공간평균 (spatial averaging) 을사용한다. 1989 년에이르러얀러쿤과동료들은오류역전파알고리즘 (backpropagation algorithm) [11] 에기반하여우편물에손으로쓰여진우편번호를인식하기위한깊은구조를가지는신경망을소개했다 [20]. 알고리즘이성공적으로동작했지만, 10 개의숫자를인식하기위 정보통신기술진흥센터 13
해학습하는시간이거의 3 일이걸렸다. 따라서탁월한성과에도현실에적용하기에는실용적이지않은것으로간주되었다. 1990 년대와 2000 년대초까지는서포트벡터머신 (support vector machines)[21] 과같이 quadratic programming 최적화문제를푸는방법을통해마진을최대화하는 hyperplane 을찾는방식들이상대적으로높은성능을보임으로써각광받았다. 이러한학습은대부분 1 개또는많아야 3 개정도의레이어에서이루어졌으며, 돌이켜보면사실많은차원의레이어를통해학습하고표현하고자하는개념을보다복잡하게구현할수만있다면사람수준의높은인식률을보일수있는가능성이있었음에도불구하고, 원하는수준까지접근할수없었던것은오버피팅내지속도등의여러문제에기인한것이었다. 2012 년에세계적인이미지인식경연대회인 ImageNet Large Scale Visual Recognition Challenge(ILSVRC) 에서제프리힌튼 (Geoffrey Hinton) 교수가지휘하는토론토대학의슈퍼비전팀이다른팀들을압도적인차이로누르고 1, 2 등을차지하면서사람들의딥러닝에대한관심은폭발적으로증가하게된다. 이미 2007 년에기존신경망의오버피팅문제를해결하기위해리스트릭티드볼쯔만머신 (Restricted Boltzmann Machine: RBM) 을통해학습시킬피드포워드신경망 (Feedforward Neural Network) 의각층을효과적으로프리트레이닝 (pre-trainning) 하여오버피팅을방지할수있는수준의초기점을잡았고, 이를다시지도학습기반오류역전파알고리즘 (supervised backpropagation) 을사용 [22] 하는형태로학습을진행하는방안에대한논문을발표한바있다. 또한, 2013 년신호처리학회인 International Conference on Acoustics, Speech and Signal Processing (ICASSP) 에서 RBM 을훈련시키는과정에서오버피팅을방지할수있는드랍아웃 (drop-out)[23] 개념을소개하여프리트레이닝에서보다훨씬더간단하고강력한형태로오버피팅을방지할수있게되었다. 딥러닝은엄밀히말하면새로운개념이아니다. 전술한바와같이이미 1965 년부터학자들이연구하고고심해온것으로, 최근딥러닝이다시부활하게된것은오버피팅문제가어느정도완화되고하드웨어가발전함으로인해느린학습시간의문제가해결됨으로인한자연스러운현상으로봐야할것이다. 또한, 과거에는대부분의도메인에서데이터를수집하는양이제한적이어서학습에사용할수있는데이터가많지않았다. 이러한적은양의데이터가상대적으로복잡한학습표현에적용될경우, 언더피팅 (underfitting) 14
기획시리즈 인공지능 을유발할수있다. 그러나, 빅데이터의시대를예로들어소셜네트워크와같은분야에서 는엄청난양의데이터가쏟아져나옴으로인해학습데이터의양이방대해져서더복잡한 개념이나표현을학습하는것이용이해졌기때문이다. 2. 컨볼루션신경망컨볼루션신경망 (Convolutional Neural Network: CNN) 은기본적으로동물의시각령을흉내내어뉴런들의연결패턴을구성한전방향인공신경망 [24] 이다. CNN 은동물의시각령처럼하위레이어들에서전처리 (preprocess) 를수행하도록설계되었다. 즉, 하나또는여러개의컨볼루션레이어와그위에올려진일반적인인공신경망레이어들로이루어져있다. 또한, 추상화를위해풀링레이어를가지고있다. CNN 의이러한구조는 2 차원입력데이터에적합한구조이며, 따라서음성이나영상분야에서좋은성능을보여준다. ( 그림 1) 의 CNN 을더자세히뜯어보면, 우선기존의신경망과비슷하나컨볼루션을통해유의미한특징을추출한다는점이다르다. 또한, CNN 은다른딥러너처럼여러레이어들이스태킹 (stacking) 되어있으며, 레이어들의종류는다양하나, 기본적인레이어들을세가지들자면, 다음의세가지종류의레이어들을가지고있다. - 컨볼루션레이어 (convolution layer): 컨볼루션연산을통해특징들을추출하는레이어 - 풀링레이어 (pooling layer): 입력공간을추상화하는레이어, 예를들어영상데이터의경우픽셀의수가많으면서브샘플링 (sub-sampling) 등의과정을통해차원축소 (dimensionality reduction) 의효과를얻는다. Feature maps Input f.maps f.maps Output Convolution Subsampling Convolutions Subsampling < 자료 > By Aphex34-Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=45679374 Fully connected ( 그림 1) 컨볼루션신경망 (Convolutional Neural Network: CNN) 정보통신기술진흥센터 15
- 전방향레이어 (feedforward layer): 최상위레이어들에서마지막에적용되며, 하위레이어에서전달된특징들을분류하는역할을한다. 일반적인신경망처럼행동한다. 기본적으로학습모델은추론과정과학습과정을가지게된다. 추론과정은학습된내용을기반으로새로운입력에대해답을얻어내는과정이며, 학습은주어진학습데이터를기반으로최적의추론을수행하기위해추론구조또는학습패러미터 ( 가중치 ) 들을설정하는데, 간단히말하면귀납적으로배우는단계로볼수있다. CNN 의추론과학습은표준적인오류역전파학습알고리즘이나그보다더단순한공식들을통해수행될수있다. CNN 의전방향레이어의경우, 일반전방향다층퍼셉트론 (Feedforward Multilayer Perceptron: MLP) 처럼추론을위해서는하위레이어의출력에대해가중치를곱한것에대한바이어스의합을시그모이드함수와같은활성함수 (activation function) 에통과시킨값이된다. 학습의경우도전방향 MLP 처럼실제값과예측값에서구해지는에러값에대해가중치, 바이어스등을그레디언트 (gradient) 를구해업데이트하는방향으로이루어진다. CNN 의컨볼루션레이어의경우, 전방향레이어와크게다르지않으나, 하나의필터를하나의이미지에적용하는역할을하므로하나의레이어에대해각노드들에특정가중치는모두동일하게된다. 하나의이미지가여러픽셀들에대해동일한필터를적용하는것이일반적인전처리과정으로각각의픽셀에대해동일한가중치집합이적용된다고보면될것이다. 또한가지다른점은하위레이어노드에서상위레이어노드의연결형태를보면, 완전히연결된그래프 (fully connected graph) 의형태가아니다. 즉, 필터가이미지전체에적용되는것이아니라, 이미지의일부에적용되는형태인것이다. 따라서, 이미지의어느픽셀이어느출력에영향을주는지를알고있어야한다. 풀링레이어는서브샘플링을수행하는방법으로여러개의픽셀들을하나의픽셀로사상 (mapping) 시키는추상화를수행한다. 이론적으로는여러가지방법의서브샘플링이수행될수있으나최대값을반환하는맥스풀링기법이주로사용된다. 2009 년에는미시건대학앤아버캠퍼스의이홍락교수에의해컨볼루션딥빌리프네트워크 (Convolutional Deep Belief Network: CDBN)[25] 가개발되었고, 기존 CNN 과구조적으로매우비슷하여이미지의 2 차원구조를잘이용할수있으며, 동시에딥빌리프네트워크 (Deep Belief Network: DBN)[26] 에서의프리트레이닝 (pre-training) 에의한장점도취할수있다. 16
기획시리즈 인공지능 3. 딥빌리프네트워크딥빌리프네트워크 (Deep Belief Network: DBN)[26] 는기본적으로생성그래피컬모델 (generative graphical model) 이다. 생성모델은배우고자하는것을생성해내는방식으로고안된모델을의미하는반면, 판별모델 (discriminative model) 은서로다른클래스들을서로구별하려는방식으로고안된모델을말한다. 예를들어, 나이브베이스는생성모델인반면, 오류역전파알고리즘을사용하는 MLP 은판별모델로볼수있다. DBN 은생성모델이므로프리트레이닝을통해초기가중치를학습한후, 오류역전파알고리즘이나다른판별모델을위한알고리즘을통해가중치를미세조정할수있다. 이러한특성은학습데이터가적을때유용하며, 이는학습데이터가적을수록가중치의초기값이결과적인모델에끼치는영향이커지기때문이다. 프리트레이닝된가중치초기값은임의로설정된가중치초기값에비해최적의가중치에가깝게되고이는미세조정단계의성능과속도향상을가능하게한다. 다른관점으로는 DBN 은잠재변수 (latent variable) 의다중레이어들로이루어진네트워크임을알수있다. DBN 은비지도방식으로레이어마다학습을진행하는데이때각각의레이어는보통리스트릭티드볼쯔만머신 (RBM)[26] 이나오토인코더 [27] 의형태를띄고있다. RBM 은에너지기반의생성모델로가시유닛 (visible unit) 과은닉유닛 (invisible unit) 으로이루어진무방향이분그래프 (undirected bipartite graph) 이다. 이분그래프이므로가시유닛들과은닉유닛들사이에만연결이존재한다. 따라서, DBN 의레이어간에는연결이있지만레이어내의노드들간에는연결이없다. 기본적으로볼쯔만머신의학습은엄청난양의계산을요구하지만, RBM 의경우, 컨트래스티브디버전스 (Contrastive Divergence: CD) 를통해비교적적은양의연산으로학습이가능해진다. ( 그림 2) 와같이, 우선 DBN 은프리트레이닝단계에서는 RBM 들을한레이어를학습한후그가중치를그대로고정 (freeze) 하여쌓아올리고 (stacking), 그위의다음레이어의학습으로넘어가는방식으로훈련시킨다. 다시말하면, 한레이어의 RBM 들이훈련되고나면다른레이어의 RBM 들이그위에쌓아올려짐으로써다중계층모형을형성한다. 이미훈련된 RBM 의최상위계층이새로쌓이는레이어의 RBM 들의입력으로쓰이고, 이입력을이용하여새 RBM 이훈련하여원하는만큼의계층이쌓일때까지해당과정이반복된다. 물론이러한그리디메커니즘 (greedy mechanism) 이사용되는이유는로그우도 정보통신기술진흥센터 17
RBM RBM RBM < 자료 > http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/public/deepbeliefnetworks ( 그림 2) 딥빌리프네트워크 (Deep Belief Network: DBN) 함수를직접구하는것이어렵기때문이며, 대신로그우도의하한 (lower bound) 을구하고, 이를최대화하는패러미터를찾다가제시된대안으로볼수있다. 학습된 DBN 을생성모델로서더세밀하게학습 (fine tuning) 시키기위해서는 Wake- Sleep 알고리즘을사용한다. DBN 은기본적으로생성모델이므로, 학습된 DBN 으로데이터를판별하고자한다면, 별도의방법을사용해야한다. 주로, DBN 의패러미터들을시그모이드활성함수를사용하는전방향신경망 (feedforward neural network) 에대입하여오류역전파알고리즘으로학습하는방법이나또는 RBM 이 associative memory 역할을하므로이에레이블레이어를추가하여 class-rbm 을구성하는방법이다. 4. 딥 Q-러닝강화학습에서기본적으로문제의설정이타학습들과다른점은다음과같다. 어떤환경을탐색하는에이전트가현재의상태를인식하여어떤행동을취하면, 에이전트는환경으로부터포상 ( 양수와음수둘다가능 ) 을얻게된다. 강화학습의알고리즘은그에이전트가앞으로누적될포상을최대화하는일련의행동으로정의되는정책을찾는방법이다. 이러한방식의문제가어떤것이있을지생각해보면바로연상되는것이있을것이다. 바둑이나체스와같은게임은이러한강화학습에걸맞은형태의문제이다. 강화학습은여러분야에서연구되었으며, 기계학습분야의경우, 환경을주로유한상태마르코프결정프로세스 (Markov Decision Process: MDP) 로표현한다. 이런관점에서강화학습알고리즘은동적계획법과깊은연관이있다. MDP 에서상태전이확률 (state 18
기획시리즈 인공지능 transition probabilities) 과포상은확률에따른값일수도있고, 이미결정되어있는값일수도있다. 이중에서도 Q 러닝은환경에대한모델을필요로하지않는 model-free 강화학습기법이다. 기본적으로효용기반에이전트는상태들에대한효용함수를학습하고그것을이용하여결과효용의기대값을최대화하는동작을선택한다. Q 러닝에서는 Q 함수 (Qfunction) 라는동작 -효용값함수 (action-utility value function) 를학습하고, 이함수는특정상태에서특정동작을수행하였을때효용의기대값을반환한다. Q 러닝에서는환경에대한모델이필요하지않은대신에자신의동작이어떠한결과를일으킬지알지못하기때문에미래에대한예측력이약한단점이있다. 알파고에서사용된딥 Q 러닝네트워크 [28] 를보면우선검색공간을효과적으로줄이는두가지방안을제시하고있다. 첫번째는위치의평가 (position evaluation) 를통해탐색깊이를줄이는것이다. 상태 s 의서브트리를 s 로부터의출력을예측하는근사치함수 v(s) 를기반으로필요한경우에는 s 이하를잘라버리는것이다. 기본적으로몬테카를로트리탐색기법을통해탐색트리의현재위치에대한기대값 v(s) 를추정하는방법은체스나체커, 오셀로등에서는잘통했지만, 바둑에서는여전히방대한탐색공간문제를해결하지못했다. 두번째방법은주어진위치 s 에서 a 라는이동할때의확률분포 p(a s) 를정책으로하여동작을샘플링함으로써탐색의너비를줄이는것이다. (a) SL 정책네트워크와 RL 정책네트워크 (b) 가치네트워크과정책네트워크 < 자료 > David Silver et al., Mastering the game of Go with deep neural networks and tree search, Nature 529, 484 489, January 2016. ( 그림 3) 네트워크학습절차및구조 정보통신기술진흥센터 19
알파고에서는위치 s 에대한것은컨볼루션신경망에서힌트를얻어비슷하게구현하였다. 보드의위치를 19 19 의크기를가지는이미지로표현하였다. 이를통해 v(s) 에대한가치네트워크과 p(a s) 에대한정책네트워크에대한효과적인깊이및너비탐색을수행한다. 인간전문가의이동을학습데이터로하는지도학습을통해 SL 정책네트워크를학습하고, 강화학습을통해 RL 정책네트워크학습은자신과의플레이를통한결과를최적화하는방법으로 SL 정책네트워크의성능을더욱높인다. 그리고나서 RL 정책네트워크를기반으로게임의승자를예측하는가치네트워크를학습한다. 5. 딥러닝기반공개소프트웨어파이선 (Python) 언어의경우, 몬트리올대학의 Yoshua Bengio 가이끄는그룹인 MILA lab 에서개발한 Theano 라이브러리 (http://deeplearning.net/software/theano/) 를들수있다. Theano 기반으로확장된라이브러리들은 Keras, Pylearn2, Lasagne, Blocks 등이있다. 또한, Google Brain Team 에서공개한 TensorFlow(https://www.tensorflow.org/) 가있다. Matlab 사용자의경우, 컴퓨터비전분야에서유명한매트랩라이브러리 vlfeat 개발자인 Oxford 의 Andrea Vedaldi 교수팀이관리하는라이브러리 MatConvNet(http://www.vlfeat. org/matconvnet/) 가있다. R 언어의경우, 우선 darch 패키지 (https://cran.rstudio.com/ web/packages/darch/index.html) 를들수있으며, 이는 Deep Architectures and Restricted Boltzmann Machines 을의미한다. 또한, H 2 O 패키지와 deep learning toolkit in R 을의미하는 deepnet 패키지 (https://cran.r-project.org/web/packages/deepnet/index.html) 가있다. C++ 의경우, 캘리포니아대학버클리캠퍼스에서개발한 Caffe(http://caffe. Berkeley vision.org/) 가있다. 현재국내에서가장많이사용하고있는라이브러리 C++ 로구현되어임베디드환경과같은척박한환경으로의이식도비교적용이하다는장점이있다. 또한, C++ 로직접사용할수도있지만 Python 과 Matlab 인터페이스도잘구현되어있다. Java 의경우, JVM 을위한과학연산라이브러리인 N-Dimensional Arrays for Java (ND4J: http://nd4j.org/) 가있다. 또한, Java 와 Scala 로작성된첫상용수준의오픈소스 20
기획시리즈 인공지능 분산처리딥러닝라이브러리인 Deeplearning4j(http://deeplearning4j.org/) 가있다. 6. 결론앞에서알파고를언급했지만딥러닝기술은개인비서시스템에도적용되고있다. 예를들어, Siri 를가지고있는애플은최근영국의음성인식및딥러닝회사인 VocalIQ 를인수하였다. VocalIQ 는과거 Siri 의기술을혹평하고자신들의기술이더우월하다고주장한바있다. 애플은기계학습분야에지속적인투자를하고있으며, 최근에는이미지를인식하고분류하는기술을가진딥러닝회사인 Perceptio 를인수하였다. 이미지를인식하고분류하거나, Siri 가주어진이미지를이해하고대응하는기술이아이폰에들어갈날이머지않은것이다. 마이크로소프트의 Cortana 도딥러닝프레임워크를내세우고있는마이크로소프트의프로젝트 Adam 의기술을적용하고있다. 실제로마이크로소프트딥러닝기술센터 (Deep Learning Technology Center) 는 CNTK (Computational Network Toolkit) 이라는딥러닝라이브러리를개발하며깊은관심을보이고있다. 요즘일부학자들은딥러닝이란결국신경망에대한버즈워드 (buzzword) 에불과하다는입장이다. 최근의딥러닝기술들을보면, 과거신경망에대한연구에서지적된근본적인문제중하나가여전히남아있음을알수있다. 그것은바로신경망이블랙박스와같이취급되는문제로, 심지어신경망이제대로수행이되어도그신경망안에든학습된지식자체를우리가이해하고재사용할수없다는문제가있는것이다. 왜딥러닝이좋은성능을내는가, 신경망의학습된바가어떻게이해되고표현되고활용될것인가에대한문제는여전히남아있는것이다. 딥러닝이유행하기전의대부분의기계학습은얕은학습 (shallow learning) 에국한되어있었다. 2014 년이전까지도국내에서전공이기계학습이라고하면사람들이생소하게여기는경우가많았다. 인공지능이라고고쳐서말하면알아듣긴하지만, 그다지열광하지않았고심지어는부정적인반응까지보이기도했다. 2014 년부터주변의학자들이딥러닝과기계학습을언급하기시작했고, 최근알파고와이세돌의대국은사람들에게상당한충격이되었다. 이제인공지능은다시전성기를맞이할것처럼보인다. 그러나, 최근의경향이고무적이긴하나다소우려된다. 요즘많은연구자들이갑자기최신기술이라고기계학습과딥러닝을언급하지만, 제프리힌튼의딥러닝에대한연구 정보통신기술진흥센터 21
성과는하루아침에이루어진것은아니다. 과거 1989 년에 ( 역시딥러너로볼수있는 ) Time-Delay Neural Networks(TDNN)[29] 을제안했던제프리힌튼은그동안딥러닝에대해우직하게꾸준히연구해왔다. 기계학습자체도일부의착각처럼최근의새롭게뜨는그런기술이아니다. 기계학습쪽으로가장권위있는학술대회인국제기계학습학술대회 (The International Conference on Machine Learning: ICML) 는 2016 년으로 33 회를맞이하는꽤오래되고권위있는학술대회이다. 과거인공지능에대한사람들의지나친기대와이에편승하여분수에맞지않는펀딩을하고이를결국소진해버린일부학자나일부연구자들, 그들의제대로지키지못했던약속들, 그리고이에대한사람들의섣부른실망등이겹쳐서, 인공지능기술이도에넘는지나친비판을받아야했던역사를우리는잘알고있다. 인공지능이란어려운문제이다. 이점을겸허히받아들이고거창한결과보다는조그만기술적진보라도이루기위해노력해야할것이다. 제프리힌튼이나얀러쿤과같이우직하게연구하던분들덕분에새로운기회가온건지도모른다. 국내에는개인의명예나부귀보다는지적탐구, 인류진보, 하다못해국가경제기여차원에서이러한기회에어떻게부응할지고민하고계시는분들이더많으리라믿는다. 그렇지는않겠지만만일정부나기업이관성적으로고질적인하청단가인하나지적재산에대한존중없이단기적인결과에만급급한다면, 이번국내의인공지능의붐에서과연새로운혁신이나타날지에대해사실비관적인견해도상당히존재한다. 반복하지만인공지능은어려운주제이다. 심지어세계적인유수의기업들에서도많은실패가나타난바있다. 구글에서는고릴라와흑인여성을구별하지못하는문제가있었고, 최근마이크로소프트의채팅봇테이는욕설과인종차별주의적발언으로서비스가중단되었다. 그럼에도불구하고세계적인기업들중에는인공지능의궁극적목표에대한철학과믿음, 그리고옥석을가리는비전이있는의사결정권자들을가진기업들이있어왔다. 이런기업들은장기적으로혁신을향해나아갈것으로보이지만, 그동안일부국내의연구자나일부기업들이기술에대한유행에대응하는모습을볼때앞으로몇년내에눈에띄는성과가없이실패가반복된다면과거처럼인공지능에대한섣부른불신이다시만연해질수도있다는전망도가능할것이다. 22
기획시리즈 인공지능 < 참고문헌 > [1] SA Cook, The Complexity of Theorem Proving Procedures. Proceedings Third Annual ACM Symposium on Thoery of Computing, May 1971, pp.151-158. [2] Richard M. Karp, Reducibility among combinatorial problems. Complexity of computer computations, Proceedings of a Symposium on the Complexity of Computer Computations, held March 20-22, 1972, at the IBM Thomas J. Watson Center, Yorktown Heights, New York, edited by Raymond E. Miller and James W. Thatcher, Plenum Press, New York and London 1972, pp.85 103. [3] Stephen Grossberg, How does a brain build a cognitive code? Psychological Review, Vol 87(1), Jan 1980, pp.1-51. [4] J.J. Hopfield, Neural Network and Physical Systems with Emergent Collective Computational Abilities. Proc. Natl. Acad. Sci. 79, 2554-2558 [5] Teuvo Kohonen, Self-Organized Formation of Topologically Correct Feature Maps. Biological Cybernetics 43 (1): 59 69, 1982. [6] A. G. Barto, R. S. Sutton and C. W. Anderson, Neuronlike adaptive elements that can solve difficult learning control problems, in IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-13, No. 5, Sept.-Oct. 1983, pp.834-846. [7] S. Linnainmaa, The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master s thesis, 1970, Univ. Helsinki. [8] P. J. Werbos, Applications of advances in nonlinear sensitivity analysis. In Proceedings of the 10th IFIP Conference, Aug 31-Sep. 4, 1981, NYC, pp.762 770. [9] J. L. McClelland, D. E. Rumelhart, & the PDP research group. Parallel distributed processing: Explorations in the microstructure of cognition. Volume II, 1986, Cambridge, MA: MIT Press. [10] DB Parker. Optimal algorithms for adaptive networks: second order back propagation. In: Second order direct propagation, and second order hebbian learning: proceedings of the IEEE first international conference on neural networks. 1987. San Diego, CA. 593-600 [11] Y. LeCun. A theoretical framework for Back-Propagation, in Touretzky, D. and Hinton, G. and Sejnowski, T. (Eds), Proceedings of the 1988 Connectionist Models Summer School, 21-28, Morgan Kaufmann, CMU, Pittsburgh, PA, 1988. [12] S. Hochreiter et al., Gradient flow in recurrent nets: the difficulty of learning long-term dependencies, In S. C. Kremer and J. F. Kolen, editors, A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001. [13] D. H. Hubel and T. N. Wiesel, Receptive fields, binocular interaction and functional architecture in the cat's visual cortex, J Physiol. 1962 Jan; 160(1): 106 154.2. [14] D. H. Hubel, T. N. Wiesel, Receptive fields of single neurones in the cat's striate cortex. The 정보통신기술진흥센터 23
Journal of Physiology 148 (3): 1959, 574 591. [15] A.G. Ivakhnenko, and V.G. Lapa, Cybernetic Predicting Devices. CCM Information Corporation, 1965. [16] A. G. Ivakhnenko, V. G. Lapa, and R. N. McDonough, Cybernetics and forecasting techniques. American Elsevier, NY, 1967. [17] A. G. Ivakhnenko, The group method of data handling a rival of the method of stochastic approximation. Soviet Automatic Control, 13(3):43 55, 1968. [18] A. G. Ivakhnenko, Polynomial theory of complex systems. IEEE Transactions on Systems, Man and Cybernetics, (4):364 378, 1971. [19] K. Fukushima, Neural network model for a mechanism of pattern recognition unaffected by shift in position - Neocognitron. Trans. IECE, J62-A(10):658 665, 1979. [20] LeCun et al., Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1989, 1, pp.541 551. [21] Vladimir N. Vapnik and Alexey Ya. Chervonenkis. On a class of perceptrons. Automation and Remote Control, 25(1):103 109, 1964. [22] G. E. Hinton., Learning multiple layers of representation, Trends in Cognitive Sciences, 11, 2007, pp.428 434. [23] George E. Dahl, Tara N. Sainath, and Geoffrey E. Hinton, Improving Deep Neural Networks for LVCSR Using Rectified Linear Units and Dropout, ICASSP 2013. [24] Yann LeCun, Yoshua Bengio, Geoffrey Hinton, Deep learning. Nature 521 (7553): 436 444, 2015. [25] Honglak Lee, Roger Grosse, Rajesh Ranganath, and Andrew Y. Ng. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. In Proceedings of the 26th International Conference on Machine Learning (ICML), 2009. [26] G. Hinton, Deep belief networks. Scholarpedia 4 (5): 5947, 2009. [27] G. E. Hinton, S. Osindero, Y. W. Teh, A Fast Learning Algorithm for Deep Belief Nets. Neural Computation 18 (7): 1527 1554, 2006. [28] David Silver et al., Mastering the game of Go with deep neural networks and tree search, Nature 529, 484 489, January 2016. [29] A. Waibel, T. Hanazawa, G. Hinton, K. Shikano, and K. Lang, Phoneme recognition using timedelay neural networks, IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol.37, No.3, Mar. 1989, pp.328 339. 24