ISSN 2383-6318(Print) / ISSN 2383-6326(Online) KIISE Transactions on Computing Practices, Vol. 21, No. 4, pp. 338-342, 2015. 4 http://dx.doi.org/10.5626/ktcp.2015.21.4.338 Echo State Network 모델의은닉뉴런간연결구조에따른성능과동역학적특성분석 (Analyzing Performance and Dynamics of Echo State Networks Given Various Structures of Hidden Neuron Connections) 윤상웅 장병탁 (Sangwoong Yoon) (Byoung-Tak Zhang) 요약시계열데이터를다룰수있는기계학습모델인회귀신경망은되먹임연결을허용하기때문에앞먹임신경망에비해훨씬다양한구조를가질수있다. 본연구에서는은닉뉴런간의네트워크구조에초점을맞추어그것이회귀신경망의정보처리능력에미치는영향을탐구하고자한다. 이를위해회귀신경망모델중하나인 Echo State Network 을기준으로하여, 여러가지잘알려진네트워크모델에따라은닉뉴런간연결을구성하고각각의경우에시계열학습능력과동역학을분석하였다. 그결과, 은닉뉴런의네트워크구조에따라모델의성능이큰폭으로변하는것이관찰되었으며, 그러한현상은신경망동역학이가지는임계도 (criticality) 의변화와잘일치했다. 본연구의결과는기존회귀신경망연구에서주된관심사였던신경망연결가중치뿐만아니라신경망의연결구조가모델의성능에중요한영향을미친다는사실을보여주며, 성능향상을위한중요한단서가될수있다. 키워드 : 시계열데이터, Echo State Network, Recurrent Neural Network, network topology, recurrent connection structure Abstract Recurrent Neural Network (RNN), a machine learning model which can handle time-series data, can possess more varied structures than a feed-forward neural network, since a RNN allows hidden-to-hidden connections. This research focuses on the network structure among hidden neurons, and discusses the information processing capability of RNN. Time-series learning potential and dynamics of RNNs are investigated upon several well-established network structure models. Hidden neuron network structure is found to have significant impact on the performance of a model, and the performance variations are generally correlated with the criticality of the network dynamics. Especially Preferential Attachment Network model showed an interesting behavior. These findings provide clues for performance improvement of the RNN. Keywords: time-series data, echo state network, recurrent neural network, network topology, recurrent connection structure This work was supported by the ICT R&D program of MSIP/IITP 논문접수 : 2014년 9월 15일 (14-824-09-014-Machine Learning Center) and supported in part by (Received 15 September 2014) KEIT grant funded by the Korea government (MKE) (KEIT-10044009) 논문수정 : 2015년 1월 13일 and NRF grant funded by the Korea government (MSIP) (NRF-2010- (Revised 13 January 2015) 0017734-Videome) 심사완료 : 2015년 1월 21일 이논문은 2014 한국컴퓨터종합학술대회에서 회귀신경망모델의은닉뉴런 (Accepted 21 January 2015) 간연결구조에따른성능과동역학적특성분석 의제목으로발표된논문을 CopyrightC2015 한국정보과학회ː 개인목적이나교육목적인경우, 이저작물 확장한것임 학생회원 : 서울대학교협동과정뇌과학전공 swyoon@bi.snu.ac.kr 종신회원 : 서울대학교컴퓨터공학부교수 (Seoul National Univ.) 의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회컴퓨팅의실제논문지제21권제4호 (2015. 4) btzhang@bi.snu.ac.kr (Corresponding author 임 )
Echo State Network 모델의은닉뉴런간연결구조에따른성능과동역학적특성분석 339 1. 서론회귀신경망 (Recurrent Neural Network, RNN) 은과거상태에대한정보를기억할수있기때문에시계열데이터를자연스럽게다룰수있는모델이지만모델의학습이무척어렵다는것이알려져있다. 그에따라다양한최적화기법들이제안되어왔고, 최근에상당한진전이보고된바있다 [1]. 한편, 그러한대부분의연구에서연결가중치의업데이트만이주된관심사였다. 본연구에서는은닉뉴런간연결구조에초점을맞추어, 연결구조가다양한네트워크모델을따를때 RNN의성능과뉴런의발화동역학이어떻게변하는지분석한다. 2. 연구방법 2.1 Echo State Network Jaeger가제안한 Echo State Network(ESN) 은회귀신경망의일종으로, 독특한접근방법을통해회귀신경망의고질적인가중치학습문제를회피하고성능향상을성취하였다 [2]. 그림 1은본연구에사용된, 가장단순한형태의 ESN을보여준다. ESN은보통의 Artificial Neural Network과같이입력 (input), 은닉 (hidden), 출력 (output) 뉴런으로이루어져있으며, 그순서대로정보를전달한다. ESN에서입력-은닉, 은닉-은닉가중치는임의로초기화되며, 오직은닉-출력가중치만감독학습 (supervised learning) 으로업데이트된다. 대신일반적으로입력, 출력에비해아주많은수의은닉뉴런이사용된다. ESN의경우은닉뉴런연결가중치의학습이일어나지않으므로학습알고리즘과무관하게연결구조의영향을분석할수있다. 또한 ESN의구성은일반적인 RNN과실질적으로동일하며, ESN에대해성립하는사실들이 non-esn RNN에도쉽게일반화될수있기때문에본연구의모델로서 ESN을선정하였다. 본연구에서사용된 ESN은입력뉴런 2개 ( 시계열입력과상수 ), 은닉뉴런 200개, 출력뉴런 1개를가지고있으며, 은닉뉴런간의연결을 2.2에소개될네트워크 모델에따라구성하였다. 은닉뉴런의연결가중치는 (-1, 1) 사이에서임의로초기화하였고, 가중치행렬의 spectral radius가 0.7을갖도록 scaling하였다. 2.2 네트워크모델자연계의기저에존재하는네트워크를이해하기위해여러가지네트워크모델이제안되었고성공적으로적용되어왔다. 예를들어, 인터넷연결망은척도없는네트워크 (scale-free network) 모델로설명될수있으며, 지인들의연결망은작은세상네트워크 (small-world network) 로분류할수있다. 각네트워크모델은특정한성질을가지는네트워크를구성하는방법을제시하며, 노드의수등몇가지매개변수를가진다. 본연구에서는널리연구되었거나자연계에존재한다고알려진네트워크모델을바탕으로은닉뉴런간연결을구성하였다. Echo State Network에서기본적으로사용하고있는희소임의네트워크, 통상의 RNN에서널리사용되는완전연결 (fully connected) 네트워크, 가장단순한형태의네트워크인환형격자 (circular lattice), 작은세상성질 (small-world property) 을가진다고알려진 Watts-Strogatz 모델, 노드차수분포가 power law를따르며척도없는네트워크인선호적연결 (preferential attachment) 모델에대해분석을수행했다. 네트워크모델의선정에있어서 [3] 에소개된내용을참고하였으며, 각네트워크모델의구현을위해 CONTEST Toolbox를사용하였다 [4]. 2.3 비선형시계열데이터모델의성능평가를위해 H. Jaeger가제안한비선형시계열학습문제를사용하였다 [5]. 과거의 10단계의입력과출력으로부터다음단계의출력을계산하는문제로서, 이를성공적으로수행하기위해모델은비선형연산능력과과거입출력에대한기억능력을갖추어야한다. 이시계열은식 (1) 과같이주어진다. 식에서 은 번째시점의입력값으로 0에서 1까지임의의값을가지며, 은 번째시점의출력값이다. 식 (1) 본연구에서학습성능지표로사용되는비선형시계열 Eqn. (1) Nonlinear Time-Series Used as a Performance Benchmark 그림 1 Echo State Network 의구조 Fig. 1 The Structure of an Echo State Network 본연구에서수행한실험에서는길이 4400의시계열을만들고, 앞뒤절반으로나누어학습데이터와시험데이터로각각사용했다. 학습이이루어진정도는시험데이터에대한표준근제곱평균오차 (normalized root mean square error, NRMSE) 로측정하였다. 은닉-출
340 정보과학회컴퓨팅의실제논문지제 21 권제 4 호 (2015.4) 력가중치의학습과 NRMSE 계산시, 초기조건에의한영향을무시하기위해학습, 시험데이터의시작하는 200개의데이터포인트를제외하였다. 3. 은닉뉴런연결구조에따른시계열학습능력 2.1에서설명한구조와 2.2에서설명한네트워크모델들에따라여러가지형태의은닉뉴런연결구조를가지는 ESN을만들고시계열학습성능을실험했다. 각네트워크모델의매개변수는시행착오를통해최고의성능을내는것으로선택되었으며, 각네트워크모델의경우에대해 50회씩반복실험을하고그평균과표준편차를그림 2에도시하였다. 편의를위해이하에서각 ESN은자신의은닉뉴런연결구조로지칭되었다. 그림 3을보면, ESN의가장처음제안된형태인희소임의네트워크가가장안정되고좋은성능을보여주었으며, 나머지네트워크는평균적성능이떨어지거나 (FC, Lattice, WS) 불안정했다.(PA) 성능의분산은입력-은닉, 은닉-은닉뉴런간가중치의임의초기화에기인한것으로생각된다. 표 1은다섯가지형태의네트워크구조의성능이서로얼마나다른지정량적으로분석하기위해 Wilcoxon rank sum test를수행하여얻은 p-value를표시한것이다. 각네트워크구조조건을따르는네트워크 200개를만들고, 주어진비선형시계열을학습한시험 (test) NRMSE을측정하였다. 네트워크구조하나당 200개의 NRMSE 값집합을얻은후, 모든서로다른두집합쌍에대해 Wilcoxon rank sum test를수행하였다. 그림 3 은닉뉴런연결구조에따른성능 Fig. 3 Performance with Various Hidden Node Structures SR: Sparse Random, FC: Fully Connected, WS: Watts-Strogatz, PA: Preferential Attachment 표 1 각네트워크구조의테스트성능에대해 Willcoxon rank sum test p-value Table 1 Pairwise p-values from Wilcoxon rank sum test on test performance of network structures FC Lattice WS PA SR 3.0 10-4 7.4 10-26 9.8 10-29 5.2 10-24 FC - 6.2 10-17 2.1 10-19 4.9 10-16 Lattice - - 2.8 10-1 1.4 10-1 WS - - - 5.9 10-1 희소임의네트워크가완전연결네트워크에비해통계적으로유의미하게뛰어난성능을보여주었는데, 많은 non-esn RNN이은닉뉴런간의완전연결구조를사용하고있다는점에서흥미롭다. 이결과는희소임의네트워크의성질을 RNN의성능을향상시키는데에사용할수있다는것을시사한다. 한편, 선호적연결네트워크의성능은매우불안정했으나일부아주뛰어난경우가관찰되었다. 이런특별한성능을보이게하는요인을규명하는것도유의미한후속연구가될것이다. 4. 은닉뉴런연결구조에따른동역학특성 그림 2 네트워크모델의시각화 Fig. 2 Visualization of Network Models 그림 2에서드러난은닉뉴런의네트워크구조에따른성능차이의원인을알아보기위해, 은닉뉴런발화동역학의임계도 (criticality) 를측정하였다. 계의동역학은임계도가작을수록질서상태에가깝고클수록혼돈상태에가까운데, 질서상태와혼돈상태의경계에서계의계산능력이최대가되며그것은 ESN의은닉뉴런들에대해서도마찬가지라고알려져있다 [6]. 측정방법으로 Lazar와동료들이수행했던섭동분석을현재상황에맞게 Hamming distance 대신 Euclidean distance 를사용하는방식으로변형하여적용하였다 [7]. 알려진결과와마찬가지로, 시계열예측능력이좋을수록
Echo State Network 모델의은닉뉴런간연결구조에따른성능과동역학적특성분석 341 연구에서그에대한법칙을자세히규명하지는못하였으나. 이를발전하면아주유용한결과로이어질수있을것이다. 6. 결론 그림 4 은닉뉴런연결구조에따른임계도 Fig. 4 Criticalities of Dynamics with Various Hidden Node Structures Abbreviations are the same as Fig. 3 은닉뉴런발화패턴의임계도가 1에가까웠다 ( 그림 4). 성능이좋지않은네트워크들은낮은임계도를보였는데, 이는발화패턴이정보를처리하기에충분히복잡하지않다는것을의미한다. 다만일부선호적연결네트워크의경우희소임의네트워크보다성능이우수함에도임계도는더낮았다. 낮은임계도를갖지만더좋은성능을보이는예외상황이 [7] 에도보고된바있으나, 완전하게이해되지는않았다. 5. 선호적연결네트워크에대한고찰그림 3에서볼수있듯이선호적연결네트워크의성능은매우불안정하나, 그중일부는다른네트워크들보다월등한성능을보여주고있다는점에서고찰해볼가치가있다. 선호적연결네트워크는나머지네트워크모델과달리비등방적인 (unisotropic) 연결구조를가지고있다. 즉, 다른네트워크에서각노드들은상대적으로균일한위치를가지고있지만, 선호적연결네트워크에서는중심 ( 허브 ) 노드와말단노드의구별이상대적으로명확하다. 이는선호적연결네트워크노드들의연결선수분포는 scale-free 성질을갖기때문이다 ( 이에대해선네트워크분야에서많은연구가이루어졌다 [3]). 등방적인다른네트워크들에선은닉뉴런들의성질이서로비슷하여중복되는정보를표상하게되는경우가발생할수있을것이다. 그런경우주어진학습과제를수행하기위한정보처리능력이줄어든다. 한편, 선호적연결네트워크의경우은닉노드들이각각다양한정보를담게되고이것이학습과제수행에도움이된다고해석해볼수있다. 본연구에서모든연결가중치들은임의로주어졌다는점을생각해볼때, 선호적연결네트워크의특정구조에맞는연결가중치조합이주어지면회귀신경망이좋은성능을낼수있다는가설을생각해볼수있다. 본 본논문에서는 RNN의일종인 ESN에서은닉뉴런간연결구조가성능과동역학에미치는영향을보고하였다. 희소임의네트워크는가장좋은성능과가장질서-혼돈경계에가까운동역학을보여주었으며, 나머지형태의네트워크에서는보다낮은성능과충분히복잡하지않은동역학이관찰되었다. 다만선호적연결네트워크는때때로보다좋은성능을보여주었는데, 이때는하임계적동역학이관찰되었다. 희소임의네트워크의성질과선호적연결네트워크중특이한사례들에대해더연구하여 RNN에적용한다면성능향상을기대해볼수있을것이다. References [1] I. Sutskever, Training Recurrent Neural Networks, University of Toronto, PhD thesis, 2013. [2] H. Jaeger, The "echo state" approach to analysing and training recurrent neural networks, German National Research Center for Information Technology GMD Technical Report 148, 2001. [3] M. E. J. Newman, Networks: An Introduction, Oxford University Press, 2010. [4] A. Taylor, and D. J. Higham, CONTEST: A Controllable Test Matrix Toolbox for MATLAB, ACM Transactions on Mathematical Software, 35, 4, 26, 2009. [5] H. Jaeger, Adaptive Nonlinear System Identification with Echo State Networks, Advances in Neural Information Processing Systems, 593-600, 2002. [6] V. Gómez, A. Kaltenbrunner, V. López, H. J. Kappen, Self-organization using synaptic plasticity, Advances in Neural Information Processing Systems, 513-520, 2008. [7] A. Lazar, G. Pipa, and J. Triesch, SORN: a Self- Organizing Recurrent Network, Frontiers in Computational Neuroscience, 3, 23, 2009.
342 정보과학회컴퓨팅의실제논문지제 21 권제 4 호 (2015.4) 윤상웅 2013 년서울대학교화학생물공학부졸업 ( 학사 ). 2014 년 ~ 현재서울대학교협동과정뇌과학전공석박사통합과정. 관심분야는기계학습, 신경망, 복잡계 장병탁정보과학회컴퓨팅의실제논문지제 21 권제 1 호참조