뇌의기억인출에대한유효 EEG 연결성분석 257 뇌의기억인출에대한유효 EEG 연결성분석 (Analysis on Effective EEG Connectivity of Memory Retrieval in the Brain) 이충연 장병탁 (Chung-Yeon Lee) (Byoung-Tak Zhang) 요약뇌의활성화반응을바탕으로인간의기억과정을이해하고자하는연구는뇌인지및신경과학에서핵심적인연구분야로주목받고있다. 지난수십년간많은연구를통해기억인출에따른뇌의역할이규명되었지만, 최근에는뇌기능과관련된연구가특정역할을담당하는뇌영역들을구분하는방법이아닌각영역간의상호작용및기능적연결성을확인하는방법으로발전하고있다. 특히유효연결성은활성화영역간의인과관계를설명할수있기때문에최근뇌과학연구에서많은관심을가지고있으며, 다양한분석방법이개발되고있다. 본논문에서는기억인출과제수행중기록된 EEG 데이터로부터기억인출에따른뇌영역간유효연결성을계산하는방법을소개하고, 해당영역간의네트워크구조를분석한결과에대해논한다. 실험결과, 기억인출시전두영역, 내측두영역일부, 두정영역일부그리고후두영역일부를포함한뇌영역들이긴밀하게연결되는네트워크구조를보이며, 상전두이랑 (superior frontal gyrus) 영역의경우이들영역전체를아울러정보흐름이나타나는, 허브노드와같은역할을하는것을확인하였다. 키워드 : 유효연결성, 정보흐름, 기억인출, EEG, ddtf 본연구는 2013 년도정부 ( 미래창조과학부 ) 의재원으로한국연구재단의지원 (2010-0018950-BrainNet, 2010-0017734-Videome) 을받아수행되었음 이논문은제40회추계학술발표회에서 뇌의기억처리에대한유효 EEG 연결성분석 의제목으로발표된논문을확장한것임 학생회원 : 서울대학교컴퓨터공학부 cylee@bi.snu.ac.kr 종신회원 : 서울대학교컴퓨터공학부교수 btzhang@bi.snu.ac.kr (Corresponding author임 ) 논문접수 : 2014년 2월 7일심사완료 : 2014년 2월 18일 CopyrightC2014 한국정보과학회 ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지 : 컴퓨팅의실제및레터제20권제4호 (2014.4) Abstract Recent advances in cognitive neuroscience have focused on the role of inter-areal interactions between various specialized brain regions and functional connectivity in human cognition. Decades of neuroimaging and patient lesion studies demonstrated the correlation between the roles of specific brain structures in memory retrieval, however, neuronal mechanisms based on effective connectivity underlying the coordination of this anatomically distributed information processing have remain largely unknown. Here we investigate the information flow network of the human brain during memory retrieval. The experimental results reveal that the episodic memory retrieval involves increase of information flow and densely interconnected networks between the prefrontal cortex, the medial temporal lobe, and some subregions of the parietal and occipital cortex. In this network, interestingly, we found the SFG acted as a hub, globally interconnected across broad brain regions. Keywords: effective connectivity, information flow, memory retrieval, EEG, ddtf 1. 서론 뇌는각영역이유기적으로연결된대규모복합연결망 (large-scale complex network) 으로알려져있으며, 다양한인지과정이이러한신경연결망안에서영역간정보교환및통합을통하여이루어진다 [1,2]. 따라서이연결망에대한연구와이해는신경과학, 인지과학, 그리고뇌정보처리를모사하는정보처리기술연구를위해반드시필요하다. 뇌인지연구의초기에주를이루었던뇌활성영역분석방법은실제인지과제수행중통계적으로유의하게나타나는주요뇌활성영역을확인하는방법으로, 특정인지과정중어떤영역이주로사용되었는가에초점을맞추고분석하는방법이다. 이와달리뇌연결성 (connectivity) 분석방법은각영역들간의연결이어떻게이루어지고있는지를확인하는방법으로, 주요활성영역들간의관계에관심을두고분석하는방법이다. 뇌연결성분석방법은크게구조적 (structural), 기능적 (functional), 그리고유효 (effective) 연결성분석의세가지방법으로분류될수있다 [3,4]. 구조적연결성은뇌의해부학적영역들간의물리적관계 ( 시냅스의수, 형태, 효과, 억제및촉진등의정보 ) 를말하며, 기능적연결성과유효연결성은특정인지과정에따른뇌영역간의기능적상관관계를말한다. 하지만구조적연결성과기능적연결성은방향성을고려하지않는대칭적관계 (symmetrical correlations) 에대한연결강도나상관정도에의해연결성모델을도출하기때문에영역간의인과관계를나타내기힘들다는문제가있다. 유효연결성은이
258 정보과학회논문지 : 컴퓨팅의실제및레터제 20 권제 4 호 (2014.4) 러한문제를보완할수있는분석방법으로, 시계열데이터로부터활성화영역간의비대칭적관계 (asymmetrical correlations) 에따라한영역이다른영역에어떠한영향을미치는가를설명할수있다 [5,6]. 이때두영역사이에서어느한영역으로의방향성을가지는특정한유효연결성을정보흐름 (information flow) 이라고부른다. 유효연결성을측정하는방법으로는동적인과모델 (Dynamic Causal Model), 구조방정식모델 (Structural Equation Modeling), 이전엔트로피 (Transfer Entropy), 그레인저인과관계 (Granger Causality), Directed Transfer Function (DTF), Direct DTF (ddtf) 등이있다 [7]. 본고에서는다변량신호데이터변수들의직접인과관계 (direct causal relations) 를측정하는방법인 ddtf [8] 를이용하여, 뇌전도 (Electroencephalography, EEG) 데이터로부터뇌구조상에서의유효연결성을분석하는방법에대해알아보고, 기억인출과제수행에유의미한상관관계를나타내는주요뇌영역들에대해보고한다. 또한해당영역들간의상호정보흐름양상을네트워크그래프형태로분석한결과에대해논의한다. 2. 연구내용및방법 2.1 기억인출과제실험절차기억인출과정에서의 EEG 데이터획득을위해비디오시청및회상과제프로그램을개발하여실험하였다. 실험에는 EEG 측정및과제수행에동의한대학생및대학원생으로구성된 10명의피험자가참여하였으며, 소정의사례비가지급되었다. 본프로그램을위해사용된실험자극은 27분길이의외화시트콤이며, 내용전개와장소변화를고려하여이비디오를다시 20개의각기다른장면으로나누고, 여기서각각 5초길이의비디오클립과, 시간차를두고이어지는 2개의정지영상을추출한다. 각비디오클립은기억회상과제의인출단계에서인출단서로사용되며, 정지영상들은질의단계에서선택지로사용된다. 전체실험절차는그림 1과같다. 프로그램의첫번째단계에서피험자는실험자극비디오를시청하면서기억을습득한다. 이후 5초간의응시 (fixation) 단계를거친후, 기억인출단계가시작된다. 피험자는제시되는인출단서 (cue) 비디오를시청한후이어지는비디오내용에대해회상한다. 이때인출단서로부터서로다른시간차를두고이어지는 2개의정지영상들이임의의순서로좌우로나뉘어출력되는데, 피험자는이두정지영상의순서가올바른지틀린지를결정하여, 올바르다고생각하면 O 버튼을, 틀리다고생각하면 X 버튼을누른다. 버튼을누르면다음구간으로넘어가며, 총 20회의기억인출단계가반복된다. 그림 1 기억인출과제실험절차 Fig. 1 Procedure of memory retrieval tasks 2.2 EEG 데이터획득및전처리방법실험과제수행시 EEG는은 / 염화은 (Ag/AgCl) 전극들이부착된 128채널의 Quik-cap과 Neuroscan SynAmps Amplifier(Neuroscan, El Paso, TX) 를이용하여측정한다. 이때채널당 1,000Hz로샘플링된 EEG 신호는 0.01~100Hz의대역을갖는대역통과필터를거쳐, 32-bit AD 변환에의해컴퓨터로저장된다. 저장된 EEG 데이터는 MATLAB과 EEG/MEG 처리툴박스인 EEGLAB 및 SIFT[9,10] 를이용하여분석한다. 먼저독립성분분석 (Independent Component Analysis, ICA) 을이용하여 EEG 데이터를신호원영역별로추출한후, 각영역의위치를 3차원두부공간상에투영하기위해 EEGLAB에서제공하는 DIPFIT2 플러그인을이용하여 4-Shell 구형두부모델 (Spherical Head Model) 에적합화 (Fitting) 한다. 이후잡음성분제거를거친 EEG 데이터는실험프로그램을통해기록된타임스탬프에맞추어각단계별로분류된다. 본실험에서는응시단계와기억인출단계의비교를위해각단계의시작시각을기준으로 1초이전부터 2초이후까지, 총 3초동안의데이터를하나의단위로추출하여사용한다. 2.3 유효연결성추정방법기억인출에따른뇌영역간유효연결성을추정하기위해 EEG 데이터의신호원영역들로부터 ddtf를계산한다 [8]. 이를위해먼저전처리된 EEG 데이터를식 (1) 과같은 MVAR 모델로나타낸다. (1) 단, X(t) 는시간 t 에서측정된 k 채널의 EEG 신호값이고, E(t) 는백색잡음을의미하며, C(m) 은모델계수를나타낸다. P는모델의차수이며, 정보지수를최소화하는적합한모델차수를구하기위해 Akaike Information Criterion, Schwarz-Bayes Criterion, Final Prediction Error Criterion, Hannan-Quinn Criterion 방법을사용한다 [11].
뇌의기억인출에대한유효 EEG 연결성분석 259 다음으로전이함수 Y(f) 를식 (2) 와같이구할수있으며, X(f) 는다시식 (3) 과같이나타낼수있다. (2) (3) 단, f 는주파수이고, Δt 는샘플링구간을나타낸다. 전이함수 Y(f) 를정규화한 DTF는식 (4) 와같이정의되며, 이는 j 영역에서 i 영역으로의인과성을나타낸다. (4) ddtf를구하기위해 Full Frequency DTF(ffDTF) 를식 (5) 와같이계산한다. ffdtf는전체주파수의합에대하여정규화함으로써신호의스펙트럼특성이주파수의영향을받지않고, 활성화채널로부터의유출 (outflow) 에대해서만영향을받도록한다. (5) 한편, 파워스펙트럼 (Power Spectrum) S(f) 와부분기여도 (Partial Coherence, pcoh) 는 Y(f) 로부터식 (6), 식 (7) 과같이간단히구할수있다. (6) (7) 단, V는 E(f) 의분산이며, 연산자 는켤레전치 (conjugate transpose) 를의미한다. Rij(f) 는스펙트럼행렬 S(f) 로부터 i 번째행과 j 번째열을제거한것이다. 최종적으로 ddtf는식 (8) 과같이 ffdtf와 pcoh의곱으로계산된다. (8) 여기서 δ ij 는 0과 1 사이의값을가지며, 1에가까울수록 i 영역의신호가 j 영역의영향을받았음을나타내며, j 영역에서 i 영역으로의정보흐름이있음을말한다. 0에가까운값은직접적인영향이없음을나타낸다. 3. 실험결과및고찰 3.1 기억인출에따른주요정보전달활성화영역시간과주파수변화에따른 ddtf를계산하기위해슬라이딩윈도우방식의 MVAR 모델을이용하여, 500 ms 길이의윈도우들을 10 ms 간격으로이동시키면서각채널쌍 (channel pair) 이총 251개의시간공간과 49 개 (2-50 Hz) 의주파수공간으로구성된 ddtf 매트릭스 (128 128 49 251) 를생성하였다. 분석결과전두영역 (Superior Frontal Gyrus, SFG; Middle Frontal Gyrus, MFG, Inferior Frontal Gyrus, IFG; Prefrontal Cortex, PFC), 내측두영역일부 (Medial Temporal Lobe, MTL; Hypothalamus, HYP, Thalamus, THA), 두정영역일부 (Precuneus, PCN; Inferior Parietal Lobe, IPL), 그리고후두영역일부 (Primary Visual Cortex, PVC) 사이에서정보흐름양이증가한것을확인할수있었다. 해당뇌영역들은기존연구들에서도일화기억인출과높은상관관계를보이는것으로보고된바있다 [12-14]. 따라서본실험에서는위 10 개주요활성화영역들간의 90개연결쌍에대한정보흐름양상을분석하였다. 그림 2 기억인출단계와응시단계에서의정보전달비교 (MFG MTL) Fig. 2 Examples of the information flow captured from MFG MTL during fixation and retrieval tasks
260 정보과학회논문지 : 컴퓨팅의 실제 및 레터 제 20 권 제 4 호(2014.4) 그림 3 기억인출과 응시단계 간 정보흐름의 유의미한 차이를 나타내는 시간-주파수 공간 분석 결과 Fig. 3 Time-frequency zone that shows significantly different information flows between memory retrieval and fixation 먼저 기억인출 과정에서 상호작용을 하는 것으로 알 려진 MFG와 MTL 사이의 정보흐름을 알아본 결과는 그림 2와 같다[15]. 기억인출시 2-15 Hz의 주파수 대역 에서 MFG에서 MTL 방향으로의 정보전달 강도가 증 가하는 것이 그림 2(c, d)와 같이 확인되었다. 한편 그 그림 4 기억인출과 응시단계에서의 뇌 영역간 정보흐름 과 유효 연결성 네트워크 림 2(a, b)에서 볼 수 있듯이 개별 EEG 신호를 통해서 Fig. 4 Information flows between brain regions and 도 기억인출에 따라 MFG에서의 신호값이 증가된 것을 networks of the effective connectivity during 알 수 있지만, 이것만으로는 정확한 정보의 유입 방향과 fixation and retrieval tasks 해당 영역간의 상호작용을 설명할 수 없다. 정보흐름 활성화가 이루어지는 특정 시간 및 주파수 뇌 영역간 정보흐름을 연결망 형태로 나타낸 결과는 대역을 찾기 위해, 기억인출 단계와 응시 단계 사이에서 그림 4(b)와 같다. 그림에서 각 노드는 특정 뇌영역을 유의미한 차이를 나타내는 시간-주파수 공간을 독립 이 나타내며, 영역간 정보흐름을 화살표로 표시하였다. 정 표본 T검정(Two-sample t-test)을 이용하여 분석한 보전달이 이루어진 시점은 300 ms이며, 2-30 Hz의 주파 결과는 그림 3과 같다. 0-1000 ms의 시간 대역과 2-30 수 대역에서 발생한 것을 합한 결과이다. 응시 단계에서 Hz의 주파수 대역에서 유의미한 차이(pt-test < 0.05)를 는 전두 영역간 연결, 그리고 후두 영역에서 측두 영역 나타낸다. 1500 ms 주변 시간 대역에서도 유의미한 차 으로의 연결과 같은 일부 지역적인 정보흐름을 보였다. 이를 나타냈지만, 자극 제시 시점으로부터 많은 시간이 반면, 기억인출시 거의 모든 뇌 영역들이 긴밀하게 상호 흘렀기 때문에 기억인출 단서와 관계없는 다른 영향을 작용하는 네트워크 구조를 확인할 수 있다. 일부 노드에 받았을 가능성이 있으므로 분석 대상에서 제외되었다. 서는 양방향으로 정보전달이 이루어지는 반면, 다른 노 3.2 기억 인출에 따른 뇌 영역간 정보흐름 및 연결망 드에서는 한 방향으로만 정보전달이 이루어지는 비대칭 주요 활성화 뇌 영역간 정보흐름을 8 Hz 주파수에 대 성 또한 나타났다. 한편 SFG와 같은 노드는 모든 뇌 하여 0-1000 ms 동안 구한 결과는 그림 4(a)와 같다. 영역을 아울러 정보흐름이 나타나는, 허브 노드와 같은 그림에서 검은색 수평선으로 구분되는 하나의 선형 블 역할을 하는 것을 확인하였다. 록은 9개의 1차원 배열로 구성되는데, 이는 좌측에 표기 된 레이블에 해당하는 뇌 영역으로부터 같은 레이블 순 4. 결론 및 향후 연구 서에 따르는 다른 뇌 영역으로의 정보흐름을 나타낸다. 본 논문에서는 기억 인출 과정에 상관관계를 보이는 검정 결과, 총 90개의 정보흐름 중 80개에서 기억인출에 뇌 영역간 상호작용과 연결망 연구를 위해 뇌 연결성 따른 유의미한 증가(pt-test < 0.05)가 있었다. 분석방법 중 유효 연결성 분석 방법에 대하여 알아보았
뇌의기억인출에대한유효 EEG 연결성분석 261 으며, 이를 EEG 실험데이터에적용하여기억인출과정에따른뇌영역간유효연결성을확인하였다. 유효연결성측정방법중하나인 ddtf를계산하여보인실험결과는응시단계와기억인출단계에서의주요뇌영역간정보흐름의활성화차이를보였으며, 여기서특정영역에서다른영역으로향하는우세한정보흐름이있음을확인하였다. 또한뇌영역간정보흐름을연결망형태로나타낸결과에서는정보인출시뇌영역들이긴밀하게상호작용하는것과특정영역의경우허브의역할을하는것도확인할수있었다. 향후연구에서는기억인출을유도하는문맥정보의차이에따른유효연결성의특성을알아내고자한다. 또한연결망을구성하는특정뇌영역들에서의역할을함께고려하여연결망의기능적인특징을분석하고, 이를이용하여뇌의기억과정메커니즘을닮은정보처리방법을개발할것이다. References Series Analysis, Springer, Berlin, Germany, 2006. [12] R. S. Blumenfeld & C. Ranganath, "Prefrontal cortex and long-term memory encoding: an integrative review of findings from neuropsychology and neuroimaging," Neuroscientist, vol.13, pp.280-291, 2007. [13] K. J. Mitchell & M. K. Johnson, "Source monitoring 15 years later: what have we learned from fmri about the neural mechanisms of source memory?," Psychological Bulletin, vol.135, pp.638-677, 2009. [14] J. B. Hutchinson, M. R. Uncapher & A. D. Wagner, "Posterior parietal cortex and episodic retrieval: convergent and divergent effects of attention and memory," Learning&Memory, vol.16, pp.343-356, 2009. [15] J. S. Simons & H. J. Spiers, "Prefrontal and medial temporal lobe interactions in long-term memory," Nature Reviews Neuroscience, vol.4, pp.637-648, 2003. [1] O. Sporns, "The human connectome: a complex network," Annals of the New York Academy of Sciences, vol.1224, pp.109-125, 2011. [2] H. J. Park & K. Friston, "Structural and functional brain networks: from connections to cognition," Science, vol.342, pp.579-588, 2013. [3] E. Bullmore, O. Sporns, "Complex brain networks: graph theoretical analysis of structural and functional systems," Nature Reviews Neuroscience, vol.10, pp.186-198, 2009. [4] O. Sporns, Networks of the Brain, MIT Press, Cambridge, 2010. [5] K. Friston, "Functional and effective connectivity in neuroimaging: A synthesis," Human Brain Mapping, vol.2, pp.56-78. 1994. [6] B. Horwitz, "The elusive concept of brain connectivity," NeuroImage, vol.19, pp.466-470, 2003. [7] K. Jriston, "Functional and Effective Connectivity: A Review," Brain Connectivity, vol.1, no.1, pp.13-36, 2011. [8] A. Korzeniewska, M. Mańczak, M. Kamiński, K. J. Blinowska & S. Kasicki, "Determination of information flow direction among brain structures by a modified directed transfer function (ddtf) method," Journal of Neuroscience Methods, vol.125, pp.195-207, 2003. [9] A. Delorme & S. Makeig, "EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics," Journal of Neuroscience Methods, vol.134, pp.9-21, 2004. [10] T. Mullen, A. Delorme, C. Kothe & S. Makeig, An Electrophysiological Information Flow Toolbox for EEGLAB, Society for Neuroscience, San Diego, CA, 2010. [11] H. Lütkepohl, New Introduction to Multiple Time