한국컴퓨터그래픽스학회 Korea Computer Graphics Society Vol. 25, No. 2, P. 19~29 효과적인뉴로피드백훈련을위한임계값설정기법 신민철 황해도 윤승현 이지은 수인재두뇌과학, 동국대학교멀티미디어공학과,,, 한성대학교 IT 융합공학부 brain@brainscience.co.kr, hht189@hotmail.com, shyun@dongguk.edu, jieunlee@hansung.ac.kr Auto Thresholding for Efficient Neurofeedback Trainning Min-Chul Shin Hae-Do Hwang Seung-Hyun Yoon Jieun Lee Suinjae Brain Science, Department of Multimedia Engineering, Dongguk University,,, Division of IT Convergence Engineering, Hansung University 요약 본논문에서는임계값자동설정기능을지원하는효과적인뉴로피드백시스템을제안한다. 실시간뇌파의신호처리를통해보상주파수와억제주파수에대한정확한피드백을생성하는알고리즘을설계하고, 이를기반으로치료사가정한목표성공률을얻기위해자동으로임계값을계산하는기술을제시한다. 본논문에서제시한자동임계값설정기술은피험자의이전뇌파패턴을분석하여목표성공률과의차이를최소로하는최적의임계값을계산한다. 다양한조건의실험을통해제안된기법의효율성과안정성을입증한다. Abstract We develop a complete system that includes data collection, signal processing, and real-time interaction for effective neurofeedback training. Our system supports a sophisticated technique to find threshold values which are quite important for effective neurofeedback system. A therapist specifies a target success rate of positive feedback, allowable error and time. The system computes a current success rate and compare it with the target one. If the difference between two rates exceeds the allowable error for allowable time, we find an optimum threshold value to obtain the target success rate by using numerical optimization technique. We conduct several experiments by varying input parameters: target success rate, allowable error and time, and demonstrate the effectiveness of our technique by showing the desired target success rate is stably obtained and systematically controlled by input parameters. 키워드 : 뉴로피드백, 기능성게임, 임계값설정, 뇌파훈련 Keywords: Neurofeedback, Serious Game, Auto Thresholding, EEG Trainning 1. 서론 뉴로피드백 (neurofeedback) 은피험자의실시간뇌파 (electroencephalogram, 이하 EEG) 를분석하여시각또는청각형태의피드백을제공하는뇌과학분야의응용기술이다. 뉴로피드백의원리는피험자의두피에뇌파전극을부착하여뇌파를측정하고, 특정주파수영역의크기 ( 진폭 ) 가임계값 (threshold) 이상이될때, 피드백을제공하여해당뇌파성분이활성화된것을피험자가인지하도록한다. 이와같이피험자가자신의뇌파상태를인지 *corresponding author: Jieun Lee/Hansung University(jieunlee@hansung.ac.kr) Received : 2019.05.20./ Review completed : 1st 2019.05.29. / Accepted : 2019.05.30. DOI : 10.15701/kcgs.2019.25.2.19 ISSN : 1975-7883(Print)/2383-529X(Online) - 19 - 하면서특정뇌파성분을임계값이상으로활성화시키는훈련을반복하면, 원하는뇌파성분을능동적으로제어할수있게된다. 이러한기술은자율신경계나중추신경계를스스로조절할수있음을보여주는것으로학습능력장애, 주의력결핍과잉행동장애 (ADHD), 자폐증등과같은뇌신경계질환의치료나개선을위해부작용이없는비침습적인 (non-invasive) 치료법으로꾸준히연구되고있다 [1, 2] 뉴로피드백은기존의약물치료나수술에비해효과가즉각적
이지못하고, 훈련콘텐츠개발에있어서도해당분야의기술력과임상경험을동시에갖춘개발자가필요하기때문에양질의콘텐츠개발이쉽지않다. 또한시스템의안정성과효율성을갖추기위해다양한임상실험을통한연구가수반되어야하는어려움을갖는다. 그럼에도불구하고, 뉴로피드백훈련은약물치료에비해부작용이거의없고효과지속시간이길고, 학습에있어서매우중요한인지수행기능에도움이되는등다양한분야로의확장성이크다는장점이있다. Veron [3] 등은지속적인임상연구와기술개발을통해다양한훈련프로토콜이갖춰진다면뉴로피드백훈련의효과를극대화할수있다고주장하였다. 뉴로피드백시스템에서기본적으로전제되어야하는것은정확한뇌파신호의획득이다. 신뢰도높은뇌파신호를얻기위해서는첫째, 두피전극의저항을최소화해야한다. Ferree [4] 등은정밀한디지털필터와고입력임피던스증폭기 (high input impedance) 를사용하여두피전극의저항을최소화하는방법을제안하였다. 둘째, 뇌파측정시발생할수있는근육긴장 (EMG), 안구운동 (EOG) 과같은다른생체신호에의해유발되는뇌파잡음 (EEG artefact) 을제거해야한다. 뉴로피드백의경우실시간으로뇌파신호를처리하여피험자에게피드백하기때문에육안검사를통한잡음제거는불가능하고, 주로 IIR (infinite impulse response) 필터, FIR (finite impulse reponse) 필터등의디지털신호처리기술을사용한다. 뉴로피드백시스템은치료사가사용하는운영 SW와피험자의훈련용 SW로구분된다. 운영 SW는피험자의뇌파진폭값과주파수값을실시간으로확인하는기능이있다. 환자의실시간뇌파상태를확인하여보상주파수 (reward frequency) 와억제주파수 (inhibit frequency) 의임계값을조절함으로써피험자의훈련상황을통제한다. 임계값은훈련효과를결정하는매우중요한요소로작용하는데, 치료사의임상경험이부족하여잘못된임계값이설정될경우훈련효과를얻을수없게된다. 일반적으로훈련용 SW는피험자의뇌파상태를직관적으로인지할수있도록간단한기능성게임 (serious game) 의형태로제공된다. 본논문에서는기존의뉴로피드백시스템에비하여효율적인훈련을지원하는새로운시스템을개발하였다. 시스템은뇌파신호를추출하고증폭하는하드웨어와증폭된뇌파신호의잡음을제거하고분석하는신호처리모듈을포함한다. 운영 SW는치료사가설정한임계값과뇌파신호의분석값을비교하여긍정피드백과부정피드백을생성하는모듈과훈련효과를극대화하기위해서임계값을자동으로계산하는기능을담당한다. 훈련용 SW 는운영 SW와상호연동을통하여긍정피드백을증가시키고, 부정피드백을감소시키는기능성게임콘텐츠의형태로구성된다. 본논문에서개발된뉴로피드백시스템의특징은다음과같이요약될수있다. 효과적인신호처리기술을이용하여높은정확도를갖는실시간피드백을생성한다. 치료사가지정한성공률을얻기위해, 임계값을자동으로계 산하는최적화기반의기술을지원한다. 양질의훈련 SW콘텐츠를쉽고빠르게제작하기위해상용게임엔진과연동이가능하다. 본논문의구성은다음과같다. 제 2장에서는뉴로피드백훈련과관련된이전연구및임상실험결과를소개하고, 제 3장에서는제안된시스템에서뇌파신호를획득하고신호처리를통해파워스펙트럼분석과필터링수행에관한부분을설명한다. 제 4 장에서는실시간으로분석된뇌파신호에서긍정피드백과부정피드백을생성하는방법과효과적훈련을위해임계값을자동으로계산하는방법에대하여설명한다. 제 5장에서는개발시스템의자동임계값설정에대한실험결과를보이고, 끝으로제 6 장에서는본논문의결론과향후연구방향을제시한다. 2. 관련연구 1929년 Hans Berger [5] 가최초로인간의뇌파를측정한이후, Kamiya와 Nowlis [6] 는피험자에게알파파의활동성을말로알려주면피험자는스스로자신의뇌파상태를통제할수있다는것을확인하였다. 뉴로피드백에서사용되는뇌파의주파수대역은감각운동리듬 (sensorimotor rhythm; 12 15Hz, 이하 SMR), 세타파 (theta; 4 7Hz) 그리고하이베타파 (high beta; 22 36Hz) 등이다. Sterman과 Wyrwicka [7] 은고양이의 SMR 을증가시키면운동활동성 (motor activity) 과경련이감소된다는사실을발견하였고, 조작적조건화 (operant conditioning) 을통해서고양이의특정뇌파를증가시킬수있음을보였다. 뉴로피드백은특정주파수대역의뇌파활동성을향상시키고, 동시에다른주파수대역의뇌파활동을억제하기위해설계되었다 [8]. ADHD, 자폐증, 단순틱장애등의정신질환은뇌파와뇌파유발전위 (ERP) 의왜곡현상으로설명될수있으며, 뉴로피드백은이러한질환치료및개선에효과적이라는다양한연구결과가보고되었다 [9, 10, 11, 12, 13, 14, 15, 16, 17]. Sterman 등 [18] 은간질환자를대상으로한연구에서대뇌피질의체성감각중추위치에센서를부착하고 SMR을강화하는뉴로피드백훈련을수행하였다. 훈련결과이전에화학요법으로통제되지않았던 4명의간질환자들의발현이감소되는결과를얻었다. Lubar 등 [8] 은 ADHD의경우 SMR의강화와세타파의억제가발작또는과잉행동성을감소시킨다는연구결과를발표하였다. 뉴로피드백은 ADHD 치료에효과적일뿐만아니라, 빠른반응시간, 공간지각력향상등의학습능력에도영향을준다. Michael 등 [19] 은 SMR을강화시키고, 세타파와베타파의비율을안정화시키는 2가지훈련프로토콜을사용하여뉴로피드백훈련을수행하였다. 훈련결과 SMR 강화와세타 / 베타비율의안정화는빠른반응및공간지각능력과관련된운동에서학습능력향상에도움이된다는실험결과를제시하였다 [20]. 현재세계적으로많이사용되고있는뉴로피드백시스템은 Procomp [21], EEGer [19] 그리고 Bioexplorer [22] 등이있다. - 20 -
Procomp [21] 는많은임상가들이사용하며 8 채널까지지원이가능하고뉴로피드백뿐만아니라바이오피드백훈련까지가능지만, 사용법이복잡한단점이있다. EEGer [19] 는직관적이고단순한사용법을제공하지만, 훈련용콘텐츠가부족하고확장성이부족하다는단점이있다. Bioexplorer [22] 는범용적인바이오피드백시스템을지원하며, 주로해당분야의개발자나연구자에의해사용되고있으나, 빌더의형태이기때문에사용자입장에서는직관적사용이불편하다는단점이있다. 본논문에서개발하는시스템은훈련효과를극대화하기위해보상주파수나억제주파수에대한임계값을자동으로계산하는기능을제공한다. 기존시스템에서는임계값설정을위해뇌파의평균진폭값을더하거나빼는방법 [8], 뇌파의평균진폭값에배수를곱하는방법 [23], 또는일정세션동안일정범위의강화율을유지하도록임계값을설정하는방법 [24] 등이사용되었으나, 이러한기법들은뇌파를정현파로근사하기때문에정확도가떨어진다는단점을보인다. 본논문에서제안하는기법은피험자의이전뇌파의패턴을분석하여설정된목표성공률을보장하는최적의임계값을계산하는기능을지원한다. 3. 뇌파신호의획득및처리 최근높은정밀도를갖는뇌파측정기술들이개발되어뇌파측정의정확도및성능이크게향상되었다. 본논문에서는뇌파측정을위해 OpenEEG 모듈의 P2 통신규약을따르며장시간안정적으로 2 채널뇌파측정이가능한뉴런플렉스 [25] 를사용한다. 뉴런플렉스는 10 비트로표현된 0 1023 사이의원시데이터를초당 256 개씩측정하여 PC로전송한다. 전송된원시데이터는변환과정을통해 512 +512µV 범위의전위값으로변환된다. 변환된 256개의데이터는 32개씩구분되어 8개의패킷 (packet) 에담겨신호처리모듈로전송된다. 신호처리모듈은두가지의분석을수행한다. 첫번째로실시간뇌파신호의 FFT (fast Fourier transform) 변환을통해파워스펙트럼 (power spectrum) 분석수행한다 [26]. 파워스펙트럼분석은시간영역에서측정된뇌파신호를주파수영역의데이터로변환하여각주파수진폭의크기를표시하는분석기법이다. 본논문에서는 8초간측정된 2048개의원시데이터에 FFT 변환을적용하여 0.125Hz 간격으로 0 128Hz 범위에서진폭의크기를계산하여파워스펙트럼분석을수행한다. 그림 1(a) 는 8 초동안에측정된뇌파를나타내며, 그림 1(b) 는분석된뇌파중 0 50Hz 범위에포함된델타, 세타, 알파, 베타, 감마파의파워스펙트럼분석결과를나타낸다. 신호처리모듈의두번째기능은훈련주파수범위에해당하는뇌파신호를추출하기위한필터링기능이다. 이산신호처리를위한디지털필터는주로 FIR (finite impulse response) 과 IIR (infinite impulse response) 방식으로구분된다. FIR 방식은선형 phase를갖는특징이있으며영상처리와같은응용에적합하지만, 뇌파와같은비선형데이터의처리에는적합하지않다. IIR Table 1: Frequency range and type of brainwaves used in neurofeedback training. Name Frequency range (Hz) Frequency type Theta 4-7 Inhibit SMR 12-15 Reward High beta 22-36 Inhibit 방식의필터링기법은이전출력의결과를입력으로이용하는회귀성을포함하여, FIR 방식의필터에비해낮은차수로도효율적으로필터링을수행할수있는장점이있다. 뉴로피드백기술은뇌파신호에서다른생체신호에의한잡음을제거하고, 훈련주파수범위의신호를추출하는과정이반드시필요하다. 이를위해본논문에서는 IIR 방식의영역통과 (band pass) 필터를이용하여표 1과같은주파수범위의뇌파신호를추출한다. 보상주파수인 SMR을추출하기위해본논문에서사용한 IIR 기반의영역통과필터에사용된식은다음과같다 : y[t] = 0.3679 x[t] 0.7063 x[t 1]+0.3679 x[t 2] 1.8702 y[t 1]+0.9706 y[t 2], (1) 여기서 x[t] 와 y[t] 는각각시간 t에서의입력값과출력값을나타내며, 필터의계수는 Iowa Hills Filter Design 시스템 [27] 과타원형다항식 (elliptical polynomial) 을이용하여실험적으로결정하였다. 그림 2(a) 는실시간뇌파신호를나타내며, 그림 2(b) 는 IIR 기반의영역통과필터를이용하여추출된 SMR 신호를나타낸다. 4. 자동임계값계산 4.1 피드백생성 본연구에서제안하는뉴로피드백시스템은세타, SMR 그리고하이베타영역의뇌파신호를분석하여피험자에게피드백을제공한다 ( 표 1). 세타와하이베타의신호는억제주파수로서해당주파수의진폭값이치료사가정한임계값이상일경우부정피드백을생성한다. 반면에 SMR은보상주파수이므로해당주파수의진폭값이치료사가정한임계값이상일경우긍정피드백을생성한다. 이러한원리로생성된피드백은게임의형태로제공되는피험자의훈련용콘텐츠의입력으로전달되어게임의진행요소를결정한다. 결국피험자가원하는형태로게임이진행되도록하기위해서는억제주파수인세파와하이베타의진폭을임계값이하로, 보상주파수인 SMR의진폭을임계값이상으로유지해야한다. 피험자는이러한실시간피드백훈련을통해자신의뇌파상태를스스로조절하는능력을습득하게된다. 이러한훈련메커니즘의핵심은정확한피드백의생성과훈련효과를높이기위한정교한임계값의설정이다. 뇌파는주기와 - 21 -
(a) (b) Figure 1: Real-time power spectrum analysis of brainwave signals (0 50Hz). (a) (b) Figure 2: SMR brainwaves extracted by using a band pass filter: (a) real-time brainwaves, (b) extracted SMR (vertical scale is magnified for better visualization). (a) 진폭을갖는진동파의형태이기때문에주기단위로임계값과비교해야한다. 보상주파수의경우뇌파진폭값이임계값이상인경우에는 SUCCESS로판단하고, 억제주파수의경우임계값이상이면 FAIL로판단한다. 판단결과에따라 SUCCESS인경우긍정피드백을, FAIL인경우부정피드백을생성한다. 그림 3(a) 는보상주파수인 SMR에대하여주기를고려하지않고임계값이상인신호들에대하여부분적으로 SUCCESS 구간을판단한잘못된결과이다. 주기단위로 SUCCESS/FAIL을판단할경우, 그림 3(b) 와같이해당구간전체는 SUCCESS로판단되어야한다. 뉴로피드백의훈련주파수는이산적인값이아닌연속된구간의형태로정의된다. 가령, SMR의경우 12 15Hz사이의신호가섞여있기때문에시간영역에서신호의진폭값과임계값을비교하는것은정확한피드백을생성할수없다. 본논문에서는보다정확한피드백생성을위한방법을제시한다. 제시한기법은 0.125초마다필터링된뇌파신호에 FFT변환을적용하여분석된뇌파신호의파워스펙트럼값과임계값과비교하여 SUCCESS 또는 FAIL을판단한다. 뇌파측정기가초당 256 개 (f s =256) 의데이터를샘플링하므로 0.125초마다 32개의새로운데이터를얻을수있다. 0.125초동안획득한 32개의데이터에대하여 FFT 변환을적용할경우 8Hz(f d =256/32) 의단위로진폭의크기가계산되기때문에정확한분석이어렵게된다. 본논문에서는 0.125초마다새로측정된 32개의데이터와이전인터벌 (b) Figure 3: Judgement for SUCCESS section: (a) inaccurate result, (b) accurate result. (interval) 에서구한 32 개의데이터를합쳐 64 개의데이터에대한 FFT 변환을적용하고, 4Hz 단위로 0 128Hz 사이의진폭을 계산한다. SMR 의경우다음식과같이해당주파수영역에서파 워스펙트럼값의합이임계값이상을경우 SUCCESS 피드백을 생성한다 : E = 15 k=12 (f k ) 2 τ SMR, (2) 여기서 f k 는주파수 k 의진폭값을나타내고, τ SMR 는 SMR 의임 계값을나타낸다. 유사한방법을이용하여억제주파수인세타와 하이베타에대해서도피드백을생성할수있다. 그림 4 는실시 간으로필터링된세타와 SMR 에대하여위에서제시한방법을 - 22 -
이용하여피드백을생성한결과이다. 주파수영역에서결정된피드백과시간영역에서보여지는피드백의결과가일치하는것을확인할수있다. (a) 각각의 E n, (n =1, 2, 32) 를구하고, 이를내림차순으로다음과같이정렬한다 : E 1 E NS E NS +1 E 32. (4) 보상주파수의경우, 원하는성공률 Ŝ를맞추기위해서임계값 τ SMR = E 로결정하면 SUCCESS의수는 N NS +1 S 가되어원하는목표성공률을얻을수있다. 억제주파수의경우, 반대로오름차순으로정렬하여새로운임계값을 E NS 로결정하면목표 +1 성공률을얻게된다. (b) Figure 4: Judgment of SUCCESS/FAIL section: (a) theta wave, (b) SMR. Figure 5: Example of control parameters: target success rate (Ŝ = ), allowable error (ɛ S = 5%) and time (ɛ T =4s). 4.2 자동임계값계산 뉴로피드백훈련이익숙하지않은피험자를대상으로보상주파수 (SMR) 의임계값을너무높게설정한다면, 대부분부정피드백이생성되어훈련콘텐츠는진행이되지않을것이다. 반대로보상주파수의임계값을너무낮게설정할경우, 대부분긍정피드백이생성되어콘텐츠가잘진행되지만피험자는별다른훈련효과를얻지못하게된다. 이러한원리는억제주파수에대해서도동일하게적용될수있다. 따라서훈련의효과를높이기위해서는피험자의현재상태를명확히파악하여보상주파수와억제주파수의임계값을정교하게조절하는치료사의역할이매우중요하다. 본논문에서제안하는뉴로피드백시스템은치료사가보상주파수와억제주파수에대하여목표성공률을설정하는것을지원한다. 시스템은각각의훈련주파수에대하여일정시간동안의 SUCCESS와 FAIL의비율을분석하고, 이를이용하여치료사가목표하는성공률을얻을수있는임계값을자동으로계산한다. 현재시간 t에서성공률 (%) S t 를다음과같이정의할수있다 : S t = N S 0.125 T 100, (3) 여기서 T 는성공률을계산하는일정시간 ( 본논문에서는 8초 ) 을나타내고, N S 는 8초동안에발생된 SUCCESS의회수를나타낸다. 상수 0.125는 SUCCESS가 0.125초간격으로결정되기때문에곱해진다. 치료사가설정한보상주파수 (SMR) 에대한목표성공률을 Ŝ 이라고하자. 식 (3) 로부터현재성공률이 Ŝ 이상이되기위해서는이전 8초동안에발생된성공의횟수 N S 는 Ŝ T 0.125 이상이되어야한다. 식 (2) 을통해 8초동안 0.125초간격으로계산된 이러한방법으로계산된임계값은이전 8초동안발생한뇌파가이후 8초동안에도동일하게반복된다는가정하에유효하다. 그러나실제훈련과정에서는이전 8초와동일한뇌파가반복되지않는다. 따라서위의방법으로계산된임계값이이후의시간에서원하는성공률을보장할수없게된다. 이러한문제를해결하고원하는성공률에근접한최적의임계값을구하기위해서는 m개의이전인터벌의뇌파데이터의패턴을모두고려해야한다. 본논문에서는이전 8개의인터벌 (m =8) 을모두고려하여최적의임계값을구하는기법을제안한다. S t kt (τ) 를이전 k번째인터벌에서임계값 τ에의해결정되는성공률이라고하자. 원하는성공률 Ŝ과이전 8개의인터벌시간동안의각각의성공률차이의누적함수는다음과같이정의될수있다 : E(τ) = 8 w k Ŝ S t kt (τ) 2, (5) k=1 여기서 w k 는이전 k- 번째인터벌에대한가중치이고다음의값을 사용하였다 : w k = { 128 255, 64 255, 32 255, 16 } 255, 8 255, 4 255, 2 255, 1. 255 즉, 훈련과정에서피험자의뇌파는가장최근시간의패턴이반 복될가능성이높기때문에본논문에서는가중치값을이산정규 분포를적용하여위와같이결정하였다. 식 (5) 의 E(τ) 를최소화 하기위해서식 (4) 에서구한임계값을초기값 τ 0 로정하고, 수치 적최적화기법 [28] 을이용하여최적의 τ 를계산하였다. 이러한 최적의임계값은매순간계산되는것이아니고, 현재성공률 S t 와치료사가지정한성공률 Ŝ 의차이가정해진허용오차 (ε S) 를 - 23 -
허용시간 (ε T ) 이상벗어나는경우에한하여임계값의자동계산 이수행된다. 그림 5은성공률 (Ŝ) 을 로지정하고, 허용오차 (ε S = 5%), 허용시간 (ε T = 4 초 ) 로설정한경우를도식화한 결과이다. 이러한자동임계값계산기능은뉴로피드백훈련에서 치료사의역할을보조하고, 훈련의효율성을높일수있는중요한 핵심기술이된다. 4.3 상용게임엔진과연동 본논문에서제안한뉴로피드백시스템은양질의훈련 SW 콘 텐츠를쉽고빠르게제작하기위해상용게임엔진인 unity3d 와 연동기술을지원한다. 세타, SMR, 하이베타가갖는긍정피드백 과부정피드백의조합에따라총 8 가지종류의출력이가능하다. 운영 SW 는생성된피드백의결과를초당 8 번씩훈련용콘텐츠에 UDP 방식으로전송한다 ( 그림 6). 이러한기술은기존훈련용콘 텐츠들이제한적인 SDK 를이용하여제작되는한계를극복하고, 개발자들이게임엔진을이용하여다양한뉴로피드백훈련콘텐 츠를제작하는것을가능하게한다. 그림 6 의비행기게임에서 SMR 의긍정피드백은중간비행 기의속도를높이게된다. 반면에억제주파수의부정피드백은 좌우비행기들의속도를높이거나, 게임의배경화면을어둡게만 든다. 이러한영향으로훈련과정에서발생된긍정피드백은게임 진행에유리한방향으로, 부정피드백은게임진행을방해하는 효과를주어피험자가긍정피드백을높이는방향으로뇌파를훈 련시키게된다. 그림 7 는 unity3d 엔진을사용하여추가적으로 제작된다양한훈련콘텐츠를나타낸다. 그림 7(a) 에서긍정피 드백은여우캐릭터의달리는속도를증가시키고, 부정피드백은 속도감소와화면을어둡게하는효과를준다. 그림 7(b) 에서는 긍정피드백은상자의크기를크게하여떨어지는상자가안정 적으로쌓일수있도록하는반면, 부정피드백은상자의크기를 줄여상자가쌓이는것을방해하는효과를준다. 5. 실험결과 본논문에서제안한자동임계값계산알고리즘은 C++ 언어를 사용하여 Intel i7-4790 3.6 GHz CPU, 16 GB 의메인메모리와 NVIDIA GeForce GTX770 그래픽카드가설치된 PC 에서구현 되었다. 제안된기법의성능을평가하기위해서 30 대성인남성 3 명을피험자로선정하여원시뇌파데이터를 10 분간측정하였다. 먼저원시데이터에 IIR 기반의영역통과필터를적용하여, SMR 영역의뇌파데이터를추출하였다. 추출된 SMR 에대하여임계 값 τ SMR =3.5µV, 목표성공률 Ŝ = 65% 로설정하여, 0.125 초간격으로 SUCCESS 또는 FAIL 의피드백을생성하여전체성 공률을계산하였다. 또한추출된뇌파데이터를별도의파일로 저장하여, 서로다른허용시간과허용오차에대한다양한실험 을반복적으로수행하였다. 표 2은 3명의피험자중에서임의로선정된피험자의실험결과를나타낸다. 첫번째행은자동임계값계산을적용하지않은상태에서설정된임계값에대한성공률을나타낸다. 두번째행은동일한초기임계값에대하여목표성공률을 65% 로설정하고, 성공률오차허용범위를 ε S = 10% 이내그리고오차허용시간을 ε T =1 초로설정하고, 임계값자동계산을통해실험을수행한 결과이다. 10분의 SMR데이터에대하여총 98번의새로운임계값이자동으로계산되었으며, 그결과로 69.2% 의평균성공률 ( 표의마지막열 ) 을얻었다. 세번째행부터다섯번째행까지는동일한조건하에허용오차를점차낮추어실험을수행한결과이다. 허용오차가낮아짐에따라임계값의갱신회수는증가하는것을확인할수있으며결과적으로목표성공률에더가까운결과를얻었다. 여섯번째행부터여덟번째행까지는동일한허용오차에대하여허용시간을변화하여임계값의갱신회수와실제성공률을측정한결과를나타낸다. 허용시간이늘어남에따라임계값갱신의회수는줄어들었으며목표성공률과다소차이를보이는결과를얻었다. 허용시간이 6초인경우 ( 실험 8), 실제평균성공률 (85.5%) 은목표성공률 (65%) 의허용오차범위 (60 ) 에포함되지못하는결과를얻었고, 이는결국허용오차범위밖의데이터에대하여너무긴시간을허용하여실제로충분한회수의임계값갱신이이루어지지않았기때문이다. 그림 8은다양한목표성공률에대하여오차허용범위와오차허용시간을달리했을때, 임계값갱신의회수와실제성공률을그래프로나타낸결과이다. 각각다른목표성공률, 오차허용범위및오차허용시간을적용하여실험을진행하였다. 가로축은목표성공률을나타내며세로축은자동임계값방법에의해달성된실제성공률을나타낸다. 그림 8(a) (c) 에서오차허용시간은 ε T =1s로설정되었으며, 각각다른오차허용범위 (ε S = 3%, 5%, 7%) 를사용하여성능을측정했다. 검정색선은이상적인사례 ( 즉, 목표성공률이실제성공률과같음 ) 를나타내며빨간색선은본논문에서제안한방법을사용하여얻은실제성공률을나타낸다. 두선사이의수직거리는지정된조건에대한오류를나타낸다. 그림 8(d) (f) 및그림 8(g) (i) 는오차허용시간이 ε T =2s, 4s 이고오차허용범위가 ε S = 3%, 5%, 7% 로설정된결과를나타낸다. 표 3는치료사가목표성공률, 오차허용범위와오차허용시간을매 1분마다변경하는다양한유형의실험에따른평균성공률의결과를보여주며, 그림 9는표 3의실험에서실시간으로변화하는성공률을가시화한결과이다. 뇌파데이터는 9분동안측정되며가로축과세로축은각각시간과성공률을나타낸다. 검정색선은치료사에의해지정된목표성공률을나타내고, 빨간색선은본논문에서제안한자동임계값알고리즘에의해계산된실시간성공률을나타낸다. 즉, 각구간별빨간색선의평균값이표 3의평균성공률 ( 마지막열 ) 값에대응된다. 실험결과를통해확인할수있듯이본논문에서제안한임계값자동계산기술은피험자의이전뇌파패턴을분석하여목표성공률에가장근접한성공률을얻을수있는최적의임계값을자 - 24 -
Figure 6: The output of FAIL (theta), SUCCESS (SMR) and FAIL (high beta) is transmitted to a training content through IPC module. (a) (b) Figure 7: Various training contents produced by interworking with commercial game engine. 동으로 계산한다. 뉴로피드백 훈련에서 피험자가 적절한 수준의 긍정 피드백과 부정 피드백을 얻는 것은 훈련 결과에 많은 영향 을 준다. 이러한 상황에서 고정된 임계값을 사용할 경우, 피험자 는 너무 높거나 낮은 성공률을 얻게 되고, 결과적으로 좋은 훈련 효과를 얻지 못하게 될 것이다. 임계값 자동 설정 기술은 이러한 문제점을 해결하기 위한 효과적인 방법으로 활용 될 수 있다. 6. 결론 본 논문에서는 효과적인 뉴로피드백 훈련을 위한 시스템을 제안 하였다. 제안된 시스템은 치료사가 설정한 목표 성공률에 따라 자동으로 임계값을 조절하는 자동 임계값 설정 기능을 포함한다. 제안된 시스템은 설정된 임계값과 실시간 분석된 뇌파의 파워스 펙트럼 분석 값을 비교하여 0.125초 간격으로 정확한 피드백을 생성한다. 생성된 긍정 피드백과 부정 피드백을 분석하여 일정 시간 동안의 성공률을 계산한다. 계산된 성공률이 치료사가 정한 목표 성공률의 오차 범위를 벗어날 경우, 시스템은 피험자의 이 전 뇌파 패턴을 분석하여 목표 성공률을 얻을 수 있는 최적화된 임계값을 자동으로 계산한다. 본 논문에서는 다양한 실험 결과를 통해서 효과적으로 목표 성공률과 일치된 임계값 계산이 가능하 다는 것을 보였다. 이러한 임계값 자동 설정 기능은 뉴로피드백 훈련에서 훈련의 효과를 높일 수 있으며, 치료사와 피험자의 기 존 1:1 훈련 방식의 한계를 극복하여 다수의 피험자를 한 명의 치료사가 관리할 수 있도록 하여 훈련의 효율성을 높일 수 있을 것으로 기대된다. 현재 개발된 시스템을 활용하여 피험자들에 대한 실제 뉴로 피드백 훈련을 수행 중에 있으며, 향후 연구에서는 훈련 전/후에 대한 성과 분석을 통해 본 논문에서 제안한 임계값 자동 설정 기 술의 실용성을 입증하고, 한계점에 대한 보완 기술을 개발할 예 정이다. 감사의 글 이 성과는 2019년도 정부(교육부, 미래창조과학부)의 재원으 로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF2018R1D1A1B07048036, NRF-2016R1A2B1013213) References [1] L. Farwell and E. Donchin, Talking off the top of your head: toward a mental prosthesis utilizing event-related brain po- - 25 -
Table 2: Thresholding experiments for SMR waves. Experiment Target success Allowable Allowable Number of threshold Average success no. rate (%) error (%) time (s) renewal rate (%) 1 65 - - - 73.5 2 65 10 1 98 69.2 3 65 5 1 177 66.9 4 65 3 1 260 66.3 5 65 1 1 320 65.1 6 65 5 2 86 67.1 7 65 5 4 45 68.1 8 65 5 6 33 85.5 45% 55% 65% 75% 85% Allowable Error(%) = 3%, Allowable Time(s) = 1s 45% 55% 65% 75% 85% Allowable Error(%) = 5%, Allowable Time(s) = 1s 45% 55% 65% 75% 85% Allowable Error(%) = 7%, Allowable Time(s) = 1s (a) (b) (c) 45% 55% 65% 75% 85% Allowable Error(%) = 3%, Allowable Time(s) = 2s 45% 55% 65% 75% 85% Allowable Error(%) = 5%, Allowable Time(s) = 2s 45% 55% 65% 75% 85% Allowable Error(%) = 7%, Allowable Time(s) = 2s (d) (e) (f) 45% 55% 65% 75% 85% Allowable Error(%) = 3%, Allowable Time(s) = 4s 45% 55% 65% 75% 85% Allowable Error(%) = 5%, Allowable Time(s) = 4s 45% 55% 65% 75% 85% Allowable Error(%) = 7%, Allowable Time(s) = 4s (g) (h) (i) Figure 8: Experimental results for SMR wave depending various experimental conditions. - 26 -
Table 3: Results for various target success rates changing in real time. Time Target success Allowable Allowable Average success (min.) rate (%) error (%) time (s) rate (%) 1 40 7 4 43 2 45 5 4 44 3 50 3 4 47 4 55 7 2 54 5 60 5 2 57 6 65 3 2 62 7 70 7 1 69 8 80 5 1 80 9 90 3 1 88 Figure 9: Results for various target success rates changing in real time. tentials, Electroencephalography and Clinical Neurophysiology, vol. 70, no. 6, pp. 510 523, 1988. [2] D. C. Hammond, S. Stockdale, D. Hoffman, M. E. Ayers, and J. Nash, Adverse reactions and potential iatrogenic effects in neurofeedback training, Journal of Neurotherapy, vol. 4, no. 4, pp. 57 69, 2001. [3] D. Vernon, T. Egner, N. Cooper, T. Compton, C. Neilands, A. Sheri, and J. Gruzelier, The effect of training distinct neurofeedback protocols on aspects of cognitive performance, International journal of psychophysiology, vol. 47, no. 1, pp. 75 85, 2003. [4] T. C. Ferree, P. Luu, G. S. Russell, and D. M. Tucker, Scalp electrode impedance, infection risk, and EEG data quality, Clinical Neurophysiology, vol. 112, no. 3, pp. 536 544, 2001. [5] P. Gloor, Hans Berger on electroencephalography, American Journal of EEG Technology, vol. 9, no. 1, pp. 1 8, 1969. [6] D. P. Nowlis and J. Kamiya, The control of electroencephalographic alpha rhythms through auditory feedback and the associated mental activity, Psychophysiology, vol. 6, no. 4, pp. 476 484, 1970. [7] W. Wyrwicka and M. B. Sterman, Instrumental conditioning of sensorimotor cortex EEG spindles in the waking cat, Physiology & Behavior, vol. 3, no. 5, pp. 703 707, 1968. [8] J. F. Lubar, M. O. Swartwood, J. N. Swartwood, and P. H. O Donnell, Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in TOVA scores, behavioral ratings, and WISC- R performance, Applied Psychophysiology and Biofeedback, vol. 20, no. 1, pp. 83 99, 1995. [9] The learning curves, http://braintrainer.com. [10] D.Garrett, D.A.Peterson, C.W.Anderson, and M. H. Thaut, Comparison of linear, nonlinear, and feature selection methods for EEG signal classification, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 11, no. 2, pp. 141 144, 2003. - 27 -
[11] O. Faust, U. R. Acharya, L. C. Min, and B. H. Sputh, Automatic identification of epileptic and background EEG signals using frequency domain parameters, International journal of neural systems, vol. 20, no. 02, pp. 159 176, 2010. [12] S. Kuperman, B. Johnson, S. Arndt, S. Lindgren, and M. Wolraich, Quantitative EEG differences in a nonclinical sample of children with ADHD and undifferentiated ADD, Journal of the American Academy of Child & Adolescent Psychiatry, vol. 35, no. 8, pp. 1009 1017, 1996. [13] L. M. Oberman, E. M. Hubbard, J. P. McCleery, E. L. Altschuler, V. S. Ramachandran, and J. A. Pineda, EEG evidence for mirror neuron dysfunction in autism spectrum disorders, Cognitive brain research, vol. 24, no. 2, pp. 190 198, 2005. [14] L. C. Parra, C. D. Spence, A. D. Gerson, and P. Sajda, Recipes for the linear analysis of EEG, NeuroImage, vol. 28, no. 2, pp. 326 341, 2005. [15] G. Rodríguez-Bermúdez and P. J. Garcia-Laencina, Analysis of EEG signals using nonlinear dynamics and chaos: a review, Applied Mathematics & Information Sciences, vol. 9, no. 5, p. 2309, 2015. [23] T. Ros, M. J. Moseley, P. A. Bloom, L. Benjamin, L. A. Parkinson, and J. H. Gruzelier, Optimizing microsurgical skills with EEG neurofeedback, BMC neuroscience, vol. 10, no. 1, p. 87, 2009. [24] M. Arns, I. Feddema, and J. L. Kenemans, Differential effects of theta/beta and SMR neurofeedback in ADHD on sleep onset latency, Frontiers in human neuroscience, vol. 8, p. 1019, 2014. [25] Neuronflex, http://sun-medi.com. [26] M. Frigo and S. G. Johnson, The design and implementation of FFTW3, Proceedings of the IEEE, vol. 93, no. 2, pp. 216 231, 2005. [27] Iowa hills software digital and analog filters, http://iowahills.com. [28] W.-H. Press, S.-A. Teukolsky, W.-T. Vetterling, and B.-P. Flannery, Numerical Recipes in C. Cambridge University Press, 1992. [16] T. Surmeli, A. Ertem, E. Eralp, and I. H. Kos, Schizophrenia and the efficacy of qeeg-guided neurofeedback treatment: a clinical case series, Clinical EEG and Neuroscience, vol. 43, no. 2, pp. 133 144, 2012. [17] Wang.Qiang, Sourina.Olga, and N. Khoa, Fractal dimension based neurofeedback in serious games, The Visual Computer, vol. 27, no. 4, pp. 299 309, 2011. [18] M. Sterman, L. MacDonald, and R. K. Stone, Biofeedback training of the sensorimotor electroencephalogram rhythm in man: effects on epilepsy, Epilepsia, vol. 15, no. 3, pp. 395 416, 1974. [19] EEGer, http://support.eeger.com. [20] M. Doppelmayr and E. Weber, Effects of SMR and theta/beta neurofeedback on reaction times, spatial abilities, and creativity, Journal of Neurotherapy, vol. 15, no. 2, pp. 115 129, 2011. [21] Biofeedback equipment: ProComp infiniti hardware, http://thoughttechnology.com. [22] Bioexplorer, http://www.cyberevolution.com. - 28 -
< 저자소개 > 신민철 2004 년청주대학교언론정보학부학사 2019 년동국대학교멀티미디어공학과공학석사 관심분야 : 컴퓨터그래픽스, HCI https://orcid.org/0000-0002-6425-6772 황해도 2012 년동국대학교멀티미디어공학과공학사 2014 년동국대학교멀티미디어공학과공학석사 2014 년 ~ 현재동국대학교멀티미디어공학과박사과정 관심분야 : 컴퓨터그래픽스, HCI https://orcid.org/0000-0003-2677-7806 윤승현 2001 년한양대학교수학과이학사 2007 년서울대학교컴퓨터공학부공학박사 2007 년 ~ 2013 년동국대학교멀티미디어공학과조교수 2013 년 ~ 2018 년동국대학교멀티미디어공학과부교수 2013 년 ~ 2014 년뉴질랜드빅토리아대학교방문연구원 2018 년 ~ 현재동국대학교멀티미디어공학과교수 관심분야 : 기하모델링및처리, 컴퓨터그래픽스, HCI, 가상 / 증강현실 https://orcid.org/0000-0002-0015-8305 이지은 1997 년이화여자대학교컴퓨터공학과공학사 1999 년포항공과대학교컴퓨터공학과공학석사 2007 년서울대학교컴퓨터공학과공학박사 2008 년 ~ 2018 년조선대학교컴퓨터공학과조교수 / 부교수 2018 년 ~ 현재한성대학교 IT 융합공학부부교수 관심분야 : 기하모델링및처리, 컴퓨터그래픽스, 가상 / 증강현실 https://orcid.org/0000-0001-5692-9263 - 29 -