UI/UX 편집위원 : 이기혁 (KAIST) 뇌전도기반뇌 - 컴퓨터인터페이스기술 조호현, 전성찬 광주과학기술원 요약 본고에서는뇌전도기반뇌-컴퓨터인터페이스기술 (BCI: brain computer interface) 에대해소개를한다. BCI기술에대한전반적인동작원리및방법들

Size: px

Start display at page:

Download "UI/UX 편집위원 : 이기혁 (KAIST) 뇌전도기반뇌 - 컴퓨터인터페이스기술 조호현, 전성찬 광주과학기술원 요약 본고에서는뇌전도기반뇌-컴퓨터인터페이스기술 (BCI: brain computer interface) 에대해소개를한다. BCI기술에대한전반적인동작원리및방법들"

지우 호
5 years ago
Views:

1 UI/UX 편집위원 : 이기혁 (KAIST) 뇌전도기반뇌 - 컴퓨터인터페이스기술 조호현, 전성찬 광주과학기술원 요약 본고에서는뇌전도기반뇌-컴퓨터인터페이스기술 (BCI: brain computer interface) 에대해소개를한다. BCI기술에대한전반적인동작원리및방법들에대해소개하고, BCI기술의상용화를위해해결해야할기술적문제들을바탕으로국내외기술동향과전망을알아본다. Ⅰ. 서론 BCI(brain computer interface) 는사람과컴퓨터의의사소통수단으로뇌의활동을직접적으로반영하는사용자인터페이스 (UI: User Interface) 이다. 사용자의뇌활동에담겨있는의도나상태를컴퓨터에전달해서, 사용자가물리적인움직임없이도컴퓨터에명령할수있게하거나컴퓨터가사용자의상태를파악하고그에맞는정보를제공해주는것이가능하게된다. BCI는 1973년 UCLA 연구팀의Vidal[1] 이처음으로개념을언급한이후, 중증신체장애인 ( 루게릭, 척수손상, 뇌성마비등의환자 ) 을대상으로중점적인연구가시작되었고 [2-4], 영화 Matrix, Avatar 등에핵심소재로소개되기까지하면서일반인에대한연구에서상용화까지굉장한관심을받고있다. 또한그명칭과정의는 BMI(brain machine interface), BRI(brain robot interface) 로불리기도하며계속해서더많은분야를포함하는개념으로확장되고있다 [2,5]. 최근뇌과학기술을이용해뇌세포활동이나자율신경계변화를측정하여소비심리를이해하는뉴로마케팅이주목을받으며실제사용되고있는사례들이나오고있다 [6]. 또한 2008 년미국공학한림원에서는 BCI를 온인류의삶의질향상을위해해결되어야할 21세기의 14가지공학적도전과제로선정하였고, 2000년대초반 MIT Technology Review와 New York Times, Business 2.0 등에서도 BCI를 21세기 8대신기술중의하나로선정하였다 [7]. BCI연구분야에서사용자뇌활동을측정하는방법으로는침습적인방법과비침습적인방법이있다. 침습적인방법으로는두개골을열고뇌신경계활동을측정하는 spike array방식과 ECoG(electrocorticography) 방식의연구결과가미국을중심으로상당히진행되어있다 [8]. Spike array 방식은주로동물을대상으로뇌피질에 Spike array를삽입하여뇌신경계활동을측정하며, 일부연구에서는사람을대상으로시행된연구결과를선보이기도했다 [9]. ECoG방식은두개골을열어대뇌피질에전극을부착해서뇌신경계활동을측정하는방식으로이미미국에서는신체장애인환자를대상으로휠체어 / 로봇을제어하거나컴퓨터게임을하는결과를선보였다 [10]. 비침습적인방법은사용자의두개골및두피외부에서뇌신경계활동을측정하는방식으로, 1900년대들어발달된의료영상기법들 (X-ray, MRI, fmri, PET, SPECT, fnirs등 ) 로인해여러가지가있는데, 주로뇌전도로뇌신경계활동을측정하여구현된 BCI가주를이루고있다. 그이유는뇌전도 (EEG: electroencephalography) 가뇌영상화기술중에서공간해상도는상대적으로다른기술에비해낮지만가장저렴하고인체에부담도없으면서높은시간해상도를가지기때문이다. 실시간으로변화하는뇌의활동을측정하기에는인체부담이나시간해상도성능면, 그리고상용화측면에서뇌전도가알맞다 [11]. 따라서, 통상의 BCI 연구는뇌전도기반 BCI 연구를주로이야기한다. 최근독일에서개최된 BCI 관련학회인 TOBI Workshop 2012 (Tools for Brain-Computer Interaction, 2012년 3월 20-22일 ) 에서는유럽의핵심 BCI 연구팀 ( 독일의 BBCI, 오스트리아의 GRAZ, 등 ), 신체마비환자대표, 기업 CEO, 윤리학자, 들이모였다. 그들은실제사용자를위한 BCI를주제로장애인들이연구자들에게바라는 BCI 시스템, 기업에게바라는점과 BCI 기술의현재어디까지왔는지앞으로전망에대해깊게논의하고, 언론기자들앞에서신체마비환자의 BCI기술데모를보여주기도하였다. 본고에서는이처럼 BCI가현재시점에서당면한기술적인난제들을나열하고, 이런문제들을바탕으로국내외 BCI 기술동향을조사하여정리하였고, 앞으로의 BCI 연구방향및전망을이야기하고자한다. JULY

Ⅱ. 본론 1. 뇌전도기반 BCI시스템개요뇌전도는 1929년독일의 Hans Berger에의해처음으로사람을대상으로측정되었다 [12]. 두부내에같은방향으로뻗어있는수천 / 수만뉴런들이동시에활성화되어이온전류를발생시키면, 전자기파가발생하여두부밖에서측정가능하다.

이렇게얻어진뇌전도데이터는 < 그림 3> 과같이 BCI 시 스템의입력으로들어가게되는데, BCI 시스템은기계학습법 (machine learning) 의단계와비슷하게크게훈련단계 (Calibration Phase) 와시험단계 (Feedback Phase) 로나뉜다 [15]. 그림 3. 뇌전도기반 BCI 시스템의개요 그림 1.

2) 훈련단계에서는사용자로부터반복된뇌신호를대량으로측정해서전처리 (Preprocessing) 를통해불필요한데이터를제거하고, 뇌신호데이터에두드러진특징을추출 (Feature Extraction) 한다음, 특징적인뇌신호를구별하는분류기 (Classifier) 를생성한다.

뇌전도데이터는행렬 ( 전극수 시간샘플수 ) 형태로단순하지만다양한뇌신경계활동이반영되어있다. 최근뇌전도기반 BCI 연구에서가장많이사용되고있는뇌신호로는 < 표 1> 과같이뇌파 (brain wave), ERP(event related potential), SSEP(steady-state evoked potential) 가있다 [7].

2 Ⅱ. 본론 1. 뇌전도기반 BCI시스템개요뇌전도는 1929년독일의 Hans Berger에의해처음으로사람을대상으로측정되었다 [12]. 두부내에같은방향으로뻗어있는수천 / 수만뉴런들이동시에활성화되어이온전류를발생시키면, 전자기파가발생하여두부밖에서측정가능하다. < 그림 1> 과같이뇌전도전극 (EEG electrode) 에는뉴런군들에서발생한전류에의한전위차가연뇌막 (Pia mater) 부터뇌경막 (Dura mater) 과두개골, 그리고피부를거쳐도달하게되어측정되며, < 그림 2> 와같이국제규격인 시스템에따라배치된여러전극으로부터뇌전도데이터를얻게된다 [13]. 이렇게얻어진뇌전도데이터는 < 그림 3> 과같이 BCI 시 스템의입력으로들어가게되는데, BCI 시스템은기계학습법 (machine learning) 의단계와비슷하게크게훈련단계 (Calibration Phase) 와시험단계 (Feedback Phase) 로나뉜다 [15]. 그림 3. 뇌전도기반 BCI 시스템의개요 그림 1. 뇌전도의측정 ( 출처 : Principles of Cognitive Neuroscience, Figure 3.6) 그림 2. The international system ( 출처 : Bioelectromagnetism[14], Figure 13.2) 훈련단계에서는사용자로부터반복된뇌신호를대량으로측정해서전처리 (Preprocessing) 를통해불필요한데이터를제거하고, 뇌신호데이터에두드러진특징을추출 (Feature Extraction) 한다음, 특징적인뇌신호를구별하는분류기 (Classifier) 를생성한다. 이렇게생성된분류기는시험단계에서실시간으로들어오는사용자의뇌신호를분류하고, 분류된결과는로봇팔, 단말기, 휠체어와같은어플리케이션의명령으로입력될수있으며, 어플리케이션의피드백을통해서사용자는자신의의도가전달되었음을확인한다. 대부분의뇌전도기반 BCI 시스템은이러한과정을거치며, 뇌전도로측정되는뇌신호의종류에따라조금씩다르다. 뇌전도데이터는행렬 ( 전극수 시간샘플수 ) 형태로단순하지만다양한뇌신경계활동이반영되어있다. 최근뇌전도기반 BCI 연구에서가장많이사용되고있는뇌신호로는 < 표 1> 과같이뇌파 (brain wave), ERP(event related potential), SSEP(steady-state evoked potential) 가있다 [7]. 대표적인뇌파로는 SMR(sensorimotor rhythm, 혹은 mu rhythm으로불림 ) 가있고, ERP에서는 P300( 자극제시이후 300ms에서나타나는양의피크 ) 와 Error Potential, 그리고 SSEP에서는 SSVEP(steady-state visual evoked potential), SSSEP(steady-state sensory evoked potential) 등이있다. 이들이외에도사용자의상태, 예를들면, 집중, 휴식, 놀람, 피로등의상태에따라나타나는뇌신호가있고, 최근들어사용자의상태를모니터링하고실시간으로해석해주는이른바 passive BCI 연구가주목받고있다 [5]. 48 정보와통신

표 1. 뇌전도기반뇌 - 컴퓨터인터페이스에사용되는대표적인뇌전도신호의종류 뇌파 (brain wave) ERP (event related potential) SSEP (steady-state evoked potential) 뇌전도신호의종류 SMR (sensorimotor rhythm) [16] 알파파 (alpha wave: 8-13Hz) 베타파 (beta

3 표 1. 뇌전도기반뇌 - 컴퓨터인터페이스에사용되는대표적인뇌전도신호의종류 뇌파 (brain wave) ERP (event related potential) SSEP (steady-state evoked potential) 뇌전도신호의종류 SMR (sensorimotor rhythm) [16] 알파파 (alpha wave: 8-13Hz) 베타파 (beta wave: 13-30Hz) 감마파 (gamma wave: Hz) [17] P300[18] Error Potential[19] SSVEP (steady-state visual evoked potential) [20] SSSEP (steady-state sensory evoked potential)[21] ASSR (Auditory steady-state responses)[22] 설명 - 대표적인뇌파로는 SMR(sensorimotor rhythm, 혹은 mu rhythm으로불림 ) - 신체의일부를움직일때와움직임을상상할때, 해당감각운동피질 (sensorimotor cortex) 에서 8-12Hz( 알파파대역 ) 와 18-22Hz( 베타파대역 ) 의뇌신호가감쇄되는현상이일어남 - 신호감쇄현상을 ERD(Event related desynchronization) 이라고부르고, 감쇄되었다가다시회복되는현상을 ERS(Event related synchronization) 이라고부름 - 눈을감았을때눈에띄게나타남 - 휴식상태에나타남 - 활동하지않는뉴런의억제제어와관련이있음 - 기민한상태혹은작업시나타남 - 활동적일때, 분주할때, 불안할때, 집중할때나타남 - 서로다른지각정보를통합할때나타남 ( 예를들어, 시각적인정보와청각정보의통합 ) - 인지했던물체, 소리, 감각과관련된단기기억의회상시짧게나타남 - 자극제시이후 300ms에서측정됨 - 의사결정의처리도유도됨 - 일반적으로 oddball paradigm에의해유도됨 - 사용자가오류를저질렀을때나타나는 ERP - 예로들면, 사용자가 BCI 시스템에명령을잘못내린경우관찰됨 - 일정한특정주파수를가진섬광자극으로인한자연적인반응으로후두엽시각피질의뉴런들이그자극과동일한주파수로반응 - 모니터화면이나 LED를통해자극제시 - 감각피질의뉴런들이일정한특정주파수의촉각자극과동일한주파수로반응 - 일반적으로진동모터로손가락에자극제시 - 청각피질의뉴런들이일정한특정주파수의청각자극과동일한주파수로반응 1.1 SMR BCI (or Motor Imagery BCI) SMR BCI혹은동작상상 BCI(Motor Imagery BCI) 는주로오른손, 왼손, 양발, 혀동작상상에의해 SMR이감쇄하는 ERD 패턴을기계학습적으로인식하여신체어느동작을상상하였는지구분한다 [16]. SMR BCI는다른 BCI와달리, 사용자가임의로원하는조합을생성할수있으며, 움직임을제어하는데직관적이다. 전신마비환자가느끼길마우스커서가마치자신몸의일부인것처럼제어가되었다고보고한바가있다 [23]. 그림 4는동작상상뇌파특징추출에서일반적으로가장많이쓰이는 CSP(Common Spatial Patterns) 라는공간필터로, 오른손움직임을상상할때좌반구에서 SMR이감쇄되는 ERD 패턴이나타나는것을확인할수있다. 실제로움직임상상을피험자에게지시하기가쉽지않은데, 신경생리학자들의최근연구보고에따르면역학적동작상상 (kinesthetic motor imagery) 을하는것이 SMR을유도하는데효과적이다 [16]. SMR BCI의한가지적용사례를들면, 미국의 Wadsworth Center의 BCI 연구팀에서는전신마비환자를대상으로개발한컴퓨터마우스커서제어가있겠다 [3]. 1991년도에 1차원적인 움직임을구현하였고 [24], 2008년도에는 2차원마우스커서움직임 [23], 그리고 2010년에는전신마비환자의동작상상만으로 3차원마우스커서움직임을선보였다 [25]. 1.2 P300 BCI P300 BCI는 1999년 Nature에 Bribaumer가 A spelling device for the paralyzed 라는제목으로최초로소개하였다 [4]. 그원리는사용자가주목하는자극과주목하지않는자극간에 P300의차이가있다는것에기초한다 [18]. 시각, 청각, 촉그림 4. 오른손동작상상에대한 CSP 필터 JULY

각자극에대해 P300 신호가모두발생할수있다. SMR BCI 는 훈련단계 (Calibration Phase) 에서반복적으로서로다른동 작상상뇌전도를측정하지만, P300 BCI 의경우, 빈번한자극 속에특이한자극을섞어서제시하는 oddball paradigm 에따 라실험을해야한다 [18].

3 SSVEP BCI SSVEP 는사람의안구에일정한주파수의섬광자극을주게 되면, 후두엽시각피질의뉴런들도그와동일한주파수로반응 하게되며, 이러한뇌활동이뇌전도를통해서측정되게되는 데, 측정된뇌전도를주파수도메인에서확인해보면안구에제 시한주파수값에피크가있음을확인할수있다 [20].

4 각자극에대해 P300 신호가모두발생할수있다. SMR BCI 는 훈련단계 (Calibration Phase) 에서반복적으로서로다른동 작상상뇌전도를측정하지만, P300 BCI 의경우, 빈번한자극 속에특이한자극을섞어서제시하는 oddball paradigm 에따 라실험을해야한다 [18]. 그림 5 는 P300 BCI 에서가장많이쓰 이는어플리케이션인 P300 타자기 (speller) 이다. 문자행렬이 번갈아가며번쩍일때사용자가주목한행과열에서발생하는 P300 을감지하여원하는문자를입력할수있게된다. 그림 5. P300 Speller ( 출처 : SSVEP BCI SSVEP 는사람의안구에일정한주파수의섬광자극을주게 되면, 후두엽시각피질의뉴런들도그와동일한주파수로반응 하게되며, 이러한뇌활동이뇌전도를통해서측정되게되는 데, 측정된뇌전도를주파수도메인에서확인해보면안구에제 시한주파수값에피크가있음을확인할수있다 [20]. < 그림 6> 과같이 4 가지심볼을서로다른주파수로깜빡이며안구에자 극을주게되면, 4 개의피크가뇌전도의주파수도메인에서측 그림 6. SSVEP BCI 시연 ( 출처 : TOBI 3rd workshop 2012, 독일뷔르츠부르크 ) 정되는데, 원하는명령을내리고자하는심볼에집중하게되면, 현재집중하고있는심볼의주파수피크가다른주파수피크에비해상대적으로높아지게된다 [20]. 이것은우리가시끄러운시장바닥에서내가대화하고있는가게주인의말만듣는것과마찬가지로, 사용자가주시하고있는심볼의주파수를구별하는것이가능하다는것이다. SSVEP BCI는 2000년에 Middendorf 등에의해처음으로소개되었다 [20]. 2. BCI 연구가당면해있는문제및동향 2.1 BCI 문맹 (BCI illiteracy) 컴퓨터를못다루는사람을소위 컴맹 이라부르듯이 BCI 시스템을도무지제어를못하는사람이있다. 이런부류의사용자를 BCI 문맹 이라고부르는데, 2003년도에 Graz BCI 연구팀에서 99명을대상으로 SMR BCI실험을한결과, 93% 의피험자가 30분가량의훈련시간을가진이후, 60% 가넘는정확도 (Classification accuracy) 를보였다 [26]. 2008년도에는독일의 BBCI(Berlin BCI) 연구팀에서 80명을대상으로실험한결과 15-30% 의사용자가구분가능한뇌파의특징이나타나지않는다고한다 [14]. 또한 2009년도에 g.tec이라는오스트리아의의료장비업체에서얼마나많은사람이 P300 BCI를제어할수있는지 81명의피험자를대상으로조사하였는데, 89% 의피험자가 % 의정확도를보였다 [27]. 이것은 SMR BCI의 19% 의피험자가 % 의정확도를보이는것과상당히비교되는결과이다. 본연구팀에서도 70명으로대상으로 SMR BCI 실험을한결과, 위의연구결과와같이 23% 의피험자만이 80% 를넘기는정확도를확인하였다 [28]. 한편, B. Allison팀이수행한 106명의피험자를대상으로 SSVEP 실험결과에따르면, SSVEP BCI 문맹은 10% 미만에해당하는것으로보고되었다 [29]. BCI 문맹을해결할방법은 2000년초반부터지금까지여전히도전과제로남아있다. 이문제를해결하는방법으로는대표적으로 Hybrid BCI[30] 와 Co-adaptive BCI[31] 연구가진행되고있다. 또한, 본격적으로실험에들어가지않고 BCI 문맹을신경생리학적인지식을바탕으로미리예측할수있는방법들이제안되고있는데, 대표적으로독일의 BBCI연구팀에서제안한 SMR 예측법 (predictor) 이있고 [32], 최근에본 GIST 연구팀에서제안한성능예측법 (performance predictor) 이있다 [33]. Hybrid BCI는 SMR BCI와 SSVEP BCI같이둘이상의명령패러다임을동시에사용하는 BCI로, SMR과 SSVEP의하이브리드형, 본연구팀에서연구중인SMR과 SSSEP의하이브리드 50 정보와통신

5 형 [21], 그리고 SMR과 Error Potential의하이브리드형, 등이있다 [34]. 두명령패러다임을동시에사용함으로써, 주로 SMR BCI의부족한정확도나신뢰도 (reliability) 를 SSVEP와 SSSEP신호로보완하는방법으로최근BCI 관련학회에서많이발표되고있다. SMR BCI와 ERP BCI를하이브리드한방법은 SMR BCI로특정어플리케이션을제어할때, 사용자가실수를자각함으로인해나타나는 Error Potential을측정하여, 명령을다시내릴수있게도와, 제어관점에서의신뢰도를높이는방법이다 [19]. Co-adaptive BCI는측정된사용자의데이터를가지고컴퓨터만훈련시키는것이아니라, BCI 문맹인사용자도자신의뇌신호를훈련하여제어정확도를높이는방법이다 [31]. 뉴로피드백 (Neurofeedback) 과동일한방법으로볼수있으며, BCI 문맹을치료하는방법으로주목을받고있다 [35]. 2.2 뇌전도의비정류성 (Non-stationarity) 뇌전도는일반적으로다른뇌영상장치들에비해잡음에매우취약하다 [36]. 사용자가뇌전도측정시움직여도잡음이발생하며, 동공움직임, 눈깜빡임, 턱움직임, 뒷목근육움직임등이모두뇌전도에영향을미쳐잡음으로나타날수있다. 또한사용자의상태에따라동일한사용자임에도불구하고, 어제측정한데이터와오늘측정한데이터가서로다른패턴을보이기도한다. 이러한문제를통틀어뇌전도의비정류성이라고부른다. 이문제의해결책으로는신호원국소화기법 [37] 과기계학습기법을활용한방법이제시된바가있다 [36]. 신호원국소화기술은전극에서측정된뇌신호데이터의신호원을전자기파의물리적인모델을사용하여역추적해냄으로써, 잡음에자유로운정보를추출하는것이다 [37]. 기계학습기법을이용하는사례로는 SMR BCI에서관찰된사용자의뇌신호데이터로부터최적의공간적인특징추출필터를학습시킬때에잡음에대한정보도함께고려하여, 실시간신호처리에서잡음이발생해도강건하게특징을추출하는공간필터를만드는것이다 [36]. GIST연구팀에서도동일한원리를활용하여주파수적인정보와공간적인정보, 그리고잡음에대한정보를동시에최적화하여뇌신호의특징을추출하는필터를제안한사례가있다 [28]. 2.3 긴준비시간과훈련시간일반적으로뇌전도기반 BCI시스템을사용하려면뇌전도모자를쓰고, 각전극을붙일장소에전도성액체 (Gel) 를주입하고, 전극을부착한다. 이러한준비과정에만 20-30분을사용하게된다. 또한장시간뇌전도를사용하게되면전도성액체가말라버려다시재정비를해야하는상황도발생한다. 최근에는전도성액체를사용하지않고측정할수있는뇌전도전극이 나오는가하면 [38], 사용자움직임을자유롭게할수있는무선뇌전도측정장비가등장하여시판되고있다 [39, 40]. 뇌전도측정준비가끝났다고해서, 곧바로뇌신호를이용한어플리케이션 ( 그림 3의 feedback phase) 으로가지는못한다. 사용자마다조금씩다른뇌신호를가지고있기때문에, 컴퓨터혹은사용자와컴퓨터모두상호훈련하는시간이필요하다. 보통 SMR BCI를하기위해서 30분정도의훈련시간이요구된다 [26]. 이러한훈련시간을줄이기위한노력들이있었는데, 대표적인방법들중에는기계학습기법을사용해서사용자독립적인분류기를생성하는방법 [31] 이있고, 신호원국소화기법을이용해서훈련시간을줄이는방법 [41] 등이제안된바있으며, 앞에서언급한 Co-adaptive BCI도훈련시간을줄이는방법으로 15분만에정확도를 80% 가넘는성능을낼수있다고보고되었다 [31]. 2.4 정보전달률 (ITR: Information Transfer Rate) BCI 시스템의정보전달률은짧은시간안에사용자가얼마나많은명령을내릴수있는가를정량화한것이다 [3]. 2010년 D. Plass-Oude Bos, 등이 BCI에따라정보전달률을수치적으로비교한결과를보고했다 [42]. 그결과에따르면, SMR BCI는 28.8(bits/min), P300 BCI는 (bits/min), SSVEP BCI 는 26.4(bits/min) 로 SMR BCI가가장높다. 그러나, 근전도의정보전달률은 99.6(bits/min) 으로 BCI의정보전달률은근전도에비해매우낮다. BCI의정보전달률을높이기위한방안으로는 Multimodal BCI가있다. Multimodal BCI는사람도어떤정보를기억할때, 냄새, 소리등여러가지감각기관을통해들어온정보를종합하는것처럼, 뇌전도신호이외에다른생체신호를동시에사용하여, 정보전달률을높이는방법이다. BCI와근전도를동시에사용하는경우가일반적이며, 서론에서이야기한 TOBI workshop에서는신체마비환자의 Multimodal BCI 데모를시연하였다. 본 GIST 연구팀에서는앞에서언급한 SMR 과 SSSEP를하이브리드하여정보전달률을높이는방안과뇌전도와뇌자도 (Magnetoencephalography) 를동시에측정하여정보전달률을높이는방안을연구하고있다 [21, 43]. 또한 fnirs ( 근적외선으로뇌의혈류변화를계측 ) 와 EEG를동시에측정하여, 정보전달률과정확도, 신뢰도를높이려는시도도있다 [44]. 2.5 UI/UX 실제장애인이나일반사용자들이 BCI를시용하기위해서는그에맞는 UI/UX 디자인또한필수적이다. TOBI 3rd JULY

6 Workshop 2012에서 M. Donegan 교수는다음과같은사항들을 BCI가상용화로가기위한인터페이스로써의중요한항목으로꼽았다 : 1) 예측성 (prediction) 2) 축약과확장성 (Abbreviation, Expansion) 3) 명확성 (Disambiguation) 4) 자판레이아웃의사용빈도 (Frequency of use keyboard layout) 5) 심볼이나문자의선택 (Choice of symbols or text) 이러한사용자입장에서필요한 BCI 시스템디자인에따라, 디자인과공학기술의합의점을찾는사례가나타나고있다. 그한예로, 그림6과같은 UI를보면명령심볼과게임화면이떨어져있어, 어색한느낌을줄뿐만아니라, 명령을내릴때마다게임바깥화면의심볼을주시해야만한다. 게임화면안에조절심볼이들어가있다면, 명령을내리는동안에게임화면도놓치지않을수있을것이다 [45]. 3. 뇌전도기반 BCI의전망실시간으로뇌신호해석을통해서뇌의인지적인활동을모니터링하여사용자의인지상태에대한정보를얻는접근이굉장히주목받고있다. 그러한실례로, 3D TV를볼때느끼는사람의시각피로도를수치적으로정량화하여측정하기위한도구로뇌전도를사용하고있다. 최근광운대학교의이형철교수연구팀이 ERP를이용하여 P300과 P700의신호의지연이 3차원비디오를시청할때크게나타난연구결과를발표하였으며 [46], 독일의 BBCI 그룹에서도비디오해상도에따른시각피로도를정량화하기위해, 뇌전도 ERP를측정하고기계학습기법을응용하여뇌속에서일어나는인지적인요소를정량화한사례가있다 [47]. 이렇게뇌전도는뇌의인지적인요소를실시간으로관찰해낼수있기때문에, 휴먼펙터 (Human Factor) 로서새로운모달리티로인정받고있으며, 최근 passive BCI 라는개념이등장하면서, BCI가포용하는스펙트럼이넓어지고있다. passive BCI 는인지적인모니터링, 사용자의의도정보제공, 상황별해석, 그리고최종적으로감정상태를판단하고전달하는좀더확장된 BCI 개념을말한다 [5]. HCI 관점에서바라본 BCI 조사자료에따르면, BCI는 HCI의다중모달리티상호작용관점에서다음과같은이유때문에무시할수없는하나의모달리티로인정받고있다고한다 [48]: 1) Error potential을통해서, 사용자의실수를감지하여, 향상된사용자오류처리 (Error Handling) 가가능하게한다. 2) 주어진과제수행능력 (task performance) 을향상시켜 준다. 3) 사용자경험을향상시켜준다. 4) 사용자의스펙트럼을넓힌다. Ⅲ. 결론 본고에서는뇌전도기반 BCI의개요와대표적인뇌신호를사용하는 SMR, ERP, SSEP BCI를대략적으로살펴보았고, 세계적으로 BCI가당면해있는큰문제들을살펴보면서연구동향을소개하였다. 미래적으로 BCI기술은 BCI의확장된개념과독보적인모달리티로인정받음으로써심리학, 경제, 의학, 기계공학등의분야에서더많은관심을받게될것으로기대된다. 국내 BCI 연구는아직초기단계에있는수준이지만, 신호처리방법론이나명령패러다임에있어서는뒤쳐지지않는다. 앞에서이야기했던뇌인지와관련된새로운실험패러다임을제시하거나, 3D TV 시청시발생가능한시각피로도정량화와같은새로운응용분야는충분히도전할만하다. 본고를통해국내연구자들이세계적인 BCI 연구현황과전망을이해하는데도움이되고, 국내 BCI 연구자들의저변확대가이루지기를기대한다. 참고문헌 [1] Vidal J. J., Towards direct brain-computer communication, Annual review of Biophysics and Bioengineering, vol. 2, pp , [2] Wolpaw J. R., D.J. McFarland, and T.M. Vaughan, Brain-computer interface research at the Wadsworth Center, IEEE Transactions on Rehabilitation Engineering, vol. 8, no. 2, pp , [3] Wolpaw J.R., Birbaumer N., McFarland D.J., Pfurtscheller G., and Vaughan T.M., Braincomputer interfaces for communication and control, Clinical Neurophysiology, vol. 113, no. 6, pp , [4] Birbaumer N., Ghanayim N., Hinterberger T., Iversen I., Kotchoubey B., Kübler A., Perelmouter J., Taub E., Flor H., A spelling device for the 52 정보와통신

7 paralyzed, Nature, 398, pp , [5] Zander T. O. and Kothe C., Towards passive BCI: applying BCI technology for human machine systems in general, Journal of Neural Engineering, vol. 8, no. 2, , pp.1-5, [6] 지름신확깨우는뉴로마케팅, 과학동아 724호 pp , [7] 안민규, 전성찬, 뇌-컴퓨터인터페이스시스템의작동원리및국내외기술동향, 정보과학회지 29권 04호, pp , [8] Loeb G.E., Allison B.Z., Donchin E., Nascimento O.F., Heetderks W.J., Nijboer F., Shain W.G., Turner J.N., BCI meeting 2005-workshop on signals and recording methods, Neural Systems and Rehabilitation Engineering, IEEE Transactions on, vol. 14(2), pp , [9] MA Nicolelis, Actions from thoughts, Nature, vol. 409 no. 6818, pp , [10] Leuthardt E. C., Schalk G., Wolpaw J. R., Ojemann J. G., and Moran D. W A brain computer interface using electrocorticographic signals in humans, Journal of Neural Engineering, vol. 1, no.2, pp , [11] Blankertz B., Dornhege G., Krauledat M., Curio G., and Müller K.-R., The noninvasive Berlin Brain- Computer Interface: Fast acquisition of effective performance in untrained subjects, NeuroImage, vol. 37, no. 2, pp , [12] Berger H., Über das Elektroenkephalogramm des Menschen, Arch Psychiatry, vol. 99, no. 6, pp , [13] Jasper H. and Penfield W., Electrocorticograms in man: Effect of voluntary movement upon the electrical activity of the precentral gyrus, Arch. Psychiatrie Zeitschrift Neurol., vol. 183, pp , [14] Malmivuo J., Plonsey R., Bioelectromagnetism: Principles and Applications of Bioelectric and Biomagnetic Fields. Oxford University Press. New York, Oxford [15] Blankertz B., Tomioka R., Lemm S., Kawanabe M., and Müller K.-R., Optimizing Spatial Filters for Robust EEG Single-Trial Analysis, IEEE Signal Processing Magazine, pp , [16] Pfurtscheller G., Brunner C., Schlögl A., and Lopes da Silva F.H., Mu rhythm (de)synchronization and EEG single-trial classification of different motor imagery tasks, NeuroImage, vol. 31, no. 1, pp , [17] Kanayama N., Sato A., Ohira H., "Crossmodal effect with rubber hand illusion and gamma-band activity". Psychophysiology, vol. 44, Issue 3, pp , [18] Donchin E., and Coles M. G. H., Is the P300 component a manifestation of context updating?, Behavioral and Brain Sciences, vol. 11(3), pp , [19] Ferrez P. W., and Millan J. del R., Error-related EEG potentials generated during simulated braincomputer interaction, IEEE Transactions on Biomedical Engineering, vol. 55, Issue 3, pp , [20] Middendorf M., McMilan G.. Calhoun G., and Jones K.S., Brain-Computer Interfaces Based on the Steady-state Visual-Evoked Response, IEEE Transactions on Rehabilitation Engineering., vol. 8, pp , [21] Sangtae A., Minkyu A., Hohyun C., and Sung Chan J., "Comparison between ERD based BCI and SSSEP based BCI - Feasibility study for hybrid BCI", Decoder workshop 2012, pp [22] Petitot C., Collet L., and Durrant J.D., Auditory steady-state responses (ASSR): effects of modulation and carrier frequencies, International Journal of Auiology, vol. 44, no. 10, pp , [23] Wolpaw J. R., and McFarland D. J., Control of a two-dimensional movement signal by a noninvasive brain computer interface in humans, Proceedings of the National Academy of Sciences of the United States of America, vol. 101, no. 5, , [24] Wolpaw J. R., McFarlanda D. J., Neatb G. W., Fornerisa C. A., An EEG-based brain-computer interface for cursor control, Electroencephalography JULY

8 and Clinical Neurophysiology, vol. 78, Issue 3, pp , March [25] McFarland D. J, Sarnacki W. A., and Wolpaw J. R, Electroencephalographic (EEG) control of three-dimensional movement", Journal of Neural Engineering, vol. 7, No. 3, , pp. 1-9, [26] Guger C., Edlinger G., Harkam W., Niedermayer I., and Pfurtscheller G., How Many People are Able to Operate an EEG-Based Brain-Computer Interface (BCI)?, IEEE transactions on neural systems and rehabilitation engineering, vol. 11, no. 2, pp , [27] Guger C., Daban S., Sellers E., Holzner C., Krausz G., Carabalona R., Gramatica F., and Edlinger G., How many people are able to control a P300-based brain computer interface (BCI)?, Neuroscience Letters, vol. 462, pp , [28] Hohyun C., Minkyu A., Sung Chan J., "Electroencephalogram (EEG) Based Brain-Computer Interface: Invariant Spatio-Spectral Feature Extraction Algorithm, In Submission [29] Allison B. Z., Lüth T., Valbuena D., Teymourian A., Volosyak I., and Gräser A., BCI Demographics: How Many (and What Kinds of) People Can Use an SSVEP BCI?, IEEE transactions on neural systems and rehabilitation engineering, vol. 18, no. 2, pp , [30] Pfurtscheller G., Allison B. Z., Brunner C., Bauernfeind G., Solis-Escalante T., Scherer R., Zander T. O., Mueller-Putz G., Neuper C., and Birbaumer N., The Hybrid BCI, Front Neuroscience. vol. 4(42), pp. 1-10, [31] Vidaurre C., Sannelli C., Müller K.-R. and Blankertz B., Co-adaptive calibration to improve BCI efficiency, Journal of Neural Engineering, vol. 8, no. 2, , [32] Blankertz B., Sannelli C., Halder S., Eva Hammer M., Kübler A., Müller Kl.-R., Curio G., and Dickhaus T., Neurophysilogical predictor of SMR-based BCI performance, NeuroImage, vol. 51(4), pp , [33] Minkyu A., Hohyun C., Sangtae A., Sung Chan J., "Performance Predictor Using the Neuro- Physiological Factors of an ERD-Based Brain Computer Interface", In Submission [34] Mayea A., Zhangb D., Wangc Y., Gaob S., and Engela A. K., Multimodal Brain-Computer Interfaces, vol. 16(2), pp , [35] Vidaurre C. and Blankertz B., Towards a Cure for BCI Illiteracy, Brain Topography, vol. 23, pp , [36] Blankertz B., Kawanabe M., Tomioka R., Hohlefeld F., Nikulin V. and Müller K.-R., Invariant common spatial patterns: Alleviating nonstationarities in brain-computer interfacing, Advances in Neural Information Processing Systems, vol. 20, [37] Minkyu A., Jun Hee H., Sung Chan J., "Feasibility of Approaches Combining Sensor and Source Features in Brain Computer Interface", Journal of Neuroscience Methods, vol. 204, pp , [38] Babak A. Taheri, Robert T. K., Rosemary L. S., A dryelectrode for EEG recording, Electroencephalography and Clinical Neurophysiology, vol. 90(5), pp , May [39] Gargiulo G., Bifulco P., Calvo R. A., Cesarelli M., Jin C., and Schaik A., A mobile EEG system with dry electrodes, Biomedical Circuits and Systems Conference, BioCAS IEEE, pp , [40] [41] Minkyu A., Hohyun C., Sung Chan J., "Calibration Time Reduction through Source Imaging in Brain Computer Interface (BCI)", HCI International 2011, pp , [42] Plass-Oude Bos D., Reuderink B., Laar B., Gürkök H., Mühl C., Poel M., Nijholt A., and Heylen D., Brain-Computer Interfacing and Games, BRAIN- COMPUTER INTERFACES Human Computer Interaction Series, Part 2, pp , [43] Minkyu A., Hohyun C., Santae A., Sung Chan J., "Single Imaging Modalities and Multimodality in Brain Computer Interface - MEG, EEG, and Simultaneous MEG/EEG", TOBI 3rd workshop 2012, pp , [44] Leamy D. J., Collins R., and Ward T. E., Combining 54 정보와통신

fnirs and EEG to Improve Motor Cortex Activity Classification during an Imagined Movement- Based Task, Foundations of augmented cognition, directing the future of adaptive systems, Lecture Notes in

, Usability of video-overlaying SSVEP based BCIs, TOBI 3rd workshop 2012, pp.35-36, 2012. [46] Hyung-Chul O. L., Junho S., Keetaek K. and Seunghyun L.

, Towards a Direct Measure of Video Quality Perception using EEG, submitted to IEEE transactions on image processing, In Submission. [48] Gürkök H. and Nijholt A.

9 fnirs and EEG to Improve Motor Cortex Activity Classification during an Imagined Movement- Based Task, Foundations of augmented cognition, directing the future of adaptive systems, Lecture Notes in Computer Science, vol. 6780/2011, pp , [45] Kapeller C., Hinterműller C., Holzner C., Purz V., Prűckl R., Guger C., Peer A., Jenke R., Martens N., Abu-Alqumsam M., and Schauss T., Usability of video-overlaying SSVEP based BCIs, TOBI 3rd workshop 2012, pp.35-36, [46] Hyung-Chul O. L., Junho S., Keetaek K. and Seunghyun L., Measurement of 3D Visual Fatigue using Event-Related Potential (ERP): 3d oddball paradigm, 3DTV-CON'08, pp , [47] Scholler S., Bosse S., Treder M. S., Blankertz B., Towards a Direct Measure of Video Quality Perception using EEG, submitted to IEEE transactions on image processing, In Submission. [48] Gürkök H. and Nijholt A., Brain Computer Interfaces for Multimodal Interaction: A Survey and Principles, International Journal of Human- Computer Interaction, vol. 28(5), pp , 조호현 전성찬 약력 2010년부경대학교공학학사 2012년 GIST 공학석사 2012년 ~ 현재광주과학기술원정보통신공학부박사과정관심분야 : 뇌-컴퓨터인터페이스, 기계학습, 수치최적화 1991년 KAIST 이학사 1993년 KAIST 이학석사 1998년 KAIST 이학박사 1998년 ~1999년 KAIST 물리학과연수연구원 1999년 ~ 2000년한국표준과학연구원초전도그룹연수연구원 2000년 ~ 2002년 Post-doc, Dept. of Computer Science, University of New Mexico, USA 2002년 ~ 2004년 Post-doc, Biological & Quantum Physics Group, Los Alamos National Lab, USA 2004년 ~ 2007년 Technical Staff Member, Applied Modern Physics Group, Los Alamos National Lab, USA 2007년 ~ 현재광주과학기술원정보통신공학부조교수관심분야 : 뇌생체신호처리및응용, 뇌파 / 뇌자도뇌신호원국소화, 뇌피질자극, 다중뇌영상융합, 의료영상, 대용량 / 실시간신호처리 JULY

발행일 발행처융합연구정책센터 2018 JUNE vol.127 Technology Industry Policy 인간 - 기계상호적응형 BMI 기술 김래현 김보림한국과학기술연구원 융합연구정책센터바이오닉스연구단 융합연구정책센터 Convergence R

발행일 발행처융합연구정책센터 2018 JUNE vol.127 Technology Industry Policy 인간 - 기계상호적응형 BMI 기술 김래현 김보림한국과학기술연구원 융합연구정책센터바이오닉스연구단 융합연구정책센터 Convergence R 발행일 2018. 06. 25 발행처융합연구정책센터 2018 JUNE vol.127 Technology Industry Policy 인간 - 기계상호적응형 BMI 기술 김래현 김보림한국과학기술연구원 융합연구정책센터바이오닉스연구단 융합연구정책센터 Convergence Research Policy Center Technology Policy Industry 융합연구정책센터