안정상태시각유발전위에기반한 QWERTY 스타일의정신적타자기시스템구현 연세대학교대학원 의공학과 임정환
안정상태시각유발전위에기반한 QWERTY 스타일의정신적타자기시스템구현 지도서종범교수 이논문을석사학위논문으로제출함 2011 년 12 월일 연세대학교대학원 의공학과 임정환
임정환의석사학위논문을인준함 심사위원 심사위원 심사위원 인 인 인 연세대학교대학원 2011 년 12 월일
감사의글 2008년도에학부졸업논문과관련하여연구실을처음방문한것이엊그제같은데, 벌써석사과정을마무리짓는시기가온것을보니무척이나감개무량합니다. 지난시간을돌이켜보면즐거운일도많았지만저자신에대한좌절등힘들었던일도많이있었습니다. 하지만그때마다많은분들의도움을받아이렇게하나의결실을맺을수있었던것같습니다. 무엇보다도미숙한저를위하여아낌없는조언과가르침을주신, 존경하는임창환교수님께감사의인사를드립니다. 교수님의자상하고세심한지도덕분에무사히석사과정을마칠수있었습니다. 주말에도밤늦은시간까지연구하시는교수님의열정에많은감명을받았으며학문과삶에대한교수님의가르침대로저역시도앞으로최선을다하겠습니다. 또한바쁘신와중에도저를많이챙겨주시며미소로대해주셨던서종범교수님과바쁘신와중에도부심을맡아주신윤대성교수님께도감사드립니다. 학부와석사과정수업을통하여학문에대한많은가르침을주셨던윤형로교수님, 이윤선교수님, 이경중교수님, 김동윤교수님, 윤영로교수님, 김영호교수님, 신태민교수님, 김한성교수님, 김경환교수님, 정병조교수님, 김지현교수님, 이상우교수님, 이용흠교수님께도감사드립니다. 연구와강의로바쁘신와중에도학과를위하여항상노력하시는모습에깊은감명을받았습니다. 또한지난과정동안함께희비애락을나눈연구실식구들에게도감사드립니다. 느림과미소의미학을몸소보여준희제형, 언제나묵묵히모든일에최선을다하는구현왕영진형, 친절하게연구지도를해주었고제가흔들릴때마다잡아주었던사수이자롤모델인한정형, 손발이참잘맞았던도원형 ( 록타르오가르!), 정말일꼼꼼하게잘했던왕엄마재현, 열심히공부하고있을지혜, 군소리없이잔심부름많이해준미선, 앞으로한솥밥많이먹게될창희, 한, 정연과유사한연구를하면
서많은이야기를나눈착한종호형, 선애와신경공학연구실, Micro/Nano 시스템연구실등많은선, 후배님들에게도감사의말씀전하고싶습니다. 또한제가심신이지칠때마다마음의안식처가되어준 ASC, JOY 동아리의여러회원과대학교, 고등학교친구들, 인연이닿아알게된많은사람들에게도고마움을전하고싶습니다. 마지막으로지금까지학업에열중할수있도록믿음과사랑으로보살펴주신가장소중한부모님, 믿음직한동생영재, 많은성원아끼지않으신친지분들, 연구에집중할수있도록물심양면으로지원해주신막내이모, 이모부, 할머님께깊은감사드립니다. 이외에도미처자세히언급하지는않았지만많은도움주셨던분들에게감사의마음전하며이만줄일까합니다. 모두들진심으로감사드립니다. 2011 년 12 월 임정환
차 례 국문요약 제 1 장서론 1 제2장방법 5 2.1 피험자및실험환경 5 2.2 Visual scanning time 측정 6 2.3 정신적타자기시스템제작 8 2.3.1. 정신적타자기제작 8 2.3.2. 깜박임주파수선택 12 2.4 정신적타자기시스템검증 13 2.4.1. 오프라인실험 13 2.4.2. 오프라인분석 13 2.4.3. 온라인실험 14 제3장결과 18 3.1 Visual scanning time 18 3.2 정신적타자기시스템검증결과 19 3.2.1. 오프라인실험결과 19 3.2.2. 온라인실험결과 23 제4장고찰 29 4.1 QWERTY 키보드형태의문자배치 29 4.2 Visual scanning time과시야각의관계 29 4.3 주파수선택 30 4.4 정신적타자기성능 31 제 5 장결론 33 참고문헌 35 Abstract 39
그림차례 그림 2.1 international 10-20 system 5 그림 2.2 visual scanning time을측정하기위해사용한문자배치도 7 그림 2.3 본연구에서제안한 QWERTY 스타일의문자배치 9 그림 2.4 정신적타자기시스템의키보드 ( 정면 ) 10 그림 2.5 LED 채널의전면부 ( 좌 ) 와후면부 ( 우 ) 10 그림 2.6 LED 컨트롤러 11 그림 2.7 S1 피험자의깜박임주파수배치도 16 그림 2.8 온라인실험의한장면 17 그림 2.9 개선된시스템의키보드 17 그림 3.1 두문자배치에대한 visual scanning time 18 그림 3.2 두시야각에서의최적의전극조합의데이터를 1~10초의크기로나누어 H1, H1+H2의특징벡터를사용하여분류한정확도 22 그림 3.3 S1 피험자가 5.6Hz의주파수로깜박이는섬광자극을응시했을때데이터의분석구간의크기에따른 SSVEP 반응변화 22
표차례 표 3.1 오프라인피험자의모든시야각과전극조합에서 10초데이터를 H1+H2 특징벡터를사용하여분류한결과 21 표 3.2(a) S1 피험자의온라인실험결과 (5초데이터사용 ) 24 표 3.2(b) S1 피험자의온라인실험결과 (6초데이터사용 ) 25 표 3.2(c) S1 피험자의온라인실험결과 (7초데이터사용 ) 26 표 3.2(a) S1 피험자의온라인실험결과 (6초데이터사용 ) 27 표 3.2(b) S1 피험자의온라인실험결과 (6초데이터사용 ) 28
국문요약 안정상태시각유발전위에기반한 QWERTY 스타일의정신적타자기시스템구현 뇌-컴퓨터 ( 기계 ) 인터페이스 (brain-computer interface: BCI) 는뇌신경계로부터의신호를측정, 분석하여컴퓨터또는외부기기를제어하거나사용자의의사, 의도를외부에전달하기위한기술을통칭하며, 기존의연구를통해많은 BCI 어플리케이션이발표되었다. 그중에서도사지마비환자들이응시하고있는문자를출력하여그들의생각을표현하는정신적타자기시스템은대표적인 BCI 어플리케이션중하나이다. 이러한정신적타자기시스템에서시스템의성능에영향을미칠수있는요소중하나인 visual scanning time은사용자가출력하고자하는문자를찾는데소모되는시간을의미한다. 그런데대부분의정신적타자기연구들은사용자가문자를응시하는시간에만초점을맞추고있어 visual scanning time에대한연구가부족한실정이다. 본연구에서는사용자에게친숙한문자배열을사용하여사용자가출력하고자하는문자를빠르게찾을수있는정신적타자기시스템을구현하였다. 이를위하여 QWERTY 키보드와비슷한문자배열, 깜박임자극을제시해주는 LED 채널, LED 채널의깜박임주파수를조절하는컨트롤러등을제작및통합하여안정상태시각유발전위 (steady-state visual evoked potential: SSVEP) 를기반으로하는정신적타자기시스템을개발하였다. 본시스템의검증을위해총 7명의피험자가연구에참여하였으며, 기존연구에서많이사용되던행렬형태의문자배열과본연구에서제시한 QWERTY 문자배열에서동일한영어단어를눈으로찾을때의시간을비교하여 QWERTY 문자배열에서 visual scanning time이감소하는것을증명하였다. 그리고모든사람마다 SSVEP 반응을유도하는최적의 LED 깜박임
주파수를찾기위해 50개의깜박임주파수후보에서각피험자마다 SSVEP 반응을강하게유도하는 30개의주파수를선택하였다. 또한, 본시스템의적합성을알아보기위해 5명의피험자를대상으로시스템의서로다른주파수로깜박이는 30 개의문자를응시하는동안측정된뇌파를분류하여각피험자의분류정확도를계산하는오프라인실험을수행하였다. 이때, 각개인마다뇌파측정에사용되는전극의위치, 시스템과피험자간의거리, 분류에사용되는특징벡터, 문자를응시하는시간등을고려하였다. 그결과, 최적의전극위치가피험자마다다르며, 출력하고자하는문자를오래응시한데이터를자극주파수와하모닉주파수의 SSVEP 파워값을합한값을특징벡터로사용하여분류할때, 분류정확도가높아지는것을확인할수있었다. 이러한결과를근거로하여 3명의피험자를대상으로주어지는단어를직접출력하는온라인실험을수행하였으며, 그결과한문자를 6초간응시하였을때의평균분류정확도는 86.27% 로본시스템이실제적인응용분야들에사용가능한수준의시스템임을검증하였다. 핵심되는말 : 정신적키보드시스템, QWERTY 키보드문자배열, BCI, SSVEP, EEG
제 1 장서론 뇌-컴퓨터 ( 기계 ) 인터페이스 (brain-computer(machine) interface: BCI or BMI, 이후본문에서는 BCI) 는뇌신경계로부터의신호를측정, 분석하여컴퓨터또는외부기기를제어하거나사용자의의사, 의도를외부에전달하기위한기술을통칭한다 [1]. 특히 BCI는근위축성측삭경화증 (amyotrophic lateral sclerosis: ALS), 뇌줄기졸증 (brainstem stroke), 척수손상, 뇌성마비등의선천적혹은후천적요인들로인하여뇌와근육사이의신경연결성이끊어진사지마비환자들이외부와소통할수있는인터페이스를제공할수있다는점에서매우큰사회적, 경제적파급효과를창출할것으로기대되고있다 [2, 3]. 이러한 BCI 시스템의구현을위해주로뇌파 (electroencephalogram: EEG), 뇌자도 (magnetoencephalogram: MEG), 근적외선분광장치 (near intra-red sectroscopy: NIRS), 기능적자기공명장치 (functional magnetic resonance imaging: fmri) 등을기반으로한비침습적인측정방식과대뇌피질에직접삽입되는탐침형전극을통해측정되는단일신경신호를기반으로한침습적인방법이널리연구되고있으며 [4-6], 최근에는두방식의절충형태인두개강내뇌파 (electrocoticogram: ECoG) 나국소장전위 (local field potential: LFT) 를측정하는 BCI도연구되고있다 [7, 8]. 이중침습적인방식의경우, 가장이상적인 BCI 방식으로동작속도나정확도측면에서비침습적인 BCI 방식에비해우수하고궁극적으로구현되어야할방식이다. 하지만현재로서는이방식의시술이간질 ( 또는일회성발작 ) 을유발할수있는것으로알려지고있으며장기간전극이식에따른생체부작용, 시간에따른측정신호의변화등의문제가여전히이슈로남아있는상황이다. 한편비침습적인방식의경우, NIRS나 fmri 등의뇌혈류변화를기반으로한방식은 EEG와 MEG 등의뇌의신경전자기신호를측정하는방식에비해상대적 - 1 -
으로긴시정수를가지거나이동성이극히떨어지므로신경계손상환자의개인용시스템으로적용하기에는무리가있다. MEG 시스템도역시이동성이극히제한되어있으며 fmri나 NIRS와함께상대적으로가격이비싸다는단점을가진다. 반면 EEG의경우현재세계적으로많은연구자들에의해연구되고있으며상대적으로가장쉽게실험과응용분야에의적용이가능하여이미많은 BCI 어플리케이션이발표되고있다. 대표적으로, 정신적타자기 [9], 마우스커서컨트롤 [10], 웹브라우저도우미 [11], 휠체어컨트롤 [12] 등의다양한 BCI 어플리케이션들이발전되어왔다. 그중에서도사지마비환자들이응시하고있는문자를출력하여그들의생각을표현하는정신적타자기는가장많이연구되고있는 BCI 어플리케이션중하나이다. 대부분의정신적타자기시스템은빈번히발생하는반복자극중특이한자극이제시될때나, 피험자가특정자극에집중하고있는동안그자극이주어질때발생하는사상관련전위 (event-related potential: ERP) 중하나인 P300을기반으로하고있다 [9, 13-15]. 이러한시스템에서문자들은대부분사각행렬의형태로배열되어있으며각각의문자행이나문자열이하나씩임의적으로깜박인다. 사용자가출력하고자하는문자를응시하는동안그문자가포함된행이나열이깜박일때, 그문자가포함되지않은행이나열에비해더큰수준의 P300 반응이발생하게된다. 이때특정문턱치이상의 P300이발생하는행과열이교차하는지점에있는문자를최종적으로화면상에출력하게된다. 일반적으로 P300 정신적타자기의성능을높이기위해서문자행과열을여러번깜박이게되는데, 이경우문자들이깜박이는시간을최대한줄이기위해문자배열을정방행렬에가깝게만들게된다. 하지만사용자에게는이러한행렬형태의문자배열이익숙하지않기때문에출력하고자하는문자를찾는것에어려움을느낄수있으며, 이는곧눈으로문자를찾는시간인 visual scanning time의증가로이어져정신적타자기의성능에영향을미칠수있다. 이를방지하기위해서는사각형행렬형태의문자배열에익숙해지기위한트레이닝이필요하다. - 2 -
한편, 기존의다른 BCI 연구에서는눈에일정한주파수로깜박이는깜박임자극을제시하였을때후두엽의시각피질에서강하게나타나는안정상태시각유발전위 (steady-state visual evoked potential: SSVEP) 를기반으로한정신적타자기가제시되었다 [16-18]. SSVEP 정신적타자기시스템에서각문자혹은특정명령은서로다른일정한주파수로깜박이는깜박임자극에대응되어있으며사용자는자신이원하는문자나명령에대응되어있는깜박임자극을응시하게된다. 이때사용자가바라보는시각자극의깜박임주파수에해당하는파워값이증가하게되는데이를이용하여현재사용자가응시하고있는문자를분류한다. SSVEP 를이용한정신적타자기의경우, 후두엽에부착된전극을사용하며 Oz 전극 1개만을사용해도측정이가능하므로실험이용이하고, 특정주파수의파워변화가즉각적이고분명하게나타나므로사용자가응시하고있는자극을쉽게분류해낼수있다는장점이있다 [19]. 또한동시에모든섬광자극이깜박여야하는 SSVEP 정신적타자기시스템의특성상 P300 정신적타자기시스템보다는문자배열의형태에대한제한이비교적적은편이다. 하지만 SSVEP 정신적타자기시스템을구축할때에도고려해야할사항이있는데, 그것은바로대부분의 SSVEP 정신적타자기시스템에서섬광자극을제시하기위해사용하는컴퓨터모니터의화면재생률이다. 컴퓨터모니터를사용할경우섬광자극의깜박임주파수는화면재생률의약수주파수를사용해야하며, 화면재생률과동기화시켜야정확한주파수로깜박이는섬광자극을제시할수있다 [20]. 이러한제약은 SSVEP 정신적타자기시스템에서사용하고자하는문자의개수만큼의섬광자극을제시하기어렵게만들뿐아니라사용자에게친화적인문자배열을하기도어렵게한다. 이러한제약조건하에 SSVEP 정신적타자기시스템을구축하려면, 적은개수의섬광자극주파수를사용하거나모니터가아닌 LED와같은독립적인섬광자극을사용해야한다. 상기의사항을고려하여기존의한연구는모니터를통해제시된다섯가지의서로다른깜박임주파수를 위, 아래, 왼쪽, 오른쪽, 선택 의다섯가지명령에대응한마름모꼴문자배열의 SSVEP 정신적 - 3 -
타자기시스템을제안하였으며 [17], 또다른연구에서도모니터에서제시되는세단계의의사결정분지도를사용하는 SSVEP 정신적타자기시스템을제안하였다. LED를사용하여깜박임주파수를제공할때에도고려해야할몇가지사항이있다. 첫째, 모든사용자마다 SSVEP 반응이관찰되는주파수영역이다르기때문에각사용자에알맞은주파수사용이요구된다 [21]. 둘째, 자극주파수의배수인주파수에서발생하는하모닉 SSVEP 반응을고려하여배수주파수의사용을피해야한다 [11]. 셋째, 15~25Hz 대역의주파수를사용한경우간질발작을일으킨사례가있었던관계로해당주파수대역사용은주의를해야한다 [22]. 결국 LED 를이용하여깜박임주파수를제공하는경우, 사용가능한주파수대역폭이넓지않기때문에가능한많은깜박임주파수후보군을확보하기위해서좁은주파수대역폭을많은주파수로나누는과정이필요하다. 우리가아는한, 상기에언급된 SSVEP 정신적타자기시스템구축의어려움으로인해 LED을사용한 SSVEP 정신적타자기시스템이발표된적은없었다. 본연구에서는모니터가아닌 LED의섬광자극으로인해유도된 SSVEP 반응을기반으로한 QWERTY 정신적타자기시스템을구현하였다. 이를위하여 QWERTY 스타일의문자가배열되는키보드, 각문자에대응되는 LED 채널, LED 채널의깜박임주파수를컨트롤하는컨트롤러를제작및통합하였다. 시스템구현에앞서 7명의건강한피험자를대상으로 QWERTY 형태와행렬형태의문자배열상에서 15개의영어단어에대한 visual scanning time을비교하여 QWERTY 키보드스타일의문자배열의효율성을정량적으로입증하였다. 본시스템을사용하기위해피험자마다총 50개의깜박임주파수중에서 SSVEP 반응을강하게발생시키는 30개의주파수를선택하여배치하였다. 오프라인실험에서는피험자와타자기사이의거리, 분류에사용된특징벡터의종류, 분석에사용된데이터의크기에따라분류정확도가계산되었으며, 이중가장안정적인결과를보여주는피험자 1명과오프라인실험에참여하지않은 2명의피험자를포함한총 3명의피험자가온라인실험에참여하여본시스템의 BCI 시스템으로서의적합성을검증하였다. - 4 -
제 2 장방법 2.1 피험자및실험환경 본연구를위해총 7명의건강한피험자가실험에참여하였다. 모든피험자가정상시력을갖고있었으며, EEG 측정에영향을줄수있는신경및정신질환을겪은적이없었다. 피험자는실험에대한충분한설명을듣고실험동의서를작성하였으며, BCI의대상이되는사지마비환자와같은조건으로실험하기위해의자에앉은상태에서최대한신체를움직이지않았다. 모든실험은방음이되는실험실에서진행이되었으며, EEG 멀티-채널측정시스템 (WEEG-32, Laxtha Inc., 대전, 한국 ) 을사용하여 EEG를측정하였다. 본연구에서제시하는시각자극에반응하는뇌파를측정하기위해그림 2.1과같은국제 10-20 시스템에의거하여세개의전극 (Oz, O1, O2) 을사용하였고, 레퍼런스전극은오른쪽귀뒤에, 그라운드전극은왼쪽귀뒤에부착하였다. EEG는 512 Hz의샘플링주파수로측정되었으며, 감도는 7μV이었다. 그림 2.1 international 10-20 system ( 출처 : www.brainmaster.com) - 5 -
2.2 Visual scanning time 측정 정신적타자기시스템제작에앞서본연구에서제안한 QWERTY 스타일의문자배열에서사용자가원하는문자를찾을때사각행렬형태의문자배열보다효율적이라는것을객관적으로증명하기위한실험을실시하였다. 이를위해실험에참가한총 7명의피험자를대상으로모니터에임의로제시되는 15개의영어단어를두가지각기다른형태의문자배열에서눈으로한문자씩찾는실험을수행하였다. 이때사용한 15개의영어단어는알파벳 A부터 Z까지포함이되도록선정이되었으며, 각피험자별문자배열마다측정된 visual scanning time 결과를 t- 검정을이용하여통계분석하였다. 그림 2.2는 visual scanning time 측정에사용한본연구에서제안한 QWERTY 스타일문자배열 (a) 과대부분의 P300 정신적타자기시스템에서사용되고있는문자배열과비슷한 5 6 행렬의문자배열 (b) 이다. - 6 -
(a) QWERTY 스타일의문자배치도 (b) 행렬형태의문자배치도 그림 2.2 visual scanning time 을측정하기위해사용한문자배치도 - 7 -
2.3 정신적타자기시스템제작 2.3.1. 정신적타자기제작 정신적타자기시스템은 30개의문자가배열되는타자기키보드, 각문자마다대응되는 30개의 LED 채널, LED 채널의깜박임주파수를컨트롤하는컨트롤러로구성이된다. 먼저, 사용자가출력하고자하는문자를쉽게찾을수있도록 QWERTY 키보드스타일과비슷한문자배열의키보드가설계되었다. 그림 2.2는본시스템에사용된 QWERTY 스타일의문자배열의블록다이어그램으로, A부터 Z까지의 26개의영어알파벳과 4개의특수문자 ( 백스페이스, 구두점, 엔터, 스페이스 ) 를포함한 30개의문자가사용되었다. 각알파벳문자들은가로 2cm, 세로 2cm의정사각형모양의키안에배열이되었으며, 4개의특수문자는타자기와알파벳키의크기에비례한크기의키안에배열이되었다. 각문자키들은이웃한문자키들과수평, 수직방향으로 1cm떨어져서배치가되었다. 상기에서기술한키보드를도화지, 기름종이, OHP 필름등을사용하여제작하였다. 먼저, 그림 2.3과같이디자인한문자배치도를도화지에그리고문자키모양으로제거를한후, 앞면에는문자모양대로음각한판을붙이고, 뒷면에는지지대를부착하여 LED 채널을고정시킬수있도록하였다. 한문자마다 4개의 LED 로구성된채널을부착하게되며 LED가깜박일때섬광자극이음각된글자모양을통해투과될수있도록하였다. 이때, 문자음각판과 LED 채널사이에기름종이를부착하여 LED 채널이직접적으로보이지않음과동시에 LED의밝기를중화시켰다. 최종적으로타자기를보호하기위한문자키모양으로제거를또다른도화지와 OHP 필름을최앞단에부착하여그림 2.4와같이타자기키보드를제작하였다. LED 채널은납땜을용이하게만들기위해제작한 PCB판 ( 가로1.6cm, 세로 2cm ) 에 4개의멀티-칩고휘도 LED(Part Number: DG-82A83C-001-5/S -3; 밝 - 8 -
기 : 6000mcd; 동작전류 : 20mA ; 시야각 : 2θ 1/2=60 첨두파장 : 0.26/0.28nm; 광원색 : 흰색 ; 렌즈색 : 투명한무색 ) 를납땜하여제작되었다. 총 30개의 LED 채널을제작하였으며그림 2.5는그중한개의 LED 채널의전면부 ( 좌 ) 와후면부 ( 우 ) 이다. 그림 2.6은 TMS 320 F2812 DSP 칩 (Texas Instruments Inc.) 을사용하여제작한 LED 컨트롤러이다. 컨트롤러는 code composer studio v4 core edition(texas Instruments Inc.) 프로그램으로구동이되며, 이때각 30개 LED 채널의깜박임주파수를설정할수있도록프로그래밍하였다. LED 채널과컨트롤러는케이블로연결이되며탈부착이용이하도록제작되었다. 최종적으로, 키보드, 30개의 LED 채널, LED 컨트롤러를결합하여본시스템을제작하였다. 그림 2.3 본연구에서제안한 QWERTY 스타일의문자배치. - 9 -
그림 2.4 정신적타자기시스템의키보드 ( 정면 ) 그림 2.5 LED 채널의전면부 ( 좌 ) 와후면부 ( 우 ) - 10 -
그림 2.6 LED 컨트롤러 - 11 -
2.3.2. 깜박임주파수선택 LED의깜박임주파수를선택할때에는몇가지고려해야할사항이있다. 우선 LED와같은작은크기의섬광자극을사용할경우 5~13Hz의낮은주파수대역의깜박임주파수를사용할때강한 SSVEP 반응이나타나며 [23], SSVEP 하모닉성분을특징벡터로사용할때에는자극주파수의배수에해당하는주파수는사용할수없다 [11]. 또한, 모든사람마다 SSVEP 반응이강하게발생하는깜박임주파수가다르기때문에각개인에맞는주파수를선택해야한다 [21]. 본연구에서는상기의사항을고려하여 5.0~9.9Hz의주파수대역을 0.1Hz로나누어만든총 50개의깜박임주파수에서각개인마다 SSVEP 반응을강하게유도시키는 30개의주파수를선택하였다. 각개인마다최적의깜박임주파수를찾기위하여 30개의 LED 채널이각 5.0~7.9Hz의주파수로깜박이게하고피험자가 10초씩각문자를응시하게하였다. 이때주위시야에의한방해를최소화하기위해가급적이면이웃한 LED 채널들끼리는주파수차이가크게벌어지게끔배치시켰다. 피험자가문자를응시하는동안 Oz, O1, O2의세개의전극을사용하여 EEG 를 측정하였다. 파워스펙트럼분석을통하여각피험자마다 50 개의깜박임주파 수중에해당주파수와하모닉주파수의 SSVEP 반응이강하게발생하게하는 30 개의깜박임주파수를선택하였다. - 12 -
2.4 정신적타자기시스템검증 2.4.1. 오프라인실험 총 5명의피험자가오프라인실험에참여했으며, 팔걸이의자에편하게앉아이전의과정에서각피험자에게최적화된깜박임주파수로깜박이는 LED 채널에대응되어있는문자를응시하였다. 피험자는실험자가무작위의순서로지시하는문자를 10초에걸쳐응시하였으며이때 Oz, O1, O2 세개의전극으로 EEG를측정하였다. 피험자와정신적타자기의거리에따른시스템의성능변화를알아보기위해두거리 (44 cm: 시야각 40, 60 cm: 시야각 30 ) 에서실험이진행되었으며한거리의각문자마다두번씩응시하여피험자마다총 120 trial의 EEG 데이터가측정되었다. 2.4.2. 오프라인분석 오프라인분석에서는오프라인실험을통해측정된각피험자마다 120 trial의 EEG 데이터를이용하여분류에사용된특징벡터의종류, 피험자와타자기사이의거리, 분석데이터의크기에따른분류정확도를계산하여피험자가본시스템을사용하기위한최적의요인을찾는과정을수행하였다. SSVEP 반응을특징벡터로사용하기위해서측정된 EEG 데이터를고속푸리에변환 (fast Fourier transform: FFT) 하여 0.1Hz간격의주파수에대한파워스펙트럼을계산하였다. 피험자가응시하고있는문자를분류하는데필요한특징벡터로활용하기위해모든 trial에대해세전극마다 30개의깜박임주파수에대한 SSVEP 파워값 (H1) 이계산되었다. 또한, 하모닉성분을특징벡터로포함했을때의효과를관찰하기위해 H1과각깜박임주파수의두배의주파수에서발생하는 - 13 -
SSVEP 하모닉파워값 (H2) 을더한값을특징벡터로사용하였다 (H1+H2). 피험자가응시한문자를분류하기위해본연구에서사용한분류알고리즘은매우간단한것으로, 각두종류의특징벡터 (H1, H1+H2) 를사용하여 30개의깜박임주파수중에가장큰 SSVEP 파워값을갖는주파수를찾는것이다. 이때 H1 과 H1+H2의두종류의특징벡터를사용했을때의분류정확도가각각계산되었다. 또한, 피험자마다최적의분류정확도를보이는전극조합을찾기위해세전극으로만들수있는모든전극조합에대한분류정확도를계산하였다. 상기기술한각시야각마다 60 trial, 총 120trial의 10초간의데이터에서추출한 H1+H2 특징벡터와분류알고리즘을사용하여, 각시야각과피험자마다최적의분류정확도를갖는전극조합을발견하였다. 이렇게각피험자별로찾아낸최적의전극조합에서측정된총 120 trial의각 10초데이터를사용하여, 데이터의크기에따른분류정확도를구하였다. 한 trial 의데이터를 1~10초로 1초씩증가된 10개의데이터로나누어특징벡터로서각 H1, H1+H2를사용했을때의분류정확도를계산했으며, 이때제로패딩기법을사용하여파워스펙트럼을 0.1Hz간격으로계산할수있도록하였다. 2.4.3. 온라인실험 본연구의정신적타자기시스템을검증하기위하여온라인실험을수행하였다. 오프라인분석결과시야각, 특징벡터의종류와관계없이일정하고안정된분류정확도결과를보여줬던 S1 피험자가온라인실험에참여하였다. 오프라인분석결과를토대로그림 2.7과같이각문자마다깜박임주파수를배치하고 Oz, O2의두개의전극과, 30 의시야각을선택하였다. 약 20분간의연습을통해피험자가자유롭게자신이원하는문자를출력하도록한후, 온라인실험을시작하였다. - 14 -
온라인실험은모니터화면에제시된단어를피험자가문자를응시하여출력하는것으로, 실험에사용된단어는앞서 visual scanning time 측정에사용했던영어단어와동일하게총 68개의문자로이루어진 15개의영어단어이다. 온라인실험결과는한문자마다모니터화면과스피커를통해피험자에게실시간으로피드백이되었으며피험자가원하지않은문자가출력될때는 백스페이스 문자를응시하여그문자를수정하게하였다. 그림 2.8은온라인실험의한장면으로피험자가모니터화면에제시된단어를출력하기위해각문자를응시하는동안두전극에서측정된뇌파를실시간분석하여결과를화면과스피커를통해피드백해주는장면이다. 온라인실험에서는한단어를응시하는시간을 5, 6, 7초의세단계로나누어응시하는시간의차이에따른본시스템의성능을비교하였다. 이를위해총 15의영어단어에대해각단계별분류정확도, 정보전달율 (information transfer rate: ITR( 비트 / 분 )), 분당문자번역률 (the number of decoded letters per minute: LPM( 문자 / 분 )) 을계산하였다. 분류정확도의경우피험자가원하지않는문자가출력되어 ' 백스페이스 ' 를사용해수정할경우, ' 백스페이스 ' 는피험자가의도한대로출력이된것이되기때문에제대로분류한것이라고평가하였으며분류정확도 p는다음과같이계산되었다. 백스페이스 를포함하여바르게분류된총문자의개수 백스페이스 를포함하여총출력된문자의개수 계산된분류정확도를이용하여정보전달율 ITR 은다음과같이계산되었다. 이때 S 는 1trial 을실행하는데걸리는시간, N 은시스템의모든 task 의개수를 - 15 -
의미한다. 본시스템에서 EEG 측정후한문자를분류하는데걸리는시간은 0.1초미만이었기때문에 S는피험자가문자를응시하는시간이되며, N은 30, p는상기에서계산된분류정확도를대입하였다. 분당문자번역률 LPM은다음과같이계산되었다. 오프라인실험과온라인실험을하는동안피험자들이본시스템의문자배치가너무조밀하고출력하고자하는문자주변의문자들의깜박임으로인해집중하기힘들다는의견을제시하였다. 이의견을수렴하여문자간의간격을가로, 세로 2.5 cm로변경하여그림 2.9와같이키보드를다시제작하여시스템을개선하였다. 개선한시스템을검증하기위해 2명 (S6, S7) 의피험자가참여하였다. 상기와동일한방법으로깜박임주파수선택및배치를하였으며, 오프라인실험을하지않고온라인실험을수행하되한문자를응시하는시간을 6초로고정시켜최대한피험자에게부하가걸리지않도록하였다. 온라인실험과마찬가지로분류정확도, ITR, LPM을계산하여시스템의성능을조사하였다. 그림 2.7 S1 피험자의깜박임주파수배치도 - 16 -
그림 2.8 온라인실험의한장면 그림 2.9 개선된시스템의키보드 - 17 -
제 3 장결과 3.1 Visual scanning time 그림 3.1 은 각피험자의두문자배치에따른 15 개의영어단어의총 visual scanning time을나타내고있다. 모든피험자에게서기존의연구 [24-26] 와동일하게사각행렬형태의문자배치보다 QWERTY 스타일의문자배치에서 visual scanning time이통계적으로유의미하게감소함을확인할수있었다 (p = 0.0002). 이결과로부터 QWERTY 스타일의문자배치에서피험자가원하는문자를눈으로찾는것이더용이하다는것을객관적으로확인할수있었다. 그림 3.1 두문자배치에대한총 15 개의영어단어의총 visual scanning time - 18 -
3.2 정신적타자기시스템검증결과 3.2.1. 오프라인실험결과 표 3.1은 5명의오프라인피험자의모든시야각과전극조합의 10초데이터에서 H1+H2 특징벡터를추출하여분류정확도를계산한결과로, 볼드체의분류정확도는각피험자의시야각마다의최고분류정확도를의미한다. 결과로부터분류정확도는피험자마다서로다른전극조합과시야각에큰영향을받지만, 최고분류정확도는시야각이다르더라도같은전극조합에서나타남을확인할수있었다. 피험자별최적의전극조합은다음과같다 (S1: Oz, O2, S2: Oz, S3: O2, S4: O2, S5: Oz, O1). S5의경우 Oz, O1 조합을사용한경우와모든전극을사용한경우의분류정확도가같았지만, 계산시간의효율성을고려하여전극수가적은 Oz, O1 조합을사용하였다. 그림 3.2는두시야각에서의최적의전극조합의데이터를 1~10초의크기로 나누어 H1, H1+H2 의특징벡터를사용하여분류한정확도를나타낸것이다. 그 림 3.2(a) 는모든피험자에대한평균분류정확도이며 (b)~(f) 는각피험자의분류정확도에해당한다. 평균분류정확도는시야각이 40, 30 일때, 각 76.67%, 72.33% 이었다 ( 데이터크기 : 10초, 특징벡터 : H1+H2). 결과로부터시야각이나특징벡터의종류에상관없이분석하는데이터의크기가클수록분류정확도가증가하는것을확인할수있었다. 이것은섬광자극에눈이오래노출될수록뇌파가깜박임주파수에변조가되기때문에매우근거있는결과라고할수있다. 그림 3.3은피험자 S1이 5.6Hz로깜박이는자극을응시했을때의데이터를 1~10초의크기에따라분석하여 SSVEP 반응을확인한것이다. 결과로부터섬광자극을오래볼수록 5.6Hz주파수에해당하는 SSVEP 반응이증가하는것을볼수있으며, 문자를응시한지 7초가지나면자극주파수의하모닉성분인 11.2Hz의 SSVEP 반응이관찰됨을알수있다. - 19 -
특징벡터의종류에따른분류정확도는 H1을독립적으로사용했을때보다 H1+H2를같이사용한경우가더높았는데, 이는하모닉주파수성분이분류정확도를높이기위한추가적인특징벡터가될수있음을확인했던기존의연구와일맥상통한다 [11]. 시야각의차이에따른분류정확도는특징벡터를 H1+H2로사용한경우, 시야각이 30 ( 타자기와 60cm거리 ) 일때보다는시야각이 40 ( 타자기와 44cm거리 ) 일때가더높았다. 하지만특징벡터를 H1만사용한경우두시야각의차이에대한분류정확도는거의없었다. 그림 3.2(a) 의평균분류정확도에서시야각, 특징벡터대한경향은 S1 피험자를제외한나머지피험자에게서발견할수있었으며, S1 피험자는시야각, 특징벡터의종류와관계없이일정하고안정된분류정확도값을보였다. 이를근거로 S1 피험자가온라인실험에참여하게되었다. - 20 -
표 3.1 오프라인피험자의모든시야각과전극조합의 10 초데이터에서 H1+H2 특징벡터를추출하여계산한분류정확도 분류정확도 (%) 피험자 S1 S2 S3 S4 S5 시야각 Oz, Oz, O1, Oz, Oz O1 O2 O1 O2 O2 O1, O2 30 80 65 76.67 75 83.34 75 75 40 83.34 76.67 86.67 80 86.67 83.33 85 30 91.66 81.66 73.33 85 88.33 85 86.67 40 81.66 58.33 55 73.33 75 63.66 71.67 30 31.67 18.33 63.33 25 46.66 46.66 40 40 26.66 13.33 56.67 21.66 43.33 41.67 36.67 30 15 33.33 71.67 23.33 41.67 53.33 41.67 40 16.67 23.33 71.67 20 55 53.33 33.67 30 70 63.34 50 73.34 68.34 66.67 73.34 40 63.34 56.67 48.34 65 65 60 65-21 -
그림 3.2 두시야각에서의최적의전극조합의데이터를 1~10 초의크기로나누어 H1, H1+H2 의특징벡터를사용하여분류한정확도 그림 3.3 S1 피험자가 5.6 Hz의주파수로깜박이는섬광자극을응시했을때 데이터의분석구간의크기에따른 SSVEP 반응변화 - 22 -
3.2.2. 온라인실험결과 표 3.2는 S1 피험자가수행했던온라인실험결과를요약해주고있다. 표 3.2의 (a), (b), (c) 는한문자를각 5, 6, 7초로응시할때의실제피험자가출력한문자, 분류정확도, ITR, LPM을보여주고있다. 결과에따르면피험자가한문자를오래응시할수록분류정확도는조금씩증가하였으며 (5초: 84.69%, 6초 : 86.17%, 7초 : 89.53%), 이현상의이유는오프라인실험결과분석한데이터의크기가클수록분류정확도가증가했던이유와동일하다. 반면 ITR과 LPM은응시하는시간이감소할수록증가하였는데 (5초: 10.16문자 / 분, 42.55비트 / 분, 6초 : 8.62문자 / 분, 36.55비트 / 분, 7초 : 7.64문자 / 분, 33.55비트 / 분 ), 그이유는문자를응시하는시간이줄어분류정확도가감소하는것에비해감소된문자응시시간이시스템의성능에더큰영향을미치기때문이다. 이결과로부터정신적타자기시스템의높은성능을위해문자응시시간을주의깊게고려해야한다는점을알수있었다. 표 3.3(a), (b) 는개선된시스템온라인실험에참여한 S6, S7에결과이며, 두피험자모두 80% 이상의높은분류정확도를보여주었다. 이결과는 30개의문자에서한문자를택하는 chance level이 3.33% 에불과한것과비교하면충분히높은수치이다. 또한기존연구에서제시한, 의사소통을할수있는최소한의성능 (70%) 이상이므로, 본시스템이 BCI에적합한시스템이라고할수있다 [27]. - 23 -
표 3.2(a) S1 피험자의온라인실험결과 (5 초데이터사용 ) 단어 출력된결과 5 초 맞은개수 / 총개수 WOMEN WU P OMEM N 8/11 DESK DESQ K 5/6 WATER WATER 5/5 HAND HAND 4/4 MEMORY L L MEMORY 8/10 ZONE ZONE 4/4 BABY U BAW R BD Y 8/12 FACE FACE 4/4 TAXI TAXL I 5/6 JUNE JUNE 4/4 QUICK QUICK 5/5 VIDEO VIDE_ O 6/7 GOLF GOLF 4/4 HOUR T HOUG R 6/8 PENCIL PY ENCIL 7/8 Total 83/98 Accuracy (%) 84.69 ITR ( 비트 / 분 ) 42.55 LPM ( 문자 / 분 ) 10.16-24 -
표 3.2(b) S1 피험자의온라인실험결과 (6 초데이터사용 ) 단어 출력된결과 6 초 맞은개수 / 총개수 WOMEN WOMEN 5/5 DESK DES SK 5/6 WATER WATER 5/5 HAND HAND 4/4 MEMORY MEMORY 6/6 ZONE ZONY E 5/6 BABY BABX Z Y 6/8 FACE R FACE 5/6 TAXI TAXI 4/4 JUNE JUR NE 5/6 QUICK QUICZ M K 7/9 VIDEO VIA N DEO 7/9 GOLF GOLG F 5/6 HOUR HOUR 4/4 PENCIL PENM CZ IL 8/10 Total 81/94 Accuracy (%) 86.17 ITR ( 비트 / 분 ) 36.55 LPM ( 문자 / 분 ) 8.62-25 -
표 3.2(c) S1 피험자의온라인실험결과 (7 초데이터사용 ) 단어 출력된결과 7 초 맞은개수 / 총개수 WOMEN WOMEN 5/5 DESK DES SK 5/6 WATER WAG TER 6/7 HAND HAND 4/4 MEMORY MEMORY 6/6 ZONE ZSR ONE 6/8 BABY BABY 4/4 FACE FAC CE 5/6 TAXI TAXI 4/4 JUNE M JUNE 5/6 QUICK QO UICK 6/7 VIDEO VIU DEO 6/7 GOLF GOLF 4/4 HOUR HOUR 4/4 PENCIL PENI CIL 7/8 Total 77/86 Accuracy (%) 89.53 ITR ( 비트 / 분 ) 33.55 LPM ( 문자 / 분 ) 7.67-26 -
표 3.3(a) S6 피험자의온라인실험결과 (6 초데이터사용 ) 단어 출력된결과 6 초 맞은개수 / 총개수 DESK DESGR K 6/8 HAND HAD S NG D 7/10 ZONE ZN ONE 5/6 BABY BABY 4/4 FACE FACYH E 6/8 TAXI TAL XI 5/6 JUNE JUNE 4/4 GOLF GOLF 4/4 HOUR HOUR 4/4 WOMEN WOMEN 5/5 WATER WATER 5/5 QUICK QUICK 5/5 VIDEO VIDEO 5/5 MEMORY MEMORY 6/6 PENCIL PENCIM L 7/8 Total 78/88 Accuracy (%) 88.64 ITR ( 비트 / 분 ) 38.44 LPM ( 문자 / 분 ) 8.86-27 -
표 3.3(b) S7 피험자의온라인실험결과 (6 초데이터사용 ) 단어 출력된결과 6 초 맞은개수 / 총개수 DESK DN ESK 5/6 HAND HAND 4/4 ZONE G ZONE 5/6 BABY BS AQ BY 6/8 FACE FACE 4/4 TAXI TAL XI 5/6 JUNE JOA UNE 6/8 GOLF GOLPO F 6/8 HOUR A HOUR 5/6 WOMEN WV OMEN 6/7 WATER WQ ATER 6/7 QUICK QUIZ CK 6/7 VIDEO VIVS DEO 7/9 MEMORY MEMORY 6/6 PENCIL PEC NCIL 7/8 Total 84/100 Accuracy (%) 84.00 ITR ( 비트 / 분 ) 34.95 LPM ( 문자 / 분 ) 8.40-28 -
제 4 장고찰 4.1 QWERTY 키보드형태의문자배치 대부분의정신적타자기시스템은시각자극에의해유도되는 P300이나 SSVEP와같은뇌신호를이용한다 [9, 13-16, 18]. 이러한시스템에서한 trial에소모되는시간은사용자가눈으로출력하고자하는문자를찾는 visual scanning time과사용자의뇌신호를유도하여의도를파악하기위해문자를응시하는시간으로구성된다. 따라서높은성능의 BCI 정신적타자기시스템을구현하기위해서는상기의두요소를동시에고려해야한다. 그런데타자기시스템과관련된기존의대부분의 BCI 연구에서는오직사용자의의도를파악하는방법에만초점을맞추고있었으며 [9, 13-18, 28], 대부분의 BCI 연구자들은 visual scanning time에영향을줄수있는문자배치에대한고려는하지않고있다. 이러한사실에의거하여본연구에서는사용자에게익숙한 QWERTY 키보드의문자배치를채택하였으며, 오프라인실험과온라인실험을통해본정신적타자기시스템의사용가능성을증명하였다. 또한 QWERTY 형태의문자배치가현재일반적인정신적타자기시스템에서사용되는사각행렬형태의문자배치보다 visual scanning time을감소시킬수있다는사실을확인했다. 4.2 Visual scanning time 과시야각의관계 시야각은 visual scanning time 에영향을줄수있는중요한요소중하나이다. 시야각이작아지면눈동자가움직이는거리가감소하기때문에 visual scanning - 29 -
time이감소할수있다. 하지만시야각이너무작아져서출력을목표로하는문자주변에인접하는문자들까지한눈에들어온다면목표로하는문자에집중하여응시하는것이쉽지않아질것이다. 본연구에서시야각은피험자로부터타자기까지의거리로조절하였으며 (44 cm: 시야각 40, 60 cm: 시야각 30 ), 상기의추측은대부분의피험자들이 30 보다 40 의시야각에서분류정확도가높았던오프라인실험결과로증명이되었다. 또한실험에참여했던피험자들이 40 보다 30 의시야각에서출력하고자하는문자를응시할때인접하는문자들의방해로집중이어려웠다는의견을제시했다. 피험자로부터타자기까지의거리가같은경우, 문자의크기와문자간의간격이시야각을조절하는주요한요인이된다. 본시스템에서는한문자의크기는실제 QWERTY 키보드의키의크기와비슷하며문자간의간격은경험적으로선택하였다. 이러한요소를고려하여각사용자마다최적의시야각을찾아시스템의성능을높이는후속연구를진행할예정이다. 4.3 주파수선택 SSVEP를기반으로한 BCI 시스템의장점중의한가지는 SSVEP 반응을유도하기위한훈련과정이거의필요없다는것이다 [20, 29]. 하지만이사실이사용자에게모든주파수의섬광자극을제시하였을때 SSVEP 반응이발생한다는것을의미하는것은아니다. 따라서 SSVEP 반응을기반으로하는정신적타자기시스템의성능을높이기위해서는사용자마다 SSVEP 반응이발생하는최적의깜박임주파수를선택하는과정이필요하다 [23]. 상기사실에의거하여본연구에서는 50개의깜박임주파수후보에서각피험자마다강한 SSVEP 반응을유도하는 30 개의깜박임주파수를선택하였다. 피험자에따라선택된 30개의깜박임주파수중몇개의깜박임주파수는 SSVEP 반응을강하게유도하지는않았다. 하지만이문 - 30 -
제점은깜박임주파수후보의개수가증가한다면쉽게해결될것이다. 또한본연구에서는크기가작은섬광자극을제시할때낮은주파수영역 (1~12Hz) 을깜박임주파수로사용하는것이더큰 SSVEP 반응을유도한다는기존의연구에의거하여 5~9.9Hz의주파수영역을깜박임주파수로사용하였다 [23]. 4.4 정신적타자기성능 본논문의오프라인결과에서제시한모든피험자의평균분류정확도는시야각이 40, 30 일때, 각 76.67%, 72.33% 이었다 ( 데이터크기 : 10초, 특징벡터 : H1+H2). 이결과는 chance level인 3.33% 에비해비약적으로높으며, 본시스템이사용하기적합한 BCI 시스템임을알려준다. 또한결과로부터분류정확도가최소 70% 이상이되게끔하는분석데이터의최소한의크기, 시야각이피험자마다모두다양함을알수있었다 (S1: 6초, 시야각 40 ; S2: 5초, 시야각 30 ; S4: 8 초, 시야각 30 ; S5: 9초, 시야각 30 ). S3 피험자는그어떤데이터크기에서도 70% 이상의분류정확도를보이지못했으며, 시야각 30 에서 10초간문자를응시했을때의데이터를 H1+H2 특징벡터를사용하여분류했을때 63.33% 의분류정확도를보였다. 온라인실험에서 S1 피험자의경우, 문자를응시하는시간을 5, 6, 7초로지정하여시스템을사용하였다. 섬광자극을응시하는시간은유연하게결정할수있는데, 이는 SSVEP를기반으로하는 BCI 시스템에서는사용자가섬광자극을지속적으로응시하는동안파워스펙트럼을실시간분석하여 SSVEP가발생하는순간사용자의의도를분류할수있기때문이다. 사실, 이러한 SSVEP를기반으로하는 BCI 패러다임의장점을이용하여개발된 BCI 시스템도이미여럿존재한다 [16, 17, 23, 28, 30]. 그림 3.3은온라인실험에참가한 S1 피험자가 5.6Hz의주파수의섬광자극을각 10초간응시하였을때의데이터에대하여 1~10초로분석에사 - 31 -
용되는데이터의크기를다르게하여스펙트럼분석한것이다. 그림에서확인할수있다시피 S1 피험자가문자를응시한지 2초후부터자극주파수에해당하는 SSVEP 반응이뚜렷하게발생되기시작한다. 후속연구에서는이러한사실을이용하여시스템을사용하는각개인마다 SSVEP 반응이발생하기시작하는최소한의응시시간을찾아본시스템의성능을향상시킬예정이다. - 32 -
제 5 장결론 본연구에서는사용자에게친숙한문자배열을사용하여사용자가출력하고자하는문자를빠르게찾을수있는높은성능의정신적타자기시스템을구현하였다. 이를위하여 QWERTY 키보드의문자배열과비슷한문자배열, 30개의 LED 채널, LED 컨트롤러등을제작하여 SSVEP를기반으로하는정신적타자기시스템을직접개발하였다. 본시스템의검증을위해총 7명의피험자가연구에참여하였으며, 가장먼저기존연구에서많이사용되던행렬형태의문자배열과 QWERTY 문자배열에서동일한 15개의영어단어를눈으로찾을때의시간을비교하여 QWERTY 문자배열에서 visual scanning time이감소하는것을증명하였다. 그리고모든사람마다 SSVEP 반응을유도하는최적의 LED 깜박임주파수를찾기위해 50개의주파수후보에서각피험자마다 SSVEP 반응을강하게일으키는 30개의주파수를선택하였다. 또한, 본시스템의적합성을알아보기위해 5명의피험자를대상으로시스템의서로다른주파수로깜박이는 30개의문자를응시하게하고이때측정한뇌파를분류하여각피험자의분류정확도를계산하는오프라인실험을수행하였다. 이때, 각개인마다뇌파측정에사용되는전극의위치, 시스템과피험자간의거리, 분류에사용되는특징벡터, 문자를응시하는시간등을고려하였다. 그결과, 최적의전극위치가피험자마다다르며, 출력하고자하는문자를오래응시한데이터를자극주파수와하모닉주파수의 SSVEP 파워값의합으로구성한특징벡터로사용하여분류할때분류정확도가높아지는것을확인할수있었다. 또한 3명의피험자를대상으로주어지는단어를직접출력하는온라인실험을수행하였으며, 그결과한문자를 6초간응시하였을때의평균분류정확도는 86.27% 로본시스템이실제사지마비환자의의사소통을위한시스템으로사용이가능함을확인하였다. 후속연구에서는출력하고자하는문자를빠르고정확하게분류하기위하여본 - 33 -
시스템에 eye tracker를접목시키고, 각사용자에최적화된시스템과사용자의거리, 문자의크기와시야각을고려한시스템을개발할예정이다. 또한사용자가문자를응시하는동안의뇌파를실시간파워스펙트럼분석을통해분류하여사용자의의도를실시간으로파악할수있도록시스템을개선하여직접환자에게적용할예정이다. 본연구를통해 QWERTY 배열의문자배열을채택하고 SSVEP를기반으로한본시스템이 BCI 어플리케이션으로서적합함을확인할수있었다. 본시스템의개발이사지마비환자들이외부세계와의사소통을할수있는중요한도구로활용될수있기를기대한다. - 34 -
참고문헌 [1] J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller and T. M. Vaughan, "Brain-computer interfaces for communication and control," Clinical Neurophysiology, vol. 113, pp. 767-791, 2002. [2] C. J. L. Murray, A. D. Lopez, "The global burden of disease: a comprehensive assessment of mortality and disability from diseases, injuries, and risk factors in 1990 projected to 2020," Harvard University Press, 1996. [3] G. T. Carter, "Rehabilitation Management in Neuromuscular Disease," Journal of Neuroengineering and Rehabilitation, vol. 11, pp. 69-80, 1997. [4] J. M. Carmena, M. A. Lebedev, R. E. Crist, J. E. O'Doherty, D. M. Santucci, D. F. Dimitrov, P. G. Patil, C. S. Henriquez and M. A. L. Nicolelis, "Learning to control a brain-machine interface for reaching and grasping by primates," PLoS Biology, vol. 1, 2003. [5] S. Musallam, B. D. Corneil, B. Greger, H. Scherberger and R. A. Andersen, "Cognitive control signals for neural prosthetics," Science, vol. 305, pp. 258-262, 2004. [6] L. R. Hochberg, M. D. Serruya, G. M. Friehs, J. A. Mukand, M. Saleh, A. H. Caplan, A. Branner, D. Chen, R. D. Penn and J. P. Donoghue, "Neuronal ensemble control of prosthetic devices by a human with tetraplegia," Nature, vol. 442, pp. 164-171, 2006. [7] E. C. Leuthardt, G. Schalk, J. R. Wolpaw, J. G. Ojemann and D. W. Moran, "A brain-computer interface using electrocorticographic signals in humans," Journal of Neural Engineering, vol. 1, pp. 63-71, 2004. - 35 -
[8] T. Stieglitz, B. Rubehn, C. Henle, S. Kisban, S. Herwik, P. Ruther and M. Schuettler, " Brain-computer interfaces: an overview of the hardware to record neural signals from the cortex," Progress in Brain Research, vol. 175, pp. 297-315, 2009. [9] E. W. Sellers, T. M. Vaughan and J. R. Wolpaw, "A brain-computer interface for long-term independent home use," Amyotrophic Lat. Scler., vol. 11, pp. 449-455, 2010. [10] G. E. Fabiani, D. J. McFarland, J. R. Wolpaw and G. Pfurtscheller, "Conversion of EEG activity into cursor movement by a brain-computer interface (BCI)," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 12, pp. 331-338, 2004. [11] G. R. Muller-Putz, R. Scherer, C. Brauneis and G. Pfurtscheller, "Steady-state visual evoked potential (SSVEP)-based communication: Impact of harmonic frequency components," Journal of Neural Engineering, vol. 2, pp. 123-130, 2005. [12] B. Rebsamen, C. Guan, H. Zhang, C. Wang, C. Teo, M. H. Ang Jr. and E. Burdet, "A brain controlled wheelchair to navigate in familiar environments," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 18, pp. 590-598, 2010. [13] J. Jin, P. Horki, C. Brunner, X. Wang, C. Neuper and G. Pfurtscheller, "A new P300 stimulus presentation pattern for EEG-based spelling systems," Biomed. Tech., vol. 55, pp. 203-210, 2010. [14] D. J. McFarland, W. A. Sarnacki, G. Townsend, T. Vaughan and J. R. Wolpaw, "The P300-based brain-computer interface (BCI): Effects of stimulus rate," Clinical Neurophysiology, vol. 122, pp. 731-737, 2011. - 36 -
[15] G. Pires, U. Nunes and M. Castelo-Branco, "Statistical spatial filtering for a P300-based BCI: Tests in able-bodied, and patients with cerebral palsy and amyotrophic lateral sclerosis," J. Neurosci. Methods, vol. 195, pp. 270-281, 2011. [16] M. Cheng, X. Gao, S. Gao and D. Xu, "Design and implementation of a brain-computer interface with high transfer rates," IEEE Transactions on Biomedical Engineering, vol. 49, pp. 1181-1186, 2002. [17] B. Allison, T. Lth, D. Valbuena, A. Teymourian, I. Volosyak and A. Grser, "BCI demographics: How many (and what kinds of) people can use an SSVEP BCI?" IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 18, pp. 107-116, 2010. [18] Y. Wang, Y. -. Wang and T. -. Jung, "Visual stimulus design for high-rate SSVEP BCI," Electron. Lett., vol. 46, pp. 1057-1058, 2010. [19] H. -. Chang, H. -. Deng, P. -. Lee, C. -. Wu and K. -. Shyu, "Real-time control of an SSVEP-actuated remote-controlled car," in Proceedings of the SICE Annual Conference, 2010, pp. 1884-1887. [20] D. Zhu, J. Bieger, G. Garcia Molina and R. M. Aarts, "A survey of stimulation methods used in SSVEP-based BCIs," Computational Intelligence and Neuroscience, vol. 2010, 2010. [21] M. A. Lopez-Gordo, A. Prieto, F. Pelayo and C. Morillas, "Customized stimulation enhances performance of independent binary SSVEP-BCIs," Clinical Neurophysiology, vol. 122, pp. 128-133, 2011. [22] I. Volosyak, D. Valbuena, T. Lth, T. Malechka and A. Grser, "BCI demographics II: How many (and What Kinds of) people can use a high-frequency SSVEP BCI?" IEEE Transactions on Neural Systems and - 37 -
Rehabilitation Engineering, vol. 19, pp. 232-239, 2011. [23] H. Bakardjian, T. Tanaka and A. Cichocki, "Optimization of SSVEP brain responses with application to eight-command Brain-Computer Interface," Neurosci. Lett., vol. 469, pp. 34-38, 2010. [24] I. S. Mackenzie, S. X. Zhang and R. W. Soukoreff, "Text entry using soft keyboards," Behav. Inf. Technol., vol. 18, pp. 235-244, 1999. [25] S. Zhai and P. O. Kristensson, "Interlaced QWERTY - accommodating ease of visual search and input flexibility in shape writing," in Conference on Human Factors in Computing Systems - Proceedings, 2008, pp. 593-596. [26] X. Bi, B. A. Smith and S. Zhai, "Quasi-qwerty soft keyboard optimization," in Conference on Human Factors in Computing Systems - Proceedings, 2010, pp. 283-286. [27] J. Perelmouter and N. Birbaumer, "A binary spelling interface with random errors," IEEE Transactions on Rehabilitation Engineering, vol. 8, pp. 227-232, 2000. [28] H. Cecotti, "A self-paced and calibration-less SSVEP-based brain-computer interface speller," IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 18, pp. 127-133, 2010. [29] F. -. Vialatte, M. Maurice, J. Dauwels and A. Cichocki, "Steady-state visually evoked potentials: Focus on essential paradigms and future perspectives," Prog. Neurobiol., vol. 90, pp. 418-438, 2010. [30] I. Volosyak, H. Cecotti, D. Valbuena and A. Grser, "Evaluation of the bremen SSVEP based BCI in real world conditions," in 2009 IEEE International Conference on Rehabilitation Robotics, ICORR 2009, 2009, pp. 322-331. - 38 -
Abstract Implementation of a QWERTY-style mental spelling system based on steady-state visual evoked potential (SSVEP) Lim, Jeong-Hwan Dept. of Biomedical Engineering The Graduate School Yonsei University Brain-computer interface (BCI) is a non-muscular communication technique that allows users to communicate with the outside world using external devices operated by only their brain activity. In the past decade, a variety of BCI applications have been developed to improve the quality of individuals with serious neurological disorders. In particular, the one most widely applied to the disabled people is an electroencephalography (EEG) - based mental speller which enables them to express their thoughts by only gazing target characters. In the BCI spelling systems, one of the important factors influencing the performance of the system is visual scanning time which is the time needed to visually find the target character. However, most of BCI studies concerning spelling systems have only concentrated on how fast and accurately the BCI systems detect the user s intention. In other words, BCI researchers have rarely considered - 39 -
the design of keyboard layout which would affect visual scanning time. Inspired by this fact, we devised a BCI mental spelling system based on steady-state visual evoked potential (SSVEP) adopting the QWERTY keyboard layout that the most users are more familiar with. Both the offline and online experiments were conducted with five and three participants to verify the feasibility of the proposed system. From the results of the present study, it was clearly confirmed that the users could find target characters more quickly with the QWERTY layout than a matrix layout, and classification accuracy was fairly high enough to implement an online mental spelling system. The averaged online experimental results were a typing speed of 8.63 letters per minute with a success rate of 86.27%, corresponding to an information transfer rate of 36.63 bits per minute with size of analysis window is 6s, demonstrating the feasibility of the proposed spelling system. It is expected that this spelling system will be used as communication tool for disabled people. Key words : mental spelling system, QWERTY keyboard layout, BCI, SSVEP, EEG - 40 -