<4D F736F F D205B4354BDC9C3FEB8AEC6F7C6AE5D3132C8A35F B1E2BCFA20B5BFC7E2>

Size: px

Start display at page:

Download "<4D F736F F D205B4354BDC9C3FEB8AEC6F7C6AE5D3132C8A35F B1E2BCFA20B5BFC7E2>"

다민 연
4 years ago
Views:

2 목차 (Table of Content) 1. Introduction BCI 기술개요 BCI 기술의등장배경 BCI 기술요소분석 BCI 기술방식 BCI에이용되는뇌파분석... 7 (1) 뇌파의특징과구분... 7 (2) BCI에사용되는뇌파분석 BCI 시스템구성요소 (1) 신호측정 (Signal Acquisition) (2) 전처리 (Preprocessing) 및형태추출 (Feature Extraction) (3) 전환알고리즘 (Transition Algorithm) (4) 응용단계 (Application) BCI 기술연구동향 기존의선행연구사례 최근연구동향 (1) 주의집중감시연구 (Attention Monitoring) (2) 이미지파악분류연구 (Classifying Image) (3) 가상현실에서의조작연구 (Motion Control for Virtual World) (4) 뉴로피드백연구 (Neurofeedback) BCI 기술적용사례 헤드셋형 BCI 상용기기 BCI 게임 (1) MindBalance (2) Smart Brain Games (3) Mindball (4) NeuroSky의헤드셋대응게임들 (5) 차세대융합기술원의뉴로원더 (Neuro Wander) BCI를활용한모바일애플리케이션 BCI 적용장난감완구

3 (1) Mattel 의 Mindflex (2) Uncle Milton 의 Star Wars Force Trainer BCI 적용인터랙티브영상콘텐츠 향후전망및이슈 BCI 기술활성화를위한이슈 BCI 기술의향후전망 Reference

4 1. Introduction 1.1 BCI 기술개요 BCI는 Brain Computer Interface의약자로인간의두뇌와컴퓨터를직접연결해뇌파를통해컴퓨터를제어하는인터페이스기술을말함 BCI 기술은넓게는 HCI(Human Computer Interface) 기술에속함 뇌파를통해휠체어나로봇과같은기계를조작할수도있기때문에, BCI 기술은 BMI(Brain Machine Interface) 라고불리기도함 BCI 기술의구현은뇌파자극을인식 (Acquisition) 하는장치를통해뇌파를받아들인후, 신호화과정 (Signal Processing) 을거쳐뇌파를분석해입출력장치에명령을내리는단계를거치게됨 Figure 1. BCI 기술의구현과정 자료 : Gerwin Schalk,

5 BCI 기술은다수의연구기관에의해유망기술로선정된바있음 MIT Technology Review는 BCI를 10대차세대기술로선정했으며, New York Times는 21세기 8대신기술로선정한바있음 국내에서는 2009년한국과학기술기획평가원 (KISTEP) 이향후 10년간우리생활을크게바꿀 10대유망기술의하나로선정 1.2 BCI 기술의등장배경 인간의두피에서측정가능한자발적전기활동인뇌파는두뇌활동의변화를시간적, 공간적으로파악할수있는수단임 뇌파는 1929년 Hans Berger에의해최초로기록된후임상과뇌기능연구에폭넓게사용되어왔음 컴퓨터의인터페이스수단으로서뇌파는장단점을모두지니고있음 장점으로는 fmri와같은대형장치에비해측정비용이저렴하고, 센서를직접두피에시술하지않는비침습형 (Non-Invasive) 방식에서는인체에무해하며, 뇌내의정보반응에대한실시간분석이가능하다는점이있음 단점으로는비침습형의경우잡파의혼입이불가피하고정보의손실이있어분석하는데어려움이있고, 침습형 (Invasive) 방식의경우시술에대한부담이매우크다는점이있음 Table 1. 뇌파의장점과단점 장점 - 자발적인생체신호임으로측정비용이저렴함 - 비칩습형방식의경우인체에무해함 - 실시간으로뇌파정보를제공 - 일체의동작을필요로하지않아, 가장직관적인인터페이스로적합함자료 : 한국전자통신연구원 단점 - 비칩습형방식의경우뇌외부에서측정하므로잡파의혼입이불가피함 - 침습형방식의경우외과적시술과부작용이있을수있어사용자부담이매우큼 - 전달된뇌파정보에손실이있으며분석이어려움 BCI 기술은개발초기 ADHD 아동이나중증신체장애인의컨트롤 4

6 등주로의료적인목적으로많이활용되었으며, 측정기기의무게가무겁고센서가많이달려있어착용이번거롭다는단점이있었음 그러나최근에는 Neurosky, Emotive, OCZ 등의회사에서헤드셋형태의가볍고착용이간편한기기를저렴한가격에발매함으로써게임, 집중력향상연습등다양한용도로활용되고있음 BCI 연구와기술발달이가속화된다면, 미래에는터치스크린, 증강현실등을잇는차세대인터페이스로활용될것으로기대됨 컴퓨터, 스마트폰의입력인터페이스로사용된컴퓨터, 마우스, 키패드등의고전적인방식은최근터치패드, 모션인식등으로진화하고있으며, BCI 기술발달이가속화된다면차세대인터페이스로활용가능성도높음 특히 BCI는손이나기타신체를이용하지않고도자연스럽게명령을내릴수있어, 가상현실, 영상이나사진인식등의분야에적합할것으로판단됨 5

7 2. BCI 기술요소분석 2.1 BCI 기술방식 BCI 기술 방식은 뇌파를 측정하는 부위에 따라 침습형과 비침습형으로, 활용되는 뇌파의 특징에 따라 뇌파유도형과 뇌파인식형으로구분됨 Table 2. BCI 기술방식구분분류기준방식특징사례 - 마이크로칩을두피에시술해칩습형뇌파측정방식 - 정확한측정이가능하지만시 (Invasive) 술이필요하고, 외과적부작용뇌파측정이있을수있음부위 - 헬멧이나헤드셋형태의장비비칩습형로뇌파측정방식 - 간편하지만잡신호가섞이는 (Non- 것이필연적 Invasive) - 정확한측정이힘듬 - 특정한뇌파의출현을유도해응용하는방법뇌파유도 - 사용자의실제의도와뇌파의방식출현이일치하지않기때문에활용뇌파특정뇌파를만들어내기위해서특징는훈련이필요함 - 뇌파를분석해간단한의사 / 동뇌파인식작을인식방식 - 사용자의의도를그대로컴퓨터나기계에전달자료 : 한국전자통신연구원, 스트라베이스재구성 - 원숭이의뇌에뇌파측정마이크로칩을시술, 뇌내에서검출된신경신호를이용해기계팔을움직인실험 ( 듀크대 ) - 대학, 연구기관의실험실이나상용제품에서사용하는방식 - NeuroSky사의헤드셋형뇌파측정기계 - 뇌파를이용한전기기구 On/Off 실험 - 긍정, 부정의사분별 - 뇌파를분석해사용자의각성수준분별 - 장애인을위한커서제어, 문자단어선택콘트롤 침습형방식은비교적정확한뇌파측정이가능하지만외과적시술과 부작용등사용자에게드는부담이매우커서, 일반적인활용은 불가능할것으로예상됨 6

8 비침습형은인체에무해하고간편하다는장점이있지만필연적으로잡신호가섞일수밖에없고, 정확한뇌파분석이힘들다는단점이있음 그럼에도칩습형의큰부담때문에향후상용 BCI 장치는비침습형만이사용될것으로전망 뇌파유도방식은특정뇌파를만들어내는훈련이없어도사용할수있어보다자연적인방법으로여겨짐 특정뇌파유도방식을모르스부호를사용하는 전신 에비교한다면뇌파인식방식은실제대화를하는 전화 에비교할수있을정도 그러나뇌파유도방식은두뇌에서의복잡한인지과정때문에뇌파분석이어려워현재는기술개발초기단계임 기술발달초기에는뇌파유도방식이이용될것이지만, 장기적인발전과정에서는뇌파인식방식을활용, 보다직관적이고신속, 정확한인터페이스개발로연결될전망 2.2 BCI에이용되는뇌파분석 (1) 뇌파의특징과구분 뇌파 (EEG, Electroencephalography) 란뇌에서발생한신호를전극으로측정한것을말함 뇌파는뇌의수많은신경에서발생한전기적인신호가합성되어나타나는미세한뇌표면의신호를측정함으로써얻어짐 뇌파신호는뇌의활동, 측정시의상태및뇌기능에따라시공간적으로변화함 이에따라뇌파신호는주파수에따른대역별특성, 시간영역에서의특성, 그리고뇌기능과관련된공간적특성을갖고있음 뇌파는 1~50Hz의주파수와약 10~200uV의진폭을보임 뇌파는주파와전압의범위에따라델타, 쎄타, 알파, 베타, 감마파등으로나뉨 7

9 델타 (δ) 파는 0.1~3Hz의주파수와 20~200μV의진폭을보이며, 정상인의깊은수면상태나신생아들로부터주로나타남 쎄타 (θ) 파는 4~7Hz의주파수와 20~100μV의진폭을보이며, 정서적으로안정된상태나수면상태에서나타남 알파 (α) 파는 8~12Hz의주파수와 20~60μV의진폭을보이며, 긴장이이완된편안한상태에서나타나며안정된상태일수록진폭이증가함 베타 (β) 파는 12~30Hz의주파수와 2~20μV의진폭을보이며, 깨어있거나의식적인활동을할때나타남 감마 (γ) 파는 30~50Hz의주파수와 2~20μV의진폭을보이며, 강한흥분상태에서나타남 Figure 2. 뇌파의주파수대역과신체상태에따른파장 자료 : 이창조, 한국게임학회논문지, 2009 (2) BCI에사용되는뇌파분석 베타 (β) 파와세타 (θ) 파 베타 (β) 파와쎄타 (θ) 파는집중력과각성정도를판단할수있는도구로활용됨 중베타 (Mid-β) 파가높아지면집중력이높아진상태이며, 반대로쎄타 (θ) 파가높아지면집중력이감소한상태로볼수있음 8

10 이를집중력향상이나이완훈련을필요로하는기능성게임, ADHD 아동의집중력치료에활용가능함 ERP와 P300 사건관련전위 (ERP) 는특정한정보에대한자극에반응해일정시간동안일어나는뇌의전기적활동을의미함 ERP의한부분인유발전위 (EP, Evoked Potential) 는특정한시각, 청각, 촉각자극에반응해발생 EP의대표적인예로시각유발전위 (VEP, Visual Evoked Potential) 를들수있는데, 이는시각자극을주어시각피질위의두피에서기록된뇌파를말함 ERP 구성성분중에서많은관심을갖고이론적, 경험적, 임상적으로광범위하게연구가이루어지는것은 P300임 P300은 300~600msec 사이에서발생하는매우크고뚜렷한파형의양전위성분을말함 P300은여러연구를통해의사결정, 신호의확률, 주의, 변별, 불확실성의해상도, 자극의관련성, 정보의전달등여러다양한인지적활동과관련있다는결과들이보고되고있음 P300을이용한실험에서는자극의제시빈도를조작해정보전달양을변화시키거나불확실감해소, 선택적주의력, 자극탐지, 기억스캐닝등의여러인지기능을반영 Motor Imagery Motor Imagery는외적인행동없이, 움직이겠다는생각만으로나타나는움직임의의식적인처리를지칭 이는움직임을준비하고있을때일어나는뇌영역에서의심리적인상상력을나타냄 Motor Imagery는일차운동영역을활성화시킬수있으며, 왼손이나오른손의움직임을상상하는동안 ERD와 ERS를발견할수있음 9

11 예를들어, 오른손을움직일경우왼쪽반구의뇌파활동은 억제되는반면오른쪽반구의활동은활성화되며, 왼손을움직이면 반대현상이일어남 2.3 BCI 시스템구성요소 BCI 시스템은뇌파측정기기를통해특정상태의뇌파신호를측정해특이점이나특징을추출하고, 이를분류해일반적인제어신호로변환해컴퓨터나기기등을제어하는역할을함 먼저사용자의머리부분에전극을부착한후뇌파데이터를측정기기를이용해측정 측정된뇌파데이터는 AD 컨버터를거쳐디지털신호로전환되어컴퓨터로입력 입력된뇌파데이터를각종알고리즘을이용해적당히신호처리를한후이를인식, 분류해제어신호로일반화시킴 최종출력신호는컴퓨터, 게임기, 의료기기등각종단말기기에응용되어사용됨 Figure 3. BCI 시스템의작동과정과구성요소 자료 : 음태완, 정보과학회지,

12 (1) 신호측정 (Signal Acquisition) 신호측정단계에서는머리에부착된전극을통해뇌파를측정 사전에장비의샘플링주파수, 이득 (Gain), 측정채널등의설정이필요함 뇌파측정기기에서아날로그신호가바로나온다면아날로그신호를디지털로바꿔주는 AD컨퍼터를뇌파측정기와컴퓨터사이에연결해주어야함 실험참가자에게실험에대한내용을설명해, 뇌파측정도중에돌발적인행동이발생하는것을방지 (2) 전처리 (Preprocessing) 및형태추출 (Feature Extraction) 전처리과정에서는잡파를제거하고분석에필요한신호를분리함 비칩습형방식으로측정된뇌파에는여러가지잡음이섞이는것이필연적임 이때문에필터를이용해주변의잡음을걸러주고미약한뇌파신호를증폭하는과정을거침 형태추출과정에서는신호를분류할때인식률을높이기위해 EEG 측정장치로부터들어온뇌파데이터의정보를변환 데이터의성분들중에서중요하거나혹은중요하지않은부분사이를명확하게구분해주는단계 구별이뚜렷하다고생각되는특징들은전처리되어디지털화된뇌파신호로부터추출됨 (3) 전환알고리즘 (Trasition Algorithm) 전환알고리즘은각각의뇌파데이터가어떤집단에속하는지를분류 알고리즘을통해여러뇌파모델을비교해클래스를구분함 보통 BCI 시스템에서는두개에서다섯개의클래스를학습시키는데하나하나의뇌파데이터를분류기를통해각각의클래스로분류함 11

13 분류방법으로는비교적간단한선형판별분석법에서부터복잡한비선형뉴럴네트워크등을사용 (4) 응용단계 (Application) 분류기를거쳐최종적으로나온출력은컴퓨터, 스마트폰, 헬스케어기기등의단말제어를위한명령어로바뀌어사용됨 분류결과로나온신호는여러장치에응용될수있음 예를들어, 컴퓨터화면의커서를움직이거나가전기기의 On/Off 기능을선택하거나, 게임기조작등에활용가능 12

14 3. BCI 기술연구동향 3.1 기존의선행연구사례 호주시드니의 University of Tech에서는신체장애극복과미래주택이용을목적으로 Mind Switch 연구를진행 정상인이눈을감고안정된상태를유지하면알파파가출현하고눈을뜨면알파파가감소하는원리를이용, 전기기구의스위치를끄고켜는실험을진행 일본의뇌기능연구소에서는감성인터페이스의개발목적으로긍정 / 부정의사구별에대한연구를진행 뇌파유도방식으로 예 일경우에는왼쪽귀에, 아니오 일경우에는오른쪽귀에의식을집중해긍정 / 부정의사를구별 미국의벤처기업인 IBVA에서는가상현실에대한응용을목적으로바이오피드백 (Biofeedback) 에대한연구를진행 뇌파를컴퓨터게임에응용, 자동차경주게임에서방향은조이스틱으로, 속도를뇌파로조정 1999년독일의튀빙겐대학에서는 SCP(Slow Cortical Potential) 를이용한장애인용워드프로세서를개발 화면에나타나는상하 2개의문자중하나를계속선택함으로써최종적으로한문자를선택하는방식 분당두문자의타이핑속도를보임 미국일리노이대학의 Donchin 교수팀에서는 ERP를활용한장애인용워드입력인터페이스를연구 특정자극에대한반복적인연습을통해평균값을추출하게되면 ERP를통한 BCI 컨트롤이가능해짐 Figure 4의오른쪽과같은문자행렬이주어지고피험자는 ERP 활성화를통해수직, 수평방향으로한줄씩문자를선택해특정문자를입력하는방식임 13

Naval Health Research Center는공동으로뇌파를통해각성수준을측정해어느수준이하로떨어지면적절한경고를내보내는휴대형실시간각성모니터링시스템을연구중

15 Figure 4. 튀빙겐대학과일리노이대학에서사용한문자입력방식 튀빙겐대학에서사용한인터페이스화면 일리노이대학에서사용한문자행렬방식 자료 : 전자통신연구원, 2001 미국의 Salk 연구소와 Naval Health Research Center는공동으로뇌파를통해각성수준을측정해어느수준이하로떨어지면적절한경고를내보내는휴대형실시간각성모니터링시스템을연구중 이기술은트럭운전수, 항공기조종사등의각성수준을모니터링해졸음운전이나긴급상황에대처하는시스템으로활용가능 미국듀크대의니콜렐리스박사팀은원숭이의뇌에전극을삽입해팔의움직임과관련된신호를포착, 로봇팔을움직이는데성공했음 이실험결과는학술지네이처에발표됨 Figure 5. 원숭이의뇌내신호를활용한로봇팔동작실험의개념도 자료 : 전자통신연구원,

16 뉴욕주립대의 Wolpaw 교수연구그룹은뇌파를이용한모니터상의커서제어를연구 동작을행하거나상상할때감소하는뮤파를이용해모니터상의커서를좌우로움직이는실험 이방식은피험자의오랜훈련이필요하다는단점이있음 3.2 최근연구동향 과거의선행연구들이주로장애인용인터페이스개발이나뇌파의기본적인처리및인터페이스활용에중점이맞춰졌다면최근에는보다실용적이고상업적인용도의연구들이진행중임 (1) 주의집중감시연구 (Attention Monitoring) 주의집중감시연구는장시간주의집중이필요한직종의종사자들에게활용될수있음 공군조종사, 트럭운전수, 공항의보안모니터링요원과같은직종에게는장시간각성상태를유지하는일이필요 BCI를통해이들의각성정도를파악해휴식을권고하거나경고하는장치를트럭, 비행기, 공항시설등에설치해활용가능함 Mercedes Benz에서는 Mind-Lab 프로젝트를통해운전자의상태를모니터링, 졸음운전을할경우이를감지해알려주는시스템에대한연구를진행한바있음 (2) 이미지파악분류연구 (Classifying Image) 이미지의의미를파악하고이에따라분류하는일에 BCI를활용하는연구도진행되고있음 인터넷에돌아다니는방대한이미지나사용자들이보관하고있는수많은이미지들은정확하게분류되어있지않기때문에활용성이떨어짐 이러한이미지들을카테고리에따라자동적으로분류는소프트웨어가사용되고있지만부정확하다는단점이있음 15

London이공동으로수행한연구에따르면사지가마비된환자가가상현실공간에서전동휠체어의움직임을컨트롤하는데성공한것으로나타남 사지마비환자가실제공간에서동일한연구를수행할때의위험성때문에가상공간에서의연구가바람직함 환자는 Graz-BCI라는이름의장비를착용,

17 인간의두뇌는이미지분류를매우빠르고정확하게할수있기때문에이러한작업에 BCI 기술을활용가능 (3) 가상현실에서의조작연구 (Motion Control for Virtual World) 가상현실환경에서아바타의움직임을 BCI로컨트롤하는연구도진행되고있음 이연구는인간의몸동작을상상할때발생하는 Motor Imagery 뇌파반응을이용해아바타의움직임을컨트롤하는데활용 오스트리아의 Graz University of Technology와영국의 University College London이공동으로수행한연구에따르면사지가마비된환자가가상현실공간에서전동휠체어의움직임을컨트롤하는데성공한것으로나타남 사지마비환자가실제공간에서동일한연구를수행할때의위험성때문에가상공간에서의연구가바람직함 환자는 Graz-BCI라는이름의장비를착용, 가상현실공간에구현된거리에서아바타들의움직임을피해목적지를통과 BCI 장비는환자가다리의움직임을상상할때나타난 Motor Imagery 뇌파를가상현실속휠체어의콘트롤에활용 Figure 6.. BCI 를활용한연구모습 가상공간에서의휠체어이동실험 운전자의각성수준관측실험 자료 : IEEE Computer Society,

18 (4) 뉴로피드백연구 (Neurofeedback) 뇌파를활용해상업적으로성과를거둔분야로 뉴로피드백 (Neurofeedback) 을활용한의료및교육을꼽을수있음 뉴로피드백치료는뇌파훈련을통해뇌파를조정하거나개선해나가는치료법 치료대상자는뇌파를스스로조절하는연습을통해뇌의부위별기능을강화하고습관및의식개선을기대할수있음 청소년의경우 ADHD( 주의력결핍과잉행동장애 ), 자폐증, 식이장애, 비만, 행동장애등다양한정신장애치료를포함하며성인의경우집중력약화, 불면증, 화병치료등에활용가능함 뉴로피드백치료는뇌관련의료기관에활발히보급되고있음 치료과정은환자의두피에전극을부착하여뇌파검사를수행한후전문의의진단에따라뇌파교정훈련을주기적, 반복적으로수행해치료효과를얻는것으로이루어짐 뉴로피드백치료는특히아동의 ADHD 치료에적극적으로활용되고있음 게임을통해쎄타파를줄이고베타파를늘리는집중훈련을보통주 2회, 최소 40회정도를반복 활쏘기게임의경우뇌파측정센서를부착한환자가집중을하면할수록화살이과녁중앙에맞는형태임 17

가격이비싸고부피가너무커서개인용장비로실용화하기에는한계가있었음 최근에는미국의 NeuroSky, OCZ Technology, 호주의 Emotiv 社에서헤드셋형태의 BCI

95달러 - 블루투스무선접속지원 - 가벼운무게와 8시간의배터리지속시간 - 10개의응용애플리케이션이포함된동봉 CD 증정 Emotiv /EPOC OCZ /NIA - 가격

19 4. BCI 기술적용사례 4.1 헤드셋형 BCI 상용기기 기존실험에이용되었던 BCI 측정장비나뉴로피드백관련장비는비교적정교하고정확한측정이가능하다는장점이있지만, 가격이비싸고부피가너무커서개인용장비로실용화하기에는한계가있었음 최근에는미국의 NeuroSky, OCZ Technology, 호주의 Emotiv 社에서헤드셋형태의 BCI 측정장치를비교적저렴한가격으로출시 Table 3. 기업들의 BCI 헤드셋기기출시현황기업 / 제품명제품모습가격및특징 NeuroSky /MindWave - 가격 99.95달러 - 블루투스무선접속지원 - 가벼운무게와 8시간의배터리지속시간 - 10개의응용애플리케이션이포함된동봉 CD 증정 Emotiv /EPOC OCZ /NIA - 가격 달러 - 무선연결과 12시간지속되는리튬이온배터리, 2축자이로센서탑재 - 16개의센서가부착되어긴장, 편안함, 흥분등 30여개의의도및감정을인식 - 시선, 주름, 인상, 미소등표정변화감지 - 가격 달러 - 헤드밴드형태로뇌파뿐만아니라얼굴근육, 눈움직임을함께측정해사용함 - 프로필설정을통해기존의 PC게임들에적용해사용가능함 자료 : 각사홈페이지, 스트라베이스재구성 18

20 미국의뉴로감지기전문기업인 NeuroSky에서출시한 Mindwave는뇌파감지센서의개수를세개로축소해경량화함 알파파와베타파를측정해집중, 편안함, 졸림, 흥분등의감정상태를측정할수있음 99달러의가격으로해당기기들중에서는가장저렴한축에속함 블루투스접속을지원하지만음성헤드셋기능을사용하기위해서는 USB 연결을해야하는것으로알려짐 감지센서가단일채널만을측정해정확한뇌파측정이힘들고결과값의신뢰도가낮다는단점이있음 호주의 Emotiv에서출시한 Epoc은 16개의센서가부탁되어있어뇌파감지를통해긴장, 편안함, 흥분, 혼란스러움등의상태를파악함 또한눈깜빡임이나윙크, 시선, 눈썹움직임, 주름, 인상, 미소등표정의변화도감지가능함 기기내에 2축의자이로 (Gyro) 센서가내장되어있어머리의움직임이나방향인식도가능 인간이행동할때발생하는뇌파전압의변화를감지해밀기, 당기기, 들어올리기등에대한감지도가능 가격이 300달러로고가라는단점이있음 미국의 OCZ Technology에서개발한 NIA는헤드밴드형태를띠고있으며, 뇌파를통해얼굴근육움직임을통한표정변화와안구움직임을통한좌우시선변화를감지 4.2 BCI 게임 최근 BCI를게임인터페이스로활용하려는연구와상용화시도가활발히진행되고있음 게임의초기인터페이스는조이스틱, 조이패드형태였다가 Nintendo의콘솔게임기 Wii가모션컨트롤러를차용하면서게임인터페이스의본격적인진화가시작됨 19

21 이후현재는 PlayStation 3의 Move와 Xbox 360의 Kinect에이르기까지인간의움직임을인식해게임조작에사용하는모션컨트롤러의대중화시대가열림 BCI는현재기술적으로초기단계에있으며, 어린이의집중력강화및노인을위한치매예방, 정신이완훈련과같은기능성게임에적극적으로활용될것으로기대됨 이와같은기능성게임으로서 BCI 기술의의의는최근불거지고있는게임의유해성논란을극복할수있는사례로, 게임산업에긍정적인기여를할수있을것으로보임 (1) MindBalance 마인드밸런스 (MindBalance) 는 University College Dublin과 MediaLabEurope의연구자들이공동으로제작한 BCI를이용한비디오게임 이게임에서는가상현실게임속의 3D 아바타캐릭터의움직임을 BCI로제어하게됨 Figure 7의화면에서보이는바와같이고릴라모양의아바타가외줄을타며균형을잡는형태의게임 이게임은 SSVEP를이용해고릴라의움직임을콘트롤하는방식임 SSVEP는특정한주파수에서시각적자극에자연적으로반응해발생하는신호들로시각적자극의주파수가다르면그때뇌에서발생하는신호들도실시간으로다르다는점을활용 고릴라아바타의양쪽에는패턴이다른형태의체크무늬가있는데, 오른쪽체크무늬를보면고릴라가오른쪽으로균형을잡고왼쪽체크무늬를보면왼쪽으로균형을잡는식의콘트롤 6명의실험자가게임을진행해본결과, 48번의게임플레이중에서 41번을성공시킬정도로정확한결과를보임 또한실험자들이보인실시간컨트롤의정확도는 89퍼센트에이르는것으로나타나, BCI가실시간게임컨트롤로활용될수있는가능성을증명함 20

22 Figure 7. Mind M Balance 게임화면 자료 : IEEE Computer, 2008 (2) Smart Brain Games 스마트브레인게임은미국의 Cyber Learning Technology사에서개발한 BCI 컨트롤시스템 사용자는세개의센서가달린헬멧을착용해게임을플레이하며, 게임콘솔과연결되어있는스마트박스라는장치를통해사용자의뇌파를수집, 분석한후이를이용해게임을제어 이시스템은기존에출시된게임들을지원하며, 컨트롤러중에서도전후좌우방향키가아닌특정버튼의입력을 BCI로대체하는수준이라는점에한계가있음 PlayStation One, PlayStation 2, Xbox 콘솔게임기 (Xbox 360이아닌구형 Xbox) 를지원하며, 635달러 (Xbox) 에서 620달러 (PS2) 의판매가를보이고있음 21

23 Figure 8. Smart Brain Games 시스템구성도 자료 : Cyber Learning Technology (3) Mindball 마인드볼 (Mindball) 은스웨덴의 Interactive Productline사에서개발한 BCI 게임으로, 두명의유저가작은공이들어있는투명관이놓인테이블의양끝에앉아게임을플레이 이게임의경기규칙은공을자신에게서멀리밀어내상대방쪽으로보내면승리하는방식임 플레이어는뇌파를감지할수있는전극이부착된헤드밴드를착용, 경기중에신체적정신적으로안정적인상태를유지할수록공이상대방쪽으로이동하게됨 이게임은보통의일반적인게임들이보다더흥분한상태에서경쟁해야만이길수있다는기존의규칙을깨고, 더안정적으로이완된상태를만들어야승리한다는역발상을취함 개발사는이게임을통해플레이어가신체적정신적으로안정적인상태를취하거나이완시키는방법을훈련할수있고, 이는플레이어의정신적, 신체적건강을향상시키는데도움이된다고홍보하고있음 22

24 Figure 9. Mindball 게임의플레이장면 자료 : Google Image (4) NeuroSky의헤드셋대응게임들 BCI 헤드셋을시판하고있는 NeuroSky사에서는서드파티를통해자사기기에대응하는게임들을선보이고있음 해당게임들은 PC용클라이언트인스톨게임이나플래시게임으로제공되고있으며뇌파를상대방과의집중력경쟁이나게임내컨트롤요소로활용하고있음 Table 4. NeuroSky 헤드셋대응게임들게임명스크린샷게임특징및진행방식 Brooding Bash - 플래시게임으로 2명의플레이어가집중, 이완에서나타나는뇌파를통해상대방과겨루는방식 - 가격 : 10달러 Protect Mission - 캐주얼게임으로적탱크의공격을피해아군트럭을목적지까지통과시키는방식 - 트럭의움직임은키보드의방향키로조정하며뇌파를통해적탱크가쏘는포탄의속도를조절 23

서울대학교차세대융합기술원에서는 뇌파 기능성 게임 뉴로원더 (NeuroWander) 를개발 해당게임은 2010 경기기능성게임페스티벌에출품되어시연됨 헨젤과 그레텔을 모티브로 삼아 캐릭터를 디자인하고

25 Mind Hunter - 플레이어가헤드셋을착용후집중하면게임화면하단에보이는게이지가상승하게되고, 이게이지가가득차면총을발사해동물들을사냥하는게임 - 가격 : 10달러 Fission Balls - 방향키로우주선의움직임을조정하고플레이어가집중할수록우주선이발사하는총알의파워와스피드가빨라짐 - 가격 : 10달러 자료 : NeuroSky (5) 차세대융합기술원의뉴로원더 (NeuroWander) 서울대학교차세대융합기술원에서는 뇌파 기능성 게임 뉴로원더 (NeuroWander) 를개발 해당게임은 2010 경기기능성게임페스티벌에출품되어시연됨 헨젤과 그레텔을 모티브로 삼아 캐릭터를 디자인하고 그로테스크한분위기의세계관을연출 플레이어는 뉴로원더 에서 뉴로스카이 (NeuroSky) 사에서 개발한 뇌파측정헤드셋인 MindSet을착용해게임을진행하며, 뇌파의 집중도를증가시켜조약돌을투척하거나마녀를화덕에처넣는 등의액션을취할수있음 24

Figure 10. 뉴로원더의시연장면과게임화면 자료 : 차세대융합기술원 4.

MindWave 헤드셋기기와 ThinkGear 솔루션을활용, 모바일 BCI 솔루션인 Xwave를출시함

. Xwave 의사양과제품사진 지원기기 iphone, ipod Touch, ipad 배터리 AAA

26 Figure 10. 뉴로원더의시연장면과게임화면 자료 : 차세대융합기술원 4.3 BCI를활용한모바일애플리케이션 모바일솔루션개발사인 PLX Devices에서는 NeuroSky의 MindWave 헤드셋기기와 ThinkGear 솔루션을활용, 모바일 BCI 솔루션인 Xwave를출시함 Table 5.. Xwave 의사양과제품사진 지원기기 iphone, ipod Touch, ipad 배터리 AAA 배터리 1 개 사용기술 NeuroSky esense Dry Sensor 사용가능연령 모든연령대 자료 : PLX Devices Xwave 는아이폰, 아이팟터치, 아이패드와연결이가능하며, 앱스토어를통해애플리케이션과게임들을제공하고있음 25

Devices에서제작한일종의번들애플리케이션으로사용자의뇌파를비주얼로표현 - 가격 : 무료 - 제작사 : PLX Devices - 카테고리 : 엔터테인먼트 Tug of Mind

99 달러 - 제작사 : MindGames - 카테고리 : 헬스케어 - 플레이어는꿈속으로들어가화면에나타나는집중 (Concentration) 과이완 (Relaxation)

27 Table 6.. Xwave 용앱스토어애플리케이션 App명스크린샷특징및진행방식 Xwave Visualizer - Xwave 시판사인 PLX Devices에서제작한일종의번들애플리케이션으로사용자의뇌파를비주얼로표현 - 가격 : 무료 - 제작사 : PLX Devices - 카테고리 : 엔터테인먼트 Tug of Mind W.I.L.D - 자신이싫어하는사람과닮은얼굴을설정하면화면에그얼굴이나타나고, 자신의화를억누르고마음을이완시키면상대방에승리하는게임 - 가격 : 4.99 달러 - 제작사 : MindGames - 카테고리 : 헬스케어 - 플레이어는꿈속으로들어가화면에나타나는집중 (Concentration) 과이완 (Relaxation) 임무를수행 - 가격 : 4.99 달러 - 제작사 : MindGames - 카테고리 : 게임 자료 : PLX Devices 4.4 BCI 적용장난감완구 BCI 헤드셋장비의가격이저렴해지면서이를응용한 BCI 장난감완구도시판되고있음 (1) Mattel의 Mindflex 세계최대의장난감업체인 Mattel 社는바람을뿜어내는보드판위에가벼운플라스틱공을띄워뇌파를통해그움직임을컨트롤하는 Mindflex라는이름의장난감을출시 26

이장난감은 NeuroSky의 Mindset 헤드셋기기를응용해 Mattel사에서개발

제품전면에부착된원형모양의컨트롤러로공의전후좌우움직임을조정해목표지점으로넣는게임방식을채택 이제품은 89.

Mindflex 제품사진과플레이모습 자료 : Mattel (2) Uncle Milton의 Star Wars Force

28 이장난감은 NeuroSky의 Mindset 헤드셋기기를응용해 Mattel사에서개발 헤드셋을쓴상태에서집중하면공기에의해공이떠오르고이완하면공이내려가며, 제품전면에부착된원형모양의컨트롤러로공의전후좌우움직임을조정해목표지점으로넣는게임방식을채택 이제품은 89.99달러의정가에판매되고있음 Figure 11. Mindflex 제품사진과플레이모습 자료 : Mattel (2) Uncle Milton의 Star Wars Force Trainer 미국의과학용교구전문회사인 Uncle Milton 社는 NeuroSky의헤드셋을활용해집중과이완을통해원통안에든공을움직일수있는장난감을출시 해당장난감은정신력으로물체를움직이는영화 Star Wars의 Force 개념을장난감에응용해디자인 단순한공놀이장난감이아닌영화속상상력을구현하는기구로마케팅포인트를잡아인기를얻음 현재 달러의정가에판매되고있음 27

NeuroSky의 MindWave를사용하며, 헤드셋을끼고영화를감상하는시청자의뇌파를분석해그반응에따라스토리진행을변화시키는기술을구현 두개의분기로스토리가나뉘는짧은영화를제작, 영화를시청하는사용자의뇌파에따라스토리가바뀌는형태

29 Figure 12. Star Wars Force Trainer 의모습 자료 : Uncle Milton 4.5 BCI 적용인터랙티브영상콘텐츠 2010년하반기영국의영화스튜디오인 Treite Labs는 MyndPlay라는이름의 BCI 기술을이용한인터랙티브영상소프트웨어를개발함 MyndPlay는 BCI 측정기기로 NeuroSky의 MindWave를사용하며, 헤드셋을끼고영화를감상하는시청자의뇌파를분석해그반응에따라스토리진행을변화시키는기술을구현 두개의분기로스토리가나뉘는짧은영화를제작, 영화를시청하는사용자의뇌파에따라스토리가바뀌는형태 Treite는앞으로이와같은형태의짧은영화를몇편더제작해다운로드형태로제공할계획임 NeuroSky의 CEO인 Stanley Yang은 영화아바타를보던자신의부인과딸이극중에서죽는시고니위버가죽지않고살기를바랐다 면서 NeuroSky의기술을응용한영화라면관객의바람에따라스토리를변화시키는일도가능할것이라고밝힘 Yang의전망에따르면기술이발전하면향후이러한시스템을 28

30 극장에서도채택할수있고, 관객들의마음을읽어내영화의스토리진행에반영하는시스템도구상할수있다고언급함 그러나 NeuroSky의부사장인 David Westendorf는이러한기술이극장에현실적으로적용되기에는최소 2년이상의시간이필요할것이라고전망 29

31 5. 향후전망및시사점 5.1 BCI 기술활성화를위한이슈 BCI 기술을이용한게임, 애플리케이션, 장치들이활성화되기위해서는 BCI 기기의측정뇌파범위와정확도를더확대할필요가있음 현재상용화된 BCI 헤드셋기기는대부분알파파와베타파만을이용, 뇌의집중상태와이완상태만을측정해게임이나장난감등에반영하는수준에그치고있음 Motor Imagery와같이움직임을상상해컨트롤에반영하거나십자컨트롤러의전후좌우움직임을뇌파구분을통해컨트롤하는보다발전된형태의연구는아직초기단계에머물고있음 BCI를활용한게임에서가장큰문제는사람마다뇌파의평균진폭, 평균파장등이차이를보이기때문에제어를위한임계점을잡기힘들다는점임 이에따라최근에는뇌파의정규분포를활용해정규화함으로써개개인의뇌파특성의차이를줄이는연구가진행되고있음 뇌파연구는오랜연구기간과예산이필요하지만당장상용화되어이익을내기는힘든분야인만큼, 국가나정부기관차원에서연구를주도하고투자하는전략이필요함 BCI 기술을통해노인, 아동등특수계층의치료목적과같이공공의이익을위해사용할수있다는관점에서의접근도유효할것으로판단됨 5.2 BCI 기술의향후전망 BCI 기술을활용할수있는분야는기능성게임, ADHD 등의정신질환치료이외에도마케팅, 헬스케어, 교육등다양하게확장될수있음 30

시장은 2005년 1억달러에서 2007년 2억 2,500만달러, 2008년 2억 6,500만달러로성장할것으로전망하고있음

32 Figure 13. BCI 기술응용분야 자료 : NeuroSky 뇌관련시장조사업체인미국의 SharpBrain이분석한자료에따르면뉴로피드백을활용한뇌건강 (Brain Fitness) 시장은 2005년 1억달러에서 2007년 2억 2,500만달러, 2008년 2억 6,500만달러로성장할것으로전망하고있음 SharpBrain에따르면뇌건강시장은대중의관심, 연구개발진척도와같은시장요인에따라크게달라질것이지만, 2015년에는 10억에서 50억달러사이의규모를형성할것으로전망되고있음 Figure 14. SharpBrain 의 Brain Fitness 시장예상규모와분야 자료 : SharpBrain BCI 기술은향후발전과정에서기능성게임, 영화의인터랙티브 31

33 스토리텔링, 뉴로마케팅과같이여러 CT분야에응용될것으로기대됨 BCI 기술은뇌공학, 인지과학, 의공학, 전기 / 전자공학등제반과학기술분야와관련이있으므로, 분야를아우르는학제적연구와융합기술연구가성공에핵심적인요소로작용할전망 BCI 기술은머리와팔다리의움직임을포함하는모션센서, 심장박동등을활용한생체신호, 눈의시각움직임등과같은여러인터페이스기술과함께혼합되어, 향후오감을활용하는융합형인터페이스로발전할것으로예견되고있음 32

34 Reference 1. BCI 기반 Entertainic 기술개발동향, 신정훈, 서은미, 전자공학회지제34권제6호, BCI2000: A Genaral-Purpose Brain-Computer Interface(BCI) System, IEEE Transactions on Biomedical Engineering, VOL. 51, No.6, Gerwin Schalk, Dennis J. McFarland, Thilo Hinterberger, Niels Birbaumer, Jonathan R. Wolpaw, Brain-Computer Interfaces, Virtual Reality, and Videogames, IEEE Computer Society, Anatole Lecuyer and Fabien Lotte, Richard B. Reilly, Robert Leeb, Michitaka Hirose, Mel Slater, BrainGain: BCI for HCI and Games, Anton Nijholt, Jan B.F. Van Erp, Dirk Heylen, Games and Brain-Computer Interfaces: The State of the Art, Boris Reuderink, Human-Computer Interaction for BCI Games, 2010 International Conference on Cyberworlds, Danny Plass-Oude Bos, Boris Reuderink, Bram van de Laar, Hayrettin Gurkok, Christian Muhl, Mannes Poel, Dirk Heylen, Anton Nijholt, Why Use a BCI If you are healthy?, Brendan Allison, Bernhard Graimann, Axel Graser, 뇌-컴퓨터인터페이스기술동향, 주간기술동향 01-28, 한국전자통신연구원, 류창수, 송윤선, 김민준, 신승철, 뇌-컴퓨터인터페이스를활용하기위한뇌파정규화방법, 2010년한국게임학회 추계학술대회논문집, 성연식, 뇌파기반휴먼인터페이스기술에관한연구, 한국전자통신연구원, 뇌파인터페이스장치를활용한게임개발동향, 정보과학회지제26권제12호, 오규환, 뇌파기반뇌-컴퓨터인터페이스기술, 정보과학회지제22권제2호, 음태완, 김응수, 뇌파신호를이용한집중력향상게임구현, 한국게임학회논문지제9권제2호,

[ 융합과학 ] 과학고 R&E 결과보고서 뇌파를이용한곤충제어 연구기간 : ~ 연구책임자 : 최홍수 ( 대구경북과학기술원 ) 지도교사 : 박경희 ( 부산일과학고 ) 참여학생 : 김남호 ( 부산일과학고 ) 안진웅 ( 부산일과학고 )

[ 융합과학 ] 과학고 R&E 결과보고서 뇌파를이용한곤충제어 연구기간 : 2013. 3. 1 ~ 2014. 2. 28 연구책임자 : 최홍수 ( 대구경북과학기술원 ) 지도교사 : 박경희 ( 부산일과학고 ) 참여학생 : 김남호 ( 부산일과학고 ) 안진웅 ( 부산일과학고 ) 장은영 ( 부산일과학고 ) 정우현 ( 부산일과학고 ) 조아현 ( 부산일과학고 ) 1 -