뇌 - 컴퓨터인터페이스 (Brain-Computer Interfaces) 기술에대한국내 외연구개발동향조사 (Research and Development in Brain-Computer Interfacing Technology: A Comprehensive Technical Review) FINAL REPORT December 2015 Chang Soo Nam, Ph.D., Chair Sung-Phil Kim, Ph.D. Dean Krusienki, Ph.D. Anton Nijholt, Ph.D. Korean-American Scientists and Engineers Association (KSEA) 0
EXECUTIVE SUMMARY 재미한인과학기술자협회 (KSEA) 는뇌-컴퓨터인터페이스 (Brain-Computer Interfaces, BCI) 기술의국내외연구및개발동향에대한조사를위해한국과학기술단체총연합회 (KOFST) 의지원을받아국내외연구자 4 명을연구위원으로위촉하였으며, 전문가인터뷰및문헌연구를통해 2015 년 9 월부터 12 월까지조사를진행하였다. 뇌-컴퓨터인터페이스는인간의뇌와컴퓨터를직접연결하여이들사이에정보교환이일어나게하는융합기술을총칭하며, 현재크게두가지방향으로연구되고있다 : 1) 인간의생각을반영하는뇌신경신호를실시간으로해석해이를사용자, 특히사지가마비된사용자가생각만으로외부기기를제어할수있도록하는연구 ; 2) 외부정보를인간의뇌에입력시키고이를변조함으로써인간의인지능력을증진시키려는연구. 선진국과비교하여한국의뇌-컴퓨터인터페이스기술수준은 48%, R&D 투자는미국의 1% 수준, 국내뇌과학논문수는미국의 1/30 수준, 뇌과학특허건수는 1/180 수준, 그리고미국보다 20 년늦게뇌연구센터가설립되었다는점을감안할때, 다른선진국과비교하여국내뇌-컴퓨터인터페이스기술역량에더많은연구개발투자가이루어져야할것으로판단되고있다. 국내 외특허동향 국내의뇌과학연구및응용기술관련특허 ( 그림 1-3 참조 ) 는 1990 년대초반부터증가해 2000 년대후반이후더급증하고있으며, 해외에출원된대한민국특허는총 600 건에 i
달한다. 특히우리나라의특허확보는미국, 일본과달리연구원과대학에집중되어있으며, 뇌신경질환치료제관련특허가주를이루고있다. 뇌과학연구및이를응용한활용기술들에대한해외특허는 1991 년이후꾸준히증가하고있으며, 1990 년후반부터빠른속도로성장하고있다. 주요특허군집으로는 1) 신경회로망이론을통한뇌기능분석법, 2) 뇌신경자극 / 신호및영상기술관련분석 수집장치, 3) 뇌질환치료법및치료약제등이있으며, 신경신호직접획득에기반을둔뇌-기계인터페이스기술은신경회로망이론을통한뇌기능분석과뇌신경자극 / 신호분석 수집장치의교집합기술이라할수있다 국내 외시장동향 기능모니터링관련기기의시장점유율이증가하고있으며, 뇌 신경질환진단과 관련된영상처리용장치및소프트웨어 ( 그림 1-7 참조 ) 는의료기기상위 20 대 품목에있으며, 시장증가율이무척큰품목중하나이다. 국내생체전위측정기기시장 ( 표 1-5 참조 ) 은 2013 년 167 억원에서 2017 년 2 백억 원까지연평균 5% 상승률로낮은상승률이지만지속적으로성장할것으로전망되며, 국내영상진단기기의시장성장률은새로운기술 ( 유방암진단, 기기의포터블화 ) 등의도입에따라진단영역이확장되고있어새로운수요의창출여부에따라시장성장은더욱높아질것으로보인다. 세계영상진단기기산업의연평균성장률 (5.9%) 과비교하여국내영상진단기기 산업의연평균성장률 (11.3%) 이 2 배가량높은점으로보았을때, 지속적인 ii
기술개발및혁신을통해높은시장점유율을차지할수있을것으로예측된다. 뇌파측정기 ( 뇌파계 ) 의경우 2008 년도수출금액대비점진적으로증가추세를 보이며, 이는뇌파장비의정밀도및신호품질면을고려한원천기술개발이미비하더라도보급형뇌파측정기개발기술이영향을미치는것으로보인다 ( 그림 1-8 참조 ). 뇌-기계인터페이스가포함된침습형뉴로인터페이스기술의세계시장의규모는 2010 년도에 43 억달러로서전체의료기기시장의약 1/50 정도에서 2014 년에는 102 억달러로연평균 24 % 의성장세를보이고있다 ( 표 1-7 참조 ). 국내 외정책동향제2차뇌연구촉진기본계획 ('08~'17) 에따르면, 미래뇌공학의 3대중점분야로뇌구조및기능측정모델링, 뇌기능증진기술과더불어뇌-컴퓨터인터페이스기술을선정하였으며, 특히 2014년도뇌연구촉진시행계획에따르면, 뇌연구 4개분야중하나인뇌공학의 4대중점기술주요연구방향으로뇌-기계인터페이스에관련된연구가선별되어중점적으로육성되고있으며, 국내외공동연구를적극지원하여국제적경쟁력강화를위한기관별정책이개정되고있다. [ 정책적시사점 ] 뇌공학집약기술선점을위한융합연구를촉진하기위해각뇌공학분야별전략적융합을위한포트폴리오확립이필요하며, 기존의연구수준을제고하기위한대규모융합연구센터확충및지원시스템확립이필요하다. iii
세계적뇌공학이슈와트렌드에맞는목적지향적인연구추진로드맵확보및원천기술창출을위한전략적정부지원시스템구축, 그리고기초연구및임상연구의융합적시너지효과를극대화할수있는정부주도정보인프라조성이필요하다. 미국은 2013 년 4 월 2 일, Brain Research through Advancing Innovative Neuro technologies (BRAIN) Initiative 프로그램제안. 오바마대통령의제안에따라, National Institutes of Health (NIH) 과같은연방연구지원프로그램에서뇌-컴퓨터인터페이스를비롯한뇌연구지원 ( 자세한사항은 6.2.1 참조 ). 2013 년에 NIH, NSF, DARPA 가 BRAIN Initiative 를통해 1 억달러지원을결정하였다. European Commission (EC) 은최근기존의 Future BNCI 프로그램의성공에힘입어 BNCI Horizon 2020: The Future of Brain/Neural Computer Interaction (http://bnci-horizon-2020.eu/) 라는프로그램을다시시작하여 BCI 연구를지원하고있다 (6.1 참조 ) 일본은 21 세기를 `뇌연구의세기 (Century of Brain)' 로선언하고뇌신경계의기능, 뇌손상치료기술개발, 뇌의기능및응용을위한연구프로젝트추진중이다 ('97 '16). 뇌신호측정기술 (Neuroimaging Technology) 국내에는뇌전도 (EEG) 기반의뇌 - 컴퓨터인터페이스기술발달이증가하고있으며, 그에 따른측정장비의개발및생산이가능하나, 기능적자기공명영상및뇌자도측정장비의 iv
개발및생산이미비한실정이다. 침습형측정기술은선진국과의격차가많은것이사실이다. ( 주 ) 락싸, 소소및 ( 주 ) 와이브레인등일부기업에서는전기생리학적뇌파측정장비를자체개발및생산하여, 연구용및저가보급형으로생산하고있으며, 한국전자부품연구원및한국과학기술연구원등국책연구기관은뇌신호획득과신호처리가동시에가능한통합형뇌전도측정장비를개발하고있다. 이밖의표준과학연구원및서울대병원등은뇌자도측정을위한원천기술확보에활발한연구활동이진행되고있으며, 삼성전자주식회사등은 fmri 개발기술확보를위해다양한협력연구개발활동을수행하고있다. 반면, 북미및유럽을중심으로한선진국에서는더발전된비침습형측정기술뿐만아니라침습형측정장비개발및생산이활발히이루어지고있다. 예를들면, 전해질 (electode gel) 사용이필요없는건식능동전극 (active dry electrode) 개발과생산 (e.g., g.tec, Inc.), 그리고두가지뇌신호측정장비가통합된시스템개발 ( 예, fmri/eeg) 로시간및공간해상도모두향상된시스템들이많이연구개발되고있다. 침습형전극으로서가장활발하게연구되고있는 5 가지종류의 microelectrode 들은 Wire-type, mass-fabricated, silicon-based, ceramic-based 그리고 polyimide-based microelectrodes. 국외에서는기능적근적외선분광분석 (fnirs) 이크게 3 가지원천기술을기반으로개발되고있다 : Continuous Wave NIRS (CW NIRS), Frequency Domain NIRS (FD NIRS) and Time Domain NIRS (TD NIRS) ( 표 2-3 참조 ). v
뇌신호처리기술국내에서많이연구되고있는뇌신호처리기술은크게전처리기술 (preprocessing), 시계열분석, 주파수분석, 그리고특성추출분야로나뉘며, 이에따라각각의세부적인처리목적에따라다양한필터기술등이필요하다. 특히전처리기술로는, 잡음제거기술및기준전압교정 (referencing) 기술등이매우중요하게요구되며, 그에따라적합한특성신호를추출할수있다. 특성추출기술은뇌파분류기술을위한전처리단계중하나로, 시계열분석및주파수분석기술의융합등으로다양한처리기술들이요구된다. 세계적으로가장많이개발되어사용된뇌신호전처리기술은 Surface Laplacian (SL) 방법으로서약 32% 의 BCI 시스템들이사용하였다 ( 표 3-1 참조 ). Principal or independent component analysis (PCA or ICA) 방법이두번째로가장많이사용되었으며 22% 의 BCI 시스템들이사용하였다. Common spatial patterns (CSP) 과 Common average referencing (CAR) 이각각 14%, 11% 의 BCI 시스템들에사용되었다. 국외뇌신호특성추출기술현황을요약해보면 ( 표 3-2, 그림 3-17, 표 3-3 참조 ), 첫째 sensorimotor 신호기반 BCI시스템들중에서 power-spectral-density 특성을 41% 로가장많이사용하였으며 16% 가 parametric modeling, 그리고 13% 가시계열 / 주파수분석 (time frequency representation, TFR) 방법을사용하였다. 둘째, SCP 기반 BCI 시스템대부분 (74%) 은 low-pass filtering 방법을사용하였으며, VEP 기반 BCI 의 64% 가 powerspectral 특성들을사용한것으로파악되고있다. 세째, P300 기반 BCI 의 26% 는 max vi
signal, 그리고 22% 는 TFR 방법을사용하였다. 네째, mental task 기반 BCI 의 41% 는 power spectral 특성들을그리고 37% 는 parametric modeling 방법들을사용하였다. 뇌신호특성을선택하고차원감소을위한다양한알고리즘들이개발되어 BCI 시스템개발에사용되고있다 ( 표 3-3 참조 ). 주로 genetic 알고리즘 (GA, 26%), distinctive sensitive learning vector quantization (DSLVQ, 24%) 그리고 PCA (13%) 알고리즘들이많이사용되고있는것으로파악되고있다. 뇌신호특징분류 (Classification) 기술세계적으로뇌신호특성분류알고리즘으로는대부분의 BCI 가 ( 약 75%) neural network (NN) 을사용하였다 ( 그림 4-9 참조 ). Neural network 기반분류알고리즘들중에서는 27% 의 BCI 가 multi-layer perceptrons (MLP) neural network 을 39% 가 learning-vectorquantization (LVQ) 알고리즘을사용하고있다. Linear discriminant (LDA or FLD) 분류방법들이그다음으로많이사용되었다 (26%). Support vector machine (SVM) 들은약 11% 의 BCI 시스템들이채택하고있는것으로파악되고있다. BCI 개발 SDK 및 Applications BCI 시스템개발 SDK 는현재미국 Wadsworth Center 에서개발된 BCI2000 (Brunner et al., 2012) 과샌디에고대학교 Swartz Center of Computational Neuroscience (SCCN) 에서개발된 BCILAB (Kothe, 2013) 이가장널리사용되고있다. 표 5-1 에서보는바와같이, vii
최근에는 Neurosky (Neurosky), Interaxon (Interaxon), 그리고 emotiv (emotiv) 같은회사에서도자사제품과연동되는 SDK 를개발하여출시하였다. van Erp 연구팀은 2012 년, 7 가지주요 nonmedical BCI 애플리케이션분야들 ( 디바이스제어, 사용자인지모니터링, 시험평가, 교육및훈련, 게임, 인지증강그리고안전및보안 ) 에대해 4 가지기준 ( 연구진척도, 사회적영향, 경제적효용성및가격경쟁력 ) 으로평가한결과를발표하였다 ( 표 5-2 참조 ). 신경과행동기능재활을위한 DARPA BCI 프로그램신경과행동기능을재활시키기위한 BCI 연구를지원하기위해최근진행중인 DARPA 의중요한 4 개의프로젝트들은 1) Revolutionizing Prosthetics, 2) Reorganization and Plasticity to Accelerate Injury Recovery (REPAIR), 3) Restorative Encoding Memory Integration Neural Device 그리고 4) Reliable Interface Technology(RE-NET) 이다 ( 표 6-4 참조 ). 훈련및성과향상을위한 DARPA BCI 프로그램지금까지소개된 DARPA 지원연구들은신경및행동기능회복을위한 BCI 개발에집중했지만, DARPA 는또한건강한사람들의훈련및성과의향상에목적을둔 BCI 시스템개발에도주목할만한투자를하였다 ( 표 6-5 참조 ). 그중에서 5 가지중요한프로젝트를소개하자면, viii
1) Accelerated Learning 프로젝트는 BCI 기술을활용하여과업성과의향상을가속화하는새로운훈련패러다임개발. 2) Narrative Networks (N2) 프로젝트는듣는사람의 EEG 신호에대응하는 narrative를적용한 closed-loop BCI시스템의초기개발을포함하여, 인간의인식과행동에 narrative가미치는영향을수량화하는새로운기술개발중. 3) Neurotechnology for Intelligence Analysts (NIA) 프로그램과 Cognitive Technology Threat Warning System (CT2WS) 프로그램들은각각영상분석효율과및실시간위협탐지의효율을증진시키기위해비침습적으로기록된 target detection 뇌파를활용. 4) 저가의 EEG 기술노력은적절한가격의 EEG기록시스템을개발하여, BCI 개발기회를전문적 (professional) 뇌과학자뿐만아니라비전문적 (amateur) 뇌과학자집단도사용할수있도록확장하는것을목표. 뇌-컴퓨터인터페이스기술의미래연구방향침습형대뇌피질신호 (ECoG) 기반뇌-컴퓨터인터페이스기술의연구개발은미국, 유럽및다른아시아 ( 예, 일본, 중국, 싱가포르등 ) 지역등에서는활발하게이뤄지고있다. 뇌- 컴퓨터인터페이스에서의최근발전을고려해보면, 핵심원천기술및다양한목적의 BCI 시스템개발을포함하여이러한시스템들의성능, 견고함그리고사용적합성을최적화시키는부분에여전히수많은과제들이남아있는상태이다. 유럽및미국의선진 ix
연구기관에서주목하고있는뇌 - 컴퓨터인터페이스기술의미래연구방향을간단히 요약해보면, 넓은범위에걸친공간 scales (1 개부터백만개의뉴론 ) 과시간 scales (1000 분의 1 초부터년까지 ) 의신경활동과구조를실시간으로측정할수있는뇌신경 측정기술개발 심하지않은임상병리케이스를가진사람들, 신경수술을원치않는사람들, 혹은 건강한사람들이좀더높은성과효율을가지도록도와줄수있는 BCI 시스템을 효율적으로적용하기위해, 높은시공간해상도의기록활동이가능한, 휴대형 비침습형신경인터페이스개발 여러연구그룹에서나온데이타들의효율적인분석과통합은프로토콜과 데이타형식의표준화, 다양한양식과스케일에걸친효율적인데이타통합그리고 개인실험들에있어서데이타공유와공동의노력등을증진시킬수있는인센티브 구조등을포함한데이타공유에대한혁식적인새접근법 시스템작동에걸리는소요시간을최소화한, 그리고환경변화에잘견디며필요한 센서배치의변동에견디어낼수있는비침습형 BCI 시스템개발 인간의뇌혹은말초신경까지공간과시간적으로고해상도를가진상태에서 정확하게설정된자극들이 (1) 잃게되버린감각인풋 ( 예 : 손발을잃게된사람들을위한촉각의 prosthetic 감각 ) 의대체, (2) 기능장애를잃으킨네트워크의빠른수정 ( 예 : 비정상적신경 firing 발견과완화 ), 그리고 (3) 뇌의신경가소성메커니즘을사용하여건강한기능을하는네트워크의장기적인복구를가능케하는컴퓨터 x
모델뿐아니라수술및비수술신경인터페이스개발 인간의뇌에있는복잡한기억조직을생물학적연구결과를바탕으로계량화하는 컴퓨터모델개발 ( 예, DARPA 의 Restoring Active Memory(RAM) 프로그램 ) xi
ACKNOWLEDGEMENTS On behalf of the research panel on brain-computer interfaces survey we would like to acknowledge and thank the Korean Federation of Science and Technology Societies (KOFST) and the Korean-American Scientists and Engineers Association (KSEA) for their support and opportunity to carry out this comprehensive technical review on research and development in brain-computer interfacing technology. Our special thanks go to Inchul Choi, Na Young Kim and Shijing Liu for their excellent and patient technical assistance. DISCLAIMER The opinions expressed herein belong solely to the authors. They do not represent and should not be interpreted as beingthose of or endorsed by the Korean-American Scientists and Engineers Association (KSEA) or the Korean Federation of Science and Technology Societies (KOFST). xii
KSEA RESEARCH PANEL ON BRAIN-COMPUTER INTERFACES SURVEY 재미한인과학기술자협회 (KSEA) 는뇌-컴퓨터인터페이스 (Brain-Computer Interfaces) 기술에대한국내외연구및개발동향에대한조사를위해한국과학기술단체총연합회 (KOFST) 의지원을받아국내외전문연구자 4 명을패널위원으로위촉하였으며, 전문가인터뷰및문헌연구를통해 2015 년 9 월부터 12 월까지조사를진행하였다. 패널위원들의약력은다음과같다. Chang Soo Nam (Chair), North Carolina State University Chang Soo Nam is an associate professor in the Edward P. Fitts Department of Industrial and Systems Engineering at North Carolina State University (NCSU). He is also an associate faculty in the University of North Carolina/NCSU Joint Department of Biomedical Engineering as well as the Department of Psychology. His primary interests are brain computer interface, neuroergonomics, rehabilitation engineering, and affective computing. Currently, Dr. Nam serves as the Editor-in-Chief of the journal Brain-Computer Interfaces. Sung-Phil Kim, Ulsan National Institute of Science and Technology Sung-Phil Kim is an associate professor at the School of Design and Human Engineering, Ulsan National Institute of Science and Technology (UNIST). His major research focuses on developing a brain-computer interface (BCI) in humans. Before joining in UNIST, he worked as an assistant professor (research) at Korea University from 2009 to 2013, conducting several research projects related to BCIs. Dr. Kim earned his Ph.D and M.S. degrees from the Department of Electrical and Computer Engineering at the University of Florida in 2005, working in the Computational NeuroEngineering Laboratory supervised by Dr. Jose C. Principe. Then, he worked in the neural interface research team as a postdoctoral researcher at Brown University for the development of intracortical BCIs in humans with tetraplegia. Dr. Kim received xiii
the B.S. degree from the Department of Nuclear Engineering at Seoul National University in 1994. Dean Krusienki, Old Dominion University Dean Krusienski received his BS, MS, and PhD degrees in electrical engineering from The Pennsylvania State University. He conducted his post-doctoral research in the Brain-Computer Interface Laboratory at the Wadsworth Center. He is currently an Associate Professor in Electrical and Computer Engineering at Old Dominion University in Norfolk, VA, where he directs the ASPEN Lab. He is also the Graduate Program Director of Biomedical Engineering and Director of the Biomedical Engineering Institute at ODU. He has co-authored over 50 peer-reviewed technical publications in the fields of signal processing, brain-computer interfaces, and neural engineering. His research has been funded by NSF, NIH, and NIA/NASA. Anton Nijholt, University of Twente Anton Nijholt received his PhD in computer science from the Vrije Universiteit in Amsterdam. He held positions at various universities in Europe and Canada. In 1989 he was appointed full professor at the University of Twente in the Netherlands. His main research interests are human-computer interaction with a focus on entertainment computing, affect, humor and brain-computer interfacing (BCI). He edited various books, most recently on playful interfaces and BCI. Dr. Nijholt, together with more than fifty PhD students he supervised, wrote numerous journal and conference papers on these topics and acted as program chair and general chair of many large international conferences on affective and entertainment computing. Dr. Nijholt is editor in chief of the Frontiers in ICT and the Frontiers in Psychology Journals, specialty section on Human-Media Interaction. Recently he participated in two European Community initiated roadmap projects to develop a vision on BCI research in Europe until 2020 and beyond. xiv
목 차 EXECUTIVE SUMMARY... i ACKNOWLEDGEMENTS... xii DISCLAIMER... xii KSEA RESEARCH PANEL ON BRAIN-COMPUTER INTERFACES SURVEY... xiii List of Figures... xvii List of Tables... xx 1 개요... 1 1.1 뇌-컴퓨터인터페이스란?... 1 1.1.1 BCI 기술동향조사목적... 4 1.1.2 조사방법론... 7 1.1.3 보고서구성... 8 1.2 국내 외특허동향... 9 1.2.1 국내동향... 9 1.2.2 국외동향... 10 1.3 국내 외시장동향... 12 1.3.1 국내시장... 12 1.3.2 국외시장... 17 1.4 국내 외정책동향... 20 1.4.1 국내동향... 20 1.4.2 국외동향... 22 2 뇌신호측정기술 (Neuroimaging Technology)... 24 2.1 뇌전도 (Electroencephalography, EEG)... 26 2.1.1 국내동향... 26 2.1.2 국외뇌전도전극 (EEG Electorde) 연구개발동향... 28 2.1.3 국외뇌전도 (EEG) 측정시스템연구개발동향... 38 2.2 기능적자기공명영상 (Functional Magnetic Resonance Imaging, fmri)... 44 2.2.1 국내동향... 44 2.2.2 국외동향... 45 2.3 뇌자기도 (Magnetoencephalography, MEG)... 47 2.3.1 국내동향... 47 2.3.2 국외동향... 48 2.4 기능적근적외선분광분석 (Functional Near Infrared Spectroscopy, fnirs)... 49 xv
2.4.1 국내동향... 49 2.4.2 국외동향... 51 2.5 국외침습형대뇌피질신호도 (Electrocorticogrpahy, ECoG)... 63 3 뇌신호처리기술개요및동향... 67 3.1 국내뇌신호처리기술동향... 67 3.1.1 뇌파전처리기술... 67 3.1.2 시계열분석... 70 3.1.3 주파수분석... 72 3.1.4 특성추출... 75 3.2 국외뇌신호처리기술동향... 80 3.2.1 뇌파전처리기술... 81 3.2.2 특성추출 (Feature extraction) 기술... 85 3.2.3 특성선택 / 차원감소알고리즘... 95 4 뇌신호특징분류기술개요및동향... 98 4.1 국내뇌신호특징분류 (Classification) 기술동향... 98 4.1.1 대학및연구소기술동향... 98 4.1.2 기업및국책연구기관기술동향... 104 4.2 국외뇌신호특징분류 (Classification) 기술동향... 105 5 BCI 개발 SDK 및애플리케이션... 106 5.1 BCI 시스템개발플랫폼 (SDK/Platform)... 106 5.2 BCI 애플리케이션 for communication and control... 107 5.2.1 P300-Based BCIs... 107 5.2.2 Steady-State Visually Evoked Potential (SSVEP)-based BCIs... 113 5.2.3 Even-related (de)synchronization (ERD/ERS)-based BCIs... 119 5.3 Non-medical BCI 시스템의사회 / 경제적효용성평가... 123 6 Funding Agencies in Europe and USA... 127 6.1 Europ... 127 6.2 USA... 144 6.2.1 BRAIN INITIATIVE... 144 6.2.2 방위고등연구계획국 (DARPA)... 146 7 결론 : 뇌-컴퓨터인터페이스기술의미래연구방향... 170 8 부록 : BCI Laboratories and Researchers in USA... 172 참고문헌... 179 xvi
List of Figures 그림 1-1. 뇌-컴퓨터인터페이스시스템구조... 2 그림 1-2. BCI 시스템분류... 3 그림 1-3. 연도별국내특허출원및등록현황... 9 그림 1-4. 뇌과학연구관련국외특허등고선및주요특허출원및등록군집... 10 그림 1-5. 뇌과학연구및응용기술의국가별특허현황... 11 그림 1-6. 한국의고령인구증가추세... 13 그림 1-7. 영상처리용장치및의료영상소프트웨어생산추이 ( 08-14)... 14 그림 1-8. 뇌파계시장현황... 16 그림 2-1. 뇌신호측정기술분류... 24 그림 2-2. 복수개의단위 EEG 센서세트로구성된뇌파장비개념도... 26 그림 2-3. 비침습형뇌파측정장치... 27 그림 2-4. ( 주 ) 소소뇌파측정모듈, 브레이노... 28 그림 2-5. 고밀도배열 Microdrive... 31 그림 2-6. Silicon-Based Microelectrodes... 33 그림 2-7. Silicon-based ACREO microelectrode arrays 개념도... 34 그림 2-8. Ceramic-based conformal microelectrodes with eight recording sites... 35 그림 2-9. Polyimide-based microelectrode array for intracortical implantation... 36 그림 2-10. MEAS with flexible connectors analogous to subdural designs... 37 그림 2-11. Wireless EEG system for SSVEP application... 38 xvii
그림 2-12. Baseball cap-based, dry-contact, low-noise EEG acquisition device... 39 그림 2-13. Soldier s Kevlar helmet-based wireless EEG system... 39 그림 2-14. Low-power, wireless, 8-channel EEG monitoring headset... 40 그림 2-15. Wearable EEG acquisition device with dry EEG sensors... 42 그림 2-16. 3D MR visualization... 44 그림 2-17. World's First HRRT-7.0T MRI Fusion System for Molecular Imaging... 45 그림 2-18. 한국표준과학연구원이개발한 MEG 시스템... 47 그림 2-19. 카이스트에서개발한 NIRS'IT 프로토타입... 49 그림 2-20. fnirs 광센서측정센서고정모듈... 50 그림 2-21. Optical fiber 위치고정및측정... 51 그림 3-1. ( 좌 ) 안구잡음파워스펙트럼과 ( 우 ) 정상뇌파스펙트럼... 67 그림 3-2. 관측뇌파 ( 파란실선 ) 으로부터안구잡음을제거한순수뇌파 ( 적색실선 )... 68 그림 3-3. 안구잡음제거관련블록다이어그램... 69 그림 3-4. 안구잡음제거알고리즘적용결과... 69 그림 3-5. 5 개요소에대한주성분분석과점진적주성분분석의에러율비교... 70 그림 3-6. 일반뇌파 (a) 와스케일링지수 (b) 를나타낸도표... 71 그림 3-7. BMFLC 구조 (a) 와주파수성분분포 (b)... 72 그림 3-8. BMFLC-KF 를사용한주파수분석비교결과... 73 그림 3-9. Bayesian group nonnegative matrix factorization 을위한그래프모델... 74 그림 3-10. 각주파수방법별 BCI 성능도표... 75 xviii
그림 3-11. 왼손또는오른손운동상상에따른특성변화... 76 그림 3-12. 공간필터에따른특성추출결과... 77 그림 3-13. FS, KNMF 및 NMF 특성추출방법비교... 78 그림 3-14. BMI 를위한팔운동관련궤적... 79 그림 3-15. ( 우 ) 운동상상동안의센서에대한 p-value, ( 좌 ) 공간에대한 p-value... 80 그림 3-16. 국외뇌신호전처리, 특성추출 / 차원감소및사후처리기술현황... 80 그림 3-17. 뇌신호패턴별특성추출알고리즘사용현황... 85 그림 4-1. Bayesian CSP model 에대한그래픽도표... 98 그림 4-2. ( 좌 ) ANFIM 기반상상움직임 EEG 분류시스템및 ( 우 ) 에러율... 99 그림 4-3. 알고리즘들의분류정확도... 100 그림 4-4. Two-layer HMM classification 의프래임워크블록디자인... 101 그림 4-5. 특성추출및 classification 알고리즘블록다이어그램... 102 그림 4-6. fnirs 채널위치및실험패러다임도표... 103 그림 4-7. 신호측정및특성추출, 정보분류를포함한연구흐름도... 103 그림 4-8. NEWFM 의그래프도표... 104 그림 4-9. 뇌신호분류알고리즘개발및사용현황... 105 그림 5-1. BCI 기반게임에대한논문발표현황... 126 그림 6-1. Closed-loop prosthetic 제어용양방향 BCI... 155 xix
List of Tables 표 1-1. 국가별뇌-컴퓨터인터페이스기술역량비교... 5 표 1-2. BCI 국내주요연구개요... 6 표 1-3. 기술동향조사연구위원구성... 8 표 1-4. 국내장애인실태조사결과 (2011 년 )... 12 표 1-5. 생체전위측정기기시장현황및전망... 15 표 1-6. 영상진단기기분야시장현황및전망... 15 표 1-7. 뉴로인터페이스의세계시장동향 (2010-2014)... 17 표 2-1. 건식전극을사용하는 EEG 측정시스템들... 30 표 2-2. 상용화된 EEG 측정시스템들... 43 표 2-3. NIRS-Systems overview... 53 표 2-4. fnirs instrumentation 에사용되는 LED 와 LD 비교... 57 표 2-5. PMT, SPD, APD NIR-detectors 비교... 59 표 3-1. BCI 시스템에사용된뇌신호전처리기술현황... 82 표 3-2. BCI 시스템에사용된뇌신호특성추출기술현황... 87 표 3-3. BCI 시스템에사용된특성선택알고리즘현황... 95 표 5-1. The BCI SDK/platform... 106 표 5-2. Nonmedical BCI 시스템들의사회적및경제적효용성평가... 123 표 6-1. Private sector commitments in BRAIN Initiative... 145 표 6-2. Private research efforts in BRAIN Initiative... 145 xx
표 6-3. Continuing progress from existing partners in BRAIN Initiative... 146 표 6-4. DARPA BCI efforts to restore neural and behavioral function... 150 표 6-5. DARPA BCI efforts to improve human training and performance... 164 표 8-1. BCI laboratories and researchers in USA... 172 xxi
1 개요 1.1 뇌-컴퓨터인터페이스란? 뇌-컴퓨터인터페이스 (brain-computer interface, BCI) 란인간의뇌와컴퓨터를직접연결하여이들사이에정보교환이일어나게하는융합기술을총칭하며, brain-machine interface (BMI), direct neural interface, 또는 mind-machine interface (MMI) 로불리우기도하나 BCI 라는명칭이일반적으로쓰이고있다. 본보고서에서는 BCI 를다음과같이정의한다 : BCI is a communication system in which messages or commands that an individual sends to the external world do not pass through the brain s normal output pathways of peripheral nerves and muscles. (Wolpaw et al., 2002, p. 769). 그림 1-1 는전형적인뇌-컴퓨터인터페이스시스템구조를보여주고있다. 우선, 인간의뇌로부터다양한종류의뇌신경신호들이다양한방법들에의해측정된다 ( 제 2 장참조 ). 이렇게측정된뇌신호들은잡음등을제거하기위한신호처리단계 ( 제 3 장참조 ) 를거쳐다양한종류의뇌신호특성들 (feature) 이추출되게된다. 이렇게추출된특성들은뇌신호분류기술 (classification, 제 4 장참조 ) 에의해사용자의의도가분류되어생각만으로다양한외부기기들을제어하거나다른사람들과의의사소통을할수있게된다. 1
그림 1-1. 뇌 - 컴퓨터인터페이스시스템구조 ( 출처 : Nam et al., 2016) 뇌-컴퓨터인터페이스는현재크게두가지방향으로연구되고있다 : 1) 인간의생각을반영하는뇌신경신호를실시간으로해석해이를사용자, 특히사지가마비된사용자가생각만으로외부기기를제어할수있도록하는연구 ; 2) 외부정보를인간의뇌에입력시키고이를변조함으로써인간의인지능력을증진시키려는연구. Wolpaw & Wolpaw (2012) 에따르면, BCI 기술은다음의여섯가지분야에서활발하게연구되고있다. 1) 질병이나사고로소실된중추신경계 (central nervous system) 기능대체 (replace): 예, 생각만으로 typing을하거나다양한외부시스템들 ( 예, 휠체어, 드론등 ) 제어. 2) 소실된중추신경계기능복구 (restore): 예, 마비된환자의근육을기능적전기자극기 (unctional electrical stimulation) 로자극하여복구하거나말초신경을자극하여방광기능복구. 3) 중추신경계기능증진 (enhance): 예, 자동차를오래운전할때처럼, 주의력이쉽 2
게떨어질수있는환경에서뇌활동을모니터링하여사용자에게주의를환기시킴. 4) 중추신경계기능보충 (supplement): 예, 사람에게제 3의로봇팔을제공하여추가기능제공. 5) 중추신경계기능향상 (improve): 예, 중풍환자의손상된뇌로부터측정되고처리된뇌신호를이용하여환자팔의근육을자극하거나보조기를제어하도록함. 6) 임상학및비임상학분야에서중추신경계기능들을연구하는데쓰이는연구방법 (research tool) 의하나로서뇌-컴퓨터인터페이스시스템. 이처럼다양하게개발된뇌-컴퓨터인터페이스시스템들 ( 제 5 장참조 ) 은그림 1-2 에서보는바와같이, 뇌신호패턴 (brain signal pattern), 자극양식 (stimulus modality), 운영방법 (mode of operation), 운영전략 (operation strategy), 그리고뇌신호측정방법 (recording method) 에따라더자세히분류되기도한다 (Nam et al., 2016). 그림 1-2. BCI 시스템분류 ( 출처 : Nam et al., 2016) 3
1.1.1 BCI 기술동향조사목적뇌-컴퓨터인터페이스기술은, 인간의근육움직임과뇌의운동피질 (motor cortex) 간의관계에대해많은연구가있었던 1970 년대부터진행되어왔으며, 최근에는컴퓨터및센서기술발전, 기기소형화 (component miniaturization), 인체에적합한생체재료개발 (materials biocompatibility), 그리고무엇보다뇌공학의발전으로한국을비롯한선진국들에서는뇌-컴퓨터인터페이스를미래유망기술로선정하여국가차원의전략적투자및육성전략을마련하고있다. 예를들면, 뇌-컴퓨터기술관련분야는 대한민국국가과학기술위원회미래유망기술 ( 12); KISTEP ( 10) 및 KISTI ( 12) 10 대미래유망기술 ; 세계경제포럼 (WEF) 미래유망기술 10선 ( 14); MIT 10대신기술 ( 11); IBM Next 5 in 5 ( 10); 미국국립공학학술원 14대 Grand Challenge ( 08); 미국 BRAIN Initiative의주요연구과제 ( 03). 그러나, 선진국과비교하여한국의뇌-컴퓨터인터페이스기술수준은 48%, R&D 투자는미국의 1% 수준인것으로나타났다 ( 한국과학기술기획평가원, 2012). 표 1-1 에서보는바와같이, 국내뇌과학논문수는미국의 1/30 수준, 뇌과학특허건수는 1/180 수준, 그리고미국보다 20 년늦게뇌연구센터가설립되었다는점을감안할때, 다른선진국과비교하여국내뇌-컴퓨터인터페이스기술역량은여전히많이부족한상태이다 ( 김병곤외, 2012). 4
표 1-1. 국가별뇌-컴퓨터인터페이스기술역량비교 미국 영국 일본 한국 뇌과학논문점유율 43.2%, 1 위 8.4%, 4 위 9.0, 3 위 1.4%, 9 위 ( 98-06) 평균피인용횟수 ( 98-06) 4.5 3.2 1.7 0.1 뇌과학특허건수 ( 98-06) 1637 건, 1 위 127 건, 2 위 89 건, 3 위 9건, 12위 BCI 분야논문수 ( 01-11) 954 건 42.5%, 1 위 131 건 5.8%, 7 위 141 건 6.3%, 6 위 57 건 1.8%, 12 위 뇌과학분야예산약약 6 조 5 천억원약 2,550 억원 (2010 년기준 ) 4,200 억원 약 630 억원 영장류센터도입시기및개수 1960 년대, 8개 1970 년대, 2개 1960 년대, 2개 2005 년, 1개 국가별뇌과학연구기관설립년도 NIH 산하 16 개연구기관연합 (1990 년대 ) 런던킹스칼리지신경퇴화연구소 (2006 년 ) BIKEN BSI (1998 년 ) 한국뇌연구원 (2012 년 ) ( 출처 : 한국과학기술기획평가원, 2012; 김병곤외, 2012) 이처럼뇌-컴퓨터인터페이스에대한연구개발국내저변은국외의활발한 연구개발활동과비교하였을때비교적넓지않다. 뇌파를이용해뇌신경신호를비침습, 간접적으로측정하는방법및이를저해상도뇌-컴퓨터인터페이스에응용하는방법의 연구개발이국가연구개발과제를통해주로수행되었거나수행중이다 ( 국내 BCI 주요 연구현황을요약한표 1-2 참조 ). 국내에별도로침습형뇌파측정기개발및사업화한 기업이나기관은거의전무하며, 이에따른침습형뇌-기계인터페이스연구의사업화 확충가능성또한아직불투명한실정이다. 반면에, 침습형대뇌피질신호 (ECoG) 기반 5
뇌-컴퓨터인터페이스기술의연구개발은미국, 유럽및다른아시아 ( 예, 일본, 중국, 싱가포르등 ) 지역등에서는활발하게이뤄지고있다. 표 1-2. BCI 국내주요연구개요 소속 주연구자 연구주제 개요 웨어러블뉴로인터페이스를이용하여온라인, 단일측정에서높은정확도로개인의감정, 뇌상태를측정할수있는 한양대학교 임창환교수 수동형뇌-컴퓨터접속원천기술을웨어러블개발하고기존기술의가장큰한계였던뉴로인터페이스의개인차, 신호의변동성문제를극복하기한계돌파를위한위하여주위환경과신경신호를라이프로깅기반개인지속적으로측정하고끊임없이학습하여적응화및수동형뇌- 사용자에게가장적합한뇌파지표를컴퓨터접속원천기술적응적으로찾아내는라이프로깅기반개발개인적응화기술을개발을목적으로한 연구를 진행하고 있으며, 뇌활동도 패턴의시공간주파수분석에기반한뇌- 컴퓨터인터페이스원천기술개발 언어및운동기능마비의중증장애인의 일상생활에서의의사소통및컴퓨터, 재활기기등주변기기와의지능적 무구속뇌활동도 인터페이스를뇌활동도를이용하여 서울대학교 박광석교수 시스템을이용한의지가능하게하는원천기술개발을목표로파악및의사소통기술하여, 무구속, 비침습적인뇌활동도센싱 개발 및모니터링하는신기술개발, 뇌활동도 신호분석을통한장애인의의지해석신기술개발, 뇌활동도신호분석을통한의사소통및인터페이스신기술개발 울산과학기술원 김성필교수 비침습적뇌파인지분석및실시간기계학습알고리즘개발을뇌-컴퓨터수행하였으며, 사용자의운동의사파악인터페이스를위한및이에관련된행동-뇌파수리자율적응형베이시안모델확립을위해다양한통계적분석디코딩알고리즘개발방법론을도입및개발하여다양한뇌- 기계인터페이스과제에참여하고있다. 6
광주과학기술원 전성찬교수 멀티유저용생체신호동시통합뇌-컴퓨터인터페이스개발 ( 출처 : 국가과학기술지식정보서비스 ) 또한침습형뇌-기계인터페이스개발에관한대뇌운동피질신호의신경부호인코딩및디코딩기술을연구개발하고있으며, 현재까지수리 통계적기반의침습형뇌파모델및최적화된디코딩알고리즘연구멀티모달리티를이용할뿐만아니라멀티유저생체신호를동시통합측정및분석하는멀티유저뇌-컴퓨터인터페이스시스템을개발을통해감성융합기술 본보고서는, 선진국과의기술격차를줄이는데조금이나마도움이될수있도록다음의목적을위해동향조사를실시하였다 : 1) 뇌-컴퓨터인터페이스관련국내외특허, 시장및정책동향, 2) 뇌-컴퓨터인터페이스세부핵심기술들과연관산업들 ( 예, BCI 기반재활공학, 헬스케어등 ) 의국내외동향, 3) 선진국들의연구범위및 R&D 정책현황, 4) 국내외 BCI 연구자및연구소현황. 1.1.2 조사방법론 재미한인과학기술자협회 (KSEA) 는뇌 - 컴퓨터인터페이스 (Brain-Computer Interfaces) 기술의국내외연구및개발동향에대한조사를위해한국과학기술단체총연합회 7
(KOFST) 의지원을받아국내외연구자 4 명을연구위원으로위촉하였으며, 전문가인터뷰 및문헌연구를통해 2015 년 7 월부터 12 월까지조사를진행하였다. 첫째, 4 명의국내외뇌-컴퓨터인터페이스연구자들로연구위원구성 ( 표 1-3 참조 ). 표 1-3. 기술동향조사연구위원구성 # 패널 지위 소속 1 남창수 (Panel Chair) 부교수 North Carolinia State Univerity, USA 2 김성필 조교수 Ulsan National Institute of Science and Technology, Korea 3 Dean Krusienki 부교수 Old Dominion University, USA 4 Anton Nijholt 교수 University of Twente, Netherlands 둘째, 동향조사방향및범위, 필요한자료결정. 세째, 북미, 유럽및아시아지역별로동향조사. 1.1.3 보고서구성본보고서는다음과같이구성되어있다. 제 1 장에서는뇌-컴퓨터인터페이스기술관련국내외특허, 시장및정책동향을살펴본다. 제 2 장에서는국내 외뇌신호측정기술을검토하고, 제 3 장에서는뇌신호처리기술동향을분석하고자한다. 그리고제 4 장에서는뇌신호특징분류기술을살펴본다. 제 5 장에서는미국의방위고등연구계획국 (DARPA) 의지원을받아수행된 BCI 프로젝트및 medical & non-medical BCI application 들을소개한다. 제 6 장에서는유럽과미국의주요 funding agency 들을살펴 보고, 마지막으로제 7 장에서는뇌 - 컴퓨터인터페이스기술의미래연구방향을 제시하면서본보고서의결론을맺고자한다. 8
1.2 국내 외특허동향 1.2.1 국내동향 국내의뇌과학연구및응용기술관련특허 ( 그림 1-3 참조 ) 는 1990 년대초반부터증가해 2000 년대후반이후더급증하고있으며, 해외에출원된대한민국특허는총 600 건에 달한다. 해외공개및등록된뇌과학연구및응용기술관련특허는 KIST (22 건 ), 삼성 (16 건 ), 서울대학교 (9 건 ), 한국전자통신연구원 (8 건 ), 경희대학교 (8 건 ) 순으로많이 보유하고있다. 특히우리나라의특허확보는미국, 일본과달리연구원과대학에 집중되어있으며, 뇌신경질환치료제관련특허가주를이루고있다. 600 500 400 300 200 100 0 1999 2004 2009 2014 연도 등록수출원수합계 Expon. ( 합계 ) 그림 1-3. 연도별국내특허출원및등록현황 ( 출처 : KIPRIS) 뇌 - 컴퓨터인터페이스관련특허등록및출원으로는삼성전자가 33 건으로가장많은 특허수를보유하고있으며, 이어 LG 전자및한국전자통신연구원이 44 건으로차순으로 9
많은특허수를보유하고있다. 대학및연구기관에서는 KIST 가 33 건으로가장많은특허 실적으로보유하고있으며, 이어고려대및서울대특허보유가뒤따르고있는추세이다. 1.2.2 국외동향생명공학정책연구센터에서발간한뇌과학연구및활용기술기술동향보고서 (2012) 에따르면, 뇌과학연구및이를응용한활용기술들에대한해외특허는 1991 년이후꾸준히증가하고있으며, 1990 년후반부터빠른속도로성장하고있다. 주요특허군집으로는 1) 신경회로망이론을통한뇌기능분석법, 2) 뇌신경자극 / 신호및영상기술관련분석 수집장치, 3) 뇌질환치료법및치료약제등이있으며, 신경신호직접획득에기반을둔뇌-기계인터페이스기술은신경회로망이론을통한뇌기능분석과뇌신경자극 / 신호분석 수집장치의교집합기술이라할수있다 ( 그림 1-4 참조 ). 그림 1-4. 뇌과학연구관련국외특허등고선및주요특허출원및등록군집 ( 출처 : 생명공학정책연구센터, 2012) 10
주요특허출원및등록국가로는미국이약 50 %, 일본이약 23 % 를보유하여두국가의특허출원및등록점유비율이전체의 70 % 이상이다 ( 그림 1-5 참조 ). 미국과독일의제약업체들 (BAYER, MERCK 등 ) 이뇌질환치료제및의료기술관련특허를상당수보유하고있고, 일본의전자정보통신업체들 (TOSHIBA, HITACHI 등 ) 및대학들도뇌과학연구에활발하게참여하여지적재산권을확보하고있다. 미국과독일의제약업체들 (BAYER, MERCK 등 ) 이뇌질환치료제및의료기술관련특허를상당수보유하고있고, 일본의전자정보통신업체들 (TOSHIBA, HITACHI 등 ) 및대학들도뇌과학연구에활발하게참여하여지적재산권을확보하고있다. 특히일본의전자정보통신업체들은보유하고있는전자정보통신기술의응용분야로서뇌-컴퓨터인터페이스기술의뇌 신경질환치료기술응용과관련된기술특허들을다수보유하고있다. 그림 1-5. 뇌과학연구및응용기술의국가별특허현황 ( 출처 : 생명공학정책연구센터, 2012) 11
1.3 국내 외시장동향 1.3.1 국내시장우리나라는세계에서고령화속도가가장빠르게진행되고있는국가중하나이며, 고령화와뇌질환으로인한장애발생가능성이높기때문에뇌-컴퓨터인터페이스에기반을둔의료기기의수요가급증할것으로전망되고있다. 세계적으로전쟁과산업재해, 교통재해, 각종지병등으로인하여사회적으로장애를가진사람들이점차증가하고있다. 특히, 11 년실태조사를통해파악된국내장애인구수는총 268 만명으로, 인구고령화또는후천적원인에의해장애가발생한인구수 ( 총 214 만명, 05 년조사 ) 에비해약 54 만명이더많은것으로나타났다 ( 표 1-4 참조 ). 표 1-4. 국내장애인실태조사결과 (2011 년 ) ( 출처 : 보건복지부, 2011) 그림 1-6 에서보는바와같이, 급속한경제발전에따른의학관련산업의비약적 발전으로 2010 년에이미 65 세이상의노령인구가전인구의 10% 를차지함으로써 12
우리나라는고령화사회에본격진입하고있는것으로파악되고있다 ( 한국산업기술평가관리원, 2012). 그림 1-6. 한국의고령인구증가추세 ( 출처 : 통계청, 2000) UN 기준에따르면 65 세이상의고령인구가전체인구의 7% 이상이면 고령화사회 (aging society), 14% 이상인경우 고령사회 (aged society), 20% 이상인경우 초고령사회 (super-aged society) 라명시한다. 이들은사회적으로비생산적소비계층으로분류되고있으며, 향후국가경쟁력을약화시키는비효율적요인중하나로작용할것으로보고되고있다. 이에대한대비책으로재활복지정책과주변환경여건조성등의국가시책도여기에맞추어변화되어야하며, 특히모든국민의 삶의질 (Quality Of Life, QOL) 향상과국가경쟁력도제고하는방향으로의변화가매우중요하다 ( 한국산업기술평가관리원, 2012). 의료기기수출입품목에구체적으로명시되지않았으나, 관련기기중하나인뇌기능모니터링관련기기의시장점유율이증가하고있다. 또한뇌 신경질환진단과관련된영상처리용장치및소프트웨어 ( 그림 1-13
7 참조 ) 는의료기기상위 20 대품목에있으며, 시장증가율이무척큰품목중하나이다 ( 생명공학정책연구센터, 2012). 그림 1-7. 영상처리용장치및의료영상소프트웨어생산추이 ( 08-14) ( 출처 : 한국보건산업진흥원, 2015) 국내생체전위측정기기시장 ( 표 1-5 참조 ) 은 2013 년 167 억원에서 2017 년 2 백억원까지연평균 5% 상승률로낮은상승률이지만지속적으로성장할것으로 전망되며, 국내영상진단기기의시장성장률은새로운기술 ( 유방암진단, 기기의 포터블화 ) 등의도입에따라진단영역이확장되고있어새로운수요의창출여부에따라 시장성장은더욱높아질것으로보인다. 14
표 1-5. 생체전위측정기기시장현황및전망 ( 출처 : < 의료기기품목시장리포트 >, 한국보건산업진흥원을참고로전망치추정 ) 또한세계영상진단기기산업의연평균성장률 (5.9%) 과비교하여국내 영상진단기기산업의연평균성장률 (11.3%) 이 2 배가량높은점으로보았을때, 지속적인기술개발및혁신을통해높은시장점유율을차지할수있을것으로예측된다 ( 표 1-6 참조 ). 표 1-6. 영상진단기기분야시장현황및전망 15
뇌파측정기 ( 뇌파계 ) 의경우 2008 년도수출금액대비점진적으로증가추세를 보이며, 이는뇌파장비의정밀도및신호품질면을고려한원천기술개발이미비하더라도 보급형뇌파측정기개발기술이영향을미치는것으로보인다 ( 그림 1-8 참조 ). 또한 시장규모의소폭상승은고령화에따른뇌병변진단및뉴로피드백재활프로그램의 활성화와학습개선을위한뇌파진단프로그램의영향이상당한것으로보인다. 그림 1-8. 뇌파계시장현황 ( 출처 : 보건복지부의료기기산업종합정보시스템 ) 16
1.3.2 국외시장 2009 년발간된 The Market for Neurotechnology 에의하면, 뇌-기계인터페이스가포함된침습형뉴로인터페이스기술의세계시장의규모는 2010 년도에 43 억달러로서전체의료기기시장의약 1/50 정도에서 2014 년에는 102 억달러로연평균 24 % 의성장세를보이고있다 ( 표 1-7 참조 ). 표 1-7. 뉴로인터페이스의세계시장동향 (2010-2014) ( 출처 : Research and Markets, 2009) 침습형뇌-기계인터페이스기술은뉴로인터페이스기술의모든분야에걸쳐핵심원천기술이며, 시장이여전히형성되는시기에있으므로향후성장가능성이높다고볼수있다. 침습형뇌-기계인터페이스시장은신경자극과신경측정의두부분이상호보완적으로성장할것으로보이며, 신경자극은뇌신경을전기적으로자극하는기술위주로발전하고있고신경측정은단위세포단위의신경계활동을측정하는장치가주된핵심기술이다. 신경자극시장및제품군은크게 3 가지세부분야로나누어지는데, (1) 손상된뇌기능을회복시켜주는기능성전기자극장치, (2) 신경을회복시키거나강화시키는 17
치료용신경재활장치, 그리고 (3) 특정신경경로에자극을주어신경회로를조절, 정상적인기능을회복시켜주는신경조절장치 (Deep brain implementable stimulator 등 ) 가있다. 침습형 삽입형신경신호측정시장은크게 2 가지로나뉘며, 뇌신경신호를기록하는장치를생산하는 (1) 전기생리학적뇌신경센서와뇌신경신호의정보를분석하는 (2) 뇌분석시스템이있다. 차세대의료기기시장에서뇌-컴퓨터인터페이스기술을기반으로하는시장은크게신경자극과신경측정을기반한의료기기시장과뇌-컴퓨터인터페이스를응용한비약물성치료기술시장으로발전할것으로예상된다. 특히고령화사회에접어들면서원격진료시스템과연동될수있는개인용, 가정용정신건강을위한제품들이급격하게증대될것으로예상되며, 이에따라웨어러블디바이스형태의뇌-컴퓨터인터페이스장치및이를이용한정신건강보조혹은훈련콘텐츠의시장확대가고속화될것으로보인다. 예를들어, 일본은고령자삶의질향상을위한기술개발에지속적으로투자를하고있으며, 특히중소기업지원을중심으로노인정신건강과관련된기술개발에박차를가하고있다 ( 한국보건산업진흥원, 2014). 향후뇌신호측정기술의발달로정확하고신속한뇌활동측정이가능해지게되면서뇌-컴퓨터인터페이스를이용한다양한의료기기가더욱활발하게연구개발될것으로예상된다. 현재는특정뇌질환에대한보조적인치료법제시에머무르고있으나앞으로는다양한뇌질환극복을위한솔루션을제공할수있을것으로기대된다. 한국무역협회에따르면싱가포르는재활치료용로봇 / 게임산업이확장될것이라전망하였으며, 로봇과게임을사용한재활치료의중요성이점차부각되고있다. 이에따른 18
관련사례도늘고있으며, 한예로 6 개월전뇌졸증으로신체왼쪽이마비가되어현재로봇을이용해재활치료중인싱가포르의한환자는 " 로봇을이용한재활치료는물리치료처럼지루하지않고고통스럽지않아좋다 " 며, 이와관련한동기계는고급재활치료학 (CART) 에서사용되는기구중최첨단으로아시아에서유일하게싱가포르가보유하고있다. 이로써, 다른여타선진국과마찬가지로싱가포르에도심각한고령화가진행중이다. 싱가포르의료당국은첨단기술을활용하여다가오는 'Silver Tsunami 사회를대비할수있을것으로기대된다. 2030 년경전체인구의 20% 가 65 세이상이될것으로예상되며, 싱가포르의대표적병원인 Tan Tock Seng 의병원장은고령화되가는싱가포르사회의요구를충족하기에는현재의기술이부족하다고전하며, 이를대비하기위해서는로봇이나게임이내장된소프트웨어를사용하여일관적이고객관적인치료프로그램을개발해야한다고강조하였다. 더불어관련종사자들은로봇을이용한재활치료가환자의재활진행상태를정확하게모니터링하기때문에매우유용하다고하였다. 결국싱가포르에는현재 Jurong Health 의료센터등의료산업관련프로젝트가다수진행중인데다동남아의료관광의중심에있는만큼재활치료용로봇, 게임산업의전망은매우밝을것으로판단된다 ( 한국무역협회 ). 인도의뇌-컴퓨터인터페이스가포함되는의료기구및의료장비시장은매우거시적이며, 급격한성장을이루고있다. 의료기기관련분야는 2011 년약 30 억불의예상수익을달성하고연성장률 15% 을기록하였으며, 이는전체의료업계성장률 10-12% 보다더빠른성장세를나타내고있다. 의료기기산업은제조업체, 유통업체, 병원, 병리검사실과진단센터로구성되어있으며, 장비부문에서는, 영상장비시장이의료 19
장비산업전분야에서가장큰부분을차지한다. 인도제조업체들이장비제조및서비스를국제품질기준에맞추면서가격을저가로유지하고있기때문에시장상황은변화하고있으며이와동시에, 비록기능은적지만기타다국적상품들보다소매가격이낮은중국제품을이용하는소비자들또한늘어나는추세이다. 의료기술부문은엄청난잠재력을갖고있으며, 특히이분야를장려하기위한정부의계획이추진되면서인정받고있으며, 현재의침체된상황에서도이부문은 2016 년까지연평균성장률 13.4% 을기록하여 49 억불을달성할것으로예측되고있다 (KITA's Marketing Info). 1.4 국내 외정책동향 1.4.1 국내동향 제2차뇌연구촉진기본계획 ('08~'17) 에따르면, 미래뇌공학의 3대중점분야로뇌구조및기능측정모델링, 뇌기능증진기술과더불어뇌-기계인터페이스기술을선정하여뇌공학관련유망선도제품 / 업체의육성에주력하고있다. 특히 2014년도뇌연구촉진시행계획에따르면, 뇌연구 4개분야중하나인뇌공학의 4대중점기술주요연구방향으로뇌-기계인터페이스에관련된연구가선별되어중점적으로육성되고있으며, 국내외공동연구를적극지원하여국제적경쟁력강화를위한기관별정책이개정되고있다. 국가뇌연구발전로드맵 ( 김병곤외, 2012) 을통해관련학제간의교류지원및연구지원사업을확충하고있다. 뇌연구촉진법 17조 1항에의거하여, 한국뇌연구원등거점뇌연구센터들의 20
설립을촉진하고자하는정책이시행되고있다. 뇌연구촉진법제 14조에의거하여, 미래과학창조부, 산업통상자원부, 보건복지부등개별부처에서연구지원계획수립및조정을주관하고, 연구결과의이용및보전, 정보이용지원사업, 관련연구의응용기술개발또는산업화촉진등을장려하고있다. [ 정책적시사점 ] 뇌공학집약기술선점을위한융합연구를촉진하기위해각뇌공학분야별전략적융합을위한포트폴리오확립이필요하며, 기존의연구수준을제고하기위한대규모융합연구센터확충및지원시스템확립이필요하다. 세계적뇌공학이슈와트렌드에맞는목적지향적인연구추진로드맵확보및원천기술창출을위한전략적정부지원시스템구축, 그리고기초연구및임상연구의융합적시너지효과를극대화할수있는정부주도정보인프라조성이필요하다. 세계뇌공학기술과의격차해소및선도적인뇌공학기술창출을위해다학제간거점연구환경조성및협력강화지원체계필요하다. 글로벌경쟁력확보를위한국제협력강화및국내뇌공학분야인재양성을위해범부처차원의적극적협력방안모색이필요하다. 21
1.4.2 국외동향 [ 미국 ] 2013 년 4 월 2 일, Brain Research through Advancing Innovative Neuro technologies (BRAIN) Initiative 프로그램제안. 오바마대통령의제안에따라, National Institutes of Health (NIH) 과같은연방연구지원프로그램에서뇌 - 컴퓨 터인터페이스를비롯한뇌연구지원 ( 자세한사항은 6.2.1 참조 ). 2013 년에 NIH, NSF, DARPA 가 BRAIN Initiative 를통해 1 억달러지원결정 NIH (National Institutes of Health) $46 million 가량의 new BRAIN-related grant award 발표 DARPA (Defense Advanced Research Projects Agency) 기존의프로그램을계 속운영중이며, BRAIN Initiative 에새로운투자계획 FDA (Food and Drug Administration): FDA 는 BRAIN Initiative 를통해뇌질환 치료기구에관한규제의투명성향상 NSF (National Science Foundation) 기초과학연구를바탕으로 neuroscience 와 neuroengineering 의발전을위한 BRAIN Initiative 에투자지속 IARPA (Intelligence Advanced Research Projects Activity) 도 BRAIN Initiative 에참여하고있고, 다학문간의접근으로두뇌의인지및사고방식을이해하기위 한연구지원 22
[ 유럽 ] 2007 년부터 7 년간 EP7 (Framework Program) 을통해지원하는 7 차 R&D 프로그 램운영 2009 년에는 FET (Future Emerging Technolohies) 를중점지원 European Commission (EC) 은최근기존의 Future BNCI 프로그램의성공에힘입 어 BNCI Horizon 2020: The Future of Brain/Neural Computer Interaction (http://bnci-horizon-2020.eu/) 라는프로그램을다시시작하여 BCI 연구지원 (section 6.1 참조 ) [ 일본 ] 21세기를 `뇌연구의세기 (Century of Brain)' 로선언하고뇌신경계의기능, 뇌손상치료기술개발, 뇌의기능및응용을위한연구프로젝트추진중 ('97 '16) 문부과학성주도로 뇌과학연구전략추진프로그램 을 2008년부터추진중 " 뇌과학연구의기본적구상및추진전략 " 을통해 종합적인간과학의구축 과 사회에대한공헌 을뇌연구의구체적주요목표로제시 ('09) 1998년부터 `뇌과학종합연구소 (Brain Science Institute) 를이화학연구소내에설치하여국가연구기관운영 ( 출처 : 이천무, 2011) 23
2 뇌신호측정기술 (Neuroimaging Technology) 뇌신호측정기술은크게비침습형 (noninvasive) 과침습형 (invasive) 두가지로분류된다 ( 그림 2-1 참조 ). 비침습형뇌신호측정기술은다시두가지로세분화된다 : (1) 뇌활동과직접적으로관련된전기적신호를측정하는뇌전도 (EEG) 와뇌자도 (MEG); (2) 뇌활동과간접적으로연관된혈류역학적 (hemodynamic) 신호를측정하는기능적자기공명영상 (fmri), 기능적근적외선분광분석 (fnirs), 양전자방사단층촬영 (PET), 단광자방출컴퓨터단층촬영 (SPECT). 반면, 침습형은대뇌피질에서직접뇌신호를측정하는기술로 Electrocorticography (ECoG) 과 Intracortical Neuron Recording 방식등이주로사용되고있다. 그림 2-1. 뇌신호측정기술분류 ( 출처 : Nam et al., 2016) 비침습형뇌신호측정기술은헬멧이나헤드셋과같은저가의장비를사용하여 수술없이간편하게측정할수있으며시간해상도 (time resolution) 가높은장점이있는 24
반면, 잡신호가많이섞일수있으며공간해상도 (spatial resolution) 가낮다는것이단점이다. 반면, 침습형뇌신호측정기술은공간해상도가아주높은장점이있으나, 이는외과수술을필요로한다는점과시간해상도가낮다는단점이있다 ( 그림 2-1 참조 ). 국내에는뇌전도 (EEG) 기반의뇌-컴퓨터인터페이스기술발달이증가하고있으며, 그에따른측정장비의개발및생산이가능하나, 기능적자기공명영상및뇌자도측정장비의개발및생산이미비한실정이다. 침습형측정기술은선진국과의격차가많은것이사실이다. ( 주 ) 락싸, 소소및 ( 주 ) 와이브레인등일부기업에서는전기생리학적뇌파측정장비를자체개발및생산하여, 연구용및저가보급형으로생산하고있으며, 한국전자부품연구원및한국과학기술연구원등국책연구기관은뇌신호획득과신호처리가동시에가능한통합형뇌전도측정장비를개발하고있다. 이밖의표준과학연구원및서울대병원등은뇌자도측정을위한원천기술확보에활발한연구활동이진행되고있으며, 삼성전자주식회사등은 fmri 개발기술확보를위해다양한협력연구개발활동을수행하고있다. 반면, 북미및유럽을중심으로한선진국에서는더발전된비침습형측정기술뿐만아니라침습형측정장비개발및생산이활발히이루어지고있다. 예를들면, 전해질 (electode gel) 사용이필요없는건식능동전극 (active dry electrode) 개발 (e.g., Lopez-Gordo et al., 2014) 과생산 (e.g., g.tec, Inc.), 그리고두가지뇌신호측정장비가통합된시스템개발 ( 예, fmri/eeg) 로시간및공간해상도모두향상된시스템들이많이연구개발되고있다 (Oh et al., 2014; Yang et al., 2010). 25
2.1 뇌전도 (Electroencephalography, EEG) 2.1.1 국내동향한국과학기술원에서개발한 EEG 측정장치는여러개의단위 EEG 센서가부착된전극캡과, 아날로그-디지털변환기 (analog-to-digital convertor, ADC), 측정된뇌파를임시저장하는저장장치로구성되어있다. 이에추가로저장된뇌파데이터를처리할수있는 Partial Directed Coherence (PDC) 를위한중앙처리부가포함된통합형뇌파측정및처리모듈을개발하였다. 이는 EEG 신호를측정하는종래기술과는달리, 두사람이상의뇌에서벌어지는상호작용과각각의뇌에서의벌어지는내부신호를동시에분석, 검출할수있으며, 사람과사람사이에벌어지는다양한인터렉션을뇌레벨에서의분석이가능할뿐만아니라, 실질적인뇌-뇌인터페이스 (brain-to-brain interface) 장치및그응용예로사용가능하다. 그림 2-2. 복수개의단위 EEG 센서세트로구성된뇌파장비개념도 ( 출처 : KIPRIS) 26
( 주 ) 클레어픽셀은공통모드제거비가개선된뇌파신호검출용증폭장치를개발하였으며, 이는인체에부착된뇌파신호검출용전극으로부터뇌파신호를입력받고잡음성분을제거하여출력하는입력부와뇌파신호를초퍼안정화기법을이용한모듈레이션및디모듈레이션하여출력하는부분으로구성되어있다. 또한기본적인신호처리모듈이포함되어사용자가요구되는주파수범위의저역통과필터가포함되어 개발되었따. ( 주 ) 와이브레인은 2014 년에설립되어비침습형뇌파측정장치를 모듈화하여 2 채널전극이장착된저가형제품을출시하였으며, 이와더불어신경자극을 통한뇌기능개선및치료에도움이될수있는웨어러블디바이스를개발하고있다. (a) 와이브레인社의 Yband ( 출처 : ybrain.com) 그림 2-3. 비침습형뇌파측정장치 (b) ( 주 ) 락싸 32 채널뇌파측정기, WEEG-32 ( 주 ) 락싸는국내에서가장큰규모의뇌파측정장비개발사로, 4 채널부터 32 채널까지실시간뇌파측정이가능한뇌파장비를자체개발하여각종임상및연구목적으로활용되고있다. 최근에는건식전극을개발함에따라유연한환경적조건에서전두엽뇌파측정이가능하게되었다. 이밖에무선블루투스뇌파측정및그에따른뉴로피드백시스템구축이용이하도록구성되어있다. 27
( 주 ) 소소는저가형 2 채널건식뇌파측정장치를개발하였으며, 집중력관련뇌파컨텐츠에적용할수있도록모듈화하였다. 전극은사용자피부에직접닿는면의잡음최소화를위해은사 ( 銀絲 ) 로이루어져있으며, 무선방식으로이동성을극대화한것이장점이다. 그림 2-4. ( 주 ) 소소뇌파측정모듈, 브레이노 ( 출처 : ( 주 ) 소소 ) 2.1.2 국외뇌전도전극 (EEG Electorde) 연구개발동향전극은뇌전도를이용하여뇌파를측정할때가장중요한시스템구성요소중하나이며, 크게침습형과비침습형으로분류할수있다. 그리고비침습형전극은다시습식전극 (wet electrode), 건식전극 (dry electrode) 그리고건식능동전극 (active dry electrode) 으로다시세분할수있다. 2.1.2.1 비침습형전극 (Noninvasive electrodes) 일반적으로뇌파를측정할때는 (1) 전극이피부에잘고정될수있게하며, (2) 두피와측정전극사이에전도성을높이고, (3) 두피의임피던스를낮추어뇌신호가잘측정될수 28
있게하기위해별도의전해질 (electode ge) 을사용하는데이러한방식을사용하는전극을 습식전극 (wet electrode) 이라고한다. 주로은 / 염화은 (silver/silver chloride, Ag/AgCl) 전극이사용되는데, 부착방식에따라몇가지단점이있다 (Ferree et al., 2001; 고덕원외, 2011). 1) 전극을붙이기위해서는전해질을사용할위치의두피각질을벗겨내야하기때문에감염등의위험과통증으로인한피험자의불쾌감이뇌파에반영 ; 2) 전해질이시간이지남에따라건조해지면서피부의임피던스가증가하여인공물의유입이용이. 이러한습식전극의단점을보완할수있는전극이크게 2 가지방향에서개발되어오고있다. 첫째, Ag/AgCl 이나은 (silver, Ag) 등의다양한금속재료를사용하여전해질을사용하지않아도되는이른바건식전극 (dry electrode) 개발이다. 그러나, 이들건식전극들은빠르고간편하게부착이가능한점에서뇌-컴퓨터인터페이스에유용할수있지만재료를불문하고이러한건식전극들은근본적으로전해질을사용하지않으므로매우높은임피던스의상황에서뇌신호를측정해야하는제한점이있다. 이러한제한점을극복하기위해연산증폭기 (op-amp) 를이용하여신호를증폭시켜측정시스템까지신호가전송되게하여높은임피던스상황에서발생하는신호의소실을줄일수있게한 건식능동전극 (active dry electrode) 에대한연구가활발히진행되어왔다. 표 2-1 은건식전극을사용하는다양한 EEG 측정시스템들을보여주고있다. 29
표 2-1. 건식전극을사용하는 EEG 측정시스템들 ( 출처 : Lopez-Gordo et al., 2014) 30
2.1.2.2 침습형전극 (Invasive electrodes) 본장에서는침습형전극으로서가장활발하게연구되고있는 5 가지종류의 microelectrode 들을검토하고자한다 : Wire-type, mass-fabricated, silicon-based, ceramic-based 그리고 polyimide-based microelectrodes. Wire-Type Microelectrodes: 대부분의 wire-type microelectrodes 는절연물질속에금속재질 ( 예, tungsten, gold, platinum, iridium, platinum-iridium, stainless steel) 의와이어로봉해져있다. 뇌에심어지는금속와이어와 recording 와이어사이의연결은 Teflon 또는플라스틱을사용하여절연된다. 보통 wire electrodes 의반경은 13 200 μm 로쥐, 원숭이, 고양이와같은실험대상에대한기록을위해자주이용된다. Lin et al (2006) 은 128 개와이어로구성된고밀도배열 Microdrive 를가지고움직이는쥐의뇌를측정하는데성공하였다 ( 그림 2-5 참조 ). 전통적방식의 wire-type microelectrode 는작은크기와제품화가많이되어있다는이유로여전히널리사용되고있지만, 직접만들어야하며와이어재질에따라실험결과가다를수있다는단점들이있다. 그림 2-5. 고밀도배열 Microdrive 31
Mass-Fabricated Microelectrodes: Photolithographic 기술은 microcircuit 산업에서대량의 microelectrodes 생산에널리이용되고있다 (Burmeister & Gerhardt, 2006; Cheung,2007). 현재생산되고있는 recording surface 는 5 10 μm 크기이지만미래에는 0.1 4 μm 정도로작은 surface 가만들어지도록 Photolithographic 기술이발전될것이다. 이기술은기존의기술을능가할정도지만, 미세한크기의 microelectrode 기능이필요하지않다면, 이것보다저렴한 screen printing 방법으로 50 100 μm 정도의크기는감당할수있다. 여러디자인의 microelectrodes 들이같은 substrate 에배열되어, 동시에대량으로 fabricated 되여제작비용을줄일수있다. micromachining 기법을사용하여, layer 구조인뇌로부터신호를측정할수있다. 얇은필름을사용해서만들어진 microelectrodes 은기본적으로 4 가지 layer 가있다. Substrate 는첫번째레이어로, 보통실리콘, 세라믹, 실리콘, silica/glass, or polyimide 으로만들어져있다. Photolithography 혹은스크린프린팅은 microelectrode 기록위치, 연결라인, bonding pads 를배열하는데사용된다. Silicon-Based Microelectrodes: 실리콘은 multisite, semiconductor based microelectrodes 을만들기위해서최초로사용된 substrate 이다. 실리콘을 substrate 로사용했을시, Chemical etching 을사용할수있는것이가장큰장점이다. 레이저머신이나 sewing 없이도, 하나의 substrate 에서 individual microelectrodes 을동시에만들어낼수있다. substrate 의두께를 etching 으로 6 15 μm 만큼얇게할수도있으나, 매우얇은실리콘은쉽게깨질수있다 (Burmeister and Gerhardt, 2006). 그림 2-6 은 32
미시건대학교 Anderson 박사팀 (The Center for Neural Communication Technology) 이 개발한실리콘 microelectrode 를보여주고있다. 그림 2-6. Silicon-Based Microelectrodes ( 출처 : Burmeister & Gerhardt, 2006) 그림 2-7 은유럽 VSAMUEL 콘소시엄 (European Union, grant IST-1999 10073 termed ACREO [ACREO AB, Sweden]) 에의해개발된성능이더뛰어난 electrode 디자인을보여주고있다 (Jensen et al., 2006; Yoshida et al., 2001). 이들 Electrode 들은 1~8 개의기록 shafts 가있고매우범용성이크며, 탁월한 insertion 메케닉을가지고있다. (Jensen et al., 2006). 33
그림 2-7. Silicon-based ACREO microelectrode arrays 개념도 Ceramic-Based Microelectrodes: 단열세라믹은인접한연결라인사이에서의잡음을줄이는데사용되어왔다 (Burmeister and Gerhardt, 2001, 2006; Burmeister et al., 2000). 세라믹은재질이단단하여뇌깊은곳까지측정할수있는 microelectrode 를만드는데사용된다 ( 예, 실리콘의경우 2 4 mm 깊이까지만측정가능하지만, 세라믹은최대 5 6 cm 깊이까지측정가능 ) ( 그림 2-8 참조 ). 그러나, 세라믹은기존 etching 기법을사용할수없기때문에, wafer 로부터각각 microelectrodes 을잘라줘야한다. 레이저머싱이벌크의 wafter 로부터 microelectrodes 를잘라내는가장널리쓰이는방법이다. 하지만레이저의 stepping 때문에, 가끔매끈하지못한모서리가있을수있는데, 세포에 34
insertion 할경우이때문에문제가생길수있다. 조금더부드러운모서리는다이아몬드 saw 를통해서만들어질수있다. 그림 2-8. Ceramic-based conformal microelectrodes with eight recording sites ( 출처 : Photographs courtesy of Mr. Peter Huettl at the Center for Microelectrode Technologies, University of Kentucky, Lexington, Kentucky). Polyimide-Based Microelectrodes: Polymide 필름 (Kapton) 은 intercortical impanation 을위한 micro electrode 의 substrate 뿐만아니라단열제로도사용되어왔다. Polymide 의원조인 Parylene (DuPont) 역시액체로표면에발라졌다가고열 (200 도 ) 로 polymerized 시킬수도있다. 구조상 substrate 로서 polymide 는매우유연한편이다. 비록이유연성때문에장착이어려울수도있지만, tissue 에피해를적게입힌다는장점이있다 ( 그림 2-9 참조 ). Micro-electrode shaft 가삽입시구부려지는것을막기위해매우정확한 incision 이필요하다. 수술용 suture 을이용해서주로삽입된다. (Gonzalez & Rodriguez, 1997). 35
그림 2-9. Polyimide-based microelectrode array for intracortical implantation ( 출처 : Photograph provided by Daryl Kipke of the University of Michigan Center for Neural Communication Technology) Connectors: Microelectrodes 를기록장치에연결하는것도중요한기술중의하나이다 ( 그림 2-10 참조 ). 보통, Paddle 이라고불리는 PCB 홀더에고정된다. 기록위치는이홀더에 Microelectrodes 의 pad 와컨넥터의 pad 를연결하는와이어로전자적으로연결된다. 실리콘 microelectrode probes 를만드는데사용되는 photolithographic 기술을사용해서, 유연하고, 세밀한 multi-lead 실리콘리본케이블을만들수있다. 이케이블은길고얇은실리콘 substrate 로이루어져있는데, 여러개의 dielectrically encapsulated leads 를지지할수있고, 케이블의끝은 micro electrode 나커넥터의패드에연결되기위해서노출된금속으로좀더두껍다. 36
그림 2-10. MEAS with flexible connectors analogous to subdural designs ( 출처 : University of Kentucky and Ad-Tech Medical Instruments) [ 연구방향 ] 침습형전극들의수명에영향을미치는요소들에대한연구 1-12 개월기간동안 failure analysis of components 침습형전극들의수명에대한연구 10여년이상견딜수있는침습형전극개발에대한연구 37
2.1.3 국외뇌전도 (EEG) 측정시스템연구개발동향그림 2-11는 Piccini 연구팀이 2005년개발한 SSVEP-based BCI 시스템을위한웨어러블 EEG 측정시스템이다 (Piccini et al., 2005). 비록 prototype이지만, 기존의장비와비교해서, 더작고사용자친화적이다. 베터리를포함해서무게는 250g 이며, 700mAh의용량으로도 12시간동안지속사용가능하다. Electrode는일반 Ag/AgCl 이며 conductive gel을바른후사용할수있다. 이시스템은 ground나 reference가필요하지않다. 반나절이상사용하기위해서는 3.6V 표준휴대폰전원이이용된다. 그림 2-11. Wireless EEG system for SSVEP application ( 출처 : Piccini et al., 2005) Sullivan 연구팀 (Sulliva etal., 2008) 은야구모자안에건식전극을넣은 EEG 측정시스템을개발하였다 ( 그림 2-12). Low-noise LT6010 operational amplifier 는 1000 mid-band gain 이설정되어있다. 중앙에있는보드밑부분의 dry electrode 가뇌신호를감지한다. 이 dry electrode 는모자속가장자리에설치되어있다. 이부분들은 coated 된 38
silicon 으로만들어져있으며, MEMS process 를이용하여제작되었다. 그리고이 silicon plane 앞으로튀어나온 microscopic needle 은 electrode 의면적을늘려, 보통의 dry electrode 보다더낮은 contact resistance 를제공한다. 그림 2-12. Baseball cap-based, dry-contact, low-noise EEG acquisition device ( 출처 : Sulliva etal., 2008) 그림 2-13는군인용 Kevlar helmet에맞게디자인된 EEG cap으로 Matthews 연구팀이 2008년개발하였다 (Matthews et al., 2008). 격렬한움직임에도측정이가능하도록독립된 mechanical 시스템이존재하는것이다른 EEG cap과구별되는점이다. 센서는 CZ, C3, C4, FZ, F3, F4, PZ 위치에있으며, CMF의 ground reference는이마쪽에위치한헤드밴드와연결된전도성이있는천에의해제공된다. 헬멧을착용한군인이전투상황에서도 3시간가량불편함없이이용가능하다. 그림 2-13. Soldier s Kevlar helmet-based wireless EEG system ( 출처 : Matthews et al., 2008) 39
Brown 연구팀 (Brown et al., 2010) 은 2010 년 8 channels 로구성된 EEG 모니터링헤드셋을개발하였다 ( 그림 2-14). The eight-channel ASIC 은 8 개의 readout 채널로구성되어있으며 500 또는 1000Hz 로세팅되어있다. Wireless 8-channel EEG Sensor platform 은 4 가지의 building block(eeg sensor ASIC, microcontroller (MSP430F1611 by Texas Instruments), radio(nordic nrf24l01 radio), power circuit) 을포함하고있다. 그림 2-14. Low-power, wireless, 8-channel EEG monitoring headset ( 출처 : Brown et al., 2010) Wireless 8-ch EEG sensor platform 은 headset 과연결되어빠르고쉽게 EEG signal 을 monitoring 할수있게도와준다. 헤드셋의주요특징중하나는 gel 과 skin preparation 없이 electrode 사용이가능하다는것이다. 보통 electrodes 는 conductive electrode 젤과함께사용되지만, 이헤드셋은젤이나 skin preparation 없이도적합한 skin-electrode impedance 와 EEG signal quality 를구현할수있다. 이 Electrodes 들은특별히제작된 40
electrode housing 에부착되어있다. Electrode housing 은 cylindrical metallic electrode holder 로이루어져있으며, 이 holder 들은스프링의힘으로 conductive metal housing 안에서위아래로움직인다. 이스프링은 electrically electrode holder 와 electrode housing 을연결한다. Signal 은 electrode 에서발견되어스프링을통해 electrode housing 으로전달된후, 마지막으로 signal wire 로전달된다. 이 electrode 는 magnetic connection 과 spring 을사용하여, 30 도기울어져있고두피와헤드셋사이에서 7mm 수직운동이가능하여, 여러다른 subjects 에도응용이가능하다. 그림 2-15 은 Liao 연구팀이개발한건식전극으로구성된웨어러블 EEG acquisition 시스템을보여주고있다 (Liao et al., 2012). EEG acquisition module 은 dry EEG 센서로부터 EEG signal 를가져오며, 총 4 가지의부품으로구성되어있다. Acquisition component (AD8609, Analog Devices, USA), microprocessor component (MSP430, Texas Instruments, USA), wireless transmission component (BM0403, Unigrand Ltd., Taiwan) 와 Amplifier component 가그것이다. EEG signal 을증폭시키고 filtering 하기위해 band-pass filter (0.5~50 Hz) 와 analog-to-digital converter (ADC) 가 circuit 보드에포함되어있다. 12 bit resolution 의 ADC 는 256Hz 의 sampling rate 으로 EEG signal 을디지털화한다. Microprocessor component 에서는디지털화된 EEG signal 이저장된다. 무선장치이므로 Bluetooth module( BM0403, Unigrand Ltd., Taiwan) 도포함되어있다. 이장치는 Bluetooth v2.0+ EDR 와 Printed Circuit Board (PCB) antenna 와호환가능하다. 4.5 3 0.6 cm 3 의부피로우리머리에장착하기용이하며, output current 는 31.58 ma 이다. 3.7V-750mA 사용배터리로 23 시간사용가능하다. 41
그림 2-15. Wearable EEG acquisition device with dry EEG sensors ( 출처 : Liao et al., 2012) 표 2-2 는현재제품으로출시된 EEG 측정시스템을 1) 가격, 2) 출시연도, 3) 커뮤니케이션방식, 4) 채널수, 그리고 5) sampling rate 으로보여주고있다 (Ahn et al., 2014). 이들시스템대부분들은무선통신을지원하고있으며, 218 Hz- 1 khz 의 sampling rate 을지원하고있다. Emotiv 제품을제외한대부분의시스템들은채널수가적어뇌중앙부 (central) 를측정하지못하는단점이있다. 42
표 2-2. 상용화된 EEG 측정시스템들 명칭 가격 출시년도 커뮤니케이션방식 채널수 Sampling rate Neurosky Mindset (www.neurosky.com) <$200 2007 무선통신 1 512 Hz OCZ Neural Impulse Actuator <$200 2008 유선통신 13 1 khz (www.ocz.com) Emotiv EPOC (www.emotiv.com) $200-$300 2009 무선통신 14 128 Hz LX XWave Sonic (www.plxdevices.com) <$200 2011 무선통신 1 512 Hz Neurosky Mindwave (www.neurosky.com) <$200 2011 무선통신 4 512 Hz MyndPlay BrainBandXL EEG >$300 2012 무선통신 1 512 Hz Headset (www.myndplay.com) InteraXon Muse (www.choosemuse.com) $200-$300 2014 무선통신 4 512 Hz Melon EEG headband (www.thinkmelon.com) <$200 2014 무선통신 3 512 Hz Emotiv Insight (www.emotiv.com) $200-$300 2014 무선통신 5 128 Hz ( 출처 : Ahn et al., 2014) 43
2.2 기능적자기공명영상 (Functional Magnetic Resonance Imaging, fmri) 2.2.1 국내동향국내에는삼성전자주식회사등유수대기업등에서활발히개발중이나기능적자기공명영상장치의원천기술확보의난제로개발및제조를겸하는기업은전무한실정이다. 성균관대학교글로벌바이오메디컬엔지니어링학과박재석교수연구팀은뇌영상공학, 영상신호처리및복원알고리즘등을통해차세대자기공명영상기술을연구개발하고있으며, 한국연구재단, 표준과학연구원, 의료영상관련기업등과다양한관련연구프로젝트를진행하고있다 ( 그림 2-16 참조 ). 그림 2-16. 3D MR visualization ( 출처 : 카이스트 ICSL 연구실, http://athena.kaist.ac.kr) 44
한국과학기술원박현욱교수연구팀은 fmri 영상의 3D visualization 및영상재구성에따른 registration, sementation 등기능적뇌영상에관련된방법론을연구하고있다. 이밖에 fmri 와 EEG 의 multimodal analysis 를위한다양한시도를수행하였으며, in vivo cellular imaging 을연구하고있다. 가천대학교뇌과학연구원은 PET (Positron emission tomography)-mri fusion 영상시스템을연구하고있다. 7.0 T ( 테슬라 ) MRI 와 HRRT-PET 퓨전영상시스템은분자또는유전자영상 (PET) 을초고분해능의해부학적이미지로구체화하고, 고급퓨전영상시스템을사용하여, 아직밝혀지지않은뇌의영역을탐구하기위해연구하고있다 ( 그림 2-17 참조 ). 그림 2-17. World's First HRRT-7.0T MRI Fusion System for Molecular Imaging ( 출처 : 가천대뇌과학연구소, http://nri.gachon.ac.kr) 2.2.2 국외동향 Zich 연구팀은상상동작을할때발생하는 EEG 와수반되는감각운동피질영역 (cortical sensorimotor areas) 의활성화의관계를규명하기위해 EEG 신호와기능적자기공명 (fmri) 를동시에분석하였다 (Zich et al., 2015). 연구결과는상상동작으로인한대측성 45
감각운동 EEG 감소는감각운동영역의기능적자기공명활성화와역의상관관계를보였으며, 편측화 (lateralized) 기능적자기공명패턴은편측화된 EEG 패턴을반드시수반하지는않는것으로나타났다. 본연구는상상동작 EEG 신호와감각운동피질의활성화의복잡한관계를보여주며, 상상운동 EEG 를기반으로한운동능력재활이나뇌- 컴퓨터인터페이스에대해더잘이해하는데활용될것이다. Sokunbi 연구팀은 fmri 를이용하여동기적으로관련된시각반응 (motivationally relevant visual feedback) 을확인할수있는뉴로피드백 (neurofeedback) 시스템을선보였다 (Sokunbi et al., 2014). 이시스템을통해음식사진을보여줄때유발되는욕구나배고픔과같은동기적과정에발생하는베타파 (β) 를기능적자기공명장치 (functional magnetic resonance imaging) 를활용하여측정하였다. 10 명의참가자중 8 명은, 음식사진을볼때식욕을억제하고수동적으로바라만보았을때그렇지않았을때에비하여베타파가감소하는결과를보였다. 이연구는뉴로-피드백훈련 (neurofeedback) 을통해뇌활성화를억제하여시각자극중독을완화하는치료법의기초자료로활용될것으로예상된다. Ruiz 연구팀은실시간기능적자기공명장치의원리와응용그리고장단점을정리하였다 (Ruiz et al., 2014). 특히자가조절 (selfregulation) 을수행할때서로다른뇌영역간의기능적연결 (functional connectivity) 과뇌연결망에초점을맞췄으며, 관련연구들은인지뇌과학과잠재적인뇌정신이상완화기법의수단으로활용될수있을것이다. 46
2.3 뇌자기도 (Magnetoencephalography, MEG) 2.3.1 국내동향국내최초로도입된서울대학교 MEG 센터는 Elekta NeuroMag VectorView 306 channel 장비를보유하고있으며, 서울대학교정천기교수연구팀을중심으로인지관련뇌자도특성분석및네트워크분석수행을통해많은연구실적을이루고있다. 한국표준과학연구원 (KRISS) 의김기웅박사연구팀은뇌기능연결성을볼수있는뇌자기공명장치를개발하고있으며, 이는지구자기장보다낮은마이크로테슬라대역의미세자기장신호를측정하는초정밀차폐전극및장비를의미한다 ( 그림 2-18 참조 ). 이러한미세자기장신호를측정하기위한센서를 SQUID sensor 라고하며, 이를자체개발한 KRISS 의차폐측정기술로많은연구분야에서활용되고있다. 그림 2-18. 한국표준과학연구원이개발한 MEG 시스템 ( 출처 : Park et al., 2009) 47
2.3.2 국외동향 Lin 연구팀은인간의동작의지를판독할수있는다차원적예측 (multi-dimensional prediction) 기반의 BCI 를개발하였다 (Lin et al., 2013). 이연구는 4 가지동작중한가지동작을시각신호에따라준비한후동작을수행할때, 내적준비시점에어떤동작을취하려하는지를동작의지와관련된 MEG 신호를분석하여판별하였다. Synthetic Aperture Magnetometry 방법을통해분석한결과, 네명의참가자가평균 88.9% 의정확도로네가지동작을구분해내었다. Okazaki 연구팀은알파파를편측화하는실시간뉴로피드백훈련이실험자의후- 알파파편측화 (posterior alpha lateralization) 를조절하는능력을향상시킬수있는지연구하였다 (Okazaki et al., 2015). 그들은실험을통해뉴로피드백훈련이반측알파파편측화 (hemispheric alpha lateralization) 를증가시키는것을밝혔다. 또한뉴로피드백훈련이훈련받지않은반시야알파파편측화능력을감소시키는것을발견했다. 이러한결과를통해알파파진동이주의력할당에중요한역할을하는것으로보여진다. Takano 연구팀은이전연구를통해청 / 녹밝기및색변화 P300 타자기의효율이회 / 백밝기변화 P300 타자기의효율보다좋은것을발견하였다 (Takano et al., 2014). 당시실험은 EEG 와 fmri 를사용하여양측및우측두정후두영역의뇌파활동을측정하였는데, 이번실험에서는머리전체를측정할수있는 306 채널 MEG 장비를사용하여뇌파를수집하였다. 좌 / 우두정후두영역을비교한결과, 청 / 녹조건이회 / 백조건대비상당히유의한기능적연결을보였다. 또한청 / 녹조건이회 / 백조건대비상당히유의한일관성 (coherence) 이우측뒤의두정엽에나타나는것을확인하였다. 이 48
결과는양측두정엽후두엽피질에일관된활동이 P300 기반의 BCI 을효과적으로 작동하는데중요한역할을하는것을보여준다. 2.4 기능적근적외선분광분석 (Functional Near Infrared Spectroscopy, fnirs) 2.4.1 국내동향한국과학기술원 (KAIST) 배형민교수연구팀은일명 NIRS IT 로불리는 portable fnirs 장비를개발하였으며, 이는기존의 NIRS 와달리시간해상도를최대한극대화하여실시간성을부각시켰으며, 42 개채널의전두엽다채널광측정센서가내장되어있다. 현재상용화단계전이며, 연구용프로토타입으로뇌신호측정가능성에대한근거를더욱강조하기위해다양한선행연구가진행되고있다 ( 그림 2-19 참조 ). 그림 2-19. 카이스트에서개발한 NIRS'IT 프로토타입 ( 출처 : 카이스트 NAIS Lab) 49
한림대학교신형철교수연구팀은 fnirs 를측정하기위한의료용광센서부착장치를개발하였으며, 이는인체내의헤모글로빈의농도변화와뇌파를동시에측정가능하게할수있다. 측정시피험자의두피에완벽하게밀착되면서도압박하지않도록함으로써, 편한한측정이가능하도록구조화하였다 ( 그림 2-20 참조 ). 그림 2-20. fnirs 광센서측정센서고정모듈 ( 출처 : KIPRIS) 고려대학교김법민교수연구팀은뇌의산소포화도및변화량을측정하는 NIRS 시스템을연구하고있으며, 대뇌피질의산소의존성에따른방향적결합성 (directional coupling) 을연구하고있다. 이는 neurovascular coupling 과연과되어있으며, 이에따라 50
간질및기타병변에따른 hemodynamic 측정이가능하며이를위한다양한방법론을 개발하였다. 그림 2-21. Optical fiber 위치고정및측정 ( 출처 : Im et al., 2010) 2.4.2 국외동향 국외에서는기능적근적외선분광분석 (fnirs) 이크게 3 가지원천기술을기반으로 개발되고있다 : Continuous Wave NIRS (CW NIRS) Frequency Domain NIRS (FD NIRS) and Time Domain NIRS (TD NIRS). 표 2-3 은현재까지개발된 fnirs 시스템들을요약한것을보여주고있다 (von Luhmann, 2014). 대부분의시스템들은 CW 기술을바탕으로하고, 2/3 정도는 signal-to-noise ratio 51
향상을위해서 lock-in approach 를사용하고있다. 어떤시스템들은한개의 NIRS 채널만 사용하는 Time-Division Multiplexing(TDM) 기술을사용하는반면, 다른 Instrument 들은 frequency-encoded simultaneous emission 과 band-pass filter extraction, 혹은 software-based demodulation schemes 를사용하여, 모든채널을지속적으로측정할수있게한다. 외부데스크탑 lock-in amplifiers 혹은외부 ADC/Data Acquisition instruments ( 예, National Instruments or Keithley DAQ USB 혹은 PCI devices) 를사용한다는것을주목할필요가있다. 이런 NIRS 시스템들은단독으로사용할수없고, 대부분휴대가불가능하다. 오직 two stand-alone instruments 만무선데이터전송이가능하여휴대가가능하다. Sources/detectors가작아뇌의일부분만감지하는장비가있는반면, 범위가커서머리전체를커버하는장비도있다. 소수의장비들은 sensor patches와 integrated components를사용하는반면, 대부분의장비는 optical fibers와 flexible head caps를사용한다. 대부분의 fniri 장비들이크기가크고 static 한반면, 소수의장비만실험대상에 부착되어무선데이터송신이가능하다. Whole-head imaging system 의가격은 $10,000 부터 $100,000 까지다양하다. 다음섹션에서이런 NIRS 장비들의중요부품에대해살펴보고자한다. 52
표 2-3. NIRS-Systems overview Type Lock-In TDM # CH λ (nm) LS Type DET Type D (cm) Portable Wireless Attachment ADC Ref. CW No Yes 32 735 32 1 20 Hz Lareau et 4 Yes No neoprenehood 850 LED APD 16 bit al., 2011 CW Yes No 22 Kiguchi 754 8 1 600g head- 3 Yes No et al., 830 LED APD set 2012 CW Yes Yes 760 8 1 Piper et 3 Yes No EG-Cap 6:25 Hz 850 LED APD al., 2013 CW No Yes 32+ EEG- 760 32 1 NIRS- 8 Hz Safaie et 2/4 No Yes 850 LED APD plastic 16 bit al., 2013 chain CW No 16 730 Flex. PCB 4 1 Bunce et 805 2.5 No No with cush- 2Hz LED APD al., 2006 850 ioning CW Yes 1 Bauern- 670 1 1 Flex. 3 No No 250 Hz feind et 890 LED APD Strap al., 2008 CW Yes 288 780 18 1 0.25 Hz Siegel et 4-8 No No 830 LED APD 16 bit al., 1999 CW No Yes 3 780 3 1 Benni et 810 LD PD al., 1995 830 FD Yes 3 775 1 3 Rolfe et 5 No No 810 LD PMT al., 2000 53
850 905 FD Yes 2 780 850 2 LD 1 PIN No No Rolfe et al., 2001 CW 56 780 880 48 LED 14 PD 1 No No Flex. PCB with cushioning 3Hz Vaithianathan et al., 2004 CW Yes Yes 22 790 850 16 VCEL 8 PD 3 No No Atsumori et al., 2007 CW Yes 700 880 LED APD 3-4 Yes No 100Hz 16Bit Coyle et al., 2004 CW 735 850 LED 8 PD 3 No No Chang et al., 2011 CW No Yes 2 730 850 1 LED 2 PD 2 Yes No Flexible PCB with sticky 10Hz 12Bit Bozkurt et al., 2005 CW Yes 760 880 LED APD 3-4 No No Seat _xation 100Hz 16Bit Coyle et al., 2007 CW No 778 813 867 904 LD PMT No No Cope et al., 1988, 1991 CW No Yes 1 730 804 850 LED PD 3,5 Yes No Velco straps 23Hz 18Bit Chenier et al., 2007 54
CW 16 8 LED 2 PD 1+0.5X Yes No embedded silicon patch 2Hz 16Bit Rajkumar et al., 2012 CW Yes Yes 32+ 785 830 32 LD 32 APD No No Boas et al., 2001 CW Yes 12 760 880 24 LED 3 APD 3 No No 10Hz 24Bit Soraghan et al., 2008 CW Yes 760 850 LED PD Yes No 40Hz Zhang et al., 2009 ( 출처 : von Luhmann, 2014) (CW = Continuous Wave, TD = Time Domain, FD = Frequency Domain, TDM = Time-Division Multiplex, # CH = Number of Channels, LS Type = Light Source Type: LED = Laser Emitting Diode, LD = Laser Diode, VCEL = Vertical-cavity surface-emitting laser, DET Type = Detector Type: APD = Avalanche Photodiode, PD = Silicium Photodiode, PMT = Photo Multiplier Tube, PIN = Positive intrinsic negative photodiode, d = source - detector distance:..x.. variable, ADC = Sampling rate and quantization depth.) 55
2.4.2.1 NIR Light Emitters 가장이상적인 light sources 는여러개의 monochromatic wavelength 를 near-infrared range 로제공하고, 각 wavelength 는높은 penetration depth 가가능할정도의높은 파워를제공해야한다. 동시에 radiation variance 는최소화되어야한다. 만약 interrogation beam 의세기에대한추가적인 monitor 가없을경우, radiation 세기의변동은조직내의발색단 (chromophore) 변화에따른변화와식별되기어렵다. 마지막으로, light source 의 radiation spectrum 은가능한가장높아야하며, monochromatic 인것이이상적이다. 하지만, 만약 emission spectrum 을안다면, weighted averaging approach 를사용하여 extinction coefficient 를수정할수있다. input light 의 collimation 은 detector 의 intensity 보다 incident light 의파워가더 중요하다. 이는첫 millimeters 의티슈의 scatter process 가빠르게 collimated interrogating beam 을분산시키기때문이다. Near-infrared light emission 에는 3 가지 소스가가능하다 : Laser Diodes (LD) Light Emitting Diodes (LED) Monochromatic/interference filters가있는 White Light Sources ( 예 : Xenon flash tube 혹은 quartz halogen light) White Light Sources 는필터가필요하고, 크기가크며, 열을많이방출하기때문에, 지금까지사용된기록이별로없다. 그렇기때문에 White Light Sources 은 fnirs 장비에 56
사용되기에는적합하지않다. 다른두가지옵션들 (LD 와 LED) 이주로 NIRS 장비에 사용되며, 각각장점과단점이존재한다 ( 표 2-4 참조 ). LD LED 장점단점장점단점 표 2-4. fnirs instrumentation에사용되는 LED와 LD 비교 Sharp radiation peak: 거의일정한빛방출 Pulsatile operation로 peak power의 ns pulse width를 10W까지끌어올수있음 Large packaging 발생, miniaturizing이어려움 시력의손상에대한위험이있음 Operating range가좁음 사용가능한파장이제한적이며 695-775nm 가격이높음 반도체접합으로인한심한가열은광섬유로빛을전달하도록요구됨 2개이상의개별적으로통제가능한파장의 package 사용이용이함 Photon이불규칙적이고 uncollimated하기때문에 LD와비교했을때같은최대허용가능노출에있어서더높은방출이가능함 LD 보다 operating range가넓고조정이용이함 Variation이자유로우며파장선택범위가넓음 Power 소비가적고열손실도적음 방출범위가넓음 : bandwidth 25-50nm LD보다광출력 / 소비비율이낮음 2.5.2 NIR Light Detectors 세포로부터나오는 near-infrared light 를감지하는데 3 가지 detectors 가주로사용되며, 각각장점과단점이존재한다 ( 표 2-5 참조 ). Photo multiplier Tubes (PMT) Silicon p-i-n Photodiodes (SPD) 57
Avalanche Photodiodes (APD) External photoelectric effect 를바탕으로한 PMT 인경우, Photons 이 photocathode surface 에서전자 (electrons) 를추출한후, 강한전기장에서이전자들의움직임을가속화하여운동에너지를증가시킨다. 높은에너지를갖은전자들은전기장에서가속화된 dynode 의 cascade 로부터 secondary 전자들을생산해낸다. 이런과정을반복하여 106~107 의입사광 (incident light) 이만들어진다. SPD 와 APD 인경우, free charge carriers 은 internal photoelectric effect 를바탕으로생성된다. Incident photons 은 semiconductor junction 에의해흡수되어 electrons 을높은에너지로올려, drifting electron-hole pairs 를생성하여측정가능한광전자 (photocurrent) 를만들어낸다. Avalanche Photo Diodes 는 PMT 와비슷한원리를사용한다. 큰 electrical field 가 APD junctions 에적용되어, 광자흡수 (photon absorption) 에의해만들어진 free electric charge carriers 를가속시킨다. 이 free carriers 은 impact 이온화 (ionization) 에의해다시가속되고더많은 carrier 를생성하여, 소위말하는 avalanche effect 를만들어낸다. 수백 volts 를사용하여, 몇백배의내부 amplification 이가능하다. Photo diodes 는내부신호 amplification 이존재하지않는다. 광전자 (Photocurrents) 의 2 가지중하나인 operation modes 상태인외부전기회로망 (circuitry) 에의해증폭되어야한다. Photovoltaic mode 인경우, 바이어스전압 (bias voltage) 가적용되지않으며, 생성된광전류는높은저항을초과하여측정된다. 광출력 (optical power) 에대한신호의반응은 logarithmic 하며 photoconductive mode 에비해훨씬느리나, 더높은 dynamic range 를제공한다. 58
Photoconductive mode 인경우, reverse voltage 가 semiconductor junction 에적용되어, junction 의정전용량 (capacitance) 을감소시켜반응시간을줄여준다. 하지만동시에암전류가증가하는단점이있다. 그결과전류는소량의 load 로측정된다. 출력전압 (Output voltage) 은 incident optical power 와선형관계를가진다. 다른 photo diode 타입도존재하지만, silicon semiconductors 이가장적합하다. 그이유는실리콘은 GaAs photo diodes 를비롯한다른 diode 에비해보다더 sensitive 하고 NIR spectrum 의 noise 측면에서더탁월하다. 어떤 detector 를선택할지는, 장비의 sensitivity, 최대 sampling rate, 와 dynamic range 에의해결정되며, 각각 detector 의장점과단점을고려해서선택해야한다. Avalanche Photo Diodes 와 Silicon Photo Diodes 는최근 SPDs 가선호되어, 현재대부분의 NIRS 장비에사용된다. APDs 인경우, 연구에사용되는대부분의 detectors 들은 Hamamatsu 의장비들이며, 그중에서도 C5460-01 이가장많이사용된다. Silicon Photo Diodes 인경우, Opto Diodes Corp 의 OPT101 이나 OPT209, 혹은 Siemens 사의 Burr Brown 센서를사용한다. 표 2-5. PMT, SPD, APD NIR-detectors 비교 민감성측면에서 Gold standard: single photon counting이가능 최대 10 7 gain 가능장점 APDs와비등하게높은속도 APD에비해비교적 dynamic한 range이지만 SPD보다낮음 PMTs 크고거추장스러운장비 자기장에민감함단점 고전압요함 ( 안전상문제 ) Cooling과전압안정이요구됨 59
SPDs APDs 장점단점장점단점 매우작은 package 낮은전압으로사용가능 ( 머리위에올릴수있음 ) Voltage stabilization 또는 cooling이필요치않으며, 사용이용이함 Ambient 빛노출에대해견고함 전기장에민감하지않음 최대 100dB 높은 dynamic range 최대 100Mhz 빠른속도 낮은민감성 SNR과 bandwidth를감소시키는비교적높은 trans-impednece gain 내부증폭이없으며, preamplifier가 low-noise여야하고신중히디자인되어야함 적당하고작은크기의 package PD보다높은민감성 10~100의적당한 internal gain Ambient 빛노출에대해견고함 전기장에민감하지않음 최대 60dB 좋은 dynamic range SPD보다빠름 : 100Mhz 초과하는진동수 높은전압 (100V) 요함, 안전상문제 안정된 power 공급요함 온도 / 전압 bias에대한 internal gain의의존성때문에 cooling 요함 2.4.2.2 Optical Conduction silicon photo diodes 나 light emitting diodes 는바로머리에사용이가능한반면, white light sources, laser diodes, avalanche photodiodes 와 photo multiplier tubes 들은보통두피에연결할광섬유 (optical fibers) 가부착된 optical conduction 이필요하다. 빛을 light sources 에서두피로가이드할때보통코어지름이 0.5mm 정도의 step-index multimode fibers 가사용된다. 두피에서 detectors 로의 conduction 인경우에는좀더 60
지름이큰 (2.5-3mm) fiber optic bundles 이사용된다. 또한 high numeric aperture 를사용하여빛의양을최대화한다. 이 fibers 들은 straps 이나모자안의 fiber holders 를통해서머리에부착되는데, 이때문에무게가무거워지기때문에휴대성이떨어지고불편함을초래한다. 또한손실을최소화하기위해서는 light source 로부터 fiber 까지의좋은 light coupling 이필요하다. 소스와 detectors 가머리위에바로착용될때는 probe 의기하학적디자인이제한적이며, 화상혹은감전의위험이있을수있다. 반면빛손실이최소화되며착용자의이동성도나아진다. 2.4.2.3 Signal Amplification 측정된 Optical signal 속에 Functional NIRS signal 은매우약하기때문에, low-noise amplification 과 signal extraction 기술이적용되어야한다. 자주사용되는방법중하나는 synchronous (lock-in) detection 인데, 이는다음섹션에서좀더자세히논해질것이다. Lock-in detection 을사용할경우, SNR 는향상되나동시의시스템의복잡함을야기한다. Fast light modulation 을사용할경우, 오직필요한 bandwidth 의 photodetectors 만사용가능하다. 장비의 dynamic range 를늘리기위해서는, variable/programmable gain amplifiers 가사용되어야한다. 61
2.4.2.4 Probe Designs 지난몇년간, optical probes design 에관한몇가지다른 approaches 가발표되었다. 높은성능과좋은 signal 품질을위해서는좋은 probes 의 coupling 이필수적이다. 많은 probe designs 들은머리카락과움직임에의해생기는 noise 를최소화하고자한다. 지금까지발표된 design 들은다음과같이정리될수있다. conus 혹은실린더모양의싱글 probes for fixation on EEG caps/hair nets and chained patches 신축성있는 PCB 에쿠션재질과함께여러개의 Probes 와 multi distance probes. 헬멧이나헤드셋에포함된 probes, 그리고 fixated mechanical mounting structures 쿠션재질과함께사용되는신축성있는 PCB 인경우머리에 laminar 가남아있을단점이존재하여, 머리카락의의한방해를촉진한다. 그런이유로대부분의신축성있는 PCB probe design 들은오직이마에만적용된다. 62
2.5 국외침습형대뇌피질신호도 (Electrocorticogrpahy, ECoG) 요즘 BCI 를위한 electrocorticographic (ECoG) 측정에관한연구가활발하다. 이기술은 1930 년에서 1950 년사이 Japer 와 Penfield 의 EEG 측정연구에서파생되었고, 의사들이 drug refractory epilepsy 환자의가장적합한수술부위를찾기위해 cortical area 를기록하는데사용되어왔다. electrodes 가 BCI 적용에이상적인이유는다음과같다. 첫째, 수천명의실험자들을대상으로한테스트를통해서기술의안전성이보장되었다. 둘째, ECoG 는 EGG 에비해높은 spatial resolution 을가지고있다 (tenths of millimeters vs. centimeters). 셋째, 최근새로운 electrode 디자인으로 direct penetrating electrode 에가까운 spatial resolution 을가지게되었다. 넷째, 유럽과미국에서실험되기시작한 BCI 기술의대부분대상자가 epilepsy surgery 를해야하는환자들이다. ECoG 전극을가장많이제작하고있는회사는 Ad-Tech Medical Instrument Corporation (Racine, WI) 로전세계적으로 70% 정도의 ECoG 전극을생산하고있다. 2014 년 Spüler 연구팀 (Spüler et al., 2014) 은뇌졸중환자들의 ECoG 신호를분석하여 7 가지서로다른손동작상상이구분해낼수있는지에관한실험을진행하였다. 연구팀은초기검진단계에서손동작을전혀할수없는만성뇌졸중환자 4 명의동측운동피질 (ipsilesional motor cortex) 에해당하는 ECoG 신호를기록한후, Support Vector Machine 알고리즘을통해다른상상동작을판독하였다. 그결과 7 가지동작상상들중선택가능한경우에는 61%, 3 가지동작상상들중선택한경우에는 88% 의평균정확도를보였다. 이실험결과는손동작을할수있는능력을상실한경우에라도, 63
동작상상시발생하는동측운동피질의뇌파를이용하면충분히뇌의수를사용할수있다는가능성을보여준다. 최근 Dijkstra 연구팀은두사람의일상적인담화중특정인의소리만선택적으로집중하는경우, 뇌파분석을통해구분할수있는지에대한실험을진행하였다 (Dijkstra et a., 2015). 이연구는감마대역 (70 170 Hz) 의 ECoG 뇌파를사용하여, 두명의화자들의담화를듣는도중발생할수있는 artificial mapping 에대한문제를방지하였다. 12 명의일반인을대상으로한실험은, 상측두회 (superior temporal gyrus) 나전운동피질 (premotor cortex) 중한곳의뇌파만가지고도동시에주어지는두사람의담화중경청한담화를평균 77% 의정확도로분류하였다. 대부분의 ECoG 연구들은잡음을제거하기위한공간필터 (Spatial filter) 로공통평균참조 (common average reference) 방법을활용하는데, 이경우특정채널에만발생한잡음신호가다른채널에도영향을주게되는문제점이있다. 또한자료분석과정에서잡음이발생한특정채널을제외할경우, 그채널에담겨있는중요한정보를제외하게되는문제가있다. 이에, Liu 연구팀은두가지 unsupervised spatial filter 들과세가지신호내잡음탐지방법이미치는영향에대한조사후, 잡음발생채널을유지하면서도잡음을완화할수있는새로운 reference 방법인 'median average reference 를제안하였다 (Liu et al., 2015). 그결과전반적인채널에발생하는잡음과특정채널에서만발생하는잡음을한번에처리하여, 측정된뇌파의우수성을크게높일수있었다. 64
지난 10 여년간, 비연속적인단음이나단어들을뇌파를통해판별할수있는지에대한연구가진행되었지만, 연속적인담화속단어들을뇌파를통해해독하는연구는해결되지않은분야였다. 하지만최근 Herff 팀은 ECoG 신호를이용하여단음을분석하는 BCI 시스템 (Brain-To-Text) 을활용하여, 단어나단음들을뇌파를통해인지하는연구를진행하였다 (Herff et al., 2015). 그결과연속적인담화속개별단어를구분하는경우는최대 75%, 단음을구분하는경우는최대 50% 의정확도를보였다. Lotte 연구팀 (Lotte et al., 2015) 은연속적인담화속개별단음, 음절, 단어들을구별하기위해, 조음위치 (place of articulation), 조음양식 (manner of articulation), 그리고성음상태 (voicing status) 에따른뇌파표상 (representation) 을분석하였다. 대뇌피질표면에서측정한 ECoG 데이터를분석한결과, 조음위치의표상은전반적인뇌영역이담화의준비, 실행, 그리고관찰시점에활성화되지만, 조음양식과성음상태의경우담화가시작후청각피질영역에서만활성화되는것으로확인되었다. 또한 Mugler 연구팀의경우에는미국식영어의모든음절을포함하는단어들을발음할때발생하는뇌파를 ECoG 을통해분석하였다 (Mugler et al., 2014). 그결과모든음절을분류하는경우는 36%, 단일음절을구분하는경우에는 63% 의정확도를보였다. 포유류의전전두엽피질은 minicolumnar 뉴런들이여섯개의막으로분포되어있는곳으로, 감각정보와목적적인행동을위한관련신호들의통합을조직화하는곳으로알려져있다. Opris 연구팀은이미니컬럼 (minicolumn) 미소회로들의복잡한기능성을밝히기위해미니컬럼주변대뇌피질뇌파를 biomorphic microelectrode arrays 를통해측정하였다 (Opris et al., 2015). 영장류를대상으로한실험결과는 65
행동적인반응신호를만들기위해 infra-granular 와 supra-granular layers 에위치한뉴론들이 inter-laminar loops 와 intra-laminar 를통해상호작용하는것으로나타났다. 직류 ECoG(DC-ECoG) 은교류 ECoG (DC-ECoG) 보다더욱완성된뇌상태와병리학자료를제공한다. 하지만직류 ECoG 은전도체와낮은주파수에서주로발생되는유도분극전위이동 (polarization-induced potential drift) 로인하여신뢰성이높은측정이어렵다. 또한전극크기가작아질수록임피던스 (impedance) 가올라가는문제도발생한다. 그래서직류 ECoG 에대한연구가교류 ECoG 에관한연구보다미진했었다. 이에 Li 연구팀은일반적인직류 ECoG 장비에일반적인사용되는 300 마이크로미터의직경의금, 염화은, 백금, 산화이리듐, 산화백금-이리듐전극물질에대해조사하였다 (Li et al., 2015). 연구결과는나노구조로합성층을이룬산화이리듐이체내 / 외모두가장좋은평가를받았으며, 측정장비로가장적절한물질로나타났다. Golub 연구팀은원숭이가손을뻗는동작을수행할때, 동작관련정보가단일시도의운동피질활동내에서취득할수있는지분석하였다 (Golub et al., 2014). 두마리의원숭이들은 96 채널 microelectrode arrays 를이식한후 2D BMI cursor task 를수행하였다. 그결과속도정보분석의정확성이방향정보분석의정확성보다낮은것을확인하였고, 이결과는단일움직임을통해순간적으로발생하는속도정보는일반적인방법으로취득하는것이어렵다는것을보여준다. 이에연구팀은속도정보를직접이용하지않고속도-완충칼만필터 (speed-dampening Kalman filter) 를활용하여, 일반칼만필터를사용했을때보다목표물에서멈추는정확도를 1.7 배높이는성과를보였다. 66
3 뇌신호처리기술개요및동향 3.1 국내뇌신호처리기술동향뇌신호처리기술은크게전처리기술 (preprocessing), 시계열분석, 주파수분석, 그리고특성추출분야로나뉘며, 이에따라각각의세부적인처리목적에따라다양한필터기술등이필요하다. 특히전처리기술로는, 잡음제거기술및기준전압교정 (referencing) 기술등이매우중요하게요구되며, 그에따라적합한특성신호를추출할수있다. 특성추출기술은뇌파분류기술을위한전처리단계중하나로, 시계열분석및주파수분석기술의융합등으로다양한처리기술들이요구된다. 3.1.1 뇌파전처리기술중앙대학교이원형교수연구팀은 Cross-correlation 을통해비침습형뇌파로부터안구잡음을제거하는방법을고안하였다 ( 그림 3-1 참조 ). 뇌파의파워스펙트럼을획득하여, 순수뇌파의스펙트럼분포와안구잡음의스펙트럼분포의집단데이터세트를이용하여분류알고리즘을통해실시간안구잡음을검출및제거한다. 그림 3-1. ( 좌 ) 안구잡음파워스펙트럼과 ( 우 ) 정상뇌파스펙트럼 ( 출처 : Yoo et al., 2007) 67
고려대학교강재우교수연구팀은유비쿼터스헬스케어환경에서단일채널뇌파로부터실시간안구잡음제거가가능한 singular spectrum analysis (SSA) 알고리즘을개발하였으며, 이를시간임베딩과정을거쳐관측뇌파로부터안구잡음성분을축출하는방법을개발하였다 ( 그림 3-2 참조 ). 그림 3-2. 관측뇌파 ( 파란실선 ) 으로부터안구잡음을제거한순수뇌파 ( 적색실선 ) ( 출처 : Shin, et al., 2009) 경북대학교이민호교수연구팀은비침습형뇌파로부터운동관련잡음을제거하기위한최적잡음모델을추출하여적응형필터의이상 (desire) 정보로입력하는방법론을개발하였다 ( 그림 3-3 참조 ). 즉, 뇌파로부터독립성분분석 (independent component analysis, ICA) 를통해획득된독립성분 (IC) 들중잡음에해당하는성분과뇌파에해당하는성분을 exponential analysis 를통해분류하여해당잡음독립성분을적응형필터에입력하는방식이다. 68
그림 3-3. 안구잡음제거관련블록다이어그램 ( 출처 : Kang et al., 2014) 울산과학기술원김성필교수연구팀은실시간안구잡음제거를위한연속안구잡음모델예측알고리즘을개발하여, 적응형필터의이상정보입력으로사용할수있는방법론을개발하였다 ( 그림 3-4 참조 ). 연속안구잡음모델예측알고리즘은, 영상처리에서사용되는 total variation denoising (TVD) 알고리즘과 sigmoid function 을사용하여시계열안구잡음으로간주되는성분들을적응형필터를통해제거하는방식이다 (Kim et al., 2015). 그림 3-4. 안구잡음제거알고리즘적용결과 ( 출처 : Kim et al., 2015) 69
한국과학기술원조성호교수연구팀은보행중뇌-컴퓨터인터페이스를위한실시간잡음제거기술을개발하였다 ( 그림 3-4 참조 ). 자이로스코프센서를통해실시간운동관련파라미터를획득하여, 적응형필터를통해뇌파로부터해당파라미터성분을제거하는방법론으로뇌파측정중움직임에따른잡음제거에적합한기술로평가되고있다 (Kim et al., 2015). 3.1.2 시계열분석전남대학교양형정교수연구팀은점진적모델에기반한다채널시계열데이터뇌파의특징분석에관련한방법론을개발하였다 ( 그림 3-5 참조 ). 점진적으로갱신되는주성분분석을이용하여왼손또는오른손동작에영향을미치는뇌파신호의특징을찾고, 이를반영하여데이터의차원을축소한뒤입력자료의특징을충분히포함하면서낮은차원을가지는데이터를이용한다면분류를위한계산량을감소시킬수있을뿐만아니라불필요한특징을제거함으로써분류성능을향상시킬수있을것으로평가되고있다. 그림 3-5. 5개요소에대한주성분분석과점진적주성분분석의에러율비교 ( 출처 : 김선희외 3인, 2009) 70
한국과학기술원정재승교수는짧은시계열의뇌파로부터의미있는신호구간의정보결정을위한시계열분석방법을제안하였다. 매순간의연속접선벡터 (successive tangent vector) 를계산하여, diterministism 을추정함으로써저차원 deterministic structure 의발현이없는정상피험자특성을파악한후전기신경생리학적기록을위한분석전에선택적인실험을수행할수있다 (Jeong et al., 2002). 한양대학교김선일교수연구팀은동적비정상성 (non-stationary) 뇌신호의스케일링지수 (scaling exponents) 를관측하기위해 detrended fluctuation analysis (DFA) 를개발하였다 ( 그림 3-6 참조 ). 연구팀은시간윈도우에따른스케일링지수를예측함으로써 REM 수면과비 REM 수면, 그리고비수면의차이를비교하였다. 즉시간윈도우에따른단계별스케일링지수의점진적인증가양상을관찰함으로써그특이점을추정할수있는정보를획득하였다. 그림 3-6. 일반뇌파 (a) 와스케일링지수 (b) 를나타낸도표 ( 출처 : Lee et al., 2002) 71
3.1.3 주파수분석경북대학교이민호교수연구팀은다중푸리에시리즈모델의선형결합을통해획득할수있는 band-limited multiple Fourier linear combiner (BMFLC) 기술을도입하여 BMFLC 의상태공간모델에 Kalman filter 를결합한새로운주파수분석방법을개발하였다 ( 그림 3-7 참조 ). 해당방법을통해기존의 short-time fourier transform 과 continuous wavelet transform 에비해더명확한시간-주파수분석이가능하게되었다 ( 그림 3-8 참조 ). 그림 3-7. BMFLC 구조 (a) 와주파수성분분포 (b) ( 출처 : Wang et al., 2013) 72
그림 3-8. BMFLC-KF 를사용한주파수분석비교결과 ( 출처 : Wang et al., 2013) 한국과학기술원 Alice Oh 교수연구팀은변동성추정업데이트룰을통해뇌파데이터의그룹분석을수행하는기술을개발하였다 ( 그림 3-9 참조 ). 공식명칭은 Bayesian Group Nonnegative Matrix Factorization 으로 2012 년시점이전의최신업데이트알고리즘에비해공통패턴추출 (common pattern extraction) 기술측면에서우수한성능을보이고있다. 73
그림 3-9. Bayesian group nonnegative matrix factorization 을위한그래프모델 ( 출처 : Shin et al., 2012) 서울대학교박광석교수연구팀은 steady-state visual evoked potential (SSVEP) 기반뇌-컴퓨터인터페이스를개발하기위한새로운주파수분석방법을개발하였으며, 이는두개이상의듀얼주파수를분석할수있는 canonical correlation analysis (CCA) 를뇌파분석수준에적합하게보완하여개발한기술이다 ( 그림 3-10 참조 ). 이는하모닉 주파수성분을이용한 CCA-harmonic method 를통해높은성능의뇌 - 컴퓨터 인터페이스동작수준을기대할수있다. 74
그림 3-10. 각주파수방법별 BCI 성능도표 ( 출처 : Chang et al., 2013) 3.1.4 특성추출한양대학교임창환교수연구팀은비침습형뇌파기반뇌-컴퓨터인터페이스의운동상상관련뇌특성을추출하기위한방법으로기존의파워스펙트럼및위상고정치 (phase-locking value) 외에채널건 cross-correlation 기법을이용하여채널위치에민감하지않은특성추출기법을개발하였다 ( 그림 3-11 참조 ). 특히왼손또는오른손운동상상을하는동안발생하는사건관련동기 (event-related synchronization, ERS) 또는사건관련비동기 (event-related desynchronization, ERD) 특성을그대로이용하지않고, 이들을이용한채널간의연관성분석에따른특성정보를통해보다로버스트한운동특성분류가가능하도록하였다. 75
그림 3-11. 왼손또는오른손운동상상에따른특성변화 ( 출처 : Park et al., 2013) 고려대학교이성환교수연구팀은뇌-컴퓨터인터페이스의식별용이한특성추출을위해새로운베이지안프레임워크를개발하였다 ( 그림 3-12 참조 ). 공식명칭은 베이지안공간스펙트럼필터의최적화알고리즘 으로기존의공통공간패턴필터 (common spatial pattern filter) 와유사한컨셉으로동작되는알고리즘으로알려지고있다. 특히왼손오른손에대한운동상상을수행할때공간적특성변화가명확히발현된다는장점이있다. 76
그림 3-12. 공간필터에따른특성추출결과 ( 출처 : Suk et al., 2013) 부산대학교김형남교수연구팀은 Hjorth parameter 를이용한비침습형뇌파특성추출방법을개발하였다. 이는구별가능한고유의유의시점 (dominant timing) 과주파수대역을추론한다는가정하에 Hjorth parameter 의 feature ratio 를통해주성분주파수대역과타이밍을추출하는기술로, 특성추출의향상률이단수 short-time frequency analysis 결과를그대로처리한것에비해평균 4.4 % 향상되었다. 77
포항공과대학최승진교수연구팀은뇌-컴퓨터인터페이스성능개선을위해뇌파의특성추출을위한 kernel nonnegative matrix factorization (KNMF) 기술을개발하였다 ( 그림 3-13 참조 ). 이는시간-주파수분석으로부터식별가능한스펙트럼특징을추출하는방법으로, 특히 feature selection 등에도유용하게사용되는기술이다. 그림 3-13. FS, KNMF 및 NMF 특성추출방법비교 ( 출처 : Lee et al., 2009) 서울대학교병원정천기교수연구팀은대뇌피질신호를기반으로하는뇌-기계인터페이스를위해연속된팔움직임을예측하여다양한움직임을구현하는것을목표로가지고있으며, 연속된팔움직임구현을위해팔움직임전후, 또는움직임동안뇌에서어떤변화들이발생하는지, 감각자극은어떤역할을담당하는지분석하고, 움직임을예측하는기술, 예측정확성을향상시키는기술등을연구하고있다 ( 그림 3-14 참조 ). 78
특히, 피드백에따른운동관련뇌 - 기계인터페이스의성능을극대화하는것을목표로 하고있으며, 그결과가평균적으로약 32.1 % 의에러감소가보고되고있다. 그림 3-14. BMI 를위한팔운동관련궤적 ( 출처 : Yeom et al., 2014) 광주과학기술원전성찬교수연구팀은뇌-컴퓨터인터페이스성능향상을위한다양한특성추출방법론을 source level 로부터접근하여연구개발하였다 ( 그림 3-15 참조 ). 특히뇌파센서와소스특성간의결합에따라분류알고리즘 (classifier) 의성능을극대화할수있는방법론을개발하였으며, 특성추출후특성정보를피드백정보로써사용자의특성추출자체를근본적으로향상시킬수있는방법을제안하였다. 79
그림 3-15. ( 우 ) 운동상상동안의센서에대한 p-value, ( 좌 ) 공간에대한 p-value ( 출처 : Ahn et al., 2012) 3.2 국외뇌신호처리기술동향그림 3-16 은 BCI 시스템개발에사용되어온다양한뇌신호전처리 (pre-processing) 기술, 특성선택 / 차원감소 (feature selection/dimensionality reduction), 특성추출 / 차원감소 (feature extraction/dimensionality reduction) 알고리즘및뇌신호사후처리 (post-processing) 기술의현황을보여주고있다 (Bashashati et al., 2007). 그림 3-16. 국외뇌신호전처리, 특성추출 / 차원감소및사후처리기술현황 ( 출처 : Bashashati et al., 2007) 80
3.2.1 뇌파전처리기술 Bashashati 연구팀 (2007) 이조사한바에의하면, 뇌신호의특성을추출하기전뇌신호의질을높이기위해다양한뇌신호전처리기술들이연구개발되고있다. 표 3-1 은 BCI 시스템개발에주로사용되어온주요뇌신호전처리기술현황을보여주고있다. 가장많이개발되어사용된뇌신호전처리기술은 Surface Laplacian (SL) 방법으로서약 32% 의 BCI 시스템들이사용하였다. Principal or independent component analysis (PCA or ICA) 방법이두번째로가장많이사용되었으며 22% 의 BCI 시스템들이사용하였다. Common spatial patterns (CSP) 과 Common average referencing (CAR) 이각각 14%, 11% 의 BCI 시스템들에사용되었다. 81
표 3-1. BCI 시스템에사용된뇌신호전처리기술현황 뇌신호전처리기술 주요국가 소속 주요연구자 China Tsinghua Univ. Xu et al., 2004a Japan NKEN Brain Science Institute Li et al., 2004a Principal component analysis (PCA) Singapore Institute for Infocomm Research Guan et al., 2004; Thulasidas et al., 2004 USA Univ. of Southern California Yoon et al., 2005 Arizona State Univ. Hu et al., 2004; Isaacs et al., 2000 Austria Graz Univ. of Tech. Pfurtscheller et al., 2000; Guger et al., 2000b; Pfurtscheller & Neuper, 2001; Ramoser et al., 2000; Common spatial patterns (CSP) Canada Algoma Univ. Townsend et al., 2004 Germany Fraunhofer FIRST (IDA) Blanchard & Blankertz, 2004; Dornhege et al., 2003, 2004; Krauledat et al., 2004; Muller et al., 2003b Singapore Institute for Infocomm Research Xu et al., 2004b Common spatial subspace Cheng et al., 2004; Li et al., 2004b; China Tsinghua Univ. decomposition (CSSD) Wang et al., 2004d; Liu et al., 2004 Common spatio-spatial patterns (CSSP) Germany Fraunhofer FIRST (IDA) Lemm et al., 2005 Combined CSP and PCA Singapore Inst. for Infocomm Res. Xu et al., 2004b Austria Graz Univ. of Tech. Ramoser et al., 2000; Schalk et al., 2000 Common average referencing (CAR) China Tsinghua Univ. Cheng et al., 2004; Li et al., 2004b Germany Forschungszentrum Julich GmbH Peters et al., 2001 82
Monaco binuscan Fabiani et al., 2004 USA The Wadsworth Center McFarland et al., 2003 Singular value decomposition (SVD) USA NASA Ames Res. Center, Moffett Field Trejo et al., 2003 Sparse component analysis Japan NKEN Brain Science Institute Li et al., 2004a Bashashati et al., 2005; Fatourechi et al., British Columbia Univ. Frequency normalization Canada 2004, 2005; Yu et al., 2002 Neil Squire Found., Burnaby Borisoff et al., 2004 Tsinghua Univ. Gao et al., 2004 Independent component analysis (ICA) Surface Laplacian (SL) China National Chiao Tung Univ. Wu et al., 2004; Xu et al., 2004a; Wang et al., 2004c Iran Iran Univ. of Science and Technology Erfanian & Erfani, 2004 Israel Technion-Israel Inst. of Technol. Serby et al., 2005 Japan NKEN Brain Science Institute Li et al., 2004a USA Colorado State Univ. Peterson et al., 2005 Univ. of Rochester Bayliss & Ballard, 2000a, 2000b Austria Graz Univ. of Tech. Ramoser et al., 2000; Schalk et al., 2000 Dornhege et al., 2004; Fraunhofer FIRST (IDA) Germany Muller et al., 2003b John von Neumann Inst. for Comput. Peters et al., 2001 Joint Research Centre, European Millan et al., 2000a, 2002a, 2002b, Italy Commission 2003a, 2004, 2004a, 2004b Saint Lucia Foundation Cincotti et al., 2001, 2003a 83
University of "La Sapienza" Babiloni et al., 2001b Rome Univ. Babiloni et al., 2000 Monaco Binuscan Fabiani et al., 2004 Switzerland Swiss Center for Electron. & Microtechnol. Gysels et al., 2004 The Wadsworth Center McFarland et al., 2005 Univ. of Minnesota Qin et al., 2004a, 2004b, 2005 USA Univ. of Illinois at Chicago He et al., 2004 The Wadsworth Center Wolpaw et al., 2004; McFarland et al., 2005 Local averaging technique (LAT) Germany Forschungszentrum Julich GmbH Peters et al., 2001 Maximum noise fraction (MNF) USA Colorado State Univ. Peterson et al., 2005 Neuron ranking methods USA Florida Univ. Sanchez et al., 2004 ( 출처 : Bashashati et al., 2007) 84
3.2.2 특성추출 (Feature extraction) 기술뇌신호의특성들을추출하기위한다양한기술들이개발되어 BCI 시스템에사용되어오고있다. 본장에서는이들기술들중시계열및주파수분석, 그리고모수모델링 (parametric modeling) 방법으로특성을추출하기위한주요한기술몇가지를살펴보고자한다. 그림 3-17 은 BCI 시스템개발에사용되어온다양한뇌신호특성추출알고리즘들을 7 가지주요뇌신호패턴별로보여주고있다 (Bashashati et al., 2007). 그림 3-17. 뇌신호패턴별특성추출알고리즘사용현황 ( 출처 : Bashashati et al., 2007) 표 3-2 는 BCI 시스템에사용되고있는뇌신호특성추출기술현황을뇌신호패턴별, 추출기술별, 국가별그리고주요연구자들로구분하여보여주고있다. 그림 3-17 과표 3-3 를요약하자면, 첫째 sensorimotor 신호기반 BCI 시스템들중에서 power- 85
spectral-density 특성을 41% 로가장많이사용하였으며 16% 가 parametric modeling, 그리고 13% 가시계열 / 주파수분석 (time frequency representation, TFR) 방법을사용하였다. 둘째, SCP 기반 BCI 시스템대부분 (74%) 은 low-pass filtering 방법을사용하였으며, VEP 기반 BCI 의 64% 가 power-spectral 특성들을사용한것으로파악되고있다. 세째, P300 기반 BCI 의 26% 는 max signal, 그리고 22% 는 TFR 방법을사용하였다. 네째, mental task 기반 BCI 의 41% 는 power spectral 특성들을그리고 37% 는 parametric modeling 방법들을사용하였다. 86
표 3-2. BCI 시스템에사용된뇌신호특성추출기술현황 뇌신호패턴 추출기술 주요국가 소속 주요연구자 Austria Graz Univ. of Tech. Leeb & Pfurtscheller, 2004; Pfurtscheller et al., 2000, 2003a, 2003b, 2005; Muller-Putz et al., 2005; Pfurtscheller & Neuper, 2001; Neuper et al., 2005; Ramoser et al., 2000; Schalk et al., 2000; Scherer et al., 2004; Guger et al., 2000, 2003 Canada Neil Squire Found. Mason & Birch, 2000 Algoma Univ. Townsend et al., 2004 China Tsinghua Univ. Jia et al., 2004 Univ. of Tübingen Kubler et al., 2005 Max-Planck-Inst. for Biol. Cybern. Lal et al., 2004 Seonsorimotor Germany Spectral parameters Blanchard et al., 2004; Lemm et al., 2005; activity FIRST Fraunhofer Inst. Muller et al., 2003 Iran Amir Kabir Univ. of Tech. Boostani & Moradi, 2004 Iran Univ. of Sci. & Technol. Mahmoudi & Erfanian, 2002 Rome Univ. Babiloni et al., 2000 Univ. of "La Sapienza" Babiloni et al., 2001a, 2001b Italy Fondazione Santa Lucia Cincotti et al., 2001, 2003a, 2003b Joint Research Centre, European Commission Millan et al., 2002a, 200b Japan NKEN Brain Science Institute Li et al., 2004 Monaco Binuscan Fabiani et al., 2004 Switzerland Swiss Federal Institute of Tech. Garcia et al., 2003 87
Parametric modeling (AR, AAR & ARX parameters) TFR UK Univ. of Ulster Coyle et al., 2005 Colorado State Univ. Garrett et al., 2003 State Univ. of New York McFarland et al., 2003, 2005 USA Univ. of California, San Diego Pineda et al., 2003 NASA Ames Res. Center Trejo et al., 2003 Wadsworth Center Wolpaw et al., 2000, 2003; Wolpaw & McFarland, 2004; Sheikh et al., 2003 Haselsteiner & Pfurtscheller, 2000; Pfurtscheller et al., 2000; Pfurtscheller & Neuper, 2001; Austria Graz Univ. of Tech. Graimann et al., 2003; Guger et al., 2000, 2003a, 2003b; Schlogl et al., 2003; Obermaier et al., 2001a, 2001b Max-Planck-Inst. for Biol. Cybern. LalGraimann et al., 2003 Germany Forschungszentrum Julich GmbH Peters et al., 2001 Univ. of Tübingen Schroder et al., 2005 Ireland Univ. Coll. Dublin Burke et al., 2002, 2005; Kelly et al., 2002a, 2002b UK Univ. of Oxford Sykacek et al., 2003 USA Michigan Univ. Huggins et al., 2003 Univ. of Southern California Yoon et al., 2005 Austria Graz Univ. of Tech. Graimann et al., 2003, 2004 Brazil São Paulo Univ. Costa & Cabral, 2000 Bashashati et al., 2005; Bozorgzadeh et al., British Columbia Univ. 2000; Fatourechi et al., 2004, 2005 Canada Birch et al., 2002, 2003; Borisoff et al., 2004; Neil Squire Found. Mason & Birch, 2000; Mason et al., 2004 88
Germany FIRST Fraunhofer Inst. Lemm et al., 2004 Israel Israel Institute of Tech. Yom-Tov & Inbar, 2003 Switzerland Swiss Federal Institute of Tech. Garcia et al., 2003a, 2003b MIT Glassman et al., 2005 USA Michigan Univ. Huggins et al., 2003 Univ. of California, San Diego Pineda et al., 2000 Univ. of Minnesota Qin et al., 2004, 2005; Qin & He, 2005 CCTM Austria Graz Univ. of Tech. Graimann et al., 2003, 2004 USA Michigan Univ. Huggins et al., 2003; Levin et al., 2000 Signal envelope crosscorrelation USA Illinois Univ. Wang et al., 2004a, 2004b Obermaier et al., 2001; Pfurtscheller & Neuper, Austria Graz Univ. of Tech. Hjorth parameters 2001 Iran Amir Kabir Univ. of Tech. Boostani & Moradi, 2004 Signal complexity Iran Amir Kabir Univ. of Tech. Boostani & Moradi, 2004 USA NASA Ames Res. Center Trejo et al., 2003 China Tsinghua Univ. Cheng et al., 2004 Combination of Dornhege et al., 2003, 2004; Krauledat et al., Germany Fraunhofer FIRST (IDA), Berlin different feature 2004; Muller et al., 2003 extraction methods Mahmoudi & Erfanian, 2002; Yom-Tov & Inbar, Iran Iran Univ. of Sci. & Technol. 2001, 2002 LRP features Germany Fraunhofer FIRST (IDA), Berlin Blankertz et al., 2002, 2003; Krauledat et al., 2004 SCP SCP amplitude Germany Univ. of Tübingen Birbaumer et al., 2000; Hinterberger et al., 2003, 2004a, 2004b, 2005a, 2005b; Kaiser et al., 89
P300 VEP 2001, 2002; Kubler et al., 2001; Neumann et al., 2003, 2004; Hinterberger et al., 2003 Area & peak picking China Tsinghua Univ. Xu et al., 2004 Germany Bielefeld Univ. Kaper & Ritter, 2004 Cross-correlation USA Rochester Univ. Bayliss & Ballard, 200a, 200b Matched filtering Israel Technion-Israel Inst. of Tech. Serby et al., 2005 Not mentioned (calculated P300 but details not Rochester Univ. Bayliss et al., 2003 mentioned) Peak picking USA PPM Univ. of California, San Diego Pineda et al., 2005 Stepwise discriminant analysis Rochester Univ. Bayliss et al., 2004 Germany Univ. of Tübingen Bostanov et al., 2004 Univ. of Illinois at Urbana- Champaign Donchin et al., 2000 USA MIT Glassman et al., 2005 TFR Houston Univ. Jansen et al., 2004 Austria Graz Univ. of Tech. Muller-Putz et al., 2005 China Tsinghua Univ. Cheng et al., 2001, 2002, 2005; Gao et al., 2003; Wang et al., 2004 Spectral parameters Kelly et al., 2004, 2005a, 2005b, 2005c; Ireland Univ. Coll. Dublin Middendorf et al., 2000 Japan Kagawa Univ. Wang et al., 2005 USA Middendorf Sci. Services Inc. Lalor et al., 2005 90
Response to mental task Sensorimotor activity + mental tasks Amplitude between N2 & P2 peaks Taiwan National Central Univ. Lee et al., 2005 Canada Alberta Univ. Polak & Kostov, 2000 Parametric modeling Malaysia Sci. & Technol., Multimedia Univ. Huan & Palaniappan, 2004, 2005 (AR & AAR UK Univ. of Oxford Sykacek et al., 2003 parameters) USA Colorado State Univ. Garrett & Peterson, 2003 Signal Complexity Canada British Columbia Univ. Bashashati et al., 2003 UNBC, Prince George Tavakolian et al., 2004 Canada British Columbia Univ. Bashashati et al., 2003 China Xi''an Jiaotong Univ. Liu et al., 2005 Spectral parameters Japan Kagawa Univ. Wang et al., 2005 Malaysia Sci. & Technol., Multimedia Univ. Palaniappan et al., 2002, 2005 USA Colorado State Univ. Peterson et al., 2005 Combination of different features Iran Iran Univ. of Sci. & Technol. Erfanian & Erfani, 2004 Mean spectral Swiss Center for Electron. & coherence Switzerland Microtechnol. Gysels & Celka, 2004 Finland Helsinki Univ. of Technol. Varsta et al., 2000 Univ. of Keele Curran et al., 2004 Parametric modeling Oxford Univ. Penny et al., 2000 UK Imperial College of Science, Technology & Medicine Roberts & Penny, 2003 Univ. of Oxford Sykacek et al., 2004 PLV Switzerland Swiss Center for Electron. & Microtechnol. Gysels & Celka, 2004; Gysels et al., 2005 Spectral parameters Austria Graz Univ. of Tech. Obermaier et al., 2001 91
TFR Finland Helsinki Univ. of Technol. Varsta et al., 2000 Italy Joint Research Centre, European Millan et al., 2000a, 2000b, 2002, 2003, 2004a, Commission 2004b Switzerland Swiss Center for Electron. & Microtechnol. Gysels & Celka, 2004; Gysels et al., 2005 Finland Helsinki Univ. of Tech. Varsta et al., 2000 Switzerland Swiss Federal Institute of Tech. Garcia & Ebrahimi, 2002; Garcia et al., 2002, 2003; Molina et al., 2003 92
3.2.2.1 시계열및주파수분석주파수분석은사용하기가쉽고, 계산속도가빠르며결과해석이용이하다는점때문에널리사용되고있다. 특히, BCI 디자인의약삼분의일이 power-spectral feature 를사용하고있다. 그러나 EEG 신호의 non-stationary 특성으로인하여주파수분석은 time domain 정보를제공하지못하는것도사실이다. 따라서, 1 차원신호를시계열및주파수의 2 차원함수로그려주는 mixed time-frequency representation(tfrs) 는시간- varying spectral content of signals 을분석하는데많이사용되고있다. 전통적인 FT 에기반한방법 ( 예. Qin et al., 2005; Bostanov, 2004) 과비교하여 TFR 방법들은분석결과가높을수있음을보여주었다. TFR 방법을사용하는대부분의디자인들은 wavelet 에기반한 feature extraction algorithms 를사용한다. 사용되는특정 wavelet 을선택하는것은 wavelet 분석에서얻게된유용한정보를얻음에있어서결정적인요인이다. 뇌에대한생리학적활동에대한기존의지식은적정한 wavelet 함수를결정함에있어서매우유용하게사용될수있다. spectral 정보뿐만아니라 Correlative TFR(CTFR) 은입력신호요소들간의 timefrequency interaction 에대한정보를제공하는또다른 time-frequency representation 방법이다. 따라서, CTFR 을가지고있는 EEG 데이타샘플들은독립적으로분석 (Fourier transform 경우에서처럼 ) 되지않지만샘플들간의관계는고려되어진다. CTFR 이가지고있는한가지결점은노이즈에상대적으로민감하다는것이다. 93
3.2.2.2 Parametric modeling Parametric 접근법은분석중인 time series 들을특정 linear mathematical 모델로표현한다. 이방법들은 signal generation mechanism 모델의구조와순서의 a priori 선택을필요로한다 (Weitkunat 1991). Optimum model order 은 fitness 를최대화하고모델의복잡도를제한함으로써최적으로예측될수있다. Noisy signal 에있어서모델의 order 가매우높으면, spectra 에 spurious peaks 가산출될것이다. 다른한편, order 가매우낮다면 smooth spectra 를얻게된다 (Kelly et al 2002a, Polak and Kostov 1988, Weitkunat 1991). 짧은 EEG 구간에있어서, parametric 모델링은좀더향상된 frequency resolution 과알맞은 spectral estimate 의결과를이끌어낸다. 진행중인 EEG 구간의길이가매우짧다면 parametric modeling 은별로좋지않은 estimate 를산출하게된다 (Birch 1988). 이러한모델링에있어서, potential frequency bands 에대한 a priori 정보의필요성이없고, spectral leakage 를줄이기위해서데이타를 window 할필요도없다. 또한, frequency resolution 은 data points 의수에의존하지않는다 (Guger et al 2003a, Polak and Kostov 1998, Weitkunat 1991). 하지만이러한 parameters 를예측하는것은 artifacts 에매우민감하다 (Birch 1988, Guger et al 2003a). 심하게오버샘플링된시그널들 successive 샘플들간에매우작은진폭을보여주는경향이있기때문에 parametric 모델링에있어서의샘플링 rate 를선택하는데주의를기울여야한다. 그러므로, 적당한모델을취할수있다는잘못된착각을하게만들기때문에 low-order 모델들은예측에러가작다. Nyquist 에의해 dictate 된샘플링 rates 들을추천한다. 94
3.2.3 특성선택 / 차원감소알고리즘뇌신호특성을선택하고차원감소을위한다양한알고리즘들이개발되어 BCI 시스템개발에사용되고있다. 표 3-3 은 BCI 시스템개발에주로사용되어온주요뇌신호특성선택 / 차원감소알고리즘현황을보여주고있다. 주로 genetic 알고리즘 (GA, 26%), distinctive sensitive learning vector quantization (DSLVQ, 24%) 그리고 PCA (13%) 알고리즘들이많이사용되고있는것으로파악되고있다. 표 3-3. BCI 시스템에사용된특성선택알고리즘현황 뇌신호전처리기술 주요국가 소속 주요연구자 Genetic algorithm (GA) Austria Graz Univ. of Tech. Graimann et al., 2003a, 2004; Scherer et al., 2004 USA Colorado State Univ. Garrett et a., 2003; Peterson et al., 2005 Germany Tubingen Univ. Schroder et al., 2003 Canada UNBC Tavakolian et al., 2004 Israel Israel Instit. of Tech. Yom-Tov et al., 2001, 2002 Principal component USA Colorado State Univ. Anderson et al., 1995 analysis (PCA) Canada British Columbia Bashashati et al., 2005; Borisoff et Univ. al., 2004; Fatourechi et al., 2004, 2005 Distinctive sensitive Austria Graz Univ. of Tech. Neuper et al., 2005; Pfurtscheller learning vector et al., 2000; Pfurtscheller & quantization (DSLVQ) Neuper, 2001 Sequential forward Monaco Binuscan Fabinian et al., 2004 feature selection (SFFS) USA Colorado State Univ. Keirn & Aunon, 1990 Grid search method USA MIT Glassman et al., 2005 Recursive Germany Max-Planck-Inst. for Lai et al., 2004 feature/channel Biol. Cybern. elimination (RFE) Tubingen Univ. Schroder et al., 2005 ( 출처 : Bashashati et al., 2007) 95
Feature Selection 알고리듬은 classification 을위한가장정보력이좋은 features 를찾기위하여 BCI 디자인에사용된다. 이는 feature space 의차원을줄여주기때문에고차원적인입력데이타를가진 BCI 디자인에특히유용하게쓰일수있다. Feature selection block 은 classification 문제들의복잡한정도를줄여주기때문에, 높은 classification 정확도를달성할수있다. Flotzinger et al (1994) 와 Pregenzer 와 Pfurtscheller(1999) 가수행한실험들은 feature selection 이사용될때, classification 정확도가모든 feature 들을사용했을경우보다더높다는것을보여주고있다. Principal component analysis(pca) 와 genetic algorithms(ga) 는 BCI 에서가장많이쓰이는 feature selection 과 / 혹은차원감소방법이다. PCA 는 BCI 디자인의 preprocessing 단계에서널리사용되고있다. PCA 는 lower-order principal component 는보유하고, high-order principal component 는무시함으로써, variance 에대부분을 contribute 하는데이타셑의특성을보유하여데이타셑의차원감소에사용되는 linear transformation 이다. Low-order component 들은흔히데이타의 가장중요한 측면을포함하고있다. PCA 는가장큰 variance 를가지고있는 subspace 를유지하는 optimal linear transformation 의탁월함을가지고있다. PCA 는단지 linear subspace 를찾아내지만, 각각의요소들이 Gaussian 분포를가지고있고 class separability 에 optimized 되어있지않다면가장좋은효과를발휘하게된다. PCA 의또다른가능한애플리케이션영역은 PCA 가 input feature 를 weighing 하는데적용될때, classification 단계에서찾을수있다. Multi-layer pereceptrons(mlp) 과같은표준신경네트워크는동시에 PCA 를수행하고 input feature 를 weighing 하는경우에는 96
시스템의나머지에대한훈련을간소화하는좀더나은결과를줄수있어서필요한 classification 자체를할수있다. PCA 는달리, GA 는 problem space 에서사용되는 heuristic search 기술이다. GA 는전형적으로찾아야할 space 들에대한샘플들을대표할수있는 individual 들의 constant-sized 모집단을유지한다. 각각의 individual 은특정애플리케이션도메인과관련된전체 fitness 의기반위에서평가된다. 새로운 individual(search space 의샘플들 ) 은 부모 의많은 features 들을가진 자식 을만들어내기위하여 high performing individual 을선택함으로써만들어진다. 이는결국에특정목적과관련된향상된 fitness 를가진모집단이되는것이다. GA 는다양한 random 및 local search 방법에걸쳐상당한향상을보여주었다. 이는처음에는알지못했던 search space 에대한축적된정보를활용하는능력에의해목적을달성할수있다. GA 는기본적으로 domainindependent search 기술이기때문에, GA 는도메인지식관이론이어렵거나제공하기어려운애플리케이션에이상적이다 (De Jong, 1975). GA 에기반을둔 search 를개발하는데중요한발걸음은잘맞는 fitness function 를찾는것이다. 이상적인 fitness function 은알고리듬의목적과밀접하게상관관계를맺고있으며신속하게계산될수있다. 전형적인 generic 알고리듬은 non-trivial problem 에유용한결과를만들어내기위하여수어뵤이많이반복되어야하기때문에, 실행스피드는매우중요하다. Fitness function 에대한정의는대부분의경우에간단하지않으며, GA 에만들어진 fitness solution 이원하던것이아닌경우에반복적으로실행된다. 97
4 뇌신호특징분류기술개요및동향 4.1 국내뇌신호특징분류 (Classification) 기술동향 4.1.1 대학및연구소기술동향특징분류기술은행동및반응에따라구별가능한뇌파신호의특성지표에따라성분분류를할수있는기술로, 데이터분포구조에따라다양한분류모델즉, 분류기 (classifier) 가설계될수있다. 국내에는이러한분류기술의개발이영상처리및기타음성인식등다양한분야에서활발히이루어지고있으나, 뇌-컴퓨터인터페이스를위한분류기술확보는저조한실정이다. 포항공과대학교최승진교수연구팀은다중피험자의뇌파 classification 을위한 Bayesian common spatial pattern (Bayesian CSP) 분석방법을개발하였다 ( 그림 4-1 참조 ). 이는주파수분석을위해가장널리사용되는방법중하나인 CSP 의확장된버전으로, nonparametric 공간필터방법이다. 개발된방법을통해다중테스크 CSP 모델을획득함으로써이를이용한뇌-컴퓨터인터페이스의성능을향상시킬수있는기반기술이될수있을것으로생각된다 (Kang et al., 2014). 그림 4-1. Bayesian CSP model에대한그래픽도표 ( 출처 : Kang et al., 2014) 98
중앙대학교심귀보교수연구팀은 Harmony search 를이용하여새로운 뇌파 classification 방법을고안하였다 ( 그림 4-2 참조 ). 이는뇌-컴퓨터인터페이스를위한방법으로, 다중채널의복잡성을축소하기위해 heuristic approach 기반의 harmony search 기법을사용하여 feature classification 을수행한다 (Lee et al., 2013). 또한 harmony search 에기반한최적 adaptive neuro-fuzzy inference model (O-ANFIM) 을개발하여이를통해뇌파 classification 을시도하였다. 본연구팀은 hidden Markov model 기반 classification 과선형판별분석, 그리고 ANFIM 및최적 ANFIM 을비교한후기존의일반적인분류기법들보다제안한분류기술이더우수함을보여주었다. 그림 4-2. ( 좌 ) ANFIM 기반상상움직임 EEG 분류시스템및 ( 우 ) 에러율 ( 출처 : Ko et al., 2011) 심귀보교수연구팀의다른 classification 기술로 membership function 기반의분류알고리즘을개발하여안정적인 BCI 성능향상을가능케하였다 ( 그림 4-3 참조 ). 기존의 support vector machine (SVM) 을확장하여이에 membership function 을이용한최적 hyperplane 을예측하는방식을개발하였다 (Yeom et al., 2010). 99
광주과학기술원 (GIST) 이흥노교수연구팀은 Linear Sparse Representation Model 을확장하여, 뇌-컴퓨터인터페이스의뇌파 classification 에적합한알고리즘을개발하였다. 이는트레이닝데이터와선형계수와의선형변환에의해입력대역파워신호를판별하는방법으로, 기존 Fisher s 판별분석방법보다우수한성능을보인다고한다. 그림 4-3. 알고리즘들의분류정확도 (ay, aa: 피험자 ) ( 출처 : Shin et al., 2013) 고려대학교이성환교수연구팀은운동상상의다중클래스분류를위해 two-layer hidden Markov model 을디자인하여확률적 classification 을시도하였다 ( 그림 4-4 100
참조 ). 본연구에서기본적으로왼손또는오른손운동상상에대한분류를수행하였으며, 동립적으로신호특성들을모델링한후 classification 을수행한다. 해당기술은 selfpaced online BCI 에서적용될수있음을시사한다. 그림 4-4. Two-layer HMM classification의프래임워크블록디자인 ( 출처 : Suk et al., 2010) 부산대학교홍금식교수연구팀은뇌파기반 P300 뇌 - 컴퓨터인터페이스의 구동을위해 adapative neural network classification (ANNC) 를개발하였다 ( 그림 4-5 101
참조 ). 특성정보는 autoregressive model (AR model) 을통해추출하며, ANNC 를 이용하여특성정보평가를수행한다. 그림 4-5. 특성추출및 classification 알고리즘블록다이어그램 ( 출처 : Turnip et al., 2012) 또한 fnirs 를이용한뇌-컴퓨터인터페이스의왼손또는오른손운동상상에대한특성분류기술을보유하고있으며, 이는일반적인특성추출기법중하나인선형판별분석방법을통한 hemodynamic change 특징의패턴분류에해당한다. 즉, fnirs 기반 BCI 기술을확보하고있는데의의가있으며, 최근보고된정확도는최대 87.28 % 로알려져있다 (Naseer & Hong, 2013) ( 그림 4-6 참조 ). 더불어 2015 년에는 EEG 와 fnirs 의동시측정, 즉멀티모달 BCI 시스템을구축하여암산, 왼손및오른손상상등 3 개의클래스를분류할수있는기술을확보하였다 (Hong et al., 2015). 102
그림 4-6. fnirs 채널위치및실험패러다임도표 ( 출처 : Naseer & Hong, 2013) 대구경북과학기술원 (DGIST) 안진웅교수연구팀또한 fnirs 신호로부터 multiscale decomposition 을위한 continuous wavelet transform (CWT) 및 denoising 을위한 soft thresholding algorithm 을이용하여특성정보를추출후분류분석을시도하였다 ( 그림 4-7 참조 ). 본연구를통해 mother wavelet 기반의 CWT 를이용한특성정보가다중주파수분류에더우수하다고보고되고있다. 그림 4-7. 신호측정및특성추출, 정보분류를포함한연구흐름도 ( 출처 : Abibullaev & An, 2012) 103
인하대학교이영호교수연구팀은간질환자의뇌파주파수분포및변화를분석하는 wavelet transform, phase-space reconstruction, Euclidean distance 등을뇌파특성정보로하여, 본팀이개발한 neural network with weighted fuzzy membership functions (NEWFM) 을통해 classification 을시도하였다 ( 그림 4-8 참조 ). 이들모두특별한 feature selection 과정없이수행하였으며, 특히 NEWFM 방법이가장우수했음을확인하였다. 그림 4-8. NEWFM의그래프도표 ( 출처 : Lee et al., 2014) 4.1.2 기업및국책연구기관기술동향 ( 주 ) 인텔렉추얼디스커버리, ( 주 ) 브레인테크등에서뇌파분류기술에관련한기술특허를출원하였으며, 대부분국내고유기술이아닌기존연구문헌자료를바탕으로한분류분석기술방법으로만국한되며자체적원천기술확보가불가피한실정이다. 104
4.2 국외뇌신호특징분류 (Classification) 기술동향그림 4-9 는 CI 시스템개발에사용되어온다양한뇌신호분류알고리즘들의개발현황을보여주고있다 (Bashashati et al., 2007). 뇌신호특성분류알고리즘으로는대부분의 BCI 가 neural network (NN) 을사용하였다 ( 약 75%). Neural network 기반분류알고리즘들중에서는 27% 의 BCI 가 multi-layer perceptrons (MLP) neural network 을 39% 가 learning-vector-quantization (LVQ) 알고리즘을사용하고있다. Linear discriminant (LDA or FLD) 분류방법들이그다음으로많이사용되었다 (26%). Support vector machine (SVM) 들은약 11% 의 BCI 시스템들이채택하고있는것으로파악되고있다. 그림 4-9. 뇌신호분류알고리즘개발및사용현황 ( 출처 : Bashashati et al., 2007) 105
5 BCI 개발 SDK 및애플리케이션 5.1 BCI 시스템개발플랫폼 (SDK/Platform) BCI 시스템개발 SDK 는현재미국 Wadsworth Center 에서개발된 BCI2000 (Brunner et al., 2012) 과샌디에고대학교 Swartz Center of Computational Neuroscience (SCCN) 에서개발된 BCILAB (Kothe, 2013) 이가장널리사용되고있다. 표 5-1 에서보는바와같이, 최근에는 Neurosky (Neurosky), Interaxon (Interaxon), 그리고 emotiv (emotiv) 같은회사에서도자사제품과연동되는 SDK 를개발하여출시하였다. 표 5-1. The BCI SDK/platform ( 출처 : Chu, 2015) 106
5.2 BCI 애플리케이션 for communication and control 서로다른 neuroimaging and neurophysiological techniques, control signals, feature extractions, and classifications 기법에따라, 많은 BCI systems 이다양한방법으로개발되었다. 이번장에서는어떤 BCI application 들이가장많이개발되고있는지살펴보고자한다. 5.2.1 P300-Based BCIs 가장일반적인 control signal type 은 P300 Event-Related Potential 이다. 이기법이가장많인쓰인곳은 P300 Speller (Farwell & Donchin, 1988) 이지만, P300 speller 을제외한많은다른 applications 들에도의사소통과제어의목적으로활용되어왔다. 5.2.1.1 Communication P300 Speller 는가장인기있는 spelling application 일뿐만아니라가장처음으로개발된 speller 이다. 이후, 많은연구팀들이 Farwell and Donchin s (1988) research 연구를기반으로더욱 reliable, quicker, and more accurate 한 communication systems 을만들고자노력했다. 연구의대부분은더욱빠르게또는더욱강렬한 (intense) ERP 를유도하기위해 interface 의형태를변경하는방법에초점을맞추고있다. 시각 (Visual): 1988 년, Farwell and Donchin 연구팀은알파벳, 숫자, 심볼등이행렬 matrix 구조내에서구현된 speller 를개발하였는데, 무작위로선택된행혹은열내에위치한문자들이 P300 신호 (response) 를유도하기위하여동시에빠르고 107
반복적으로점멸한다. 많은행렬의점멸들에의해유도된 P300 신호 (response) 들의점멸 timing 을비교하여, 사용자가어떤문자를입력하고자했는지추측해낸다. 2010 년, Townsend et al. (2010) 연구팀은이흰바탕내검은문자와검은바탕내흰문자가같은공간안에서 oscillate 하는 checkerboard 형태 (paradigm) 의 interface 가더욱높은정확도를가질것이라가정했다. 그들의가설은실험을통해 Farwell and Donchin s 기존스펠러대비유의수준이상으로높은정확도를가진것으로증명됐다. 또한, Treder and Balnkertz (Treder & Blankertz, 2010) 연구팀은기존의디자인을다섯개의문자들이포함된여섯개의원들이육각형으로배치되어있는 Hex-o-Spell interface 를제안하였는데, 이 speller 는특히눈동자가움직임이불가능하여주변시야 (peripheral vision) 를사용해야하는경우 (covert attention) 기존 matrix 형태의 speller 대비더은정확도를보였다. 청각 (Auditory): Sellers (Sellers et al., 2006) 연구팀은청각, 시각, 또는시각청각모두를포함하는 P300 speller 로구현된 brain-computer interface (BCI) system의유효성 (effectiveness) 비교실험을진행하였다. 그결과, 같은수준 (level) 에서시작한세가지 modes 들의정확도는자극체 (stimuli) 의개수가늘어남에따라시각또는시각청각모두이용한 modes 가청각만이용한경우보다높은정확도를보였다. 또한 Furdea et al. (Furdea et al., 2009) 연구팀은청각과시각 P300 speller 의비교실험을진행하였는데, 청각 P300 speller 가시각 P300 speller 보다낮은정확도를보였음에도 13 명의참가자들중아홉명의결과가미리설정된기준점 (predefined criterion level control for communication) 을넘어서는결과를보였다. 즉, 청각 P300 speller 가 108
의사소통 (communication) 을위한 BCI 시스템으로충분한정확도를가졌음을보여주며, 이결과는맹인이나시력장애가있는사용자에게매우유용하게활용될수있다. 촉각 (Tactile): 2010 년, Brouwer 연구팀은 circle layout-tactors 들로구성된 tactile-based P300 BCI system 을제안하였으나 (Brouwer & van Erp 2010), 이실험의 classification accuracy ( 정확도 ) 는잠재적응용기술 (potential applications) 로사용되기에는부족했다. 이후, Van der Waal 연구팀 (van der Waal et al., 2012) 또한점자자극기 (Braille stimulator) 를이용한촉각 P300 speller 와, Hex-O-Spell 및 matrix 형태의시각 P300 speller 를비교하는실험을진행하였는데, tactile speller 의정확도가 matrix 형태의 visual speller 를 overt attention 조건에서사용했을때에비해서는낮았지만, Hex-O-Spell 형태나 covert attention 조건에서사용한 matrix 형태를사용했을때보다는높은정확도를보였다. 5.2.1.2 Control for human-machine Interaction 제어 (Control) BCI 는로봇제어, 휠체어제어, 그리고많은 human-device interactions 을위해다양하게활용될수있다. 예를들어, Corralejo et al. (2014) 연구팀은 P300 BCI 를활용하여 TV, DVD 플레이어, 그리고전화기등 8 개의가전제품을제어할수있는지에대한신뢰성 (reliability) 실험을진행하였다. 이 BCI 실험의목적은장애가있는사람 (disabled users) 들에게그들스스로집안환경을제어할수있도록하는것이었다. 그결과, 절반이상의참가자들이 80% 가넘는정확도로가전제품들을제어할수있었다. 로봇제어분야로는보조기기 (assistive devices), 휠체어 (wheelchair), 그리고자동차 109
운전연구등이있으며, 그외에다른시스템들이심각한장애를가진사람들의미래를바꾸고있다. 시각 (Visual): Bell et al (Bell et al., 2008) 연구팀은시각 P300 기반의 BCI system 을통해반자동인간형로봇을이용하여특정위치에있는목표물을향해걸어가옮기는등의복잡한작업을수행하였다. 이시스템은로봇에장착된카메라를통해제공된 Visual feedback 을사용자에게제공하여주변에놓여있는많은물체들중옮겨야할목표물이대한정보를제공하였다. 아홉명이참가한실험은 5 초이내에네가지의물체중단하나의목표물을 95% 의정확도로선택할수있음을보였다. 또한 Mugler et al. (Mugler et al., 2010) 연구팀은 proposed BCI 기반의인터넷브라우저를제안하고, 일반인과 ALS 환자들을대상으로평가하였다. 이실험은마비된환자들이 P300 기반의브라우저를활용하여제한없이자유로운인터넷활용이가능함을보였다. Holzner et al. (Holzner et al., 2009) 연구팀은시각 P300 기반의 BCI 시스템을통해가상스마트홈 (Virtual Smart Home) 을제어하는실험을진행하였는데, 이러한가상현실 (virtual reality) 기법은 BCI 기반의스마트홈환경을저렴한비용으로테스트할수있음을보였다. 청각 (Auditory): Hinic (Hinic, 2009) 연구팀은청각, 구체적으로구어 (spoken words) 를통한 P300 기반의 BCI 시스템이 symbiotic control of Robotic Sensor Agents 를제어하는데에적합한지연구하였다. 이실험의결과는 auditory P300 기반의 BCI 시스템이전략수립단계에서 (strategic level) RSA 를상호보완제어 (complementary control) 할수있음을보였다. 110
촉각 (Tactile): Mori et al. (Mori, Makino, and Rutkowski 2013) 연구팀은가슴위치에부착된다섯개의촉각기 (tactor) 들을부착한일반인들이촉각자극 (tactile stimuli) 기반의 BCI 시스템을사용하여로봇자동자의운전과같은양방향 application 제어를하는연구를진행하였다. 또한 Kono et al. (Kono and Rutkowski 2014) 연구팀은조이스틱에전해지는역각자극 (tactile-force stimulus) 을활용하여제어하는 BCI 시스템을제안하였다. 이러한일련의실험들의결과는성공적인작업을수행률뿐만아니라훌륭한 ITR 을보여촉각및역각을이용한 BCI 활용이가능함을보였다. 5.2.1.3 Entertainment P300 ERP 특성들이많은 BCI 연구에활발히이용되고있지만, entertainment 분야에서는사용예가많지않다. 이러한결과는의사결정을내리기위해 P300 정보를분석하는데걸리는시간이나, P300 를유도하기위한작업 ( 자극 ) 자체가게임방식 (gameplay) 에적합하지않기때문이라생각된다 (Kaplan et al., 2013). 시각 (Visual): Congedo et al. (2011) 연구팀은사용자들은화면에상하좌우로움직이는 matrix 형태의 alien figures 중목표물을응시하면, 시각자극으로유도된 P300 정보를이용하여없애나가는 BCI 버전의 Space Invaders 를만들었다. Finke (Finke et al., 2009) 연구팀은 MindGame 이라불리는 P300 ERP 기반의 BCI 게임을제작하였는데, 게임내주인공의움직임을제어하기위해 P300 event 들이사용되었다. 이실험에서온라인수행의단일시도의성공률은약 65% 의정확도를보였다 (classification rates of 0.65 on single-trials during the online operation of the system). 111
청각 (Auditory): Robinson et al. (Robinson et al., 2010) 연구팀은 passive oddball 작업 (that does not require an explicit response) 을수행할때, multimodal presentation 기법이청각과시각자극를구별해내는데어떤영향을미치는지연구하였다. 실험결과는참가자들은 unimodal and multimodal 조건들모두에서청각과시각자극을구별할수있는것을보였다. 촉각 (Tactile): Thurlings et al. (Thurlings et al., 2013) 연구팀은촉각 ERP 기반의 BCI 시스템을제안하였는데, 이시스템은사용자들은시각 n-back 작업을수행함과동시에, 목표지점에주어진촉각자극의순서에집중해야하는이중작업 (dual-task) 로구성되어있다. 연구팀은이실험을통해단일작업에비하여성과는저하되지만이중작업상황에서도촉각기반의 BCI 을통한제어가가능함을보였다. 5.2.1.4 Art 최근들어, 유흥혹은재활목적을가진 artistic applications 을위한 BCI 시스템의관심을높이지고있다. 뇌파를분석을통해음악을연주하는것에서부터 (Miranda, et al., 2008), toolbox 형태의그림프로그램 (painting program) 까지다양한종류의 artistic BCI 시스템들이사용자들이창의적인작업을하도록도와주고있다 (Münßinger, et al., 2010). 시각 (Visual): Holz 와 Münßinger 연구팀은 (Holz etal., 2015; Münßinger et al., 2010) 연구팀은두명의 locked-in 환자가집에서사용할수있는 P300 기반의 BCI 112
Painting system 을제안하였다. 이시스템은 brush, style, color, and placement 등의기능들을 matrix 형태로배치하여, 유도된 P300 신호로장애를가진사용자들이섬세한수준의도화등활발한창작을할수있도록하였다. 참여한환자들은보조도구 (assistive device) 로써의 BCI 시스템에매우높은만족도를보였다. 이 Brain Painting 시스템은그들이집안에서창의적인활동을다시시작할수있게도와주어, 행복함 (happiness), 유용성 (usefulness), 자신감 (self-esteem) 등을되찾아주었고결과적으로삶의질을높여주었다. Grierson (Grierson, 2008) 연구팀은 P300 event related potentials 를실시간으로분석하여, 분석된신호를통해컴퓨터음악장치를제어할수있는음악 BCI 시스템을제안하였다. 참가자는이장치를통해신디사이저 (synthesizer) 나시퀀서 (sequencer) 를원격에서제어하여작곡을할수있었다. 청각 (Auditory): Vamvakousis (Vamvakousis & Ramirez, 2014) 연구팀은음악을위한청각기반의 BCI system 을고안하였다. 사용자는이장치를통해집중하고마음속으로계이름을세는것으로발생된 P300 신호로펼침화음 (arpeggio) 의화성 (harmony) 을변형할수있었다. 한사용자는이시스템을이용하여완벽한실연연주를보이기도했다. 5.2.2 Steady-State Visually Evoked Potential (SSVEP)-based BCIs 5.2.2.1 Communication 대부분의 BCI 시스템들이신체적장애나노화로고통받는환자들이삶을더욱쉽게영위할수있도록개발되었다. 113
시각 (Visual): 최근 SSVEP 기반의 speller applications 연구가많아지고있는데, 이는 SSVEP speller applications 들이 P300 spellers 와비교하여 training 이거의혹은전혀필요없을뿐만아니라, 빠르고높은정확도를보이기때문이다. 예를들어, Cecotti (Cecotti, 2010) 연구팀은 SSVEP 기반의 speller application 을제안하였는데, 이시스템은총 26 개의알파벳및특수기능 (space) 을세개의그룹으로나눈뒤, 선택된그룹에포함된 9 개의문자를또다시세개의그룹으로나누는작업을반복하여최종문자를선택할수있도록구성되어있다. 참가자들은이단순한디자인으로구성된 speller 를통해분당평균 5.51 개의문자를입력할수있었다. Hwang 연구팀은 (Hwang et al., 2012) 자판 (QWERTY) 형태의키보드를 30 개의서로다른주파수를가진 LED 들로구현하였다. 사용자들은이키보드로한글자를입력하기위해여러단계를거치는기존의시스템과달리, 단한번에한글자씩입력할수있었다. 그결과분당평균 9.39 개의글자를 (letters per minute - LPM) 87.58% 정확도로입력할수있었으며, 평균 ITR 은분당 40.72 bits 이었다. 이러한일련의결과는이는 P300 speller 대비상당히빠른속도이다. 최근 SSVEP 기반의 BCI 시스템의발전은 BCI 시스템의이동성을높이는데에도많은초점을두었다. Wang 연구팀은 (Wang et al., 2011) 이동가능한무선 EEG system 을스마트폰과접목시켜진정한 wearable and wireless online BCI 시스템을구현하였다. 새로이제안된스마트폰기반의 BCI 시스템은부피가큰 EEG systems 과 PC 를사용하는기존장치와비교하여비슷한 ITR 를보였다. 114
청각 (Steady State Auditory Evoked Potential (SSAEP), Auditory Steady State Response (ASSR): Kim 연구팀은 (Kim et al., 2011) 시력이필요없는선택적청각주목을이용한 auditory steady-state responses (ASSRs) BCI 시스템의가능성을연구하였다. 이시스템은좌우에서로다른주파수로주어진청각자극들중원하는청각자극에주목하는동안동기화된뇌파를분석하여의사결정을내리는것으로, 이진선택 (binary decision) 시스템을구현하는데에충분히가능한정확도를보였다. 하지만, Hill and Schölkopf 연구팀은 (Hill & Schölkopf 2012) 완전마비환자나시력을잃은사용자를대상으로활용이가능한 SSAEP 와 auditory-p300 기반의 BCI systems 들의성능을비교하였는데, 그결과는 SSAEPs 는 auditory ERP 대비단일시도 (single-trial) 기반의 BCI communication 도구로는부족한것으로밝혀졌다. Tactile Steady State Somatosensory Evoked Potential (SSSEP): Muller 연구팀은 (Muller-Putz et al., 2006) 검지손가락에주어진자극을통해이중분류 (twoclass) 가가능한체성감각 (somatosensory) 기반의 BCI 시스템을소개하였다. 연구결과는체성감각기반 (SSSEPs) 의이진분류 BCI 시스템이충분히가능하다는것을증명하였다. Choi 연구팀은 (Choi et al., 2015) 서로다른세가지형태 (SSSEP only, SSSEP with random pulses, and SSSEP with rhythmic pules) 의패턴자극들이유도하는 SSSEP 가가진신호특징과성능을비교하였다. 그결과서로다른패턴에따라유의하게다른결과를보였으며, rhythmic pattern 이가장높은정확도를가진것으로나타났다. 115
5.2.2.2 Control for human-machine interaction BCI 는 severely disabled population 에게로봇, 컴퓨터등을이용하여외부와소통할수있도록도움을주는데, 이중 SSVEP 시스템은상대적으로간단하고확실한 (reliable) 하기때문에좋은 tool 로활용되고있다. Müller-Putz 연구팀은 (Müller-Putz et al., 2005) visually evoked harmonic oscillations 로발생되는 SSVEP 와그 harmonics 를연동하여 cockpit of an aircraft simulation 환경내에서 4-class 를구분해내는 BCI 시스템을연구하였다. 이연구는 three SSVEP harmonics 활용한결과가 one or two harmonics 를이용한경우보다유의하게높은 classification accuracy 를보인다는것을밝혔다. 또한 Nam 연구팀은 (Nam et al. 2015) 저비용의 SSVEP BCI 시스템을 LED 기반으로구축할수있는간결한 guide 를제공하고, 이를활용하여 Brainbot 을제어하는연구를보여주었다. 또한 Gonzalez- Mendoz 연구팀이 (2015) 진행한 SSVEP BCI 기반의 RC 자동차를제어연구등많은연구들이 severe motor disabilities 의미래를위해진행되고있다. 청각 (Auditory): Middleton 연구팀은 (Middleton et al., 2006) 빠르게 SSAEP 를추정할수있는새로운기술을 GUI 에접목한시스템을선보였다. 이소프트웨어통해주변소음으로인하여상대적으로약한 SSAEP 신호로손쉽게구분할수있도록도와주어 SSAEP 의활용가능성을높였다. 촉각 (Tactile): Kim and Lee 연구팀은 (Kim & Lee, 2014) three-classes classification 이가능한 SSSEP 기반의 BCI 를이용하여휠체어를제어하는연구를진행하였다. 본실험은 spatial-frequency feature 를활용하여, 왼쪽, 오른쪽손가락, 116
그리고혓바닥에주어진서로다른 vibration stimuli 에주목함으로써휠체어를왼쪽으로, 오른쪽으로그리고앞으로제어할수있었다. 5.2.2.3 Rehabilitation SSVEP 기반의 BCI 시스템들은사용자에게치료를돕는데활용되기도한다. Muller-Putz and Pfurtscheller 연구팀은 (Muller-Putz & Pfurtscheller, 2008) asynchronous (selfpaced) 를활용하여 2 자유도전자의수 (two-axes electrical hand prosthesis) 를제어할수있는 four-class SSVEPs BCI 시스템을제안하였다. 연구결과는 SSVEP-based BCI 가 flickering lights 가부착된 neuroprosthetic devices 를 asynchronous 방법 (mode) 으로제어한가능하다는것을보였다. 또한, Yao 연구팀은 (Yao et al., 2012) functional electrical stimulation (FES) 를이용하여 knee joint movements 를제어하는 BCI 시스템을제안하였다. 이시스템은물리치료사에의해수동적으로진행되는재활치료가아닌, 환자스스로의동작의지를구별하여 FES 를작동시킴으로써환자들이재활치료를증진시키는데에도움을준다. McDaid 연구팀 (McDaid et al., 2013) 또한환자가 exoskeleton leg 를제어하기위하여 SSVEP 기반의 BCI 시스템을활용하였다. 5.2.2.4 Entertainment SSVEP 기반의 BCI 기술을사용한게임은유흥목적 (entertainment purposes) 뿐만 아니라재활을돕는데에사용될수있다. 게임형태의 BCI 는사용자로하여금재활치료에 117
흥미를느끼고집중할수있도록도와준다. 우주선을좌우화살표에주어진시각자극집중함으로써제어하며목표물에명중시키는접근시키는게임, 미로내에위치한주인공을상하좌우 LED 를통해제어하여빠져나가는게임등, BCI 기반의체스게임등다양한 BCI 게임들이개발되었다. 시각 (Visual): Lalor 연구팀은 (Lalor et al., 2005) 3D 로구현된게임내에서이진선택을가능하게하는 BCI 게임을구현하였다. 사용자는두 SSVEP 자극들중하나를선택하여집중함으로써, 주어진아바타의동작을정확하게따라하는것이목표인게임으로, 여섯명을대상으로한실험에서 48 개의시도중평균 41 개를성공하는매우 robust 한결과를보였다. 또한 Chumerin 연구팀은 (Chumerin et al., 2012) 네가지서로다른주파수를가진 SSVEP 들을이용하여물체를네방향으로제어하여게임을개발하여, 기존 EEG 장비와저가의 EEG 장비 (Emotiv EPOC) 간의성능을비교하기도하였다. Faller 연구팀은 (Faller et al., 2010) 일반적인 PC 를활용하여가상공간내에주어진세가지의서로다른 SSVEP 자극을이용하여물체를움직이는실험도진행하였다. Lim 연구팀은 (Lim et al., 2013) 눈을뜨지않은상태에서도이진구분을해낼수있는새로운개념을지닌 SSVEP 기반의 BCI 를선보이기도했다. 이러한 eyes-closed SSVEP-based BCI paradigm 은, 추후 impaired oculomotor function 을가진환자들에게활용될수있을것으로보인다. 청각 (Auditory): Roth 연구팀은 (Roth et al., 2013) 청각자극에주목하여발생하는 SSAEP 신호를이용하여 visuospatial task 의난이도를판별하는테트리스게임 118
기반의 BCI 시스템을개발하였다. 실험결과는 visuospatial task 의속도가올라갈수록, 주어진 SSAEP 자극에대응하는뇌파가감소하는것을보여줬다. 5.2.2.5 Art 게임을위한 SSVEP 기반의 BCIs 나 P300 기반의 artistic BCIs 보다는미진하지만, 몇몇 SSVEP 기반의 BCI 가소개되었다. 한예로, Todd 연구팀은 (Todd et al., 2012) 사용자가 painting 도구의모양이나색깔등을서로다른주파수의 flashing lights 에집중하여선택할수있는 SSVEP 기반의 painting BCI 시스템을개발하였다. 5.2.3 Even-related (de)synchronization (ERD/ERS)-based BCIs 5.2.3.1 Communication P300 나 SSVEP 등을장시간사용할때나타나는의한효율하락과눈의피로를줄이고자, Yue 연구팀은 (Yue et al., 2011) Sensorimotor Rhythms Speller 를제안하였다. 제안된 SMR-Speller 는사용자의상상동작을활용하여여러글자들중좌우로이동하여원하는글자를선택할수있도록도와준다. Perdikis 연구팀은 (Perdikis et al., 2014) motor imagery (MI) 기반의 BCI text-speller (BrainTree) 의임상평가를여섯명의중증환자 (severely disabled end-users) 와 10 명의정상인을대상으로진행하였다. 실험 결과는 usability potential of code-based MI spellers 를보였다. D albis 연구팀은 (D albis et al., 2012) SMR-based BCI speller 에 text prediction 를위해 natural language 119
processing (NLP) 기술을접목하여 communication rate 를향상시켰다. 세명의참가자를 대항으로진행한실험결과는평균분당 2.6 글자를기록하였다. 5.2.3.2 Control for human-machine interaction Prataksita 연구팀은 (2014) HuroEvolution JR 로알려진인간형로봇을제어하는 motorimagery 기반의 BCI 를소개하였다. 이로봇은상상동작으로발생하는 ERD/ERS 를이용하여장애물이존재하는공간을탐색할수있다. 또한 Bi 연구팀은 (Bi et al., 2014) ERD/ERS 를이용한 vehicle navigation BCI 시스템을개발하였다. 이시스템을이용하여, 사용자는눈을감은상태로 alpha waves 에따라전진 / 정지를좌우상상움직임으로자동차의좌우방향전환을할수있었다. Long 연구팀은 (Long et al., 2012) target detection and selection 기능들을 MI 와 P300 이용한 hybrid 시스템으로구축하였다. 목표물을선택하기위해서는상상동작을하지않은상태에서반짝이는버튼에주목하여발생한 P300 potential 를이용한다. 반면에, 어떤버튼에도주목하지않은상태에서실행한오른쪽또는왼쪽손의상상동작은선택한목표물취소할수있도록해준다. 실험결과는제안된 hybrid 시스템이 MI 혹은 P300 단독으로사용한경우보다더욱효율적이라는것을보였다. 5.2.3.3 Rehabilitation Stroke 이후의 Neurorehabilitation 은손상되지않은뇌영역을활용하여손실된영역의 능력을대체하는훈련이필요하다 (Cincotti et al., 2012). 많은 stroke 환자들은동작 120
능력을상실하는데를 motor imagery therapies 는상실된동작능력을재활하는데도움을줄수있다. Mukaino 연구팀은 (Mukaino et al., 2014) 기존일반적인 FES 치료와 BCI 로유도된 FES 치료를비교하는실험을진행하였다. 그결과 BCI 를통해스스로제어하는 (self-directed) 재활훈련이수동적으로작동하는재활훈련의결과보다더높은 activity-dependent cortical plasticity 를유도했고, 기능회복을촉진시키는것을확인했다. Onose 연구팀은 (Onose et al., 2012) 사지마비환자들을대상으로 motor imagery BCI 시스템의활용한로봇팔로 reaching/grasping assistance 가능성을 14 개월에걸쳐실험하였는데, 그결과제한적이지만실제적으로 EEG BCI-actuated mechatronic devices 의활용이가능하다는것을확인하였다. Pfurtscheller 연구팀은 (Pfurtscheller et al., 2010) MI 로유도된 ERD/ERS 를 SSVEP 기반의 orthosis 제어스위치로활용하는 hybrid BCI 시스템을제안하였다. 이시스템은 MI 신호가포착되면 four-step SSVEP-based orthosis 를활성화하고, MI 신호가사라진휴식시간 (resting period) 동안은 LED 의작동을중지한다. 그결과스위치가없는기존실험에비하여휴식시간동안매우낮은 false positive rate 를보였다. 여섯명중네명의실험자는매우성공적으로 self-paced hybrid BCI 시스템을작동시킬수있었다. Choi and Cichocki 연구팀은 (Choi & Cichocki, 2008) MI BCI 를이용하여전동휠체어를실시간으로 (online) 제어하는실험을진행하였는데, 매우적은훈련만으로도조이스틱을이용한제어와비슷한수준으로휠체어를제어할수있었다. 121
5.2.3.4 Entertainment SMR 기반의 BCI 는 entertainment 목적으로도활용될수있다. Bordoloi 연구팀은 (Bordoloi et al., 2012) motor imagery 기반의컴퓨터미로게임을개발하였다. 양팔을올리는상상동작은전진, 각각의좌우손을올리는상상동작은좌우의움직임, 양손을쥐는상상동작은후진을대표하는데, 사용자들은약 60-70% 정확도를보였다. Doud 연구팀은 (Doud et al., 2011) 상상동작을이용하여 3 차원가상공간안에있는헬기를 interactive and continuous 하게제어할수있는시스템을개발하였다. 세명의일반인은개발된시스템을통해그들의상상움직임을통해 3 차원공간내의헬기를목표지점까지빠르고, 정확하며, 연속적인제어를할수있었다. Bonnet et al (Bonnet et al., 2013) BrainArena 라불리우는두명이동시에플레이할수있는다중사용자 BCI 비디오게임을개발하였다. 협업모드, 경쟁모드, 단독 (single-user) 모드 (modes) 로진행한실험은성과 (performance) 와주관적만족도 (subjective experience) 로평가되었는데, 협업모드성과가성과나만족도면에서유의하게높은것으로나타났다. LaFleur 연구팀은 (LaFleur et al., 2013) motor imagery 기반의 BCI 시스템을이용하여실제 quadcopter 를 3 차원환경에서조정하는 task 와 2 차원가상공간내에서 cursor 를제어하는 task 를비교하였다. 실제환경에서진행한실험의결과는최대 90.5% 의정확도를보였으며평균종속도는초당 0.69 m 를기록하였다. 122
5.3 Non-medical BCI 시스템의사회 / 경제적효용성평가 5.2 장에서살펴본와같이, BCI 기술의연구와개발은그특성상근육움직임이제한적인환자나장애인에초점을맞추어온것이사실이다. 그러나, 최근에는건강한일반인들을위한, 예를들면뇌파이용게임과같은 nonmedical BCI 시스템들에연구도활발히진행되고있다. 본보고서에서는 nonmedical BCI 분야에서어떤연구들이진행되고있으며, 어떤시스템들이상용화되고있는지살펴보고자한다. van Erp 연구팀은 2012 년, 7 가지주요 nonmedical BCI 애플리케이션분야들 ( 디바이스제어, 사용자인지모니터링, 시험평가, 교육및훈련, 게임, 인지증강그리고안전및보안 ) 에대해 4 가지기준 ( 연구진척도, 사회적영향, 경제적효용성및가격경쟁력 ) 으로평가한결과를발표하였다 ( 표 5-2 참조 ). 본장에서는 nonmedical BCI 의연구개발의현주소를알아보기위해이들평가결과를간략히살펴보고자한다. 표 5-2. Nonmedical BCI 시스템들의사회적및경제적효용성평가 애플리케이션분야 연구진척도 사회적영향 경제적효용성 가격경쟁력 디바이스제어 중 하 하 하 사용자인지모니터링 하 상 상 중 시험평가 하 하 중 중 교육및훈련 하 상 상 중 게임 중 하 상 상 인지증강 하 중 상 상 안전및보안 하 중 하 중 ( 출처 : van Erp et al., 2012) 123
디바이스제어 : 근육움직임이제한적인환자나장애인을위한 BCI 시스템들은속도, 정확도및효용성측면에서여전히만족스럽지못하지만그들에겐다른커뮤니케이션및제어수단이없다는측면에서유용하다. 그러나, 건강한일반인들을위한 BCI 시스템들은다른 input device 들 ( 예, 키보드, 마우스등 ) 과비교하여그성능이아직은현저히떨어지기때문에사회에미치는영향이나경제적효용성은당분간낮을것으로판단된다. 기존 input device 들과비교하여가격경쟁력도많이떨어지고있으며, 이들해소하기에는상당시간이걸릴것으로판단된다. 그러나, 기존의인체근육움직임만으로는작업이어려운환경하에서는 ( 예를들면두손이모두사용되고있을때또는인지과부하상태등 ) 건강한일반인들이디바이스를제어할때 BCI 시스템들이도움이될수있기때문에다양한연구들이현재진행되고있다. 사용자인지모니터링 : 사용자의현재인지나감정상태, 즉피로, 인지과부하, 위험인지, 스트레스등을파악할수있고이들정보를사용할수있다면사회에미치는영향이나경제적효용성은매우클것으로판단된다. 예를들어, BCI 기술을이용하여운전자또는스트레스가높은직업군에종사하는사람들 ( 예, 핵발전소운영자, 관제사등 ) 의인지나감정상태를실시간으로모니터링하는연구가활발히이루어지고있으나, 아직만족스러운연구결과는나오지않고있다. 다른생체신호 ( 예, 심장박동수, 눈동자움직임등 ) 를사용하여사용자의인지를모니터링하는시스템과비교하여시스템가격이전반적으로높은편이나기존 BCI 시스템과비교하여비교적저렴한시스템들이계속상업화되고있는현실을감안할때가격경쟁력은향후높아질것으로판단된다. 124
시험평가 : Neuroergonomics 나 Neuromarketing 분야에서는 BCI 기술을사용하여인간-컴퓨터상호작용또는소비자의구매결정과관련한뇌활동을실시간으로파악하려는연구가활발히진행되고있으나, 연구결과는아직만족스럽지못하다. 이들연구가사회적문제들을해결하는데직접적인도움이되지는않으나, 경제적효용성은클것으로평가된다. 훈련과교육 : 대부분의훈련은뇌가소성 (neuroplasticity) - 뇌자체에서변화, 성장, 그리고재배치하는능력 - 과연관되어있다. 가소성을측정하는것은훈련방법과각각의연대훈련을향상시키는데도움을줄수있다. 초보자에서전문가까지의과정및 학습상태와같은 지표들은자동화된훈련시스템들과 virtual instructo 에유용하게 사용될수있다. 현재, 이러한애플리케이션분야는개념적인수준에여전히머물러있다. 그러나, 평생학습을지원할수있는시스템이나자동화된튜터링시스템들은특히지식에기반을둔경제, 노령화인구혹은유연한노동력을필요로하는사회에경제및사회적효과가높을것으로판단된다. 대부분의경우, 애플리케이션들은기준들을평가하는것이어려운, 전문가용또는가정용으로만들어지므로가격경쟁력은중간정도이다. 게임과엔터테인먼트 : 엔터테인먼트산업은새로운개념과패러다임을소개하는데있어자주언급되는데인간-컴퓨터상호작용도예외는아니다. 3D TV, 모션기반게임컨트롤러그리고 EEG 헤드셋과사용할수있게개발된게임들이좋은예들이다. 지난몇년에걸쳐서 Neurosky, Emotiv, Uncle Milton, MindGames, 그리고 Mattel 과같은기업들은많은제품들을출시했다. 125
게임에 BCI 기술을이용하려는연구는최근유럽을중심으로활발히이루어지고 있으며, nonmedical BCI 의대표적인분야로꼽히고있다. 예를들면, 그림 5-1 에서보는 바와같이, BCI 기반게임에대한논문수가 2000 년들어첫 10 년동안 5 배나증가하였다. 그림 5-1. BCI 기반게임에대한논문발표현황 ( 출처 : van Erp et al., 2012) 126
6 Funding Agencies in Europe and USA 6.1 Europ European Commission (EC) 은최근기존의 Future BNCI 프로그램의성공에힘입어 BNCI Horizon 2020: The Future of Brain/Neural Computer Interaction (http://bncihorizon-2020.eu/). 라는프로그램을다시시작하여 BCI 관련연구들에연구지원을하고있다. 이번새로운프로젝트의연구 2 목적은다음과같다 : Major goals of this new project include developing a roadmap for the next decade and beyond, encouraging discussion and collaboration within the BCI community, fostering communication with the general public, and the foundation of an international BCI Society. 본보고서는 BNCI Horizon 2020 프로그램에의해지원된연구프로젝트중주요한 17 개의프로젝트를 1) 연구비, 2) 프로젝트기간, 3) 연구기관, 4) 주연구자, 그리고 5) 참여기관별로살펴보고자한다. 1. ABC Project 1) 프로젝트 : ABC ( ID: 287774) 2) 연구비 : 2.5 million ( 한화 : 약 32억 ) 3) 프로젝트기간 : 2011년 11월 ~2015년 1월 4) 연구목적 : ABC 프로젝트의목적은 Brain/Neural Computer Interfaces (BNCI) 에대한연구를통해뇌성마비환자 (DCP) 들의삶의질을향상시킬수있는 potential을 127
입증하는데에있다. 특히의사소통, 교육, 사회참여와같은사회와의 interaction 능력을향상시킬수있는지에초점을맞췄다. ABC 시스템은크게 4가지요소로구성되어있다. 1) BNCI signal processing 2) Affective Computing 3) Augmented Communication 4) Biosignal Monitoring 5) 주연구자 : INSTITUTO DE BIOMECANICA DE VALENCIA(Spain) 6) 참여기관 : TECHNISCHE UNIVERSITAET GRAZ(Austria), FRAUNHOFER- GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V(Germany), EBERHARD KARLS UNIVERSITAET TUEBINGEN(Germany), ASOCIACION VALENCIANA DE AYUDA A LA PARALISIS CEREBRAL(Spain), AGENCIA ESTATAL CONSEJO SUPERIOR DE INVESTIGACIONES CIENTIFICAS(Spain), TECHNAID SL(Spain), FONDAZIONE SANTA LUCIA(Italy), PLUX - WIRELESS BIOSIGNALS S.A. (Portugal) 2. AsTeRICS Project 1) 프로젝트 : AsTeRICS ( ID: 247730) 2) 연구비 : 2.7 million ( 한화 : 약 35억 ) 3) 프로젝트기간 : 2010년 1월 ~2012년 12월 4) 연구목적 : 이연구의목적은 BCI, gaze-tracking과같은센서기술에기반하여 flexible한 Assistive Technologies (AT) 시스템의 prototype을개발하는것이다. 기존의 AT 장치들의단점중하나였던 adaptability의부재를해결하고자특정 128
사용자의필요에따라자체적으로맞춤형기능을제공할수있는 flexible 한 AT device와시스템을구축하는데에집중하고있다. Human-Machine-Interfaces (HMI), 스마트폰, 스마트홈 device들을이용하여여러제약이있는사용자들에게손가락하나의클릭으로보다많은맞춤형기능을제공할수있는시스템을개발하고자한다. 5) 주연구자 : KOMPETENZNETZWERK INFORMATIONSTECHNOLOGIE ZUR FOERDERUNG DER INTEGRATION VON MENSCHEN MIT BEHINDERUNGEN(Austria) 6) 참여기관 : Fachhochschule Technikum Wien (Austria), INSTITUT MIKROELEKTRONICKYCH APLIKACI S.R.O.(Czech Republic), FUNDACION INSTITUTO GERONTOLOGICO MATIA INGEMA(Spain), STARLAB BARCELONA SL(Spain), UNIVERSITE PIERRE ET MARIE CURIE - PARIS 6(France), Harpo Sp. z o. o.(poland), Sensory Software Ltd(United Kingdom) 3. BackHome Project 1) 프로젝트 : BackHome ( ID: 288566) 2) 연구비 : 3.1 million ( 한화 : 약 40억 ) 3) 프로젝트기간 : 2012년 1월 ~2015년 6월 4) 연구목적 : Back home 프로젝트의목적은줄곧실험실에서만연구되어왔던 BNCI 기술을실제생활속의가정집으로가져오는것이다. 실용성을높이기위해서는시스템의설치과정을쉽게, 이동하기간편하게하는과정이필요하다. 실용성에 focus를맞춰서실제생활에유용한솔루션을제공함과동시에스마트홈을구성하고 129
있는사물인터넷의 telemonitoring의지원, 사용자맞춤형간편어플리케이션을구축하는것이목적이다. 5) 주연구자 : FUNDACIO PRIVADA BARCELONA DIGITAL CENTRE TECNOLOGIC(Spain) 6) 참여기관 : GUGER TECHNOLOGIES OG(Austria), JULIUS-MAXIMILIANS UNIVERSITAET WUERZBURG(Germany), THE CEDAR FOUNDATION(United Kingdom), TELEHEALTH SOLUTIONS LTD(United Kingdom) 4. BETTER Project 1) 프로젝트 : BETTER (ID: 247935) 2) 연구비 : 3.3 million ( 한화 : 약 43억 ) 3) 프로젝트기간 : 2010년 2월 ~ 2013년 1월 4) 연구목적 : 이연구의목적은 BCNI 기술을기반으로뇌졸중환자의보행장애에대한재활치료법을향상시키는것이다. 보조기술과재활시스템전체를향상시키고더나아가향후치료에대한 guideline을제공한다. 이프로젝트는기술적, 기능적, 의학적으로 robotic exoskeletons( 로봇외골격 ) 을이용한뇌졸중재활치료가효과적이라는것을입증하고자한다. 5) 주연구자 : AGENCIA ESTATAL CONSEJO SUPERIOR DE INVESTIGACIONES CIENTIFICAS (Spain) 6) 참여기관 : TECHNISCHE UNIVERSITAET GRAZ (Austria), GUGER TECHNOLOGIES OG(Austria), EBERHARD KARLS UNIVERSITAET TUEBINGEN(Germany), 130
UNIVERSITAETSMEDIZIN GOETTINGEN - GEORG-AUGUST-UNIVERSITAET GOETTINGEN - STIFTUNG OEFFENTLICHEN RECHTS(Germany), TECHNAID SL (Spain), INSTITUTO DE BIOMECANICA DE VALENCIA (Spain), Össur hf(iceland), FONDAZIONE SANTA LUCIA(Italy), UNIVERZA V MARIBORU (Slovenia) 5. BNCI Horizon 2020 Project 1) 프로젝트 : BNCI Horizon 2020 (ID: 609593) 2) 연구비 : 0.9 million ( 한화 : 약 12억 ) 3) 프로젝트기간 : 2013년 11월 ~2015 4월 4) 연구목적 : European Commission (EC) 에서진행되었던 BNCI 관련연구이슈들에대한논의를이어가고향상시키는것이 BNCI Horizon 2020 프로젝트의목적이다. 8개유럽연구기관과 3개의산업파트너, 2개의사용자조직이참여한다. BNCI 연구에대한정확하고간결한로드맵을완성하는것이목표이다. 더나아가장애를겪고있는사람들의이동성, 감각, 인지능력들을향상시키는응용사례에대해서도고민하고자한다. BNCI 시스템의 acceptance에대한윤리적이슈와사회적 needs에대해서도논의하여향후연구방향까지제시하는것이최종목표이다. 5) 주연구자 : TECHNISCHE UNIVERSITAET GRAZ(Austria) 6) 참여기관 : GUGER TECHNOLOGIES OG(Austria), ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE(Switzerland), JULIUS-MAXIMILIANS UNIVERSITAET WUERZBURG(Germany), TECHNISCHE UNIVERSITAET BERLIN(Germany), 131
EBERHARD KARLS UNIVERSITAET TUEBINGEN(Germany), enablingmnt GMBH(Germany), FUNDACIO PRIVADA INSTITUT DE NEUROREHABILITACIO GUTTMANN(Spain), FUNDACIO PRIVADA BARCELONA DIGITAL CENTRE TECNOLOGIC (Spain), FONDAZIONE SANTA LUCIA(Italy), UNIVERSITAIR MEDISCH CENTRUM UTRECHT (Netherlands), UNIVERSITEIT TWENTE (Netherlands) 6. Brain Project 1) 프로젝트 : Brain (ID: 224156) 2) 연구비 : 2.7 million ( 한화 : 약 35억 ) 3) 프로젝트기간 : 2008년 9월 ~2011년 8월 4) 연구목적 : BRAIN은 BCI를활용하여여러장애를가진이들을돕는실용적인보조, ICT 툴을개발하는것이목표다. 현재많은장애인들이사랑하는이들과소통하지못하고, 가전제품을사용하지못하며, PC 및인터넷서비스를이용하지못하고있다. BRAIN 프로젝트는 BCI의신뢰성, 범용성, 사용성및활용성을더욱발전시켜이런장애인들이외부도움을최소화하는데에주력하고있다. BCI 4가지요소 (Signal acquisition, operating protocol, signal translation, and application) 의발전과함께가볍고저렴한센서를개발한다. 소프트웨어측면에서는 BCI parameter를찾아내고각유저에맞게최적의운영프로토콜을맞추고, 신호변환의향상에기여할것이다. 직관적이고범용성높은인터페이스는기존의여러제품과도호환성있게개발하고자한다. 이는스마트홈기술, BCI 훈련시스템, 그리고커뮤니케이션 & 132
엔터테이먼트패키지를포함한다. 기존의성립된툴과 MULTI-DISCIPLINARY CONSORTIUM의융합이프로젝트의최종목표이다. 5) 주연구자 : UNIVERSITAET BREMEN(Germany) 6) 참여기관 : TELEFONICA INVESTIGACION Y DESARROLLO SA(Spain),TWENTE MEDICAL SYSTEMS INTERNATIONAL B.V.(Netherlands), PHILIPS ELECTRONICS NEDERLAND B.V.(Netherlands), UNIWERSYTET WARSZAWSKI(Poland), UNIVERSITY OF ULSTER(United Kingdom), THE CEDAR FOUNDATION(United Kingdom) 7. Brainable Project 1) 프로젝트 : Brain (ID: 247447) 2) 연구비 : 2.3 million ( 한화 : 약 30억 ) 3) 프로젝트기간 : 2010년 1월 ~2012년 12월 4) 연구목적 : 뇌에심각한부상을입은환자들의경우제한된자율성을가지고일상생활및사회생활을해오고있다. 이프로젝트는장애인들이이런제한된자율성을극복하고좀더편하게일상생활을영위하도록만들고자하는데그목적이있다. 최근의 BCI System을활용하여별도의트레이닝이필요없는, 사용하기용이하게끔개발하는것이주요연구흐름이다. BrainAble을통해, 장애인도페이스북, 이메일, 트위터와같은 Social Network Service로다른사람과소통할수있으며, 휠체어를조정하거나, TV를켜거나, 문을열고닫을수있다. 5) 주연구자 : FUNDACIO PRIVADA BARCELONA DIGITAL CENTRE TECNOLOGIC(Spain) 133
6) 참여기관 : GUGER TECHNOLOGIES OG(Austria), TECHNISCHE UNIVERSITAET GRAZ(Austria), FUNDACIO PRIVADA INSTITUT DE NEUROREHABILITACIO GUTTMANN(Spain), UNIVERSITAT POMPEU FABRA(Spain), METICUBE SISTEMAS DE INFORMACAO COMUNICACAO E MULTIMEDIA LDA(Portugal), ABILITYNET(United Kingdom) 8. CONTRAST Project 1) 프로젝트 : Brain (ID: 287320) 2) 연구비 : 3.2 million ( 한화 : 약 41억 ) 3) 프로젝트기간 : 2011년 11월 ~2014년 10월 4) 연구목적 : 많은사람들이심근경색의후유증으로인지장애를지니고살아간다. 클리닉에서의재활과집에서받는치료사이에는큰차이가존재한다. Contrast 프로젝트는그차이를줄이는것을목표로하여집에서도효과적인재활치료를할수있도록사용하기쉽고자동으로호환되는 HCI 인터페이스를구축하고자한다. 인지재활을위한트레이닝모듈은개개인마다맞춤형으로지원되며, 환자의건강상태를모니터링하고환자-의사사이의결정에도도움을줄것이다. 이프로젝트는 Brain-neural 컴퓨터인터페이스를기반으로뉴로피드백툴을개발및실험하고업그레이드하고자한다. 이툴은특정 EEG 주파수대역의파워를증가할경우장기인지력이향상된다는연구를기반으로한다. CONTRAST는인지기능을담당하는뇌의영역을타겟으로하여심근경색후유증을겪는환자들이일상생활을무리없이 134
적응할수있도록돕고자한다. 5) 주연구자 : JULIUS-MAXIMILIANS UNIVERSITAET WUERZBURG (Germany) 6) 참여기관 : UNIVERSITAET GRAZ(Austria), HASOMED HARD-UND SOFTWARE FUER MEDIZIN GESELLSCHAFT MBH(Germany), T-SYSTEMS ITC IBERIA SA(Spain), FONDAZIONE SANTA LUCIA(Italy), UNIVERSITE DU LUXEMBOURG(Luxembourg), MIND MEDIA BV(Netherlands) 9. DECORDER Project 1) 프로젝트 : Brain (ID: 247919) 2) 연구비 : 2.8 million ( 한화 : 약 36억 ) 3) 프로젝트기간 : 2010년 2월 ~2013년 4월 4) 연구목적 : 유저가한가지반응만할수있는극단적인상황인경우, 현재보조기술은역부족한상태다. 이는심각한윤리적이슈를야기할수있는데, 현대의료기술이환자의수명을늘린한편, 여전히환자들은현대정보통신을이용하지못하는힘든삶을이어가고있다. 이에 DECORDER 프로젝트는 BCI 시스템을기반으로환자들이하나의버튼만으로복합적인기능을활용할수있도록하는데에목적을두고있다. BCI의 3가지주요기술 (signal acquisition (input), signal classification and signal translation (output)) 을바탕으로환자 (low arousal, short attention span, and altered electrical activity of the brain) 들에게적용할수있도록개발하고자한다. 5) 주연구자 : JULIUS-MAXIMILIANS UNIVERSITAET WUERZBURG (Germany) 135
6) 참여기관 : TECHNISCHE UNIVERSITAET GRAZ(Austria), GUGER TECHNOLOGIES OG(Austria), UNIVERSITE DE LIEGE(Belgium), THE UNIVERSITY OF WESTERN ONTARIO(Canada), EBERHARD KARLS UNIVERSITAET TUEBINGEN(Germany), ASSOCIATION DU LOCKED-IN SYNDROME(France), FONDAZIONE SANTA LUCIA(Italy), UNIVERSITEIT MAASTRICHT(Netherlands) 10. Future BNCI Project 1) 프로젝트 : Brain (ID: 248320) 2) 연구비 : 0.5 million ( 한화 : 약 6억 ) 3) 프로젝트기간 : 2010년 1월 ~2011년 12월 4) 연구목적 : BCI 시스템은뇌활동의직접적관측을기반으로유저가생각만으로문자를입력하거나, 커서를옮기거나, 인터넷서핑을하거나, 의족 / 의수와같은기계장치혹은휠체어를움직일수있도록한다. BNCI는뇌활동의간접적관측에의존한다. BCI, BNCI 분야의빠른발전으로새로운활용법이계속해서발견되고있다. 하지만이러한급속한발전과개발이 2가지문제점을야기시켰다. 첫째, 핵심용어에대한정의가혼란스럽거나, 구식이거나, 아예존재하지않으며, 오직소수의다른분야의사람들이사용한다는것이다. BCI나 BNCI와같은근본적인단어에도통일된정의가존재하지않는다. 모호한정의와체계적인시스템의부재로상업적, 학업적기준혹은로드맵을만들거나, 컨퍼런스, 워크샵, 특별저널, 엑스포온라인협업리소스를구축하는것이힘든실정이다. 두번째문제는, 기술을어떻게활용하고 136
어떤방향으로나아가야할지에대한합의점을도출하기어렵다는것이다. Future BNCI는 BCI 시스템의 4가지부분 (sensors and signals; signal processing; applications and devices; and interfaces and operating environment) 중어떤기회가가능성이있는지살펴보며현재의문제점들을해결하고자시작된프로젝트이다. 5) 주연구자 : TECHNISCHE UNIVERSITAET GRAZ(Austria) 6) 참여기관 : ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE(Switzerland), STARLAB BARCELONA SL(Spain), UNIVERSITEIT TWENTE(Netherlands) 11. MindSee Project 1) 프로젝트 : Brain (ID: 611570) 2) 연구비 : 3.0 million ( 한화 : 약 39억 ) 3) 프로젝트시기 : 2013년 10월 ~2016년 9월 4) 연구목적 : 뇌파와 peripheral physiology의시그널을통해유저의상태를실시간으로분석하는분야는큰발전을이루었지만, 여전히이를통해유저의내제된의도를추측하는데에는한계가존재한다. Mindsee 프로젝트는감각생리센서 (EDR, femg, eye gaze and pupillometry) 와함께 EEG를메인센서로사용해서, 유저의인지, 지각, 및감정을측정하고자한다. 유저의인지, 의도와같은내제적요인을실시간으로예측함으로써, scientific literature search 과정에서탁월한생산성을보일것으로기대된다. 137
5) 주연구자 : HELSINGIN YLIOPISTO (Finland) 6) 참여기관 : TECHNISCHE UNIVERSITAET BERLIN(Germany), AALTO- KORKEAKOULUSAATIO(Finland), UNIVERSITA DEGLI STUDI DI PADOVA(Italy), i2 media research limited(united Kingdom) 12. MINDWALKER Project 1) 프로젝트 : Brain (ID: 247959) 2) 연구비 : 2.8 million ( 한화 : 약 36억 ) 3) 프로젝트기간 : 2010년 1월 ~2013 5월 4) 연구목적 : 이동에제약이있는사람들은사회생활에지장이있다. STREP는하반신마비환자들로하여금다시걷게해주는시스템을구축해자연스러운일상생활을할수있도록돕고자한다. Wearable한가벼운 EEG캡은새로운 smart dry EEG 바이오센서를이용되며, non-invasive BCI는다양한속도로걸을수있는특별제작된하체보조기조절에사용될것이다. VR 트레이닝을통해환자가이하체보조기를제대로사용할수있도록뇌파조절트레이닝또한제공한다. 5) 주연구자 : SPACE APPLICATIONS SERVICES NV(Belgium) 6) 참여기관 : UNIVERSITE LIBRE DE BRUXELLES(Belgium), eemagine Medical Imaging Solutions GmbH(Germany), Össur hf(iceland), FONDAZIONE SANTA LUCIA(Italy), UNIVERSITEIT TWENTE(Netherlands), TECHNISCHE UNIVERSITEIT DELFT(Netherlands) 138
13. MUNDUS Project 1) 프로젝트 : Brain (ID: 248326) 2) 연구비 : 3.4 million ( 한화 : 약 44억 ) 3) 프로젝트시기 : 2010년 3월 ~2013년 2월 4) 연구목적 : Mundus 프로젝트는행동장애가있는사람들이팔과손동작만으로직접적상호작용을경험할수있도록도와주는보조프레임워크를개발하는것이목적이다. 사회생활에서의호환성이낮은기존의보조기술들과달리 Mundus를통해인지력과손을통한직접적상호작용을향상시킬수있다. 이를통해환자의존엄성과자존감을향상시킬수있다. Mundus는환자의남아있는능력을최대한활용하여, 일상생활에서장기적으로사용할수있도록개발하고, 질병의진행상태및심각성에기반하여, 환자가자발적으로참여할수있도록최대의 information rate을보장하고자한다. Mundus의타겟대상은 neurodegenerative and genetic neuromuscular diseases and high level Spinal Cord Injury환자들이다. 5) 주연구자 : POLITECNICO DI MILANO(Italy) 6) 참여기관 : TECHNISCHE UNIVERSITAET WIEN(Austria), HOCOMA AG(Switzerland), ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE(Switzerland), TECHNISCHE UNIVERSITAT BERLIN(Germany), FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V(Germany), AB.ACUS SRL(Italy), CONGREGAZIONE DELLE SUORE INFERMIERE DELL ADDOLORATA(Italy), CF CONSULTING FINANZIAMENTI UNIONE EUROPEA SRL(Italy) 139
14. NEBIAS Project 1) 프로젝트 : Brain (ID: 611687) 2) 연구비 : 3.5 million ( 한화 : 약 45억 ) 3) 프로젝트기간 : 2013년 11월 ~2017년 10월 4) 연구목적 : NEBIAS의목적은뇌파로조정되는상반신인공기관을개발하고분석하는것이다. 이인공기관은직관적으로조정이가능하며, 환자가자연스럽게느낄수있도록개발된다. 신경계와안정적인 connection을제공할수있는 BCNI를구축하여, 손이나팔이절단된사람의운동신경을의수로조정하고, tactile and kinesthetic 센서를통해얻은정보로피드백을제공하고자한다. 5) 주연구자 : SCUOLA SUPERIORE DI STUDI UNIVERSITARI E DI PERFEZIONAMENTO SANT'ANNA(Italy) 6) 참여기관 : DEUTSCHES PRIMATENZENTRUM GMBH(Germany), ALBERT-LUDWIGS- UNIVERSITAET FREIBURG(Germany), UNIVERSITAT AUTONOMA DE BARCELONA(Spain), UNIVERSITA DEGLI STUDI DI CAGLIARI(Italy), UNIVERSITA CATTOLICA DEL SACRO CUORE(Italy) 15. TOBI Project 1) 프로젝트 : Brain (ID: 224631) 2) 연구비 : 9.1million ( 한화 : 약 118억 ) 3) 프로젝트기간 : 2008년 11월 ~2013년 1월 140
4) 연구목적 : TOBI는장애인들의삶의질을향상을목표로하는프로젝트로 noninvasive BCI (EEG) 기술을바탕으로이루어진다. TOBI 프로젝트는호환성이추가된 BCI 보조기술을다른 AT( 보조기술 ) 들과결합하여시너지효과를발휘할것으로기대된다. BCI 보조기술이행동장애가있는사람들에게의미있게사용될수있는 4가지분야 (Communication and Control, Motor Substitution, Entertainment, and Motor Recovery) 를선별하여이에대해집중적으로연구를진행한다. 5) 주연구자 : ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE(Switzerland) 6) 참여기관 : TECHNISCHE UNIVERSITAET GRAZ(Austria), SCHWEIZERISCHE UNFALLVERSICHERUNGSANSTALT(Switzerland), Medel Medizinische Elektronic Handelsgesellschaft mbh(germany), KREUZNACHER DIAKONIE(Germany), EBERHARD KARLS UNIVERSITAET TUEBINGEN(Germany), TECHNISCHE UNIVERSITAT BERLIN(Germany), JULIUS-MAXIMILIANS UNIVERSITAET WUERZBURG(Germany), STIFTUNG ORTHOPAEDISCHE UNIVERSITAETSKLINIK HEIDELBERG(Germany), FONDAZIONE SANTA LUCIA(Italy), ASSOCIAZIONE ITALIANA PER L ASSISTENZA AGLI SPASTICI PROVINCIA DI BOLOGNA(Italy), UNIVERSITY OF GLASGOW(United Kingdom) 16. TREMOR Project 1) 프로젝트 : Brain (ID: 224051) 2) 연구비 : 2.5 million ( 한화 : 약 32 억 ) 141
3) 프로젝트기간 : 2008년 9월 ~2010년 4월 4) 연구목적 : Tremor는가장빈번하게발생하는행동장애로근래, 발병횟수가늘어나고있으며, 연령이높아질수록더높은발병률을보이고있다. 상반신 Tremor가있는사람들중 65% 이상이일상생활을하는데큰어려움을겪고있다. Tremor는약, 수술, 또는 deep brain 자극으로치료할수있지만, 효과가미비하다. 이프로젝트에서는 BCI기반의감지기술을적용한 FES를통해물리적으로 TREMOR를억압할수있는지를입증하고자한다. Multimodal BCI 시스템을통해비자발적행동장애를감지하고모니터링하면서진행된다. 5) 주연구자 : AGENCIA ESTATAL CONSEJO SUPERIOR DE INVESTIGACIONES CIENTIFICAS(Spain) 6) 참여기관 : UNIVERSITE LIBRE DE BRUXELLES(Belgium), AALBORG UNIVERSITET(Denmark), INSTITUTO DE BIOMECANICA DE VALENCIA(Spain), TECHNAID SL(Spain), SMARTEX S.R.L.(Italy), UNIVERSITA DEGLI STUDI ROMA TRE(Italy), MASA POPOVIC PR - UNA SISTEMI(Serbia), UNIVERZA V MARIBORU(Slovenia) 17. WAY Project 1) 프로젝트 : Brain (ID: 288551) 2) 연구비 : 2.3 million ( 한화 : 약 30억 ) 3) 프로젝트기간 : 2011년 10월 ~2014년 9월 142
4) 연구목적 : 이프로젝트는절단혹은척수손상, 신경부상, 혹은뇌졸중같은신경장애이후손의기능을회복하는솔루션을제공하고자한다. WAY 프로젝트참여자들은인공기관과환자와의심리간의양방향링크를복원함으로써환자들이일상생활을영위하는데도움을주며더나아가삶의질과독립성을향상시키는것을최종목표로삼고있다. 기존의 sensorized 의수 (dexterous 의수와 exoskeleton) 를사용하여, 인지정보와행동지시가양방향으로전달될수있는 wearable한 non-invasive device을개발한다. 5) 주연구자 : SCUOLA SUPERIORE DI STUDI UNIVERSITARI E DI PERFEZIONAMENTO SANT'ANNA(Italy) 6) 참여기관 : SCUOLA UNIVERSITARIA PROFESSIONALE DELLA SVIZZERA ITALIANA (SUPSI)(Switzerland), EBERHARD KARLS UNIVERSITAET TUEBINGEN(Germany), FUNDACIO PRIVADA INSTITUT DE NEUROREHABILITACIO GUTTMANN(Spain), Össur hf(iceland), UMEA UNIVERSITET(Sweden) 143
6.2 USA 6.2.1 BRAIN INITIATIVE 2013 년 4 월 2 일, 백악관은두뇌에대한미스터리를풀기위해서 Brain Research through Advancing Innovative Neuro technologies (BRAIN) Initiative 라는국가적프로젝트를시작하였다. 오바마대통령의 BRAIN Initiative 발표이후, 두뇌활동의패턴, 행동과 정신의연결을관장하는 circuit mechanisms 에대한학제간연구를통해 알츠하이머 (Alzheimer), 정신분열증 (schizophrenia), 자폐증 (autism), 간질 (epilepsy), traumatic brain injury 등과같은뇌질환의치료법을찾아내려고다수의기업체들과학계의연구자들이이프로젝트에참여하고있다. 예를들어, 2013 년에 NIH, NSF, DARPA 가 1 억달러를모은것을시작으로, BRAIN Initiative 는 FDA 와 IARPA 를더해 5 개의연방단체로성장했다. 각단체의역활을간단하게요약하자면, NIH (National Institutes of Health): NIH 는 $46 million 가량의 new BRAINrelated grant awards 발표. DARPA (Defense Advanced Research Projects Agency): DAPRA 는 4 개의기존의프로그램을계속운영중이며, BRAIN Initiative 에도투자. FDA (Food and Drug Administration): FDA 는 BRAIN Initiative 를통해뇌질환치료기구에관한규제의투명성향상을목적. NSF (National Science Foundation): NSF 는기초과학연구를바탕으로 neuroscience 와 neuroengineering 의발전을위한새로운기술들을계속해서발굴해나가고있으며같은맥락에서 BRAIN Initiative 에투자지속. 144
IARPA (Intelligence Advanced Research Projects Activity): IARPA 도 BRAIN Initiative 에참여하고있고, 다학문간의접근으로두뇌의인지및사고방식을이해하려고함. 표 6-1 에서 6-3 은공공기관및민간단체에서한 BRAIN Initiative 프로젝트지원현황을보여주고있다. 표 6-1. Private sector commitments in BRAIN Initiative 기관 금액 목표 US Photonics industry $30 Million 시각기능과관련된연구및 photonics 기술의개발 Glaxosmithkline $5 Million Peripheral 신경기술과관련된지적재산권의보호와발전에기여 표 6-2. Private research efforts in BRAIN Initiative 연구기관 금액 목표 University of Pittsburgh $65 Million 피츠버그대학내에뇌과학연구기관을설립하여비정상적인두뇌작용의미스터리를푸는데집중 University of California, Berkeley and Carl zeiss $12 Million 신경과학관련기술에대한 Infrastructure 의개발및발전을목표로함 microscopy The Carnegie Mellon $40 Million BRAIN Initiative project 에적극기여 University The simons $62 Million 감각인지과정에대한연구및분석을통해신경활동의패턴을밝혀내는것이목표 145
표 6-3. Continuing progress from existing partners in BRAIN Initiative 연구기관 금액 목표 The Allen institute for Brain science $60 Million annually 사람이어떻게인지하고, 의사결정을내리고궁극적으로행동을하게끔하는뇌의활동에대해이해하고자함 Howard hughes medical institute $70 Million Neural network 내에서어떻게정보가저장되고이용되는지이해할수있는새로운 imaging 기술의개발이목표 KAVLI Foundation $40 Million ( 향후 10 년 ) 뇌질환을고칠수있는지식공유및제공 6.2.2 방위고등연구계획국 (DARPA) 세계최초위성인소련의스푸트니크에대항하기위해 1958 년에설립된 DARPA (Defense Advanced Research Projects and Agency) 는적대국보다미군의기술적우위를유지하는것이주목적이다. 이를위해 DARPA 는뇌-컴퓨터인터페이스 (BCI) 와같은혁신적이며 high-risk/high-reward 연구및기술개발에 1970 년대부터재정적지원을하고있다. DARPA 자체적으로는연구를수행하지않지만다양한과학적, 군사적인영역에서군관련단체뿐아니라과학연구단체에도깊이관련하고있는전문가들이조직내프로그램관리자와디렉터역할을담당하고있다. DARPA 는이러한단체들과상호교류를통해현재요구사항, 최신연구동향, 그리고기술적인성과들을평가하고, 국가안보능력을혁신하기위해어떠한분야를발전시켜야하는지를결정하고있다. DARPA 프로그램들을통하여, 넓은범위의산업계, 학계그리고다른정부조직들의의해수행되는 R&D 노력에재정지원을하고있다. 이러한노력들은기초과학연구에서부터 146
특정한최종사용자에적용할수있는기술시제품개발까지포함하고있다. 추가적으로, DARPA 는프로그램의성공적인결과들이군과상업적인목적을위해전환되고운용될수있도록촉진하고있다. 최근몇년간 DARPA 는신경생물학자, 신경심리학자, 수학자그리고엔지니어들간의다양한학문분야에걸친공동연구를통해대단히혁신적인뇌과학분야연구를지원하고있다. 이러한노력의목표는크게 4 가지로분류된다 : Detect - 인간의뇌에위협을가하는요소들을규정하고완화시킬수있는진단 법, 모델그리고장비개발 (Develop diagnostics, models, and devices to characterizeand mitigate threats to the human brain) Emulate - 정보를효율적으로통합화시키기위한기능적뇌네트워크 (Leverage inspiration from functional brain networks toefficiently synthesize information) Restore - 뇌혹은신체손상으로잃은행동과인지적기능복구 (Reestablish behavioral and cognitive function lost as aresult of injury to the brain or body) Improve - 기능적행동을향상시키고훈련을가속화할수있는 brain-in-the loop system 개발 (Develop brain-in-the loop systems to accelerate train-ing and improve functional behaviors) DARPA 의 BCI 분야에대한최초투자는 1974 년에 Close-Coupled Man/Machine Systems ( 향후에 Biocybernetics 로이름이바뀜 ) program 으로시작했다. 이프로그램은 인간의생리적신호와비침습적 EEG 혹은 MEG 로측정한뇌파를사용하여, 사람과 147
기계간의직접적인의사소통을가능하게하고감시, 피로, 감정, 의사결정, 지각그리고일반적인인지능력과관련된신경상태를모니터링하는연구였다. 이프로그램을통해참가자들의 EEG 를통해 single-trial, sensory-evoked responses 에대한구체적인이해등주목할만한성과을이루었다. 이러한노력들은각기다른주파수를가진 4 개의시각적 checkerboard 자극에대응하는뇌활동들이실시간으로부호화될수있고, 간단한미로를통과하는데사용될수있음을보였다 (Vidal, 1977). 2002 년 DARPA 는 BMI 프로그램및 Human Assisted Neural Devices (HAND) 프로그램을착수하며 BCI 분야를더욱깊이연구하였다. 이러한초기프로그램들은 sensorimotor control of prosthetic (Carmena et al., 2003), facilitation of memory encoding (Song et al., 2007), decoding of visual inputs (Hung et al., 2005), development of dynamic neural decoding algorithms (Gage et al., 2005), 그리고 the development of new devices for high-resolution neural imaging 을위한새로운디바이스개발 (Vetter et al., 2004) 등 BCI 의광범위한분야을포함하고있다. 이러한 DARPA 의연구지원은원천기술발견과개발을지원하여 BCI 영역의빠른발전을가능하게하였다. 본보고서에서는 DARPA 연구팀이 2015 년발표한논문을바탕으로 DAPRA 의연구지원아래수행되었거나수행하고있는 10 개의중요한프로젝트들을간략하게소개하고자한다 ( 자세한사항은 Miranda et al., 2015 참조 ). 이들 10 개의프로젝트들은크게 2 가지연구분야에서진행되고있다 : 1) 신경과행동기능재활을위한 DARPA BCI 프로그램 ; 2) 6.2.2.2 훈련및성과향상을위한 DARPA BCI 프로그램. 148
6.2.2.1 신경과행동기능재활을위한 DARPA BCI 프로그램신경과행동기능을재활시키기위한 BCI 연구를지원하기위해최근진행중인 DARPA 의중요한 4 개의프로젝트들은 5) Revolutionizing Prosthetics, 6) Reorganization and Plasticity to Accelerate Injury Recovery (REPAIR), 7) Restorative Encoding Memory Integration Neural Device 그리고 8) Reliable Interface Technology(RE-NET) 이다 ( 표 6-4 참조 ). 활용방안으로는, Revolutionizing Prosthetics 은최첨단 BCI 시스템을인간의감각운동기능을재활할수있도록활용하고, REPAIR 는 multi-scale, dynamic model 의통합을통해신경부호화역량을향상시키기위해동물모델을활용하는데, 이 model 은뇌의 plastic 이학습혹은부상으로인한감각동작기능에미치는영향을설명한다. REMIND 프로그램에의해개발된 BCI 시스템은각기다른신경행동시스템 -기억- 에촛점을맞추고있으며, 기억작업 (memory tasks) 에대한성과향상과복구를동물모델을통해설명하였다. 마지막으로 RE-NET 프로그램은광범위한 BCI 애플리케이션을지속적으로사용할수있는안전하고안정적인 BCI 시스템개발과관련한문제점해결에초점을맞추고있다. 149
표 6-4. DARPA BCI efforts to restore neural and behavioral function 연구대주제 연구소주제 연구목표 관련연구 Revolutionizing Prosthetics 인간의감각운동기능재활 (to restore sensorimotor function) - Prosthetics with Micro-electrode arrays (Collinger et al., 2013; Collinger et al., 2014) - Neural mechanisms (Hauschild et al., 2012; Collinger et al., 2013) - Sensory information encoding by non-human primate (Tabot et al., 2013; Zaaimi et al., 2013) - Safety and efficacy of chronically implanted stimulating electrode arrays (Chen et al., 2014; Berg et al., 2013) 신경과행동기능재활 (Restore - Computational model (Sanchez et al., 2012; Shenoy and Nurmikko, 2012; Andersen et al., 2012) - Biomimetic models (Kerr et al., 2012; Mahmoudi and Sanchez, 2011; Neymotin et al., 2013) neural and - Prediction models (Shenoy et al., 2013; Ames et al., 동물모델을활용하여뇌의 plastic 이 behavioral 2014) 학습혹은부상으로인한감각동작 function) Reorganization and - Model for force and kinematic variables (Chhatbar and 기능에미치는영향연구 Plasticity to Francis, 2013) (brain s plastic changes underling Accelerate Injury - Wireless neural interfaces (Foster et al., 2012; Borton et sensorimotor function during learning Recovery (REPAIR) al., 2013) or following injury by utilizing animal - Optogenetics for bioengineered opsins (Diester et al., models) 2011; Zalocusky and Deisseroth, 2013; Shenoy and Nurmikko, 2012; Ozden et al., 2013) - Direct brain stimulation and computational model (Dadarlat et al., 2013; Makin et al., 2013) - Artificial tactile sensation (May et al., 2013) 150
- Adaptive model to provide feedback to both the user and the BCI system s neural decoder (Pohlmeyer et al., 2014) Co-adaptive BCI for restoration of sensorimotor function Restorative Encoding Memory Integration Neural Device (REMIND) Reliable Interface Technology(RE-NET) 척수외상환자들이마비된팔의움직이거나잠재적으로회복할수있도록도와주는비침습형 EEG 기반의 BCI 시스템개발기억작업 (memory tasks) 에대한성과향상과복구를동물모델을통해설명 (to demonstrate the improvement and restoration of performance on memory tasks in animal models) 장기간사용할수있는안전하고안정적인 BCI 시스템개발 (to develop safe, robust BCI systems for chronic use) - EEG-based BCI for SCI patients (Roset et al., 2013) - Non-linear, multi-input, multi-output ( MIMO ) model (Song et al., 2007, 2009) - Hippocampus stimulation (Berger et al., 2011; Hampson et al., 2012b; Hampson et al., 2012c, 2013) - Donor-recipient paradigm (Deadwyler et al., 2013; Hampson et al., 2012a) - Biological or tissue related issues (Karumbaiah et al., 2013; Saxena et al., 2013) - Device/system-related failures (Prasad and Sanchez, 2012;Prasad et al., 2014) - New materials, electrodes, and interface systems (Tien et al., 2013) - Multiple peripheral nerves interface system (Thota et al., 2014) - The first amputee who received implantable technology (Pasquina et al., 2014) 151
Revolutionizing Prosthetics: 2006 년에시작된 Revolutionizing Prosthetics 프로그램은상지 (upper-limb) 조절능력을잃은사람들이재활을통해선천적인능력에근접하고자하는비젼을가지고있다. 이프로그램의목적은손이나발을잃게된부상병의삶의질을향상시키고, 기능과독립성을최대화시키며, 일상생활이가능하게하고, ( 원한다면 ) 부대로의복귀할수있도록해주는것이었다. DARPA 는증가되는군인들의신경계부상과수족절단에대응하기위해연구에착수하였다. 상지 (upper extremity) 중증장애는미국방성 (DoD) 에게는매우중요한문제로, 2000 년과 2011 년사이에 US Armed Forces 내에서만약 6000 명에달하는수족절단군인들이발생하였으며, 이중 2/3 경우는상지절단 (upper extremity amputations) 이다 (O Donnell, 2012). 단일수족절단자들의귀환률은 20% 이지만, 16.5% 의군인들만전시근무복귀가가능했다 (Stinner et al., 2010). 따라서, 군복무자들이높은성과를낼수있도록실용적인해결책이필요하다. Revolutionizing Prosthetics 프로그램은수족절단환자뿐만아니라, 척수외상 (SCI) 으로상지기능을잃게된환자들에게도도움이된다. 미국내거주인구중약 300,000 명이척수외상을겪고있으며, 매년약 12,000 명의새로운환자가발생하는것으로추정된다 (National Spinal Cord Injury Statistical Center, 2013). Revolutionizing Prosthetics 는건강한사람들이일반적으로팔을사용하는것처럼움직임을상상하는것으로의수를작동시킬수있는직접뇌제어의수 (direct brain control of prosthetic limbs) 로의변형적인혁신을이뤘다 (Collinger et al., 2013). 이연구는운동피질뇌파를실시간으로기록및분석하여사지마비를가지고있는참가자들이 10 자유도의의수시스템을제어할수있도록하는것이었다. Micro- 152
electrode arrays 로측정된뇌파와이를의수시스템에걸쳐있는모터들을작동하는명령어로해석해주는복잡한알고리즘으로 Near-natural 컨트롤를가능하게하였다. 뇌과학과기술간의상호교차영역을넓히고가장자연스런팔을만들기위해, DARPA 연구원들은촉각을복구함으로써차세대 neuroprosthetic 제어구축하기위한초석을마련하였다. 시력을잃은상태에서대상을규명하고, 조작하고, 움켜쥐는행동을위해 Closed-loop complete sensorimotor 시스템을구축하는것은매우중요하다. 이러한차세대인터페이스를개발함에있어서첫단계중일부는, 어떻게영장류의뇌가타고난방법 ( 본인손가락의촉각적인자극 ) 을통해제공된지각정보를부호화하는지에대해규명하고, 그것을피층자극을통해전달된감각정보의부호화를 psychometric evaluation 과비교하는것을것이다 (Tabot et al., 2013; Zaaimi et al., 2013). 이러한노력들은간단한터치뿐만아니라 Slip 과 texture 의복잡한부호화를인지하는것까지탐구하였다. Revolutionizing Prosthetics 프로그램을위하여, 영장류의체성감각피질 (somatosensory cortex) 에장기적으로삽인된자극전극배열 (stimulating electrode arrays) 의안전성을보여주는일련의실험들이 University of Chicago 에서행해졌다. 삽입된배열 (configuration) 은 Blackrock Microsystems 에서만들어진 2 개의 100-채널로구성되어있으며, sputtered iridium oxide film (SIROF)-tipped Utah electrode arrays (UEA) 가 Cereport connectors 와 CereStim R96 stimulator 로연결되어있다. 세마리의영장류에 300Hz 의자극이다양한 charge amplitudes, duty cycles 그리고 interval duration 로주어졌다. 감각자극은하루에 4 시간 6 개월에걸쳐행해졌다. 그결과미세 153
동작제어에는결점이없으며 electrode-tissue inteface 가안전하다는것을밝혔다 (Chen et al., 2014). 안정성연구이후, 기계적인촉각자극과전기촉각자극간의관계를규명하기위한유효성연구도 University of Chicago 에서행해졌다 (Berg et al., 2013). 이통합된안전성과유효성실험자료는인간임상병리환자를대상으로실험하기위한 FDA Investigational Device Exemption (IDE) 승인을받기위해매우중요하다. 이러한노력을임상병리학적으로사용의궁극적인목표는환자들의보철손이통해물건을만질때보철의손가락에붙어있는센서로부터의신호를감각피질로직접전달시켜주는자극시그널로변환시켜 느낄 수있도록하는것이다. ( 그림 6-1) 에서보여지는 Sensorimotor closed-loop 제어에서 full sensorimotor closed-loop 제어로의변이가, 눈으로볼수없는상태나촉각적피드백을요하는작업을수행할때빠른반응속도와거의선천적인감각으로 prosthetic limb 의향상된사용자컨트롤을가능하게할것이라기대된다. 이러한발전은보철용팔다리사용자들의상해후의삶의질과독립성을향상시키기위해지속되어야한다. 동작의지의 neural correlates 는일차운동피질 (M1) 과같은뇌의운동영역에삽입된 electrode arrays 로부터기록된다. 이러한신호들은분석된후, prosthetic arm 의움직임을컨트롤하는데사용된다. 로봇팔에서의센서는접촉정보 ( 외부물건과의접촉을통하여 ) 와 / 또는자기수용감각 (proprioception) (prosthetic limb 의움직임과위치를통하여 ) 정보를감지한다. 이센서로부터의정보는 patterns of stimulus pulses 로변환되어일차체감각피질체 (S1) 등에삽입된 electrode arrays 를통하여뇌의 sensory regions 으로전달된다. 154
그림 6-1. Closed-loop prosthetic 제어용양방향 BCI 부상회복촉진을위한재건및가소성 (REPAIR): Revolutionizing Prosthetic 프로그램하에발전된 BCI 기술들이 Robotic limbs 에대한직접적인 neural 제어를가능하게하는데주목할만한성장을보여주었음에도불구하고, neural decoding algorithms 은뇌의기본적인특성중하나인뇌가소성 (plasticity) 을활용하지는못하였다. 주목할만한것은, 뇌기능은고착되어있거나변하지않는것이아니라, 새로운정보나 ( 새로운사람을만나기 ) 새로운행동 ( 자전거타기 ) 을배우면서적응해나간다. 더우기, 이러한학습과정은단순한뉴런 ( 신경단위 ) 활동에서부터작고큰신경네트워크에걸쳐있는활동들이공동작용하는패턴그리고궁극적으로는행동으로이어지는 multiple 155