발행일 2018. 06. 25 발행처융합연구정책센터 2018 JUNE vol.127 Technology Industry Policy 인간 - 기계상호적응형 BMI 기술 김래현 김보림한국과학기술연구원 융합연구정책센터바이오닉스연구단 융합연구정책센터 Convergence Research Policy Center
Technology Policy Industry 융합연구정책센터 Weekly TIP 인간 - 기계상호적응형 BMI 기술김래현 한국과학기술연구원바이오닉스연구단 선정배경 01 BMI(Brain-Machine Interface) 기술은사람의생각만으로외부기기및환경을제어할수있는차세대인터페이스기술로주목 뉴욕타임즈는뇌 - 컴퓨터인터페이스기술을 21 세기 8 대신기술로선정 BMI 기술은사지마비환자의외부의사소통을지원하기위한기술에서시작되었으며, 정신질환진단, 노약자와장애인들의재활및생활보조영역으로확대 향후 BMI 기술은인공지능, IoT 기술등과접목하여일상가전, 로봇등주변기기제어분야에널리활용될것으로기대 그림 1. BMI 기술 Signal Acquisition Feature Extraction Feature Translation Brain signals Brain-Machine Interface Control signals Replace Improve Restore Feedback Enhance Supplement Research tool 출처 Brain-Computer Interfaces, Principles and Practice, Oxford university press, 2012 02
2018 June vol.127 인간 - 기계상호적응형 BMI 기술 BMI 기술 02 ( 정의 ) 사람또는동물의뇌에서보내는생각, 의도, 감정등의신호를제어명령으로변환하여, 다양한외부기기들을통제하는기술을의미 ( 뇌전도측정 ) 뇌에서보내는신호를측정하기위해서일반적으로뇌의전기적반응인뇌전도 (EEG: electroencephalography) 를이용하며, 측정부위에따라침습형 (invasive) 과비침습형 (non-invasive) 으로구분 연구목적에따라뇌의활동의따른혈류량의변화를이미징하는 fmri( 기능성자기공명영상 ) 나 fnirs( 기능근적외선 분광법 ) 가이용되는경우도있으며, 본고에서는뇌전도 (EEG) 기반의 BMI 기술을중심으로설명 - ( 침습형 BMI) 외과적수술을통해두개골속에전극 (ECoG) 이나마이크로칩 (LFP) 을이식하여 뇌파를측정하는방식 신호의질과시공간해상도가뛰어나지만, 뇌손상의위험이있고장기간사용이어려워주로연구용으로사용 - ( 비침습형 BMI) 두피에서헤드셋장비의형태로측정 (Scalp EEG) 하는방식 침습형에비해상대적으로잡음이심하여신호의질은떨어지지만, 사용법이간편하여실용화가용이 그림 2. BMI 를위한비침습과침습적뇌신호측정 출처 Nitish V. Thakor, Translating the Brain-Machine Interface, SCIENCE TRANSLATIONAL MEDICINE, 2013 03
Technology Policy Industry 융합연구정책센터 Weekly TIP ( 상호적응 BMI) 사용자의뇌에서나오는신호를 BCI(Brain Computer Interface) 시스템을통해실시간으로분석하고해석의결과를사용자가피드백받음으로써, BMI 시스템성능을향상 그림 3. 상호적응형 BCI 프레임워크구조 Immediate online Feedback Autocalibrating Adaptive BCI Framework Optimization Instance Graz Online BCI Classifier Trials Feature Reselection Classifier retraining Raw EEG 출처 Junhua Li, Bilateral adaptation and neurofeedback for brain computer interface system, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012 (BMI 시스템훈련 ) BMI 시스템이뇌전도를해석하기위한훈련과정은전처리과정 *, 특징정보추출 **, 분류기생성 *** 으로구성 *(EEG signal preprocessing) 잡음제거, 채널, 주파수및시간역선택 **(Feature extraction) 시스템이사용자의의도및상태를예측하는데사용할수있는정보추출 ***(Classification) 추출된정보를바탕으로사용자의의도및상태분석결과도출 그림 4. BMI 시스템 Preprocessing Feedback Brain Activity Measurement Feature Extraction Classification Command Translation 출처 Sukun Li, Brain-Based Computer Interfaces in Virtual Reality, IEEE International Conference on CSCloud, 2017 04
2018 June vol.127 인간 - 기계상호적응형 BMI 기술 ( 사용자훈련 ) BMI 시스템성능향상을위해서는정교한알고리즘과더불어, 사용자가 BMI 시스템이인식하기쉬운뇌전도패턴을생성해야가능 - 자신의현재뇌전도를시각, 청각, 촉각등으로알려주는뉴로피드백 (Neurofeedback) 을통해 BMI 시스템에적합한뇌전도생성훈련이필요 그림 5. 뉴로피드백개념 Feedback loop enables learning Frequency adjustment Cilent symptoms & feedback Sensor placement hearing touch sight Feedback Video Games or Videos Client Neurofeedback trains the brain s ability to self-regulate by feeding back information on selected EEG rhythms related to regulation. The feedback is simple-the size of the picture of the speed of the game. 출처 BrainTrainUK, http://www.braintrainuk.com 05
Technology Policy Industry 융합연구정책센터 Weekly TIP 해외연구동향 03 스위스 EPFL 연구팀에서는뇌파를활용해전동휠체어의방향을제어하여장애인의보행을보조하는기술을개발 ( 2012) 그림 6. 휠체어제어 (EPFL, 스위스 ) 싱가폴 A Star 연구소는뇌졸중환자의운동의지를뇌파를통해분석함으로써로봇을제어하는재활시스템개발 ( 2014) 그림 7. 운동재활 (A Star 연구소, 싱가폴 ) 06
2018 June vol.127 인간 - 기계상호적응형 BMI 기술 미국 University of Minnesota 연구팀에서는운동상상 (Motor Imagery)* 으로로봇팔을제어하여물건을선반에올리고내리는것을구현 ( 2016) * 운동을상상할때의뇌파변화를이용하여외부기기를제어하는기술 그림 8. 로봇팔제어 ( 미네소타대학, 미국 ) 미국 Facebook 은증강현실 (AR, Augmented Reality) 장치를통해, 분당 100 단어를입력할수있는 BMI 기술을개발중 ( 2017) 그림 9. Brain mouse (Facebook, 미국 ) 07
Technology Policy Industry 융합연구정책센터 Weekly TIP Cyberkinetics 는침습형 Brain Implant, BainGate 를개발하여컴퓨터커서및로봇팔을생각만으로제어 ( 2012) 그림 10. Brain implant (Cyberkinetics, 미국 ) MIT 연구팀에서는로봇이실수할때관찰자의뇌파에서나오는 EP(Error potentials) 를이용해서생각만으로로봇을가르칠수있음을발표 ( 2017) 그림 11. 로봇학습 (MIT, 미국 ) 08
2018 June vol.127 인간 - 기계상호적응형 BMI 기술 국내연구동향 04 KIST 와삼성병원연구팀은 BMI 기반운동재활연구를수행하여뇌졸중환자의뇌파로부터운동의지및재활정도를파악 ( 2014) 그림 12. BMI 기반운동재활 (KIST) 고려대연구팀은운동상상 (MI, Motor Imagery) 으로로봇팔을제어하는모습을시연 ( 2014) 그림 13. 로보팔제어 ( 고려대 ) 09
Technology Policy Industry 융합연구정책센터 Weekly TIP 한양대연구팀은 LED 를이용한시각적자극을제시하였으며, 세계최고성능의 SSVEP 기반스펠러를개발 ( 2015) SSVEP(Steady-state visual evoked potentials): 특정한주파수의시각적자극에자연적으로반응해발생하는뇌파를 이용해사용자가보고있는자극을검출하는방법 그림 14. 뇌파기반스펠러 ( 한양대 ) UNIST 연구팀은 P300 을기반으로 TV 등가전제품을제어하는기술을개발하였으며, TSB 연구팀과협업하여증강현실기반로보청소기뇌파제어를세계최초로구현 ( 2017) P300 BCI: 특정한정보에대한자극에반응해약 300 msec 근처에서발생하는크고뚜렷한파형의양전위를이용하여 해당자극을검출하는방법 그림 15. 가전제어 (UNIST) 10
2018 June vol.127 인간 - 기계상호적응형 BMI 기술 KAIST 연구팀은드론을 3 차원공간상에서 Hybrid BMI 기술로제어하는데성공 ( 2016) 그림 16. 드론제어 (KAIST) 소소는뇌파를통해자신의상태를점검하고, 스트레스해소를도와주는헬스케어시스템을개발 ( 2017) 그림 17. 헬스케어 (( 주 ) 소소 ) 11
Technology Policy Industry 융합연구정책센터 Weekly TIP 시사점및미래전망 05 BMI 기술은환자와장애인의생활및이동보조를목적으로개발되었지만, 최근에는일반인들을위한드론, 로봇, 일상기기제어분야로발전 - 향후웨어러블기기나증강현실장비를통해보다편리한방법으로 BMI 기술이일상에적용될 것으로기대 현재직접뇌에전극을심는침습적 (invasive) 방법은사지마비환자등을위한제한된범위에서사용되고있지만, 향후뉴럴레이스 (Neural lace)* 같은뇌임플란트기술의발달로인해, 일반인들도뇌기능향상을위한목적으로사용할것으로기대 엘론머스크가최근에인수한스타트업뉴럴링크 (Nerualink) 사가개발한뇌신호를읽고자극을줄수있는초박형메쉬 형태의뇌임플란트 그림 18. 뉴럴링크사의뉴럴레이스 BMI 기술이확산되면서개인의생각및정보의해킹위험에대비필요 - 윤리적측면에서어느범위까지허용할지에대해사회적논의를시작해야하며, 뇌의해킹을 방지하기위한제도적, 기술적대비가필요 12
2018 June vol.127 인간 - 기계상호적응형 BMI 기술 참고자료 > 1. 2014 년도뇌연구촉진시행계획 (2014), 미래창조과학부, 교육부, 산업통산자원부, 보건복지부 2. 2017 년미래유망기술프로그램, 뇌기능향상기술 (2017), 한국연구재단 3. 뇌 - 컴퓨터인터페이스 (BCI) 기술및개발동향 (2011), 한국전자통신연구원 4. 문화기술 (CT) 심층리포트 : BCI 기술동향 (2011), 한국콘텐츠진흥원 5. 인터넷및정보보호 10 대이슈전망 (2013), 한국인터넷진흥원 6. 조호현, 전성찬. (2012). 뇌전도기반뇌 - 컴퓨터인터페이스기술. 한국통신학회지 ( 정보와통신 ), 29(7), 47-55. 7. Li, J., & Zhang, L. (2010). Bilateral adaptation and neurofeedback for brain computer interface system. Journal of neuroscience methods, 193(2), 373-379. 8. Vidaurre, C., Schlogl, A., Cabeza, R., Scherer, R., & Pfurtscheller, G. (2006). A fully on-line adaptive BCI. IEEE Transactions on Biomedical Engineering, 53(6), 1214-1219. 9. Wolpaw, J., & Wolpaw, E. W. (Eds.). (2012). Brain-computer interfaces: principles and practice. OUP USA. 13