【《脑-机接口技术发展概述文献综述》3200字】

脑-机接口技术发展概述文献综述1.1脑-机接口的基本原理脑-机接口(Brain-ComputerInterface,BCI)是一种能使人通过脑电信号，在不依赖外周神经和肌肉组织的情况下，就能控制计算机或者其他电子设备的人机交互系统ADDINEN.CITE<EndNote><Cite><Author>Wolpaw</Author><Year>2012</Year><RecNum>1</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>1</rec-number><foreign-keys><keyapp="EN"db-id="pdvatx5aar2exkess0b5atwy5zfsfe59t9va"timestamp="1619574402">1</key></foreign-keys><ref-typename="Book">6</ref-type><contributors><authors><author>Wolpaw,Jonathan</author><author>Wolpaw,E.W.</author></authors></contributors><titles><title>Brain-ComputerInterfaces:PrinciplesandPractice</title></titles><pages>1-424</pages><dates><year>2012</year></dates><urls></urls><electronic-resource-num>10.1093/acprof:oso/9780195388855.001.0001</electronic-resource-num></record></Cite></EndNote>[1]。脑-机接口技术不仅可以帮助残疾患者重新建立与外界沟通的渠道，而且可以扩展正常人与外界的信息交互能力，有助于人们解放双手或是完成更加复杂的控制任务。目前，脑-机接口技术已经广泛应用于诸如认知与运动功能康复、增强、修复ADDINEN.CITEADDINEN.CITE.DATA[2,3]等的医疗领域，并且在教育、娱乐ADDINEN.CITE<EndNote><Cite><Author>Lécuyer</Author><Year>2008</Year><RecNum>115</RecNum><DisplayText><styleface="superscript">[4]</style></DisplayText><record><rec-number>115</rec-number><foreign-keys><keyapp="EN"db-id="etxvzvf9zfrvdzeeev5vr2tfw2pss2zpfze0"timestamp="1602062237">115</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>A.Lécuyer</author><author>F.Lotte</author><author>R.B.Reilly</author><author>R.Leeb</author><author>M.Hirose</author><author>M.Slater</author></authors></contributors><titles><title>Brain-ComputerInterfaces,VirtualReality,andVideogames</title><secondary-title>Computer</secondary-title></titles><periodical><full-title>Computer</full-title></periodical><pages>66-72</pages><volume>41</volume><number>10</number><keywords><keyword>computergames</keyword><keyword>electroencephalography</keyword><keyword>userinterfaces</keyword><keyword>virtualreality</keyword><keyword>brain-computerinterfaces</keyword><keyword>videogames</keyword><keyword>neuroscience</keyword><keyword>brainsignalprocessing</keyword><keyword>optimalperipherals</keyword><keyword>mentalgamepads</keyword><keyword>Braincomputerinterfaces</keyword><keyword>Educationalinstitutions</keyword><keyword>Navigation</keyword><keyword>Virtualenvironment</keyword><keyword>Implants</keyword><keyword>Virtualprototyping</keyword><keyword>Layout</keyword><keyword>Scalp</keyword><keyword>virtualenvironments</keyword><keyword>3Dinteraction</keyword></keywords><dates><year>2008</year></dates><isbn>1558-0814</isbn><urls></urls><electronic-resource-num>10.1109/MC.2008.410</electronic-resource-num></record></Cite></EndNote>[4]以及智能家居ADDINEN.CITE<EndNote><Cite><Author>Saboor</Author><Year>2017</Year><RecNum>116</RecNum><DisplayText><styleface="superscript">[5]</style></DisplayText><record><rec-number>116</rec-number><foreign-keys><keyapp="EN"db-id="etxvzvf9zfrvdzeeev5vr2tfw2pss2zpfze0"timestamp="1602062470">116</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Saboor,Abdul</author><author>Rezeika,Aya</author><author>Stawicki,Piotr</author><author>Gembler,Felix</author><author>Benda,Mihaly</author><author>Grunenberg,Thomas</author><author>Volosyak,Ivan</author></authors></contributors><titles><title>SSVEP-BasedBCIinaSmartHomeScenario</title><secondary-title>InternationalWork-conferenceonArtificialNeuralNetworks</secondary-title></titles><dates><year>2017</year></dates><pub-location>Cham</pub-location><publisher>Springer</publisher><urls></urls></record></Cite></EndNote>[5]等领域也有极大的发展空间。脑-机接口的核心技术在于检测大脑的神经活动信号并将受试者的意图解析为实际的控制指令，其系统的基本结构如图1-1所示。图1-1脑-机接口系统的结构示意图典型的脑-机接口系统一般包括信号采集模块、信号处理模块、指令输出模块以及结果反馈四个部分ADDINEN.CITE<EndNote><Cite><Author>Ramadan</Author><Year>2015</Year><RecNum>114</RecNum><DisplayText><styleface="superscript">[6]</style></DisplayText><record><rec-number>114</rec-number><foreign-keys><keyapp="EN"db-id="etxvzvf9zfrvdzeeev5vr2tfw2pss2zpfze0"timestamp="1602058583">114</key></foreign-keys><ref-typename="Book">6</ref-type><contributors><authors><author>Ramadan,RabieA</author><author>Refat,S</author><author>Elshahed,MarwaA</author><author>Ali,RashaA</author></authors></contributors><titles><title>BasicsofBrainComputerInterface</title></titles><dates><year>2015</year></dates><publisher>SpringerInternationalPublishing</publisher><urls></urls></record></Cite></EndNote>[6]。信号采集是通过电极来采集头皮表面或大脑内部的神经元电信号，由于该信号的幅值一般为几到几十微伏左右，所以在脑电信号采集过程中首先要对信号进行放大，再通过数模转化电路，变成计算机可以处理的数字信号。数字信号的处理分为预处理、特征提取和模式识别三个步骤。预处理主要是选取合适的滤波器对信号进行滤波，去除噪声的干扰，这是为了使脑电信号特征更明显，方便后续的处理。特征提取是为了获得脑电信号中代表用户意图的特定成分，由于脑电信号的成分复杂，并且信噪比低、容易受噪声信号的影响，通常很难进行分类识别，因此特征提取是脑-机接口系统中非常重要的环节。最后通过模式识别技术将提取出来的特征进行分类，并将分类结果转化为控制指令，再输出给外部执行设备。与此同时，外部设备的执行结果会被反馈给用户，用户可以根据反馈内容对设备进行调整和纠正，以上过程就形成了一个完整的从大脑到外部控制的闭环控制系统。1.2脑-机接口的分类和典型范式脑-机接口按信号的采集方式主要可分为侵入式和非侵入式两种ADDINEN.CITEADDINEN.CITE.DATA[7]。侵入式BCI是通过手术将电极植入大脑内部或颅骨内侧，采集到的脑电信号质量高、抗干扰能力强，但该方式需要进行手术实现，其过程复杂、风险较高。因此目前关于BCI的研究大多采用非侵入式，非侵入式BCI信号检测手段主要有使用近红外光来采集大脑的血氧信号、采用脑磁设备来获得大脑的磁场信号以及利用脑电采集系统得到头皮脑电图(Electroencephalogram,EEG)等。其中，基于EEG的BCI因其时间分辨率高、使用便捷、成本低等优点而得到广泛的应用。脑-机接口按信号的产生原因可分为主动式BCI、反应式BCI和被动式BCI三大类ADDINEN.CITE<EndNote><Cite><Author>Mühl</Author><Year>2014</Year><RecNum>130</RecNum><DisplayText><styleface="superscript">[8]</style></DisplayText><record><rec-number>130</rec-number><foreign-keys><keyapp="EN"db-id="etxvzvf9zfrvdzeeev5vr2tfw2pss2zpfze0"timestamp="1602294184">130</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>ChristianMühl</author><author>Allison,Brendan</author><author>Nijholt,Anton</author><author>Chanel,Guillaume</author></authors></contributors><titles><title>Asurveyofaffectivebraincomputerinterfaces:principles,state-of-the-art,andchallenges</title><secondary-title>Brain-ComputerInterfaces</secondary-title></titles><periodical><full-title>Brain-ComputerInterfaces</full-title></periodical><pages>66-84</pages><volume>1</volume><number>2</number><dates><year>2014</year></dates><urls></urls></record></Cite></EndNote>[8]。主动式BCI无需视觉、听觉和体感等外界的刺激，仅仅是通过用户的主观意识来输出控制指令；反应式BCI需要外部刺激来诱发大脑产生特定的特征信号，然后再根据特征解码来识别人的意图；被动式BCI无需外部刺激也不需要用户主动想象，它通常不以输出控制指令为目的，而是为了检测和研究大脑的活动情况，借此了解用户的疲劳程度、情绪等状态以优化人机交互过程，实现更人性化的人机交互。目前对于脑-机接口系统研究常见的三大典型范式为：基于P300的BCI、基于ssVEP的BCI和基于MI的BCI。其中P300-BCI和ssVEP-BCI因其高信息传输速率和系统稳定性，成为目前研究最为广泛的反应式BCI。基于MI的主动式BCI虽然指令集少，信噪比低且使用前需要长时间的训练，但先天异步的特性决定了其自然的使用体验，目前在运动康复领域中得到了广泛的应用。1.3脑-机接口系统性能的评价指标由于不同类型的脑-机接口有其不同的实验范式、信号特征和应用场景等，所以评价脑-机接口系统的性能指标也有所差异。目前比较常用的脑-机接口系统性能评价指标主要有以下两种：（1）分类识别正确率分类正确率(Accuracy)是目前最简便也是最常用的对于BCI性能的评价指标，它能直接反映出BCI系统的可靠性。在其它条件不变的情况下，分类识别正确率越高（最高为100%），就说明该BCI系统得性能越好。（2）信息传输速率在脑-机接口中同时提供给用户选择的指令总和称之为指令集，指令数量越多说明每个指令包含的信息量越大，系统性能也就越高。但是不同的脑-机接口系统有不同的指令集和识别速度，仅以一个正确率指标来评价系统性能有很大的局限性。因此Mcfarland等人提出信息传输速率(InformationTransferRate,ITR)的概念ADDINEN.CITE<EndNote><Cite><Author>Mcfarland</Author><Year>2003</Year><RecNum>123</RecNum><DisplayText><styleface="superscript">[9]</style></DisplayText><record><rec-number>123</rec-number><foreign-keys><keyapp="EN"db-id="etxvzvf9zfrvdzeeev5vr2tfw2pss2zpfze0"timestamp="1602117489">123</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Mcfarland,DennisJ</author><author>Sarnacki,WilliamA</author><author>Wolpaw,JonathanR</author></authors></contributors><titles><title>Brain–computerinterface(BCI)operation:optimizinginformationtransferrates</title><secondary-title>BiologicalPsychology</secondary-title></titles><periodical><full-title>BiologicalPsychology</full-title></periodical><pages>237-251</pages><volume>63</volume><number>3</number><dates><year>2003</year></dates><urls></urls></record></Cite></EndNote>[9]，它反映了BCI系统在单位时间内信息的传输量(单位：bits/min)，其公式如下：ITR(1-1)式中，N为指令集大小；P是系统分类的正确率；T是系统输出一个指令总共需要的时间，单位为秒。1.4脑-机接口技术存在的问题近年来，随着脑-机接口技术的不断发展，目前性能最高脑-机接口主要集中于ssVEP-BCI。2014年，Nakanishi等人ADDINEN.CITE<EndNote><Cite><Author>Nakanishi</Author><Year>2014</Year><RecNum>102</RecNum><DisplayText><styleface="superscript">[10]</style></DisplayText><record><rec-number>102</rec-number><foreign-keys><keyapp="EN"db-id="etxvzvf9zfrvdzeeev5vr2tfw2pss2zpfze0"timestamp="1602053774">102</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Nakanishi,Masaki</author><author>Wang,Yijun</author><author>Wang,Yu-Te</author><author>Mitsukura,Yasue</author><author>Jung,Tzyy-Ping</author></authors></contributors><titles><title>GeneratingVisualFlickersforElicitingRobustSteady-StateVisualEvokedPotentialsatFlexibleFrequenciesUsingMonitorRefreshRate</title><secondary-title>PlosOne</secondary-title></titles><periodical><full-title>PLoSOne</full-title></periodical><pages>992-35</pages><volume>9</volume><number>6</number><dates><year>2014</year><pub-dates><date>Jun11</date></pub-dates></dates><isbn>1932-6203</isbn><accession-num>WOS:000338631000065</accession-num><urls><related-urls><url><styleface="underline"font="default"size="100%"><GotoISI>://WOS:000338631000065</style></url><url>/plosone/article?id=10.1371/journal.pone.0099235</url></related-urls></urls><custom7>e99235</custom7><electronic-resource-num>10.1371/journal.pone.0099235</electronic-resource-num></record></Cite></EndNote>[10]实现了在12刺激目标下的分类正确率为92.78%；在2018年他们又在40指令集BCI系统中以300ms时长的脑电数据输出一个指令，其识别正确率在90%左右，信息传输速率达到325bit/minADDINEN.CITE<EndNote><Cite><Author>Nakanishi</Author><Year>2018</Year><RecNum>11</RecNum><DisplayText><styleface="superscript">[11]</style></DisplayText><record><rec-number>11</rec-number><foreign-keys><keyapp="EN"db-id="pdvatx5aar2exkess0b5atwy5zfsfe59t9va"timestamp="1619574402">11</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Nakanishi,Masaki</author><author>Wang,Yijun</author><author>Chen,Xiaogang</author><author>Wang,Yu-Te</author><author>Gao,Xiaorong</author><author>Jung,Tzyy-Ping</author></authors></contributors><titles><title>EnhancingdetectionofSSVEPsforahigh-speedbrainspellerusingtask-relatedcomponentanalysis</title><secondary-title>IEEETransactionsonBiomedicalEngineering</secondary-title></titles><periodical><full-title>IEEETransactionsonBiomedicalEngineering</full-title></periodical><pages>104-112</pages><volume>65</volume><number>1</number><dates><year>2018</year></dates><isbn>0018-9294</isbn><urls></urls></record></Cite></EndNote>[11]。虽然目前ssVEP-BCI的正确率和传输速度都达到一个比较高的水平，但是单纯的ssVEP-BCI的性能仅能支持应用到对实时性要求不高，对错误不敏感的领域，如为肢体残疾人士设计的脑控键盘ADDINEN.CITE<EndNote><Cite><Author>Scherer</Author><Year>2004</Year><RecNum>12</RecNum><DisplayText><styleface="superscript">[12]</style></DisplayText><record><rec-number>12</rec-number><foreign-keys><keyapp="EN"db-id="pdvatx5aar2exkess0b5atwy5zfsfe59t9va"timestamp="1619574402">12</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Scherer,R.</author><author>Muller,G.R.</author><author>Neuper,C.</author><author>Graimann,B.</author><author>Pfurtscheller,G.</author></authors></contributors><titles><title>AnasynchronouslycontrolledEEG-basedvirtualkeyboard:Improvementofthespellingrate</title><secondary-title>IeeeTransactionsonBiomedicalEngineering</secondary-title></titles><periodical><full-title>IEEETransactionsonBiomedicalEngineering</full-title></periodical><pages>979-984</pages><volume>51</volume><number>6</number><dates><year>2004</year><pub-dates><date>Jun</date></pub-dates></dates><isbn>0018-9294</isbn><accession-num>WOS:000221578000016</accession-num><urls><related-urls><url><GotoISI>://WOS:000221578000016</url></related-urls></urls><electronic-resource-num>10.1109/tbme.2004.827062</electronic-resource-num></record></Cite></EndNote>[12]、脑控轮椅ADDINEN.CITE<EndNote><Cite><Author>Diez</Author><Year>2013</Year><RecNum>13</RecNum><DisplayText><styleface="superscript">[13]</style></DisplayText><record><rec-number>13</rec-number><foreign-keys><keyapp="EN"db-id="pdvatx5aar2exkess0b5atwy5zfsfe59t9va"timestamp="1619574402">13</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Diez,PabloF.</author><author>TorresMuller,SandraM.</author><author>Mut,VicenteA.</author><author>Laciar,Eric</author><author>Avila,Enrique</author><author>Bastos-Filho,TeodianoFreire</author><author>Sarcinelli-Filho,Mario</author></authors></contributors><titles><title>Commandingaroboticwheelchairwithahigh-frequencysteady-statevisualevokedpotentialbasedbrain-computerinterface</title><secondary-title>MedicalEngineering&Physics</secondary-title></titles><periodical><full-title>MedicalEngineering&Physics</full-title></periodical><pages>1155-1164</pages><volume>35</volume><number>8</number><dates><year>2013</year><pub-dates><date>Aug</date></pub-dates></dates><isbn>1350-4533</isbn><accession-num>WOS:000321229800012</accession-num><urls><related-urls><url><GotoISI>://WOS:000321229800012</url></related-urls></urls><electronic-resource-num>10.1016/j.medengphy.2012.12.005</electronic-resource-num></record></Cite></EndNote>[13]等。对于在高指令密度，错误会引发严重后果的应用领域，如工业上机械臂的控制或无人机这种移动迅速且具有一定安全风险的执行器来说，目前的BCI技术水平并不适合直接应用。而且在实际使用过程中，由于个体差异性，部分人群的脑电信号质量较差，因此BCI还面临着需要挑选被试的问题。另一方面，目前的BCI系统大多都是同步型的，用户需要在系统的提示下完成的特定任务才能进行控制指令的输出，用户无法自主控制系统的开始和关闭，用户体验感较差，这极大地限制了BCI系统应用到日常生活中。而基于MI范式构建的异步BCI系统，由其用户可以无需提示而自主控制系统运行的优点逐渐受到了研究者的青睐。为了进一步提升BCI系统的分类正确率和可靠性，降低个体差异性的影响，提升用户的体验度，多模态的生理信号分析方式被认为是最有希望弥补目前BCI系统不足的技术手段，诸如肌电（眼电）辅助，眼动追踪辅助等。其中眼动追踪技术可以实时获得人眼在屏幕上的视线落点，从而对视觉型ssVEP-BCI形成强有力的补充和足够的数据冗余效果。通过进行实时EEG与眼睛注视位置的同步监测，研究多模态数据的融合方法，可以充分发挥两种生理参数作为BCI指令输出的优势，突破任意一种信号单独应用所能达到的性能极限。而主动式的MI与眼动追踪融合则可以构建更加流畅的人机交互界面，提高用户的使用体验。故本文将分别对基于ssVEP-ET和MI-ET融合的混合脑-机接口展开研究。参考文献ADDINEN.REFLIST[1] WolpawJ,WolpawEW.Brain-ComputerInterfaces:PrinciplesandPractice[M].2012.[2] DadarlatMC,O'DohertyJE,SabesPN.Alearning-basedapproachtoartificialsensoryfeedbackleadstooptimalintegration[J].NatureNeuroscience,2015,18(1):138-144.[3] vanDokkumLEH,WardT,LaffontI.Braincomputerinterfacesforneurorehabilitation

–

itscurrentstatusasarehabilitationstrategypost-stroke[J].AnnalsofPhysicalandRehabilitationMedicine,2015,58(1):3-8.[4] LécuyerA,LotteF,ReillyRB,etal.Brain-ComputerInterfaces,VirtualReality,andVideogames[J].Computer,2008,41(10):66-72.[5] SaboorA,RezeikaA,StawickiP,etal.SSVEP-BasedBCIinaSmartHomeScenario[C]//InternationalWork-conferenceonArtificialNeuralNetworks.Springer,Cham,2017.[6] RamadanRA,RefatS,ElshahedMA,etal.BasicsofBrainComputerInterface[M].SpringerInternationalPublishing,2015.[7] ThurlingsME,vanErpJBF,BrouwerA-M,etal.EEG-BasedNavigationfromaHumanFactorsPerspective[M]//TANDS,NIJHOLTA.Brain-ComputerInterfaces:ApplyingourMindstoHuman-ComputerInteraction.London;SpringerLondon.2010:71-86.[8] MühlC,AllisonB,NijholtA,etal.Asurveyofaffectivebraincomputerinterfaces:principles,state-of-the-art,andchallenges[J].Brain-ComputerInterfaces,2014,1(2):66-84.[9] McfarlandDJ,SarnackiWA,WolpawJR.Brain–computerinterface(BCI)operation:optimizinginformationtransferrates[J].BiologicalPsychology,2003,63(3):237-251.[10] NakanishiM,WangY,WangY-T,etal.GeneratingVisualFlickersforElicitingRobustSteady-StateVisualEvokedPotentialsatFlexibleFrequenciesUsingMonitorRefreshRate[J].PlosOne,2014,9(6):992-935.[11] NakanishiM,WangY,ChenX,etal.EnhancingdetectionofSSVEPsforahigh-speedbrainspellerusingtask-relatedcomponentanalysis[J].IEEETransactionsonBiomedicalEngineering,2018,65(1):104-112.[12] SchererR,MullerGR,NeuperC,etal.AnasynchronouslycontrolledEEG-basedvirtualkeyboard:Improvementofthespellingrate[J].IeeeTransactionsonBiomedicalEngineering,2004,51(6):979-984.[13] DiezPF,TorresMullerSM,MutVA,etal.Commandingaroboticwheelchairwithahigh-frequencysteady-statevisualevokedpotentialbasedbrain-computerinterface[J].MedicalEngineering&Physics,2013,35(8):1155-1164.[14] 韩玉昌.眼动仪和眼动实验法的发展历程[J].心理科学,2000,(04):71-74.[15] 王浩.眼动跟踪技术的研究与实现[D].吉林大学,2016.[16] JacobRJK,KarnKS.CommentaryonSection4-EyeTrackinginHuman-ComputerInteractionandUsabilityResearch:ReadytoDeliverthePromises[M]//HYöNäJ,RADACHR,DEUBELH.TheMind'sEye.Amster