毕业设计（论文）-基于稳态视觉诱发的脑机接口

毕毕业业设设计计(论论文文)题目基于稳态诱发电位的脑机接口构建学院信息科学与工程系别自动化专业测控技术与仪器年级2007级学号姓名导师定稿日期：定稿日期：2011年年5月月20日日I摘要本课题主要研究基于稳态视觉诱发（SSVEP）的脑机接口（BCI）的建构，电脑的显示器中会出现四个会闪烁的长方形物体，它们以不同的频率闪烁，代标了上下左右四个不同的方向。使用者只需要盯着某个长方形，就可以选中那个方向。实验一共邀请了三位被测试者，他们的平均正确率有75%。这个研究表面了基于SSVEP的BCI系统所拥有的广泛前景。关键词：脑机接口，稳态视觉诱发，脑电图IIAbstractThispaperpresentsabrain-computerinterface(BCI)basedonthesteady-statevisualevokedpotential(SSVEP).Fourrectanglesflashingatdiffentratesweredisplayedonacomputermonitor.Therectanglespresentingfourdirectionsupdownleftandright.Userscouldselectthedirectionbygazingatthesebuttons.Threesubjectswereinvolvedinthisexperiment.Theuationoftheperanceofthissystemshowedameansuccessrateof75%.ThisresearchemphasizeagreetgreatprospectsfortheSSVEPbasedBCIsystems.Keywords:Brain-computerinterface(BCI)steady-statevisualevokedpotential(SSVEP)electronencephalography(EEG).III目录第第1章章绪论绪论.11.1课题的研究意义.11.2脑机接口的结构.21.3BCI技术中较为著名的成果.21.4课题的安排.3第第2章章BCI系统的背景知识系统的背景知识.42.1BCI系统的采集方式.42.2EEG模式与稳态视觉诱发.52.3信号的预处理.62.4信号的特征提取与分类算法.72.5开发平台.82.6UDP通讯协议.9第第3章章系统设计系统设计.113.1SSVEP选择.113.2系统实现.133.3实验安排.22第第4章章数据分析数据分析.234.1在线表现评估.234.2离线分析.26第第5章章课题总结与展望课题总结与展望.325.1课题总结.325.2课题展望.32参考文献参考文献.34致谢致谢.35基于稳态诱发电位的脑机接口构建1第1章绪论1.1课题的研究意义脑机接口（Brain-ComputerInterfaceBCI）是一种能让人“心想事成”的技术。100多年前科学家HansBerger第一次记录了脑电波（ElectroencephalographyEEG），人类对大脑的开发从此进入了新的时代。之后的研究表明，不仅大脑中充满电活动，而且这些脑电波并非杂乱无章。这些电活动和人的精神状态，情绪活动，大脑健康程度都有莫大的关系。学者们据此开发了多种应用，比如大脑的医学检测仪器，测谎仪等。BCI也是其中之一。这是一项涉及医学，神经学，信号检测，信号处理，模式识别等多学科交叉技术。在20世纪70年代JacquesVidal的研究拉开了BCI的序幕。在1999年，在纽约州Albany的Rensselarville研究所举办的第一届国际BCI技术会议上，JonathanR.Wolpaw正式给出了BCI系统的定义：“脑一计算机接口(BrainComputerInterfaceBCI)是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系统。”说明了BCI系统类似于一种不同于传统的一种新交流方式。在日常生活中，人机交互无处不在，用的最多的恐怕是采用键盘和鼠标来控制电脑，别的交互方式也如层出不穷，比如语音控制，触摸控制，重力感应，动态捕捉等，它们越来越多地融入到了我们的身边，但这些交互方式都或多或少要求使用者来活动肌肉。对于正常人来说这再也简单不过了，这也是正常人与外界沟通的方式，大脑控制各个部分的肌肉来传达思想。而有些肌肉以及神经系统的损伤的患者，大脑和肌肉脆弱的联系不复存在，大脑的指令无法传递，心有余而力不足。对于这样无法控制自己身体，不能正常动弹的人来说，上述的交互方式多半显得遥不可及。而他们失去的远远不止体验新奇的乐趣。无法与人自如交流，生活也不能自理等，他们的心理以及生理皆承受着常人无法想象痛苦。如果可以从大脑中直接采集指令，不经过肌肉，只需要动下心念，就可以控制身边的设备，对于这些患者而言无疑是一个福音。而且对于正常人来说，类似于用意念来控制物体的交互方式，作为一种新的操作方式，显得非常特别，且充满了新奇，在娱乐方面和日常应用上具有巨大的潜在商业价值。只需思考就就可以操作设备，不用物理上的碰触，也非常的方便，很多特殊的工作情况下，可以作为一种新的控制手段。无论是为人提供生活以及操作上的便利还是新颖的娱乐体验，对于整个社会来说有利的，BCI作为人类对自我探究的一部分，在人类的科学研究事业中是不可缺少的一步。随着电脑计算能力的提升，BCI技术在最近的几十年中发展迅速，虽然离投入实际应用还有一段距离，但这不妨碍BCI在当今科学研究的多个领域成为了热点。基于稳态诱发电位的脑机接口构建21.2脑机接口的结构BCI系统的组成没有明确的规定，不同研究小组以及不同的诱发方式都会导致系统的不同，通常系统可以归纳为有三个部分，信号的采集，处理，结果的输出。信号的采集的部分中，大脑产生的EEG信号被测量，并输送到BCI的下一个环节。而处理中一般包括了信号的预处理，在其中信号中的干扰和噪音将被一定程度地滤除，提高信噪比，以便于后续的处理。此外，在信号处理环节中还包括对信号经行特征提取与分类过程，这个过程将产生最终的结果。最后的输出部分，主要目的为输出先前处理的结果，有些将控制特定的设备，大多数结果仅仅是出现在显示器上，输出的同时也可以为使用者带来反馈信号。不过，反馈环节并不普遍，虽然它会提高整个系统的正确率，但是系统的速度可能因此降低，另外也提高了系统的复杂度。1图图1-1BCI系统的通用结构系统的通用结构1.3BCI技术中较为著名的成果Birbaumer和Neumann等人在2003年利用SCP设计了一个思维翻译器（ThoughtTranslationDeviceTTD），实现一些简单的操作功能。奥地利的Graz技术大学对运动想象做了长期的研究，比如让使用者用意念就可以控制机器手，正确率为80%100%。1988年的Farwell和Donchin利用该电位设计了一种基于P300有36个选项的打字系统。该系统的在保持80%准确率的情况下，每分钟可以打出7.8个字符。在VEP中Sutter在1992年也设计了一个具有64个符号的系统，采用随机红绿色交替的刺激方式，使用者的目光注视时其中任何一个将引发VEP信号。另外Middendorf在2000年也开发了基于VEP的BCI系统，该系统中被控制的物体是几个以不同频率闪烁的按钮。他们还利用SSVEP来控制飞行模拟器，拥有96%的准确性。信号采集信号处理结果输出反馈预处理特征提取分类基于稳态诱发电位的脑机接口构建3在中国，学者程明，高上凯教授带领的团队设计的系统基于SSVEP，可以采用该系统对环境进行控制，并且根据此设计了电话拨号试验系统。2-61.4课题的安排本文主要描述了一个基于SSVEP的BCI系统从设计到实现本且介绍了SSVEP的实验安排，以及对试验中的数据做出分析和讨论。第一章介绍了课题的现实意义相关背景知识的介绍。第二章介绍了本系统所采用的知识背景。第三章主要介绍了系统的设计到实现以及实验的安排。第四章主要对数据经行里离线分析，对其中的发现的问题做出讨论。第五章是对课题研究的总结、心得。基于稳态诱发电位的脑机接口构建4第2章BCI系统的背景知识2.1BCI系统的采集方式大脑中有100160亿个神经细胞和100万亿个突出等物质构成，神经元之间通过脉冲来传递信号，常见的测量方法是EEG，EEG但通过在大脑的皮肤外边固定上电极来测量脑中的电信号，所检测到的不是单个神经元的电活动，只有当脑中的整体电场到达一定强度后，才能被头皮表面的电极记录到。这样采集到的脑电信号不仅微弱，而且充满噪音，但是这种方式简单而且价格低廉，实用性强，而且各种优秀的滤波以及处理算法相继问世，使得这种脑信号采集方式在实验室中被广泛应用。除此之外还有大脑皮层电位（ElectrocorticogramECoG），这种采集脑电信号的方式中中，需要将电极植入大脑，直接从皮层中采集信号。这样的话，脑电信号因为不需要通过头皮的传导，所以无论是信号强度还是信噪比方面都有着不少优势，不过将电极植入大脑，需要外科手术，所以对操作者提出了很高的专业要求，相对前一个方法来说代价高昂。对于人来说，在头皮中植入电极显得难以接受，所以通常使用在动物身上，不过让动物参与到BCI的试验中，会带来很多不便。脑磁图(MagnetoencephalogramMEG)，能够记录大脑活动的磁场变化，和EEG信号差不多，但是没有EEG便捷。功能磁共振(FunctionalMagneticResonanceImagingFMRI)用来测量大脑内部的代谢变换，但是设备过于庞大，花费巨大，同样不适合用于BCI系统。测量脑电的方式还有很多，而EEG是当今实验室中BCI系统通常采用作为输入信号的方式。EEG在头皮表面安放的电极并非杂乱无章，或者随心所欲，有通用的国际准则，以下是10-20系统，这些电极通常被固定在专门又来检测EEG的电极帽上，使用时，只需带上电极帽就可，不必挨个安放电极。我们使用的系统中共有64个电极，但不必都使用，在做SSVEP实验时，只用到了其中的12个电极，这些电极主要集中在大脑后枕区，后枕骨附近，同时这里也是公认的视觉区域，SSVEP所诱发的EEG信号主要由这里产生。7在耳朵上有一个参考电极，并且在头部靠前位置放置接地信号，在两侧耳朵夹有参考电极。基于稳态诱发电位的脑机接口构建5图图2-1本系统的本系统的EEG布局布局2.2EEG模式与稳态视觉诱发EEG中可以用来作为控制信号的模式有很多，通常用以下集中模式来构建BCI系统。（1）慢皮层电位慢皮层电位SCP(Slowcorticalpotentials)是一种皮层电位，有较大的正负幅值差异，持续时间比较长，从几百毫秒到数分钟不等，正负电位的产生这和人的活动有关，负向电位和人的皮层活动增加有关，而正向电位和活动减少有关。当使用者可以通过较长时间的生物反馈训练来控制这种变化。（2）事件相关同步或事件相关去同步电位当人想象一个动作时，比如活动单个手臂，但是没有产生实质动作之前，在大脑的运动控制区域会产生相关的电活动，大脑同侧产生事件相关同步电位ERS（EventGNDFZCZPZOZC4C3P3P4T6T5O2O1ref基于稳态诱发电位的脑机接口构建6Relatedsynchronization）大脑对侧产生时间相关去同步电位ERD(EventRelateddesynchronization)。（3）P300事件相关电位ERP(EventRelatedPotential)是一种和刺激事件相关的电位，P300为事件相关电位的一部分，在事件产生后的300毫秒产生，所以称为P300，P300的幅值大小和产生刺激的意外性有关，刺激越不可预见，产生的P300幅值就越大。8（4）短时视觉诱发电位短时视觉诱发电位也是事件相关电位的一种，通过人眼注视视觉刺激产生，这种电活动发生在大脑中的视觉皮层，大约在刺激产生后的100毫秒达到负峰值，200毫秒达到正峰值。（5）稳态视觉诱发视觉诱发电位与短时视觉诱发类似，但当目光注视的刺激频率稳定，并且超过一定频率时候，但又不是过于高的时候（3.5Hz75Hz），在大脑中与视觉有关的区域中，会产生一个与刺激频率相同或者成整数倍的震荡波纹，根据这个波纹的频率可以判断出目光注视的闪烁是什么频率。9EEG的模式还有很多，不止以上五种。在上述的方案中，前两种是关于大脑自发的电位，可以在不接受外界刺激的情况下直接由人的心理活动产生，这些方法的优点在于可以少一整套的刺激设备，简化实验的设备和以及试验方法，缺点是需要使用者接受为时不短的训练，增加了使用的难度。后三种法案属于诱发方式，采用的原理为基于人脑对外界刺激的自然生物反映，由于这些反应出于人类本能，所以使得这些方法不需要长时间的训练，但需要诱发环节。2.3信号的预处理EEG中，诱发信号的幅值一般只有0.30.2muV，而自发脑电往往是它的5-10倍，除此之外还有肌电，工频50Hz等。目标电位被淹没在噪音中。所以在后续处理前，先要对EEG过滤，以消除期中的杂音，提高信噪比。10常用的预处理方法有独立分量分析、非线性滤波、直接相减、自适应干扰消除等。总的来说，有根据生物学原理直接提取特征值最为集中的频率，使用高通，低通等各种基于频率响应的滤波器，保留主要频率滤除不需要的干扰。或者直接在大脑的相关区域经行检测，对于SSVEP来说，将电极集中在大脑的后枕骨附近，可以取得相对较好的信号。还有通过数学的统计方法，比如固定权重的空间滤波器。还有具有学习功能基于系统分析的算法，独立成分分析（ICA），主成分分析等，当然各个方法之间并不排斥，可以组合使用。独立成分分析是Comon在1994年提出的，是当今BCI系统中较为热门的算法。ICA的作基于稳态诱发电位的脑机接口构建7用为在很多纷乱混合的信号中，将不同来源信号一个个分离出来。这样做就需要有一个前提，那就是信号源是独立的，不同于主成分分析PCA会找到不相关的成分，ICA具有高的准确性。在本系统中使用巴特沃斯滤波器，以下是该滤波器的介绍。11巴特沃斯滤波器作为一种基于频率的滤波器广泛应用在电子工程领域中，它最早由英国工程师斯替芬巴特沃斯（StephenButterworth）提出。巴特沃斯滤波器的特点是频率响应曲线平滑（相比切比雪夫滤波器）。该滤波器的传递函数可以如下表示：|（）|2=(1)21+(2)2其中n为巴特沃兹滤波器的阶数，c1和c2分别为带通的两个边界频率。以下是巴特沃斯滤波器的带通滤波图：图图2-210Hz-100Hz巴特沃兹滤波巴特沃兹滤波图中的三条曲线都为巴特沃兹滤波器在10Hz-100Hz的带通滤波情况，也就是c1和c2分别为10Hz和100Hz，区别在于阶数n不同，其中的蓝色的连续线的所表示的铝箔函数中n=1，绿色点划线中n=2，红色的虚线中n=3。可以从图中看出n的数值越大，滤波后的边缘频率的幅度变化也就越大。虽然变化的幅度大意味着通频带的选择更为彻底，但是也同时以为这有更多的信息在滤波的过程中丢失，这样不利于后续的数据处理。有次看来阶数n是一把双刃剑，需要选择恰当，在本系统中n选择为3。基于稳态诱发电位的脑机接口构建82.4信号的特征提取与分类算法可以驱动BCI的有用信号往往纬度很高，对它们在不都是有用信号的前提下进行降维的过程称为特征提取。常用的特征提取的方法有很多，比如，AR（autoregression）参数估计，快速傅立叶变换等。特征被提取后，需要对特征经行辨识，把需要用来控制控制的信号识别出来，这种算法称为分类算法，常用的分类算法有决策树，贝叶斯分类器，线性分类器（LinearDiscriminantAnalysisLDA），支持向量机（SupportVectormachineSVM）等。12以上两个步骤虽然在很多的BCI系统中都存在，但不是必须的步骤，可以根据不同的系统灵活而变。在本次BCI系统以及离线分析中运用到的算法有典范对应分析和快速傅立叶变化，以下将对此做介绍：2.4.1典范对应分析典范对应分析CCA（canonicalcorrespondenceanalusis），又称多元直接梯度分析。这是一种基于统计学的方法，用于研究两组变量之间的线性关系。该算法可以在两组变量中找到一个描述两者间数据集合关系的系数，该系数越大，说明该两个数据集合间的关系越密切。在系统中依靠Matlab的内置CCA算法程序来实现CCA的计算，便捷而且准确。2.4.1快速傅立叶变换快速傅立叶变换FFT（FastFouriertransAlgorithm），是离散傅立叶变换DFT（DiscreteFourierTrans）的快速算法，将庞大的傅立叶计算量化整为零，可以适用于正反两种傅立叶变换变换。同样的本系统中采用Matlab的内置FFT算法来实现FFT的计算。2.5开发平台本系统的开发与使用均是在Windows7系统下进行，在开发人机界面所使用的工具为Qt4，而搭建控制系统所使用软件为Matlab。Matlab作为一款颇有盛名的软件，不仅仅是一款强大的数学工具，同时其强大的编程能力使得Matlab在工程，科研领域中得到了广泛使用，为人们所熟悉，在此就不对Matlab过多介绍。Qt有着强大的灵活性和高度的适应性，但是不太为人所熟知的软件，以下将对Qt和Qt中有关信号和槽的概念做一介绍。基于稳态诱发电位的脑机接口构建92.5.1Qt简介13Qt4是Qt系列中最新的一个版本。Qt系列是美国奇趣科技公司的主要产品。在其趣科技公司的两位创始人Haavard和Eirik在位于挪威特隆赫姆的诺维克经济学院相识，在研究合作中他们有了创建一个面向对象的、跨平台的图形用户界面的设想。1993年他们开发出了Qt的第一套图形内核程序，随后两位创始人决定进军商业市场。在没有资金，客户的情况下两位年轻的程序员依靠家人的坚定支持，在对Qt系统的开发与完善中度过了1994年，1995年的时候他们才迎来了自己的第一位客户，与他们签订了一份商业开发和合同，确保了公司的发展。而在同年间Qt的是最初版本被上传到了网上，从那时起Qt的程序就提供了两个软件许可协议：用于商业开发的商业许可协议，和用于开园开发的自由软件许可协议，这奠定了Qt开源的基础。一直到1996年他们的第二位客户买下了10份商业许可协议。在后来的发展中Qt系统可以在多个不同的平台中运行，以及编译，这种“一次编写，随处编译”的方式，让Qt可以胜任开发出跨平台图形用户界面应用程序的任务。Qt的模块化程度很高，内置丰富的API，使用方便，灵活性强。此外Qt的免费版是开源的，这使得Qt具有强大的生命力以及高扩展性。在长时间的发展中Qt受到了世界各地的编程爱好者以及专业人员所喜爱以及好评，发展稳健而快速。在1999年Qt赢得了LinuxWorld的最佳库工具奖，在2001和2002年中Qt的linux版本为他们公司获得了多个奖项，而在2002年，Qt3赢得了SoftwareDevelopmentTimes的JoltProductivityAward，这个奖项素有软件业的奥斯卡之美誉，说明Qt从10年前只有一个少数专业人士熟悉的秘密产品，转变成了行业的主流，为大多数人所接受以及热爱。2005年Qt4发布，其中有500多个类和9000多个函数，在丰富程度上超过了以往的任何一个版本。相对于过去的Qt产品，Qt4对程序做了大量的大规模改进，以及上千万个小改良。Qt4也是第一个可以在所有可支持平台上，既有商业许可又有自由许可的版本，可谓进步巨大。在不久前Qt所在的其趣科技公司被手机巨头诺基亚收购，于是在Qt平台上可以方便地为诺基亚的手机系统开发应用。2.5.2信号与槽早在1992年奇趣公司的创始人之一Eirik就提出了信号和槽的设想，这是一个简单而有效的强大的机制，是Qt编程的基础。Qt的信号有很多种，有很多信号是预设的，比如单击窗口等也可以自己定义设置信号，在需要的时候把信号发送出去。槽类似C+中的函数，基本拥有函数的种种特性，也有着函数没有的特性，那就是和信号相关联，一旦槽与信号链接起来，每当相应的信号被发射出来，系统会自动调用与之相连的槽。这有点类似于单片机的中断信号与中断相应程序。信号与槽的连接方式十分灵活，一个信号可以链接多个槽，而多个槽也可以链接一个信号。2.6UDP通讯协议基于稳态诱发电位的脑机接口构建10UDP（UserDatagramProtocol），中文名是用户数据包协议。该协议在传输数据过程中将数据整合成数据包的形势，通常一个数据包的报头由四部分组成，那就是源端口号，目标端口号，数据报的长度，校验值。这样的情况下可以使得传输更为准确。UDP协议有以下集中特性：（1）UDP是一个无连接协议，传输数据之前源端和终端不建立连接，当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制；在接收端，UDP把每个消息段放在队列中，应用程序每次从队列中读一个消息段。（2）由于传输数据不建立连接，因此也就不需要维护连接状态，包括收发状态等，因此一台服务机可同时向多个客户机传输相同的消息。（3）UDP信息包的标题很短，只有8个字节，相对于TCP的20个字节信息包的额外开销很小。（4）吞吐量不受拥挤控制算法的调节，只受应用软件生成数据的速率、传输带宽、源端和终端主机性能的限制。上述特性决定了UDP协议相对于换联网上常用的TCP协议而言是一个不可靠的协议，在网络质量不理想的情况下丢包的情况非常的严重。但是它却有着TCP协议无法比拟的速度优势，无论在占有的带宽或者处理速度上而言.UDP协议通常被运用在对掉包不敏感，而对网速有要求的运用中，比如视频通讯，语音聊天等。此外在局域网的数据传输中，因为通常情况下网络质量比较理想，所以也常用UDP协议来提高传输的速度。本系统中的采用的UDP协议来进行局域网络的链接，就是根据UDP系统已对系统占有少，并且速度快的优点。基于稳态诱发电位的脑机接口构建11第3章系统设计3.1SSVEP选择在实验室中可以用来实现SSVEP诱发的方式有很多，通常是人的双眼同时注视着某个闪烁的物体，根据EEG的变化来判断所注视的物体，但是也有不同的方法，有些可以不用让使用者的目光注视着闪烁物体，14也有可以让双眼观察不同闪烁的物体，然后根据在左右眼不同视觉区域测得的频率值来判断双眼所注视的是哪一组闪烁物，在本系统中还是用第一种方式来诱发SSVEP。15除了上述的一点意外，很多细节也会对实验造成影响，无论是对实验效果，还是对于实现的难易度都不同，以下对产生SSVEP的信号源，以及SSVEP的闪烁方式和频率上做了考量。3.1.1闪烁的诱发源16关于SSVEP信号源的选择曾有我国的学者在发光二极管LED（LightEmittingDiode）小灯，液晶显示器LCD（LiquidCrystalDisplay）和使用阴极射线管（CathodeRayTube）的纯平显示器这三种不同的诱发源中做了比较和分析。在同样的闪烁频率，颜色，亮度数据采集方式和实验步骤的情况下，三种SSVEP的诱发源，均可以使得大脑中产生可以辨认的EEG信号。但是根据大脑所产生的信号强度来看LED小灯稍稍占优，其余两个的表现相类似。而对于信号的亮度根据时间的变化来看，LED小灯的亮度是三者中最贴合频率变化的规律，CRT中存在这刷新率的闪烁而干扰，好在当刷新率达一定高度之后对实验的效果影响较小，LCD显示器中没有CRT的刷新率问题，但是对于亮度的变化有着一定的延迟。更具上述LED在SSVEP的诱发方式中占优。而我们试验中选择的诱发源并不是LED而是LCD原因有三点。首先无论以上的那种诱发方式都可以使得EEG信号产生相应的变化，所以无论使用那种至少都可行，采用LED方式并不必需。其次LCD的技术在上述研究报告出来后的几年间发展迅猛，对于频率的延迟也越来越小，诱发SSVEP的质量稳步提高。再者LED所产生的见面，需要硬件电路板的制作，配合相关单片机系统与上位机相连接，而LED系统的建立仅依靠软件编写就可以达到目的，相比而言方便许多，布局的改变更为灵活，见面也跟容易喜迎人的注意。最后在实验室中其它实验者曾尝试过LED的诱发方式，结果发现即使采用了外壳接地和相应的滤波算法，LED电路所产生的电磁信号对EEG的采集干扰严重，较难被去除。所以最后本系统采用LCD作为诱发源。基于稳态诱发电位的脑机接口构建123.1.2闪烁颜色17在闪烁颜色的选择上，有研究者采用日本光电公司的EEG-1100进行SSVEP的实验，在使用了包括蓝色，白色，红色等不同颜色闪烁，对所诱发的EEG信号经行叠加平均以及FFT变换后通过比较得出结论，白色的光产生的SSVEP信号最为强烈，效果也最好，其次是紫光，黄光，红光绿光最后是蓝光。文中对结果做出的假设是人眼的感光是通过视锥细胞来实现的。视锥细胞中与三种不同的感光色素，分别对蓝色，绿色和红色最为敏感。白光中相比其它任何一种颜色的光包更含以上三种颜色，所以视锥细胞的感觉最为充分，诱发的电位也最强。所以结论为产生白色光比较适合来进行SSVEP实验。正如同对闪烁源的选择。因为白光实验的理论基础可信，但没有进一步的论证，实验所采用的系统与我们的不同，因此实验产生的结论不一定可以推广到我们的系统中。在采用LCD作为诱发源的文献中，通常采用红光产生闪烁，也取得了不错的成果，所以本实验也采用该色彩。18实验系统中可以加入红光和白光还有其它光源的对比，可能之后的研究中会将此加入实验。3.1.3闪烁频率对于可以实现SSVEP诱发的频率，学术界的版本有很多，通查比较高的下线为6Hz，在本系统中因为LCD显示器的刷新率被设定为60Hz，所以选择的上限成为了30Hz，这个数值远远小于公认的上限。在我们可以接受的6Hz到30Hz的频率段中，可与选择的频率还是要受到60Hz的刷新率的限制。如此备选的方案的频率从60的2分频到60的10分频，也就是在6Hz-30Hz之间，周期范围是0.03s-0.16s，并且每个可用的频率的周期相差0.016s（160）。在本系统中需要4个不同的频率来诱发SSVEP，在这四个频率之中，不能互成倍数关系，无论是1倍或者多倍，那样的话会影响实验效果。在系统最初测试的时候，发现超过20Hz的频率不能在LCD上很好的显示，所以最高频率定为了15Hz，也就是60Hz的刷新率作了4分频，而最低仍保留6Hz，这样的话我们就有了15Hz，12Hz，10Hz，8.57143Hz，7.5Hz，6.67Hz以及6Hz。在这几个数据中找出符合条件的组合如表3.1：表表3.1可选频率排序表可选频率排序表序序号号频率频率1频率频率2频率频率3频率频率4分频数分频数1分频数分频数2分频数分频数3分频数分频数418.57143101215765426.66667101215965436.666678.5714312159754基于稳态诱发电位的脑机接口构建1346.666678.5714310159764568.57143101510764666.66667101510964766.666678.57143151097487.58.571431012876596.666678.5714310129765106.666677.510129865116.666677.58.57143129875126.666677.58.571431098761367.58.5714310108761466.666678.5714310109761566.666677.510109861666.666677.58.5714310987这个表中的频率都可以在我们实验中使用，根据实际测试情况来选择合适的频率。事实上在系统测试阶段中当我们采用了第一组频率时，也就是8.57Hz，10Hz，12Hz，15Hz的时候发现效果非常的不错，随后就确定这组频率为我们试验中对不同的实验对象固定使用这组频率。试验中也可以不固定频率，对某个实验对象采用不同的频率易观其效果，同样的这一点可能在之后的研究中加以实现。3.2系统实现整个SSVEP系统的实现涉及到不同主机以及不同的应用程序，以下的这一小节中将先介绍系统的整体框架，然后再对其中的每个部分做介绍。3.2.1系统框架系统中的整体组成大致如图3-1所示。本系统中涉及到的微机有两台，两台系统中都装有Windows7操作系统。两台微机的作用分别为执行数据处理和控制人机界面，执行数据处理的微机同时负责控制实验的流程。EEG的采集依靠实验室现有的设备，一个快速电极帽适当地放置在被测试者的头部。从电极帽上的15个电极采集到的数据被送入一个专业的数据采集器。数据采集的频率为256Hz。在这台设备中将对信号进行放大和数模转换，随后通过数据接口把转换好的数据送入负责处理数据的微机。数据处理以及实验控制的核心程序基于Matlab编写，数据处理的结果以及不同阶段的控制信号通过UDP有线局域网络传输给另一台微机以控制人机交互界面。当数据处理的基于稳态诱发电位的脑机接口构建14结果反应到人机界面时候，对被测试着而言也起到了生物反馈的作用。信号采集以及转换数据处理以及实验控制人机界面UDP有线网络连接图图3-1本本BCI系统的结构系统的结构3.2.2人机界面19被测试者在整个实验阶段将几乎始终注视着这个界面，该界面中不仅有诱发SSVEP的闪烁物体，而且显示对被测试者的要求和生物反馈。人机界面的基本布局如图3-2所示。基于稳态诱发电位的脑机接口构建15图图3-2人际交互界面布局人际交互界面布局在实验室本系统人机界面采用22英寸LCD显示器，分辨率1680px1050px。在截图时，因为使用不同的微机，从而屏幕像素为1280px800px，所以界面中各个物体间的比例稍有不同。整个界面的背景为黑色，诱发SSVEP的物体为红色（25500），长方形。这四个长方形长和宽分别200px120px。位置为在红色长方形的右边分别为英文字母“UDLR”为单词up，down，left，right的首字母，表示上下左右。这些字母的颜色为灰色（171717），与背景颜色不是非常显眼，但又可以辨认，为被测试者起到提示的作用。这些字母所占的长方形的长和宽也约为200px120px。字母和各自红色的长方形为一组分别位于屏幕中除去顶上文本框后的正上，正左，正下，和正右。红色的长方形LURD的闪烁频率分别为8.57Hz，10Hz，12Hz，15Hz。在界面的顶部是文本框。文本框分为两个部分，左边部分显示“UDLR”，这是给被测试者的指使，表明要沿着上下左右的顺序依次注视这对应位置的红色闪烁物体。当中用来显示生物反馈信号，也就是从另一台微机发来的数据处理结果，同样也用“UDLR”来表示。3.2.3界面定时方式20因为该界面需要用来诱发SSVEP信号，所以对闪烁频率的控制上有一定的要求，要尽可能的稳定。在频率的控制方面，在程序中通过定时器来实现。对于Qt而言拥有自己的定时器QTimer，这个Qt内置的定时器，在使用时候需要在头文件中包含QTimer文件，可以在固定的时间间隔中发送Timeout信号，主要将相关的槽与之链接基于稳态诱发电位的脑机接口构建16就可以实现定时控制的目的，而且QTimer可以跨平台使用。不过在Windows系统下，当QTimer定时的数值比较小（b？c=b+a调用QueryPeranceCounter取得当前值放入变量b将每个变量减去1是否有变量为0发送信号，并重新赋值开始NoYes图图3-4定时器流程图定时器流程图红色红色变暗321321定时器中断屏幕显示的帧红色32基于稳态诱发电位的脑机接口构建183.2.4双缓存技术界面的绘图上运用到了Qt中的QPainter类来进行绘图的工作，并且使用了双缓存技术来加快绘图的速度，提高实验效果。应用双缓存技术时，会在系统中创建一张和屏幕一样大小的图片，将屏幕上显示的影像先绘制在这张图片上，然后在函数的绘图槽中将图片输出到屏幕中。这样做似乎没有直接将图片输出到屏幕中来的方便。如果需要更改屏幕上的某个部分，传统的做法是调用update()函数，该函数被调用时执行程序中t0:paintEvent()部分的代码，将图像从头到底原原本本地重新绘制一遍。这样做不仅仅把把需要的部分重新绘制出来，也把不需要的部分也绘制了一遍。在本次的SSVEP实验中，当屏幕上的物体在闪烁时，需要大量的重新绘图动作，而实际闪烁的部分却很少，这样的话大部分的时间都用在了不需要的绘制中，使得程序的运行效率低，从而影响了整个实验的效果。若用到了双缓存技术，在图片需要更改的时候，在系统内存中的图片相应相应的部分做出修改，之后让系统仅仅将这一个部分更新到屏幕中就可。这样做比起上一个方案而言而已大大减轻了劳动量。这种更新部分的操作用到也要用到update函数，不过将update重定义了一下QWidget:update(intaxintayintawintah)。双缓存技术在Qt图形界面中被广泛使用和代码中，在普通的图形界面中，不需要实现在程序中加入双缓存的代码，系统会自动将双缓存技术运用到系统的显示中。而在本系统中重新利用代码书写程序的过程也是有意义的，可以确保程序的运行效率更为快捷，提高闪烁的精准程度。3.2.5Matlab下的系统数据处理程序在Matlab的框架下编写，整个程序除了对数据进行处理还肩负着系统控制的任务。控制指令有三个：开始闪烁，停止闪烁和添加字符，添加字符的指令用显示处理程序的结果，为用户增加生物反馈。这个Matlab下的系统结构框图如图3-5。图图3-5Matlab构建系统框架图构建系统框架图采集数据示波器显示采集处理以及实验控制数据存储基于稳态诱发电位的脑机接口构建19其中的数据存储为了便于离线处理和之后的分析。在该系统中的数据处理和实验控制程序将在每次数据采集的时候调用，也就是每秒钟被调用256次。在其中采用了一个互锁的机构来控制，使得实验可以按照顺序进行。图3-6为该程序的主要结构。基于稳态诱发电位的脑机接口构建20图图3-6数据处理以及实验控制程序结构图数据处理以及实验控制程序结构图发送开始闪烁的指令first=false开始采集数据初始化各个参数step1=falsefirst=trueget=truepause_c1=truestep2=truestep1=truepause=pasue+1数据处理以及发送结果date=falsestep3=truestep2=falsestep2=true？get=truepause_c1=truepause_c1=falsedate=trueget=falsepause=0first=true？step3=falsestep1=truepause达到给定值？date=truestep3=truepause=pasue+1pause达到给定值结束开始YesYesYesYesYesYesYesNoNoNoNoNoNoNoNoNoYes基于稳态诱发电位的脑机接口构建21s3.2.6在线数据处理算法在线系统中采用的数据处理算法包括了巴特沃兹滤波算法和CCA算法。巴特沃兹滤波算法中选择的通频带为1Hz到45Hz，所选滤波阶数为3。在程序中使用butter函数获得参数矩阵，然后使用filter函数对进行数据滤波。具体实现如下所示：rtBCI.mfp300_without_fb.SSVEPlofrtBCI.mfp300_without_fb.SSVEPhif=butter(3112845128)对巴特沃兹滤波器参数的赋值m=1:rtBCI.mfp300_without_fb.EvPosbuff6(mm:)=filter(rtBCI.mfp300_without_fb.SSVEPlofrtBCI.mfp300_without_fb.SSVEPhif(rtBCI.Buffssveprow(1:(rtBCI.ssvepmun-1)mm)end将数组中的所有数据经行滤波处理上述程序为虽然只有短短几行表达了一个完整的滤波过程，以下将对上述程序作介绍。rtBCI.mfp300_without_fb.SSVEPlof和rtBCI.mfp300_without