基于视觉诱发电位的脑机接口系统

1、苏州大学本科生毕业设计（论文）目录摘要1第一章 绪论3第二章 视觉诱发电位的选择与制作4第2.1节 视觉诱发电位4第2.2节 运动起始视觉诱发电位的原理与优点4第2.3节 视觉刺激的制作5第三章 E-prime软件呈现视觉刺激7第3.1节 E-prime软件简介7第3.2节 E-prime软件的作用7第3.3节 E-prime程序设计及呈现结果8第四章 实验过程11第4.1节 对大脑各个分区功能的了解11第4.2节 脑电的电极位置和使用12第4.3节 测试对象及实验环境14第4.4节 数据采集15第五章 数据处理与分析16第5.1节 数据处理16第5.2节 ERP波形定性分析20第5.3节 N

2、2峰值的定量分析25第六章 讨论与总结26参考文献27致谢29摘要 脑机接口是近年来刚刚发展起来的一种新的人机交互方式，它可以帮助人们不依赖正常的神经通路，来进行特定的实践活动。虽然已有几十年的历史，脑机接口技术目前仍处于发展阶段。现有的脑机接口技术存在通讯速度低，实现效果不稳定等缺点。本论文主要研究一种新型的基于运动起始视觉诱发电位(motion onset VEP)的脑机接口。人的视觉在短时间内被某个运动的东西刺激后脑电会有反应，本文通过对脑电数据的处理判断出测试者观察的目标，探索基于运动起始视觉诱发电位实现脑机接口的可行性。关键词：脑机接口；运动起始视觉诱发电位；脑电信号Abstract

3、 Brain-computer interface is a way of human-computer interaction which has been newly developed. It can help people practice without depending on the neural pathway in normal. At present, the brain computer interface technology is in the processing stage of development. Nowadays Brain-computer inter

4、face devices performs low communication speed, and some other disadvantages such as instability.This report is mainly for a new type of brain-computer interface which is based on motion onset visual evoked potential. There will be evoked EEG activity if a human subject is visually stimulated by a mo

5、ving target. , Through data processing of such evoked EEG activity, one can determine the target of observation. This report explores the feasibility of a brain computer interface based on motion onset visual evoked potentials .Keywords: BCI; MVEP; EEG第1章 绪论 脑机接口是脑-计算机接口(Brain-Computer Interface, BC

6、I)的简称。是近些年来兴起的一种全新的人机接口。脑机接口是靠人脑与电子设备基于脑电信号建立起来的，实现人与外界信息交流和控制的全新通信系统。脑机接口的实现不依赖于外围神经和肌肉组织等大脑的正常输出通路，而是通过分析脑电波实现人脑与计算机的直接通信。近些年，随着各个科学领域尤其是信息等领域的快速发展，脑机接口这项技术也开始迅速的发展。由于其用途的广泛性，一方面可以给正常人带来乐趣便利，比如可以开发智能游戏，智能控制等，另一方面可以让身体行动不方便的人带来福音，例如可以控制假肢，鼠标等来代替人体部位，可以很大程度上改善他们的生活2。脑机接口的研究地域主要有北美，欧洲和亚洲，其中北美较为发达，并有三

7、大趋势：首先，世界各地的研究BCI广度与研究的幅度在上升；其次，BCI研究正在迅速接近第一代行医的水平；此外，BCI研究预计将在商业竞技场非医疗迅速加快，以及，尤其是在游戏，汽车和机器人，航天军事等行业，如宇航员可利用BCI在失重环境下完成特定的工作。第三，整个BCI研究重点在世界上是不均衡的，有创景气指数几乎完全集中在北美，无创景气指数BCI系统在欧洲和亚洲的发展为主，亚洲还研究机器人系统3。现阶段的脑机接口系统有很多种类，如基于人思维任务的BCI，基于外源刺激的BCI，基于生物反馈的BCI等，而本文研究的是基于外源刺激的脑机接口中的基于运动起始视觉诱发电位的脑机接口系统4。本次毕业设计的目

8、的是验证基于运动起始视觉诱发电位脑机接口的可行性。论文由以下几部分组成：第一章绪论，第二章说明视觉诱发电位的选择与制作的原因与过程，第三章介绍基于E-prime软件呈现视觉刺激的过程，第四章介绍实验的具体过程，第五章介绍基于Analyser软件对数据的处理与分析，第六章给出本文的总结。 第2章 视觉诱发电位的选择与制作第2.1节 视觉诱发电位视觉诱发电位(Visual Evoked Potential,VEP)是大脑枕叶区域对外界的视觉刺激产生的电反应，是代替人的视网膜来接受外界的视觉刺激，并经过视觉系统传输到枕叶皮层而使其电位发生变化。一个视觉诱发电位是指受试者在被刺激后，大脑会呈现一个关于

9、视觉刺激的电位。VEP有几种主要的类型，第一种稳态视觉诱发电位（SSVEP）通过激励所产生的诱发电并利用视觉刺激在特定频率对视网膜进行调制，其刺激通常是由形成交替的棋盘图案构成5，并在一定时间内闪烁图案来形成刺激。另一种类型的视觉诱发电位使用的应用是引起的P300的潜力，P300的事件相关电位（ERP)是一个发生在目标刺激出现后300毫秒，会在被测者脑信号出现一个明显的具有正峰值的电位。还有一种是运动起始视觉诱发电位（MVEP)。本文主要研究MVEP，还有其他一些类型的VEP就不一一列举了5,6,7。第2.2节 运动起止视觉诱发电位的原理与优点 运动起始视觉诱发电位（Motion onset

10、Visual Evoked Potential，MVEP）的原理是在屏幕上快速运动的物体会让大脑在刺激后一定时间（100-300ms）产生一个与视觉运动相关的诱发电位。利用这个视觉诱发电位的最大振幅和最小振幅间可变性使其可应用于脑机接口（BCI）中。有证据表明，运动知觉是在实施可以从被跟踪的视觉运动处理通路大细胞输入到V1高达MT / MST和相关领域皮质，视觉诱发电位的振幅调制组件也已经开始被深入研究8。 MVEP的特点是有三个主要的峰：P1，N2和P2。负N2峰，具有160-300ms潜伏期，是运动特有的优势，并从纹外颞枕部和准顶叶皮层区产生。正P2峰值有约240毫秒的等待时间，并增加了与

11、更复杂的视觉刺激。这些明确和稳健的时空特性使MVEP在一个BCI系统中编码和解码脑电图成分信息变的更加容易7,8。由于运动起始视觉诱发电位(MVEP)比上述视觉诱发电位的类型（P300、SSVEP）允许有更多途径的外界视觉刺激，并且虽然SSVEP也有其优点但纯粹的SSVEP已没有多少东西可让本科生来做，所以在本文中，选择MVEP这种新颖的模式。 再者MVEP中的N2是大脑应对刺激最为显著的目标特征。然后进行离线分析，这样会提高确定目标检测的精度9。第2.3节 视觉刺激的制作 要研究MVEP需要制作一个视觉刺激，并且为了更好与BCI联系,这个刺激需要呈现在屏幕的5个不同位置，其目的是要能测得被试

12、者具体观看的是哪个位置的刺激。在制作视觉刺激前需要编译一段可控制的动画或视频，为的是产生运动的刺激源。本次设计选择用matlab编程，具体的程序如下：clc;clear;fig=figure;aviobj=avifile('example.avi');n=2;x=0:pi/n:4*pi;y=x.0.001;k=0;for t=0:pi/n:4*pik=k+1;x(k)=t;y(k)=t.0.001;H=plot(x,y,'w.',x(k),y(k),'>r','LineWidth',15); axis(0 7 0.9 1.1

13、); MOV=getframe(fig);aviobj=addframe(aviobj,MOV);endclose(fig)aviobj=close(aviobj)程序产生的视频为一个从左向右运动的红色三角如图2.1 。图2.1 matlab生成的视频由于这只是一次一个位置的运动，不符合与BCI联系的要求并且只能进行一次也不便于分析，所以选择用E-prime软件来将这个刺激呈现为想要的结果。第3章 E-prime软件呈现视觉刺激第3.1节 E-prime软件简介E-prime 软件是世界认可的用于心理、脑神经等实验程序设计的专业软件，它的计时精确度可以达到毫秒级别。E-prime 软件使用开放

14、式的、面向研究对象的实验设计方式，通过设置研究对象的某些特征完成大部分关于心理、脑神经等的实验程序，它的好处是不需要编写大量的繁琐的程序代码，让实验研究者可以去关注实验本身把剩余的精力用于完善和创新，从而为研究者提供了便利。因此，E-prime在很多领域非常受欢迎，也越来越为人们所熟知10。第3.2节 E-prime软件的作用要实现视觉刺激任务的播放，就要通过E-prime这个软件平台，它只是一个应用软件提供这个平台，这个平台就可以通过我们的需求来把各种不同的文字，声音，图像，或视频文件按照一定的逻辑顺序呈现出来，因为人的大脑对刺激任务加工反应时间是很快的，而在E-prime实验设计中时间精确

15、率可以达到1ms，并且能把呈现的刺激给电脑回馈一个mark以便分析，所以用这个软件来呈现刺激是合理的。下图（3.1）是E-prime软件的界面图3.1 E-prime软件界面第3.3节 E-prime程序设计及呈现结果这个软件的实验设计理念就是把整个实验分解成一系列的对象，通过设置对象的相关特性来控制实验，以达到实验目的。本文所研究的视觉诱发电位主要需要视频文件来呈现，具体的步骤如下：第一步，构思并画出具体的实验流程图，如图3.2所示。图3.2 设计的实验流图 第二步，创建一个新的目录，用于储存和实验相关的文件。 第三步，在SessionProc中创建指示语（在图3.2中就是TexDispla

16、y1），主要说明测试实验的方法和规定。第四步，用List Object生成核心的实验过程。这一步是实验设计的核心，也是控制实验最后呈现效果的指挥中心，具体内容见图3.3所示。图3.4 List 的设置 在List1控件中，设置了5个不同位置（左，右，中，上，下，对应code一列中的1,2,3,4,5在后面的分析中对应S1，S2，S3，S4，S5）并且使需要呈现的刺激随机出现在某个位置，当5个位置都出现过时一个循环结束,为了更好的分析结果及判断位置对它们做了标记(code一列)并使其总共循环150次。第五步，在List Object中输入刺激源材料（图3.2中movedisply2），由于此软件

17、识别的视频格式比较小，所以我把在matlab中生成的avi文件转成mpg格式并裁剪成最理想的结果。第六步，在流程图（图3.2中Inline3，Inline2）中写入与电脑接连的接口设置以及向电脑能传出标记的mark的语句。具体语句如下：writeport &HD020,0 MovieDisplay2.OnsetSignalEnabled=True MovieDisplay2.OnsetSignalPort=&HD020 MovieDisplay2.OnsetSignalData=c.GetAttrib("code") 几行语句的作用是，把端口清零（因为要传输

18、的脑电信号是高电平触发，清零是为了消除端口高电平干扰），并且把code一列的数值传输mark个电脑。第七步，调试和修改程序直至符合实验要求。第八步，在没有问题后，运行实验。运行结果如图3.5：图3.5 运行结果 在电脑屏幕上，从左向右直线运动红色三角会随机出现在5不同位置（在做实验时每个位置在电脑屏幕上的间距比较大，）的其中一个，待5个位置都出现过后（一次只出现在一个位置）一个循环结束后进入下个循环，做2次实验，每次循环50遍，总共100遍。第4章 实验过程第4.1节 对大脑各个分区功能的了解 基于运动起始视觉诱发电位的脑机接口，主要是在运动的物体刺激眼部后，大脑产生相应的脑电信号，然后通过采

19、集、处理。分析信号数据，判断出相应的命令，再给对应的设备发送指令11。因此，首先需要对人大脑的每个分区的功能有一些了解，确定视觉相关的具体位置，以便在使用脑电仪器时获取有效的信号。如图4.1所示。图4.1 大脑皮质的功能分区 本次实验做的是基于运动起始的视觉刺激的脑机接口，所以需要采集的信号由图4.1知，枕叶区是大脑的视觉区，这一部分接受光以及物体运动刺激作用下由眼产生的神经冲动，即视觉信号12。因此在实验阶段要采集的数据就是位于这一部分的电极（反应在脑电电极上就是O1，O2，Oz)。第4.2节 脑电的电极位置和使用 本次实验采用Brain Products公司的64通道电极帽，各个电极的位置

20、如图4.2所示。由对大脑分区知，视觉诱发电位主要分布在后脑的枕叶，所以只需要测量Oz，O1，O2三个最明显的电极，其中因为这三个波在处理后波形数据相似，并且Oz处于最中央所以Oz是三个中最为准确的电极，所以必须保证Oz采集的准确性。另外，接地电极GND和参考电极REF也需要测量,为方便数据处理，其余电极由于与视觉无关所以在实验中均留空不做处理，无需涂抹电胶。 为了减少脑电电极和大脑皮层之间的阻抗，要在大脑和电极之间涂导电胶，将其阻抗降到允许的范围内，如图4.3，导电胶涂得好与差，会直接影响采集的信号的信噪比，所以需要仔细涂抹13。图4.2电极分布，红色为地极，参考和枕叶区图4.3导电胶 涂胶之

21、前各个电极如图4.4所示。图4.4 涂导电胶之前各个电极的情况 涂完胶电极的效果如图4.5所示。图4.4 涂胶后电极接通情况，绿色为导通良好 由于电极帽或测试者头型等的外部因素，O1电极没有处于导通，不过这不影响实验，因为O1，O2，Oz这三个电极采集的在处理后波形数据相似，而Oz在最中央所以Oz是三个中最为准确，因此分析时只分析Oz即可，O2作为对比数据。第4.3节 测试对象及实验环境 在实验中，被试对象是22岁的男性，视力在4.8以上。测试者在封闭实验室中测试已消除外界干扰（走动的人，声音等）。如图4.6，一次完整刺激为3秒，重复100次，中间休息一次（1分钟）。图4.6 测试者第4.4节

22、 数据采集脑电数据的采集根据Brain Products公司的设备组成，主要仪器有一个直流电源（用来给放大器供电），两台脑电信号放大器（每台有32个通道）、USB Adapter（把放大器输出的光纤信号转换为电信号，然后通过USB接口输入并记录到主机，同时记录并口脉冲标号）、Recorder软件14（脑电数据记录的软件）等。如图4.7所示。图4.7脑电采集所用的实物图使用 Recorder 软件进行数据记录采集过程如图4.8所示。图4.8 采集数据过程 这是采集的O2，Oz的脑电信号，它会标记上mark使得分析数据时更加方便。可以看出Oz比O2的波形受干扰较小。第5章 数据处理与分析第5.1节

23、 数据处理 本次实验的分析需要提取ERP波形（事件相关电位，英文为Event-Related Potentials），它的具体意义是，当外界有某种特定的刺激作用于脑或感觉系统的某一部位（实验中是视觉刺激）时，在相应的脑区会引起电位变化。之所以提取ERP波是因为活着的人脑总会不断放电（脑电），但其成分太复杂并且不是很规则。一般的自发脑电处于0到100微伏之间，而刺激引起的波形本身会淹没在脑电信号中，通常观察不到，所以需要提取，而Aanalyser软件正是针对此波形的提取15。 将采集到的原始数据在Analyser软件中打开如图5.1所示。 图5.1 原始的脑电数据 然后把原始的脑电数据进行分段，

24、对应于E-Prime刺激序列的脑电数据如下面图5.2：（a） S1处理前的脑电数据 （b) S2处理前的脑电数据(c) S3处理前的脑电数据(d) S4处理前的脑电数据(e) S5处理前的脑电数据图5.2为了提取理想的ERP波形首先我们需要对不同的mark进行分段分段如图组5-1，接着在Analyser软件中对其滤波滤到35HZ，因为人的自发脑电一般在30HZ到40HZ以内，然后进行去基线（指检测器在没有进行采集取样时信号随时间的变化而变化的曲线，一般是噪声随时间变化而变化的曲线）处理，最后将相同的mark进行叠加处理再基线矫正（确定0时刻时的电位值），使最后得到的效果更加准确清楚，最后处理得

25、到ERP波形如图组5-2（在定性分析中列出）15。接下来把处理后得到每段的ERP波形进行定量定性分析。第5.2节 ERP波形定性分析由于当被试注视运动目标时会产生相应的诱发电位，这个电位的ERP波形是固定的，但被背景噪声污染。所以分析的目的就是从噪声中检测这个诱发电位的有无。有这个诱发电位的出现，表明被试者在注视五个位置上呈现的运动目标其中的一个，具体到是哪一个，因为这五个运动目标不是同时呈现而是每个时刻只出现一个，这就要从诱发电位出现的时间mark来确定，因此需要分析测试者在观看时5个位置的差异，其中相比于其他4个位置有明显差异（诱发电位的产生所引起的）的为测试者观看的位置。而事件相关脑电（

26、ERP)有两个重要的特征:潜伏期恒定，波形恒定。所以首先进行波形定性分析，由于Oz比较准确并且噪声小，为方便观察与比较选择Oz来比较,从S1-S5（对应的位置顺序为左，右，中，上，下）的顺序开始分析，它们Oz的ERP波形如下图5.3所示（横坐标的单位是ms，纵坐标的单位是v）17。(a) S1的ERP波形(b) S2的ERP波形 (c) S3的ERP波形（为了看它的趋势把时间轴延长了500ms）(d) S4的ERP波形 (e) S5的ERP波形图5.3 从这五个波形中可以看出差异，但为了更加明显趋势变化和幅值差异以及观察刺激引起的诱发电位，需要对这5个波形进行低通滤波（在Analyser软件中

27、操作），得到如下的图5.4。(a) S1低通滤波后的波形 (b) S2低通滤波后的波形 (c) S3低通滤波后的波形 (d) S4低通滤波后的波形 (e) S5低通滤波后的波形图5.4从这两组图中可以观察到明显的差异和诱发电位变化，在定性上可以分析出测试者观看的是中间位置(S3）。第5.3节 N2峰值的定量分析 接下来进行定量分析，由于前面提到MVEP的N2是大脑应对刺激最为显著的目标特征，所以这次主要以N2来定量分析，从S1到S5的N2数据如下表5.1 S1到S5 ，N2的潜伏期和对应电压值位置S1(左）S2(右） S3(中）S4(上）S5(下）潜伏期（ms）272.60001296.399

28、99287.10001281.79999275.20001电压（V）-0.902363-5.25808310.118917-4.014595-6.386118 从表中可以明显看出S3的N2和其他四个位置的差异，从而再次确定测试者观看的是中间位置。为了检测准确性去除偶然性，又做了多次实验，在测试者随机以同样的实验方式看其他位置时也可以准确的判断出他看的位置，判断方法与次相同。第6章 讨论与总结 在本次实验中，我们发现如果视觉刺激的时间越短（200ms-300ms）对于刺激的产生的N2峰更为明显，因为刺激的时间正好与N2的潜伏期相互时间抵消，并且低亮度和移动的低对比度这些参数也能影响到BCI的性能

29、系统。为实现更高的信息速率，刺激与刺激间的间隔可设置小于200毫秒，因为两个连续的运动刺激可以重叠不会阻碍诱发电位的检测。当然为提高信噪比可以做更多的实验进行叠加平均，由于外界的因素实验次数没有达到预期的次数，不过对最后的实验结果影响不大。总之，运动起始的视觉诱发电位（MVEP）在我们的分析下得出N2等主要峰值有明显的变化，这表明这个MVEP用于BCI系统是可行的。 经过目前我们的初步实验结果能看出，本文设计运动起始视觉诱发通过呈现刺激，测试和处理分析可以确定测试者所观看的具体位置，本次实验设计的侧重点是验证基于运动起始视觉刺激诱发电位的脑机接口的可行性，如今已达到实验设计目的，并且为深入做出

30、脑机接口的实物和设计脑机接口奠定了很好的基础和理论依据。例如接下来做鼠标控制，由于在屏幕上五个不同位置显示随机运动的图像，这五个位置就想当于编码五个命令（选项），可以用这五个位置控制鼠标上下左右四个方向的移动及点击，实现这个目的之过程中需要被试根据自己的意愿注视其中的跟鼠标动作相关的那个位置，我们从测到的脑电信号中判断被试在注视哪个位置，从而实现相应的控制鼠标的指令，当然也可以做其他的控制。若要再继续下去的话在线的BCI系统可以是下一个发展前景。 参考文献 1 B. Z. Allison, “Toward Ubiquitous,” in Brain-Computer Interfaces: R

31、evolutionizing Human-Computer Interaction, B. Graimann, B. Z. Allison, and G. Pfurtscheller, Eds., 1st ed. Berlin,Germany: Springer, 2011, pp. 357387. 2N200-speller using motion-onset visual responseBo Hong , Fei Guo, Tao Liu, Xiaorong Gao, Shangkai Gao，Clinical Neurophysiology 120 (2009) 16581666.

32、3International assessment of research and development in brain-computer interfaces,World Technology Evaluation Center, Inc.4800 Roland Avenue Baltimore, Maryland 2121. 4J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, and T. M. Vaughan, Brain-computer interfaces for communication and c

33、ontrol,Clin. Neurophysiol., vol. 113, no. 2, pp. 767791, 2002. 5M. A. Lebedev and M. A. Nicolelis, “Brain-machine interfaces: past,present and future,” Trends Neurosci., vol. 29, no. 9, pp. 536-546, Sept.2006. 6A Brain Computer Interface Based on Motion-onset VEPs,Fei Guo, Bo Hong * , Xiaorong Gao,

34、Shangkai Gao,30th Annual International IEEE EMBS Conference Vancouver, British Columbia, Canada, August 20-24, 2008. 7Motion-Onset Visual Evoked Potentials for Gaming: A pilot study，David Marshall, Damien Coyle and Shane Wilson，ISSC 2013, LYIT Letterkenny, June 20-21. 8脑机接口视觉刺激器的设计与实现,李宏伟, 赵丽, 边琰, 张

35、庆祺, 韩冬 ,1001- 3881 ( 2010) 14- 045- 3. 9E. Gopfert, R. Müller, E.M. Simon, “The human motion onset VEP as a function of stimulation area for foveal and peripheral vision,”Documenta Ophthalmologica, vol. 75, pp. 165-173, 1990. 10E-prime 实验设计技术/曾祥炎，陈军,ISBN 978-7-81135-392-1,2009.10(心里实验技术丛书）. 11E

36、motiv | EEG System | Electroencephalography. 2013.Emotiv | EEG System | Electroencephalography.ONLINE Available at: 12 April 2013. 12M. Middendorf, G. McMillan, G. Calhoun, and K. S. Jones,“Brain-computer interfaces based on steady-state visual evokedresponse,” IEEE Trans. Rehabil. Eng., vol. 8, no. 2, pp. 211213, Jun.2000. 13G.