基于稳态视觉诱发电位的脑-机接口系统的研制.docx

基于稳态视觉诱发电位的脑-机接口系统研制本科毕业设计（论文）题目： 基于稳态视觉诱发电位的脑-机接口系统研制 学 院： 信 息 学 院 专 业： 通 信 工 程 年 级： 2008 级 姓 名： 钟 超 学 号： 0815232045 指导老师 ： 闫 铮 定稿日期：2012.531摘要脑-机接口（bran-computer interface, bci）系统构建不依赖传统神经中枢-肌肉的通道，实现人与外界的交互，在多方面具有重要应用。适用于脑-机接口的脑电信号有多种，其中稳态视觉诱发电位具有特征鲜明，提取方便的特点，因此基于稳态视觉诱发电位(steady-state visual evoked potential, ssvep)的脑-机接口系统较其它类型具有更高的信息传输速率。由于稳态视觉诱发电位是视觉刺激，因此，对于一些身体瘫痪严重的残疾人仍然适用。本课题拟使用固定频率调制的闪烁视觉刺激诱发稳态视觉诱发电位，通过记录脑电信号，提取视觉刺激中载有的频率特征，完成对于不同目标的选择任务。最后，本文将该bci系统用于虚拟驾驶系统，验证了基于ssvep的bci系统具有应用前景。关键词：脑-机接口，稳态视觉诱发电位，特征提取the brain - computer interface system developed based on steady-state visual evoked potentialabstractby means of constructing a direct channel which is not depended on the normal output pathway like peripheral nerves to muscles, an novel interaction way between human and the outside world is realized by brain-computer interface (bci). various of brain signals can be used in bci system, among these signals, ssvep, due to its distinctive characteristics and easy feature extraction, the ssvep-based bci always has a higher information transfer rate (itr) compared with other bci systems. furthermore, as pattern of visual stimulation, ssvep is also suitable for paralyzed persons. in this paper, ssvep is induced by flicker stimuli which are modulated at a specific frequency. by analyzing the signals recorded and extracting ssvep features, a bci system including 2 targets is proposed in our paper. moreover, a virtual vehicle driving system controlled by ssvep-based bci system is also demonstrated.key words: brain-computer interface, steady-state visual evoked potential, feature extraction目录第1章 绪论11.1课题的研究意义11.2脑-机接口的结构21.3 脑-机接口研究现状41.4 课题安排5第2章 脑-机接口系统背景知识62.1 脑电波介绍62.2 脑电与稳态视觉诱发电位72.3脑-机接口系统的采集方式82.4 信号的预处理92.5 信号的特征提取与分类算法92.5.1 快速傅里叶变换102.5.2 典型相关分析102.6 开发平台112.7 tcp/ip协议12第3章 系统设计133.1 稳态视觉诱发电位的选择133.1.1 闪烁刺激源的选择133.1.2 闪烁颜色选择143.1.3 刺激频率的选择143.2 系统的实现143.2.1 系统框架143.2.2 人机交互界面153.2.3 频率实现方法163.2.4 在线数据的处理算法163.2.5 对小车的控制183.3 实验设计193.3.1 实验基本信息193.3.2 刺激范式19第4章 数据处理204.1 离线实验204.2 在线实验23第5章 课题总结与展望25参考文献26致谢28第1章 绪论1.1课题的研究意义人类的大脑可能是现有知识所知道的最复杂也是最吸引人的“信号处理系统”。它能感应大量周围的环境信号，比如通过五官所感受到的味觉、触觉、嗅觉、听觉、视觉等信息，并能从这些迥然不同的信息流中提取有用的信息来指导行为、认知和动作。令人惊异的是，大脑中基本的信号处理元素，比如神经元细胞，以相对极为缓慢的通讯速率来传递信号。事实上，半导体晶体管的速率是它的十的六次方倍。大脑的一个优势就是它拥有数量极为庞大的神经元细胞，它们能够并行处理信号，并且神经元突触（在大脑皮层中超过了100万亿个）构成了一个高度分布式的存储系统。这些生理事实极大地鼓舞了人们探索大脑信号处理秘密的兴趣。目前，科学家和工程师们将研究焦点集中到了大脑直接与外界发生联系的接口上，更为准确的说，分析检测神经元信号并将其解码，用于指导行为的仿真。这个研究领域被冠之为脑-机接口（brain computer interface, bci）。近年来随着多学科综合技术的发展，bci技术已经引起了许多科技工作者的注意，成为计算机应用工程、生物医学、通讯系统、康复医疗等领域的一个研究重点。脑-机接口是指在人脑和计算机或其它电子设备之间建立的直接的交流和控制通道， 它不依赖于脑的正常生理输出通路（外周神经系统及肌肉组织）1。研究和发展bci 技术的主要目的是设计出基于脑电信号（electroencephalogram, eeg）的控制装置，以帮助严重的肢体残疾患者及交流障碍患者实现与外部环境的交流和控制。传统的人机交互是通过声音 按键等实现，然而部分老人和残障人士因为各种原因不具备语言表达或者肢体操作能力， 现在通过bci技术这一全新的通信和控制方式可以很好的帮助他们进行正常的交流和生活2。bci拓宽了人-机接口的范围，既是人类了解和提高脑功能的重要手段，又是一种全新的通讯和控制方法，可以提高人类的生活质量，有不断增长的潜在的需求。具体如下：（1）康复领域：目前，由于交通事故以及各种疾病，世界上有数百万人丧失了肢体运动能力，对思维正常但神经肌肉系统瘫痪如肌萎缩性侧索硬化患者、严重脊髓损伤或完全瘫痪病人或丧失肢体运动能力的病人，合适的bci装置可以帮助患者仅仅通过思维实现对环境控制（如对室内灯的开关、电话按键） 、轮椅控制或对外交流（如通过虚拟键盘选择字符）。同时，也可以使得患者主动参与一些康复训练，取得更好的训练效果。提高生活自理能力，进而不断提高他们的生活质量。（2）辅助控制：在特殊环境下，为正常人提供一种新的辅助控制方式。如在一个大型手术操作过程中，医生需要全神贯注，一丝不苟。当传统手、脚、语音等控制方式不能完全满足控制要求时，可以用脑信号进行控制。在航空中，飞行员在紧急情况下，也可以利用思维产生的脑信号作为一种新的辅助控制方式。（3）监控：可以用来对长途司机、宇航员、医生等的思维集中程度进行监控，当思维集中程度不够时及时提醒。（4）娱乐：bci 装置可为人们提供一种新的娱乐方式，例如用“思想”玩电子游戏。可以激发人们玩游戏的情趣。（5）脑认知：bci的研究过程，同时也是人类对自身大脑不断认识的过程，为人类了解大脑，从而保护脑、创造脑提供基础。其中第一方面是bci最重要的应用，更多的应用场合正在不断的探索之中。1.2脑-机接口的结构bci系统的组成没有明确的规定，不同研究小组以及不同的诱发方式都会导致系统的不同，通常系统可以归纳为有三个部分，信号的采集，处理，结果的输出。信号的采集的部分中，大脑产生的eeg信号被测量，并输送到bci的下一个环节。而处理中一般包括了信号的预处理，在其中信号中的干扰和噪音将被一定程度地滤除，提高信噪比，以便于后续的处理。此外，在信号处理环节中还包括对信号经行特征提取与分类过程，这个过程将产生最终的结果。最后的输出部分，主要目的为输出先前处理的结果，有些将控制特定的设备，大多数结果仅仅是出现在显示器上，输出的同时也可以为使用者带来反馈信号。不过，反馈环节并不普遍，虽然它会提高整个系统的正确率，但是系统的速度可能因此降低，另外也提高了系统的复杂度。3总的来说，bci系统包括以下部分：信号采集部分（signal acquisition），预处理部分（pre-processing），特征提取部分（feature extraction），翻译算法部分（translation algorithm），控制命令输出部分（device commands）。信号采集信号处理命令输出反馈预处理特征提取翻译算法图1.1 bci通用系统结构信号采集部分的作用是提取反映人大脑思想情况或者活动状况的信息。 虽然对脑功能进行检测有的手段，如正电子发射断层成像技术（positron emission tomography，pet） 、单光子发射断层成像技术（single photon emission computerized tomograhy，spect） 、功能核磁共振成像技术（functional magnetic resonance imaging ，fmri）、脑磁图（magnetroencephalogram，meg）等都可以从某一个侧面对脑内活动进行量化和检测。但是由于这些检测技术所采集得到的信号时间分辨率较低， 而且测量用仪器体积大，不方便携带，故在 bci 研究中极少应用。脑电信号由于具有时间分辨率高，采集方法简便、无创等特点，被广泛的应用在 bci 研究中。由于脑电信号具有信号微弱，噪声影响大等特点，所以对脑电信号进行采集时，信号采集部分需要有保持电极与头皮接触的电极帽，高倍数的放大器，将物理量转变为数字量的模数转换器。为了消除噪声对于脑电信号的影响，方便进行后续分析处理，在信号采集后对其进行滤波，去除伪迹，消除工频干扰等信号预处理。当信号采集部分采集得到的脑电信号经过量化、放大、预处理操作后，就传输到特征提取部分，在这一部分中，反映受试者不同的思维方案的脑电信号特征被提取出来。特征提取是 bci 研究中的一个核心问题，采用何种方法能准确而快速的将不同心理状态的脑电信号特征提取出来，是广大科研人员一直致力研究的重点。目前较常用的方法有时域分析法、频域分析法、时频分析法及基于非线性动力学的分析法。由于人脑的复杂性，以及人与人之间的个体差异， 同一种思维状况在不同的个体上表征也不尽相同。 以医学及生理学已知人脑认知研究成果为基础，找到一种具有广泛适用性的特征提取方法是目前 bci 研究领域中的一个热点问题。 特征提取部分提取出来的反映大脑不同思想状况的脑电信号特征，在这一部分将被用来分析处理和分类，做出受试者究竟采用何种思维方案，想要发出哪种控制命令的判断。脑电信号经前述四部分处理后，受试者想表达的意图已经被分析出来，在控制命令输出部分这些意图将被转化成控制信号，对外界的设备进行操作和控制。控制命令输出部分需要根据受试者的实际需要情况进行设计，输出的控制信号，也将因被控设备的不同而有差别。在这里，控制信号的种类，受模式识别部分能判断出人脑不同思维状态的种类影响，二者保持一致。若需要产生更多的控制信号，以便操控复杂的仪器及设备，就需要进行试验探索，找到更多的可被识别的思维模式，使更多的思想意图能够通过脑电信号被分辨出来，进而产生相应的控制信号。控制命令输出部分，是整个 bci 系统中的最后一个部分，在这一部分中使用者的意图被最终转化为对外界的控制信号，人脑与外界直接交流的通道被建立起来了 最后的输出部分，主要目的为输出先前处理的结果，有些将控制特定的设备，大多数结果仅仅是出现在显示器上，输出的同时也可以为使用者带来反馈信号。不过，反馈环节并不普遍，虽然它会提高整个系统的正确率，但是系统的速度可能因此降低，另外也提高了系统的复杂度。31.3 脑-机接口研究现状 1978年，dobelle在一位男性盲人jerry的视觉皮层植入了68个电极的阵列，并成功制造了光幻视（phosphene）。该脑机接口系统包括一个采集视频的摄像机，信号处理装置和受驱动的皮层刺激电极。植入后，病人可以在有限的视野内看到灰度调制的低分辨率、低刷新率点阵图像。该视觉假体系统是便携式的，且病人可以在不受医师和技师帮助的条件下独立使用。4emory大学的philip kennedy和roy bakay最先在人植入了可获取足够高质量的神经信号来模拟运动的侵入性脑机接口。他们的病人johnny ray患有脑干中风导致的锁闭综合征。ray在1998年接受了植入，并且存活了足够长的时间来学会用该脑机接口来控制电脑光标。5 华盛顿大学（圣路易斯）的eric leuthardt和daniel moran是最早在人体试验皮层脑电图的研究者。根据一则报道，他们的基于皮层脑电图的脑际接口能够让一位少年男性病人玩电子游戏。6 同时该研究也发现，用基于皮层脑电图的脑机接口来实现多于一维的运动控制是比较困难的。1999年，美国凯斯西留地大学由hunter peckham领导的研究组用64导脑电图恢复了四肢瘫痪病人jim jatich的一定的手部运动功能。该技术分析脑电信号中的波，来分类病人所想的向上和向下两个概念，进而控制一个外部开关。除此以外，该技术还可以使病人控制电脑光标以及驱动其手部的神经控制器，来一定程度上回复运动功能。7在我国，高上凯教授，程明带领的团队设计的系统基于ssvep，可以采用该系统对环境进行控制，并且根据此设计了电话拨号试验系统。81.4 课题安排 1.利用matlab及心理实验工具箱psychotoolbox，设计刺激范式，刺激范式包括多个不同频率调制的闪烁块，受试采用目光转移方式来选择目标；2.使用脑电放大器进行信号采集，任务执行中，要求受试者按一定顺序注视不同频率调制的闪烁块目标；3.对数据经行里离线分析，对其中的发现的问题做出讨论。4.对采集到的数据分别使用典型相关分析法和功率谱估计法进行特征提取；5.要求采集3-5名受试的数据，选择适宜的特征提取方法构建实时在线系统。6.对课题研究的总结、心得。第2章 脑-机接口系统背景知识2.1 脑电波介绍生物电现象是生命活动的基本特征之一，各种生物均有电活动的表现，大到鲸鱼，小到细菌，都有或强或弱的生物电。其实，英文细胞（cell）一词也有电池的含义,无数的细胞就相当于一节节微型的小电池，是生物电的源泉。 人脑中有许多的神经细胞在活动着，而成电器性的变动。也就是说，有电器性的摆动存在。而这种摆动呈现在科学仪器上，看起来就像波动一样。脑中的电器性震动我们称之为脑波。用一句话来说明脑波的话，或许可以说它是由脑细胞所产生的生物能源，或者是脑细胞活动的节奏。 十九世纪末，德国的生理学家h. berger看到电鳗发出电气，认为人类身上必然有相同的现象，而发现了人脑中电气性的振动。后来，藉由图表来补捉脑波，才得知振动的存在。由于这和人类的意识活动有某种程度的对应，因而引起许多研究者的兴趣。人体也同样广泛地存在着生物电现象，因为人体的各个组织器官都是由细胞组成的。对脑来说，脑细胞就是脑内一个个“微小的发电站”。 我们的脑无时无刻不在产生脑电波。早在1857年，英国的一位青年生理科学工作者r.caton在兔脑和猴脑上记录到了脑电活动，并发表了“脑灰质电现象的研究”论文，但当时并没有引起重视。十五年后， a. beck再一次发表脑电波的论文，才掀起研究脑电现象的热潮，直至1924年德国的精神病学家h. berger才真正地记录到了人脑的脑电波，从此诞生了人的脑电图。图2.1 第一个人工记录的脑电波，由h.berger测量，上方为测得的eeg，下方为10hz的时钟信号这是一些自发的有节律的神经电活动，其频率变动范围在每秒130次之间，可划分为四个波段，即（13hz）、（47hz）、（813hz）、（1430hz）。 波，频率为每秒13次，当人在婴儿期或智力发育不成熟、成年人在极度疲劳和昏睡状态下，可出现这种波段。 波，频率为每秒47次，成年人在意愿受到挫折和抑郁时以及精神病患者这种波极为显著。但此波为少年（1017岁）的脑电图中的主要成分。 波，频率为每秒813次，平均数为10次左右，它是正常人脑电波的基本节律，如果没有外加的刺激，其频率是相当恒定的。人在清醒、安静并闭眼时该节律最为明显，睁开眼睛或接受其它刺激时，波即刻消失。 波，频率为每秒1430次，当精神紧张和情绪激动或亢奋时出现此波，当人从睡梦中惊醒时，原来的慢波节律可立即被该节律所替代。 在人心情愉悦或静思冥想时，一直兴奋的波、波或波此刻弱了下来，波相对来说得到了强化，因为这种波形最接近右脑的脑电生物节律，于是人的灵感状态就出现了。2.2 脑电与稳态视觉诱发电位对于脑-机接口系统的研究基本分为3个方向：一是基于想象运动，二是基于视觉注意，三是基于稳态视觉诱发电位。基于想象运动的脑-机接口必须要让受试者经过很长一段的训练过程，而视觉注意是人类的心理调节机制，设计实验比较困难。而基于稳态视觉诱发电位的脑-机接口设计有如下优点：一是准确率高，二是传输速率快，三是不用让受试者经过任何训练。因而本次课题采用稳态视觉诱发电位。研究表明，当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。这个响应被称为稳态视觉诱发电位( steady-state visual evoked potentials，ssvep)，它可以可靠的应用于脑-机接口系统( bcis) 。当受到频率恒定的外界刺激时，大脑将会产生一个和外界刺激频率或其谐波同频率的响应，该响应的强弱可以由头皮或皮层上测量得到的电压信号表征，即稳态诱发电位(steady-state evoked potential，ssep)。在对视觉、听觉或触觉进行重复刺激的实验中，都能观察到稳态诱发电位的出现，对应地，依次被称为稳态视觉诱发电位(steady-state visual evoked potential，ssvep)910，稳态听觉诱发电位(steady-state auditory evoked potential，ssaep)1112和稳态触觉诱发电位(steady-state somatosensory evoked potential，sssep)13。ssaep的幅度随着断续声音的重复频率而发生变化，在40hz左右达到最大值。因此，人们普遍认为稳态听觉诱发电位是由听觉刺激产生的瞬态响应的中期成份叠加而成。14在诱发sssep时，反复的刺激将对被试产生一定的伤害，因此相关研究比较少。ssvep的幅度随着闪光刺激的频率变化而变化，能产生ssvep的频率范围很宽，有研究者用1到l00hz的闪光刺激被试，发现直至90hz都能观察到较明显的稳态响应，而在10、20、40hz左右存在着谱峰。15因此，不能简单地认为ssvep的产生是由视觉刺激的瞬态响应叠加而成。到目前为止，有关ssvep的起因，还没有一个公认的理论。silberstein等构造了一个皮层-皮层反馈模型来说明其产生机理。在此模型中，皮层-皮层环路与丘脑-皮层环路对8-18hz的ssvep的产生有重要作用。还有人研究了头皮ssvep的幅度和相位分布,发现其具有行波和驻波的特性，因此，波动理论也能在一定程度上解释ssvep的成因。另外，偶极子理论也被用来解释ssvep的产生。虽然ssvep的成因还不十分确定，但由于其具有较强的抗干扰性，它已经被广泛应用于一些基础研究和工程研究，以及临床检查。2.3脑-机接口系统的采集方式本系统eeg通过放大器采集，放大器的信号输入从电极帽来，电极帽通过电极来接受受试者的脑电。我们使用的系统中共有64个电极，但不必都使用，在做本次ssvep实验时，只用到了其中的5个电极，这些电极有3个在大脑后枕区，后枕骨附近（分别为oz，o1，o2），同时这里也是公认的视觉区域，ssvep所诱发的eeg信号主要由这里产生。15在头顶(cz)有一个参考电极，并且在头部靠前位置放置接地电极（gnd）。电极帽上的电极分布如下（俯视图）：czo2ozo1gnd 图2.2 电极安放位置2.4 信号的预处理eeg中，诱发信号的幅值一般只有0.30.2muv，而自发脑电往往是它的5-10倍，除此之外还有肌电，工频50hz等。目标电位被淹没在噪音中。所以在后续处理前，先要对eeg信号进行预处理，以减少其中的噪音，提高信噪比。本课题使用的信号预处理方法有去基线，切割数据，叠加平均。脑电信号是非平稳信号，而我们研究的都是平稳信号，所以我们通过去基线将非平稳的脑电信号变成平稳信号。在实验中，我们得到了10多万的数据，但并不是所有数据都是我们所要的，因此我们用切割数据的方法把有用的数据拿出来，舍弃没用的数据。叠加平均是把多组实验的数据叠加起来并进行平均，提高信噪比。2.5 信号的特征提取与分类算法信号的特征提取主要用于数据的离线分析。可以驱动bci的有用信号往往维度很高，对它们在不都是有用信号的前提下进行降维的过程称为特征提取。常用的特征提取的方法有很多，比如，ar（autoregression）参数估计，快速傅立叶变换（fft）等。特征被提取后，需要对特征经行辨识，把需要用来控制控制的信号识别出来，这种算法称为分类算法，常用的分类算法有决策树，贝叶斯分类器，线性分类器（linear discriminant analysis, lda），支持向量机（support vectormachine, svm）等。本课题采用的分类方法是典型相关分析（canonical correlation analysis, cca）。2.5.1 快速傅里叶变换使用fft进行功率谱估计是ssvep检测的常规方法。由于eeg信号包含自发脑电、肌电及50hz工频等噪声信号，因此在离线分析之前，要先进行带通滤波和50hz陷波滤波，提高信号的信噪比。滤波后的脑电信号只是时域上的离散信号，只能在时域上看到时间与幅值的关系，而要识别出刺激信号的频率，必须要得到脑电信号在频域上频率和幅值的关系，因此要引入快速傅里叶变换（fast fourier transform, fft）将时域上的信号转换为频域上的信号。快速傅里叶变换的公式为： （2-1）上式中：为旋转因子或蝶形因子，且;为一个长度为l的有限长序列。通过快速傅里叶变换可以将信号由频域变换到时域，为了更好的反映信号的信噪比，则对变换后的频域信号进行归一化处理，归一化处理的公式为： （2-2）式中：是指经过预处理的eeg脑电信号，是指对进行快速傅里叶变换；表示对傅里叶变换之后所有频率点上的频谱进行求和，因此幅度谱的总和就被归一化为1了。归一化之后，频谱图上与刺激频率相关的峰值很容易就能看的出来，通过这些峰值就是由刺激频率刺激产生的ssvep信号。2.5.2 典型相关分析fft为一元信号处理方法，需要挑选导联，cca为多为信号处理，采用本实验采集的三导数据，可以直接计算，不需挑选导联，并且， cca的效果要比fft估计功率谱效果好16 。因此，本课题采用cca算法处理脑电信号。典型相关分析（canonical correlation analysis，cca）就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量u1和v1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。该算法可以在两组变量中找到一个描述两者数据集合关系的系数，该系数越大，说明该两个数据集合间的关系越密切。cca在实际问题的研究中得到了广泛的应用，在eeg数据分析中同样也是适用的。对于eeg 数据使用cca 方法，两组数据集合分别来自eeg信号和刺激信号。记试验采集的n 个导联eeg数据为x= (x 1 x 2 x 3 x n) t， 刺激信号为y = cos (2pi t) sin (2pi t) co s (4pi t)sin (4pit) co s (6pfit) sin (6pi t) t ，则cca 可以定义为如下问题: 分别寻找向量wx 与wy，使得x、y 在向量wx 和wy 上的投影、之间的相关值最大，即： （2-3）最大。式(1)中的就是本文所需要的相关系数，e 表示求期望运算。在系统中依靠matlab的内置cca算法程序来实现cca的计算，便捷而且准确。2.6 开发平台本系统的开发与使用均是在xp系统下进行，在开发刺激程序时使用的是matlab下的工具psychotoolbox，而搭建控制系统所使用软件为matlab。matlab作为一款颇有盛名的软件，不仅仅是一款强大的数学工具，同时其强大的编程能力使得matlab在工程，科研领域中得到了广泛使用，为人们所熟悉，在此就不对matlab过多介绍。psychotoolbox在心理学实验设计、数据处理等方面有强大作用。但是不太为人所熟知，以下将介绍psychotoolbox工具。用计算机去演示视觉心理物理学有很大的新引力。程序运行往往是写在一个低层次的语言（如c或pascal）,以实现硬件对精确刺激的完全控制。虽然这些低级语言提供了能力和灵活性，但是它们不适合快速的程序开发。解释型语言（如basic, lisp, mathematica, and matlab）从硬件细节抽象，并提供了友好的开发环境，但不提供精确刺激所需的硬件控制。psychotoolbox软件包给matlab、macintosh的倍频应用、linux和windows计算机增加了这些能力，psychotoolbox的核心函数是开屏幕函数screen，本课题对刺激源的设计就充分地运用到了这个函数。2.7 tcp/ip协议本课题在线实验程序和本地计算机的通讯协议采用tcp/ip。 transmission control protocol/internet protocol（tcp/ip），中译名为传输控制协议/因特网互联协议，又名网络通讯协议，是internet最基本的协议、internet国际互联网络的基础，由网络层的ip协议和传输层的tcp协议组成。tcp/ip 定义了电子设备如何连入因特网，以及数据如何在它们之间传输的标准。协议采用了4层的层级结构，每一层都呼叫它的下一层所提供的网络来完成自己的需求。通俗而言：tcp负责发现传输的问题，一有问题就发出信号，要求重新传输，直到所有数据安全正确地传输到目的地。而ip是给因特网的每一台电脑规定一个地址。 第3章 系统设计3.1 稳态视觉诱发电位的选择 在实验室中可以用来实现ssvep诱发的方式有很多，通常是人的双眼同时注视着某个闪烁的物体，根据eeg的变化来判断所注视的物体，但是也有不同的方法，有些可以不用让使用者的目光注视着闪烁物体，17也有可以让双眼观察不同闪烁的物体，然后根据在左右眼不同视觉区域测得的频率值来判断双眼所注视的是哪一组闪烁物，在本系统中还是用第一种方式来诱发ssvep18。除了上述的一点以外，很多细节也会对实验造成影响，无论是对实验效果，还是对于实现的难易度都不同，以下对产生ssvep的信号源，以及ssvep的闪烁方式和频率上做了考量。3.1.1 闪烁刺激源的选择受试者的视觉频率刺激由刺激器产生， 当前绝大部分的 ssvepbcis 都使用发光二极管( led) 或者阴极射线管显示器(crt) 作为刺激器19。应用led 作为刺激器可以产生准确的刺激频率，检测精确度很高，不会产生谐波现象，而且绝大部分的受试者都会对刺激产生明显的 ssvep 响应但此种方法需要进行硬件方面的设计与实现， 还涉及硬件之间的通信协议， 会增加 ssvepbcis 的复杂程度，因此本课题不采用led作为闪烁的刺激源。使用计算机显示器(包括crt和led) 作为刺激器，刺激频率和 bcis 的应用图形用户界面能产生于同一个显示器，从而简化bci系统，而且使受试者的注意力无需在刺激界面与图形用户界面之间转移，使受试者感觉更加舒适 就目前而言，crt在 ssvepbcis 中的使用更加广泛， 原因有两方面基于crt的刺激方式可以提供更多可选的屏幕刷新率，而且受试者对刺激的响应也要比lcd的要明显很多; lcd存在一定的响应延迟，对刺激频率造成一定影响，引入低频非期望的刺激成分。综合以上各点原因，本课题采用crt作为ssvepbcis的刺激源。3.1.2 闪烁颜色选择 在闪烁颜色的选择上，有研究者采用日本光电公司的eeg-1100进行ssvep的实验，在使用了包括蓝色，白色，红色等不同颜色闪烁，对所诱发的eeg信号经行叠加平均以及fft变换后通过比较得出结论，白色的光产生的ssvep信号最为强烈，效果也最好，其次是紫光，黄光，红光绿光最后是蓝光。文中对结果做出的假设是人眼的感光是通过视锥细胞来实现的。视锥细胞中与三种不同的感光色素，分别对蓝色，绿色和红色最为敏感。白光中相比其它任何一种颜色的光更包含以上三种颜色，所以视锥细胞的感觉最为充分，诱发的电位也最强。所以结论为产生白色光比较适合来进行ssvep实验。3.1.3 刺激频率的选择频率选择是实验设计的一个重要方面，因为crt 的屏幕刷新率是影响刺激呈现频率的主要因素20如何通过选择刺激频率以获得最佳的响应效果这个问题已经在大量的文献中得到讨论。为了在 crt 上产生稳定的频率，刺激应该选择: f =屏幕刷新率/n，其中n为正整数，例如当屏幕刷新率为60 hz 时，理论上可选择的频率如下: 60 hz、 30 hz、15 hz 、12 hz、 10 hz、 8.57 hz、 7.5 hz、 6.67 hz。ssvep 响应的幅值和相位取决于刺激的频率亮度和视觉刺激的图案的结构等等，通常主要使用的是低频带( 6 - 15 hz) 其中10 hz 和12 hz 被各 bci 小组广泛应用于 ssvep 系统中 实验表明15 hz刺激时响应效果很好， 因此本文选择 10 hz、12 hz、 15 hz作为刺激频率。3.2 系统的实现 本ssvep系统由一台计算机和不同的程序组成，下面将从总体上对该系统做一个描述，再分小部分详细介绍该系统。3.2.1 系统框架本来计划使用两台计算机，一台作为人机交互界面，另一台用于数据处理和实验控制。由于实验室实验器材有限，本实验将用一台计算机来实现整个ssvep 系统。eeg的采集依靠实验室现有设备，一个eeg 信号放大器，一个电极帽，和若干电极。电极帽适当地安放在受试者的头部，本次实验使用到了5个电极，分别为cz，gnd，oz，o1，o2。oz，o1，o2通过电极输入到信号采集器中，采样的频率为1000hz。在这台设备中将对信号进行放大和数模转换，随后通过数据接口把转换好的数据送入计算机。数据处理以及实验控制的核心程序基于matlab编写，数据处理的结果以及不同阶段的控制信号通过tcp/ip与小车程序进行通讯。小车程序，显示小车的行走ssvep 程序，对eeg信号进行处理并且判断对小车的控制受试者注视闪烁刺激源，信号采集器采集eeg信号并新型模数转换输入的计算机进行处理 tcp/ip 通信 反馈给受试者 并行输入计算机 图3.1 本课题bci系统示意图3.2.2 人机交互界面被测试者在整个实验阶段将几乎始终注视着这个界面，该界面中不仅有诱发ssvep的闪烁块，而且显示对被测试者的要求和生物反馈。在实验室本系统整个crt屏幕分为两个部分，上面是小车程序，用于完成在线的实验，下面的是诱发源。诱发源的背景颜色为黑色，闪烁块为白色，频率分别为10hz和15hz，两个闪烁块的尺寸为100pixel*100pixel。在做刺激实验前，会有提示提醒受试者平静心情准备测试。上面的小车程序是本实验设计的一个情景。频率10hz和15hz的闪烁块分别代表小车向左转和向右转，在在线试验中，受试者需要注视着这两个闪烁块来控制小车通过1-6个目的点。在线实验规定时间为5分钟，踩中一个点得50分，最后计算受试者的得分并分析此次ssvep在线实验。3.2.3 频率实现方法因为该界面需要用来诱发ssvep信号，所以对闪烁频率的控制上有一定的要求，要尽可能的稳定。该实验中，crt屏幕刷新率为60hz，要实现精确的对帧，所选的频率必须为60hz的整数分频。所以本次实验选择10hz，15hz作为闪烁块的频率，分别为60hz的6分频和4分频。在频率的控制方面，以下给出用matlab实现不同频率具体方法。 %*10hzserial10=f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d,f,d,d,d,d,d;%*15hzserial12=f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d,f,d,d,d,d;s10=repmat(serial10,1,repeattime);s12=repmat(serial12,1,repeattime);上面代码中，serial10代表的是10hz的频率，serial12代表的是12hz的频率。f代表闪烁块亮，d代表闪烁块暗。由于屏幕1s刷新60次，只要在这60次中分别亮10次和12次，就实现了频率为10hz和12hz。s10，s12代表闪烁块闪8s（程序中 repeattime=8，闪烁完8s后停5秒，给受试者时间休息）。3.2.4 在线数据的处理算法cca利用现有算法来实现，即利用matlab中提供的canoncorr（）函数来实现cca算法。在进行cca前，要先得到10hz和12hz这2个频率的2倍频，3倍频的正弦波和余弦波矩阵，实现的代码如下：x1=cos(2*pi*10*t1);x2=sin(2*pi*10*t1); x3=cos(2*pi*2*10*t1);x4=sin(2*pi*2*10*t1); x5=cos(2*pi*3*10*t1);x6=sin(2*pi*3*10*t1);templatex1=x1;x2;x3;x4;x5;x6; x11=cos(2*pi*12*t1);x22=sin(2*pi*12*t1); x33=cos(2*pi*2*12*t1);x44=sin(2*pi*2*12*t1); x55=cos(2*pi*3*12*t1);x66=sin(2*pi*3*12*t1);templatex2=x11;x22;x33;x44;x55;x66;随后将这些矩阵与滤波后的在线数据矩阵进行cca计算，计算的代码如下：a1,b1,r1,u1,v1 = canoncorr(data(1,:),templatex1); a11,b11,r11,u11,v11 = canoncorr(data(1,:),templatex2); 计算后所返回的参数中，r1，r11是我们需要的参数，这些参数表达了在线收集的数据矩阵和相关的正弦波矩阵的相似程度，数值越大相似程度也就越大，我们需要做的就是将这两个数据相互比较将数值最大的矩阵所代表的控制发送到人机界面中，达到生物反馈的作用。3.2.5 对小车的控制对小车的控制是通过tcp/ip进行通信的，实现代码如下：if max(roul)=r1(1) bcicommand(t1,id01mdl15); bcicommand(t1,id01ms-02) else max(roul)=r11(1) bcicommand(t1,id01mdr15); bcicommand(t1,id01ms-02)end 当roul的值较接近r1(1)时，计算机判断受试看的是10hz的闪烁块，小车向左转；当roul的值接近r11(1)时，计算机判断受试看的是12hz的闪烁块，小车向右转。整个小车控制流程图如下：开始看10hz，12hz刺激源车左转15度车右转15度车前进是否走到“圆点”结束12hz向右转10hz向左转否是图3.2 小车控制流程图3.3 实验设计3.3.1 实验基本信息总计3位志愿者，均为男性参加该实验。年龄从23-25岁不等。已知视力正常或矫正为正常，并且没有较大家族病史。实验开始前需要为被测试者带上电极帽，调整电极帽的中心cz与被测试者大脑的顶部位置中心相一致。在电极帽被安放并且固定好之后，需要在相应的电极孔中注射入导电胶，这些导电胶会充斥在头皮和电极之间，使得导电率增加从而增强信号的幅值，便于测量以及增强抗电磁干扰的能力。实验中，被测试者坐在一张舒服的靠背椅中，睛距离屏幕约70cm。实验室是一个封闭的房间，实验室中的环境光不能过强。3.3.2 刺激范式离线实验3组，分别由3个受试完成。所用刺激源分别是4个不同频率（10hz，12hz，15hz，20hz）的闪烁块，每个闪烁块大小为100pixel*100pixel。每一组实验包含 4个频率，每个频率的10个实验组次。在每个实验组次中，要求受试注视该频率闪烁块。每个闪烁块呈现时间为 8s，随后是 5s 的休息时间。其他3个频率刺激范式均同上。在线实验3组，分别由3个受试完成。所用刺激源是由2个不同频率（10hz，12hz）的闪烁块组成，每个闪烁块大小为100pix*100pix，2个闪烁块的间距为100pix。闪烁块的呈现时间为2s，随后是0.5s的目光转移时间，一组实验持续5分钟。这2个频率分别控制小车左转和右转，记录小车到达第一目标所用的时间。在线实验界面如下：图3.2 在线实验界面第4章 数据处理4.1 离线实验脑电放大器采样频率为1000hz，每个实验组次持续时间8s+5s=13s，3个受试4个不同频率各10个组次，因此此次离线实验采集的数据量为13s*10*3*4*1000=15.6万。通过分割数据得到8000个点的数据，共计10组。使用fft估计不同频率的功率谱，如图所示： 图4.1 10hz功率谱： 图4.2 12hz功率谱：图4.3 15hz功率谱图4.4 20hz功率谱其中50hz处为工频干扰，对本次实验影响不大。从以上4个频率的功率谱可以看出，10hz和12hz的幅值较明显，而15hz和20hz的幅值几乎看不见。其原因可能有两点，一是受试在做实验时注意力不够集中，可能有肢体运动对脑电波产生了噪声；二是受试本身对15hz和20hz频率不敏感。虽然受试对15hz和20hz频率不能判断，但是在线实验只需要2个频率，所以选择10hz和12hz，这是可行的。4.2 在线实验在线3次实验，受试者通过ssvep控制小车到达第一个目标使用的时间分别是50s，95s，150s。我们拿出其中1个受试者5分钟实验的数据