（信号与信息处理专业论文）基于脑电信号控制的电话拨号系统的设计与实现.pdf

摘要 摘要 脑机接口是一种不依赖于外围神经及肌肉的信息传输通道，为人们提供了 一种与外部环境通讯的新途径。它的最终目标是让丧失某种运动能力的人，能 够操作计算机及语音合成器等辅助性的设备。本论文在稳态视觉诱发电位 ( s s v e p ) 理论基础上，研究并设计一种基于脑电信号控制的电话拨号系统。 课题研究内容包括硬件视觉刺激器、软件实验平台和信号处理算法三个方面。 ( 1 ) 完成了对l e d 视觉刺激器的设计。根据电话拨号系统的功能需求与性 能分析，设计了一个整体的实现方案，比如：对刺激器各模块芯片进行选型， 组装并调试刺激器，编写刺激器的控制程序等。这款l e d 视觉刺激器的诱发有 效性和性能稳定性，在实验中得到了充分的验证，并取得了很好的效果。 ( 2 ) 在v c + + 的开发环境下，构建了基于脑电信号控制的电话拨号系统的 实验平台。该实验平台主要包括脑电数据采集模块、脑电数据处理模块、特征 提取模块以及串口发送电话号码模块等。该实验平台为基于s s v e p 的脑机接口 技术研究奠定了坚实的基础。 ( 3 ) 对两种s s v e p 电位提取及频率检测算法进行了研究。一种是用于单 通道信号的功率谱密度分析( p s d a ) 算法；另一种是用于多通道信号的典型相 关分析( c c a ) 算法。c c a 算法对同时采集的多通道信号进行分析，增强了s s v e p 电位检测和频率识别的稳健性。对受试者多次实验结果进行分析表明，受试者 用c c a 算法能够更准确地实现基于脑电波控制的电话拨号功能。 关键词：电话拨号系统；稳态视觉诱发电位；视觉刺激器；功率谱分析； 典型相关分析 a b s t r a c t a b s t r a c t ab r a i nc o m p u t e ri n t e r f a c e ( b c i ) t r a n s l a t e st h eu s e r si n t e n t i o ni n t om a c h i n e c o m m a n d sa n dt h e r e b yc o n t r o l se x t e m a ld e v i c e sw i t h o u td e p e n d i n go nt h eb r a i n s n o r m a lo u t p u tp a t h w a y so fp e r i p h e r a ln e r v e sa n dm u s c l e s i t su l t i m a t eg o a li st o a l l o wp e o p l ew h ol o s ss o m ek i n do fa t h l e t i ca b i l i t yt o o p e r a t ea u x i l i a r ye q u i p m e n t ， s u c h 弱c o m p u t e ra n dv o i c es y n t h e s i z e r a c c o r d i n gt o t h et h e o r yo fs t e a d y s t a t e v i s u a le v o k e dp o t e n t i a l ( s s v e p ) ，at e l e p h o n ed i a l i n gs y s t e mb a s e do nt h ec o n t r o lo f e e gs i g n a l si sr e s e a r c h e da n dd e s i g n e di nt h ep a p e r t h em a i nt a s k si n c l u d et h r e e a s p e c t s ：h a r d w a r ev i s u a ls t i m u l a t o r ，s o f t w a r ee x p e r i m e n t a lp l a t f o r ma n ds i g n a l p r o c e s s i n ga l g o r i t h m s ( 1 ) t h ed e s i g no fl e dv i s u a ls t i m u l a t o ri sc o m p l e t e d a c c o r d i n gt ot h e f u n c t i o n a lr e q u i r e m e n t sa n dp e r f o r m a n c eo ft h ed i a l i n gs y s t e m ，t h eo v e r a l ld e s i g n s c h e m eo ft h el e dv i s u a ls t i m u l a t o ri sp r e s e n t e d f o re x a m p l e ：t h eu s eo fe a c hc h i p ， a s s e m b l ya n dd e b u g g i n go f t h es t i m u l a t o r , a n dt h ep r e p a r a t i o no ft h ec o n t r o lc o d e i n t h ee n d ，t h es c h e m ed e s i g ni sv e r i f i e dt ob ee f f e c t i v ea n ds t a b l eb yt a k i n ge x p e r i m e n t a n d p r o c e s s i n gt h ee x p e r i m e n t a ld a t a ( 2 ) i nt h ev c + + d e v e l o p m e n te n v i r o n m e n t ，t h es o f t w a r ee x p e r i m e n t a lp l a t f o r m i sb a s e do nt h ec o n t r o lo fe e gs i g n a l st oe x t r a c tt h es s v e ps i g n a l t h es y s t e m m a i n l yi n c l u d e sf o u rs o f t w a r em o d u l e s ：e e gs i pa c q u i s i t i o nm o d u l e ，s i g n a l p r o c e s s i n gm o d u l e ，f e a t u r ee x t r a c t i o nm o d u l e ，c o m m a n ds e n d i n gm o d u l ea n ds oo n a n dt h es o f t w a r ee x p e r i m e n t a lp l a t f o r ml a i daf o u n d a t i o nf o rt h ef u t u r el a b o r a t o r y s t u d i e sb a s e do ns s v e p ( 3 ) t w oa l g o r i t h m so fs i g n a le x t r a c t i o na n df r e q u e n c yd e t e c t i o na r es t u d i e d a n d t h et w oa l g o r i t h m sa r ep o w e rs p e c t r a ld e n s i t ya n a l y s i s ( p s d a ) m e t h o dw h i c hi s u s e df o rs i n g l es i 印a lc h a n n e la n dc a n o n i c a lc o r r e l a t i o na n a l y s i s ( c c a ) m e t h o df o r m u l t i c h a n n e l t h er o b u s t n e s so fs s v e pe x t r a c t i o na n df r e q u e n c yd e t e c t i o na r e i m p r o v e db ya n a l y z i n gt h em u l t i - c h a n n e ls i g n a l sc o l l e c t e da tt h es a m et i m e a b s t r a c t e x p e r i m e n t a lr e s u l t si n d i c a t et h a ts u b j e c t sc a l lc o n t r o lt h e i ri n t e n t i o nb e t t e rt om a k e a p h o n ec a l lb yu s i n gt h ec c a m e t h o d k e yw o r d s ：t e l e p h o n ed i a l i n gs y s t e m ；s t e a d y s t a t ev i s u a le v o k e dp o t e n t i a l s ；v i s u a l s t i m u l a t o r ；p o w e rs p e c t r a ld e n s i t ya n a l y s i s ；c a n o n i c a l c o r r e l a t i o n a n a l y s i s i v 第1 章绪论 第1 章绪论 1 1 脑机接口的概念与分类 1 1 1 脑机接口的概念 在当今社会，计算机技术与人工智能技术已经深入到行业的每个领域，它 们正潜移默化地转变了人们的生活方式( 无论是学习、工作还是娱乐等) ，给社 会带来了全新的面貌与姿态。中科院软件研究所的戴教授表示，在二十年后的 今天，人类与计算机之间的生理界限将会逐步消除，真正实现人机之间的互动 与交流，这就是人机交互( h u m a n c o m p u t e ri n t e r a c t i o n , h c i ) 技术1 1 】。人机交互 技术作为一种热门的新兴技术，涉及到人工智能、神经网络、模式识别、计算 机视觉及多媒体信息处理等多门学科【2 】；它是通过计算机输入与输出设备，以某 种通信方式来实现人类与计算机之间的会话，这种通信方式包括用输出设备给 人们显示一些提示信息或建议、给设备输入相关的操作步骤、给机器反馈人们 回答的问题和提出的意见等【3 】。不断发展与壮大的人机交互技术，在实际应用中 将极大地提高人机协作的能力，从而使计算机成为拓展人类智能的真正助手， 更为神经损伤的残疾人与外界的交流提供新途径，为他们的生活带来便利。 在全球范围内，由于各种原因造成的残障人士数目逐年增加。世界残疾报 告表明，以今年全球的人口总量来计算，地球已有1 5 的人( 也就是1 0 亿人) 正带着身体损伤在艰难地生存；有数以万计的人承受着肌萎缩性侧索硬化、脑 干损伤、严重脊髓损伤等重大疾病带来的影响；也有不少人由于车祸等不幸事 故完全丧失了行为能力，从而无法自主表达并实现自己的大脑意图，更无法与 他人进行正常的沟通交流；与此同时，全球老龄化趋势越发明显与严重，越来 越多的老年人因脑中风、脑瘫等疾病而丧失生活自理的能力，需要亲人或保姆 耐心的护理和长期的照料。现代生命支持技术虽然可以使部分残疾人长期存活， 但他们的生活质量低下，给家庭和社会造成的负担十分沉重；这一类病人，虽 然能够借助医疗手段维持较长时间的生命，但他们丧失了基本的和外界交流的 能力，无法正常表达他们的思想和愿望。现在，随着人机交互技术和脑功能研 究的不断深入，人们尝试为他们提供一种全新的恢复功能的方式：脑计算机接 口( b r a i n c o m p u t e ri n t e r f a c e ，b c i ) 技术，简称脑机接口技术。 第1 章绪论 脑机接口技术形成于2 0 世纪7 0 年代，是一种新型的人机交互技术，是目 前国际上一个十分活跃的研究领域，成为众多学科科研工作者的研究热点。近 年来，随着计算机技术的不断发展，研究人员对人类的大脑也越发了解，这使 得脑机接口技术的相关研究也更加深a j 4 。1 9 9 9 年，在第一次国际脑机接口会 议上，科学家对脑机接口做出了严格定义【5 】：脑机接口是全新的不依赖于人体正 常输出通道( 如大脑的外周神经以及肌肉等) 的通讯交流控制系统【6 】；它涉及脑 科学、神经网络、信号处理、模式识别与计算机技术等众多学科，是一种全新 的对外信息交流及控制的系统。 1 1 2 脑机接口的分类 根据不同的分类标准，可以把脑机接口分为以下三种： 1 植入式脑机接口与非植入式脑机接口 依照脑电信号记录方式的不同，可以把脑机接口可分为植入式与非植入式 两种1 7 j 。前者也称有损脑机接口，它在采集脑电信号时，是将电极直接与大脑皮 层接触或进入大脑皮层，所得到的脑电信号幅值比较大，信噪比高，处理起来 相对简单，效果也比较理想。不过因为要开颅植入微电极，而且需要专业的外 科医生和昂贵的医疗设备，因此该方式危险性大，成本费用很高。相对于前者 来说，后者采集脑电信号只需将电极与头皮接触，不必进入大脑，因而没什么 危险性，也称无损脑机接口。在采集信号时，电极的放置位置与大脑的信号源 有一定距离，所以采集到的脑电信号信噪比较低，性能不如植入式脑机接口。 即便如此，非植入式脑机接口凭借无创性这一显著特点，成为了大多数研究人 员的研究对象，同时也将成为脑机接口在实际应用中的主力军。 2 自发式脑机接口与诱发式脑机接口 依照脑电信号产生方式的的不同，可以把脑机接口分为自发式与诱发式两 种【8 】。前者是指受试者在没有特定外界刺激的条件下，人脑皮层自发地进行思维 活动产生的脑电信号；它具有较强的灵活性，所以需要对受试者进行一定时间 的训练，才能让受试者产生特征相对明显的脑电信号。由于此类脑机接口产生 的自发脑电，容易受到周围环境和受试者的情绪等影响，其特征并不明显，所 以它对后续的信息处理和分类的方法要求较高。而后者是指受试者人为地对受 到光、声、电等外界刺激，产生规律稳定的生物电活动，此类脑电信号规律性 2 第1 章绪论 强，且不需要用户长时间的训练，特征比较显著，因而是实验室研究的重点和 方向。 3 同步脑机接口与异步脑机接口 依照操作模式的不同，可以把脑机接口分为同步式与异步式两种。前者要 求用户在规定的时间里完成规定的思维任务，分析这段时间内产生的脑电信号， 从而判断出用户的意图，进而转化成能控制外部设备装置的控制命令；此类脑 机接口系统规定了相应的实验时间和思维任务，从而简化了信号处理的难度。 而后者的用户可以自主地进行思维活动，无法预知用户的思维活动和时间，所 以该系统对信号处理的要求比较高，实现起来相比前者的难度大得多。 1 2 脑机接口系统的结构与模式 1 2 1 脑机接口系统的结构 脑机接口系统一般由输入模块，中间模块与输出模块三部分组成，它们分 别是信号采集模块、信号处理模块与设备控制模块【9 】。其系统结构如图1 1 所示。 图1 1 脑机接口系统结构图 1 信号采集模块 此模块主要负责人脑皮层电位活动的相关信号提取。可以用头皮脑电图 ( e l e c t r o e n c e p h a l o g r a m ，e e g ) 、脑磁图( m a g n c t o e n c e p h a l o g r a p h y , m e g ) 、功能 核磁共振成像( f u n c t i o n a lm a g n e t i cr e s o n a n c ei m a g i n g , f m r i ) 、正电子发射断层 成像( p o s i t r o ne m i s s i o nt o m o g r a p h y , p e t ) 以及光学成像( o p t i c a l i m a 蓟n g ) 的 方法采集这些能反应用户脑思维活动的信号。m e g 、f m r i 、p e t 和光学成像的 技术要求很高，费用也相当昂贵；此外，f m r i 、p e t 和光学成像有较长的时间 3 第1 章绪论 常数，不适合快速通信，所以在脑机接口研究中很少用到。e e g 信号的时间分 辨率高，采集方便，设备价格便宜，因而在脑机接1 2 1 研究中被广泛使用【1o 】1 1 1 】。 2 信号处理模块 此模块又可细分为特征提取与分类识别两个模块。前者是脑机接口技术的 核心部分，负责从采集到的信号中提取出大脑特定活动下的特征，特征的形式 一般为时域、频域或空域；怎样找到一种既简单又快速、还能准确地提取不同 状态下脑电信号特征的方法，是目前脑机接口系统研究的重点。后者负责对信 号特征进行分类识别，并把它们翻译成外部设备的控制命令。 3 设备控制模块 设备控制模块的作用是根据控制命令对外部设备进行操作与控制，实现与 外界的通信与交流。目前，大部分的脑机接口系统的操作是在实验室环境下进 行的，输出设备多是基于计算机软件的文字或图形选择等。随着脑机接口技术 的发展，将来的脑机接口系统可以适应各种复杂的环境，用户可以像控制自己 左右手一样自如地控制输出设备。 1 2 2 脑机接口系统的模式 基于e e g 信号的脑机接口系统研究最早可以追溯至2 0 世纪7 0 年代左右， 研究目的是让用户通过生物反馈训练，学会如何自主控制脑电的节律。n o w i s 等人通过研究发现，受试者在实验过程中通过训练之后，能够自主地调节大脑 的a l p h a 波【1 2 】；s t e r m a n 等人通过研究与实验，验证了受试者具有对大脑皮层m u 节律的自主调节能力；此外，v i d a l 等研究人员在基于脑机通讯的文章中，详细 介绍了诱发电位、a l p h a 波与m u 节律等在脑机接口系统中经常提及应用到的脑 电信掣1 3 ，这些信号为脑机接口系统的研究奠定了扎实而稳固的基础。至今， 比较常见的脑机接口系统类型主要有以下四种【l 引。 1 基于运动想象的脑机接口 一个受试者在清醒的时候从事任何感觉运动时，相应的皮层区域就能够检 测到频率范围为8 1 2 h z 节律的脑电波，也就是人们所说的a 节律( 或a l p h a 节 律) 。p 节律产生于大脑的感觉运动皮层，与肢体的感觉运动有紧密的联系，它 能被人们主动或被动的肢体运动和感觉刺激所阻断。这些节律通常都会伴随 着1 8 2 6 h z f l 节律的出现，它其中一部分是节律的谐波，一部分是独立的e e g 特征。对此类脑机接口系统的研究比较典型的有美国w a d s w o r t h 研究中心，图 4 第1 章绪论 1 2 是该中心一名受试者，利用基于j l i 节律和卢节律的脑机接口，来控制光标的 移动。受试者能够自主地调节j l i 节律和卢节律的幅值，以便控制光标在计算机 屏幕上的移动方向。 图1 2w a d s w o r t h 研究中心的脑机接口系统 实验表明，当受试者在执行某种运动或者进行思维想象时，大脑皮层对应 区域产生的j l i 节律和卢节律会发生幅度衰减现象，称为事件相关去同步( e v e n t r e l a t e dd e s y n c h r o n i z a f i o n , e r d ) ，反之两种节律出现幅度增强，则称为事件相关 同步( e v e n tr e l a t e ds y n c h r o n i z a t i o n , e r s ) 。基于e r d e r s 的脑机接口系统主要 是用来识别几种简单的大脑运动想象状态，如左手、右手、脚和舌头。在奥地 利g r a z 大学，p f i m s c h e l l e r t 等人致力于e r d e l l sb c i 系统的研究，且建立了 g r a z b c i 系统。图1 3 为一名受试者利用g r a z b c i 系统进行二类的想象运动。 图1 3g r a z - b c l 系统 5 第1 章绪论 2 基于慢皮层电位的脑机接口 e e g 中的低频特征是电脑皮层产生的缓慢电压变化，这些电压的偏移发生 在0 5 秒至l o 秒的时间内，具有这种特性的电位被人们称为慢皮层电位，它是 e e g 信号中1 h z 以下的部分，能够反应受试者脑部的兴奋状态。当受试者的大 脑并不兴奋时，慢皮层电位为正；反之，当大脑处于兴奋状态时则为负【1 5 1 。 相关实验表明，受试者经过一定时间的训练，能自主地控制皮层慢电位， 通过皮层慢电位的幅值正负方向变化发出相应的控制命令。德国的n b i r b a u m c r 实验室利用皮层慢电位设计了名为思维翻译器( t h o u g h tt r a n s l a t i o nd e v i c e ， r r d ) 的脑机接口系统。图1 4 为实验室的一名受试者利用t 1 d 进行单词的拼 写，这个受试者经过一段时间的训练，可以自由地控制皮层慢电位，利用1 d 自由地拼写单词，从而与外部世界进行文字交流。 图1 4 受试者利用n d 进行单词拼写 3 基于事件相关电位的脑机接口 事件相关电位是人体对某类事件进行信息加工时，大脑皮层所产生的一系 列电活动，它也被称为认知电位【1 6 1 。p 3 0 0 是事件相关电位中的一种，它的峰值 出现在相关事件发生后的2 5 0 - 4 5 0 毫秒内，属于内源性诱发电位，最早是由s u t t o n 等人采用o d d b a l l 实验方法记录到的【1 7 j 。 研究表明，相关事件出现的概率越低，其引起的p 3 0 0 电位就会越明显。可 以根据这个特点，将备选的目标用矩阵元素进行表示，并以不同的频率闪烁， 刺激人的视觉感官，以产生相应的p 3 0 0 电位，然后采用相干平均的方法进行提 取，它需要进行多次的相干平均才能得到p 3 0 0 波形。美国i l l i n o i s 大学的f a r e w e l l 等人利用p 3 0 0 设计出了一种虚拟打字机，如图1 5 所示。一个6 x 6 的字符矩阵 6 第1 章绪论 排列在电脑屏幕上，按行或按列进行随机闪烁，当受试者要选择的字符被加亮 时，就可找出引起p 3 0 0 幅值最大的行和列，该交点上的字符就是受试者想要选 择的字符。 图1 5 虚拟打字机的o x 6 字符矩阵 4 基于视觉诱发电位的脑机接口 视觉诱发电位是指受试者受到周围环境的某些视觉刺激时，在视觉通路产 生的相关电位活动，它能在受试者大脑皮层上被检测到，属于外源性诱发响应。 在不同的视觉刺激频率下，测量到的诱发电位也相应不同；可以根据不同的诱 发电位，推断出受试者所注视的目标，进而翻译成对应的控制命令。1 9 9 2 年， s u r e r 与其同伴设计出了一种基于瞬态视觉诱发电位( t r a n s i e n tv i s u a le v o k e d p o t e n t i a l ，t r a n s i e n tv e p ) 的脑响应接口( b r a i nr e s p o n s ei n t e r f a c e ，b r i ) 系统。其 视觉刺激器是在计算机显示器上用软件实现的，共设计了8 8 的红绿颜色交替 的闪烁方块；它是用相同的伪随机序列作为每个目标的输入序列，只是各目标 的刺激序列起始时刻不同而已。稳态视觉诱发电位( s t e a d y s t a t ev i s u a le v o k e d p o t e n t i a l s ，s s v e p ) 也属于视觉诱发电位这一类别，它的刺激频率相对要高，有 很强的周期性，这一特点使它渐渐成为很多研究人员竞相研究的对象，比较典 型的研究有美国空军基地w r i g h t p a t t e r s o n 的基于s s v e p 的脑机接1 3 系统。 1 3 脑机接口的研究意义 随着研究人员对人类自身大脑的了解和对脑机接口研究的逐步深入，脑机 接口已成为人们炙手可热的研究对象。脑机接口的研究不仅对肢体残缺的人来 说有着广泛的社会意义和实用价值，对正常人来说，也能为他们的生活和工作 增添不少色彩。脑科学、计算机科学、康复医学工程、生物医学工程、军事研 7 第1 章绪论 究等领域都涉及对脑机接口的研究。具体来说，它主要表现在以下三个领域： 1 医学工程领域 脑机接口技术研究的初始目的是为行动不便的残疾人提供一种基于人脑思 维及感官功能的新型人机交互方式，帮助他们实现在特殊环境下对电脑或其他 外部电子设备的实时控制。随着脑机接口技术的快速发展，脑机接口已经成为 生物医学工程、康复医学工程领域的热点研究问题。他们的最终目标是设计一 种可以实现的基于e e g 的新型残疾人辅助设备，以帮助患者通过自己的思想和 意图控制外部设备，与外界环境进行畅通的交流。虽然目前在这些领域，脑机 接口技术还处在实验室研究阶段，但将来一定具有广阔的应用前景。 2 军事研究领域 除了在医学工程领域之外，脑机接口技术也应用于对军事武器、军事车辆 和其他军事设备的辅助控制。美国的空军基地w r i s t p a t t e r s o n ，利用基于s s v e p 的脑机接口技术对模拟飞行器进行控制，并作为美国空军对提高飞行员的快速 应变能力的一个重要组成部分；此外，美国国防先进技术计划署为d u k e 大学进 行脑机接口技术的研究资助了2 6 0 0 万。脑机接口技术让飞行员们用自己的思维 来操作飞行器，而不用坐在飞行器上手动操纵，这可以在将来的军事行动中减 少飞行员的伤亡。 3 生活娱乐领域 随着脑机接口研究的深入发展，脑机接口技术在生活娱乐方面的产品也随 之产生。目前，多家公司推出了利用脑机接口控制的游戏产品。2 0 0 8 年，美国 o c z 公司推出了一款脑电波游戏控制器( n e u r a li m p u l s e a c t u a t o r ，n i a ) ，它是一 款全新的游戏控制器，玩家可以通过前额的三个电极，提取脑电信号，进而对 游戏中的角色进行操作控制。美国公司n e u r o s k y 则推出了m i n d s e t “意念耳机 ， 此款耳机可以对人的脑电信号进行实时的采集和分析处理，然后将当前的放松 度水平、注意力水平等思维活动参数转化为量化数值，无线发送到电脑或手机 等设备上，进而应用在玩具、游戏、心理测评等生活娱乐领域。 1 4 本论文的主要内容 第一章：本章首先阐述了人机交互的基本概念及发展历程，接着从概念、 研究意义、系统结构以及分类等方面，对脑机接口系统做了详细的介绍，最后 8 第1 章绪论 对本论文的主要内容进行了一个简短的说明。 第二章：本章对脑电信号分类、s s v e p 定义及特点等做了简单的概述，最 后给出了本课题电话拨号系统的整体结构框架以及设计流程。 第三章：本章是对本电话拨号系统视觉刺激器的一个阐述。首先介绍了视 觉刺激器的种类和设计时需考虑的因素，其次根据本系统的要求和目的进行整 体考量，在v c + + 环境之下设计了本电话拨号系统的视觉刺激器。视觉刺激器设 计部分是本章节的主要内容，也是本论文的重点之一。 第四章：本章对电话拨号系统的软件平台的设计与实现进行了详细的阐述， 并对每个模块的主要功能及具体实现过程进行了分析与说明，这部分所设计的 模块主要有：脑电信号采集、信号处理、特征提取及拨号单片机命令的控制等。 第五章：本章主要对脑电信号处理算法进行了相关的研究，提出了两种 s s v e p 检测与频率识别算法。首先用这两种方法分别做实验，接下来对相同受 试者多次的实验结果进行了分析和对比。 第六章：本章首先对全文的主要工作进行了大致的总结与概括，接下来对 本课题将来要考虑与完成的工作内容进行了描述。 9 第2 章基于s s v e p 的电话拨号系统 第2 章基于s s v e p 的电话拨号系统 2 1 e e g 信号的分类 e e g 信号反映了人类大脑神经元的生物电活动，目前，人类了解和解密大 脑的重要途径之一是记录和分析这种e e g 信号【1 8 】。继1 9 2 9 年b e r g e r 等人首次 记录到人脑e e g 信号之后，e e g 信号的研究已经在世界范围内发展起来，并得 到了广泛的应用 1 9 1 。e e g 信号是因为人脑的电活动产生电场后，通过由头皮、 皮层、颅骨和脑膜等几个部分组成的容积导体的传导，最终在大脑头皮上形成 的电位分布；它是大脑神经元突触后电位引起的综合细胞外场电位 2 0 l 。可以把 e e g 信号分为自发脑电和诱发脑电两类，图2 1 显示了e e g 信号的具体类别关 系。 脑电( e e g ) 诱发脑电 自发脑电 视觉诱发电位 听觉诱发单位 体感诱发电位 ； i 事件相关电位 d e l t a 节律 t h e t a 节律 a l p h a 节律 b e t a 节律 g a m m a 节律 图2 1e e g 分类图 自发脑电是指人们在无需任何特定的外界刺激条件下，大脑神经细胞自发 地产生的电位波动，它是群体神经元同步发放电位所产生的结果；通常把自发 脑电按频率范围分为五种节律：o 1 3 5 h z 的d e l t a 节律；4 7 5 h z 的t h e t a 节律； 8 1 3 h z 的a l p h a 节律；1 4 3 0 h z 的b e t a 节律；3 0 h z 以上的g a m m a 节律【2 。 虽说脑电信号的节律特性很早之前就被提出，但关于脑电节律机制更为深入的 研究大都出现在2 0 世纪8 0 年代以后，目前对脑电信号节律的了解与认识相对 1 0 厂j。1l厂，卜 第2 章基于s s v e p 的电话拨号系统 来说还比较有限，其细胞学基础也还处在研究过程当中。 诱发脑电是指大脑的感觉、运动、外围或中枢等神经系统接受内外界刺激 之后，诱发产生出来的特定电位活动【2 2 。诱发脑电通常按照其产生机制的不同、 刺激源的不同或产生电位的脑部位置不同可分为两种：一种是内源性事件的相 关诱发电位，它与大脑的认知功能有着密切的联系；另一种是外源性刺激的相 关诱发电位，它包括视觉诱发电位、脑干听觉诱发电位、躯体感觉诱发电位与 脑磁运动诱发电位等类别瞄】。诱发脑电在临床和科研当中应用极为广泛( 如应 用于神经系统病损的科学研究) ，具有重要的临床诊断价值；除此之外，随着人 们对诱发脑电的深入了解和研究，还能帮助人类认知和解密人类大脑的这种神 经元活动的本质【z 4 。 诱发脑电根据其刺激模式的不同，又可把它细分为很多种类，例如视觉诱 发电位、脑干听觉诱发电位和躯体感觉诱发电位等，它们都是在某种特定刺激 下的电位反应。由于自发脑电是无时无刻都存在的，因此诱发脑电总是混合在 自发脑电之中。可以把自发脑电看成是一个平台或背景，在这背景之中可能会 存在多种不同的诱发脑电。这一特点意味着对诱发脑电信号进行特征提取时， 自发脑电和电磁辐射及工频干扰一样也是噪声源，都需要被滤除1 2 引。 2 2s s v e p 概述 2 2 1 视觉通路 随着人们对视觉系统电生理研究的逐步深入，研究人员在视觉通路的不同 位置可以采集到不同的生物电反应，其视觉通路如图2 2 所示【2 6 1 。 视觉通道是大脑接受外部世界视觉信息的通道。人类有三条主要的视觉信 息通路：第一条是视觉的感觉传递通路，该通道从视网膜、视神经、视交叉、 视束、外侧膝状体至视觉皮层形成视觉；第二条是视觉的运动传递通路，视束 的小部分分支通过中脑的上丘和项盖前区，再发出纤维支配眼球的运动。视觉 的运动传递通路通过丘脑枕交换神经元后把信息传递到视觉皮层；第三条是视 觉的调制生物节律通路，视神经束的更小部分分支入下丘脑，支配视交叉上核。 其中视觉的感觉传递通路普遍认为是视觉信息加工的主要通路，是形成视知觉 的基本结构。 第2 章基于s s v e p 的电话拨号系统 图2 2 视觉通路 2 2 2 s s v e p 基本概念 视觉诱发电位是大脑视觉皮层对视觉刺激诱发所产生的响应，反映了整个 视觉通路的输出特性，根据视觉刺激频率的不同，可以将其分为稳态视觉诱发 电位( s s v e p ) 和瞬态视觉诱发电位( t s v e p ) 两种【2 7 1 。 当视觉刺激器的刺激频率较低( 一般不超过2 h z ) 时，视觉刺激将逐个出现， 只有当前一刺激所引起的电位响应全部消失之后，后一个刺激响应才会出现； 也就是说，在新的刺激还未到来之前前，上一次的刺激响应就已经完全结束， 这种响应就称为t s v e p 2 8 】；它的每个刺激都对应着具有相同时域或频域特征的 波形，即刺激和反应之间呈现一一对应的关系。当视觉刺激器设置的刺激频率 由低到高慢慢变化，直到大于6h z 时，t s v e p 会趋于平稳，并且前后两次刺激 所引起的t s v e p 在时间上会发生重叠，最终形成了s s v e p 2 9 ；它是前后两次刺 激响应重叠后产生的结果，响应与刺激二者间并不呈现对应关系【3 0 】。 s s v e p 是初级皮层电位，可以通过刺激方块来诱发。如图2 3 左图所示， 受试者注视前方一个以7 h z 频率闪烁的刺激方块，就能在受试者枕部视觉皮层 记录到相应的s s v e p 。对记录到的s s v e p 进行快速傅立叶变换( f f t ) ，其频谱 如右图所示。从图中可以看出，s s v e p 具有相当明显的周期性，在7 h z 、1 4 h z 和2 1 h z 处都有显著的尖峰，把这种频率跟随的现象称为节律同化，也称为光驱 动响应( p h o t i cd r i v i n gr e s p o n s e ) 。s s v e p 的相位、幅度及潜伏期等特征不仅受到 受试者的主观状态、疾病等因素的影响，还同时受到视觉刺激参数的影响( 如 1 2 第2 章基于s s v e p 的电话拨号系统 刺激视野的大小、刺激频率、对比度及调制深度等) 【3 1 1 。 ! - -k f f 啊 。芄川l |l。iilj 1判 萨巍r 搿1噻删吣蜘虬、，堍一m 图2 3s s v e p 的频谱特点 2 2 3s s v e p 的优点 本论文采用s s v e p 作为电话拨号系统的输入信号，相对于其他类型的信号 来说，它具有如下四个优点【3 2 j ： ( 1 ) 受试者无需进行长期的训练，实验非常简单且容易操作。s s v e p 是人们 在外界视觉刺激条件下的正常反应，受试者几乎不需要训练，可针对不同性别、 年龄和种族的人群进行试用，这与其他的e r p 方法有很大不同。 ( 2 ) 基于s s v e p 的脑机接口系统有着较高的信息传输率。在系统的设计与 实现过程中，信息的传输速率是关键点之一，需要重点地考虑。目前已有很多 实验结果证实，利用s s v e p 作为输入信号会有更高的传输速率，今后仍会有提 高的可能与空间。对s s v e p 研究的更加深入，有助于更早实现人机之间真正的 快速交互，最终使系统实用化、产品化。 ( 3 ) 基于s s v e p 的脑机接口系统具有很高的信噪比，采集s s v e p 信号时所 需要的电极很少。实验人员用单个信号电极就能在受试者大脑皮层的枕部区域 采集到足够的s s v e p 信号，实验步骤简单方便，且容易操作【3 3 】。 ( 4 ) s s v e p 具有很明显的周期性和光驱反应现象。对采集到的数据进行频谱 分析后可以发现，s s v e p 集中在某些频率之上，它在这些刺激频率及其倍频处 会产生峰值，可以根据这一特性大大简化系统的特征提取算法【3 4 1 。 2 3 基于s s v e p 的电话拨号系统设计 在基于s s v e p 的电话拨号系统中，视觉刺激器上有矩阵排列的刺激方块， 每个刺激方块代表可供选择的目标或控制信息，每个方块设置为不同的刺激频 1 3 第2 章基于s s v e p 的电话拨号系统 率；受试者直视视觉刺激器，刺激方块以闪烁的方式，诱发受试者大脑皮层产 生与刺激方块同频率的诱发电位【3 5 】；拨号系统使用头皮电极从人脑表皮采集诱 发出的脑电信号，通过脑电放大器采集信号，并进行相关的预处理，之后传输 到计算机中去；再由计算机上的软件平台对其进行信号处理和特征提取，将识 别出的特征量转化为拨号单片机设备的控制命令，最终达到电话拨号的功能。 图2 4 为本课题设计的基于s s v e p 电话拨号系统的整体结构框图。 脑电放大器- 软件实验平台拨号单片机系统 电 极 。爨 簪一一 、1 图2 4 基于s s v e p 的电话拨号系统结构框图 本系统采用的视觉刺激器一共有1 6 个按矩阵排列的视觉刺激方块，实验中 只用到1 2 个模块( 预留了“上、下、左、右 四个模块) ，它们按不同的闪烁 频率同时闪烁，当受试者注视其中一个视觉刺激方块时，刺激器上的其他1 1 个 方块也都在受试者的视野范围之内，只是它们所处的视野位置不同；这1 1 个不 被注视的闪烁方块位于受试者的周围视野，只有所注视的目标闪烁方块才能进 入中央视野，而在受试者大脑皮层上采集的s s v e p 大部分是由目标闪烁方块所 诱发产生出来的【3 6 】；所以为增加目标刺激诱发的准确率，在设计视觉刺激器时， 需设置合理的刺激方块的大小与各方块的间隔，以确保只有受试者所注视的目 标才能进入中央视野，从而诱发出显著的s s v e p 信号，产生更有效的刺激【3 7 1 。 基于s s v e p 的电话拨号系统的整体工作流程为：受试者注视闪烁的视觉刺 激器，人脑枕叶区位置则产生相应频率的s s v e p ，系统通过电极从枕叶区采集 s s v e p 信号，通过脑电放大器放大并进行相关的预处理，之后传输到计算机中 去。软件系统平台对接收到的脑电信号进行频谱分析及特征识别，再将识别出 的特征量转化为拨号单片机设备的控制命令，最终达到电话拨号的功能。本课 题设计的电话拨号系统流程图如图2 5 所示： 1 4 第2 章基于s s v e p 的电话拨号系统 图2 5 基于s s v e p 的电话拨号系统流程图 2 4 本章小结 本章主要对脑电信号相关的生理机制和本课题的系统流程进行了阐述和说 明。首先介绍了脑电信号的分类及相关定义，其次描述了大脑的视觉通路，接 下来对s s v e p 产生的机制和特点等进行了详细的阐述，最后对基于s s v e p 的 电话拨号系统的整体框架和工作流程进行了具体的设计。 在本课题设计的拨号系统中，受试者注视闪烁的视觉刺激器，人脑枕叶区 位置则产生相应频率的s s v e p ，系统通过电极从枕叶区采集s s v e p 信号，并通 过脑电放大器采集信号并进行相关的预处理，之后传输到计算机中去。软件系 统平台对接收到的脑电信号进行频谱分析及特征识别，再将识别出的特征量转 化为拨号单片机设备的控制命令，最终达到电话拨号的功能。 1 5 第3 章视觉刺激器的设计 第3 章视觉刺激器的设计 3 1 视觉刺激器的选择 3 1 1 考虑因素 在脑机接口拨号系统中，视觉刺激器是重要组成部分之一，它既要能产生 稳定的视觉刺激，以获取实验人员稳定可靠的视觉诱发电位，又要具有良好的 交互界面，以便实验人员更方便的使用。提供有效的视觉刺激是脑机接v i 拨号 系统正常工作的关键。所以在设计视觉刺激器时应考虑如下因素： 首先，视觉刺激器需能够准确并有效地诱发出明显的s s v e p ，以便提高目 标识别的精确度 3 引。 其次，视觉刺激器的闪烁刺激方块分别代表着受试者可能做出的不同选择， 每个刺激块应该能够明确地表示出用户的选择意愿；此外，作为人机交互的界 面，其应尽最大可能满足受试者的接受度和操作度。 最后，视觉刺激器应能产生不同的刺激模式，以满足各种脑机接口系统的 刺激需求，在便于修改和升级的同时，尽量减少视觉刺激器的成本。 3 1 2 视觉刺激器的种类 目前较常用的视觉刺激器可分为三种：阴极射线管刺激器( c a t h o d er a y t u b e ，c r t ) 、液晶刺激器( l i q u i dc r y s t a ld i s p l a y ，l c d ) 和发光二极管刺激器 ( l i g h te m i t t i n gd i o d e ，l e d ) 3 9 oc r t 和l c d 统称为计算机刺激器，也称为虚 拟刺激器；l e d 刺激器也称为硬件刺激器。 ( 1 ) 计算机刺激器 由于虚拟刺激器的视觉反应呈方波形式，它的亮度不可动态调整，在特定 的显示器刷新频率下，只有有限几种刺激频率可用于s s v e p 脑机接口系统实验； 此外，计算机刺激器由于其技术上的某些因素，存在一定时间段的响应延迟。 随着计算机显示器技术的逐渐成熟与完善，c r t 显示器的响应时间已经可以控 制在较短时间，大约在l m s 左右；l c d 显示器的响应时间已经可以控制在5 m s 以内( 以前的响应时间在4 0 m s 以上) ，但还是会对视觉刺激产生一定的影响削。 用计算机刺激器进行刺激时，屏幕上显示的每个方块以不同的频率闪烁， 1 6 第3 章视觉刺激器的设计 分别代表不同的选择目标或控制信息。视觉刺激器选择的关键点是刺激频率的 准确性，如果刺激频率不准或不恒定，诱发出来的就不是s s v e p ，后面的分析 和控制也就没有任何意义。用计算机显示器实现视觉刺激时，因受到本身刷新 频率的限制，可选的闪烁频率有一定限制，可选择的目标或信息控制项不多， 并且不利于脑机接口系统装置的便携化和小型化。如图3 1 为四选项计算机刺激 器界面。 图3 1 四选项计算机刺激器界面 ( 2 ) l e d 刺激器 l e d 刺激器的刺激源是发光二极管，它的亮度和刺激频率可动态调整