（生物医学工程专业论文）智能轮椅的BCI人机接口技术研究.pdf

a b s t r a c t h m i ( h u m a n m a c h i n e i n t e r f a c e ) a l s oc a l l e dh u m a n c o m p u t e r1 1 1 t e r a c t i o n ( h c i ) t e c h n i q u e s0 ru s e ri n t e r f a c e ，s t a n df o rm ei n t e r a c t i o n a la r e ab e t w e e nh u m a na n d m a c h i n e i n t e l l i g e n tw h e e l c h a i r ，a s s e m b l i n gp a t t e mr e c o g n i t i o n 、m u l t i s e n s o rd a t a 如s i o na n dm u l t i m o d a l h u m a n c o m p u t e ri n t e r a c t i o nt e c l l n i q u e s ，i m p r o v e du s e r s i n d e p e n d e n ta c t i o nb yv 撕o u sh c ia n da u t o m a t i cn a v i g a t i o nf i l n c t i o n ，s oh a sb r o a d a p p l i c a t i o np r o s p e c t s o n eo ft h ek e yt e c h n i q u e si ni n t e i l i g e n tw h e e i c h a i ri s h u m a n c e n t e r e d ；i tc o u l da c h i e v er e a ih a r m o n yw i mt l l eu s a sa o n eo ft h eh m i ， b c i ( b r a i n c o r n p u t e r - i n t e 血c e ) t e c h n i q u e sg r a d u a i l ym a k et l l ee e gs i 印a l si 1 1 c o n l 1 u n i c a t i o n 谢出ac o m p u t e r 0 ro t b e rd e 、，i c ep o s s i b l e m e a n 棚】e ，i t 劬g u r a 坂l a ne 丘t i v ec o m m u n j c a t i o n 觚dc o n t r o lc h 锄e l 、7 l ，i 也o u t s i d ew o d 正 a c c o r m n gt 0 也ee ) 【i s t i n gc o n d i t i o no fb c ir e s e a r c h ，i nt e 加皓o f 也ef a c tt h a t c h a n g e si n 血ea l p h ac o m p o n e n to fe e gd u r i n ge y e so p e na n dc l o s u r ee x i s t i n g 锄o n gm o s tp e o p l e 、) l ，h oh 懿n o 衄a lb r a i nn e r v ec a na m 雒a r e l ia _ b l e 趾df 瓠 e l e c 仃o n i cs w i t c h e sa n dc o 妇曲i n i n gt h ew h e e l c h a i rc o n 仃o lm e t h o d ，也i sr e s e a r c h d e s i 弘e d 趾i n t e l l i g e n tw h e e l c h a i rs y s t e mb 懿e d0 nb c i ，i tc 蛆r 印i m y 锄d1 1 i g l l l y r e l i a b l yc o n 灯o lt h ew h e e l c h a i rn e e d l e s so f 订a i n i i l go rn e e da l i t t l eo i l l y t h i ss y s t e mc o n s i s t e do fs i 弘a lg a 也眺g 、s i g n a lp r o c e s s i n gp l a 廿0 衄、c o n 臼o l p a n e l 蛆di n t e r f a c ec o n 仃0 lc 讹u i t f i r s t l y ，也eu s e rp r o d u c e de e g 也a tc o n t a i l l e d r e l e v a n tc o m r o l i n f 0 加a t i o nb y 也ec o n 仃o lp a n e l s e c o n d l y t h es i g n a lw a si l n p o r t e d t 0c o m p u t c ra f 衙a m p l i f i e d 锄df i l t e r e dt h r o u 曲p r e 锄叩l i 丘e r 锄da dc o n v e r s i o n t ：h r o u g hs i 乒a la c q u i s i t i o nc a r d n i r d l y ，c o m p u t e rf m i s h e das 嘶e so f 、阳r ko fs i 弘a l p r o c e s s i n go nl a b v i e wp l 甜0 ms u c h 部f i l t e r ，n o i s er e m 0 、协，r m ss m o o 血n e s s 锄d e v e 衄e s s ，c o m p 撕n gt ot h et h r e s h o l dv o l t a g e ，p r o d u c i n gp u l s ec o n 仃0 ls i 俨a la n ds o o n f i n a l l y ，c o r r e s p o n d i n gc o n t r o ls i g n a l s 仃a n s f b n n e dm r o u 曲i n t e r | h c ec i r c u i tw e r e s 如tt 0t 1 1 e 、他e e l c h a i r i no r d e rt op r o v i d e 锄e x p 鲥血e n t a jb 捌sa n dc o n 五肋b c i s y s t 锄p a r a m e t e r s ，t 1 1 i sr e s e a r c hp e d 0 衄e das 丽e so fe x p e r i 1 e n tb ye i g h ts u b j e c t s ： l ，a c q u i s i t i o no ft h es o u r c es i 印a l i nd i f r 音r e n tl o c a t i o n s 锄dc 伽叩a r et 0i t sc o n 仃o l e f 艳c tp r 0 v i d eaf o d a t i o nt 0 也ee l e c 仃0 d e - c u pd e s i g n ；2 ，d e t e n i l i n i n gt h ep 血c i p l e f 1 0 rs e l e c t i n gt h e 血r e s h o l dv o l t a g eo nb a s i so fp s e u d o p o t e n t i a li nad i f 五b r e n tt h r e s h o l d v o l t a g ec o n d i t i o n s ；3 ，d a t as t a t i s t i co ft r i g g e rt i m ed e t e 皿i n e d 也en i c k e rt i m e s e l e c t i n g 九】l eo ft h ec y c l el i g h t s f i n a l l y ，a l ls u b j e c t sa t t e n d e df b u rg r o u ps i n g l ed i r e c t i o nw h e e l c h a i ro p e r a t i o n s a n da d v a n c e dt r a v e le x p e r i m e n tt ot e s tt h ep e r f o 肿a n c eo ft h es y s t e m i tw a s o b v i o u s l ys e e nf r o mt h er e s u l t st h a te i 曲ts u b j e c t sc o u l ds u c c e s s f u l l ya n ds t e a d i i y f i n i s ht h em o s to p e r a t i o n sw i t hp r e f e r a b l es u c c e s sr a t ea n ds t a b i l i 够i ta l s op r o v e dt h a t t h i sb c is y s t e mi sf e a s i b l ea n dh a sp o t e n t i a l 印p l i c a t i o nv a l u e 1 ( e yw o l i d s h u m a n m a c h i n e i n t e r f a c e ，i n t e n i g e n t w h e e l c h a i r b r a i n c o m p u t e r i n t e r f a c e ，e l e c 仃o e n c e p h a l o 蓼a m ，a l p h a ( q ) w a v e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名赵摹蛸 签字日期：力，1 年易月p 日 学位论文版权使用授权书 本学位论文作者完全了解苤洼叁鲎有关保留、使用学位论文的规定。 特授权墨鲞叁堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：錾翔司 签字日期：必刁年易月? 2 日 导师签名：乃拍叶 签字日期：匆年易月f 2 日 第一章绪论 第一章绪论 1 1 智能轮椅中人一机接口的研究背景、意义 联合国发表报告指出，全世界人口老龄化进程正在加快。今后5 0 年内，6 0 岁以上的人口比例预计将会翻一番，由于各种灾难和疾病造成的残障人士也逐年 增加，他们存在不同程度的能力丧失，如行走、视力、动手及语言等。为了给老 年人和残障人士提供性能优越的代步工具，帮助他们提高行动自由度及重新融入 社会，目前美国、德国、日本、法国、加拿大、西班牙及中国等国家对智能轮椅 进行了研究n 卅1 ，使智能轮椅具有记忆地图、避障、自动行走、与用户交互等功 能。 智能轮椅是将智能机器人技术应用于电动轮椅，融合多种领域的研究，包括 机器人导航和定位、模式识别、多传感器融合及人一机接口等，涉及机械、控制、 传感器、人工智能、通讯等技术，也称智能轮椅式移动机器人。它在运动上实现 了真正意义上的在几乎无回转半径下的全方向运动，特别是在保持人体姿势不变 条件下的位置调整，对于行走能力弱的人来说是极大的进步，在无需别人照顾的 条件下可以自由出入需要的空间，解决了普通轮椅移动要大空间的难题。同时如 果在轮椅上设计出更多的健康增进功能实现人工智能化( 例如人性化的人机界 面、导航和避障功能等) ，这种轮椅将有更广阔的前景b 1 。研制智能轮椅不能简 单照搬传统机器人的设计方法和理论，必须真正做到以“人 为中心，重点研究 智能人机交互问题。与工业机器人不同，智能轮椅不是执行特定生产任务的电动 机械，它的所有服务行为必须通过与人的交互来实现，“人机感知接口”使轮椅 能看、能听，能融合多种通道的信息实现对外界环境的认知；也使人能以更方便 自然的方式如面部姿态、表情、手势和语音等与轮椅智能交互，将自身的知识和 感受传达给轮椅。勿庸置疑，人机交互问题如果解决不好，将会成为制约智能轮 椅发展的瓶颈。 自1 9 8 6 年英国开始研制第一辆智能轮椅以来，许多国家投入较多资金研究智 能轮椅。如美国麻省理工学院啪e l e s l e y 项目、德国乌尔姆大学m ( 老 年人及残疾人助动器) 项目、欧盟t e 项目等。我国智能轮椅研究起步较晚，在 机构的复杂性和灵活性上和国外相比有一定差距，但也根据自身特色研制出技术 指标接近国外先进水平的智能轮椅。国内研究单位主要有中科院自动化所、台湾 中正大学电机系、上海交通大学、第三军医大学等。他们的研究取得了一定的成 第一章绪论 效，但仍有很大的空间，未来的方向将会向智能化、人性化、模块化发展。 1 2 传统人一机接口研究思路 智能轮椅集模式识别技术、多传感器融合技术和多模态人机交互技术等多种 新技术为一体，通过各种各样的人机界面及自动导航避障等功能大大提高了使用 者独立行动的能力，具有广泛的应用前景。智能轮椅的关键技术之一就是实现与 使用者和谐交互的技术。这种交互包括两方面的要素：一方面使人能更自然地控 制轮椅：另一方面使轮椅可以较好的理解人的思维和命令。要实现以上功能，就 需要设计友好的人机界面。 人与硬件、软件的交叉部分即构成人一机接口。人一机接口( h u m 粗一 m a c h i n e i n t e r f a c e ， 玎m i ) 又称人一机交互、人机界面或用户界面，是指人机间 相互施加影响的区域，凡参与人机信息交流的一切领域都属于人一机接口哺1 。好 的人一机接口要考虑生理学、心理学、文化学、生物学、技术学等多个学科的相 关知识。它主要包括有意识控制和自然控制两大类，如图1 1 所示。有意识控 制类的人一机接口适用于残疾程度较轻、肢体能动性较高的人群，而无意识控制 类适用人群是残疾程度高，肢体能动性低的人群。智能轮椅在这方面应用了一些 较有特色的自然控制的人一机接口。例如，用户可以通过语音驱动像日常对话一 样驾驶轮椅；眼睛驱动更可以让用户在不知不觉中不费丝毫力气就可以达到目 的。 图卜1 自然控制的人一机接口分类 人一机接口作为用户和轮椅之间的交互方式，必须设计得合理、方便、易于 2 第一章绪论 使用，也需从技术、心理学及经济角度来选择用户和机器之间最佳的合作方式。 轮椅提供其反应和自动行动能力，用户提供对环境的感知和理解。在构建系统的 每个阶段中应把用户作为系统不可或缺的中心部分纳入考虑，而轮椅的设计并不 是使其自动化程度越高越好，应在不加重用户负担的前提下充分利用其能力。故 轮椅系统的自动化程度应基于用户的身体和认知能力而设计，也决定了用户与机 器之间的交互方式应丰富多彩。已有的智能轮椅都设计了既有共性也有个性的人 机接口，下面介绍几种有特色的接口。 1 2 1 语音识别 作为模式识别的一个重要部分，语音识别研究在世界各国都受到极大的重 视，其最终目标是实现人与机器之间的自然语言通讯。语音识别技术包括特征提 取技术、模式匹配准则及模型训练技术三个方面。刀。语音交互是一种很自然的交 流方式，适合于大多数的智能轮椅使用者。中国科学院北京自动化研究所研究成 功的智能轮椅就是以语音交互作为人机界面的。其关键技术是包含口令识别与语 音合成的语音识别技术。该项研究中的语音交互人机界面的设计，使人能够通过 语音控制轮椅自由行走，轮椅也可以与用户进行简单的人机对话功能。因为装有 语音识别技术，乘坐者可以通过直接“对话”，来控制轮椅的行动。在经过对室 内环境的训练学习后，智能轮椅可以根据人的命令自动到达室内指定位置。上海 交通大学也开发成功一种声控轮椅，主要是为四肢全部丧失功能的残疾者设计， 使用者只需发出“开”、“前一、“后”、“左”、“右 、“快”、“慢 、 “停”等指令，轮椅可在l 。2 秒内按指令执行。 1 2 2 眼电图 人们每天都要通过眼睛来完成许多不同的任务，如读、写、学习新事物、获 取环境信息、抓取东西、与其他人交流等。另据研究显示，人的视线在3 0 0 之 间眼电图的电压呈线性分布。所以，人的这种控制视线方向的能力也可以用于与 机器的交流。 眼电图( e l e c 缸o o c u l o 舀a p h y ，e o g ) 是通过记录角膜和视网膜之间极化和去 极化所产生的电压感测眼球运动的方法。智能轮椅中所采用的眼电图是通过在眼 睛周围放置5 个电极而获得的。如图l 一2 所示，在左眼和右眼的外眼角分别放置2 个电极( 1 和2 ) ，用于检测眼球的水平运动；在右眼( 或左眼) 的上、下分别放 置2 个电极( 4 和5 ) ，用于检测眼球的垂直运动；前额放置的电极3 为参考电极。 系统的控制目的是通过电压的测量确定人的视线，实时地控制轮椅的角速度和线 速度。检测到的眼球的运动可以转化为如下的速度控制( 闭眼表示停止) ： 第一章绪论 向上( ) ：增加线速度( 矿+ + ) ； 向下( d o w n ) ：减小线速度( 矿一) ； 向左( l e f t ) ：减小角速度( ) ； 向右( 砌g h t ) ：增加角速度( + + ) 。 图1 - 2 电极布置图 这种人一机接口适用于可以控制自己眼睛的运动并可以自由地做其它事的人。用 户要对该系统进行使用前的训练。研究显示残疾人大约需要1 5 分钟就能掌握该系 统。开发人员在设计时要考虑到如眨眼等多种干扰，另外，还可附加其他的控制 方式以确保轮椅驾驶的安全性和稳定性。 1 2 3 头部运动驱动 人们总是偏转头部看着他们想要去的方向，转弯时头部又会不断地改变方 向，最后完成转弯时头部也自然地面向正前方。人们的这种几乎是无意识的转头 行为也可以用于驱动控制，且具有自校正的特性。 l 1 图1 3 测量简图 4 第一章绪论 头部运动驱动的人一机接口只需考虑头部绕纵轴的转动即可。原理大致如 下：首先，系统通过摄取头部图像的黑白摄像头提取较大的一块皮肤区域即面部 区域；其次，通过阈值处理，从面部区域中提取眼、眉、口、鼻等面部特征；再 计算面部特征在纵轴上的投影，其中2 个较为接近的峰值区域即为眼一眉区域； 接着系统计算水平轴上的投影来确定眼眉区域的水平范围；最后如图l 一3 所示， 沿两眼质心的连接线测量得到右眼尾部距脸部右侧边缘线的距离，记为l r ，同样 地。得到左眼的l l 。比较两者的值，就可以判断出头部的转向懈1 。除此之外，还 可以用更为精确的面部匹配的方法得到头部的转向。 这种人机界面，用户使用起来方便，不会觉得是一种负担。设计时除了相关 的技术处理以外，还要采取一定的方法与用户的非控制命令动作区分开，如系统 可以仅对较慢而稳定的面部运动产生动作。 1 2 4 呼吸驱动 呼吸驱动模块作为智能轮椅的人机界面实际上是作为另一种方式来激活驾 驶系统的控制按钮。用户可以简单地在一个压力开关上吹气来激活期望的输出从 而实现对轮椅的控制。西班牙s l 蝴o 智能轮椅中所采用的就是呼吸驱动模块，它 通过简单易行的呼吸编码既可以控制轮椅的线速度，也可以控制轮椅的角速度以 及急停哼1 。该系统反应迅速，允许在狭窄空间、公众场合、走廊等处行走甚至可 以通过较宽的门。但目前该种差动气流传感器在国内很少，进行该方面的设计研 究应用现在还不多。 上述的几种人一机接口友好和谐，考虑了生理学、心理学和技术学等多方面 的因素，极大地方便了使用，体现了“以人为本”的服务机器人的特点，可以推 广到虚拟现实、远程控制、航空航天、医学实习、军事训练、娱乐游戏等领域， 具有很高的应用价值和广泛的市场前景。 1 3 本文研究思路 人一机接口是智能轮椅研究中的重要课题，涉及面宽，包含问题较多，想在 一篇论文中做到面面俱到是不现实的。因此，应该选择一些有代表性问题重点展 开研究。而且，研究必须结合一个具体的应用平台，如果只是基于一些离线的仿 真结果就做出结论，其真实性和实用性很难有说服力。 我们知道在医学康复领域里，对于严重神经或肌肉伤残患者来说直接用大脑 去控制装置几乎是不可能的，如何对那些思维正常但有运动障碍的人提供有效的 帮助是现在康复医学中面临的一个新难题。随着近年来脑认知科学、神经科学、 5 第一章绪论 计算机科学与信号处理技术的飞速发展以及残疾患者的需求意识的不断提高，一 项被称为“脑一机接口( b r a i n c o m p u t e r i n t e m c e ，b c i ) ”的技术正在逐步使得人 类利用脑电信号同计算机或其他装置进行通讯成为可能。b c i 归属于人一机接 口，因为b c l 也是介于操作者与操作设备( 计算机) 之间的一个界面或平台，但 是b c i 的特点是不依赖常规的大脑输出通路( 外周神经与肌肉系统) ，它为人的 大脑开辟了一条全新的与外界进行信息交流和控制的途径。 因此，本文的研究思路是：基于一个具体的b c i 研究系统智能轮椅控制 系统平台，选择人脑电图( e l e c 仃o e n c 印h a l o g r a m ，e e g ) 中的0 【波作为开关控制 信号实现对轮椅运动的控制，从而探索一种新的人机交互手段。 1 4 本文主要内容与结构 本文根据目前人机交互中b c i 的研究现状，从实用和可行性角度出发，利用 脑电中对应于视觉皮层的a l p h a ( a ) 波最具明显节律性的特点和在绝大多数脑神 经功能正常人中普遍存在的a 波阻断现象( 经证明伴随睁闭眼的a 波变化可以作为 电子设备的一种快速可靠的开关控制的原理) ，结合电动轮椅的控制方法，设计 并实现了一套基于脑电q 波的电动轮椅人机交互系统。本设计主要侧重于人如何 更自然地控制轮椅，用来帮助那些神经通路出现障碍造成肌肉不能运动的病人 ( 例如瘫痪人士) 的一些日常生活。其目的在于：实现b c i 系统控制对象多样化， 对一种新的人一机接口途径进行尝试，并为进一步丰富和实现复杂装置的人一机 接口奠定理论和实验基础。 ， 本文主要章节安排如下： 第一章，综述了智能轮椅中人一机接口概况，总结了当前国内外常用的人一 机接口研究思路，提出了本文的研究目标、内容，阐述了其研究意义。 第二章，基于b c i 原理实现智能轮椅人一机交互的可行性分析。通过一般b c i 系统的结构来说明它应用于智能轮椅这一研究平台进行人机交互的可行性，并初 步拟订了基于旺波的b c i 智能轮椅控制方案和信号采集与处理技术路线，给出了 人一机交互系统结构框图。 第三章，基于q 波的b c i 智能轮椅控制系统的总体实现。设计了基于l a b v i e w 平台的脑电信号采集与瑾波信号提取单元；根据轮椅运动控制原理搭建了轮椅控 制平台( 包括控制面板与采集接口等软、硬件) ；通过实验优化电极位置、方便 信号采集、改善抗干扰特性和提高控制精度及完善系统的总体结构。 第四章，b c i 智能轮椅控制系统操作实验。通过4 组不同的轮椅方向操作组 6 第一章绪论 合及行进实验对受试者进行测试以验证设计方案的可行性、实用性和可操作性， 从实验结果中分析了错误产生的类型、原因和进一步解决的方案。 第五章，总结本文研究成果，分析设计方案的优点和不足，提出进一步的改 进措施。 第二章基于b c i 的人一机接口技术 第二章基于b c l 的人一机接口技术 2 1b c i 系统框架 2 1 1b c i 概述 第一次b c i 国际会议给出的b c i 定义是：“脑一计算机接口( b r a i n c o m p u t e r i n t e 血c e ) ”是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系 统川1 0 1 。b c i 是一种连接大脑和外部设备的实时通信系统，它可以把大脑发出的 信息直接转换成能够驱动外部设备的命令，并代替人的肢体或语言器官实现人与 外界的交流以及对外部环境的控制。换言之，b c i 系统可以代替正常外围神经和 肌肉组织，实现人与计算机之间或人与外部环境之间的通信u 卜1 4 1 。b c i 的实质为 通过脑信号推断人的想法或目的，从而实现人机交流。b c i 完全不依赖肌肉和外 围神经的参与，直接实现脑和计算机的通信。这对完全没有活动能力的患者( 如脑 中风，肌萎缩性( 脊髓) 侧索硬化、脑瘫等) 的辅助治疗和语言功能、行为能力的恢 复，对特殊环境中外部设备的控制人员( 例如飞行员、宇航员、潜水员) 来说， 可以增加某种操作控制专用设备的特殊技能；甚至对娱乐方式的改进都具有非常 重要的意义。它将大大扩展人们对外界控制和交流信息的能力，其信息传递和控 制模式的研究开发将极大丰富脑认知科学和神经信息学的内容。 b c i 的出现，使得用人脑信号直接控制外部设备的想法成为可能。要想实现 脑一机接口，必须有一种能够可靠反映人脑不同状态的信号，并且这种信号能够 实时( 或短时) 被提取和分类。目前可用于b c i 的人脑信号的观测方法和工具有： 脑电图( e l e c t r o e n c 印h a l o 簪锄，e e g ) 、脑磁图( m a 印e t o e n c 印h a l o 蓼锄，m e g ) 和功能核磁共振成像( f i m c 石o n a lm a g n e t i cr e s o n a n c ei m a 百n g ，删) 等。由于采 集e e g 相对简便等原因，因此大多数的b c i 研究机构采用的是脑电信号。人体在 接受外界刺激或在自主行为及意识的控制下，所产生的神经电活动信号表现出不 同的时空变化模式，将测量到的这些大脑神经系统的电活动信号传送给计算机或 相关装置，再经过有效的信号处理与模式识别后，计算机就能识别出使用者的状 态，并完成所希望的控制行为。 8 第二章基于b c l 的人一机接口技术 2 1 2b c i 系统结构 要实现脑一机接口，必须满足以下两个条件“”： l 必须有一种能够反映人脑不同状态的信号； 2 能够实时地采集该信号且能对该信号识别和分类。 脑电信号是满足这两个条件的。脑电活动是由大脑产生的电活动，它本质上 是中枢神经系统( c 哪e r n e r v d 嘴s y s i e m ，c n s ) 工作过程中神经和突触所产生的 电噪声，当人们进行不同的感觉、运动时，脑电信号也是不同的。 田2 一l 脑一机接口示意圈 如图2 一l 为脑机接口示意图，计算机采集大脑发出的e e g 信号，并进行识别 处理，根据识别结果由计算机来控制外围设备，这就是说在大脑与外部设备之间 建立起了一种通道，也就是脑一机接口。 b c i 系统一般都具备信号采集( 采集、放大、滤波、a ，d 转换) 、信号分析 ( 特征提取、模式识别) 、设备控制( 控制外界环境及设备) 三个功瞄瞑块。如 图2 2 所示，信号采集部分为系统的输入部分，负责大脑活动的信号采集；信 号处理部分负责从采集到的信号中提取出大脑特定活动下的特征，然后将其翻译 为对外部设备的控制命令；而系统输出部分的任务是根据控制命令来执行对外部 设备的操作。在基于脑电信号的脑一机接口系统中，输入信号是头皮记录的脚 信号，信号处理部分从脑电信号中提取出诱发响应或者脑电节律的相应特征，然 后将这些特征转换为预先设定的设备控制指令，再由设备控制模块完成对外部设 备的控制。现有的大部分脑一机接口系统是实验室环境下的演示系统输出设备 多为基于计算机软件的图形或文字目标选择，比如光标运动控制和字符输入等 7 1 ，其具体各部分功能定义如表卜一l 羽。 第二章基于b c i 的人一机接口技术 图2 2 b c l 系统机构框图 表2 一lb c i 系统各部分功能 运行环境 组成部分功能描述 控制者一般为控制者本人，通过不断的调节大脑状态产生控制信号驱 动b c i 系统。 电极利用电生理学原理，电极将控制者的脑活动状态转化成电信号。 许多种电极( 例如头皮的、头骨内置的、脉间的) 应用在各种 采集装置中。 信号放大放大器对采集的脑电信号进行放大和带通滤波。信号一般需放 大l 0 0 0 0 倍左右。 特征提取对放大的源信号进行处理分析，把连续的模拟信号转换成用某 写些特征参数( 如幅值、自回归模型的系数等) 表示的数字信 号，以便于计算机的读取和处理，并对这些特征信号进行识别 分类，确定其对应的意念活动。 信号转换根据信号分析、分类之后得到的特征信号产生驱动或操作命令， 对输出装置进行操作，或直接输出表示控制者意图的字母或单 词，达到与外界交流的目的。作为连接输入和输出的中间环节， 特征提取与转换是b c i 系统的重要组成部分。在训练强度不变的 情况下，改进信号分析与转换的算法，可以提高分类的准确性， 以优化b c i 系统的控制性能。 控制器 将已分类的信号转换为实际的动作，如在显示器上的光标移动、 机械手运动、字母输入、控制轮椅、开电视等。 反馈环节 有的b c i 系统还设置了反馈环节，不仅能让控制者清楚自己的思 维产生的控制结果，同时还能够帮助控制者根据这个结果自主 调整脑电信号，以达到预期目标。 l o 第二章基于b c l 的 一机接口技术 2 1 3b c i 研究方法 各个机构的研究思路和方法各不相同，从采集脑电信号的电极位置看，有植 入式和非植入式两种。植人式是将电极置于颅内直接从大脑皮层上提取皮层脑 电( e i e c t r o c o n l c o g m m ，e c o g ) 。这种方法具有空间分辨率高、位置稳定性好、 特异性强、信噪比高和后处理简单等优点但技术困难、有创伤。这种方式会随 着生物材料、微加工及封装工艺、集成电路等的发展而得到更多关注，目前主要 是动物实验阶段“”。非植入式是将电极置于头皮上来提取脑电，具有较低的信 噪比和空问分辨率，但由于它的无自0 性，是目前研究的重点枷。利用e e g 常用的 研究思路如图2 3 ： 匿 图2 3 b c j 研究思路 第二章基于b c l 的人一机接口技术 ( 1 ) p 3 0 0 诱发电位 事件相关电位( e v e n tr e l a t e dp o t e n t i a l ，e i 冲) 是大脑对某种事件进行信息加 工时诱发产生的一系列电活动。p 3 0 0 是e r p 的一种，最早由s u t t o n 等人使用o d d b a l l 实验的方法记录到佗。p 3 0 0 大约出现在新奇事件刺激后的3 0 0 毫秒内，相关事件 发生的概率越小，所引起的p 3 0 0 越显著。美国伊利若斯大学的f a n v e l l 和d o n c h i n 采用p 3 0 0 诱发电位作为b c i 信号输入设置了虚拟打字机并于2 0 0 0 年进行了改进 眩列。通过在计算机显示屏上显示一个6 6 字母矩阵，使用者要求选择一个特定字 母，每行和每列都在闪烁，频率为1 0 h z ，计算对每行和每列闪烁的平均反应，测量 p 3 0 0 幅值。对包含特定字母的行和列的反应幅度最大，根据这个特性就可以从 p 3 0 0 诱发电位中“找到”特定字母。p 3 0 0 脑一机接口的优点是使用者需要的训练 很少，在p 3 0 0 脑一机接口的研究中，特征提取和分类算法是研究的热点，国际脑 一机接口数据竞赛中多次出现有关p 3 0 0 分析的数据集呓列。 ( 2 ) s s 邛( s t e a d y s t a t ev i s l l a le v o k e dp o t e n t i a l ，稳态视觉诱发电位) s s p 法是设计若干个虚拟按钮，每个虚拟按钮的亮度以不同的频率调制， 对实验者进行视觉刺激。操作者眼睛注视期望选择的按钮，s s 、僵p 的幅度在按钮 的调制频率出增加。利用信号频域特征，就能识别出实验者注视的目标。美国 a c t ( a l t 锄a t i v ec o n 打0 lt e c h n 0 1 0 9 ) ，) 实验室作了相关研究1 。国内清华大学在这方 面作了大量工作，2 0 0 4 年开发的b c i 系统能够帮助残疾人利用s s p 通过红外遥 控设备控制电视和空调、拨打电话并启动语音播放。同年开发了基于b c i 的康复 辅助机械手控制系统，通过可编程逻辑控制器控制机械手完成规定的动作。以及 开发了患者主动参与的上肢康复训练系统，患者利用s s 强的主动参与有利于提 高治疗效果瞵1 。2 0 0 6 年，他们又利用视觉诱发脑电成功开发出一套“脑控 电话拨号系统”。 ( 3 ) s c p ( s l o wc o r t i c a lp o t e n t i a l ，皮层慢电位) s c p 法是持续时间在0 5 到1 0 s 范围内的皮层电位慢变化，定义为e e g 中1 h z 以下的部分，与运动和皮层激活有关眩6 1 。德国的d o m h e g eg 等人证明了人能够 自我管理s c p 。研究组设计了思维转换设备( t h o u 曲tt r 趾s l a 石o nd e 、r i c e ，t t d ) ， 病人通过反馈训练，学习设法控制s c p 幅度，使s c p 产生正向或负向偏移，当自 我调控s c p 准确率大于7 5 时就可以使用，丌d ，在计算机语言支持程序中进行拼 写。目前正在进行网络版的研究倥7 】。 ( 4 ) 利用事件相关去同步( e v e n t r e l a t e dd e s 、m c h r o n i z 撕0 n ，e r d ) 或同步化 ( e v e n t r e l a t e ds y n c h r o n i z a t i o n ，e r s ) 方法 研究表明，单边的肢体运动或想象运动，大脑对侧产生频谱能量降低表示事 件相关去同步化( e i m ) ，大脑同侧频谱能量增加表示事件相关同步化( e r s ) 1 2 第二章基于b c i 的人机接口技术 2 钔。p 如n s c h e l l e r 等人进行了一系列基于e i 的b c l 系统的研究2 9 3 ，并实现了 g r a zi 和g r a z1 i 两个有代表性的b c i 系统。在g r a zi 中，受试者面对显示器，显示 器上的左侧或右侧显示一个目标，受试者根据目标的位置准备用左手食指或右手 食指去按一个开关。用于分类的脑电信号取自显示器上出现目标之后，出现光标 之前，也就是受试者准备动作的阶段。信号预处理方法采用功率谱估计，分类法采 用l v q 算法，从而预测出是左手还是右手将要运动。十字形光标根据预测结果向 左或向右移动，将预测结果反馈给受试者。经过5 7 次训练后，正确率为6 7 8 6 。在g m z i i 中，受试者只是想象做动作，真正的动作并没有发生，其分类正确 率达7 7 。最近的g r a zb c i 具有远程遥控功能，其控制正确率达到了9 0 以上口到。 ( 5 ) m u 节律与b e t a 节律法 在人们醒着并放松时，主要感觉运动的皮层经常呈现8 1 2 h z 的e e g 活动。 这种空闲的活动当集中在体觉或运动皮层称m u 节律。m u 节律活动包含8 1 2 h z 大量的变化，并通常与1 8 2 6 h z 的b e t a 节律有一定联系。m u 与b e t a 节律的增大和 减小与实际运动及运动想象有关。现有的基于m u 节律和b e t a 节律的b c i 有两种模 式：一种是采用机器学习的算法根据e r d 的空间分布特性来识别大脑的运动想象 状态，比如区分想象左手、右手、脚、舌头等不同的状态b 引；另一种是通过反 馈训练让使用者能够实时调节m u 节律和b e t a 节律的幅度，从而控制一维或二维的 光标运动u 制。 ( 6 ) 视觉集中控制a l p h a 波 在大脑枕部视觉皮层检测到的伍波可反映出受试者处于的视觉松弛状态。受 试对象产生强的自发脑电( e e g ) 的能力可以通过生物反馈或操作训练得到加强。 根据反馈调节e e g ，受试对象可通过训练来学会控制设备。典型的例子是早在 1 9 6 7 年，d e w a n 【3 5 】就采用视觉集中去同步俚波幅值来发送m o r s e 电报码。通过快 速简短地向上转动眼球，即一个a 波幅值的简短增加，代表一个“”；通过延长 眼睛向上的时间，即一个延长时间的0 【波幅值增加，代表一个“一”；电码之间的 空格，则用集中注意力产生a 波的阻断来表示。用这种办法发送一个字母的m o r s e 码需要3 5 5 0 s 。1 9 9 7 年，澳大利亚悉尼技术大学的飚衄p 【3 6 】等人设计了可以表 达开关量b c i ，通过检测人闭眼后a 波幅度的升高来控制电子开关。该系统运算 简单，对不同的人只有一个参数需要调节，使用者不需要训练，可靠性高。 ( 7 ) 运动想象脑电 运动想象脑电受试者按照提示信息主动想象某种特定的运动动作，同时在相 关的头皮电极位置记录到的e e g 信号即为运动想象脑电( m o t o ri m a g e 丐e e g ，m i _ e e g ) ，m i e e g 实质就是自发脑电的一种。由于人们对头皮运动功能区了解较 多，实验易设计，故成为研究b c i 的一个较好的切入点。 第二章基于b c i 的人一机接口技术 c 0 1 0 r a d o 州立大学的k e i m 和a u n o n l 3 副研究了用脑电信号区分以下五种心理 作业的可能性：休息状态，心算乘法，想象物体旋转，打信件腹稿，想象在黑板 上书写和擦除数字。k e i m 采用的信号处理方法是功率谱不对称比。在功率谱估 计时，分别采用了自相关法和a r 模型。结果，自相关法的分类正确率在8 0 9 0 之间，a r 模型的阶数超过5 阶后，正确率和自相关法差别不大。此外，k e i m 还尝试了直接利用a r 模型的系数进行分类。2 0 0 6 年，清华大学利用运动想象脑 电，成功的实现了用脑电波控制机器狗踢足球，此系统在国际上处于领先水平。 上述七种方法中，p 3 0 0 诱发电位和s s v e p 都是基于人接受外界视觉刺激所 产生的特定电活动。所产生的信号电位有其空间、时间和相位特征，与刺激有较 严格的锁时关系。p 3 0 0 提取时域特征，而s s v e p 提取的是频域特征，两者均具 有不需要训练、特征提取容易、准确率高、受主观因素影响小的特点，但需要结 构化的环境。其余五种方法所使用的e e g 是人体在自然状态下记录的，不需要 结构化环境。实验者通过特定的心理活动来实现，但需要用户进行大量的训练产 生特定模式的脑电，受主观因素( 情绪、疲劳、注意力等) 影响较大，训练时间 较长。例如p 胁s c h e l l e r 等人研究的基于事件去同步化同步化( e r s e i 己d ) 的 g r 讹b c i 需要大量的实验数据训练分类器，使其能够适应使用者。 2 2 系统结构分析 从上一节介绍的b c i 一般结构和研究方法，我们可以看出，b c i 系统提供了 一种全新的不同于传统意义的人一机接口方式。它提供了一种新型的弥补功能和 对外信息交流手段，与已有的运动功能康复手段不同，也有别于另一些传统的残 疾人辅助设备。我们改变其控制对象，进行对电动轮椅的控制来达到预定的目的， 下面就b c i 系统各部分功能作一些分析。 2 2 1 信号采集 这一节介绍了本b c i 系统所用的e e g 信号，并对其采集方法作了介绍。 1 e e g 信号简介 b c i 系统中常用e e g 信号作为源信号，e e g 信号是由大量神经元放电活动中 突触后的电位( p o s t s y n a p t i cp o t e n t i a l ) 引起的细胞外场电位( e x 仃a c e l l u l a r6 e l d p o t e n t i a l ) 的总和，而e e g 中波状节律的产生是群体神经元同步发放的结果口刀。 头皮脑电信号的频率范围为0 1 l o o h z ，正常成人的脑电主要成分频率为8 3 0 h z 。 脑电信号是大脑半球的生物电活动，是大脑皮层锥体细胞及其顶树突突触后 1 4 第二章基于b c i 的人一机接口技术 电位同步综合波，并由丘脑中线部位非特异性核团( 包括中央内侧核、中线核等) 起调节作用，而丘脑、脑干网状结构与大脑皮层各部件的兴奋或抑制刺激和反馈 作用决定着大脑的节律性同步活动。 图2 2 神经元结构模式 脑电活动来源于大脑皮层神经元( 如图2 2 ) ，与血管和结缔组织无关，但 与年龄、感觉性刺激和机体生理化学有关。大脑皮层的生物电活动有两种类型： 一种是在无明显的外界刺激的情况下，大脑皮层经常具有持续的、节律性的电位 变化，称为自发脑电活动；另一种是在感觉传入的情况下，大脑皮层的某一区域 产生较为局限的电位变化，称为诱发电位。自发脑电与诱发脑电的区别在于：( 1 ) 诱发电位具有相对稳定的潜伏期，而神经系统无时不在产生自发电位；( 2 ) 在同 一感觉系统中，诱发电位的反映形式相同或相似，而自发电位则不固定；( 3 ) 诱 发电位在脑内的某一部位有一定的空间分布，而自发脑电可在脑的任何部位记录 到。 2 e e