基于脑电波的智能轮椅人机交互方法

基于脑电波的智能轮椅人机交互方法

脑机接口（bci）是在大脑周围的神经和肌肉系统之间建立的一个通信系统。这可以为四肢残疾动物但具有正常思维和意识的患者提供一种新的外部信息交流方式，并为需要特殊技能的患者（如控制智能座椅、机器和移动机械手）和能够控制好人（例如控制老鼠、打字、浏览网站等）的人提供广泛的应用前景。近年来，利用eeg控制智能座椅已成为国内外数千家bci研究的热点。目前大多文献都只研究了左右手运动想象这两类脑电信号,虽然其识别率都在90%以上,但对于三类及以上的运动想象脑电信号的识别率却仍然较低.而已有的报道也只能控制智能轮椅左转和右转.对此,本文提出了一种基于脑电α/β波的智能轮椅人机交互方法.利用闭眼放松的脑电信号的α波控制智能轮椅前进,左右手运动想象脑电信号的β波控制智能轮椅左转和右转;同时,为了提高左右手运动想象脑电信号的识别率,还提出了一种带惩罚的RCSP特征提取算法.最后通过实验验证,得到各个受试者控制智能轮椅的平均正确率都大于85%,且最大正确率高达89.17%.各个受试者都能较好地控制智能轮椅完成一个“8”字形的固定轨迹,表明了该人机交互方法的可行性.1基于大脑的智能椅引擎1.1脑电采集电路设计基于脑电的智能轮椅人机交互系统如图1所示.系统主要包括脑电信号采集系统、上位机、下位机、驱动系统、智能轮椅、反馈系统和无线通信系统等.上位机是一台笔记本电脑,主要对采集的脑电信号进行处理(包括预处理、特征提取和特征分类),进而识别出不同的脑电信号.将识别结果通过通信系统传输给下位机,通信方式为无线通信.下位机是RAM系统,主要把上位机的识别结果转换成相应的运动指令,进而通过驱动系统控制智能轮椅运动.本文采集脑电信号所使用的脑电采集仪如图2所示,其采样频率为128Hz.电极是按照国际10-20标准电极安放法安放,其安放位置如图3所示,其中CMS和DRL为参考电极;F7,P7和T7等为通道.1.2脑电脑电控制流程人在想象单侧手运动时,其对侧相应初级感觉运动皮层区的脑电β(14～30Hz)波幅值降低,这种现象称为事件相关去同步(event-relateddesynchronization,ERD);而同侧脑电β波幅度升高,称为事件相关同步(event-relatedsynchronization,ERS).人在闭眼放松时,脑电α波的幅值将升高,而睁眼思考问题时,脑电α波的幅值将降低,甚至消失,这种现象称为α波阻断(αblock),尤其大脑枕区的α波最明显.因此,本文利用左手运动想象、右手运动想象和闭眼放松的脑电信号来控制智能轮椅前进、左转和右转.控制流程如下.步骤1判断是否开始保存脑电信号.由于脑电采集仪一直在采集受试者的脑电信号,因此为了能从采集的脑电信号中提取出受试者进行规定动作的脑电信号,首先设定了一个是否开始保存脑电信号判断信号,其判断信号通过咬牙来产生.当人咬牙时,会带动面部肌肉运动,这样会使脑电采集仪的F7通道产生一个脉冲信号,这个脉冲信号就是判断信号,如图4所示.步骤2保存有效脑电信号.当检测到这个脉冲信号时,程序就开始保存采集的脑电信号.同时,受试者将听到一个声音提示.在听到声音提示后,受试者将执行规定的动作(闭眼放松或想象左右手运动),这样就将保存到有效的脑电信号.为了提高想象左右手运动的识别率,受试者在进行想象左右手运动时,其眼球也相应地左右移动,这样会使两类脑电信号具有更大的差别.本文保存脑电信号的持续时间为2s,但只取后1s的数据进行处理,前1s是受试者进行规定动作的一个反应时间.步骤3上位机对脑电信号进行识别.在脑电信号保存完毕后,受试者又将听到一个声音提示,这时受试者停止执行规定的动作(闭眼放松或想象左右手运动),并使自己保持睁眼放松状态,等待上位机对脑电信号进行识别.其识别过程是:先通过脑电α波识别出闭眼放松脑电信号,然后通过脑电β波识别出左右手运动想象脑电信号.步骤4通过脑电信号的识别结果,控制智能轮椅.本文设定的控制方式为闭眼脑电信号控制轮椅前进,左手运动想象脑电信号控制轮椅左转,右手运动想象脑电信号控制轮椅右转.步骤5停止智能轮椅.在轮椅运动方向与自己期望运动方向不一致时或轮椅运动到期望位置时,受试者可利用图4的脉冲信号控制智能轮椅停止.当轮椅停止时,程序返回到步骤1,等待下一次命令.1.3左、右、嘴唇运动想象脑信号在实时控制智能轮椅之前,必须对受试者进行训练.本文将采用离线的方式对受试者进行训练,并设计受试者识别自己脑电信号的分类器.选取3个健康受试者(S1,S2和S3,年龄范围22～24岁),分别采集他们的左右手运动想象脑电信号(同时眼球进行相应的左右移动)和闭眼放松的脑电信号.每一次数据记录过程如下:在实验开始(t=0s)时,受试者静坐在椅子上,并保持放松状态;t=2s时,受试者将听到一个左手、右手或闭眼的声音,受试者进行相应的想象左手、右手运动或闭眼放松;当t=4s时,受试者进行短暂的休息,并准备下次实验.整个实验过程中,每个受试者将对每类任务进行60次实验.本文将选取实验第3s到第4s时间段的脑电数据作为实验样本.因此每组样本有128个数据.图5和图6是一名受试者想象左右手运动和闭眼放松时FC5和O1这两个通道的脑电信号波形图.2脑电阻的识别想象左手、右手运动和闭眼放松这三类脑电信号的识别过程是:首先通过脑电α波识别出闭眼放松脑电信号,然后通过脑电β波识别出左右手运动想象脑电信号.2.1基于东南角小波基函数的有限层分解由于大脑枕区的脑电α波对人睁闭眼的差别最明显,因此本文将利用O1通道的脑电信号来识别闭眼放松脑电信号,所使用的特征提取和特征分类方法分别是小波变换和阈值法.设x(n)表示实验采集的脑电离散信号,则x(n)的离散小波变换定义为Cj,k=2-j/2∞∑n=-∞x(n)ˉψj,k(2-jn-k)=〈x(n),ψj,k〉(j,k∈Ζ),(1)Cj,k=2−j/2∑n=−∞∞x(n)ψ¯¯j,k(2−jn−k)=⟨x(n),ψj,k⟩(j,k∈Z),(1)式中:ψ(n)为小波基函数;j和k分别为分解尺度和平移量.采用Mallat算法,对信号进行有限层分解,即x(n)=AL+L∑j=1Dj,(2)x(n)=AL+∑j=1LDj,(2)式中:L为分解层数;AL为低通逼近分量;Dj为不同尺度下的细节分量.设信号x(n)的采样频率为fs,则式(2)中的AL,DL,DL-1,…,D1各分量所对应的子频带依次为[0,fs2L+1],[fs2L+1,fs2L],[fs2L,fs2L-1],⋯,[fs22,fs2].[0,fs2L+1],[fs2L+1,fs2L],[fs2L,fs2L−1],⋯,[fs22,fs2].将信号进行小波分解时,分解的层数将视具体信号的有用成分和采样频率而定.本文分析的脑电信号的采样频率为128Hz,信号的有用成分是8～13Hz的α波.选用db2小波对脑电信号进行3层分解,即x(n)=A3+D3+D2+D1,各分量对应的子频带见表1.由于小波系数能表达信号在时域和频域的能量分布,因此由表1可知小波系数D3(8～16Hz)能反映出脑电α波的时域和频域特征,从而可以选择O1通道的脑电信号的小波系数D3的绝对值的和作为特征值.记LO1,RO1和CO1分别表示受试者进行想象左手运动、想象右手运动和闭眼放松时的特征值,则3个受试者的60组样本的特征值分布如图7所示.从图7可以看出,可以采用阈值法来识别闭眼脑电信号,3个受试者的阈值可分别设定为θS1=160,θS2=50和θS3=60.2.2通道惩罚参数的确定本文将使用F3,F4,FC5,FC6,T7和T8通道的脑电信号来识别左右手运动想象脑电信号.其特征提取算法是小波变换和本文提出的一种带惩罚的RCSP算法,分类算法是支持向量机(supportvectormachine,SVM).在左右手运动想象脑电信号的识别中,共空间模式(commonspatialpattern,CSP)是最有效的特征提取方法之一,其目的是寻求最优空间滤波器w,使得两类脑电信号的方差中心的比值最大.RCSP算法是一类改进的CSP算法,而WTRCSP(CSPwithtikhonovregularization)是效果最好的RCSP算法,能很好地克服CSP在小的样本下,对离群点(如噪声)敏感、鲁棒性不好的缺点.文献中的WTRCSP算法的目标函数为J(w)=wΤXΤ1X1wwΤXΤ2X2w+εΡ(w)=wΤC1wwΤC2w+εΡ(w),(3)J(w)=wTXT1X1wwTXT2X2w+εP(w)=wTC1wwTC2w+εP(w),(3)式中:X1,X2∈Rn×N表示两类脑电信号(如想象左手运动和想象右手运动的脑电信号),n是脑电采集时每个通道的采样点数,N是采集脑电信号的通道数;C1,C2∈RN×N为各类脑电信号的协方差均值;w∈RN×1为X1类脑电信号的最佳空间滤波器;ε为自定义参数;惩罚函数P(w)=wTHw,H=diag(h1,h2,…,hN),hi表示通道i的惩罚参数,i=1,2,…,N.由文献知:WRTCSP的最优空间滤波器是矩阵(C2+εH)-1C1和(C1+εH)-1C2的最大特征值所对应的特征向量.在WTRCSP算法中,其目标受试者各通道的惩罚参数由其他受试者的脑电信号确定,而不同受试者的脑电信号具有较大的差异,因此使用其他受试者的脑电信号不能真正地表示出目标受试者各通道的惩罚.为此,本文提出了一种使用受试者自己的脑电信号来确定各通道惩罚的方法,其具体步骤如下.步骤1把采集脑电信号的所有通道进行分组.分组方法是把左半脑和右半脑所对应的两个通道分为一组,中间所有通道为一组.为了便于理解,选择F3,F4,FC5,FC6,T7和T8通道为例进行分组说明.设定通道F3和F4,FC5和FC6,T7和T8分别为第1,2,3组.步骤2利用CSP算法和受试者自己的训练样本计算各组通道的识别率,利用获得的识别率,确定各个通道的惩罚.首先把训练样本分为两组,分别称为子训练样本和子测试样本;然后利用CSP算法对每组通道的脑电信号进行特征提取;最后使用支持向量机对每组通道的脑电信号进行分类,得到各组通道的识别率.记第j组通道的识别率为rj(j=1,2,3).一般地,一组通道的识别率越高,说明这组通道越重要,其惩罚应该越小,因此可定义第j组通道的惩罚参数为pj=[(r1+r2+r3)/rj]2.(4)pj=[(r1+r2+r3)/rj]2.(4)步骤3由式(4)得惩罚函数Ρ(w)=wΤGw,(5)P(w)=wTGw,(5)式中G=diag(gF3,gF4,gFC5,gFC6,gT7,gT8),gF3=gF4=p1,gFC5=gFC6=p2,gT7=gT8=p3.由式(3)和(5)知:X1和X2两类脑电信号的最优空间滤波器是矩阵(C2+εG)-1C1和(C1+εG)-1C2的最大特征值所对应的特征向量.设矩阵(C2+εG)-1C1和(C1+εG)-1C2的特征向量排列方式是按对应特征值的降序方式排列,则可取矩阵(C2+εG)-1C1和(C1+εG)-1C2的前m列特征向量作为脑电信号的空间滤波器,分别记为˜ww˜l和ˆwwˆl,且˜ww˜l,ˆwwˆl∈RN×1,其中l=1,2,…,m.对于一次实验任务的脑电信号X通过两个滤波器后变为˜Ζl=X˜wlZ˜l=Xw˜l和ˆΖl=Xˆwl.因此,利用本文提出的带惩罚的RCSP算法提取的脑电信号的特征为fl=lg[˜ΖΤl˜Ζl/(ˆΖΤlˆΖl)].(6)在使用本文提出的带惩罚的RCSP特征提取算法之前,首先使用小波变换对左右手运动想象脑电信号进行处理,得到对应于脑电β波的小波系数D2,而RCSP算法的输入X1和X2由各个通道的D2组成.从而根据式(5),计算出的3个受试者各组通道的惩罚参数见表2.根据式(6),对左右手运动想象脑电信号进行特征提取,其中选取m=3,ε=0.1.最后利用提取的特征值对SVM进行训练,进而获得每个受试者识别各自的左右手运动想象脑电信号的分类器.3控制智能座椅3.1车轮和理高度区的脑组成特征3个受试者分别控制智能轮椅左转、右转和前进各40次,识别结果见表3.从表3可以看出:3个受试者控制智能轮椅的平均正确率(三类脑电信号的识别率均值)都大于85%,且最高正确率高达89.17%.而文献对想象左臂和右臂运动的两类脑电信号在线识别率仅为80%;文献中对想象左手和右手运动的两类脑电信号的在线识别率为89.5%.可见:本文提出的算法对三类脑电信号的识别率已经接近传统方法对两类运动想象脑电信号的识别率.3.2智能车轮轨迹设定智能轮椅的移动速度为60mm/s,受试者分别使用脑电信号和键盘控制智能轮椅走如图8所示的固定轨迹,每个受试者分别对每种控制方式进行5次重复试验,其轨迹如图9～图11所示(x为横向位移,y为纵向位移).可以看出:用脑电控制智能轮椅