基于BP神经网络的手势动作表面肌电信号的模式识别.doc

基于BP神经网络的手势动作表面肌电信号的模式识别 作者：于擎，杨基海，陈香，张旭【摘要】 手势语言在日常生活中有着广泛的应用，本研究利用手势动作时从前臂4块肌肉上获取的4路表面肌电(SEMG)信号，经特征提取并采用BP神经网络，对8种手势动作模式进行了识别。鉴于BP网络具有较强的模式分类能力，而特征提取（幅度绝对值均值、AR模型系数、过零率）又利用了多路肌电信号的信息，实验结果取得了较高的识别正确率，表明所采用的方法是有效的。 【关键词】 模式识别；手势语言；表面肌电信号；BP网络； AR模型系数； 过零率 Abstract：Sign language is widely used in our daily life. In this paper, some features are extracted, using surface myoelectrogram(SEMG)signals, which were generated on four muscles of forearm when gesture actions happened. Owing to stronger classification ability of BP networks and better separability of feature vectors(which include mean absolute value, AR model parameters, and zerocrossing rate) extracted from multichannel SEMG signals, the higher accuracy was obtained in the experiments. It shows that the method is efficient. Key words：Pattern recognition; Sign language; Surface myoelectrogram signals; BP networks; Auto-regressive model parameter; Zero-crossing rate 1 引 言 手势语言在人们日常生活中的应用极为广泛，如交警指挥交通，排球场上裁判的手势，聋哑人之间的手语交流等等。而且，许多手势动作在不同地域是通用的，这就为不同语种的人们相互交流提供了方便。 目前，对于手势语言的识别主要有基于数据手套1的手语识别和基于视觉图像2的手语识别，前者识别率高，但输入设备昂贵，难以普及；后者输入设备简单，但识别率较低，实时性比较差。由于手势动作与手指和关节的运动相关联，而手指和关节的运动又由对应肌肉群所控制，因此，可以通过控制相关肌肉活动产生的表面肌电（SEMG）信号及其差异来识别不同的手势动作。采用基于SEMG信号的手势动作识别的优点是：传感系统设计简单，对周围环境要求不高，处理算法的计算量也较少，它要解决的关键问题是提高对多种动作识别的分类正确率。 BP 算法结构简单，可操作性强，能模拟任意的非线性输入输出关系，常常被用于表面肌电信号的识别中。在神经网络的实际应用中，绝大部分的神经网络模型采用BP网络或其它的变化形式，它也是前向网络的核心部分，体现了人工神经网络中的精华部分3。 2 识别方法 手势动作SEMG的信号模式识别流程见图1。 图1 动作肌电信号的模式识别流程 Fig 1 The flow chart of gesture SEMG recognition 2.1 手势动作的定义 本研究借鉴Sign Language库中的常用手势定义，手势名称用四位英文字母命名，通常为英文描述的单词简写。我们选取了其中的八种动作，其名称和表述见表1。表1 动作的名称和含义 2.2 SEMG信号的获取和预处理 分别在前臂的尺侧腕伸肌、伸指总肌、指深屈肌和拇长屈肌安放4对电极（长10 mm，间距5 mm），检测手势动作时的SEMG信号。利用DELSYS公司的16通道肌电采集系统采集信号，该系统的低频截止频率为10 Hz，高频截止频率为500 Hz，设置数据采样率为1 000 Hz，得到4导数据，存入PC机。然后进一步利用巴特沃思带通滤波器对肌电信号数据进行滤波，滤波器的通带频率范围20400 Hz，通带内衰减不大于3 dB，阻带内的衰减不小于40 dB。 2.3 活动段检测 动作SEMG信号可以分成许多活动段和非活动段，每个活动段代表一个有效动作，而非活动段仅由噪声和背景肌电活动组成。为了区分各单个动作信号，必须确定动作的起始和结束位置。由于背景噪声的能量比动作信号的能量小，采用一种反映信号能量大小的移动窗法4进行活动段检测。具体思路是：提取一小段时间内的信号数据, 对其进行平方积分，则有 Qi=ti+tti-tx(t)2dt(1) 其中x(t)是窗内的肌电信号数据，Qi表示ti时刻信号的能量值。Qi若大于某阈值A，且在窗移动后有连续n1次能量值Qk (k=i,i+1，i+n1)都大于阈值A，则可认为ti时刻是动作的开始时刻。此后若有连续n2次能量值Qk(k=j,j+1，j+n2)都小于某阈值B（BA），则可认为动作结束，并以tj时刻为结束时刻。若能量值Q在A与B之间，则认为动作处于保持状态；若能量值Q小于A，则认为无动作产生。 2.4 特征提取 对肌电信号分析和处理常用的特征有：信号的平均值，方差，功率谱密度，AR模型系数等。其中AR模型系数是较常用的一种，它将肌电信号看作为零均值白噪声过程激励一线性系统的输出，只要激励白噪声的功率和系统的参数已知，就可以通过利用模型参数和性质以及白噪声通过此系统后的输入输出关系来研究肌电信号。参数模型把肌电信号的随机性和一定程度的可预测性结合起来，激励白噪声反映过程的随机性，确定性模型反映过程的可预测性5。一个随机信号的AR模型可以表示为： x(n)=-pk=1akx(n-k)+u(n)(2) 其中ak为模型各阶系数，p为模型阶次，u(n)为白噪声。 由于不同种类动作信号的幅度不同，因此将动作信号幅度绝对值均值作为SEMG信号的另一种特征。 过零率即信号中波形穿越零电平的次数，用来描述波形在幅度上变化的剧烈程度，反映了信号的变化趋势，将它用作肌电信号的一个特征，其计算公式如下： ZCR=N-1i=1sign(-SEMG(i)SEMG(i+1)SEMG(i)-SEMG(i+1)0.02(3) 上式的含义是，若同时满足相临采样点之间异号并且相临采样点差的绝对值大于一个常数(0.02)这两个条件，则可认为信号此刻存在一个过零点。式中的SEMG(i)是一个活动段的肌电信号，N为活动段长度，sign为符号函数： sign(x)=1 x0 0 x0(4) 考虑到描述信号特征的一种特征集只能从某一个角度对信号进行刻画，仅用一种特征参数难以很好识别不同动作，因此，我们将信号的AR模型系数、信号的过零率和信号幅度绝对值均值融合在一起构成SEMG信号的特征向量。由此一个活动段(有效动作)的一导数据的特征向量表示为a=a1, a2, a3 ,a4, a5；其中：a1表示数据的幅度均值；a2、a3、a4分别是一导数据AR模型系数的前三项；a5是信号的过零率。 再考虑到各种手势动作是由相关肌肉群所控制，由其活动产生的各路SEMG信号及其特征是有差异的，故进一步将4导SEMG信号对应活动段提取的5个特征组合在一起，构成20维特征向量，这样更有利于对手势动作的识别。 2.5 BP神经网络分类器 BP算法是一种常用的神经网络算法，是一种监督式的学习算法。学习的目的是利用网络的实际输出与期望输出之间的误差来修改其权值，使实际与期望尽可能地接近，即使网络输出层的误差平方和达到最小，通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标。每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层。BP算法分为两个阶段：第一阶段（正向过程）输入信息从输入层经隐层逐层计算各单元的输出值；第二阶段（反向传播过程）由输出误差逐层向前计算出隐层各单元的误差，并用此误差修正前层权值，具体算法可见文献6。采用的三层结构见图3。图3 BP神经网络的结构 Fig 3 The structure of BP networks 由于从动作肌电信号提取的特征向量维数是20，因此将BP网络输入层神经元个数设置为20，又根据待识别手势动作的种类数，输出层神经元设为8个，而隐层神经元个数S则由文献7中的公式确定： S=m+n+a(5) 其中m、n分别表示输入层、输出层神经元的个数，a为常数，其值在110之间，具体数值根据实验效果选取。 3 实验结果 对5位身体健康，年龄在2427岁的研究生进行数据采集。每人每天做一次前述的8类动作，每个动作20次，一共采集4天数据。首先对数据进行预处理（带通滤波）和活动段检测（移动窗法）。一段原始动作SEMG信号见图4（a），经活动段检测后，得到的对应SEMG信号的包络见图4（b），由此可以确定每个动作的起始和结束位置。 图4(a)原始肌电信号；(b)活动段检测后的信号 Fig 4 (a)raw signal；(b)signal passed through active segmentation 然后利用前述特征提取方法，提取每个活动段的5个特征，并由4导信号对应活动段的特征值组成20维特征矢量。图5表示两位受试者8类动作特征向量（选取1导信号5个特征中的3个分量）的空间分布。 可以看出：8类动作的特征类间分布差异明显，而类内分布具有较强的相似性，说明特征提取过程是有效的。由于信号幅度绝对值均值的量级比其他特征分量的量级大得多，为平衡各特征的贡献，对每图5 (a)特征向量的空间分布 Fig 5 (a)the distribution of feature vectors图5(b)特征向量的空间分布 Fig 5(b)the distribution of feature vectors 导数据幅度绝对值均值除以一个固定常数（500）进行归一化处理。 对于BP神经网络的训练，采用同一受试者同一天的数据，每类动作任选10个训练样本（剩下的10个样本作为测试样本），共80个动作样本构成训练样本矩阵（8020），输入BP神经网络。对于每类动作样本，设定其相应输出节点的期望输出值为1、其它输出节点的值为0，进行训练。训练参数设置为 ：初始学习率0.05；均方误差0.0005；最大训练步数3000。训练结束时，若均方误差大于0.01，则认为该次训练失败，再重新训练。训练完成后，输入测试样本对网络进行测试，测试样本也取80个。表2表2 识别的正确率 给出了对4天数据的测试结果，表中数据为正确的识别数，括号内为相应的识别率。 可见，各受试者的4天实验数据均取得了较高的识别正确率，手势动作识别的平均正确率达到了94%以上。 实验数据处理中发现，隐层神经元个数的选择对识别正确率的影响较大，因此，我们进一步探讨了识别正确率与隐层单元数之间的关系问题。图6给出了一个受试者同一天数据的处理结果，其他受试者处理结果类似。 容易看出：识别正确率随着隐含层神经元数目的增加而提高，但达到某一数值后趋于稳定。增加隐含层节点数可以改善网络与训练组匹配的精