小波神经网络改进结构及其学习算法

小波神经网络改进结构及其学习算法何正友钱清泉摘要论述了小波神经网络用于信号分类识别的模型结构，在此基础上，充分利用小波变换时频分析的局部化特性，提出了一种改进的网络结构，建立了非显式小波的网络的学习算法。计算机模拟表明，该结构提高了信号分类识别的精度和灵敏度。关键词信号；分类；识别；建立模型；小波神经网络分类号TP15An Improved Wavelet Neural Network Structureand Its Learning AlgorithmHe ZhengyouQian Qingquan(School of Electric Eng., Southwest Jiaotong University, Chengdu , China)AbstractThis paper introduced the general model structure of wavelet neural networks (WNN) for signal recognition and classification. By making full use of the advantages of wavelet transform time-frequency localization, the paper proposed an improved network structure and presented a learning algorithm for the hidden function wavelet neural network. A simulation on computer showed that using the structure, the precision and sensitivity of signal recognition and classification were improved.Key wordssignals; classification; model building; recognition; wavelet neural network小波分析（Wavelet Analysis）1是近年来发展起来的一种数学分析方法，被认为是继傅里叶变换以来的又一重大理论突破。小波变换（Wavelet Transform）同时在时域和频域内有较好的局部化性质，随信号不同频率成分，在时间（空间）域的取样疏密自动调节，以分析信号的任意细节，提取信号特征，被誉为数学显微镜。小波神经网络（WNN）是小波分析和神经网络结合的产物2,3，它结合了小波变换的局部化性质和神经网络的自学习功能，具有较强的逼近能力。在信号分类及识别中，小波空间作为信号分类的特征空间，而信号特征提取规则可通过神经网络分类功能实现。文献2,3已建立了小波神经网络模型及其学习算法，且在很多领域得到应用4。该模型仅把时域信号在一组固定平移因子b和伸缩因子a的小波基上进行内积计算，其内积等效于在固定小波基上的小波系数，因而未能充分体现小波分析的自动调节特点，对冲击和非平稳故障信号的特征提取不够完全和精细，对差别小的信号分类不成功，影响了信号分类的精度和灵敏度。另外，上述学习算法均利用了小波母函数导数，对非显式小波网络无法学习。基于此，本文中提出了把信号在小波基的各平移和伸缩上的展开同时输入到神经网络分类器的改进小波神经网络模型，且网络能够对基于多分辨分析的非显式小波进行学习。1小波神经网络满足下述条件的函数h(t)称为小波母函数（1）这使得小波具有有限能量(2）h()表示h(t)的傅里叶变换，该式确保了小波的局域波行为。由h(t)的伸缩和平移产生的小波函数族（3）小波神经网络是基于小波分析而构造的神经网络模型（见图1），在信号分类识别中，小波空间可作为信号分类的特征空间，而信号特征提取则是通过一组小波函数族与信号向量的内积输入到神经网络分类器来实现。对于信号f(t)（对时间进行离散t=1,2,T），其小波神经网络模型为（4）图1小波神经网络结构式（4）中，vn是第n次训练信号fn(t)的输出，K为小波基个数，T为输入节点数（信号离散点数），(x)=1/(1+exp(-x)为Sigmoid函数。网络参数wk,ak,bk可用最小均方误差函数进行优化（5）式中dn是信号fn(t)的期望分类输出。2小波神经网络改进结构上述的小波神经网络模型及其算法存在以下两点不足：首先，信号f(t)只是在所寻找到的一组小波基上展开，未能实现对信号细节的时-频局部化分析。因而对信号的局部细微差异难以分辨，影响信号分类的灵敏度。另外，其学习算法必须依赖于小波母函数的导数，当小波函数为非显式表达式时难以进行学习，而目前应用较多的小波函数往往无显式表达。基于以上不足，本文中提出如下小波神经网络模型，该模型使信号f(t)同时在不同时间因子和尺度因子的小波基上展开。其网络结构如图2所示。图2改进小波神经网络结构网络输出为（6）其网络参数wij,bj,ai也用式（5）的最小均方差能量函数进行优化学习。2.1小波函数为显式表达小波母函数为显式表达式，采用Morlet母小波(7）令式（6）中E的梯度可表示为然后用共轭梯度法最小化E，学习得到参数wij,bj,ai。2.2小波为非显式表达小波母函数为非显式表达，如Daubechies正交小波，基于多分辨分析，它以数表的形式给出h(n)和g(n)，h(n)是与尺度函数相关的低通滤波器的脉冲响应，g(n)是与小波函数相关的带通滤波器的脉冲响应。此时，可应用二进小波的Mallat算法，对信号f(t)，计算其小波变换（8）将di,j作为网络的输入，然后按三层神经网络训练方法训练参数wij。实验证明，该方法对非显式小波的网络训练具有运算简单，精度和灵敏度高的优点。3仿真实验现从现场测试得到的汽车振动加速度信号取样6组(记为A)，从某汽车变速器轴承疲劳剥落和点蚀后轴承座上加速度信号6组（B），以及另一常啮齿轮发生断齿的变速器加速度信号6组（C），分别如图35所示5。由文献5结论可知，此三种时域信号均含有脉冲成分，且脉冲频率不等。各取3组共9组作为小波神经网络的训练信号，其余9组作为测试信号。计算机模拟结果如表1和表2。显式小波为Morlet小波。非显式小波取为Daubechies小波，由Mallat算法的特点，若设一小的门槛值，则小波分解只有部分系数不为0，减少了计算时间。显然，由表1可知，改进结构提高了信号分类精度和灵敏度。由表2可知，改进结构由于维数增加1，增加了计算复杂度。当用于显式小波时，大大提高了识别精度，但识别时间明显增加；当应用于非显式小波时，由于Mallat算法的引入和门槛值的设置，使改进结构计算时间与原有结构相当，且有效提取了信号特征，减小了识别误差。因此以上几种结构和方法，应视应用情况而加以选择。图3信号A（汽车振动）图4信号B（轴承剥落）图5信号C（齿轮断齿）表1小波神经网络仿真结果序号123456789目标类别AAABBBCCCdn0.000.000.000.500.500.501.001.001.00测试类别AAABBBCB*C原有结构vn0.100.180.130.480.390.620.900.710.92测试类别AAABBBCCC改进结构vn0.070.120.060.470.480.550.940.870.95注：表中*为识别集。表2小波神经网络误差比较迭代次数学习误差计算时间旧结构2000.093352627改进结构（显式）2000.0074210558改进结构（非显式）2000.0248532304结论改进的小波神经网络模型解决了具有非显式小波函数网络的学习问题，且充分利用小波变换的时频局部化特性，提取信号的细微特征，提高了小波神经网络用于信号分类及识别的精度和灵敏度。何正友：男，1970年生，工程师,硕士。作者单位：何正友钱清泉（西南交通大学电气工程学院成都）参考文献1Daubechies I. The wavelet transform time-frequency localization and signal analysis. IEEE Trans. Information Theory,1990;36:96110052Zhang Q, Benveniste A. Wavelet network. Proc. IEEE Trans. on Neural Network,1992;3(6): 8898983Szu H H, Telfer B, Kadambe S. Neural network adaptive wavelets for signal representation and classification.Optical Engineering,1992;31(9):90710164刘伟，潘忠孝