小波神经网络原理及其应用

.,1,小波神经网络原理及其应用短时交通流量预测,数学中的显微镜小波,.,2,主要内容,1.小波变换与傅里叶变换的比较2.小波变换的基本原理与性质3.几种常用的小波简介4.小波变换的应用领域5.小波分析应用前景6.小波变换的去噪应用7.小波神经网络,.,3,1.小波变换与傅里叶变换的比较,傅立叶变换的理论是人类数学发展史上的一个里程碑，从1807年开始，直到1966年整整用了一个半世纪多才发展成熟，她在各个领域产生了深刻的影响得到了广泛的应用，推动了人类文明的发展。其原因是傅立叶理论不仅仅在数学上有很大的理论价值，更重要的是傅立叶变换或傅立叶积分得到的频谱信息具有物理意义。遗憾的是，这种理论具有一定的局限性。用傅立叶变换提取信号的频谱需要利用信号的全部时域信息。傅立叶变换没有反映出随着时间的变化信号频率成分的变化情况。傅立叶变换的积分作用平滑了非平稳信号的突变成分。由于上述原因，必须进一步改进，克服上述不足，这就导致了小波分析。,.,4,1.小波变换与傅里叶变换的比较,小波分析是在傅里叶分析的基础上发展起来的，但小波分析与傅里叶分析存在着极大的不同，与Fourier变换相比，小波变换是空间（时间）和频率的局部变换，因而能有效地从信号中提取信息。通过伸缩和平移等运算功能可对函数或信号进行多尺度的细化分析，解决了Fourier变换不能解决的许多困难问题。小波变换联系了应用数学、物理学、计算机科学、信号与信息处理、图像处理、地震勘探等多个学科。,.,5,1.小波变换与傅里叶变换的比较,（1）克服第一个不足：小波系数不仅像傅立叶系数那样，是随频率不同而变化的，而且对于同一个频率指标j，在不同时刻k，小波系数也是不同的。（2）克服第二个不足：由于小波函数具有紧支撑的性质即某一区间外为零。这样在求各频率水平不同时刻的小波系数时，只用到该时刻附近的局部信息。从而克服了上面所述的第二个不足。（3）克服第三个不足：通过与加窗傅立叶变换的“时间频率窗”的相似分析，可得到小波变换的“时间频率窗”的笛卡儿积。小波变换的“时间-频率窗”的宽度，检测高频信号时变窄，检测低频信号时变宽。这正是时间-频率分析所希望的。根据小波变换的“时间频率窗”的宽度可变的特点，为了克服上面所述的第三个不足，只要不同时检测高频与低频信息，问题就迎刃而解了。,.,6,2.小波变换的基本原理与性质,小波是什么？小波可以简单的描述为一种函数，这种函数在有限时间范围内变化，并且平均值为0。这种定性的描述意味着小波具有两种性质:A、具有有限的持续时间和突变的频率和振幅；B、在有限时间范围内平均值为0。,.,7,2.小波变换的基本原理与性质,小波的“容许”条件用一种数学的语言来定义小波，即满足“容许”条件的一种函数，“容许”条件非常重要，它限定了小波变换的可逆性。小波本身是紧支撑的，即只有小的局部非零定义域，在窗口之外函数为零；本身是振荡的，具有波的性质，并且完全不含有直流趋势成分，即满足,.,8,2.小波变换的基本原理与性质,信号的信息表示时域表示：信号随时间变化的规律，信息包括均值、方差、峰度以及峭陡等，更精细的表示就是概率密度分布（工程上常常采用其分布参数）频域表示：信号在各个频率上的能量分布，信息为频率和谱值（频谱或功率谱），为了精确恢复原信号，需要加上相位信息（相位谱），典型的工具为FT时频表示：时间和频率联合表示的一种信号表示方法，信息为瞬时频率、瞬时能量谱信号处理中，对不同信号要区别对待，以选择哪种或者哪几种信号表示方法,.,9,3.小波变换的基本原理与性质,为什么选择小波小波提供了一种非平稳信号的时间-尺度分析手段，不同于FT方法，与STFT方法比较具有更为明显的优势,.,10,2.小波变换的基本原理与性质,.,11,2.小波变换的基本原理与性质,小波变换的定义：小波变换是一种信号的时间尺度（时间频率）分析方法，它具有多分辨分析的特点，而且在时频两域都具有表征信号局部特征的能力，是一种窗口大小固定不变但其形状可改变，时间窗和频率窗都可以改变的时频局部化分析方法。即在低频部分具有较低的时间分辨率和较高的频率分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，很适合于分析非平稳的信号和提取信号的局部特征，所以小波变换被誉为分析处理信号的显微镜。在处理分析信号时，小波变换具有对信号的自适应性，也是是一种优于傅里叶变换和窗口傅里叶变换的信号处理方法。,.,12,3.小波变换的基本原理与性质,关于小波有两种典型的概念：连续小波变换，离散小波变换连续小波变换定义为可见，连续小波变换的结果可以表示为平移因子a和伸缩因子b的函数,.,假定小波母函数窗口宽度为t，窗口中心为t0，则相应可求出连续小波的窗口中心为at0+，窗口宽度为at。即信号限制在时间窗内：at0+-ta/2,at0+ta/2同样，对于小波母函数的频域变换，其频域窗口中心为0，窗口宽度为，则相应的连续小波的傅立叶变换为：其频域窗口中心为：窗口宽度为：信号在频域窗内：,.,从上面的时频域的讨论可见，连续小波的时频域窗口中心及其宽度都随a的变化而伸缩，如果我们称t为窗口函数的窗口面积，则：可见，连续小波基函数的窗口面积不随参数的变化而变化。,.,15,2.小波变换的基本原理与性质多分辨分析,傅立叶分解过程,小波分解过程,.,16,2.小波变换的基本原理与性质多分辨分析,伸缩因子对小波的作用,.,17,2.小波变换的基本原理与性质,.,18,2.小波变换的基本原理与性质多分辨分析,平移因子对小波的作用平移因子使得小波能够沿信号的时间轴实现遍历分析，伸缩因子通过收缩和伸张小波，使得每次遍历分析实现对不同频率信号的逼近,.,19,3.小波变换的基本原理与性质多分辨分析,连续小波变换实现过程首先选择一个小波基函数，固定一个尺度因子，将它与信号的初始段进行比较；通过CWT的计算公式计算小波系数（反映了当前尺度下的小波与所对应的信号段的相似程度）；改变平移因子，使小波沿时间轴位移，重复上述两个步骤完成一次分析；增加尺度因子，重复上述三个步骤进行第二次分析；循环执行上述四个步骤，直到满足分析要求为止。,.,20,2.小波变换的基本原理与性质多分辨分析,.,21,2.小波变换的基本原理与性质多分辨分析,小波逆变换如果小波函数满足“容许”条件，那么连续小波变换的逆变换是存在的,.,22,2.小波变换的基本原理与性质,离散小波变换DWT（discretewavelettransform，DWT）定义对尺度参数按幂级数进行离散化处理，对时间进行均匀离散取值（要求采样率满足尼奎斯特采样定理）,.,奈奎斯特定理,采样定理说明采样频率与信号频谱之间的关系，是连续信号离散化的基本依据。在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max2fmax)，采样之后的数字信号完整地保留了原始信号中的信息，一般实际应用中保证采样频率为信号最高频率的510倍；采样定理又称奈奎斯特定理。,.,常用的基本小波,Haar小波,.,常用的基本小波,2.Daubechies小波,D4尺度函数与小波,D6尺度函数与小波,.,常用的基本小波,3.Morlet小波,Morlet小波不存在尺度函数;快速衰减但非紧支撑.,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,0,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,X,(s,t),x(t),Innerproduct,连续小波-运算过程示意图,.,37,5.小波变换的应用领域,事实上小波分析的应用领域十分广泛，它包括：数学领域的许多学科；信号分析、图象处理；量子力学、理论物理；军事电子对抗与武器的智能化；计算机分类与识别，音乐与语言的人工合成；医学成像与诊断；地震勘探数据处理；大型机械的故障诊断等方面。,.,38,6.小波分析应用前景,（1）瞬态信号或图像的突变点常包含有很重要的故障信息，例如，机械故障、电力系统故障、脑电图、心电图中的异常、地下目标的位置及形状等，都对应于测试信号的突变点。因此，小波分析在故障检测和信号的多尺度边缘特征提取方面的应用具有广泛的应用前景。（2）神经网络与小波分析相结合，分形几何与小波分析相结合是国际上研究的热点之一。基于神经网络的智能处理技术，模糊计算、进化计算与神经网络结合的研究，没有小波理论的嵌入很难取得突破。非线性科学的研究正呼唤小波分析，也许非线性小波分析是解决非线性科学问题的理性工具。,.,39,6.小波分析应用前景,（3）小波分析用于数据或图像的压缩，目前绝大多数是对静止图像进行研究的。面向网络的活动图像压缩，长期以来是采用离散余弦变换（DCT）加运动补偿（Mc）作为编码技术，然而，该方法存在两个主要的问题：方块效应和蚊式噪声。利用小波分析的多尺度分析不但可以克服上述问题，而且可首先得到粗尺度上图像的轮廓，然后决定是否需要传输精细的图案，以提高图像的传输速度。因此研究面对网络的地速率图像压缩的小波分析并行算法，具有较高探索性和新颖性。同时也具有较高的应用价值和广泛的应用前景。（4）目前使用的二维及高维小波基主要是可分离的。不可分离二维及高维小波基的构造、性质应用研究，由于理论上较为复杂，这方面的成果甚少。也许向量小波及高维小波的研究能够为小波分析的应用开创一个新天地。,.,小波变换的去噪应用,执行离散小波变换的有效方法是使用滤波器。该方法是Mallat在1988年开发的，叫做Mallat算法，也叫金字塔算法。这种方法实际上是一种信号的分解方法，在数字信号处理过程中称为双通道子带编码算法描述：把信号通过滤波器分成高频部分和低频部分，低频部分继续分解，迭代上述过程。形成的树叫小波分解树。,.,41,7.小波变换的去噪应用,小波降噪原理从信号学的角度看,小波去噪是一个信号滤波的问题。尽管在很大程度上小波去噪可以看成是低通滤波,但由于在去噪后,还能成功地保留信号特征,所以在这一点上又优于传统的低通滤波器。由此可见,小波去噪实际上是特征提取和低通滤波的综合,其流程框图如下图所示：,带噪信号,.,什么是小波神经网络？,小波变换：一种数学分析的工具小波变换+人工神经网络=小波神经网络小波神经网络是一种以BP神经网络拓扑结构为基础，把小波基函数作为隐含层结点的传递函数，信号前向传播的同时误差反向传播的神经网络。,.,小波网络的具体分类,(1)用小波函数直接代替隐层函数根据所选取的小波基函数的连续性的不同，可以将该模型分为连续参数的小波神经网络和基于小波框架的小波神经网络两种：连续参数的小波神经网络基于小波框架的小波神经网络,.,基于小波框架的小波神经网络的学习方法,在传统的神经网络中，存在隐层单元数目难以确定的不足，而小波神经网络的隐层单元数目则可以按如下方法自适应地确定：首先取小波神经网络的隐层单元数目M为1，学习迭代若干次后，如满足误差条件，则停止迭带，若达到最大学习次数后，仍不满足误差条件，则小波变换单元数目增加1，重复上述过程，直到满足误差条件为止。这样就可以根据具体的问题自适应地确定小波变化单元个数，从而克服传统神经网络的不足。,.,小波神经网络的优点,(1)小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息(2)神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。(3)小