毕业设计（论文）-基于变换域方法的信号特性分析与研究.doc

装订线基于变换域方法的信号特性分析与研究二 一 四 届 毕 业 设 计基于变换域方法的信号特性分析与研究学 院：信息工程学院专 业：电子信息工程姓 名：学 号：指导教师：完成时间：2014.5.30二一四年五月1共 页 第 页摘 要 小波变换是对傅里叶分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。人工神经网络，也简称为神经网络或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。在本文中，通过小波变换从一维随机信号中提取出八个特征向量，再将八个特征向量通过人工神经网络，实现模式识别，也就是实现机械的故障诊断。而且，特征向量将通过三种不同的神经网络，以实现三种神经网络速度、准确度的对比。关键词 小波变换，神经网络，径向基，前向反馈ABSTRACT Wavelet transform is the breakthrough of Fourier analysis method. It not only in time domain and frequency domain at the same time has good localization property, and the low frequency signal in the frequency domain and the high frequency signal in time domain have good resolution, which can be assembled to the object of any details. Wavelet analysis is equal to a mathematical microscope, amplification, narrow and translation function, under different magnification by checking the signal was studied by the change of dynamic characteristics. Artificial neural network, also referred to as for the neural network or connection model, it is a kind of imitation animal neural network behavior characteristics, mathematical model for distributed parallel algorithm of information processing. The network depends on the complexity of the system, by adjusting the internal relations between a large number of nodes connected, so as to achieve the purpose of processing information. In this article, from the one-dimensional random signal by wavelet transform to extract the eight characteristic vector, then eight eigenvectors by artificial neural networks, pattern recognition, is the realization of mechanical fault diagnosis. And will be on three different characteristic vector of neural network, in order to realize the speed and accuracy of three kinds of neural network.KEY WORDS Wavelet transform, neural networks, RBF, Back Propagation目 录第一章 前言11.1 目的11.2 意义11.3 国内外发展现状11.3.1 小波变换发展现状11.3.2 人工神经网络发展现状21.4 本设计应解决的问题3第二章 设计方案32.1 设计方案的过程32.2 设计方案的选择3第三章 小波变换33.1 传统信号理论33.1.1 传统信号分析方法的演变33.1.2 傅里叶变换33.2 小波变换43.2.1 小波变换历史43.2.2 小波变换43.3 小波包73.3.1 小波包的定义73.3.2 小波包空间分解7第四章 人工神经网络94.1 人工神经网络简介94.1.1 人工神经网络原理94.1.2 人工神经网络的历史104.1.3 人工神经网络的特征114.2 BP神经网络124.2.1 BP神经网络结构124.2.2 BP神经网络算法134.2.3 BP神经网络的特点164.2.3 BP神经网络的改进174.3 反馈神经网络184.3.1 反馈神经网络的历史184.3.2 反馈神经网络的结构184.3.3 反馈神经网络的特性194.4 径向基函数神经网络194.4.1 径向基神经网络的简介194.4.2 径向基神经网络的结构194.4.3 径向基神经网络的算法204.4.4 概率神经网络22第五章 神经网络的对比225.1 BP网络的优点以及局限性225.1.1 BP网络的优点225.1.2 BP网络的局限性225.2 RBF网络的特点及优点235.2.1 RBF网络的特点235.2.2 RBF网络的优点23结 论24致 谢24主要参考文献25第一章 前言1.1 目的对于随机信号，将其从时域转换到别的域，如频域、小波域，从而体现出信号在时域难以体现的特征。利用神经网络，对这些在变换域的特征进行进一步的处理，从而实现对信号的智能识别。1.2 意义 人工神经网络，也简称为神经网络或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。小波分析相当于一个数学显微镜，具有放大、缩小和平移功能，通过检查不同放大倍数下的变化来研究信号的动态特性。因此，小波分析已成为地球物理、信号处理、图像处理、理论物理等诸多领域的强有力工具。 小波神经网络将小波变换良好的时频局域化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨率特性对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态特性，作为神经网络的输入。 小波神经网络在电机故障诊断、高压电网故障信号处理与保护研究、轴承等机械故障诊断以及许多方面都有应用，将小波神经网络用于感应伺服电机的智能控制，使该系统具有良好的跟踪控制性能，以及好的鲁棒性，利用小波包神经网络进行心血管疾病的智能诊断，小波层进行时频域的自适应特征提取。1.3 国内外发展现状 1.3.1 小波变换发展现状小波神经网络由法国从事石油信号处理的工程师J.Morlet在1974年首先提出的，通过物理的直观和信号处理的实际需要经验的建立了反演公式，当时未能得到数学家的认可。正如1807年法国的热学工程师J.B.J.Fourier提出任一函数都能展开成三角函数的无穷级数的创新概念未能得到认可一样。幸运的是，早在七十年代，A.Calderon表示定理的发现、Hardy空间的原子分解和无条件基的深入研究为小波变换的诞生做了理论上的准备，而且J.O.Stromberg还构造了历史上非常类似于现在的小波基；1986年著名数学家Y.Meyer偶然构造出一个真正的小波基，并与S.Mallat合作建立了构造小波基的统一方法-多尺度分析之后，小波分析才开始蓬勃发展起来，其中比利时女数学家I.Daubechies撰写的小波十讲(Ten Lectures on Wavelets)对小波的普及起了重要的推动作用。与Fourier变换、视窗Fourier变换(Gabor变换)相比，具有良好的时频局部化特性，因而能有效的从信号中提取资讯，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析(Multiscale Analysis)，解决了Fourier变换不能解决的许多困难问题，因而小波变化被誉为“数学显微镜”，它是调和分析发展史上里程碑式的进展。1.3.2 人工神经网络发展现状 目前，人工神经网络主要有以下几种。 线性神经网络： 线性神经网络最典型的例子是自适应线性元件。自适应线性元件20世纪50年代末由widrow和hoff提出，主要用途是通过线性逼近一个函数式而进行模式联想以及信号滤波、预测、模型识别和控制等。 线性神经网络的输出可以取任意值，其传输函数是线性函数。线性神经网络采用widrow-hoff学习规则，即LMS算法来调整网络的权值和偏置。 Bp神经网络： BP神经网络是包含多个隐含层的网络，具备线性不可分问题的能力。在历史上，由于一直没有找到合适的多层神经网络的学习算法，导致神经网络的研究一直陷入低迷。20世纪80年代中期，Rumelhart等成立了PDP小组，提出了著名的误差反向传播算法，解决了多层神经网络的学习问题，极大促进了神经网络的发展，这种神经网络就被称为BP神经网络。BP网络是前向神经网络的核心部分，也是整个人工神经网络中的精华，广泛应用于分类识别、逼近、回归、压缩等领域。在实际应用中，大约80%的神经网络模型采用BP网络或者BP网络的变化形式。 径向基神经网络： 径向基神经网络是一个由三层构成的前向网络：第一层为输入层，节点的个数等于输入的维数；第二层为隐含层，节点个数视问题的复杂程度来定；第三层为输出层，节点的个数等于输出数据的维数。径向基网络的不同层有着不同的功能，隐含层是非线性的，采用径向基函数作为基函数，从而将输入向量空间转换到隐含层空间，使原来线性不可分的问题变得线性可分，输出层是线性的。 自组织竞争神经网络： 自组织竞争神经网络采用了完全不同的思路。它采用了竞争学习的思想，网络的输出神经元之间的相互竞争，同一时刻只有一个输出神经元获胜。这种神经网络的生物学基础是神经元之间的侧抑制现象。 反馈神经网络： 反馈神经网络的输出除了与当前的输入和网络的权值有关之外，还与网络之前的输入有关。反馈神经网络有着比前向神经网络更强的计算能力，其最突出的有点就是具有很强的联想记忆能力和优化计算功能，最重要的研究方向是反馈神经网络的稳定性。 随机神经网络： 随机神经网络的核心思想，就是在网络中加入概率因素，网络不是确定性的向能量减小的方向演化，而是以一个较大的概率向这个方向演化，以保证迭代的正确方向，同时向能量函数增大的方向运行的概率也存在，以防止陷入局部最优。1.4 本设计应解决的问题本设计致力于解决机械故障的诊断识别，基本思路为利用传感器提取机械信号的转动信号，使用小波变换提取特征向量后，将特征向量带入人工神经网络中，由人工神经网络处理特征向量后得到机械的工作状态信息，从而进行机械故障诊断。第二章 设计方案2.1 设计方案的过程设计的流程为1. 信号特征提取。2. 人工神经网络诊断。2.2 设计方案的选择在信号特征提取过程中，有多重备选方案，如founier变换提取频域信号特征等，最后根据机械信号的特征，采用了小波变换提取信号特征。人工神经网络有很多种，线性神经网络、bp神经网络、反馈神经网络、自组织竞争神经网络、随机神经网络、径向基神经网络，最后选择了三种在模式识别中表现较为出色的三种网络，即bp神经网络、径向基神经网络与反馈神经网络。共 25 页 第 27 页 第三章 小波变换3.1 传统信号理论3.1.1 传统信号分析方法的演变 传统的信号理论，是建立在Fourier分析基础上的，而Fourier变换作为一种全局性的变化，其有一定的局限性。在实际应用中人们开始对Fourier变换进行各种改进，小波分析由此产生了。小波分析是一种新兴的数学分支，它是泛函数、Fourier分析、调和分析、数值分析的最完美的结晶；在应用领域，特别是在信号处理、图像处理、语音处理以及众多非线性科学领域，它被认为是继Fourier分析之后的又一有效的时频分析方法。小波变换与Fourier变换相比，是一个时间和频域的局域变换因而能有效地从信号中提取信息，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析(Multiscale Analysis)，解决了Fourier变换不能解决的许多困难问题。3.1.2 傅里叶变换傅里叶变换可以将任何函数展开为有限的或无限的正弦和余弦函数的和式。利用傅里叶变换的方法，能够很好地揭示函数在频率域的特点，并且具有很高的频率分辨率。但是经过这种变换，函数在时间域的信息常常被掩盖了。也就是说，通过傅里叶变换，我们可以清楚地了解函数中包含的所有频率信息，却不能了解每个频率分量在函数中的时间上或者空间上的位置。3.1.3 短时傅里叶变换 为了能够同时表示函数在时空域和频率域的特性，1946年Gabor改进了傅里叶变换，引进了视窗的概念，发展出短时傅里叶变(short-timeFourier-transform)。短时或者视窗傅里叶变换又称为Gabor变换，简单地说就是将一个长时间的信号先乘上一段时间不为零的视窗函数后再进行傅里叶变换，然后将这个视窗函数沿着时间或者空间轴不断平移，最后将所获得的一系列的频谱排开组成一个二维图像，图像中的一个轴是时间或者空间，而另一个轴是频率，这样就可以同时获得信号的时空域和频率域的所有信息。短时傅里叶变换虽然在分析信号频率的时空分布上比傅里叶变换有了明显的改善，但是它所获得的信息精度十分有限，是一种折衷的解决方法。在短时傅里叶变换分析中，视窗函数是根据所分析对象的特点预先确定的，一旦确定了视窗函数的长度和形状，这种分析的频率分辨率也就被固定了。也就是说，这种方法不能同时对函数中的低频和高频的分量进行十分精确的分析。在理想的状态下，如果有一个可自动调节长度的视窗函数，则可以对任何函数进行在时空域和频率域中的精确分析。3.2 小波变换3.2.1 小波变换历史小波变换是由法国从事石油信号处理的工程师J。Morlet在1974年首先提出的，通过物理的直观和信号处理的实际需要经验的建立了反演公式，当时未能得到数学家的认可。正如1807年法国的热学工程师J。B。J。Fourier提出任一函数都能展开成三角函数的无穷级数的创新概念未能得到认可一样。幸运的是，早在七十年代，A。Calderon表示定理的发现、Hardy空间的原子分解和无条件基的深入研究为小波变换的诞生做了理论上的准备，而且J。O。Stromberg还构造了历史上非常类似于现在的小波基；1986年著名数学家Y。Meyer偶然构造出一个真正的小波基，并与S。Mallat合作建立了构造小波基的统一方法-多尺度分析之后，小波分析才开始蓬勃发展起来，其中比利时女数学家I。Daubechies撰写的小波十讲(Ten Lectures on Wavelets)对小波的普及起了重要的推动作用。与Fourier变换、视窗Fourier变换(Gabor变换)相比，具有良好的时频局部化特性，因而能有效的从信号中提取资讯，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析(Multiscale Analysis)，解决了Fourier变换不能解决的许多困难问题，因而小波变化被誉为“数学显微镜”，它是调和分析发展史上里程碑式的进展。3.2.2 小波变换 小波变换的思想就是建立在可自动调节长度的视窗函数之上的，它起源于20世纪初的Haar的工作。在上个世纪的80年代，小波变换的理论(1975年连续小波变换(continuous wavelet transform，CWT)的发现)和公式(1982年CWT算法的建立)逐步建立后极大地带动了这一技术的发展，到20世纪90年代，这一种变换方法才变得十分成熟并且得到广泛的应用。 傅里叶变换的核心函数是正弦和余弦函数，这些不同周期的三角函数分别表示了原函数所包含的信息变化的快慢程度。在傅里叶变换中，通常用周期的倒数(即频率)来描述原函数的这种特点，频率是傅里叶变换所专有的概念。经过傅里叶变换我们将原函数从函数空间转变到频率空间，从而对原函数的很多特点有了更清楚的认识。而在连续小波变换中，三角函数的周期的概念为各种小波函数的尺度(scale)所取代，同时又引进了视窗变换中的位移的概念，将原函数或者信号从函数空间转化到尺度和位移空间，从而可以同时对原函数在频率和时空两个领域内的性质有着更好的理解。 在连续小波变换中，存在一个母小波函数(mother wavelet)，然后通过改变母小波的尺度，即缩放母小波，形成了一系列的女儿小波( daughter wavelet)。然后将原函数分解为这一簇小波的组合，女儿小波在一些中文论文中被翻译为子小波，在后文中我们将引进子小波的概念，女儿小波的定义和子小波的是不相同的。每一个小波函数的作用十分类似于傅里叶变换中的正弦和余弦函数，但是有两点是不同的：(1) 所有的小波都是有限时空的函数，它们并非是周期性的；(2) 所有的小波在时空中是可以不断移动的，因此小波变换可以获取函数在时空域上的特征。 小波变换同时拥有尺度和位移两个参数。一个一维的原函数经过小波变换后会变成为一个两维的函数；依此类推，一个两维的函数结构经过小波变换后就会变成一个四维的函数。 如同傅里叶变换是原函数和三角函数的卷积，连续小波变换的数学表达式也是原函数和一组小波函数的共轭函数的卷积(注意：应用共轭函数主要是为了公式的对称性)。而在小波的逆变换时，原函数也就等于小波变换后的函数和这组小波函数的卷积，在小波变换中我们不再使用频率的概念，但是我们却保留了频谱或谱( spectrum)的概念。由于尺度和周期是紧密联系的，尺度大所表示的周期也就长，因此在一些小波谱中有时也会使用周期来代替尺度。不过对于不同的小波函数，尺度和周期的比例关系是不尽相同的。小波的频谱和傅里叶变换的频谱有很大差别。在小波变换中，由于所有小波具有相同的归一化的能量，小尺度的小波往往含有很宽的高频段，由于受平滑效应的影响，它们的能量分散，所产生的谱线要比傅里叶频谱的谱线低矮；而大尺度的小波则含有很狭窄的低频段，所以小波的能量相对比较集中，所产生的谱线就比较尖锐。 连续小波变换的小波函数是由母小波通过尺度和位移的变化来获得的，它们具有如下的形式：(3-1)式中s是尺度参数，T是位移参数，式中的系数 是为了使不同尺度的小波均具有相同的规一化的能量，母小波函数是一种特别的函数：它们在时空域有确定的位置；均值正好为零；其绝对值和平方值是可积分的，因此是一个可测量的函数；它的平方值的积分正好为1.由于比例尺度的变化相当于在时空域的压缩或扩张，若在时空域进行压缩，则相当于在频率域的扩张，所以经过扩张后的小波具有较低和较窄的频率范围(图2)。母小波可根据其构造函数的表达式分为两类：显性或隐性。根据其正交性又可分为：正交或非正交。目前最常用的小波有Haar、Dau-bechies系列，Biorthogonal系列，Coiflets系列，Sym-lets系列，以及Morlet，Mexican Hat，Meyer等常用小波函数。通常具有正交性的母小波可提供较好的变换性能。在某些特殊应用环境(如对于大容量天文图片的小失真压缩)，为了获得特殊的变换性能，数学家和工程师可以创造或构造新的母小波函数。由小波双分辨率分析过程可以得到两个重要结果是和，其表达式为：(3-2)(3-3)其中和的展开系数分别称为尺度和小波向量，它们是快速小波变换(FWT)滤波器系数。离散小波变换(DWT)的迭代方法如下图3-1所示。二维快速小波变换(FWT)滤波器组。输入每通过一次将产生一个DWT尺度。在第一次迭代过程中，图 3-1在图中，输出和是尺度处的DWT系数。方框中包含了时间反转尺度和小波向量，单元和分别是低通和高通滤波器。最后，包括2和向下箭头的方框表示下取样，即从点序列中每隔一个点提取出一个点。用于计算图中的滤波和下取样操作的数学表达式为：(3-3)其中*表示卷积。在非负处计算卷积时，偶索引等价于滤波和向下取样。每当输入信号通过图中的滤波器组时，信号就会被分解为4个较低分辨率或低尺度的分量。系数是通过两个低通滤波器产生的，因此称为近似系数；其它几个系数分别为水平、垂直和斜线细节系数。小波变换的基函数随着尺度的减小，其时频窗口宽度减小，而相应的频域窗口宽度增大。正交小波变换的这种小尺度大频窗、大尺度小频窗的时域分布规律是同自然界信号的时频特性相符合的。 a3a2a1t1t1 小波变换的时-频窗口图 3-2在实际中，许多问题我们只对某些特定时间段或频域段的信号感兴趣，就需要在感兴趣的频域段上尽可能的提高频域分辨率，在感兴趣的时域段上提高时域分辨率，这就是小波包分解方法需要解决的问题。正交小波变换的多分辨率分解只将V(尺度)空间进行分解，分解方法为：，而没有对W(小波)空间进行进一步的分解，而通过小波包可以将进一步的分解，使正交小波变换中随的增大而变宽的频谱窗口进一步变细，这样就可以找到最适合于待分析信号的时频窗口或最优基。3.3 小波包 3.3.1 小波包的定义小波包是对小波子空间按照二进制方式进行频率的细分，以提高高频分辨率。一种自然的做法就是将尺度子空间和小波子空间用一个新的子空间统一起来，再构造出该空间的标准正交基。如果令, 则分解关系可以表示为： (3-4)假定和分别为正交尺度函数和小波函数，将它们分别定义为： 则可以按照下列递推方法定义函数簇： (3-5) (3-6)式中，即两系数也具有正交关系。当时，则有(3-7)(3-8)在多分辨分析中，和满足双尺度方程： (3-9) (3-10)和分别为尺度函数和小波基函数。由可构成由基函数确定的正交小波包。3.3.2 小波包空间分解 令为关于的小波包族，考虑用下列方式生成子空间族。令1，2，.；1，2，.，如果用小波包对子空间进行正交分解。则有(3-11)(3-12)进行迭代分解可以得到的分解式： (3-13)若是一个倍频细化的参数，并令，可将小波包简化记为： (3-14)其中。我们把称为具有尺度指标、位置指标和频率指标的小波包。下面给出小波包的分解算法。设，则可表示为：(3-15)小波包分解算法表示为由求和组成：(3-16)(3-17)从以上论述中可以看出，随着尺度的增大，相应正交小波基函数的空间分辨率愈高，而其频率分辨率愈低，这是正交小波的缺陷。而小波包却具有将随增大而变宽的频谱窗口进一步分割变细的优良性质，克服了正交小波变换的不足。小波包可以对进一步分解，从而提高了频率分辨率，是一种比多分辨分析更加精细的分解方法，具有更好的时频特性。第四章 人工神经网络4.1 人工神经网络简介4.1.1 人工神经网络原理 人工神经网络(Artificial Neural Networks,简写为ANNs )也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络作出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。 人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 (即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。 神经网络就像是一个爱学习的孩子，你教她的知识她是不会忘记而且会学以致用的。我们把学习集(Learning Set)中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。之后我们就可以把测试集(Testing Set)中的测试例子用神经网络来分别作测试，如果测试通过(比如80%或90%的正确率)，那么神经网络就构建成功了。我们之后就可以用这个神经网络来判断事务的分类了。神经网络是通过对人脑的基本单元神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。神经网络的一个重要特性是它能够从环境中学习，并把学习的结果分布存储于网络的突触连接中。神经网络的学习是一个过程，在其所处环境的激励下，相继给网络输入一些样本模式，并按照一定的规则(学习算法)调整网络各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束。然后我们就可以用生成的神经网络来对真实数据做分类。4.1.2 人工神经网络的历史 人工神经网络早期的研究工作应追溯至20世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍 1943年，心理学家WMcculloch和数理逻辑学家WPitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。 1945年冯诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。 50年代末，FRosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为感知机的著作中指出线性感知机功能是有限的，它不能解决如异感这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期，人工神经网络的研究进入了低潮。 另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了Perceptron一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论(ART网)、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart, Hinton, Williams发展了BP算法。Rumelhart和McClelland出版了Parallel distribution processing: explorations in the microstructures of cognition。迄今，BP算法已被用于解决大量实际问题。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。90年代初，Vapnik等提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。4.1.3 人工神经网络的特征 人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：(1)非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。 (2)非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。(3)非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。(4)非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。4.2 BP神经网络4.2.1 BP神经网络结构BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer),如图4-1所示。 图4-2中给出了第j个基本BP神经元(节点)，它只模仿了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移。其中x1、x2xixn分别代表来自神经元1、2in的输入；wj1、wj2wjiwjn则分别表示神经元1、2in与第j个神经元的连接强度，即权值；bj为阈值；f()为传递函数；yj为第j个神经元的输出。 图 4-1 图 4-2第j个神经元的净输入值Sj为：(4-1)其中： 若视，即令X及包括及，则 (4-2)于是节点j的净输入可表示为：(4-3) 净输入通过传递函数(Transfer Function)f ()后，便得到第j个神经元的输出:(4-4)式中f()是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。4.2.2 BP神经网络算法 BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层隐层输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。图 4-3设 BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为vki，隐层与输出层之间的权值为wij，如图5.4所示。隐层的传递函数为f1()，输出层的传递函数为f2()，则隐层节点的输出为(将阈值写入求和项中)： k=1,2,q(4-5)输出层节点的输出为： j=1,2,m(4-6)至此BP网络就完成了n维空间向量对m维空间的近似映射。反向传播1) 定义误差函数输入P个学习样本，用来表示。第p个样本输入到网络后得到输出yj(j=1,2,m)。采用平方型误差函数，于是得到第p个样本的误差Ep：(4-7)式中：为期望输出。对于P个样本，全局误差为：(4-8)2)输出层权值的变化采用累计误差BP算法调整wjk，使全局误差E变小，即(4-9) 式中：学习率定义误差信号为：(4-10)其中第一项：(4-11) 第二项： (4-12)是输出层传递函数的偏微分。于是：(4-13)由链定理得：(4-14)于是输出层各神经元的权值调整公式为：(4-15)3)隐层权值的变化(4-16)定义误差信号为：(4-17)其中第一项：(4-18)依链定理有：(4-19)第二项：(4-20)是隐层传递函数的偏微分。于是：(4-21)由链定理得：(4-22)从而得到隐层各神经元的权值调整公式为：(4-23) 生物神经元信号的传递是通过突触进行的一个复杂的电化学等过程，在人工神经网络中是将其简化模拟成一组数字信号通过一定的学习规则而不断变动更新的过程，这组数字储存在神经元之间的连接权重。网络的输入层模拟的是神经系统中的感觉神经元，它接收输入样本信号。输入信号经输入层输入，通过隐含层的复杂计算由输出层输出，输出信号与期望输出相比较，若有误差，再将误差信号反向由输出层通过隐含层处理后向输入层传播。在这个过程中，误差通过梯度下降算法，分摊给各层的所有单元，从而获得各单元的误差信号，以此误差信号为依据修正各单元权值，网络权值因此被重新分布。此过程完成后，输入信号再次由输入层输入网络，重复上述过程。这种信号正向传播与误差反向传播的各层权值调整过程周而复始地进行着，直到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。权值不断调整的过程就是网络的学习训练过程。4.2.3 BP神经网络的特点 BP神经网络的信息处理方式具有如下特点: (1)信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储内容，即信息存储在神经元之间的连接强度的分布上，BP神经网络模拟人脑的这一特点，使信息以连接权值的形式分布于整个网络。 (2) 信息并行处理。人脑神经元之间传递脉冲信号的速度远低于冯诺依曼计算机的工作速度，但是在很