神经网络信号处理PPT课件

.,1,第八章神经网络信号处理,前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在线性模型的前提下求最佳估计。但在实际中存在着大量的非线性模型问题，或者为题的数学模型往往很难建立或者不可能建立。人工神经网络是一种以自适应为特征的、无固定模型的非线性网络，可用于处理非线性模型为题或模型很难建立的问题。下面仅在第一节简要介绍以生物学为基础的简化的神经元模型，而在其后章节中则是将神经网络作为信号处理的一种手段，不在追求网络的生物学意义。,.,2,8.1神经网络模型,8.1.1生物神经元及其模型,生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、触觉）接收外界信息，在大脑中枢进行加工，然后通过执行器官向外输出。从而构成一个具有闭环控制系统特征的大规模系统。下图显示为神经系统的信息流处理。,.,3,1943年，McCulloch和Pitts提出了一种高度简化的神经元模型，简称M-P模型。,设某一个神经元具有个输入，各输入信号的强度分别为。神经元的输出为。模型的激活规则可由离散时间的差分方程描述,式中，神经元的输入、输出值为0或1。1代表神经元的兴奋状态，0代表神经元的静止状态。表示第个输入与神经元的连接强度。为神经元的阀值。当各输入与其连接强度的加权和超过时，神经元进入兴奋状态。,.,4,各种神经元模型的结构是相同的。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输。各种神经元模型的不同之处仅在于对处理节点中的传递函数和激活函数的数量描述不同。下图为神经元的一般模型及其符号。,.,5,其中，：输入矢量；：权矢量神经元可看成是一个多输入、单输出的非线性信号处理系统。其输入输出关系为：,为方便起见，可将阈值等效成一个恒定的输入，其连接权为，即，这样净输入写成：,.,6,这样，设为扩展的输入矢量和权矢量：,常用的变换函数有以下四种：阶跃函数、线性限幅函数、S函数和随机函数。其中，阶跃函数和S函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。,.,7,阶跃函数和S函数的表达式：,阶跃函数（离散型）：,双极性,S型函数（连续型）：,可见：,.,8,8.1.2人工神经网络模型,可以这样定义人工神经网络：它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元（包括自身）相互连接，其中连接可以是延时的，也可以是无延时的。可见，人工神经网络是由以上许多非线性系统组成的大规模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类：前向型和反馈型。前向型常认为是分层结构，各神经元接收前一级的输入，并输出到下一级。各层内及层间都无反馈。,.,9,输入节点为第一层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但一般称权值层为网络的层，即网络的第一层包括输入节点层，第一隐含层以及它们之间的连接权。反馈型网络可用一个完全无向图表示：,.,10,下面是个简单的用神经网络作处理的例子：,如图所示的单层前向网络：,由M个神经元（单元）组成，接收N个输入。,.,11,第个输入到第个神经元的连接权表示为，则有第个神经元的输出是，定义连接权矩阵为：,引入一个非线性矩阵算子,其中为神经元的变换函数，则网络的输出矢量可写成：,可见，一个前向神经网络用来将一个N维输入空间x映射到M维输出空间y，或者说，将输入模式映射成输出模式。,.,12,8.1.3神经网络的学习方式,前面的研究，主要是考察在给定神经网络（存储在网格内的模式（已知）的输入X后得到的响应y，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，这是网络学习的结果。神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的了解，需要作“盲处理”，而神经网络的设计是通过一些例子或某些准则来训练，从方法上来说，神经网络信号处理以科学经验主义替代了传统的科学理性主义。神经网络的学习一般依据两种规则：,.,13,一种是基于自适应LMS学习算法：即将误差函数的负梯度作为网络权值的调整量。另一种是Hebb学习规则，它是基于心理学中的反射机理给出权值的调整量：,Hebb规则的意义是：如果两个神经元同时兴奋，则它们之间的联系得以增强。,式中，是第个神经元的输入；是第个神经元的输出。,.,14,神经网络的学习从方式上分成以下三种情形：,固定权值计算如果已知标准的输入输出模式，可以根据Hebb规则计算出网络的权值矩阵W，对这样的神经网络，要求容纳足够多的输出模式，并且有一定的容错能力。有导师学习如果已知部分输入输出对样本，则用这些输入模式作为训练集，对应的输出模式作为导师信号，基于自适应LMS算法，根据网络对训练样本的响应与导师信号的差距来调整网络的权值。,.,15,无导师学习对于一些问题，既不知道输出模式，又没有导师的信号，则根据过去输入模式的统计特性来训练网络。这种学习方式表现了自组织的特点。无导师学习方式，可以是在线学习，如前面讨论的自适应Filter那样，也可以边学习边工作。这时要求学习速度能跟上网络处理速度。,.,16,8.2多层前向网络及其学习算法,取神经元的变换函数为双极性阶跃函数，称这样的处理单元为线性阈值值单元，其输入输出关系为,的线性方程称为分界函数。,8.2.1单层前向网络的分类能力,由个线性阈值单元并联而成的单层前向网络，是用个线性分解函数将输入空间分割成若干个区域，每个区域对应不同的输出模式。,.,17,8.2.2多层前向网络的非线性映射能力,为了将单层前向网络划分的某个区域作为一类，可以将其输出进行逻辑“与”运算，用符号表示。,只要第一隐层的神经元足够多，则由线性阈值单元组成的三层前向网络可以对任意形状的非交的输入矢量集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性的分界函数逼近任意非线性分界函数。线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为函数，即为模拟状态模型。可以证明，只要隐节点能自由设置，则两层前向网络可以逼近任何连续函数，或者说实现任意连续型非线性映射。,.,18,8.2.3权值计算矢量外积算法,对离散型单层前向网络，若已确定了输入矢量和相应的标准输出矢量，用基于Hebb学习准则的矢量外积法可计算出权值矩阵，即,若确定了个标准输入和输出矢量，则取，这样的设计的网络具有恢复和容错能力，网络在恢复阶段作内积运算。设标准输入矢量是正交的归一化矢量，即,.,19,8.2.4有导师学习法误差修正法,用来训练网络的输入模式称为训练序列，它们对应的正确响应称为导师信号。根据网络的实际响应与导师信号的误差自适应调整网络的权矢量，称为误差修正法，即,式中，为迭代次数；为修正量，与误差有关。,1.单个神经元的学习算法,单个神经元的学习方法依变换函数不同而异。,（1）线性单元的LMS算法（2）离散型单元的误差修正法（3）连续型单元的LMS算法,.,20,2.多层前向网络的学习算法,（1）误差反向传播算法,算法中假设了输出误差作反向传递，所以称为反向传播法或称BP算法。BP算法是按均方误差的梯度下降方向收敛的，但这个代价函数并不是二次的，而是更高次的。也就是说，构成的连接空间不是只有一个极小点的抛物面，而是存在许多局部极小点的超曲面。BP算法收敛速度较慢，但对某些应用而言，则希望有较快的收敛速度，也有一些加速方法。比如:,集中权值调整。自适应调整学习常数。权值调整量附加“惯性”项。,.,21,（2）随机学习算法,BP算法由于采用直接梯度下降，往往落入代价函数的局部极小点。随机算法则是用于寻找全局最小点，而是以最大概率达到全局最小点。,下面讨论称为模拟退火的随机学习算法。,模拟退火学习算法有四个步骤：产生新状态；计算新状态的能量函数；判断是否接受新状态；降低温度,前向网络可以用具体自组织特性的无导师学习算法训练权值，然而，将前向网络与反馈网络组合在一起进行无导师训练时，显示出了更强的自组织处理能力。,.,22,8.3反馈网络及其能量函数,反馈网络与线性IIR网络一样存在着稳定性问题，本节先介绍动态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单层反馈网络的动态特性和网络权值设计、复合型反馈网络等问题，主要讨论Hopfield网络。8.3.1非线性动态系统的稳定性在期望输出的模式设计成网络的稳定平衡态，存储在权值中，这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同期循环的状态序列，称为极限环，犹如数字循环计数器的稳定循环状态。另外还有些更复杂的吸引子结构。向某个吸引子演化的所有初始状态称为这个吸引子的收敛域。,.,23,一个非线性动态系统是否存在吸引子，这些吸引子是否稳定，这是首先要解决的问题。非线性动态系统用非线性微分方程或非线性差分方程描述。而非线性方程的解不一定能容易求得。李雅普诺夫稳定性理论提供了从方程本身来判断吸引子的存在和稳定的方法。李雅普诺夫定理简述如下：考虑非线性微分方程组：，写成矢量形式为，它的解是时间t的函数，且与初始值有关，记为。当时，有，称为系统的平衡态。所谓稳定性是考虑微分方程的解是否趋向平衡态。以孤立平衡点附近的点作为初始态，若系统的运动轨迹仍在附近，则称平衡态是稳定的。严格的定义为：若对每个实数，存在一实数，使得当初始态满足时，系统运动轨迹满足，则称平衡态在李雅普诺夫意义下是稳定的。进一步，若,就称是渐近稳定的。,.,24,系统的平衡点是渐近稳定的一个条件是：能找到一个X的连续函数，使得称为李雅普诺夫函数。以下几点需要注意：(1)物理上的能量函数一般可作为李雅普诺夫函数，因此，李雅普诺夫函数也称为计算能量函数。一个物理系统总是在能量最低状态下是最稳定的。稳定的非线性动态系统也总是朝能量低的方向运动。实际上，作为能量函数，E可正可负，只要有下界且即可。(2)对给定的动态系统，其李雅谱诺夫函数不是唯一的。可以找到许多不同的李雅谱诺夫函数。(3)若找不到系统的李雅谱诺夫函数，并不说明系统不稳定。(4)还没有统一的找李雅谱诺夫函数的办法，一般是根据系统的物理意义或类似能量的概念写出李雅谱诺夫函数。,.,25,(5)对于离散时间非线性动态系统，用非线性差分方程描述，也有计算能量函数的定理：只要找到一个有下界函数,其增量是非正的，即则该函数就是计算能量函数，且说明该离散动态系统也朝着减小能量的方向运动，最后趋于稳定平衡点，即有。8.3.2离散型Hopfield单层反馈网络离散型Hopfield单层反馈网络的结构如图8.29所示，由n个神经元组成，为输入，为输出，为阀值，。时延表现在图中变换函数的状态转换的时序。这种网络是离散时间、离散型变换函数网络。,.,26,.,27,1.网络的差分方程描述设第i个单元的净输入为，有式中，k为时间变量，变换涵数取双极性阶跃函数，即网络状态的转变有两种方式：异步方式和同步方式。(1)异步方式。在某一时刻k只允许一个单元更新输出状态，其余单元保持不变，则有,.,28,(2)同步方式。在任何时刻，所有单元的状态都同时更新，则有2.网络的能量函数定义计算能量函数E为：由于或-1，且设权值、阀值和输入都有界，则有这意味着E有界。3.网络的权值设计考虑存储L个样本矢量。注意到用外积法设计权值矩阵W，并要置，,.,29,则式中，是n阶单位矩阵，权值为显然，所以用时序工作方式，网络是收敛、稳定的；用并行工作方式，则要看样本矢量是否能使W为非负定的，若能，则网络是收敛、稳定的。,.,30,8.3.3连续型Hopfield单层反馈网络,连续型Hopfield网络与离散型Hopfield网络的基本原理是一致的。但连续型网络的输入、输出是模拟量，网络采用并行方式，使得实时性更好。网络的结构如图8.30所示。图中，运算放大器的输入/输出特性为双极性S函数。为外加偏置电流，相当于神经元阀值的作用；为电导值，是i放大器与j放大器的反馈系数，是反馈电阻，是输出电压，；电阻和电容并联实现图8.10中的时延，一般是运算放大器的输入电阻，为分布电容。,.,31,.,32,1.网络的微分方程描述和能量函数设为第i个放大器输入节点的电压。根据基尔霍夫电流定律，放大器输入节点的电流方程为设，则上式为放大器的输入-输出电压关系为S函数定义能量函数E为式中，是的反函数，即。,.,33,2.网络参数设计连续型Hopfield网络收敛于其能量函数的极小值，这使它能左优化计算。因为优化问题就是求其某个代价函数或目标函数的极小解。如维纳滤波器就是使一个均误差函数最小的最佳滤波器。对要求满足一定约束条件的优化问题，可以将约束条件包含于代价函数中，只要将优化问题的代价函数J映射成网络的能量函数E，就可以求出网络参数和。注意，约束条件下优化问题的代价函数一般有两部分。一部分为代价函数，其中Y为变量，。另一部分为惩罚函数，由约束条件决定。当不满足约束条件时，值就大。这样，代价函数便取。8.3.4随机型和复合型反馈网络1.随机型反馈网络随机型反馈网络与Hopfield网络的结构相同，并且同样是无自反馈的对称网络，即。区别仅在于随机型反馈网络每个单元的,.,34,输入-输出变换函数不再是确定的，而是随机的。输出只取两个状态：0或1.(2)网络的能量函数及其演化过程能量函数为：采取异步工作方式，每次只改变一个神经元的状态。设输出由1状态转变为0状态，系统的能量函数的差值为：2.复合型反馈网络(1)网络结构及其稳定性分析如果在反馈网络中，不是直接将输出作为反馈信号，而是对输出作一变换后，再作反馈信号，如图8.37所示，图中变换用一个前向网络实现，则这种复合反馈网络的处理能力可增强，但网络的收敛性和稳定性的证明更加困难。,.,35,下面举一个简单的情况：网络电路图如图8.38所示，其中，圆圈代表连接强度、电阻值或电导值，设为单调升函数，且对有界输入也有界，其中。这种网络可以是收敛的、稳定的，称为线性规划神经网络。,.,36,(2)网络作优化计算复合反馈网络可以求解数学线性规划问题，求解信号处理中实数域的线性变换。线性规划问题可以利用如下代价函数和约束条件描述：式中，用复合反馈网络作数学计算的主要优点是：高速实时计算；设计简单（一般都只需作直接映射）；一般情况下没有局部极小点。后两个优点与单层反馈网络相比尤为突出。,.,37,8.4自组织神经网络,人们观察不同的事物时，会从不同的角度出发，提取事物的不同特征。对于自组织网络，针对的输入数据不同，欲提取的特征就不同，学习算法也不同。通常有两种无导师学习规则：Hebb规则和竞争学习规则。下面讨论三种特征的自适应提取：（1）依竞争学习规则进行聚类，提取各类的中心；（2）依竞争学习规则作特征映射，将输入模式相似程度的大小映射成几何位置的远近。（3）依Hebb规则进行主元分析，提取信号的最大主元。,.,38,8.4.1自组织聚类,聚类可理解为在无先验知识的情形下，把相似的对象归为一类，并分开不相似的对象。聚类学习算法就是根据距离准则，吧距离接近的样本看作一类，并把该类的中心样本存储于网络的链接权中，而网络的输出将是输入模式与中心样本的距离。1.单层前向聚类网络竞争学习单层线性前向网络的神经元的变换函数是线性的：所以，每个单元的输入-输出关系为,设有个输入学习模式,.,39,个单元可以将输入模式聚为类，输出模式为,2.反馈型聚类网络自适应谐振学习更合理的聚类应该是在事先不知道类别数量的情形下，依竞争的门限来学习。如果对一输入样本，网络通过竞争得知，该输入模式与某一类聚点的距离最小，但其距离若超过一个预定门限值，扔不能将它归为这一类，而应另设一个新的类群。基于自适应谐振理论的学习算法，就是这种既能识别旧对象同时又能识别新对象的方法。,.,40,8.4.2自组织特征映射,自组织特征