ch4神经网络信息处理

第四章神经网络信息处理4.1概述4.2人工神经网络根本模型4.3BP网络4.4Hopfield网络4.5径向基函数神经网络4.6自组织特征映射神经网络4.7神经网络的泛化理论4.8神经网络的参数优化设计14.1概述4.1.1生物神经元4.1.2人工神经元4.1.3神经网络的拓扑结构4.1.4人工神经网络的开展2人工神经网络(ANN)是对生物神经系统(BNN)的模拟，ANN的研究出发点是生物神经元学说。生物神经元学说认为：BNN是个高度组织的、相互作用的、数量巨大的细胞组织群体，它包括中枢神经系统和大脑，均由各类神经元组成。神经系统的根本单元是神经元，也称神经细胞。它是神经系统中独立的营养和功能单元。人类大脑的神经细胞大约在1011~1013个左右。神经元按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。4.1.1生物神经元34.1.1生物神经元神经元由4个局部组成：细胞体——神经细胞的本体，完成细胞的生存功能。树突——接受来自其他神经元的信号。轴突——输出信号。突触——与另一个神经元相联系的特殊部位。44.1.1生物神经元单个神经元从别的细胞接受千个以上的突触输入。输入可到达神经元的不同部位，但其分布不同，对神经元影响的程度也不同。一个神经元有两种状态——兴奋和抑制。多个神经元以突触联接形成了一个神经网络。BNN不是单个神经元生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系统。54.1.2人工神经元ANN是对BNN的某种抽象、简化和模拟，它没有完全真正地反映大脑的功能。ANN的信息处理由人工神经元〔简称神经元〕之间的相互作用来实现。神经元是人工神经网络的根本处理单元。ANN中，知识与信息的存贮表现为网络元件互连分布式的物理联系。ANN的学习和识别取决于各神经元连接权系数的动态演化过程。64.1.2人工神经元神经元一般是一个多输入单输出的非线性器件。神经元ineti——神经元i的内部状态，代表神经元的活泼值；vj——神经元j的输出，也是神经元i的输入信号；wji——神经元j与神经元i间的连接强度，也称为连接权。i——神经元i的阈值；f()——鼓励函数/激活函数。74.1.2人工神经元函数f()表达了神经元的输入输出特性，常用以下函数表达神经元的非线性特征：阈值型〔阶跃函数〕84.1.2人工神经元线性型94.1.2人工神经元S型〔Sigmod函数〕对数正切：双曲正切：S型函数反映了神经元的饱和特性。由于函数连续可导，调节曲线的参数可得到类似阈值函数的功能，该函数被广泛应用于许多神经网络，作为神经元输出函数。104.1.2人工神经元辐射基函数高斯函数：三角波函数：114.1.3神经网络的拓扑结构前向神经网络神经元分层排列，分别组成输入层、中间层〔也称为隐含层，可以有假设干层〕和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面层没有信号反响.12反响神经网络有反响的前向网络 从输出层对输入层有信息反响。 该网络可存贮某种模式序列。4.1.3神经网络的拓扑结构13反响神经网络层内有相互结合的前向网络 通过层内神经元的相互结合，实现同一层内神经元之间的横向抑制或兴奋机制。 可以限制每层内能同时动作的神经元数，或把每层内的神经元分成假设干组，让每组作为一个整体来运作。4.1.3神经网络的拓扑结构14反响神经网络相互结合型网络 任意两个神经元间都可能有连接。 从某种初始状态开始，信号在神经元之间反复传递，网络处于一种不断改变状态的动态之中，经过假设干次的变化，到达某种平衡状态。4.1.3神经网络的拓扑结构154.1.1人工神经网络的开展1943年 美国心理学家W.McCulloch(麦卡洛克)和数学家W.Pitts(皮茨)提出了一个简单的神经元模型，通常称为MP模型。 模型中，当神经元处于兴奋状态时，其输出为1；处于非兴奋状态时，输出为0。164.1.1人工神经网络的开展1949年 Hebb提出神经元的学习法那么—Hebb学习法那么：假设神经元i和神经元j同时处于兴奋状态，它们之间的连接应当加强，wji=vivj。 当神经元兴奋时，输入侧的突触结合强度由于受到刺激而得到增强，这就给神经网络带来了“可塑性”，并被认为是用神经网络进行模式识别和记忆的根底。 目前，许多神经网络型机器的学习法那么仍采用Hebb准那么或它的变型。171958年 F.Rosenblatt提出了一种模式识别机--感知机模型(Perception)。 它由接收单元组成的输入层、MP神经元组成的联合层和输出层构成。4.1.1人工神经网络的开展181982年 美国物理学家J.J.Hopfield对神经网络的动态特性进行了研究，提出了Hopfield神经网络模型，解决了经典的TSP问题。 Hopfield神经网络是一个互联的非线性动力学网络，解决问题的方法在于它是一种反复运算的动态过程，这是符号逻辑处理方法所不具备的性质。4.1.1人工神经网络的开展191986年 Rumelhart〔鲁姆哈特〕和Hinton〔辛顿〕提出了误差反向传播神经网络BP〔ErrorBackPropagationNeuralNetwork〕。1987年 首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。4.1.1人工神经网络的开展204.2人工神经网络根本模型4.2.1MP模型4.2.2简单感知器模型4.2.3多层感知器214.2.1MP模型MP模型属于阈值元件模型。由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的根底。将i看成输入值为-1的特殊权值。f()定义为阶跃函数。神经元i的输出为：224.2.2简单感知器模型感知器是一种早期的神经网络模型，由美国学者Rosenblat于1957年提出。由于在感知器中第一次引入了学习的概念，使人脑所具备的学习功能在数学模型中得到了一定程度的模拟，所以引起了广泛的关注。感知器中，神经元i的输出为：23误差学习规那么输入T1、T2、N，令t=0，j=1，选择一组初始权值wi(0)。对样本集中的第j个样本Xj，计算其所对应的实际输出y(t)与期望输出dj的误差j=|dj-y(t)|。如果j<T1，转第⑤步；否那么继续。4.2.2简单感知器模型24更新权值：wi(t+1)=wi(t)+[dj–y(t)]vi(t)wi(t)：第t步神经元间连接权，阈值看为输入恒为-1的权值；：学习步长，取值区间(0,1)，可以是常数或变量。令j=j+1。假设jN，转到第②步。计算所有样本误差之和E=j，如果E<T2，学习结束；否那么，令j=1，转到第②步。其中，

是一个正的常数。4.2.2简单感知器模型254.2.2简单感知器模型例：在简单感知器上，用误差学习算法实现真值表感知器模型：直线方程：

ax1+bx2+c=0a=wl，b=w2，c=-w0264.2.2简单感知器模型感知器模型：直线方程：

ax1+bx2+c=0

a=wl，b=w2，c=w0网络结构：w1w2x1x2w0y输入层输出层274.2.2简单感知器模型初始参数：(随机产生)wl(0)=0.2w2(0)=－0.5w0(0)=

(0)=0.1输入第一个样本：(0，0)

step1：计算网络的实际输出284.2.2简单感知器模型step2：对应于输入样本〔0，0〕，修正权值首先，计算学习步长，设=0.1其次，修正权值294.2.2简单感知器模型30314.2.2简单感知器模型简单感知器局限性只能进行线性分类，无法实现非线性样本划分。如二维空间中异或问题是一个非线性样本空间分类问题。感知器对线性不可分问题的局限性决定了它的归纳性较差，而且通常需要较长的离线学习才能到达收敛。324.2.3多层感知器〔多层前向网络〕在输入和输出层间加一层或多层神经元〔隐层神经元〕，构成多层前向网络，也称为多层感知器。334.2.3多层感知器〔多层前向网络〕设计三层感知器解决异或问题，相当于在模式空间中用两条直线去划分样本，即为：

l1：x1+x2=0.5l2：x1+x2=1.5问题：如何设计网络中的权值？344.3BP网络1985年Rumelhart等提出EBP算法〔ErrorBackPropagation，简称BP算法〕，系统解决了多层神经元网络中隐单元层连接权的学习问题，并在数学上给出了完整推导。由于BP克服了简单感知器不能解决的XOR和其他一些问题，所以BP模型已成为神经网络的重要模型之一，并得以广泛使用。采用BP算法的多层神经网络模型一般称为BP网络。354.3BP网络BP网络的学习过程由两局部组成：正向传播和反向传播正向传播：信息从输入层经隐单元层处理后传向输出层，每层神经元的状态只影响下一层神经元状态。如果在输出层得不到希望的输出，那么转入反向传播，将误差信号沿原来的神经元连接通路返回，同时逐一修改各层神经元连接的权值。此过程不断迭代，使信号误差到达允许范围内。BP网络一般采用有一定阈值特性的连续可微的Sigmod函数作神经元的激发函数，其他类似的非线性函数也可用。36有P个训练样本，即P个输入输出对(Xk,Tk)，k=1,2,…,PXk=(xk1,…,xkM)，第k个输入样本，M为输入向量维数Tk=(tk1,…,tkN)，第k个输出样本(期望输出)，N为输出向量维数；网络的实际输出向量：Ok=(ok1,…,okN)当神经元为输入层单元时：Ok=Xk对样本k，神经元i的状态定义为：wji为前一层神经元j输入到后一层神经元i的权重。对样本k，神经元i的输出定义为：Sigmod激发函数下的BP算法网络：37当激发函数为半线性函数，且训练指标函数取：对有隐层的多层前向神经网络，可以证明，下述网络学习规那么将使E在每个训练循环中按梯度下降：式中的ki先从输出层开始计算，逐层向后进行。输出层：中间层：384.3BP网络初始化权值或阈值为小的随机数。令k=1。提供训练样本：Xk、Tk，计算网络的实际输出及隐层单元的状态：计算训练误差，输出层：中间层：394.3BP网络修正权值和阈值：令k=k+1。当k<P时，转至3)。否那么判断 是否满足精度要求，假设满足那么退出；否那么转至2)。404.3BP网络BP网络虽然在各方面都具有重要意义，而且应用也很广泛，但它也存在一些缺乏。从数学上看，它是一个非线性优化问题，不可防止地存在局部极小点；学习算法的收敛速度很慢；网络隐层神经元数选取带有很大的盲目性和经验性，尚无理论上的指导；新参加的样本要影响已学完的样本等。414.4Hopfield网络〔HNN〕1982年，Hopfield开创性地在物理学、神经生物学和计算机科学等领域架起了桥梁，提出了Hopfield反响神经网络模型(HNN)。证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。HNN是典型的全连接网络，通过在网络中引入能量函数构造动力学系统，使网络的平衡态与能量函数的极小解相对应，将求解能量函数极小解的过程转化为网络向平衡态的演化过程。424.4Hopfield网络〔HNN〕4.4.1离散型HNN4.4.2连续型HNN434.4.1离散型HNN离散型HNN的输出为二值型，v1,v2,…,vn为各神经元的输出；wi1,wi2,…,win为各神经元与第i个神经元的连接权值；

i为第i个神经元的阈值。

iv1v2v3vn……winwi3wi2wi1vi444.4.1离散型HNNHNN是对称网络，采用全连接结构。wij=wji；wii=0时，称为无自反响的离散HNN；反之，称为有自反响的离散HNN。3神经元HNN

1v1v2v3w23w13w12

2

3454.4.1离散型HNNHNN是一个离散时间系统，有两种工作方式：异步方式：在任一时刻t，只有一个神经元的输出发生变化，其余n-1个神经元的状态保持不变。优点：每个神经元有自己的更新时刻，不要同步机制，算法易实现。可以限制网络的输出状态，防止不同稳态以等概率出现。同步方式：在任一时刻t，有局部或所有〔全并行方式〕神经元的输出发生变化。464.4.1离散型HNN稳态：网络按异步方式工作，任一时刻只有一个神经元被选择进行状态更新；神经元状态变化时，网络以某一概率转移到另一状态；神经元状态保持时，网络保持状态不变。通常，网络从某一初始状态经过屡次更新后，才能到达某一稳态。反响型神经网络的一个重要特点是具有稳态。474.4.1离散型HNN对n个神经元的HNN，网络共有2n个可能状态。每个状态可以用一个包含0和1的矢量表示；每个时刻整个网络处于2n个状态中的一个状态；任意时刻t，随机选择下一个要更新的神经元，且允许所有神经元具有相同的平均变化概率。神经元状态变化有三种情况：0

1；10；状态保持不变。484.4.1离散型HNN例：设网络的参数为：w12=w21=1，w13=w31=2，w23=w32=-3，1=-5，2=0，3=3初始状态〔可任意选定〕v1v2v3=(000)，3个神经元以等概率被选择，采用异步方式运行网络。首先，假定选择神经元1。状态为：Net1=1*0+2*0-(-5)=5>0输出为：v1=1那么网络状态由(000)变化到(100)，转移概率为1/3。494.4.1离散型HNNw12=w21=1，w13=w31=2，w23=w32=-3，1=-5，2=0，3=3，初始状态v1v2v3=(000)其次，假定选择神经元2。状态为：Net2=1*0+(-3)*0-0=0>0输出为：v2=0那么网络状态不变，转移概率为1/3。504.4.1离散型HNNw12=w21=1，w13=w31=2，w23=w32=-3，1=-5，2=0，3=3，初始状态v1v2v3=(000)最后，假定选择神经元3。状态为：Net3=2*0+(-3)*0-3=-3<。输出为：v3=0那么网络状态不变，转移概率为1/3。514.4.1离散型HNN结论：网络状态(000)以1/3的概率转移到(100)，以2/3的概率保持不变。同理，可以计算出其它状态间的转移关系。524.4.1离散型HNN3神经元HNN状态转移图图中未标注的概率为1/3534.4.1离散型HNN从图中可以看出本例状态的两个显著特征：特征1：状态(110)以概率1转移到自己。当其他状态转移到(110)后，网络将会一直保持该状态，(110)即为本例的稳定状态。从任一初始状态开始，网络经过有限次状态更新后，都将到达该稳定状态。544.4.1离散型HNN从图中可以看出本例状态的两个显著特征：特征2：从能量角度看，任意状态要么在同一“高度”变化，要么从上向下转移。HNN是一个多输入、多输出、带阈值的二态非线性动力系统。在满足一定的参数条件下，某种能量函数在网络运行过程中不断降低，最终趋于稳定平衡状态。作为网络计算求解的工具，能量函数也被称为计算能量函数。554.4.1离散型HNN能量函数的定义：记：神经元i的状态变换量为∆vi，能量变换量为∆Ei。能量Ei随状态变化而减小，等价于：∆Ei<0神经元i的状态vi0

1，有：∆vi=1-0>0，Neti>0；1

0，有：∆vi=0-1<0，Neti

0；不变，有：∆vi=0；结论：∆vi

Neti

0564.4.1离散型HNN神经元i的能量可定义为：离散HNN整体能量函数定义为：574.4.1离散型HNN分析3神经元网络，其神经元能量为：584.4.1离散型HNN分析上例状态v1v2v3=(011)时网络的能量：状态v1v2v3=(110)时网络的能量w12=w21=1，w13=w31=2，w23=w32=-3，

1=-5，

2=0，

3=3594.4.1离散型HNN状态能量表v1v2v3E0000001301000116100-5101-4