神经网络第2章-BP神经网络

第2章BP神经网络

已经发展了数十上百种神经网络模型，应用最广泛的是误差反向传播算法(BackPropagationAlgorithm，简称BP算法)，相应的网络称为BP网络。由多层处理单元组成，每层神经元个数不同，通过样本自学习建立网络输入变量和输出变量之间的非线性映射关系。

§2-1BP神经网络基本原理

BP网络一般由输入层、隐层和输出层组成，隐层可以为一层或多层，每层上的神经元称为节点或单元。

标准BP模型由3个神经元层次组成，如图2.1所示，输入层有L个处理单元，中间的隐层有M个处理单元，输出层有N个处理单元。标准BP模型由3个神经元层次组成，如图2.1所示，输入层有L个处理单元，中间的隐层有M个处理单元，输出层有N个处理单元。图2.1三层BP神经网络BP网络误差反向传播算法的基本思想

BP网络按照感知器的工作原理进行信息处理：

(2-1)式中为t时刻输出，为输入向量的一个分量，为t时刻第i个输入的加权，θ为阈值，为作用函数。

感知器的学习规则为

(2-2)式中η为学习率，d为期望输出(又称教师信号)，为感知器的输出。感知器通过不断调整权重，使得对一切样本均保持不变时，学习过程就结束。BP网络误差反向传播算法的基本思想是：根据输出层内各处理单元的正确输出与实际输出之间的误差进行连接权系数的调整，使网络的输出尽可能接近期望的输出，直到满足事先给定的允许误差，学习停止。由于隐层的存在，输出层对产生误差的学习必须通过各层连接权值的调整进行，因此，隐层要能对输出层反传过来的误差进行学习，这是BP网络的一个主要特征。

BP网络的学习算法

考虑BP网络中某神经元j如图1.2所示，它有m个输入信号，每个输入通过各自的权系数与神经元j相联系。第j神经元的综合输入量为图1.2神经单元模型(2-3)式中称为该神经元的门槛值或阈值。为了统一表达式，可以令,将上式改写成

(2-4)第j神经元的输出为(2-5)式中为神经元j的传递函数或响应函数，是非线性可微非递减函数，对各神经元可取同一形式。传递函数通常有0-1型(2-6)双曲正切型(2-8)

Sigmoid型(2-7)目前，用得较多的传递函数是Sigmoid型函数或称为S型函数。BP网络的自学习是通过若干个已知输入和输出的样本，来调整权系数完成的。要求对样本，网络输出和样本期望输出的差值平方和极小，即(2-9)

现在考虑图2.2所示BP网络，用序号1~3分别表示输入层、隐层和输出层，为统一符号，规定右上角标表示层的序号，对第p样本，第层的神经元j的输入和输出分别用和表示，而对应层的神经元个数为，对图2.2而言，。则网络的正向运算为现在考虑图2.2所示BP网络，用序号1~3分别表示输入层、隐层和输出层，为统一符号，规定右上角标表示层的序号，对第p样本，第层的神经元j的输入和输出分别用和表示，而对应层的神经元个数为，对图2.2而言，。则网络的正向运算为图2.2三层BP神经网络输入层(2-10)隐层或输出层式中表示第层的神经元与第层的神经元之间的权系数。网络第层的神经元j的计算输出和样本期望输出的差值记为(2-13)要对网络的权系数不断进行修正，使得小于事先给定的允许误差，才能完成学习过程，训练结束。对于第次学习过程，权系数修正量可借鉴不包含隐层的Delta学习算法(或学习算法)按下式进行调整(也参见式(2-2))

(2-14)式中η为修正因子，一般取小于1的常数，也可以在学习过程中根据需要而改变。

Delta学习算法的改进

由式(2-11)则式(2-17)可改写为将上式与式(2-14)比较，可见两者形式相同。(2-14)

而由式(2-12)有

对式(2-7)的S型函数，上式成为

将式(2-23)和式(2-24)代入式(2-21)得

将式(2-23)和式(2-26)代入式(2-21)并考虑式(2-15)得

式(2-16)和式(2-20)给出

需要指出的是，当选用0-1型和Sigmoid型传递函数时，网络输出的值域为(0,1)而双曲正切型的值域为(-1,1)，对于超出此区间的样本期望输出，均需作归一化处理。训练好的BP网络已经建立了输入变量与输出变量之间的非线性映射关系，可用于结构损伤(裂纹)识别等反问题的求解。该法的特点是具有较好的鲁棒性，对测量结果的微小误差不很敏感。

BP网络学习(迭代)运算步骤如下：事先确定隐层的层数及各隐层的神经元个数

§2.2BP网络计算框图BP网络计算框图(流程图)见图2.3：

§2.3BP网络的特点和存在的问题

(1)是一种非线性映射关系

是静态系统而非动力学系统，故不涉及稳定性问题。

(2)BP算法收敛速度很慢

主要由于多峰优化问题，只找到局部最优解，产生麻痹，如图2.4。A全局最优点B局部优化点图2.4多峰优化问题寻优过程示意图

(3)对隐层的层数及各隐层的神经元个数尚无理论上的推导

(4)对加入的新样本，网络需要重新学习

§2.4Kolmogorov定理Kolmogorov(连续函数表示)定理(1957年)：

§2.5算例1——NN.FOR驻值点由：

需要利用导师信息，给出网格点的值作信息，共7×7=49对数据点，见表2-1。x1位于-3～3之间，而x2位于-2～4之间。

表2-1神经网络训练数据表x1x2f(X)x1x2f(X)x1x2f(X)x1x2f(X)-3-2120.5-24150242033-3-198.5-1-217.503102119-3080.5-1-17.50420229-3166.5-101.51-234.5233-3256.5-11-0.51-120.5241-3350.5-121.51010.53-2171.5-3448.5-137.5114.53-1137.5-2-239-1417.5122.530107.5-2-1250-220134.53181.5-20150-1101410.53259.5-2190042-2733341.5-2270122-1513427.5-239

程序NN.FOR使用说明：

数据值应在(0,1)之间，故应作归一化处理：进行坐标平移及数据归一化处理，分子—平移；分子/分母—归一化。x1最小值为-3，x2最小值为-2，取值区间分别为3-(-3)=6和4-(-2)=6。规格化处理：

§2.6算例2考虑：1、移轴及归一化和上下限改变的影响；2、随机数起始点改变；