算法的程序实现ppt课件

1、初始化 V、W、Emin,、q=1，p=1,E=0输入样本，计算各层输出：m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW计算误差： P1pl1k2kkod21E)(计算各层误差信号：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(调整各层权值：m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP？ N N E=0,p=1 EEmin Y 结束3.4.3 BP算法的程序实现算法的程序实现(1)初始化；初始化； P1ppP1RMEEE(4)计算各层误差信号；计算

2、各层误差信号； (5)调整各层权值；调整各层权值； (6)检查能否对一切样本完成一次检查能否对一切样本完成一次 轮训；轮训； (7)检查网络总误差能否到达精检查网络总误差能否到达精 度要求。度要求。 (2)输入训练样本对输入训练样本对X Xp、d dp计算各层输出；计算各层输出；(3)计算网络输出误差；计算网络输出误差；3.4.3 BP算法的程序实现算法的程序实现初始化 V、W计数器 q=1，p=1输入第一对样本计算各层输出计算误差：P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 计算各层误差信号 调整各层权值 q 增 1 N ErmsEmin E=0,p=1 Y 结束然后

3、根据总误差计算各层的误差然后根据总误差计算各层的误差信号并调整权值。信号并调整权值。P1pl1k2pkpkod21E)(总 另一种方法是在一切样本输入之后，计算网络的总误差：3.4.4 多层前馈网多层前馈网(感知器感知器)的主要才干的主要才干(1)非线性映射才干非线性映射才干 多层前馈网能学习和存贮大量输入-输出方式映射关系，而无需事先了解描画这种映射关系的数学方程。只需能提供足够多的样本方式对供BP网络进展学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。3.4.4 多层前馈网多层前馈网(感知器感知器)的主要才干的主要才干(2)泛化才干泛化才干 当向网络输入训练时未曾见过的非样本

4、数据时，网络也能完成由输入空间向输出空间的正确映射。这种才干称为多层前馈网的泛化才干。(3)容错才干容错才干 输入样本中带有较大的误差甚至个别错误对网输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。络的输入输出规律影响很小。3.4.5误差曲面与误差曲面与BP算法的局限性算法的局限性 误差函数的可调整参误差函数的可调整参数的个数数的个数 nw 等于各层权等于各层权值数加上阈值数，即：值数加上阈值数，即：) 1() 1(mlnmnw 误差误差 E 是是 nw+1 维空间中一维空间中一个外形极为复杂的曲面，该曲个外形极为复杂的曲面，该曲面上的每个点的面上的每个点的“高度对应于高度对

5、应于一个误差值，每个点的坐标向一个误差值，每个点的坐标向量对应着量对应着 nw 个权值，因此称这个权值，因此称这样的空间为误差的权空间。样的空间为误差的权空间。3.4.5误差曲面与误差曲面与BP算法的局限性算法的局限性误差曲面的分布有两个特点：误差曲面的分布有两个特点：特点之一：存在平坦区域特点之一：存在平坦区域 jokikywE)1 ()(kkkkokoood f (x) 1.0 0.5x030mjjjkyw3.4.5误差曲面与误差曲面与BP算法的局限性算法的局限性特点之二：存在多个极小点特点之二：存在多个极小点 多数极小点都是部分极小，多数极小点都是部分极小，即使是全局极小往往也不是独即使

6、是全局极小往往也不是独一的，但其特点都是误差梯度一的，但其特点都是误差梯度为零。为零。 误差曲面的平坦区域会使训练次数大大添加，从而影响了收敛速度；而误差曲面的多极小点会使训练堕入部分极小，从而使训练无法收敛于给定误差。3.5规范规范BP算法的改良算法的改良规范的规范的BP算法在运用中暴显露不少内在的缺陷：算法在运用中暴显露不少内在的缺陷： 易构成部分极小而得不到全局最优；易构成部分极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢；训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏实际指点；隐节点的选取缺乏实际指点； 训练时学习新样本有遗忘旧样本的趋势。训练时学习新样本有遗忘

7、旧样本的趋势。 针对上述问题，国内外已提出不少有效的改良算法，针对上述问题，国内外已提出不少有效的改良算法，下面仅引见其中下面仅引见其中3种较常用的方法。种较常用的方法。3.5规范规范BP算法的改良算法的改良1 添加动量项添加动量项)1()(ttWXW为动量系数，普通有为动量系数，普通有(0(0，1)1)2 自顺应调理学习率自顺应调理学习率 设一初始学习率，假设经过一批次权值调整后使总误差，那么本次调整无效，且=(1 )。3.5规范规范BP算法的改良算法的改良3 引入陡度因子引入陡度因子 实现这一思绪的实现这一思绪的详细作法是，在原转详细作法是，在原转移函数中引入一个陡移函数中引入一个陡度因子

8、度因子/11neteo o 1 =1 1 21 net 03.6 BP网络设计根底网络设计根底一一 、训练样本集的预备、训练样本集的预备1.输入输出量的选择输入输出量的选择 输出量代表系统要实现的功能目的，例如系统的性能目的，分类问题的类别归属，或非线性函数的函数值等等。 输入量必需选择那些对输出影响大且可以检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，这是输入量选择的两条根本原那么。3.6 BP网络设计根底网络设计根底一一 、训练样本集的预备、训练样本集的预备1.输入输出量的选择输入输出量的选择从输入、输出量的性质来看，可分为两类：一类是数从输入、输出量的性质来看，可分为两

9、类：一类是数值变量，一类是言语变量。值变量，一类是言语变量。数值变量的值是数值确定的延续量或离散量。数值变量的值是数值确定的延续量或离散量。言语变量是用自然言语表示的概念，其言语变量是用自然言语表示的概念，其“言语值是言语值是用自然言语表示的事物的各种属性。中选用言语变量用自然言语表示的事物的各种属性。中选用言语变量作为网络的输入或输出变量时，需将其言语值转换为作为网络的输入或输出变量时，需将其言语值转换为离散的数值量。离散的数值量。3.6 BP网络设计根底网络设计根底一一 、训练样本集的预备、训练样本集的预备2. 输入量的提取与表示输入量的提取与表示(1)文字符号输入文字符号输入XC=(11

10、1100111)T XI=(111100111)T XT=(111100111)T3.6 BP网络设计根底网络设计根底一一 、训练样本集的预备、训练样本集的预备2. 输入量的提取与表示输入量的提取与表示(2)曲曲线线输输入入x(t) xn x1 t 0 1 2 3 4 5 nTpnpipppxxxxX),.,.,(21p=1,2,P3.6 BP网络设计根底网络设计根底一一 、训练样本集的预备、训练样本集的预备2. 输入量的提取与表示输入量的提取与表示(3)函数自变量输入函数自变量输入 普通有几个输入量就设几个分量，普通有几个输入量就设几个分量，1个输入分量对个输入分量对应应1个输入层节点。个输

11、入层节点。(4)图象输入图象输入 在这类运用中，普通先根据识别的详细目的从图象中提取一些有用的特征参数，再根据这些参数对输入的奉献进展挑选，这种特征提取属于图象处置的范畴。(1)“n中取中取1表示法表示法 “n中取中取1是令输出向量的分量数等于类别数，输是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取入样本被判为哪一类，对应的输出分量取1，其他，其他 n-1 个分量全取个分量全取0。例如，用。例如，用0001、0010、0100和和1000可分可分别表示优、良、中、差别表示优、良、中、差4个类别。个类别。(2)“n-1表示法表示法 假设用n-1个全为0的输出向量表示某个类

12、别，那么可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。3.6 BP网络设计根底网络设计根底一一 、训练样本集的预备、训练样本集的预备3. 输出量的表示输出量的表示(3)数值表示法数值表示法 对于渐进式的分类，可以将言语值转化为二值之间的数值表示。数值的选择要留意坚持由小到大的渐进关系，并要根据实践意义拉开间隔。3.6 BP网络设计根底网络设计根底二、输入输出数据的归一化二、输入输出数据的归一化 归一化也称为或规范化，是指经过变换处置将网络的输入、输出数据限制在0，1或-1，1区间内。 进展归一化的主要缘由：网络的各个输入数据经常具有不同的物理意义和

13、不同的量纲，归一化给各输入分量以同等重要的位置；BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；Sigmoid转移函数的输出在01或-11之间。教师信号如不进展归一化处置，势必使数值大的输出分量绝对误差大，数值小的输出分量绝对误差小。3.6 BP网络设计根底网络设计根底二、输入输出数据的归一化二、输入输出数据的归一化将输入输出数据变换为将输入输出数据变换为0，1区间的值常用以下变换式区间的值常用以下变换式minmaxminxxxxxii其中，xI代表输入或输出数据，xmin代表数据变化的最小值，xman代表数据的最大值。将输入输出数据变换为将输入输出数据变换为-1，1区间的值常用以下变换式区间的值常用以下变换式2minmaxxxxmid)(minmax21xxxxxmidii其中，xmid代表数据变化范围的中间值。3.6 BP网络设计根底网络设计根底三、网络训练与测试三、网络训练与测试 网络的性能好坏