《人工神经网络课程》ppt课件

1、第2章 前馈型人工神经网络vM-P模型v感知机模型与学习算法v多层感知机网络v自顺应线性单元与网络v非线性延续变换单元组成的前馈网络vBP算法2.3 非线性延续变换单元组成的网络 由非线性延续变换单元组成的前馈网络，简称为BP(Back Propagation) 网络。网络的构造与数学描画 (i). 非线性延续变换单元 对于非线性延续变换单元，其输入、输出变换函数是非线性、单调上升、延续的即可。但在BP网络中，我们采用S型函数： )(111111)(ijnjijixwuiiijnjijiieeufyxwsu2.3 非线性延续变换单元组成的网络函数 是可微的，并且这种函数用来区分类别时，其结果能

2、够是一种模糊的概念。当 时，其输出不是1， 而是大于0.5的一个数，而当 时，输出是一个小于0.5的一个数。假设用这样一个单元进展分类，当输出是0.8时，我们可以为属于A类的隶属度或概率为0.8时，而属于B类的隶属度或概率为0.2。)(uf)(ufu)(1)()11()( ufufeufu0u0u2.3 非线性延续变换单元组成的网络(ii). 网络构造与参数 下面以四层网络为例来引见BP网络的构造和参数，普通情况类似。1x2xnx1y2ymy1 x2 x1nx1 x2 x2 nxlkilkkjjimTmnTnnTnnTnwwwRyyyyRxxxxRxxxxRxxxx , ,),() , , (

3、 ),(),(212121212211阈值：连接权：网络输出：第二隐层输出：第一隐层输出：网络输入：jiwkjwlkw 2.3 非线性延续变换单元组成的网络 网络的输入输出关系为：显然可以将阈值归入为特别的权，从而网络的参数可用 表示 为一个集合。上述网络实现了一个多元延续影射： 2111211,2,1), (,2,1),( ,2,1),(njlklklnjkjkjknijijijmlxwfynkxwfxnjxwfxmnRRWxFy: ),(WW2.3 非线性延续变换单元组成的网络(iii).网络的学习问题学习的目的：经过网络(或 )来逼近一个延续系统，即延续变换函数 。 学习的条件：一组样本

4、对 对于样本对 ，存在 使得 对于一切样本的解空间为： ),(WxF)(xG),( ,),(),(2211NNyxyxyxSiWmmnnnnnnnpRWWxFypiii222111,),(WiNiWW1 ),(iiyx2.3 非线性延续变换单元组成的网络(iv). Kolmogorov定理Kolmogorov定理(映射神经网络存在定理，1950s) 给定任何延续函数 ，那么 可以被一个三层前馈神经网络所实现，其中网络的隐单元数为 。留意：定理未处理构造问题。)(, 1 , 0 :xfyRfmnf12 n1x2xnx1z2z12 nz1y2ymy为正有理数。为常数，为连续函数，为连续单调递增函数

5、，其中jjnjkkinijjgmkzgynjjjxz, 2 , 1),(12 , 2 , 1,)(12112.3 非线性延续变换单元组成的网络2. BP学习算法 (i).根本思想 BP算法属于 学习律，是一种有监视学习： 对于辅助变量并将阈值归入权参数： 那么有： （误差）网络实际输出：理想输出或导师值），样本输入：ErroryyytttxxxNNN,(,212121llkkjjwxwxwx , 1 , 1, 1000000) (),( ),(21000knklkninjljkjkijijxwfyxwfxxwfx2.3 非线性延续变换单元组成的网络思索第 个样本的误差：进一步得总误差：引入权参

6、数矩阵：和总权参数向量：212)(21|21lmllytytE NlmllNNytytEE121121)(21|21)1()1()1(2121) ( ,)(,)(nmlknnkjnnjiwwwWWW1011(,)TsgcdvecWvecwwwwvecWWW2.3 非线性延续变换单元组成的网络根据总误差得到普通性的梯度算法：终止规那么：这里用梯度法可以使总的误差向减小的方向变化，直到 或梯度为零终了。这种学习方式使权向量 到达一个稳定解，但无法保证 到达全局最优，普通收敛到一个部分极小解。gssgsggssgNsgsgsgNwEwwEEwxtWEwEwxtWEE,2,11)(),(),(E)0(

7、?0, 0EEEWE2.3 非线性延续变换单元组成的网络(ii). BP算法的推导 令 为迭代次数，那么得普通性梯度下降法： 其中 为学习率，是一个大于零的较小的实数。 先思索对于 的偏导数：0njijijikjkjkjlklklkwEnwnwwEnwnwwEnwnw)()1()()1( )( )1( 000000lkw ) ( ) ( )( 2011knklklkNllllklllNllkxwuxufytwuuyyEwE2.3 非线性延续变换单元组成的网络在上式中， 为第 个样本输入网络时， 的对应值。另外令那么：为了方便，引入记号：kx kx )1 () (1)( () ( lllllyy

8、ufufuf)1 ()(lllllyyytkNllklklklkxnwwEnwnw )( )( ) 1( 1000niijijjjnjjkjkkknkklklllxwuufxxwuufxxwuufy000),(),( ), (122.3 非线性延续变换单元组成的网络对于 的偏导数，我们有：kjwlkmllkkkklkmllkjNkjkklkNmlljkklklllNmlljklkllNmllkjkkkklllNmllkjwxxxxwxxxxwxxxwyyytxufwufytwuuxxuuyyEwE ) 1 ( ) 1 ( ) 1 ( ) 1 ( )1 ()()( ) ( )( 11111111

9、111 其中2.3 非线性延续变换单元组成的网络这样我们有：类似的推导可得：(iii). BP算法Step 1. 赋予初值： Step 2. 在 时辰，计算 及其广义误差 jNkkjkjxnwnw)() 1(100knkkjjjjjknkkjjiNjjijiwxxxxwxnwnw 1111100)1 ()1 ()() 1(其中) ,(, 0),5 . 0)() 0(lkkjjisgsgwwwwRandomwlkjyxx, ,12,2, 1,;,2, 1,;,2, 1,njnkmljkl 0n2.3 非线性延续变换单元组成的网络Step 3. 修正权值： Step 4. 计算修正后的误差： 假设

10、 ，算法终了，否那么前往到Step 2。iNjjijijNkkjkjkNllklkxnwnwxnwnwxnwnw100100100)() 1()() 1( )( ) 1( ),),1() 1(010 xtnEnENW|, 0() 1(0sgwEnE或预先给定）2.3 非线性延续变换单元组成的网络BP算法的讨论：a). 这里的梯度是对于全部样本求的，因此是一种批处置算法，即 Batch-way，它符合梯度算法，稳定地收敛到总误差的一个极小点而终了。(留意：按总误差小于 能够导致算法不收敛.) b). 实践中更常用的是对每个样本修正，即自顺应算法，当每次样本是随机选取时，可经过随机逼近实际证明该算

11、法也是收敛的。特点是收敛速度快。C). 为了使得算法既稳定，又具有快的收敛速度，可以运用批处置与自顺应相补充的算法，即选取一组样本远小于全部样本进展计算梯度并进展修正，其它不变。2.3 非线性延续变换单元组成的网络3. BP网络误差曲面的特性 BP网络的误差公式为： 是一种非线性函数，而多层的BP网络中 又是上一层神经元形状的非线性函数，用 表示其中一个样本对应的误差，那么有： 可见， 与 有关，同时也与一切样本对有关，即与 有关。211)(21lNmllytE )(llufyluENlmllxtEExtEytE121),(),()(21WW),( ,),(),(2211NNyxyxyxSEW

12、2.3 非线性延续变换单元组成的网络假定样本集 给定，那么 是 的函数。在前面思索的4层网络中，权值参数的总个数为：那么在加上 这一维数，在 维空间中， 是一个具有极其复杂外形的曲面。假设在思索样本，其外形就更为复杂，难于想象。从实际和实际上，人们得出了下面三个性质：(i). 平滑区域 误差广义误差)1 ()(lllllyyyt平滑区域SEW) 1() 1() 1(2211mnnnnnnWE1WnE2.3 非线性延续变换单元组成的网络(ii). 全局最优解 不独一 中的某些元素进展置换依然是全局最优解，这从右边的简单模型可以看出。(iii). 部分极小 普通情况下，BP算法会收敛到一个部分极小

13、解，即：当 ，算法以希望误差收敛；当 ，算法不以希望误差收敛，但可按梯度绝对值小于预定值终了。*W*W1x2x1 x2 x),(21Wxxfy 00)(WWn)(0WE)(0WE2.3 非线性延续变换单元组成的网络4. 算法的改良 (i). 变步长算法 是由一维搜索求得 Step 1. 赋予初始权值 和允许误差 ； Step 2. 在时辰 ，计算误差 的负梯度方向： Step 3. 假设 ，终了；否那么从 出发，沿 做一维搜索，求出最优步长 ：Step 4. ， 转 Step 2。 ) 0 (W00n)(0nE W)()(00| )(nnEdWWW|)(0nd)(0nW)(0nd)(0n)(m

14、inarg)()(000ndnEnW)(0000)()() 1(ndnnnWW2.3 非线性延续变换单元组成的网络步长学习率 确实定方法：(a). 求最优解：对 求导数，并令其为零，直接求解：(b). 迭代修正法：令 0)()(00ndnWE)(0n)()(0)(00nEdnEEnWW0110,0,，其中EifEifoldoldnew2.3 非线性延续变换单元组成的网络(ii). 加动量项 为了防止震荡并加速收敛，可采用下述规那么：留意：上式类似于共轭梯度法的算式，但是这里 不共轭。因此能够出现误差添加的景象，即 ，这时可令 ，即退回到原来的梯度算法。000()0000()(1)0000000

15、0(1)()()()(1)()()()()()()(1), 01)nnnnnn dnnnnddnnnnn WWWWWWWW（其中为动量项（)1()(00,nndd0E02.3 非线性延续变换单元组成的网络(iii). 参与 因子 当算法进入平坦区，即 ，那么 。为了消除或减弱这种景象，引入 因子，使得：(iv). 模拟退火方法 在一切权上加一个噪声，改动误差曲面的外形，运用模拟退火的机制，使算法逃离部分极小点，到达全局最优而终了。0)1 (llyy| |lu201,/,11 exp( )nlllkkllklyuwxu2.3 非线性延续变换单元组成的网络5.BP网络的设计(i).输入输出层的设计

16、 BP网络输入、输出层单元个数是完全根据实践问题来设计的，我们分三种情况讨论： A.系统识别 这时输入单元个数为 ； 输入单元个数为 。XYmnRRXFy: )(Fnm2.3 非线性延续变换单元组成的网络B.分类问题 (a).假设 ，那么令 ，这样输出层仅需求一个单元。 (b).假设 ，那么令: 这样输出层那么需求 个单元。 (c).二进制编码方法 对 进展二进制编码，编码位数为,),( ,),(),(212211miNNCCCttxtxtxSjiCt )0(jtijiCt ），其余分量为个分量为第01()0 , 0 , 1 , 0 , 0(jtTimmCCC,212.3 非线性延续变换单元组

17、成的网络 ，这样输出层仅需 个单元。(ii). 隐单元数与映射定理1989年，R. Hecht-Nielson证明了任何一个闭区间内的延续函数都可以用一个三层仅有一个隐层BP网络来逼近恣意给定精度。 引理2.1 恣意给定一个延续函数 及精度 ，必存在一个多项式 ，使得不等式 对恣意 成立。 引理2.2 恣意给定一个周期为 的延续函数 及精度 ，必存在一个三角函数多项式 ，使得 对于 成立。m2logm2log),(baCg0)(xp| )()(|xpxg,bax2Cg20)(xT| )()(|xTxgRx2.3 非线性延续变换单元组成的网络在 维空间中，任一向量 都可表示为 其中 为 的一个正

18、交基。同样思索延续函数空间 或 ，必然存在一组正交函数序列 ，那么对 ，那么 nnnecececx2211,21neeenRx1)(kkx,)(bacxg为傅里叶系数。其中则有或对dxexgcxecececxgcxgxxcxcxgikxkNNNkikxkkikxkikxkkFFNNkkkkkk2222211)()()(,)()()()()(, bac2c2.3 非线性延续变换单元组成的网络当 充分大时，对每个 成立：进一步思索 中的多元延续函数： 根据傅立叶级数展开实际，假设那么同样存在一个 步傅立叶级数和函数：Nx)0(|)()(|)(2xgxgecxgNFFikxNNkkNF) 1 , 0

19、()(, 1 , 0: )(nncxgRxg) 1 , 0(ncndxdxxgn1 , 01| )(|11112(,)2(,)( ,)niiTjnnnik xNNNNiKxFkkkkkNkNKNNgx N gcece N2.3 非线性延续变换单元组成的网络其中系数为：并且当 时， 满足即 在 可以完全收敛到达 。 如今思索对一个恣意延续映射：其中 ，那么 的每个分量也都可以用上面的傅立叶级数表示，依此就可以得到下面的影射定理定理中所思索的三层网络输出单元为线性单元。 dxexgcnTnxiKkk1 ,02)(1)(),(xggNxgFN),(gxgF)(xgmnRxh1 , 0 :)() 1

20、, 0()(),(,),()(1njncxhxhxhxhn1 ,0)(xh2.3 非线性延续变换单元组成的网络映射定理(Hecht-Nielsen)：给定恣意精度 ，对于一个延续影射 ，其中： 那么必存在一个三层BP神经网络来逼近函数，使得在每点上的误差不超越 。证明：由于输出单元是独立 的，分别与 的每个分量 函数相对应，我们仅需求 对单个输出单元和分量函 数来证明。mnRxh1 , 0 :)(ndxdxxhn1 , 01|)(|01x2xnx1y2ymy)(xh2.3 非线性延续变换单元组成的网络根据傅立叶级数实际，对于 的分量 ，那么其中 是 的 步傅立叶级数和函数：下面证明傅立叶级数中

21、恣意三角函数可以用三层BP子网络来逼近，那么经过傅立叶级数的线性组合就可以保证用三层BP网络来逼近函 。思索构造为 的三层BP网络，其输出为：njFjxhNxgxh 1 , 0),0(| ),()(|1),(jFhNxgN12(,)2,(,)( ,),TnNNiKxFjkkkKNNgx N hce dxexhcnTnxiKjkk1,02)(111nn)(xh)(xhj)(xhj)(xhj2.3 非线性延续变换单元组成的网络 我们来证明输出函数 可以逼近任何三角函数：令思索函数 ，当 ， 趋向于单位阶跃函数见右图，那么 为一些近似单位阶跃函数 的线性叠加，故当 充分 )(111jknkjknjj

22、xwfwyy)(),22()sin()2sin(111jjjjjknkjknlllTTuuxwedxkxKuuxK)(jjufj)(jjuf1)(),(11jjnjjufwuWS1nju2.3 非线性延续变换单元组成的网络大时，我们可将区间 充分的细分，选取 和 ， 使得 ，或 即得： 对于 ，我们有下面的展开： ,ed)0(| )sin(),(|2uuWSjj211| )2sin()(|1xKxwfwTjknkjknjj)2sin()(111xKxwfwTjknkjknjj)(xhj2.3 非线性延续变换单元组成的网络)2cos()2sin()2cos()2sin()2cos()2(sin(

23、),()(),(),(),(),(),(),(),(),(2xKbxKaixKbxKaxKixKcechNxgxhTKNNNNKTKTKNNNNKTKTNNNNKTKNNNNKxiKKjFjT02.3 非线性延续变换单元组成的网络运用充分多的隐单元，可得令),(),()(),(),(KKKKKKKKKNNNNKKuWSbuWSaxy)2cos()2sin()(),(),(xKbxKaxhTNNNNKKTKF证毕) 1 , 0(|),()(cos(),()(sin(| )()(| )()(| )()(| )()()()(| )()(|),(),(21),(),(nKNNNNKKKKKKKKKKK

24、NNNNKKKKFjFFjFFjjxbauWSubuWSuaxhxhxyxhxhxhxyxhxhxhxyxh2.3 非线性延续变换单元组成的网络(iii). 隐单元数的选择隐单元数：小，构造简单，逼近才干差，不收敛；大，构造复杂，逼近才干强，收敛慢。对于用作分类的三层BP网络，可参照多层感知机网络的情况，得到下面设计方法：(a). 其中 为样本个数，选取满足上式最小的 。(b). . )0,(,1101inniinNniN1n10, 2 , 1(1aamnnnn21log2.3 非线性延续变换单元组成的网络(iv). 网络参数初始值的选取 初试权：随机， 比较小接近于0，保证形状值较小，不在平

25、滑区域内。6. BP网络的运用 (i). 方式识别、分类。用于语音、文字、图象的识别，用于医学图象的分类、诊断等。(ii). 函数逼近与系统建模。用于非线性系统的建模，拟合非线性控制曲线，机器人的轨迹控制，金融预测等。2.3 非线性延续变换单元组成的网络(iii). 数据紧缩。在通讯中的编码紧缩和恢复，图象数据的紧缩和存储及图象特征的抽取等。例1. 手写数字的识别 由于手写数字变化很大，有传统的 统计方式识别或句法识别很难得到 高的识别率，BP网络可经过对样本的学习得到较高的学习率。为了抑制字体大小不同，我们选取这些数字的一些特征值作为网络输入。可提取特征如： 1，2，3，7 ：具有两个端点； 0，6，8，9：具有圈；2：两个端点前后；2.3 非线性延续变换单元组成的网络对于一个样本，假设具有那个特征，所对应的特征输入单元取值为1，否那么为0。我们可选择34个特征，即输入单元个数为34。输出可取10个单元，即1