反向传播神经网络

第06讲反向传播网络反向传播网络(Back—PropagationNetwork，简称BP网络)是将W—H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。BP网络是一种多层前向反馈神经网络，其神经元的变换函数是S型函数，因此输出量为0到1之间的连续量，它可以实现从输入到输出的任意的非线性映射。由于其权值的调整采用反向传播（Backpropagation）的学习算法，因此被称为BP网络。BP网络主要用于：1)函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近—个函数；2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来；3)分类：把输入矢量以所定义的合适方式进行分类；4)数据压缩：减少输出矢量维数以便于传输或存储。6．1BP网络模型与结构一个具有r个输入和一个隐含层的神经网络模型结构感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的。BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数{0，1}或符号函数{—1，1}，BP网络经常使用的是S型的对数或正切激活函数和线性函数。图6.2BP网络S型激活函数因为S型函数具有非线性放大系数功能，它可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出，对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大，所以采用S型激活函数可以去处理和逼近非线性的输入/输出关系。只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数，在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数。BP网络的特点：1、输入和输出是并行的模拟量；2、网络的输入输出关系是各层连接的权因子决定，没有固定的算法；3、权因子是通过学习信号调节的，这样学习越多，网络越聪明；4、隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响6．2BP学习规则BP算法属于δ算法，是一种监督式的学习算法。其主要思想为：对于q个输入学习样本：P1，P2，……Pq，已知与其对应的输出样本为：T1，T2，……Tq。学习的目的是用网络的实际输出A1，A2，……Aq，与目标矢量T1，T2，……Tq，之间的误差来修改其权值，使Al，(l＝l，2…，q)与期望的Tl尽可能地接近；即：使网络输出层的误差平方和达到最小。BP算法是由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。图6员．3求具有浆一个厨隐含控层的怒简化蚀网络顶图设输枪入为P，输入洗神经屿元有r个，军隐含润层内霸有s1个神雅经元顷，激螺活函暗数为F1闹，输出感层内答有s2个神曲经元副，对拔应的要激活新函数锤为F2傻，输出殃为A，目标礼矢量搭为T。6．忍2．爷1信饺息的壳正向警传递1)瓶隐含仔层中脆第i个神失经元酬的输辞出为裁：2)楼输出可层第k个神陡经元踢的输袭出为铅：3)沃定义酷误差燥函数袍为：(6员.1矩)（6甜.2蝴）（6认.3哑）6．碰2．意2利眉用梯害度下所降法恨求权扎值变产化及哨误差骆的反护向传止播(1替)输棒出层程的权捐值变碗化对从劣第i个输沿入到融第k个输肯出的赵权值痕有：其中问：同理串可得冈：（6适.4条）（6购.5框）（弄6.费6）（6续.7粥）(2况)隐群含层锦权值升变化对从鹅第j个输擦入到化第i个输膛出的翼权值扑，有贺：其中搏：同理勇可得婚：（6枣.8项）（6捷.9共）（6奖.1蛇0）通过MA领TL愤AB的实沟现过亿程：1)缺对于跃(6趴．1衔)式浇所表箭示的裤隐含锤层输酸出，影若采文用对命数S型激克活函颤数，铃则用越函数lo砌gs倚ig掩.m符；若采梁用双司曲正茶切S型激躲活函搞数，惨则用础函数ta照ns孙ig四.m编；2)对于蜜(6揭．2招)式瞎所表躁示的蹦输出辆层输仙出，背若采方用线纪性激帜活函弹数有pu驼re套li性n.钉m与之缓对应票；3)殖对于族(6东．3扔)式毯所表灵示的动误差腊函数搜，可博用函欧数su沙ms聪qr姜.m求之乡丰；4)兴有le投ar报nb主p.仁m函数闯专门修求(学6．枝4)匙、(病6．见7)钱、(础6．地8)霜和(平6．洲10浙)式绳所表冬示的附输出帖层以欣及隐贺含层脏中权匹值与佳偏差颜的变糖化量窄；5)塞由(揉6.宵5)扫和(都6.爸9)沟式所妇表示石的误另差的肌变化锈有函激数de朝lt狠al册in遭.m得、d摩el衡ta觉ta桥n.非m、懒de片lt巧al美og勇.m来解词决。签它们税分别泥用于春线性穷层、武双曲细正切桑层和壮对数磨层。6．洪2．祝3夺误伶差反势向传谨播的兆流程拔图与素图形辛解释误差喂反向亚传播瞧过程北实际斥上是甚通过左计算壶输出集层的基误差ek，然后河将其列与输础出层酒激活蠢函数翼的一老阶导案数f2丙’相乘质来求恢得δki。由于淘隐含杏层中果没有盆直接桥给出青目标沟矢量拢，所遇以利婆用输羡出层赢的δki反向词传递联来求善出隐磨含层世权值值的变咱化量Δw峡2ki。然后印计算并同湖样通属过将ei与该详层激征活函纺数的羽一阶抹导数f1放’相乘催，而专求得δij，以此盲求出贸前层预权值蹈的变约化量Δw蔬1ij。如果籍前面悟还有疤隐含丘层，根沿用幕上述榴同样河方法谱依此佣类推菜，一逮直将标输出更误差ek一层虹一层弹的反绳推算死到第竞一层厉为止选。图6厨．4售误差谱反向广传播泳法的晌图形仆解释6.销3BP网络定的训聋练过办程为了偏训练骄一个BP网络猫，需袖要计哥算网若络加私权输洽入矢提量以待及网致络输钢出和朽误差趴矢量领，然婶后求岔得误娘差平锻方和填。当所腔训练灵矢量袖的误碎差平疏方和庆小于车误差榆目标猫，训递练则母停止滩，否此则在提输出妨层计袄算误麦差变颜化，借且采生用反桶向传倡播学步习规暴则来郊调整甚权值愚，并足重复识此过云程。当网浩络完扭成训独练后应，对策网络移输入在一个复不是单训练邻集合艰中的岸矢量破，网蜜络将释以泛敏化方艰式给陆出输逼出结半果。为了糠能够宪较好似地掌肤握BP网络码的训证练过损程，嗽我们相用两堤层网绑络为缝例来集叙述BP网络孔的训衰练步圾骤。1)扬用小挠的随汁机数着对每类一层斧的权锦值W和偏阴差B初始泊化，园以保萍证网您络不冲被大霞的加摧权输泄入饱宅和；就并进煮行以谦下参歼数的海设定租或初裙始化委：a)期望爱误差堡最小抓值er版ro戚r_察go归al姨；b)最大独循环询次数ma妇x_陈ep侮oc蝴h；c)修正治权值动的学晓习速匪率1r，一般临情况凶下k＝斜0．板0l稼~0殊．7露；d)从1臭开始允的循叫环训倡练：fo亚r塌ep挽oc慢h＝糕1：妹ma斥x_冶ep筋oc畏h；2)监计算纤网络倍各层犬输出菌矢量A1和A2以及蛾网络旅误差E：A1国＝t禁an扩si滥g(图W1巧*P独，B霜1)负；A2改＝p在ur荒el干in武(W温2*糠A1结，B涌2)骡；E＝滴T-坝A；3)岩计算尽各层垃反传鸟的误蛙差变赶化D2和D1并计滑算各看层权阅值的吃修正霉值以朝及新去权值堂：D2蜜＝d猛el占ta裤li邀n(渣A2畏，E恼)；D1环＝d尊el尿ta沟ta腿n(交A1熊，D土2，堆W2广)；[d大lW弱l，脱dB悉l]瓦＝l朗ea才rn冰bp帐(P习，D派1，准lr烧)；[d卧W2拥，d余B2馋]＝恶1e警ar删nb咱p(闯A1寺，D优2，透1r咸)；W1潮＝W圾1十dW妇1；男B1守＝B遭1十dB产l；W2喜＝W眉2十dW羡2；姥B2红＝B桂2十dB夫2；4)序再次陆计算巩权值借修正欢后误储差平圆方和坐：SS雪E＝长su只ms释qr只(T设-p扬ur饭el答in洗(W蕉2*乞ta类ns提ig联(W弦1*米P，周B1锄)，靠B2桐))妻；5)检查SS夫E是否滤小于er嫂r_吹go宝al垃，若是喷，训脾练结亡束；幸否则裳继续歼。以上达所有革的学子习规出则与哄训练恩的全斩过程劫，仍宝然可忆以用灰函数tr唇ai举nb搞p.滋m来完例成。榨它的稳使用管同样疏只需惠要定佩义有灰关参麦数：炸显示没间隔惜次数卖，最占大循灰环次颂数，闭目标株误差醒，以燥及学寒习速屠率，掏而调垒用后扮返回券训练宾后权岁值，恒循环袭总数馆和最们终误末差：TP走＝[侦di陪sp繁_f臣re川q干m纹ax须_e叙po拐ch隔er唤r_畅go滴al舅1r扯]；[W工，B虾，e齿po央ch滑s，真er朽ro湖rs走]＝蒸tr净ai土nb关p(竿W，威B，借’F脖’，锁P，墓T，钥TP迹)；[例狸6．返1]姓用于捡函数缓逼近捉的BP网络张的设雄计。P=渴-1恨:0罗.1太:1似；T=拼[-讲0.僻96座0.拒57愧7抛-皮0.峰07捷29裹0.素37裹7赞0犯.6厘41贷0.键66破0.绕46械1吗0成.1航33腰6批-升0.膛20叼1摧-芬0.舒43塘4滥-混0.跪5督-0滚.3肉93兴-0撒.1厨64涨7息0清.0枝98抗8壤0穷.3厘07爪2邻0.津39策6映0灵.3为44丧9混0蠢.1蜓81针6匹-萄0.柄03民12跃-0互.2村18坟3础-顾0.凑32浅01秩];比较tr录ai弃nb尽px和tr糕ai战nb奏p的速词度差蝇别。ex团c4邪.m泛化盘性能贵：使途网络新平滑疯地学绿习函灶数，糕使网污络能火够合做理地爆响应贿被训浆练以身外的鸡输入椅。要注叨意的膨是，剪泛化糠性能鬼只对睬被训浇练的为输入袄／输偏出对殖最大互值范虹围内智的数总据有听效，挠即网栏络具某有内党插值欲特性梢，不敌具有页外插害值性者。超次出最复大训拖练值草的输寸入必幸将产前生大沃的输真出误考差。6．慎4BP网络徒的设邻计6．攀4．修1网值络的境层数理论午上已浴经证氏明：逐具有屯偏差扮和至敲少一烦个S型隐蚁含层蹈加上币一个蜜线性局输出钟层的节网络胖，能及够逼声近任腊何有忙理函躺数。增加缩慧层数钳主要护可以你更进摩一步彻的降其低误疏差，司提高油精度尚，但剂同时顽也使幕网络睬复杂卧化，贝从而涂增加遭了网巧络权祖值的香训练剖时间啦。一般饼情况熟下，密应优警先考奥虑增讲加隐箩含层锣中的样神经浓元数支。能不软能仅沃用具萍有非氧线性虎激活侧函数瓣的单银层网新络来柿解决尼问题君呢？石结论掉是：筝没有嘉必要晶或效忧果不吉好。6．御4．亮2览隐隔含层简的神婚经元萍数网络忽训练军精度颗的提熟高，座可以黄通过众采用副一个搂隐含行层，袖而增参加其吐神经额元数梯的方赖法来园获得颂。这泄在结刊构实意现上早，要掘比增识加更巨多的晓隐含客层要坝简单赛得多春。在具什体设滔计时茧，比捏较实椅际的笋做法浮是通恰过对瘦不同遥神经析元数泡进行步训练绘对比立，然埋后适羽当地纳加上鉴一点茧余量粪。6．包4．粒3初伏始权劝值的锯选取一般伤取初承始权劣值在语(—王1，圾1)栗之间鸭的随秃机数兔。威得轮罗等赌人在号分析挥了两竿层网钻络是臂如何踏对一阴个函邪数进熔行训社练后艘，提或出一伪种选剪定初五始权枣值的斯策略灭。在MA隔TL奏AB工具摊箱中彼可采别用函贵数nw插lo辽g.予m或nw录ta般n.徐m来初贴始化鹊隐含锁层权境值W1和B1樱。其方涝法仅纷需要旺使用赚在第针一隐搭含层纠的初短始值筹的选茅取上额，后证面层抖的初汽始值维仍然哥采用委随机漫取数罢。6．孕4．五4煤学尊习速踪蝶率学习灰速率狸决定间每一振次循县环训谎练中毅所产女生的偿权值演变化挨量。大的做学习岸速率站可能醋导致泻系统尊的不柄稳定浸。小的越学习窝速率约导致庙较长洗的训康练时旱间，兼可能承收敛墓很慢旧，不村过能适保证击网络久的误送差值臭不跳江出误雪差表址面的枝低谷叶而最标终趋餐于最扭小误饮差值摩。所以你在一陵般情距况下度，倾惑向于刷选取井较小迎的学岩习速竞率以拼保证针系统参的稳敏定性苦。学悄习速童率的焦选取斑范围隙在0杰．0细1—寒0．帅8之蠢间。6．嚼4．临5诞期钉望误条差的忠选取在设陈计网懒络的客训练巷过程渠中，谣期望炭误差凳值也道应当肠通过俯对比赞训练忠后确剧定一纹个合音适的且值。这个轮所谓私的“卡合适轿”，蚁是相娱对于胁所需僚要的稼隐含紫层的态节点跌数来从确定胸，因岩为较鼻小的具期望怒误差轻值是免要靠削增加俗隐含舞层的恐节点欣，以衡及训脾练时粉间来饭获得赶的。一般奏情况咳下，盈作为添对比地，可戴以同手时对黄两个五不同闻期望孙误差其值的糊网络存进行闸训练庙，最鄙后通炎过综革合因竭素的伍考虑虑来确播定采莲用其纺中一种个网扁络。6．另5闹限摆制与蒙不足(1乘)需辣要较姜长的肃训练摄时间(2杀)完纹全不因能训贺练通常毫为了摄避免杏这种锄现象嫁的发竞生，潜一是剩选取肉较小达的初跳始权身值，愤二是宗采用孕较小龙的学剂习速忽率，蛮但这耐又增径加了床训练妈时间陕。(3锁)局芳部极细小值BP算法矛可以鄙使网普络权属值收杏敛到缩慧一个苍解，亚但它访并不艺能保捧证所枯求为括误差所超平闭面的宫全局蛮最小父解，胖很可狼能是来一个朵局部自极小假解。6．永6盼反箱向传陪播法慨的改根进方诉法主要孙目标捕是为哪了加荣快训逐练速军度，选避免看陷入范局部础极小把值。6．墙6．麻1煤附塔加动让量法附加帖动量扎法使舌网络项在修痕正其快权值略时，馋不仅狡考虑洒误差彩在梯修度上杨的作痰用，乐而且玩考虑姨在误攻差曲宰面上翠变化基趋势夕的影得响，刑其作女用如凯同一节个低铅通滤狼波器另，它馒允许助网络伶忽略盈网络卡上的哑微小随变化识特性似。利用省附加祖动量斜的作旬用则得有可鄙能滑辉过局估部极君小值杯。该方烘法是系在反羞向传恶播法蛛的基越础上在在每句一个草权值道的变肺化上何加上僚一项吹正比腔于前讲次权邀值变蠢化量注的值怠，并大根据榴反向绵传播鹿法来乔产生纵新的芹权值械变化绩。带有斑附加鸭动量款因子脊的权藏值调咬节公臂式为地：其中k为训店练次佣数，mc为动提量因轮子，爸一般扁取0唯．9献5左菊右。附加蓝动量凶法的她实质闷是将踪蝶最后井一次冒权值智变化探的影刻响，盏通过严一个妻动量陪因子橡来传敌递。巨当动螺量因铜子取仍值为光零时刮，权朝值的武变化挺仅是尊根据执梯度而下降申法产抖生；括当动眨量因岩子取顺值为闻1时俭，新狱的权莫值变痕化则宴是设渐置为灯最后减一次孔权值说的变满化，熄而依汇梯度辫法产光生的爱变化收部分耳则被知忽略跃掉了适。在MA崖TL瓶AB工具黑箱中节，带铃有动新量因宜子的阿权值饭修正锹法是长用函壮数le鸦ar灵nb棵pm亦.m来实柏现的沿。tr赠ai克nb缺pm轮.m可以据训练揭一层票直至涛三层撑的带平有附倒加动维量因端子的缴反向村传播攻网络山。下面敢是对角单层候网络势使用范函数tr窑ai篮nb尼pm兵.m的情参形：[W，纳B，锡ep走oc赏hs滋，e宿rr姑or暖s]寨＝t游ra只in球bp揭m(波W，犬B，痛’F渐’，舅P，造T，朗TP厌)；6．绍6．献2森误掘差函寻数的微改进包穆洒(Ba刑um填)等人警于1距98姜8年短提出约一种算误差立函数露为：不会麦产生挽不能绘完全骆训练薄的麻踪蝶痹现朴象。6．咏6．逆3份自基适应盗学习聚速率通常肆调节膨学习蔬速率荐的准灵则是瓜：检绵查权馆值的且修正僵值是估否真饱正降守低了戏误差贝函数剩，如肝果确忽实如躬此，脆则说比明所困选取炊的学远习速子率值钉小了初，可右以对造其增扔加一馋个量沾；若圈不是也这样胞，而既产生坛了过旱调，项那么番就应毯该减直小学虾习速假率的役值。贼下式自给出画了一沫种自欺适应望学习涌速率工的调哑整公刺式：MA摩TL按AB工具搂箱中聋带有缸自适阿应学印习速炮率进峡行反鸟向传驳播训惜练的悔函数倒为：tr摆ai沾nb仆pa钩.m因。它可颂以训打练直俊至三园层网携络。威使用鸽方法帮为：[W，围B，恶ep涝oc惩hs诉，T偶E]母＝t船ra胳in见bp压a(薯W，埋B，风’F太’，溉P，齿T，速TP己)可以田将动究量法精和自这适应初学习迹速率聪结合培起来晨以利招用两捐方面微的优沟点。棚这个疑技术秃已编炉入了柱函数tr股ai怎nb抄px钓.m之中说。这苍个函赔数的气调用铜和其镜他函际数一激样，筛只是洗需要席更多堡的初范始参拉数而膏已：TP驱＝[侄di严sp埋_f踢re耻q说m绞ax悟_e申po周ch墓er胖ro膏r_执go蝴al帮lr蒸1r浇_i律nc片1r效_d饥ec赵mo前m_择co忆ns甚t茅e缝rr纯_r增at苏io声]；[W篮，B快，e鸟po胸ch河s，妈[e启rr