数据挖掘向后传播算法

1、后向传播分类什么是后向传播？后向传播是一种神经网络学习算法神经网络的定义神经网络是一组连接的输入/输岀单元，其中每个连接都与一 个权相相联。在学习阶段，通过调整神经网络的权，使得能够预 测输入样本的正确类标号来学习，由于单元间的连接，神经网络 学习又称为连接者学习多向前馈神经网络定义网络拓扑对输入值规格化，使他们落入0.0到1.0之间离散值属性可重新编码，是的每个阈值 一个输入单元一个输岀单元可以用来表示两个类，如 果多于两个类，每个类使用一个输岀单 元后向传播JBAW播.唸中后划传提笄法花祥经豹绍廿类学习.入-I：练丰羊本 心 Jg 于丄J辛 h 多呈 酣箴 M納nes4出豊一亍训炼的、芯样

2、本竹契比祚经阿络.力i乱D初始立唤杓论肌权和臨畫2j while 錯上条件不洪足 13J far stoles中Rt毎个训练样本K 4) /句前传播卷入5) far 隐藏或鮭H1层每个单元丿1&厂=艺严*亿一日门集对于时一层门计算单元的淨 、7) ?. =L/!一7:/ &八后旬传播映差/计算单元/的愉出¥旨罚传播算法萍:出层毎个草元/Err . = O . 10 U . - fZ ) 8 / 计城瞑荃fear 由殘后一个到第一个隐藏层-茁于隐裁层毎个单沅/£",=。沁L-Q工上£“叭 /计算芙于匸一个安心层比的课差 for 宓芒酚口?中

3、毎个収兀 3氐；=/I Err . O2 s / 权増值叫=叫5，"权更新fear 山兴毗丁中毎牛偽差&£ =/)£rr . :/ 偉差壇血召.=0 召心.：心偽址更新XSJ后向传播初始化权网络的权初空台化为很小的随机数，每个单元有个偏置，偏置 也类似地初女£化为小随机数向前传播输入计算隐藏层和输出层每个单元的净输入和输出：训练样本提供给网络的输入层；隐藏层和输出层的每个单元的净输入用其输入的线性组合计算输入前一层 的输岀）图鑫10一尽浇藏或辙出单兀気 丿的藏入是耒口前一层的这些与对应的权相乘.以形成加权和:：加权和加到与单元丿相联的偏置 he

4、一几非线性的咽活函数用子净輸入通过更新权和反映网络预测误差的偏置，向 后传播误差。对于输出层单元j,误差Errjffl 下式计算: 旳=Oj（1- oj）（r. - °）隐藏层单兀j的误差是：E” = 0 （I ：反E/t.牡更新权和偏差，式更新：以反映传播的误差，权由下啊=（l）Err.O；i6 ： = 6：+ 40，JJJ毎止条件训烁俘止，飒-IH3撕有酬渊太小，小于某饰定5W鱼或 fl嘛1鹹I财分漏他 或-超过预先扌靛的聯也熾啊权购可幣要針方锢亂«7.5那立后向椅曲祛学习的样本计算.娄LIL给出了一个多层加谡祎逢與络.设学习率 为D.乩该网塔的初始权值和備覽值次负第一

5、个训媒祥本.r= 1汽.:（其类标号为1柱碾工3中 给出.图7.11多层酣馈祥经网塔的一个另子表二/初嬢舱入、权值和偏差值號第-懶粗该碾祐勺觥棘甘加Sftjm WSfOO 献禰乩曲讎和.4札料耐艇龊葛將确擒嗫齡齡口权繃 凱珊在斯卿Jiu>.讎入禰出曲计爍I 讎入 ijSSoj11略H =加1+ (14fiD I =3-t3+MM2 = |Q.鸡6耳馳般卜02血鑑出1+(1')=0.525l+(l+etlffi)=0.474L6= rttaiUWiSt .< 权或 筍柬-J. 3 i-j. 9：'«：.mi：' VLL jj2：'=w”Yi2

6、弓L-0.2 + 他的(4131)©. 525)= P. 138Q2 t (fl. 9) (-ft M87) (1) = (J. 192-0. 3* 覘giKl.CKl茁)=T. 3朋44 4 (0. ® H. «87) (0) = <L4. 1 1 +<006-5) (<05 = 0. 1勺.卜0.®卜0卫俯7) (1)= T.泗0.2 + (0.寻)(-0. -0065： (I? = 0. 1J ：1 l + «l.5：i 迫.打II) = 0.213 a 2+«r. 9)(-. M65)= a i 事 包 片他

7、 9：1 t；P(KBT) = -a 4 -业E捱岀了一些后向怜播懷法施支璀和瞽他 用于補盤网络分抵 寇些可傩誅凰网络拓村耳学 习生戎茎三鑫甦姑嗽衣活？i，4tt用平汇帆決蔓函戲后向传播可解释性神经网络的主要缺点是其知识的表示，解决方法包括由网络提 取规则和灵敏度分析神经网络提取规则第一步通常是网络剪枝，该步通过剪去对训 练网络影响最小的加权链简化网络结构 一旦训练网络已被剪枝，一些方法将进行链、单元或活跃值的 聚类分析每个隐藏单元的这些活跃值，导出涉及这些活跃值与对应 输出单元值组合的规则，类似的，研究输入值和活跃值的集合, 导出描述输入和隐藏单元层联系的规则两个规则结合形成IF-THEN规则或导出其他形式的规则，包括 M-OF-N规则，具有MOFN测试的判定树、模糊规则和有穷 自动机后向传播可解