数据挖掘向后传播算法

1、后向传播分类?什么是后向传播？后向传播是一种神经网络学习算法?神经网络的定义神经网络是一组连接的输入 / 输岀单元， 其中每个连接都与一 个 权相相联。在学习阶段，通过调整神经网络的权，使得能够预 测输 入样本的正确类标号来学习，由于单元间的连接，神经网络 学习又 称为连接者学习多向前馈神经网络定义网络拓扑?对输入值规格化，使他们落入 0.0 到1.0之间 ?离散值属性可重新编码， 是的每个阈值 一个输入单元?一 个输岀单元可以用来表示两个类， 如 果多于两个类，每个类使用一个输岀单 元后向传播JBAW ?播.唸中后划传提笄法花祥经豹绍廿类学习 . ?入-1:练丰羊本 心Jg于丄J辛h多呈 酣

2、箴M納nes4 ?出豊一亍训炼的、芯样本竹契比祚经阿络 .力i乱D初始立唤杓论肌权和臨畫？2j while錯上条件不洪足13J far stoles中Rt毎个训练样本 K 4) 句前传播卷入5) far隐藏或鮭H1层每个单元丿1&厂二艺严*亿一日门集对于时一层门计算单元的淨 、7) ?./ 计=L/!-萍:出层毎个草元/I W Err . = O . 1A0 U . - fZ ) 8 / 计城瞑荃：fear由殘后一个到第一个隐藏层-茁于隐裁层毎个单沅/-£",?=。沁L-Q工上£“叭/计算芙于匚一个安心层比的课差for宓芒酚口 ？中毎个収兀;亠 '

3、 113 氐；二/I Err . O2 s / 权増值I宀叫=叫_5,"权更新4尸 j；二 fear山兴毗丁中毎牛偽差&'. £=/) r£. :/ 偉差壇血召.=0 召心.：心偽址更新X S J后向传播?初始化权?网络的权初空台化为很小的随机数，每个单元有个偏置，偏置也类似地初女£化为小随机数?向前传播输入?计算隐藏层和输出层每个单元的净输入和输出：?训练样本提供应网络的输入层；?隐藏层和输出层的每个单元的净输入用其输入的线性组合计算 W i 也tfiSH/输入、v前一层的输岀图鑫10一尽浇藏或辙出单兀気 丿的藏入是耒口前一层的这些与对

4、应的权相乘.以形成加权和:加权？和加到与单元丿相联的偏置 he 一几非线性的咽活函数用子净輸入通过更新权和反映网络预测误差的偏置，向后传播误差。对于输出层单元j,误差Errjffl下式计算：旳=Oj1- oj r. -°更新权和偏差, 式更新：隐藏层单兀j的误差是：E = 0 I :反E/T牡 以反映传播的误差，权由下啊=IErr.O； i6 : = 6 : + 40，JJJ毎止条件训烁俘止，飒-IH3 撕有酬渊太小，小于某饰定 5W 鱼 或 fl# 1鹹I财分漏他或-超过预先扌靛的聯也 熾啊权购可幣要針方锢亂为D.乩该网塔的初始权值?7.5那立后向椅曲祛学习的样本计算娄LIL给出了

5、一个多层加谡祎逢與络.设学习率 和備覽值次负第一个训媒祥本.r= 1汽：其类标号为1柱碾工3中给出.图7.11多层酣馈祥经网塔的一个另子表二/初嬢舱入、权值和偏差值1+ (14fiD IQ.鸡 1+(1A')=0.525 l+(l+e 怖)=號第-懶粗该碾祐勺觥棘？甘加Sftjm WSfOO献 禰乩曲讎和.4札料耐艇龊葛將确擒嗫齡齡口权繃 凱珊在斯卿Jiu>.讎入禰出曲计爍I 讎入 ijSSoj1略H =加-t3+MM2 = |耳馳般卜02血0.474权或筍柬-J. 3 i-j. 9: '?: A.mi:' VLL jj2 :'=WYi? 2 弓 L-0.

6、2 + 他的(4131)？. 525)= P. 138 Q2 t (fl. 9) (-ft M87) (1) = (J. 192a *-0. 3* 覘 giKI.CKI 茁)=T. 3朋:44 4 (0. ? H. ?87) (0) = <L4. ?1 1 +<006-5) (<05 = 0. 1勺.卜0.?卜0卫俯7) (1)= T.泗r" 0.2 + (0.寻)(-0. -0065: (I? = 0. 1J :；?1 I + ?l.5: i 迫.打 II) = 0.213 a 2+彳 9)( 4 M65) = a i 事包片他 9: 1 t； P? (KBT)

7、= -a 4 -出业E捱岀了一些后向怜播懷法施支璀和瞽他用于補盤网络分抵 寇些可傩誅凰网络拓村耳学 习生戎茎三鑫甦姑嗽衣活？i，4tt用平汇帆決蔓函戲？后向传播可解释性?神经网络的主要缺点是其知识的表示，解决方法包括由网络提取规那么和灵敏度分析?神经网络提取规那么第一步通常是网络剪枝，该步通过剪去对训练网络影响最小的加权链简化网络结构? 一旦训练网络已被剪枝，一些方法将进行链、单元或活泼值的 聚类 ?分析每个隐藏单元的这些活泼值，导出涉及这些活泼值与对应输出单元值组合的规那么，类似的，研究输入值和活泼值的集合 , 导出描 述输入和隐藏单元层联系的规那么?两个规那么结合形成 IF-THEN 规那么或导出其他形式的规那么，包括 M-OF-N 规那么，具有 M? OF?N 测试的判定树、模糊规那么和有穷 自 动机后向传播可解释性