数据挖掘技术第十一课前馈神经网络ppt课件

1、u由生物神经系统(如人脑)所引发的信息处置框架。u构造: 大量互连的信息处置单元，即神经元 (neuron)，相互协作，共同处理问题。u向人类一样, 神经网络从实例中进展学习。u原理简单，功能强大。u1943，McCulloch & Pitts最先提出神经网络。u十九世纪五六十年代，大量学者研讨感知器。u1969，Minsky & Papert论证了感知器功能有限。u从此神经网络的研讨停滞了15年。u十九世纪八十年代中期，BP算法、SOM的提出使神经网络的研讨重新复苏。u一个简化的人脑模拟模型。u从本质上讲，是一个功能模拟器。u由大量相互衔接的神经元(neuron)组成，这些神

2、经元相互协作，共同完成复杂的功能。训练神经网络意味着学习神经元之间衔接的权重u人类大脑大约有1011个神经元。u这些神经元经过神经突触相互衔接。u平均每个神经元与其它104个神经元相互衔接。u神经元之间通讯的时间10-3秒。uANN研讨的动机是模拟人脑，但由于目前的技术限制，ANN与真正的人脑相去甚远。u以为人工脑如今不能与人脑匹敌的缘由突出表如今神经元的数量对比上。u提高人工脑神经元的数量，声称他开发的人工脑可达猫脑的程度。u很多学者也以为，除了数量以外，人脑神经元间的“构造也非常重要。批判者们以为Garis求量 不求质。 Hugo de Garisu最早具有学习才干的神经网络u只需输入神经

3、元和输出神经元u输入神经元通常只需两个形状: ON和OFFu输出神经元运用简单阈值(threshold)鼓励函数u只能处理线性问题，运用范围有限假设3个输入中至少有两个为1，那么输出结果为1otherwise0 trueis if1)( where)04 .03 .03 .03 .0(321zzIXXXIYu由互连的结点和带有权重的衔接所组成的模型。u对输入值加权求和u将加权求和结果与某个阈值t进展比较)(tXwIYiiiPerceptron Model)(tXwsignYiiioru有监视的训练u假设输出有误，那么根据如下公式调整权重:u只需二值输入和二值输出。u只需输入和输出两层。u196

4、9年， Minsky & Papert论证了感知器的功能有限，无法表达某些逻辑功能，如XOR。u神经网络普遍采用这种方式u是感知器的扩展u多个层次，输入输出之间的层称为隐含层(hidden layer)u鼓励函数不再是简单的阈值，通常是sigmoid函数u通用的功能模拟器，运用范围不再局限于线性问题u信息单向传送u当前层的输出构成了下一层的输入u反向更新权重u用输入神经元的加权和来产生输出。u绝大多数神经网络运用sigmoid函数。u平滑、延续、且单调递增u值域有明确的上下限，但是开区间，即无法到达最大值和最小值u最常用的sigmoid函数是uf (x) = 1 / (1 + e x

5、) u在神经网络中，鼓励函数的导数非常重要，该函数的导数适用uf (x) = f (x) (1 f (x)u其他的sigmoid函数还有：u双曲正切(hyperbolic tangent)u反正切(arctangent)u有监视的训练u向NN提供输入数据和理想的输出数据u评价神经网络对输入的呼应，根据实践输出与理想输出的差别来修正权重。u无监视的训练u只提供输入数据和理想的输出数据uNN自行调整权重，使得类似的输入会得到类似的输出。即NN在没有外界协助的条件下，自动确定方式及其差别。uEpochu从提供输入到NN更新一次权重的一次迭代过程u训练神经网络需求多次epochs。u神经网络中，权重的

6、作用至关重要，学习神经网络实践上就是学习其衔接的权重。u训练就是向NN模型提供样本数据，并不断修正权重，使其更好的完成理想的功能。u得到网络中多个权重的最普遍的做法u有监视的训练u中心思想是基于对错误函数的导数最小化u简单u效率低u易于堕入部分最小值1. 初始化确定输入层、隐含层和输出层结点的数量随机产生(1.0,1.0)之间的权重选择一个0,1之间的学习率确定终了条件2. 对每条训练实例:输入神经网络，计算输出结果确定输出错误更新权重3. 假设未满足终止条件，那么转步骤24. 测试神经网络的精度。假设不称心，那么更改参数重新训练。Node 1Node 2Node iNode jNode kN

7、ode 3Input LayerOutput LayerHidden Layer1.00.70.4WjkWikW3iW3jW2iW2jW1iW1j理想输出：理想输出：0.65u结点j的输入: 0.2*1+0.3*0.4+(-0.1)*0.7=0.25u 结点j的输出: 1/(1+e-0.25)=0.562 u结点i的输入: 0.1*1.0+(-0.1)*0.4+0.2*0.7=0.2u 结点i的输出: 1/(1+e-0.2)=0.550u结点k的输入: 0.1*0.562+0.5*0.550=0.331u 结点k的输出: 1/(1+e-0.331)=0.582uError(k) = (T Ok

8、)f (xk)uT : 目的输出uOk : 输出结点k的计算输出值uf (xk): 输出结点k的sigmoid函数的一阶导数uxk : 输出结点k的输入值uError(k) = (T Ok) Ok (1 Ok) uError(k) = (0.65 0.582)*0.582*(1 0.582)=0.017uError(j) = (kError(k)Wjk)f (xj)uError(k): 输出层结点k的错误uWjk : 衔接隐含层结点j与输出层结点k的权重uf (xj) : 隐含层结点j的sigmoid函数的一阶导数uxj : 隐含层结点j的输入值uError(j) = 0.017*0.1*0.

9、562*(1 0.562)=0.00042uError(i) 的计算留作练习。uwjk(new) = wjk (old) + wjkuwjk = * Error(k) * Oju : 学习率, 0 1uError(k) : 结点k的错误uOj : 结点j的输出u假设 = 0.5uwjk = 0.1 + 0.5 * 0.017 * 0.562 = 0.1048uw1j = 0.2 + 0.5 * 0.00042 * 1.0 = 0.2002uw2j = 0.3 + 0.5 * 0.00042 * 0.4 = 0.300084uw3j = 0.1 + 0.5 * 0.00042 * 0.7 = 0

10、.099853u与i相关的权重更新留作练习u对绝大多数问题，一层隐含层就足够了u当目的函数不延续时，普通需求两层隐含层u神经元的数量对性能的影响很关键:u太少，Underfittingu太多，Overfittingu多凭阅历，普通从少量结点开场，随着训练不断添加结点数量u在线训练(Online training):u每处置一个训练实例，就更新一次权重。u离线训练(Offline training):u把一切训练实例都处置一遍之后，再更新权重。u在线学习运用范围广、简单易行u对单个训练实例敏感u产生部分极值的几率比离线训练小u优点u实现简单u运用范围广，运用效果较好u缺陷u效率低u易于堕入部分极小值，从而无法得到最优解u优点：u 全局最优，可保证得到最优解。u缺陷：u 比梯度下降效率低，实