数据挖掘技术第十一课前馈神经网络.ppt

1、数据挖掘技术 第十一课 前馈神经网络,Artificial Neural Networks (ANN),由生物神经系统(如人脑)所引发的信息处理框架。 结构: 大量互连的信息处理单元，即神经元 (neuron)，相互协作，共同解决问题。 向人类一样, 神经网络从实例中进行学习。 原理简单，功能强大。,神经网络的发展史,1943，McCulloch & Pitts最先提出神经网络。 十九世纪五六十年代，大量学者研究感知器。 1969，Minsky & Papert论证了感知器功能有限。 从此神经网络的研究停滞了15年。 十九世纪八十年代中期，BP算法、SOM的提出使神经网络的研究重新复苏。,神经

2、网络的本质,一个简化的人脑模拟模型。 从本质上讲，是一个功能模拟器。,神经网络的组成,由大量互相连接的神经元(neuron)组成，这些神经元相互协作，共同完成复杂的功能。,神经网络的一般结构,训练神经网络意味着学习神经元之间连接的权重,神经网络与人类大脑,人类大脑大概有1011个神经元。 这些神经元通过神经突触互相连接。 平均每个神经元与其它104个神经元互相连接。 神经元之间通信的时间10-3秒。 ANN研究的动机是模拟人脑，但由于目前的技术限制，ANN与真正的人脑相去甚远。,人工脑,认为人工脑现在不能与人脑匹敌的原因突出表现在神经元的数量对比上。 提高人工脑神经元的数量，宣称他开发的人工脑

3、可达猫脑的水平。 很多学者也认为，除了数量以外，人脑神经元间的“结构”也非常重要。批评者们认为Garis求量 不求质。,Hugo de Garis,感知器(Perceptron),最早具有学习能力的神经网络 只有输入神经元和输出神经元 输入神经元通常只有两个状态: ON和OFF 输出神经元使用简单阈值(threshold)激励函数 只能解决线性问题，应用范围有限,一个感知器的例子,若3个输入中至少有两个为1，则输出结果为1,打开黑盒,用感知器分类,由互连的结点和带有权重的连接所组成的模型。 对输入值加权求和 将加权求和结果与某个阈值t进行比较,Perceptron Model,or,感知器中权

4、重的确定,有监督的训练 若输出有误，则根据如下公式调整权重:,感知器的缺陷,只有二值输入和二值输出。 只有输入和输出两层。 1969年， Minsky & Papert论证了感知器的功能有限，无法表达某些逻辑功能，如XOR。,多层前馈神经网络,神经网络普遍采用这种形式 是感知器的扩展 多个层次，输入输出之间的层称为隐含层(hidden layer) 激励函数不再是简单的阈值，通常是sigmoid函数 通用的功能模拟器，应用范围不再局限于线性问题 信息单向传递 当前层的输出构成了下一层的输入 反向更新权重,激励函数(activation function),用输入神经元的加权和来产生输出。 绝大

5、多数神经网络使用sigmoid函数。 平滑、连续、且单调递增 值域有明确的上下限，但是开区间，即无法达到最大值和最小值,sigmoid函数,最常用的sigmoid函数是 f (x) = 1 / (1 + e x ) 在神经网络中，激励函数的导数十分重要，该函数的导数实用 f (x) = f (x) (1 f (x) 其余的sigmoid函数还有： 双曲正切(hyperbolic tangent) 反正切(arctangent),训练(training),有监督的训练 向NN提供输入数据和理想的输出数据 评价神经网络对输入的响应，根据实际输出与理想输出的差异来修改权重。 无监督的训练 只提供输入

6、数据和理想的输出数据 NN自行调整权重，使得相似的输入会得到相似的输出。即NN在没有外界帮助的条件下，自动确定模式及其差异。 Epoch 从提供输入到NN更新一次权重的一次迭代过程 训练神经网络需要多次epochs。,权重的确定,神经网络中，权重的作用至关重要，学习神经网络实际上就是学习其连接的权重。 训练就是向NN模型提供样本数据，并不断修改权重，使其更好的完成理想的功能。,反向传播,得到网络中多个权重的最普遍的做法 有监督的训练 核心思想是基于对错误函数的导数最小化 简单 效率低 易于陷入局部最小值,BP(Backpropagation algorithm)算法,1. 初始化 确定输入层、

7、隐含层和输出层结点的数量 随机产生(1.0,1.0)之间的权重 选择一个0,1之间的学习率 确定结束条件 2. 对每条训练实例: 输入神经网络，计算输出结果 确定输出错误 更新权重 3. 若未满足终止条件，则转步骤2 4. 测试神经网络的精度。若不满意，则更改参数重新训练。,示例,理想输出：0.65,计算实际输出,结点j的输入: 0.2*1+0.3*0.4+(-0.1)*0.7=0.25 结点j的输出: 1/(1+e-0.25)=0.562 结点i的输入: 0.1*1.0+(-0.1)*0.4+0.2*0.7=0.2 结点i的输出: 1/(1+e-0.2)=0.550 结点k的输入: 0.1*

8、0.562+0.5*0.550=0.331 结点k的输出: 1/(1+e-0.331)=0.582,输出层结点的错误计算,Error(k) = (T Ok)f (xk) T : 目标输出 Ok : 输出结点k的计算输出值 f (xk): 输出结点k的sigmoid函数的一阶导数 xk : 输出结点k的输入值 Error(k) = (T Ok) Ok (1 Ok) Error(k) = (0.65 0.582)*0.582*(1 0.582)=0.017,隐含层结点的错误计算,Error(j) = (kError(k)Wjk)f (xj) Error(k): 输出层结点k的错误 Wjk : 连接

9、隐含层结点j与输出层结点k的权重 f (xj) : 隐含层结点j的sigmoid函数的一阶导数 xj : 隐含层结点j的输入值 Error(j) = 0.017*0.1*0.562*(1 0.562)=0.00042 Error(i) 的计算留作练习。,权重的更新,wjk(new) = wjk (old) + wjk wjk = * Error(k) * Oj : 学习率, 0 1 Error(k) : 结点k的错误 Oj : 结点j的输出 假设 = 0.5 wjk = 0.1 + 0.5 * 0.017 * 0.562 = 0.1048 w1j = 0.2 + 0.5 * 0.00042 *

10、 1.0 = 0.2002 w2j = 0.3 + 0.5 * 0.00042 * 0.4 = 0.300084 w3j = 0.1 + 0.5 * 0.00042 * 0.7 = 0.099853 与i相关的权重更新留作练习,隐含层与神经元,对绝大多数问题，一层隐含层就足够了 当目标函数不连续时，一般需要两层隐含层 神经元的数量对性能的影响很关键: 太少，Underfitting 太多，Overfitting 多凭经验，一般从少量结点开始，随着训练不断增加结点数量,训练策略,在线训练(Online training): 每处理一个训练实例，就更新一次权重。 离线训练(Offline training): 把所有训练实例都处理一遍之后，再更新权重。 在线学习应用范围广、简单易行 对单个训练实例敏感 产生局部极值的几率比离线训练小,利用梯度下降法更新权重,优点 实现简单 使用范围广，使用效果较好 缺点 效率低 易于陷入局部极小值，从而无法得到最优解,模拟退火方法(Simulated Annealing),优点： 全局最优，可保证得到最优解。 缺点： 比梯度下降效率低，实现复杂。,遗传算法(Genetic Algorithm),优点：