数据挖掘神经网络BP算法ppt课件.ppt

7 3神经网络算法 7 3 1神经网络的基本原理人工神经网络是在研究生物神经系统的启发下发展起来的一种信息处理方法 它模拟生物神经系统结构 由大量处理单元组成非线性自适应动态系统 具有高度非线性的超大规模实践特性 网络的全局作用 大规模并行分布处理及高度的鲁棒性和容错性 有联想记忆 抽象概括和自适应能力 这种抽象概括和自适应能力一般称之为自学能力 1 工程上用的人工神经元模型如图所示 2 7 3 2反向传播模型 1 工作原理神经网络模型分为前馈多层式网络模型 反馈递归式网络模型 随机型网络模型等 误差反向传播 Backpropagation 简称BP网络 又称为多层前馈神经网络 其模型结构如图7 3所示 3 2 学习过程BP网络学习过程是一种误差边向后传播边修正权系数的过程 BP算法把网络的学习过程分为正向传播和反向传播两种交替过程 1 正向传播输入信息先传到隐藏层的结点上 经过各单元的特性为S型的激活函数运算后 把隐藏层结点的输出信息传到输出结点 最后给出输出结果 2 反向传播如果得不到实际的输出 则转入反向传播过程 将误差信号沿原来的连接线路返回 通过修改各层神经元的权值 逐次地向输入层传播进行计算 再经过正向传播过程 这两个过程的反复运用 逐渐使得误差信号最小 网络学习过程就结束 4 3 BP算法BP算法如下 其中 l为学习率 oi为单元i的输出 oj为单元j的输出 Tj为输出层单元j的期望输出 Errj为与隐藏层单元j的误差加权和 wjk为单元j与单元k相连的有向加权边的权重 为改变单元j活性的偏量 输入 训练样本S 学习率l 多层前馈网络 输出 一个训练的 对样本分类的神经网络 方法 1 初始化网络的权和阈值 2 WHILE终止条件满足 3 FORS中的每个训练样本X 4 FOR隐藏或输出层每个单元j 5 相对于前一层计算单元j的净输入 6 计算每个单元j的输出 7 FOR输出层每个单元 8 计算误差 9 FOR由最后一个到第一个隐藏层 对于隐藏层每个单元j 10 计算关于下一个较高层k的误差 11 FOR网络中的每一个权 12 13 FOR网络中每个单元偏量 14 5 例7 5 假设训练样本s的属性值为 1 0 1 实际类别分别为1 两层前馈神经网络NT如图7 4所示 NT中每条有一向加权边的权重 每个隐藏层与输出层单元的偏置如表7 11所示 学习率为0 9 写出输入S训练NT的过程 6 首先算出单元4 5 6的输入 输出 具体结果见表7 12 然后计算4 5 6的误差 见表7 13 NT中每条有向加权边的新权重 每个隐藏层与输出层单元的新偏置见表7 14 图7 4两层前馈神经网络 7 表7 11权重 单元的偏置 8 表7 12隐藏层与输出层每个单元的输入 输出 9 表7 13隐藏层与输出层每个单元的误差 10 表7 14有向加权边的新权重 每个隐藏层与输出层单元的新偏置 11 7 3 3定义神经网络拓扑 神经网络在开始训练之前 必须确定输人层的单元数 层数 每个隐藏层的单元数和输出层的单元数 以确定网络拓扑结构 如何选取最佳的隐藏层数目 可以参考下面的公式 其中 k为样本数 n为输入结点数 m为输出样本 为隐藏层结点数 12 7 3 4神经网络工作过程 所有神经网络的工作过程主要分两个阶段 工作阶段和学习阶段 1 工作阶段 此时各连接权值固定 处理单元状态变化 以求达到稳定状态 2 学习阶段 各处理单元状态保持不变 各连接权值可修改 13 教师示教学习方式 需要给定一组样本 输入输出数据对 网络根据实际输出