神经网络大作业

神经网络 大作业 题题 目目 神经网络模型的对比与分析 学学 院院 学学 号号 学生姓名学生姓名 神经网络的网络拓扑结构大体有前向型 反馈型 自组织竞争型和随机型网络等拓 扑结构 出发点不同网络结构的分法也不一样 前向型的人工神经网络有学习 分类 等功能 反馈型的人工神经网络有联想记忆 优化计算等功能 自组织竞争型的人工神 经网络有聚类 搜索 自组织 自学习等功能 截至目前 我们主要学习了四种网络模 型 即 感知机 有监督的 Hebb 网络 ADLINE Widrow Hoff 模型和反向传播模型 BP 都隶属于前向网络 下面 我就各个网络模型的学习规则以及异同谈一些体会 1 感知机学习规则 1943 年 Warren McCulloch 和 Walter Pitts 最早提出了一种人工神经元模型 把神 经元输入信号的加权和与其阈值相比较以确定神经元的输出 如果加权和小于阈值 则 该神经元的输出值为 0 如果加权和大于阈值 则该神经元的输出值为 1 但由于没有 找到训练这一网络的方法 因此必须设计这些神经元网络的参数以实现特定的功能 上 世纪 50 年代 Frank Rosenblatt 等研究人员提出了一种感知机的神经网络 引入了用于 训练神经网络解决模式识别问题的学习规则 并证明了只要求解问题的权值存在 那么 其学习规则通常会收敛到正确的权值上 但是 感知机网络却存在一定的局限性 其只 能解决模式识别中的线性可分问题 正是由于这种局限性 一度导致神经网络的研究工 作陷入低潮 我们知道 对于 1 3 维输入单层神经元的模式识别问题 可以通过图 解法解决 其基本程序为 1 画出判定边界 该判定边界实现了区域划分的目的 2 求解权值矩阵 权值矩阵求解的关键是判定边界总是和权值矩阵相正交 对于同一模式 识别问题 判定边界的不同会造成权值矩阵的不同 这一不同 在与当前模式精确匹配 时不会产生错误的输出 而在其他模式的判别中可能引起较大的误差 下面将举例说明 3 求解偏值 偏值 b 的求解 可以在求解权值矩阵的基础上 将判定边界上任意一 点的坐标带入方程 WT P b 0 得到 如果我们划定的判定边界通过坐标原点 那么此 时的 b 值可以设定为 0 当 3 个以上输入神经元网络的判定边界无法用图形方法进行 判定时 我们就必须引入一个学习的规则 如果将单神经元感知机和多神经元感知机统 一起来 那么这个学习规则可写为 WNEW WOLD epT BNEW BOLD e 其中 e t a 在学习过程的开始 权值和偏值我们可以任意设定 在输入第一个模式后 将 期望输出与感知机的实际输出相减 得到输出误差 e 通过 e 的正负调节权值矩阵和偏 值 从而最终实现模式之间的正确分类 2 有监督的 Hebb 学习规则 Hebb 学习规则是最早的神经网络学习规则之一 由 Donald Hebb 在 1949 年作为大 脑的一种神经元突触调整的可能机制而提出 从此 Hebb 规则就一直用于人工神经网络 的训练 与感知机所不同的是 Hebb 学习规则的权值更新公式变为 WNEW WOLD tqpqT 矩阵形式为 W TPT 在输入样本为标准正交向量时 该样 本只与权值矩阵内对应相等的模式发生作用 而与其他模式的不发生作用 此时网络的 输出等于其相应的目标输出 当输入不是标准正交向量时 网络的输出可能偏离目标输 出 与目标输出不能十分匹配 解决这一问题的方法 就是运用仿逆规则 即把样本矩 阵进行变换 仿逆规则为 W TP P PTP 1PT 通过仿逆规则 如果由于输 入样本的非标准正交化引起的输出误差 可以通过仿逆规则达到精确的结果 3 ADLINE Widrow Hoff 学习规则 1960 年 Widrow 和他的研究生 Marcian Hoof 引入了 ADALINE 网络和一个称为 LMS 算法的学习规则 ADALINE 网络和感知机一样 只能解决线性可分问题 但是 虽然其网络与感知机十分相似 但与感知机不同之处在于 其一 ADALINE 网络神经 元中有一个线性激活函数 这允许输出可以是任意值 而不仅仅只是像感知机那样只能 取 0 或 1 其二 他采用的是 W H 学习规则 也即最小均方差规则对权值进行训练 LMS 算法比感知机学习规则要强大很多 感知机规则能保证将训练模式收敛到一个可 以正确分类的解上 有时训练模式常接近网络的判定边界 得到的网络对噪声较为敏感 而 LMS 算法使均方误差最小 从而使网络的判定边界尽量远离训练模式 4 多层前向网络 BP 规则 1974 年 Paul Werboss 第一次描述了训练多层神经网络的一个算法 但并没有引起 人们的关注 直到 20 世纪 80 年代中期 1986 年 Rumelhart Geoffrey Hinton 和 Ronald Williams 合著的 Learning representations by back propagating errors 第一次系统 简洁地阐述反向传播算法在神经网络模型上的应用 反向传播算法 把纠错的运算量下 降到只和神经元数目本身成正比 反向传播算法 通过在神经网络里增加一个所谓隐层 同时也解决了感知机无法解决异或门的难题 反向传播算法才重新被发现并广泛宣扬 它实际上是一个多层网络的 LMS 算法 是最速下降法的近似 LMS 算法和反向