径向基函数神经网络学习动态.ppt

人工神经网络ArtificialNeuralNetworksANN 李晓强Email sxxqli 河南科技大学 径向基函数神经网络 RadialBasisFunctionNeuralNetwork RBFNN 主要内容 1 RBFNN结构与工作原理2 常用算法3 学习动态 上节课内容回忆 上一节课我们介绍了RBF神经网络的学习方法 在RBF神经网络训练过程中 最主要的首先是RBFNN的中心 宽度的确定 一般中心的确定有这么几种方法 1 固定法 2 随机固定法 3 kohonen中心选择法 4 K means聚类中心固定法 宽度的确定主要有 固定法 中心确定后 宽度可由类的最大距离与根号下二倍的中心数目之比来确定 这样确定的径向基函数 既不会太平 也不会太尖 2 平均距离法 数据分类以后 采用该类与其距离最近的类之间的欧氏距离是RBF宽度的一个合理估计 3 其他方法 平均距离的1 1 5倍作为RBF的宽度值 倍数称作重叠系数 然后我们给大家介绍了神经网络训练的算法 包括聚类方法和梯度下降法 聚类方法主要强调的是中心的确定采用聚类方法确定 而权值的确定主要采用最小二乘法来进行 几种常见的基函数 其中 德尔塔表示基函数的扩展常数或宽度其大小在函数图像中表现为函数下方的宽度德尔塔越小 基函数图像中的下方开口越小 至于梯度下降法 则跟我们以前学习算法所讲解过程一样 主要是求解梯度 得到最速下降方向 然后根据最速下降方向来确定变量的改变方向 进而达到目标函数收敛的效果 本节课主要讲解内容 本节课主要讲解RBF神经网络的学习动态 学习动态是指神经网络在训练过程中所表现出来的各参数的变化情况 主要包括以下内容 网络中不存在冗余节点时 隐节点的变化情况 网络中存在冗余节点时 隐节点的变化情况 概念 最小网络结构 在能对给定目标函数或训练样本实现给定精度学习的RBF网络中 称具有最少隐节点的网络为最小网络 隐节点重合 算法收敛时 如果两个隐节点具有相同的中心和宽度 则称这两个隐节点重合 如果隐节点还具有相同的输出权值 则称这两个隐节点完全重合 隐节点外移 算法收敛前 某隐节点对样本输出矢量不等于0 而算法收敛时该隐节点的数据中心位于样本输入区域以外 且其宽度也已经不足以影响输入区域的样本 导致输出等于0的现象称为隐节点外移 隐节点衰减 算法收敛前某隐节点权值不等于0 而算法收敛时该权值等于0的情况称为隐节点衰减 隐节点萎缩 算法收敛前某隐节点对所有样本的输出不等于0 而算法收敛时 该隐节点数据中心虽位于样本输入区域内 且其宽度较小 已经不足以影响附近的样本 出现输出等于0的情况称为隐节点萎缩 学习动态讨论 采用高斯函数为基函数 则第i个隐节点的激活函数为 则该神经网络为 假设学习函数为g x 那么神经网络的学习任务就是通过确定网络的中心 宽度 以及输出权值 使得在神经网络在目标函数自变量的定义域内逼近目标函数 即满足下面的性能指标函数 其中益普赛冷表示一个任意小正数 插值问题与上述问题的关系 插值问题是通过神经网络寻找一个函数 可以使得给定样本点都满足该函数 而上述问题则确定一个网络 使得该网络可以表示目标函数 其实二者是同一个问题 因此上式可以表示为 同样可以定义性能指标函数 如果上式等于0 那么我们就可以说神经网络对所有样本实现了完全学习 一 不存在冗余节点的情况分析 首先考虑最后一个节点即节点h的参数变化情况 那么有 根据梯度下降法求解上式的中心 宽度以及神经网络权值的导数有 1 其中 那么我们有 2 3 分析 由于负梯度是性能指标函数下降最快的方向 根据上面两个式子 我们可以知道 由于高斯函数为正值 因此影响其符号的只有期望输出与实际输出之间的误差以及输入与中心之间的差值 若误差大于0 那数据中心被拉向输入 同时宽度增加 反之 如果误差小于0 中心被推离输入 宽度减小 而中心的调整方向以及宽度是否增加 由所有输入共同决定 中心值与宽度以及权值的最终取值问题 梯度下降法最终将收敛到性能指标函数的局部最小值点 因此算法收敛是必有上述三个导数的值等于0 因此我们可以通过让式 1 2 3 等于0来求得中心值 宽度以及权值的最终取值 如下 通过上面三个式子我们可以得到 如果某样本输入xi不能激活隐节点h ohi值较小 或者当前神经网络对该样本的误差较小 ehi 较小 则该xi对ch的影响就较小 隐节点h的数据中心ch最终移向那些未被其它隐节点激活且偏差较大的样本输入 然而第二个式子是算法收敛时rh必须满足的约束条件 其变化必将导致oh发生变化 从而导致eh发生变化 当rh调整到最佳状态时 eh和oh应该是垂直的第三个式子的几何意义相当明显 就是使得eh 1和oh的最小二乘误差达到最小时系数wh的取值 二 存在冗余节点的情况 考虑RBF神经网络实现函数g x 的情况 假定冗余的神经节点数为1 这个神经网络的网络动态 即网络参数的变化情况主要由几个定理来说明 定理1 假设目标函数g x 可由最小结构网络Net1来实现 而Net2比Net1多一个隐节点 如果Net2也能实现g x 那么Net2或者有h 1个隐节点与Net1的隐节点完全重合 而余下的那个独立隐节点输出权值为零 或者Net2中有h 2个隐节点与Net1中的隐节点完全重合 而余下的两个重合的隐节点叠加后与Net1中的最后一个隐节点重合 该定理说明训练样本充分多时隐节点的衰减和重合是必然的 定理2 假设a a 时最小结构网络net1对训练样本的学习能满足精度要求 网络Net2比Net1多一个隐节点 则当学习过程中Net2的前h 1个隐节点参数一直在a 的领域内时 隐节点h必然萎缩和衰退 该定理说明 当网络中存在冗余隐节点时 如果其他隐节点对样本的学习能达到较小误差 则冗余节点将出现萎缩和衰减 即最终使得whoh 0 然而在衰减和萎缩过程中 该节点还可能出现重合和外移的情况 定理4 假设a a 时最小结构网络net1对训练样本的学习能满足精度要求 网络Net2比Net1多一个隐节点 当学习过程中Net2的前h 1个隐节点参数一直在a 的领域内时 而对隐节点h有其中心点不属于样本空间 那么当算法收敛后 隐节点h必然会出现外移的情况 该定理说明 当冗余节点h的中心移至定义域之外时 该中心必然会离定义域越来越远 直至该隐节点对定义域内的样本的影响到可以忽略为止 即对所有样本都有oh 0 当然该定理中的条件也可适度放宽 即