神经网络的Levenberg-Marquardt算法研究

1、摘神经络的 Levenberg-Marquardt 法研究要：本文主要介绍 LM(Levenberg-Marquardt)经网络算法，LM 算法是梯度下降法和高斯牛顿法的结合，这种神经网络算法综合了这两种方法的优点， 在一定程度上克服了基本的 BP 网络收敛速度慢和容易陷入局部最小点等问题。对 LM 算法的计算步骤作了简要的阐述。最后介绍了 神经网络算法再监督控制上的 应用。关键词：神经网络；LM 算法；计算步骤；监督控制0 引言神经网络 BP 学习算法在理论上具有逼近任意非线性连续映射的能力，在非线 性系统的建模及控制领域里有着广泛的应用。然而 算法存在一些不足，主要是 收敛速度很慢；往往收

2、敛于局部极小点；数值稳定性差，学习率、动量项系数和初 始权值等参数难以调整，非线性神经网络学习算法 可以有效地克服 BP 算法所存 在的这些缺陷1。LM 算法是高斯牛顿法和最速下降法的结合，具有高斯牛顿法的局部收敛 性和梯度下降法的全局特性。它通过自适应调整阻尼因子来达到收敛特性，具有更 高的迭代收敛速度，在很多非线性优化问题中得到了稳定可靠解。在 算法的计 算过程中，初值是一个很重要的因素。若选择的初值 接近真值时，收敛速度很 快且能够得到全局最优解，但如果初值远离真解时，优化结果往往过早的陷入局部 最优解从而得到的结果完全背离真解。要解决该问题，一是通过得到大量的原始信 息来对真值有一个较

3、准确的估计，但这在实际问题中往往不太可能达到；另外就是 选择一种合理的全局最优化算法与其相结合，消除 算法对初值的依赖且具有很 快的收敛速度2。1 神经网络神经网络具有高度的自学习、自组织和自适应能力，能通过学习和训练获取 网络的权值和结构。多层前向神经网络具有理论上可逼近任意非线性连续映射的能 力，因而非常适合于非线性系统的建模及控制，是目前使用较多的一种神经网络模 型3。BP 网络(Back Propagation Network)称为误差反向传播神经网络，它是一种 能朝着满足给定的输入/输出关系方向进行自组织的神经网络，其典型的结构图如 图 1 所示，由三部分组成：输入层、隐含层、输出层

4、，三部分之间通过各层节点之 间的连接权依次前向连接。目前，在人工神经网络的实际应用中，绝大部分的神经 网络模型是采用 BP 网络和它的变化形式，它也是前馈型网络的核心部分，并体现 了人工神经网络最精华的部分。BP 网络主要应用于函数逼近、模式识别、分类以 及数据压缩中。BP 网络用于函数逼近就是用输入矢量和相应的输出矢量训练一个 网络逼近一个函数，即可实现从输入到输出的任意的非线性映射。在确定了 BP 网 络的结构后，利用输入/输出样本集进行学习训练，也就是对网络的权值和偏差进 行学习和调整，使网络实现给定的输入/输出映射关系，完成对系统的辨识。经过 训练的 BP 网络，对于不是训练样本集中的

5、输入也能给出合适的输出，这种性质就 是所谓的泛化能力。在实际应用中，原始的 BP 算法很难胜任，存在许多不足之处，主要是训练时 间长，收敛速度很慢，往往收敛于局部极小点，其数值稳定性差，初始权值、学习 率和动量项系数等参数难以调整4。图 1 BP 网络模型结构2 LM 算法原理原始的 BP 学习算法是梯度下降法。参数沿着与误差梯度相反的方向移动，使 误差函数减小，直到取得极小值，它的计算的复杂度主要是由计算偏导数引起的。 但是，这种基于梯度下降方法的线性收敛速度很慢。而 算法是一种利用标准的 数值优化技术的快速算法，它是梯度下降法与高斯牛顿法的结合，也可以称为是 高斯牛顿法的改进形式，既有高斯

6、牛顿法的局部收敛性，又具有梯度法的全局 特性。由于 LM 算法利用了近似的二阶导数信息，所以 算法比梯度法快得多 5。下面对 LM 算法作简要阐述：设误差指标函数为（1）式中：期望的网络输出向量；实际的网络输出向量；P样本数目；w网络权值和阈值所组成的向量； 误差。设表示第 k 次迭代的权值和阈值所组成的向量，新的权值和阈值所组成的向量 为。在 LM 方法中，权值增量计算公式如下：（2）式中：I单位矩阵；用户定义的学习率；Jacobian 矩阵，即：从(2)式可看出，如果比例系数=0，则为高斯牛顿法；如果取值很大，则 LM 算法接近梯度下降法，每迭代成功一步，则减小一些，这样在接近误差目标的时

7、候，逐渐与高斯牛顿法相似。高斯牛顿法 在接近误差的最小值的时候，计算速度更快，精度也更高。由于 算法利用了近 似的二阶导数信息，它比梯度下降法快得多，实践证明，采用 算法可以较原来 的梯度下降法提高速度几十甚至上百倍。另外由于是正定的，所以(2)式的解总是存在的，从这个意义上说， 算法也优于高斯牛 顿法，因为对于高斯牛顿法来说，是否满秩还是个潜在的问题。在实际的操作中，是一个试探性的参数，对于给定的，如果求得的能使误差指标函数降低，则降低；反之，则增加。用(2)式修改一次权值和阈值时需要求 阶的代数方程（n 为网络中权值数 目）。LM 算法的计算复杂度为，若 n 很大，则计算量和存储量都非常大

8、。然而，每次迭代效率的显著提高，可大 大改善其整体性能，特别是在精度要求高的时候4。3 LM 算法的计算步骤LM 算法的计算步骤描述如下：1)给出训练误差允许值，常数和( 0 1) ，并且初始化权值和阈值向量，令 k =0,=；2)计算网络输出及误差指标函数；3)计算 Jacobian 矩阵；4)计算；5)若，转到(7)；6)以为权值和阈值向量，计算误差指标函数，若，则令，转到 2)，否则，转到 4)。7)算法结束6。4 基于 LM 算法的神经网络监督控制策略在传统的比例、积分及微分(简称 PID)控制器的基础上，增加一个神经网络 控制器，如图 2 所示。此时，神经网络控制器实际是一个前馈控制

9、器，因此建立的 是被控对象的逆模型。其中，常规控制器可用作保证系统的稳定性，而神经网络控 制器作为前馈控制器来实现对象的补偿，以改善控制系统的跟踪性能。在结构中， 前馈控制与反馈控制相结合，由于前馈控制的作用不需要等到输出量发生变化并形 成偏差以后才产生纠正偏差的作用， 而是在控制作用施加于系统的同时产生反馈 作用，最终是为了消除误差。由图中可以看出，神经网络控制器通过向传统控制器的输出进行学习，在线调整自己，目标是使反馈误差趋近于 ，从而使自己逐渐在 控制作用中占据主导地位，以便最终取消反馈控制器的作用。由于 算法收敛 快，因此可以在线学习及控制。因为系统中反馈控制器仍然存在，所以一旦出现干

10、 扰等，反馈控制器仍然可以起作用。采用这种前馈加反馈的监督控制方法，不仅可 以确保控制系统的稳定性和鲁棒性，而且可有效地提高系统的精度78。图 2神经网络监督控制结构图5 结论本文介绍了基于带有学习率的 LM 算法的神经网络系统辨识方法，这种网络综 合了梯度下降法和高斯牛顿方法的优点，在一定程度上克服了基本的 BP 网络收 敛速度慢和容易陷入局部最小点等问题。简要的阐述了 算法的计算步骤。基于 带有学习率的 LM 算法的神经网络在线监督控制方法是一种先进的控制策略，采用 这种监督控制方法，不仅可以确保控制系统的稳定性和鲁棒性，而且可有效地提高 系统的精度。参考文献1董一芬.Levenberg-Marquardt 神经网络算法研究J.商场现代化,2009(3):385.2罗亚中,袁端才,唐国金.求解非线性方程组的混合遗传算法J.计算力 学,2005(1):109-114.3耐格纳威斯基.人工智能系统指南M.力栩译.北京:机械工业出版社, 2007.4黄豪彩,黄宜坚,杨冠鲁.基于 LM 算法的神经网络系统辨识J.组合机床与 自动化加工技术,2003(2):6-11.5李合平,邹明虎,王志云,黄允华.基于 算法的雷达板级电路快速故障诊 断J.测试技术学报,2004,18 (4):364-368.6杨益君,古