最小二乘法在系统辨识中的应用

#/6到引用源。上的平滑函数，假设错误！未找到引用源。。最小二乘问题可以认为是无约束优化问题的最大来源，可以广泛地应用于多个领域。利用公式(2.1)描述辨识模型与实际系统的误差值。通过最小化该函数，能够选择出与模型最好匹配的参数值。定义向量错误！未找到引用源。为：错误！未找到引用源。(2.2)因此，可以将f修改为：f3=扑00吃对f(x)求一阶导数：错误！未找到引用源。(2.3)用错误！未找到引用源。表示错误！未找到引用源。的梯度，这样，f的梯度可以表示为：错误！未找到引用源。(2.4)在很多应用场合中，计算出一阶偏导数组成Jacobian矩阵J(x)是可以实现的。因此可以求出公式(2.4)中的梯度错误！未找到引用源。。目标函数f(x)的二阶导数形式为：THTH卩f(咒)3财、Vi}(jc)V2^(¥);=i;=im=厂(紛/(町+》巧口)护与j=l利用错误！未找到引用源。，我们可以计算出上式中的第一项错误！未找到引用源。，无需考虑错误！未找到引用源。的二阶导数项。通常情况下，上式中的错误！未找到引用源。比公式中的第二项更重要。4.2线性最小二乘问题在错误！未找到引用源。为线性的特殊情况下，错误！未找到引用源。为一个常数，错误！未找到引用源。可记为：错误！未找到引用源。(2.5)其中，错误！未找到引用源。。另外错误！未找到引用源。。注意到，由于错误！未找到引用源。对任意的错误！未找到引用源。都成立，使得错误！未找到引用源。中的第二项消失。函数错误！未找到引用源。是一个凸函数。通过令错误！未找到引用源。可得，公式(2.5)中的解错误！未找到引用源。一定满足：错误！未找到引用源。(2.6)式(2.6)被称为是(2.5)的正则方程(normalequations)。在错误！未找到引用源。，并且错误!未找到引用源。为列满秩的条件下，对于线性最小二乘问题，可以简单地概况为三种主要算法。http://190210.com/方法一即为最直观的算法，就是通过下面的三个步骤构造并求解系统(2.6)：.计算系数矩阵错误！未找到引用源。以及右边项错误！未找到引用源。；.计算对称矩阵错误！未找到引用源。的Cholesky因子；.用所计算出的Cholesky因子进行两次三角替换，以重新获得解错误!未找到引用源。。方法二基于矩阵错误！未找到引用源。的QR因子。由于对于任意错误！未找到弓I用源。维正交矩阵Q,都有:错误！未找到引用源。(2.7)通过QR因子对矩阵错误！未找到引用源。进行列变换，得到：错误！未找到引用源。(2.8)其中错误！未找到引用源。为错误！未找到引用源。维变换矩阵，错误！未找到引用源。为矩阵错误！未找到引用源。的前n歹U，R为错误！未找到引用源。维上三角矩阵。综合(2.7)与(2.8)，可以得到ll/x+r||ii=鴛grr+r)Lt?2-=||^(TTx)+err||i+||Qlr|||i任何关于错误！未找到引用源。的选择对于上面表达式的第二项都没有影响，但我们可以通过令第一项为0使得错误！未找到引用源。达到最小值，即x*=-VR-1Q[r实际应用中，利用三角替换求解错误！未找到引用源。，然后通过对错误！未找到引用源。的分量进行序列变换而得到错误！未找到引用源。。方法三基于矩阵错误！未找到引用源。的单值分解(SVD)得到，叙述如下：矩阵错误！未找到引用源。的SVD为：错误！未找到引用源。(2.9)其中，错误！未找到引用源。为错误！未找到引用源。维正交矩阵，错误！未找到引用源。为错误！未找到引用源。的前n歹U；错误！未找到引用源。为错误！未找到引用源。维对角阵，对角元为错误！未找到引用源。。最后，我们可以得到：[=11上式给出了关于错误！未找到引用源。敏感度的重要信息。当错误！未找到引用源。很小时，错误！未找到引用源。对错误！未找到引用源。的微小变动十分敏感，这一信息对当错误！未找到引用源。接近非满秩时十分重要。以上三种算法均有各自的应用场合。基于Cholesky的方法适于错误！未找到引用源。时，并且算法中实际存储的是错误！未找到引用源。而非矩阵错误！未找到引用源。本身；QR方法避免了条件数的平方项，因此在数值鲁棒性方面更具优越性；SVD方法具有最好的鲁棒性和可信性，然而算法的代价最大。可根据实际问题对最小二乘算法进行选择，当问题规模很大时，通常需要使用迭代才能有较高的效率。4.3非线性最小二乘问题非线性最小二乘问题的最简单的方法是Gauss-Newton算法，可以认为是线搜索算法中Newton法的改进。此外，还有Levenberg-Marquardt方法。这两种方法都能够解决非线性的最小二乘问题，但由于控制系统中研究的大部分系统都为线性时不变系统，在较为简单的非线性系统中，通常将系统进行线性化处理，将非线性系统转变成分段线性的系统，这样就可以利用线性系统的方法进行求解计算。所以对于非线性最小二乘问题4/6的算法，不做详细介绍。五、结束语最小二乘问题广泛地存在于工业领域、经济领域、医学领域等多个领域中，最小二乘算法在实际中具有很好的应用。本文通过对文献中优化问题的描述，概括了文献中对水压仿真器模型的构建过程及辨识过程，对最小二乘问题进行了较为详细的介绍。控制系统中大多数问题会转换为线性系统进行分析，所涉及的非线性问题在简单系统中并不常见，所以，本文中针对非线性最小二乘问题并没有做出过多的介绍。控制系统中的优化问题十分常见，所采用的优化方法也多种多样，除了最小二乘算法外，还会涉及到许多最优化算法对系统的最优解进行求解和寻找。优化问题广泛地存在于控制领域，并且优化算法具有十分重要的实用性。参考文献.WanYamin.ApplicationofSystemIdentificationintheExperimentalModelingofPressureSimulator,ComputerMeasurement&Control.2004.12(7).刘静纨.最小二