最小二乘法的原理及其应用

1、最小二乘法的原理及其应用一、研究背景在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做 数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼 近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络 逼近、模糊逼近、支持向量机函数逼近、小波理论等。其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中 有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的 研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论 与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产 以及系统识别中的应

2、用。二、最小二乘法的原理人们对由某一变量t或多个变量t1tn构成的相关变量y感兴趣。如 弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本 有关。为了得到这些变量同y之间的关系，使用不相关变量去构建y,使用如下 函数模型Um = 力 1,.，土q； 1, , ,福），q个相关变量或p个附加的相关变量去拟和。通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函 数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测 值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起 来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一

3、般情况下， 观测值远多于所选择的参数。其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量 误差的平均值为Oo令每一个测量误差对应一个变量并与其它测量误差不相关 （随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然 误差，困绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最 后的结果y上忽略不计。确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小 的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的 平方和最小。用函数表示为：3 i=i用欧几里得度量表达为：*n |嬴(S) 一训2.X最小化问题的精度，依赖于所选择的

4、函数模型。三、最小二乘法的应用(1)最小二乘法在化学生产中的应用：蔗糖的水解反应的实脸该实验的目的是测定蔗糖转化的反应级数、速率常数。实脸中测出一组旋 光度(q-/)和时间/,判断反应级数和计算出速率常数。若In，呈线性 关系，为一级反应，若(q f呈线性关系，为二级反应，若(一一尸,呈 线性关系，为三级反应。该实验应是一级反应，但由于用目测法手工作图，由于 误差的原因，有时会得出一级或二级均可以的奇怪结论，所以在以往的实脸中把 该反应级数作为已知条件，只要求学生求出速率常数。而用线性最小二乘法拟合 曲线，在计算机上处理，即可得出满意的结论。原理是，先用线性最小二乘法对 (q-a_)曲线进行高

5、次拟合，从(q-牝)曲线上读取等间隔时间/时的外，作数据 匀整，改进数据的离散性，然后进行直线拟合，拟合偏差最小者为该反应的反应 级数。表1为某学生的实验数据，揄入计算机后，进行高次拟合，并进行数据修 匀，得到表2数据。本次拟合次数为7,拟合偏差为，表示拟合较好。表1蔗糖水解反应实险数据温度：20 气压：101325Pa HCI 浓度：3Ma, =5.00时间t/min71217273747627792旋光度a t表2蔗糖水解反应实验拟合修匀后的数据时间t/min10203040506070旋光度a t最后将匀整后的数据作直线拟合，一级拟合偏差平方和最小为，证明蔗糖水解反 应确为一级反应。(2

6、)最小二乘法在系统识别中的应用1、原理分析系统辨识是通过建立动态系统模型，在模型输入榆出数据的基础上，运用辨 识方法对模型参数进行辨识，从而得到一个与所观测的系统在实际特性上等价的 系统。应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两 种。离线辨识是在采集到系统模型所需全部揄入输出数据后，用最小二乘法对数 据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过 程中进行的递推辨识方法，所应用的数据是实时采集的系统揄入揄出数据，应用 递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。由于在线 辨识方法具有实时采集系统输入输出数据，实时辨识模型参数，且

7、占据计算机存 储量小的优点，因此与离线辨识相比，在线辨识方法得到了更为广泛的应用。在 线辨识的参数估计的最小二乘递推算法如下：八 e (k+1) = *9 (k)+K(k+1) y (k+1)-xT(k+1) 9 (k)K(k+1) = P (k) x (k+1) 1 +xT (k+1) P (k) x (k+1) -1P(k+1) = P(k)-K (k+1)xT(k+1)P(k)2递推初值：-0(0)二任意值；P(0)二a - I, a取计算机容许的最大值。式中x与y分别为系统的输入输出，9为参数估计值,K为增益矩阵，P(m) = (xx,)其最优性准则函数为：m J二工/ r-1其中m为

8、数据采集的次数，e为残差向量。由于上述递推算法无法反映参数随时 间变化的特点，新数据被大量的老数据所淹没，对于慢时变参数的辨识来说，这 必然得不到跟踪参数变化的实时估计，因此又进一步有了改进的最小二乘递推算 法，即带遗忘因子的渐消记忆的递推算法，该算法贬低老数据的作用，强调新数 据的作用，选取遗忘因子入，得到渐消记忆的最小二乘递推算法如下：人 e (k+1) = 9 (k)+K(k+1) y (k+1)-xT(k+1)* 9 (k)K(k+1) = P (k) x (k+1) X +xT (k+1) P (k) x (k+1) -1 P (k+1) =1 X P(k)-K (k+1) xT (

9、k+1)P(k)递推初值：e (0)二任意值； P(0) =a 2 I, q取计算机容许的最大值。其最优性准则函数为：mJ二犷/-I其中加权系数0人忘1。入通常在与之间取值。2、实例分析以某微循环流体系统模型的参数辨识为例。我们已经得到该系统模型的差 分方程形式，取特定点的压力波作为模型的输入，以另一点的压力波作为模型的 榆出.由于我们采集的数据是实时的，因此用在线辨识方法。由于建立的微循环 流体系统模型是一个单揄入、单揄出的模型，为使参数估计的结果很好地跟踪参 数真值的变化，我们采用渐消记忆的最小二乘法对系统模型参数进行辨识，即强 调新数据的作用，贬低老数据的作用。a 1是一组通过试脸测量所得到的微循环流体系统输入、输出波形以及模 型辨识参数的迭代变化波形.其中，图（a）、（b）为实测波形。图1微循环流体模型输入输出波形图a 2中（a）图所示为实测的输入波形，（b）图为实测的输出波形，（图2实测波形与拟和波形的比较四、结语上述实例可以说明，借助计算机科学技术，用线性最小二乘法可以方便地解 决动力学参数问题。这种方法避免了复杂的数学处理，有效地降低了计算误差， 结果更为精确。线性最小二乘法不仅在处理动力学问题等物理化学实脸，也在分 析化学实验以及化学学科的其他方面都有着非常