数学思想与数学文化论文

包罗万象的数学 论最小二乘法在曲线拟合、自动控制及系统辨识领域的应用一、最小二乘法概述LS方法首先是由Gauss在1809年研究行星轨道预测时提出的，现在这一方法已经成为从试验数据中进行参数估计的主要手段之一。尽管还有其他有效的估计方法，如极大似然法、梯度法、Bayes法等，但LS法一直为科学家和工程师们所青睐。二、最小二乘法在曲线拟合中的应用1.原理：未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。2.公式推导：通过试验确定热敏电阻阻值和温度间的关系注意：当测量没有任何误差时，仅需2个测量值。每次测量总是存在随机误差。根据最小二乘的准则有根据求极值的方法，对上式求导实例：3.用MATLAB实现最小二乘法曲线拟合算法分析：对给定数据 (i=0 ,1,2,3,.,m),一共m+1个数据点，取多项式P(x),使函数P(x)称为拟合函数或最小二乘解，使得 其中，a0，a1,a2,an为待求未知数，n为多项式的最高次幂，由此，该问题化为求的极值问题。由多元函数求极值的必要条件： j=0,1,n得到： j=0,1,n这是一个关于a0，a1,a2,an的线性方程组，用矩阵表示如下：因此，只要给出数据点及其个数m，再给出所要拟合的参数n，则即可求出未知数矩阵（a0，a1,a2,an）实例：编制以函数 为基的多项式最小二乘拟合程序，并用于对下列数据作三次多项式最小二乘拟合(取权函数w=1)xi-1.0 -0.50.00.51.01.52.0yi-4.447-0.4520.5510.048-0.4470.5494.552总共有7个数据点，令m=6第一步：画出已知数据的的散点图，确定拟合参数n;x=-1.0:0.5:2.0;y=-4.447,-0.452,0.551,0.048,-0.447,0.549,4.552;plot(x,y,*)xlabel x轴ylabel y轴title 散点图hold on因此将拟合参数n设为3.第二步：计算矩阵A=注意到该矩阵为（n+1）*(n+1)矩阵，多项式的幂跟行、列坐标（i,j）的关系为i+j-2,由此可建立循环来求矩阵的各个元素，程序如下：m=6;n=3;A=zeros(n+1);for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)(j+i-2) end endend;再来求矩阵B=B= zeros(n+1);for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)(j-1) endend第三步：写出正规方程，求出a0,a1,an.B=B;a=inv(A)*B;第四步：画出拟合曲线x=-1.0:0.0001:2.0;z=a(1)+a(2)*x+a(3)*x.2+a(4)*x.3;plot(x,z) legend(离散点,y=a(1)+a(2)*x+a(3)*x.2+a(4)*x.3)title(拟合图)总程序附下：x=-1.0:0.5:2.0;y=-4.447,-0.452,0.551,0.048,-0.447,0.549,4.552;plot(x,y,*)xlabel x轴ylabel y轴title 散点图hold onm=6;n=3;A=zeros(n+1);for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)(j+i-2) end endend;B=0 0 0 0;for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)(j-1) endendB=B;a=inv(A)*B;x=-1.0:0.0001:2.0;z=a(1)+a(2)*x+a(3)*x.2+a(4)*x.3;plot(x,z) legend(离散点,y=a(1)+a(2)*x+a(3)*x.2+a(4)*x.3)title(拟合图)三、最小二乘在自动控制及系统辨识中的应用1.用最小二乘法辨识系统模型参数1) 一般最小二乘法原理及算法系统的脉冲传递函数为：若考虑被辨识系统或观测信息中含有噪声 ，则故有：如果定义举例：解：由题意得量测方程 总结一般最小二乘参数辨识流程图：2) 最小二乘法在模型阶次辨识中的应用引言 各种模型参数辨识方法一般需要假定模型的结构已知，实际上在多数情况下这是不现实的。当没有模型结构的先验知识时，需要利用系统的输入输出数据来确定模型的结构。这就是所谓的模型结构辨识问题。对单输入单输出(SISO) 系统来说，模型结构辨识也就是模型阶次辨识。下面给出各种模型结构辨识方法。根据Hankel矩阵的秩估计模型的阶次 定义Henkel矩阵：其中，为系统的脉冲响应值，决定Henkel矩阵的维数。 Henkel矩阵的性质： 定阶准则： 强噪声下的Henkel矩阵：其中，。 利用残差的方差估计模型的阶次1. 残差方差分析 考虑如下模型式中u(k)和z(k) 分别为模型输入和输出变量；v(k) 是均值为零、方差为不相关随机噪声； 和为迟延算子多项式，记作其中n为模型阶次。 模型的最小二乘格式可写成式中，数据向量和参数向量定义为 运用最小二乘原理，可获得模型参数的最小二乘估计为式中，数据矩阵和输出向量定义为其中，L为数据长度。模型阶次为n时，输出残差向量可写成式中且残差的方差具有如下性质它会呈现如下的变化特性V(n)nn0显著下降点2. 白噪声过程的F-Test定阶法通过观察残差方差的变化情况，可确定模型的阶次，具体步骤： 阶次n 逐一增加，当n增加至 时，若呈现显著下降，则确认模型阶次为； 引进统计量t 服从F 分布，自由度为2(n2-n1) 和L-2n2； 设零假设，取风险水平，对应的阀值。 按下式判断模型阶次若,拒绝,若,接受，其中为风险水平下的阀值。这时模型的阶次估计值可取。3. 有色噪声过程的F-Test定阶法 考虑如下模型式中u(k)和z(k) 分别为模型输入和输出变量；v(k) 是均值为零、方差为不相关随机噪声；n和m为模型阶次。 引进统计量 设零假设，取风险水平，对应的阀值。 按下式判断模型阶次若,拒绝,若,接受，其中为风险水平下的阀值。这时过程模型的阶