曲线拟合算法研究及分析

1、曲线拟合算法研究及分析作 者 姓 名 郭腾腾 专 业 信息与计算科学 指导教师姓名 田 霞 专业技术职务 副教授 作 者 姓 名 郭腾腾 专 业 信息与计算科学 指导教师姓名 田 霞 专业技术职务 副教授 目 录摘 要1第一章 曲线拟合算法的简介21.1什么是曲线拟合算法2曲线拟合的基本思想2曲线拟合的概念21.2可化为线性拟合的非线性拟合3第二章 曲线拟合算法的研究42.1曲线拟合的国内外研究现状4曲线拟合的目的及意义4曲线拟合的国内外研究现状5曲线拟合研究设计内容52.2曲线拟合的最小二乘法6最小二乘法的基本原理和多项式拟合6一般最小二乘拟合11最小二乘拟合多项式的存在唯一性13多项式拟合

2、中克服正规方程组的病态14第三章 曲线拟合算法的评价16参考文献 18致谢 19附录 20摘 要判断最佳拟合这个数据的曲线的一个方法是通过找到误差的平均值分析绝对误差。平均误差越小方程拟合的越好。分析这条曲线的另一个办法是找到均方误差。我们用均方误差代替平均误差。同样，均方误差越小，方程拟合的越好。平均误差和均方误差之间最主要的不同是均方误差考虑那些远离预测值的数据值。换句话说，远离预测值的数据对均方误差的影响要比平均误差更大。这是因为当一个两位数取平方时，如果他们没有被平方，他们的差会变大。统计学家们一般在分析中用均方误差，所以我们也用均方误差。在这里，通过对曲线拟合算法的进一步研究，我们对

3、这一算法有了更深刻地认识，并运用最小二乘法的原理，用列主元消去法编程实现了用改进的平方根法求正规方程组。关键词：曲线拟合 最小二乘法 列主元消去法 平方根法ABSTRACTOne way to judge how well the curve fits the data is to analyze the absolute error by finding the mean of the error. The smaller the mean error, the better the fit of equation. Another way to analyze the curve is t

4、o find the mean square error. Instead of finding the mean of the error, we find the mean of squaring the error. Again, the smaller the mean square error, the better the fit of equation. The main difference between mean error and mean square error is that the mean square error takes care more of an a

5、ccount for data values that are farther away from the prediction values. In other words, data that falls far from its predictor has a larger effect on the mean square error than the mean error. Because two numbers differences become greater when two numbers are squared. Generally Statisticians use t

6、he square mean error in analyses, so we will too. Here, We have a better comprehension for the algorithm by taking deeply research，and take the Least square method and Column principle elimination method to solve the normal equations by using improved Square Root Method.Key words: Curve fitting; Lea

7、st square method; Column principle elimination method; Square Root Method第一章 曲线拟合算法的简介1.1什么是曲线拟合算法曲线拟合的基本思想 曲线拟合用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系的一种数据处理方法。用解析表达式逼近离散数据的一种方法。在科学实验或社会活动中，通过实验或观测得到量与的一组数据对，其中各是彼此不同的 。人们希望用一类与数据的背景材料规律相适应的解析表达式，yf(x，c）来反映量x与y之间的依赖关系，即在一定意义下“最佳”地逼近或拟合已知数据。f(x，c)常称作拟合模型 ，

8、式中c(c1，c2，cn)是一些待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度的标准，最常用的一种做法是选择参数c使得拟合模型与实际观测值在各点的残差(或离差)ekykf(xk，c)的加权平方和达到最小，此时所求曲线称作在加权最小二乘意义下对数据的拟合曲线。有许多求解拟合曲线的成功方法，对于线性模型一般通过建立和求解方程组来确定参数，从而求得拟合曲线。至于非线性模型，则要借助求解非线性方程组或用最优化方法求得所需参数才能得到拟合曲线，有时称之为非线性最小二乘拟合。实际工作中，变量间未必都有线性关系，如服药后血药浓度与时间的关系；疾病疗效与疗程长短的关系；毒

9、物剂量与致死率的关系等常呈曲线关系。对于某些非线性的资料可以通过简单的变量变换使之直线化，这样就可以按最小二乘法原理求出变换后变量的直线方程，在实际工作中常利用此直线方程绘制资料的标准工作曲线，同时根据需要可将此直线方程还原为曲线方程，实现对资料的曲线拟合。在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在于选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数

10、。判断最佳拟合这个数据的曲线的一个方法是通过找到误差的平均值，分析绝对误差。平均误差越小方程拟合的越好。分析这条曲线的另一个办法是找到均方误差。我们用均方误差代替找平均误差。同样，均方误差越小，方程拟合的越好。平均误差和均方误差之间最主要的不同是均方误差考虑那些远离预测值的数据值。换句话说，远离预测值的数据对均方误差的影响要比平均误差更大。这是因为当一个两位数取平方时，如果他们没有被平方，他们的差会变大。1.1.2曲线拟合的概念曲线拟合（curve fitting）是指选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析两变量间的关系。曲线拟合的方法很多。实际工作中，变量间未必都有线性关系

11、，如服药后血药浓度与时间的关系；疾病疗效与疗程长短的关系；毒物剂量与致死率的关系等常呈曲线关系。对于某些非线性的资料可以通过简单的变量变换使之直线化，这样就可以按最小二乘法原理求出变换后变量的直线方程，在实际工作中常利用此直线方程绘制资料的标准工作曲线，同时根据需要可将此直线方程还原为曲线方程，实现对资料的曲线拟合。在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在于选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差

12、，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。曲线拟合用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系的一种数据处理方法。用解析表达式逼近离散数据的一种方法。在科学实验或社会活动中，通过实验或观测得到量x与y的一组数据对(xi，yi)（i1，2，m），其中各xi是彼此不同的 。人们希望用一类与数据的背景材料规律相适应的解析表达式，yf(x，c）来反映量x与y之间的依赖关系，即在一定意义下“最佳”地逼近或拟合已知数据。f(x，c)常称作拟合模型 ，式中c(c1，c2，cn)是一些待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度

13、的标准，最常用的一种做法是选择参数c使得拟合模型与实际观测值在各点的残差(或离差)ekykf(xk，c)的加权平方和达到最小，此时所求曲线称作在加权最小二乘意义下对数据的拟合曲线。有许多求解拟合曲线的成功方法，对于线性模型一般通过建立和求解方程组来确定参数，从而求得拟合曲线。至于非线性模型，则要借助求解非线性方程组或用最优化方法求得所需参数才能得到拟合曲线，有时称之为非线性最小二乘拟合。1.2可化为线性拟合的非线性拟合有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理。对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点同哪类曲线图形接近

14、，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。表1-1列举了几类经适当变换化为线性拟合求解的曲线拟合方程及变换关系。表1-1 曲线拟合方程及变换方法曲线拟合方程变换关系变换后线性拟合方程  数据接近于直线，故宜采用线性函数y=a+bx拟合；数据分布接近于抛物线，可采用二次多项式拟合；数据分布特点是开始曲线上升较快随后逐渐变慢，宜采用双曲线型函数或指数型函数；数据分布特点是曲线开始下降快，随后逐渐变慢，宜采用或或等函数拟合。第二章 曲线拟合算法的研究2.1曲线拟合的国内外研究现状2.1.1曲线拟合的目的及意义

15、实际工作中，变量间未必都有线性关系，如服药后血药浓度与时间的关系；疾病疗效与疗程长短的关系；毒物剂量与致死率的关系等常呈曲线关系。曲线拟合（curve fitting）是指选择适当的曲线类型来拟合观测数据，并用拟合的曲线方程分析两变量间的关系。曲线拟合的方法很多。对于某些非线性的资料可以通过简单的变量变换使之直线化，这样就可以按最小二乘法原理求出变换后变量的直线方程，在实际工作中常利用此直线方程绘制资料的标准工作曲线，同时根据需要可将此直线方程还原为曲线方程，实现对资料的曲线拟合。在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在于选择适当的拟合曲线类型，有时根据专业知识和工

16、作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。总之曲线拟合在实际问题中应用非常广泛。2.1.2曲线拟合的国内外研究现状曲线拟合的最小二乘法在应用科学中具有重要作用，它是离散点的最佳平方逼近，由哈尔条件可证明解的存在唯一性，而采用离散点正交多项式可避免解法方程时出现的病态问题，为用多项式做最小二乘模型提供了可行的算法。对于利用曲线拟合算法来预报转子位置，从而更准确地控制各相绕组开通与关断的新方法，位置检测环节是开关

17、磁阻电动机（SRM）驱动系统的重要组成部分，检测到的位置信号既是绕组开通与关断的依据，也为转速闭环控制提供了转速信息。基于非通电相加激励脉冲判断SRM转子位置的方法1，建立了最高激励脉冲频率的数学模型，分析了其对位置检测精度的影响，提出了利用曲线拟合的最小二乘算法来预报转子位置以提高控制精度的新方法，从而提高了无位置传感器SRM驱动系统的运行性能2。现在国内外许多科学家都致力于曲线拟合算法的研究，例如，有人发明提出了一种反问题的计算机曲线拟合方法，该方法包括步骤：将实际测试数据和缺省模型的理论曲线画在计算机显示屏幕的同一图形显示区内；判断缺省模型是否合理，如果缺省的理论模型与实测数据的曲线形态

18、一致，则认为缺省模型合理，否则重新选择缺省模型；选择模型参数；判断选择参数对理论曲线形状的影响，通过可视化操作改变理论曲线的形态，使之与实际曲线的形态一致；判断曲线位置是否一致，若不一致则移动实际曲线位置；计算反问题的解。2.1.3曲线拟合研究设计内容曲线拟合是用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系，用解析表达式逼近离散数据的一种方法。在科学实验或社会活动中，通过实验或观测得到量x与y的一组数据对(xi，yi)（i1，2，m），其中各xi是彼此不同的。人们希望用一类与数据的背景材料规律相适应的解析表达式yf(x，c）来反映量x与y之间的依赖关系，即在一定意义下“最佳

19、”地逼近或拟合已知数据。f(x，c)常称作拟合模型，式中c(c1，c2，cn)是一些待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度的标准，最常用的一种做法是选择参数c使得拟合模型与实际观测值在各点的残差(或离差)ekykf(xk，c)的加权平方和达到最小，此时所求曲线称作在加权最小二乘意义下对数据的拟合曲线。对于线性模型一般通过建立和求解方程组来确定参数，从而求得拟合曲线。至于非线性模型，则要借助求解非线性方程组或用最优化方法求得所需参数才能得到拟合曲线，有时称之为非线性最小二乘拟合。本课题拟总结有关类型的曲线的拟合的各种方法，并对其给出综合评价，提出新的

20、一种曲线拟合算法或对已有的算法进行改进优化，目标是比起已有的算法，收敛速度更快，更节省时间。2.2曲线拟合的最小二乘法2.2.1最小二乘法的基本原理和多项式拟合1最小二乘法的基本原理 最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。它通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。 比如从最简单的一次函数y=kx+b讲起。 已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次

21、函数关系式。 当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求。从整体上考虑近似函数同所给数据点 (i=0,1,m)误差 (i=0,1,m)的大小，常用的方法有以下三种：一是误差 (i=0,1,m)绝对值的最大值，即误差向量的范数；二是误差绝对值的和，即误差向量r的1范数；三是误差平方和的算术平方根，即误差向量r的2范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑 2范数的平方，因此在曲线拟合中常采用误差平方和来度量误差 (i=0，1，m)的整体大小。数据拟合的具体作法是：对给定数据 (i

22、=0,1,，m)，在取定的函数类中，求,使误差 (i=0,1,m)的平方和最小，即 从几何意义上讲，就是寻求与给定点 (i=0,1,m)的距离平方和为最小的曲线（图2-1）。函数称为拟合 函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。在曲线拟合中，函数类可有不同的选取方法.图2-12多项式拟合假设给定数据点 (i=0,1,m)，为所有次数不超过的多项式构成的函数类，现求一，使得 (2-1)当拟合函数为多项式时，称为多项式拟合，满足式（2-1）的称为最小二乘拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。显然为的多元函数，因此上述问题即为求的极值问题。由多元函数求极值的必要

23、条件，得 (2-2)即 (2-3)（2-3）是关于的线性方程组，用矩阵表示为 (2-4)式（2-3）或式（2-4）称为正规方程组或法方程组。可以证明，方程组（2-4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式（2-4）中解出 (k=0,1,，n)，从而可得多项式 (2-5)可以证明，式（2-5）中的满足式（2-1），即为所求的拟合多项式。我们把称为最小二乘拟合多项式的平方误差，记作由式(2-2)可得 (2-6)多项式拟合的一般方法可归纳为以下几步：(1) 由已知数据画出函数粗略的图形散点图，确定拟合多项式的次数n；(2) 列表计算和；(3) 写出正规方程组，求出；(4) 写出拟合多项式。

24、在实际应用中，或；当时所得的拟合多项式就是拉格朗日或牛顿插值多项式3。例1 测得铜导线在温度 ()时的电阻如表2-1，求电阻R与温度 T的近似函数关系。表2-1i0123456 ()19.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解 画出散点图（图2-2），可见测得的数据接近一条直线，故取n=1，拟合函数为列表如下表2-2i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.8004

25、40.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正规方程组为解方程组得故得R与T的拟合直线为利用上述关系式，可以预测不同温度时铜导线的电阻值。例如，由R=0得T=-242.5，即预测温度T=-242.5时，铜导线无电阻。图2-2 例2已知实验数据如下表表2-3i01234567813456789101054211234试用最小二乘法求它的二次拟合多项式。解 设拟合曲线方程为列表如下表2-4I011011110101359278115452441

26、6642561664352251256251050461362161296636571493432401749682645124096161287938172965612724381041001000100004040053323813017253171471025得正规方程组解得故拟合多项式为2.2.2一般最小二乘拟合多项式拟合形式比较规范，方法也比较简单，但在实际应用中，针对所讨论问题的特点，拟合函数可能为其他类型，如指数函数、有理函数、三角函数等，这就是一般最小二乘拟合问题。1线性最小二乘拟合设为n+1个线性无关（与向量的线性无关定义类似）的连续函数，为所张成的n+1维线性空间，即由其所

27、有线性组合构成的集合，记作 任取，则，它是关于的线性函数。对已知数据点，在中求一，使得 (2-7)这就是一般线性最小二乘拟合问题4。同多项式拟合完全类似，上述问题归结为多元函数的极值问题。由多元函数求极值的必要条件，可得即 (2-8)它是关于的线性方程组，即为一般线性最小二乘拟合的正规方程组或 法方程组，系数矩阵为对称矩阵。记则式（2-8）可用矩阵表示为 (2-9)式（2-9）也可表示为 （2-10）如果G的列向量组线性无关，即R(G)=n+1，则正规方程组（2-9）或（2-10）存在唯一解a=，从而为满足式（2-7）的最小二乘拟合函数。显然，式（2-9）或式（2-10）的解a=是超定方程组的

28、最小二乘解。特别地，当取时，即为多项式拟合，所以多项式拟合是一般最小线性二乘拟合的特殊情况。 例3 已知一组数据如下表，在中求其拟合函数。表2-500.10.20.30.40.50.622.202542.407152.615922.830963.054483.28876解 设拟合函数为 即代入式(2-10)得所以解正规方程组得故所求拟合曲线为2.2.3最小二乘拟合多项式的存在唯一性定理1 设节点互异，则方程组（2-10）的解存在唯一。证 由克莱姆法则，只需证明方程组（2-10）的系数矩阵非奇异即可。用反证法，设方程组（2-10）的系数矩阵奇异，则其所对应的齐次方程组 （2-11）有非零解。式(

29、2-11)可写为 （2-12）将式（2-12）中第j个方程乘以 (j=0,1,，n)，然后将新得到的n+1个方程左右两端分别相加，得。因为其中所以 (i=0,1,m)是次数不超过n的多项式，它有m+1n个相异零点，由代数基本定理，必须有，与齐次方程组有非零解的假设矛盾。因此正规方程组（2-10）必有唯一解。定理2 设是正规方程组（2-10）的解，则是满足式（2-7）的最小二乘拟合多项式。证 只需证明，对任意一组数组成的多项式，恒有即可。因为 (k=0,1,，n)是正规方程组（2-10）的解，所以满足式（2-8），因此有 故为最小二乘拟合多项式5。2.2.4多项式拟合中克服正规方程组的病态在多项

30、式拟合中，当拟合多项式的次数较高时，其正规方程组往往是病态的。而且正规方程组系数矩阵的阶数越高，病态越严重；拟合节点分布的区间偏离原点越远，病态越严重； (i=0,1,，m)的数量级相差越大，病态越严重。为了克服以上缺点，一般采用以下措施：尽量少作高次拟合多项式，而作不同的分段低次拟合；不使用原始节点作拟合，将节点分布区间作平移，使新的节点关于原 点对称，可大大降低正规方程组的条件数，从而减低病态程度。平移公式为： (2-13)对平移后的节点 (i=0,1,，m),再作压缩或扩张处理： （2-14）其中,（r是拟合次数） （2-15）经过这样调整可以使的数量级不太大也不太小，特别对于等距节点，

31、作式（2-14）和式（2-15）两项变换后，其正规方程组的系数矩阵设为A，则对14次多项式拟合，条件数都不太大，都可以得到满意的结果。变换后的条件数上限表如下：表2-6拟合次数1234=1<9.9<50.3<435 在实际应用中还可以利用正交多项式求拟合多项式。一种方法是构造离散正交多项式；另一种方法是利用切比雪夫节点求出函数值后再使用正交多项式。这两种方法都使正规方程组的系数矩阵为对角矩阵，从而避免了正规方程组的病态性6。 例4 m=19,=328,h=1, =+ih，i=0,1,，19，即节点分布在328,347，作二次多项式拟合时， 直接用构造正规方程组系数矩

32、阵，计算可得严重病态，拟合结果完全不能用。 作平移变换 用构造正规方程组系数矩阵，计算可得比降低了13个数量级，病态显著改善，拟合效果较好。 取压缩因子作压缩变换。用构造正规方程组系数矩阵，计算可得，又比降低了3个数量级，是良态的方程组，拟合效果十分理想。如有必要，在得到的拟合多项式中使用原来节点所对应的变量x，可写为仍为一个关于x的n次多项式，正是我们要求的拟合多项式。第三章 曲线拟合算法的评价曲线拟合用连续曲线近似地刻画或比拟平面上离散点组所表示的坐标之间的函数关系的一种数据处理方法。用解析表达式逼近离散数据的一种方法。在科学实验或社会活动中，通过实验或观测得到量x与y的一组数据对(xi，

33、yi)（i1，2，m），其中各xi是彼此不同的 。人们希望用一类与数据的背景材料规律相适应的解析表达式，yf(x，c）来反映量x与y之间的依赖关系，即在一定意义下“最佳”地逼近或拟合已知数据。f(x，c)常称作拟合模型 ，式中c(c1，c2，cn)是一些待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度的标准，最常用的一种做法是选择参数c使得拟合模型与实际观测值在各点的残差(或离差)ekykf(xk，c)的加权平方和达到最小，此时所求曲线称作在加权最小二乘意义下对数据的拟合曲线。有许多求解拟合曲线的成功方法，对于线性模型一般通过建立和求解方程组来确定参数，从而

34、求得拟合曲线。至于非线性模型，则要借助求解非线性方程组或用最优化方法求得所需参数才能得到拟合曲线，有时称之为非线性最小二乘拟合。实际工作中，变量间未必都有线性关系，如服药后血药浓度与时间的关系；疾病疗效与疗程长短的关系；毒物剂量与致死率的关系等常呈曲线关系。对于某些非线性的资料可以通过简单的变量变换使之直线化，这样就可以按最小二乘法原理求出变换后变量的直线方程，在实际工作中常利用此直线方程绘制资料的标准工作曲线，同时根据需要可将此直线方程还原为曲线方程，实现对资料的曲线拟合。在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在于选择适当的拟合曲线类型，有时根据专业知识和工作经验

35、即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。对于解AX=b，平方根法要求A是对称且正定矩阵，由于平方根法里面要计算根号，计算量就比较大，而且工程中的A不一定都是正定的。所以在工程中采用改进的平方根法（它解出来的解与真解有一点误差，但是相当相近），也就是说A只要对称就行了。而列主元消去法跟高斯消去法差不多，就多了一个选主元（绝对值最大）。（以列主元消去法为例，具体程序见附录）。有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理。对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点同哪类曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。参考文献1詹琼华,王双红,肖楚成. 开关磁阻