第十一讲数据拟合与线性最小二乘拟合

第十一讲数据拟合与线性最小二乘拟合第1页，共17页，2023年，2月20日，星期一1．曲线拟合的提法与求解思路1）.提法曲线拟合问题的提法是，已知一维（二维）数据，即平面上的n个点(xi，yi)，i=1,2,…,n，xi互不相同，寻求一个函数(曲线)y=f(x)，使f(x)在某种准则下与所有数据点最为接近，即曲线拟合的最好，如下图所示(图中δi为(xi，yi)与y=f(x)的距离)。2）.求解思路线性最小二乘法是解决曲线拟合最常用的方法。基本思路是，令f(x)=a1r1(x)+a2r2(x)+…+amrm(x)(1)其中rk(x)是事先选定的一组函数，ak是待定系数(k=1,2,…,m，m<n)。拟合准则是使n个点(xi，yi)，i=1,2,…,n，与y=f(xi)的距离δi

的平方和最小，称为最小二乘准则。Oxyδi(xi，yi)第2页，共17页，2023年，2月20日，星期一2．线性最小二乘法1）.理论———基本理论之ak的确定根据最小二乘准则，记J(a1，a2，…，am)=为求a1，a2，…，am是J达到最小，只需要利用极值的必要条件得到关于a1，…，am的线性方程组第3页，共17页，2023年，2月20日，星期一2．线性最小二乘法记，A=(a1，a2，…，am)T，y=(y1，…，yn)T，方程组(3)可表为RTRA=RTy(4)(4)称为法方程组，当{r1(x)，…，rm(x)}线性无关时，R列满秩，RTR可逆，于是方程组(4)有唯一解A=(RTR)-1RTy(5)可以看出，只要f(x)关于待定系数a1，…，am线性，在最小二乘准则（2）下得到的方程组(3)关于a1，a2，…，am也一定是线性的，故称线性最小二乘法。第4页，共17页，2023年，2月20日，星期一2．线性最小二乘法2)理论______函数rk(x)的选取面对一组数据(xi，yi)，i=1,2,…,n，用线性最小二乘法作曲线拟合时，首要的、也是关键的一步是恰当地选取r1(x)，r2(x)，…，rm(x)。

如果通过机理分析，能够知道y与x之间应该有什么样的函数关系，则r1(x)，…，rm(x)容易确定。若无法知道y与x之间的关系，通常可以将数据(xi，yi)，i=1,2,…,n作图，直观地判断应该用什么样的曲线去作拟合。人们常用的参数曲线有u

直线y=a1x+a2u

多项式y=a1xm+…+amx+am+1(一般m=2,3,不宜过高)u

双曲线（一支）y=a1/x+a2u

指数曲线对于指数曲线，拟合前需作变量代换，化为对a1，a2的线性函数。已知一组数据，用什么样的曲线拟合最好，可以在直观判断的基础上，选择集中曲线分别作拟合，然后比较，看那条曲线的最小二乘指标J最小。第5页，共17页，2023年，2月20日，星期一2．线性最小二乘法3）求解方法（1）

描出数据的图示；（2）

观察并选择不同的数学模型进行拟合；（3）

比较多种拟合结果，选择其中较好的一种或者某几种作为备选结果；注意：通常需要将非线性函数rk(x)的转化成线性的函数Rk(x)，然后再用Rk(x)进行拟合，计算中通常需要列下表：i01…nxix0x1…xnyi=f(xi)y0y1…ynR1(x)R1(x0)R1(x1)…R1(xn)………………Rm(x)Rm(x0)Rm(x1)…Rm(xn)这样就容易确定出法方程组RTRA=RTy。上表中后面的m行即为RT。第6页，共17页，2023年，2月20日，星期一2．线性最小二乘法3）.算例例

给定数据(xi，f(xi))，i=0,1,2,3,4，见下表，使选择适当的模型，求最小二乘拟合函数g(x)。

i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=lnf(xi)1.6291.7561.8762.0082.135解：（1）、先描出数据的图示第7页，共17页，2023年，2月20日，星期一2．线性最小二乘法（2）选定不同的数学模型或者rk(x)进行拟合

直线模型y=a+bx

选取线性函数模型，选取Y=a+bx，此时，r1(x)=1，r2(x)=x。要求Y=a+bx与(xi，yi)，i=0,1,2,3,4，做最小二乘拟合，Yi=f(xi)。列表计算如下：i01234xi1.001.251.501.752.00Yi=f(xi)5.105.796.537.458.46r1(x)11111r2(x)1.001.251.501.752.00第8页，共17页，2023年，2月20日，星期一2．线性最小二乘法求解法方程组得到a=1.6380，b=3.3520，于是得到该模型下的最小二乘拟合曲线为g(x)=1.6380+3.3520x。

第9页，共17页，2023年，2月20日，星期一2．线性最小二乘法

多项式模型y=a0+a1x+a2x2

选取线性函数模型，选取Y=a+bx+cx2，此时，

r1(x)=1，r2(x)=x，r3(x)=x2。要求Y=a+bx+cx2与(xi，yi)，i=0,1,2,3,4，做最小二乘拟合，Yi=f(xi)。列表计算如下：i01234xi1.001.251.501.752.00Yi=f(xi)5.105.796.537.458.46r1(x)=111111r2(x)=x1.001.251.501.752.00r3(x)=x21.001.56252.253.06254.00第10页，共17页，2023年，2月20日，星期一2．线性最小二乘法求解法方程组得到

a=3.6294，b=0.5406，c=0.9371，于是得到该模型下的最小二乘拟合曲线为g(x)=3.6294+0.5406x+0.9371x2第11页，共17页，2023年，2月20日，星期一2．线性最小二乘法

双曲线模型y=1/(a0+a1x)

选取双曲函数模型，例如，选取y=1/(a0+a1x)，令Y=1/y=a0+a1x，此时，r1(x)=1，r2(x)=x。要求Y=a0+a1x与(xi，yi)，i=0,1,2,3,4，做最小二乘拟合，Yi=1/f(xi)。列表计算如下：i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=1/f(xi)0.1960780.1727120.1531390.1342280.118203r1(x)11111r2(x)1.001.251.501.752.00第12页，共17页，2023年，2月20日，星期一2．线性最小二乘法求解法方程组得到

a0=0.27139，a1=-0.07768，于是得到该模型下的最小二乘拟合曲线为g(x)=1/(0.27139-0.07768x)。

第13页，共17页，2023年，2月20日，星期一2．线性最小二乘法

l

指数曲线模型y=aebx

根据给定数据选择数据模型y=aebx，取对数lny=lna+bx，令Y=lny，A=lna，取r1(x)=1，r2(x)=x，要求Y=A+bx与(xi，Yi)，i=0,1,2,3,4，做最小二乘拟合，Yi=lnf(xi)。计算结果如下：

i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=lnf(xi)1.6292405401.7561322921.876406942.008214032.13534917r1(x)11111r2(x)1.001.251.501.752.00第14页，共17页，2023年，2月20日，星期一2．线性最小二乘法

求解法方程组得到

A=1.1225，b=0.5057，a=eA=3.072525924，于是得到此模型下的最小二乘拟合g(x)=3.072525924e0.5057x

。第15页，共17页，2023年，2月20日，星期一2．线性最小二乘法

(3)比较上面的结果如下:i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46直线模型4.995.836.677.508.340.49e-1多项式模型5.1075.7696.5497.4458.460.85e-3双曲线模