工程数学0函数拟合-离散数据最小二乘法

实例1：某种下表是实际测定的24个纤维样品的强度与相应拉伸倍数的记录拉伸倍数强度kg/mm2拉伸倍数强度kg/mm211.91.4135.05.522.01.3145.25.032.11.8156.05.542.52.5166.36.452.72.8176.56.062.72.5187.15.373.53.0198.06.583.52.7208.07.094.04.0218.98.5104.03.5229.08.0114.54.2239.58.1124.63.52410.08.1第三章最小二乘法与曲线拟和纤维的强度与其拉伸倍数有直接关系，提示：将拉伸倍数作为x,强度作为y,在座

标纸上标出各点，可以发现什么?9876543210024681012实例2：002222ax

b

sin

xdx

0即022[ax

b

sin

x]

dx达到最小选取常数a,b使202a

bax

b

sin

x

xdx

0I

0,

I

0[ax

b

sin

x]

dx确定a,b使I(a,b)达到最小，必须满解：设I(a,b)20002000ax

sin

xdxasin

xdx22222x

dx

bx

dx

x

dx

bdx

2

2

3

2

24

a

8

b

1a

b

1

8解得a

0.6644389,

b

0.1147707问题的提出,n)。在科学工程实验中，常常会遇见很多的函数，但它的解析表达式是未知的，仅能通过实验观测的方法得到一系列的数据(xi

,yi

)(i

1,2,而数值方法的目标之一，就是确定一个函数y

g(x,)将这些变量联系起来。注意现在的问题不同与前面介绍的“插值”。怎样从一组数据出发，寻求函数的近似表达式g(x),要求g(x)反映数据的近基本趋势而又不一定过全部的点(xi

,yi

)，这就是曲线拟合问题，g(x)称为拟合曲线。用几何语言来说就是寻求一条曲线g(x)来拟合（平滑）这几个点。连续函数最佳平方

近（最小二乘）问题的一般提法nj0在内积空间C[a,b]中，设f

(x)C[a,b],但f

(x),在中寻找一个函数g(x)

c

j

j

(x)

22

(

x

)f

(

x)

(

x)

2使得

f

(

x)

g(

x)

2

min若g(x)存在,则称其为f

(x)在[a,b]上的最佳平方近函数。需要解决的几个重要问题：中g(x)的存在唯一性；构造g(x)的具体方法；平方误差（偏差）||

(x)||2

||

f

(x)

g(x)||2

。(

j

0,1,

...,

n)定理3.1

设内积空间X

C[a,b]中的子空间

span{0

(x),1

(x),...,n

(x)}

X，函数g(x)

是对f

(x充分必要条件是f

(x)

g(x)与所有的

j

(x)(j=0,1,...,n)正交，即满足(f

(

x)

g(

x),

j

(

x))

0,f

(

x)

g(

x)f

(

x)g(

x)几何解释正交投影222

njaj1nj1

b

(

x)

f

(

x)

c

j

(

x)

dxn

n

(

f

c

j

j

(

x),

f

c

j

j

(

x))j1

j1

f

c

j

j

(

x)证明：（必要性）设g(x)是最小二乘解bnkacj

j

(x)]k

(x)dxj1

2

(x)[

f

(x)

ck

1,

2,...,

n根据多元函数极值点的必要条件：

2(

f

(x)

g(x),k

(x))

0从而必要性得证。nj0

c

j

(

j

,k

)

(

f,k

),

(k

0,1,

...,

n)

(1)0

1

0

1

1

1n

1

n

1

(n

,n

)cn

(

f

,n

)(0

,n

)c0

(1

,n

)c1

法

(0

,0

)c0

(1

,0

)c1

方

(

,

)c

(

,

)c

程组

(n

,0

)cn

(f

,0

)正

(

,

)c

(f

,

)规方程组nj0对于任意(x)

，(x)

j

j

(x),必有(

f

(

x)

g(

x),(

x))

0因为f

(

x)

(

x)

2

f

(

x)

g(

x)

g(

x)

(

x)

2

f

(

x)

g(

x)

2

2(

f

(

x)

g(

x),

g(

x)

(

x))

g(

x)

(

x)

2

f

(

x)

g(

x)

2

g(

x)

(

x)

2

f

(

x)

g(

x)

2所以，g(x)是中对f

(x)的最佳平方

近函数。要证对于任意(

x)

有

f

(

x)

g(

x)

f

(

x)

(

x)(充分性)设g(x)满足(f

(x)

g(x),k

(x))

0,k

0,1,,n0

1

1

1

n

1

(

,

)

(

,

)

(

,

)

R(n1)(n1)(

,

)

(

,

)(

,

)

0

n

1

n

n n

F

((

f

,0

),(

f

,1

),,(

f

,n

))

RT

n1其中

G

矩阵G称为关于0

(x)，1

(x)，，n

(x)的Gram（

）矩阵，也常记为G(0

,1,

,n

)由0

(x)，1

(x)，，n

(x)是线性无关的，容易证明Gram矩阵是非奇异的。若记向量C

(c

,c

,

c

)T

Rn1,用矩阵形式表示为GC

F0

1

n称

GC

F

为法方程(0

,0

)

(1

,0

)

(n

,0

)定理3.2

设j

(x)(j=0,1,...,n)是内积空间中的元素，则其Gram矩阵G非奇异的充分必要条件是0

(x),1(x),...,n

(x)线性无关。证明：充分性：0

(x),1(x),...,n

(x)线性无关

G非奇异。n反证法：设G奇异，则GC

=0有非零解,即：（j

(x)，k

(x)）c

j

=0,k=0,1,...,n有非零解。j=0n

(c

jj

(x)，k

(x))=0,k=0,1,...,n有非零解。j=0n

nj=0

k=0n由上式得(

c

jj

(x)，

ckk

(x))=0

ckk

(x)

0,c0

,c1

,...,cn不全为零。k=0n

解法方程GC=F求出C以后，就可得到最佳平方

近函数g(

x)

c

jj

(

x)j=0所以0

(x),1(x),...,n

(x),线性相关,之亦然。nk=0

ckk

(x)

0,c0

,c1

,...,cn不全为零。T

(1,

,

n

)

0n

n

n

ni

(i

(x),

j

(x))j

(ii

(x),

j

j

(x))

0i1

j1

i1

j1可以证明G是对称正定的2

(

x)

2

f

(

x)

g(

x)

2

(

f

(

x)

g(

x),

f

(x)

g(x))记

(

x)

fnn

(

f

(

x),

f

(

x))

(g(

x),

f

(

x))

(

f

(

x),

f

(

x))

(c

j

j

(

x),

f

(

x))j0

(

f

(

x),

f

(

x))

c

j

(

j

(

x),

f

(

x))j0平方误差（偏差）估计2简称平方误差（偏差。）称||

(x)

||2

为最佳平方

近误差离散数据最小二乘问题的一般提法2(1)mi

i

i,

xm

,,

f

(

xm

),i

0

(

f

(

x

)

s(

x

))

min及权系数0

,1

,...,m,并已知函数模型s(x,c)。用给定的数据点，按给定的函数模型，构造拟合函数s(x)此问题称为最小二乘曲线拟合，又称为离散数据的最佳平方使拟合误差的平方和最小——最小二乘原理一、问题的提法与计算给定m

1个数据点

xi

x0

,

x1

,f

(

xi

)

f

(

x0

),

f

(

x1

),0

1n1

ns(

x,

c)是关于系数c

(c

,

c

,

,

c

,

c

)T

的非线性函数。如：s(x,c)

c

x

c

ec2

x0

1两种拟合问题1

00

1nn1

nxn1

c

x

c1.

线性最小二乘曲线拟合如：取s(x,c)

c

xn

cn

n1s(

x,

c)是关于系数c

(c

,

c

,

,

c

,

c

)T

的线性函数。这是多项式拟合。n若取s(

x,

c)

c

e

x

2

c

e

x

c

e

x

c

，这也是2

1

0关于系数的线性拟合。2.

非线性最小二乘曲线拟合a

x

a

x

a

x

b22n

n22

221

1a11

x1

a12

x2

a1n

xn

b1或aN

1

x1

aN

2

x2

aNn

xn

bNnaij

x

j

bi

(i

1,

2,

,

N

)j1矩阵形式为Ax

b一、用最小二乘法求解方程组这由线性代数的理论可知，当系数矩阵的秩与增广矩阵的秩偏差的绝对值之和N|

i

|i1尽可能的小，为了便于计算和应用，常采用使偏差的平方和N

N

n

i

ij

j

i2

(

a

x

b

)2Q

i

1

i

1

j

1达到最小值，这一条件称为最小二乘原则，按最小二乘原则来选的解a1

,a2

,…,an

称为方程组的最小二乘解。不等时，方程组无解，这时上式称为

样的方程组在某种意义下的解的求法。nj1说明：求得的

方程组的解

a1

,

a2,…,

an

应使得

bi

(i

1,2,

,

N)偏差：

i

aij

xj定理3.30000122pP1 2

P1

n

P1 2

P0P01

n

P02

n

P0

nP0xk

2

f2

f2

f

x2x

xx

x

f2

f2

f

x2x

xM

x

x2

n

P0

2

f

2

f

x

xx

xx2设n元实函数f

(x1,

x2

,

,

xn

)在点p0

(a1,

a2

,

,

an

)的某个邻域内连续，且有一阶及二阶连续的偏导数，如果（1

f>

0(2)矩阵,

xn

)2

f

,an

)是n元实函数f

(x1,x2

,是正(负)定矩阵，则f

(a1,a2

,的极小(大)值定理3.41

2

n非齐次线性方程组Ax

b的系数矩阵A

(aij

)N

n，若rank

A

n，则矩阵AT

A是对称正定矩阵；n阶线性方程组AT

Ax

AT

b有唯一解。证明:(1)显然AT

A为对称矩阵。设齐次线性方程组Ax

0，其中x

(

x

,

x

,

,

x

)T。因为rank

A

n，所以齐次方程组有唯一解，故对于任意的x

0，有Ax

0，于是

(Ax)T

Ax

xT

(AT

A)x

0故矩阵AT

A是正定矩阵。(2)因为AT

A是正定矩阵，所以rank(AT

A)

n，故线性方程组AT

Ax

ATb有唯一解。定理3.521

1

22

2N

nn

ij

jii

1

j1

a1n

xn

b1a11x1

a12

x2

a

x

a

x

a2n

xn

b2ax

a

x

a

x

b

N

1

1

N

2

2

Nn

n

N

b

)2,

x

)

(a

x设

方程组的系数矩阵A的秩为n，则二次函数Q

f

(

x1

,

x2

,一定存在最小值。,xn的二次函数，因而Q连续且有连续的证明易知Q为关于x1

,x2

,一阶及二阶偏导数nj1n

nj1

j1

2a1k

(a1

j

x

j

b1

)

2a2k

(a2

j

x

j

b2

)xkQ

2aNk

(aNj

x

j

bN

)因为nNNj

jnn1k

2ka

x

b

2(a

a1

j

x

j

b1

j1Nk

j1

j1

2(a1k

,a2k

,,aNk

)(

Ax

b)a2

j

x

j

b2,a

,,a

)

n

x

x

Q

1

Q

x2

2AT

(

Ax

b)

2(

AT

Ax

AT

b)

Q

故0PQ

0

(k

1,

2,

,

n)xkxkrank

A

n

AT

Ax

AT

b

有唯一解令Q

0(k

1,2,,n),即AT

Ax

AT

b又因为Nk

tx

xi

1

a2

ka2

t

2Q

2(a1ka1t

aNk

aNt

)

2aik

ait(k,t

1,2,,n)aa

aa

aa

aTNNNNNNi1

ina

2i1

i

2a

2

2A

A

NM

2

2in

ai

2ain

i1

i

1

i

1

i

1

i

2

in

i

1

i

1

i1

in

i

1

Ni

1Ni

1i

1ai1ai

2

i

2a

a

所以当rank

A

n时，M为对称正定矩阵，故Q存在极小值点，又由于方程组只有唯一解，故Q的极小值就是最小值,故P0即为最小值点。二、多项式拟和（线性最小二乘法）由测量得到函数y

f

(

x)的一组数据如下x1

x2

xN2N

N2iiiy

(

x)

a

a

x

a

x2

0

1

2

a

xm

(m

N

1)mQ

(

x

)

y

i

1

i

1y1

y2

yN求一个次数低于N

1的多项式使其最好的拟和这组数据，即使得(x)在xi的偏差

i

(

xi

)

yi

(i

1,

2,

,

N

)的平方和达到最小。01

1

2

10

1

2

2

211222m

2

2m

NNmNxay1

xxmxxa

a

x

a

x2

a xm

ym

1

1

a xm

ya

a

x

a

x2

a

a xm

y

0

a

x

a

x

21

N

2

N

1xm

a0

y1

1

A

x

b

y

1

a

N

N

m

矩阵形式为Ax

b，其中

Nmii

i

NiN

Ni

iNiNNmiNx yi

x

y

yi

AT

b

xxmxx

NAT

A

xi

i

1

i

1

i

1

N

i

12mi

1xm

1

i

1m

1

2

i

1i

1

xii

1N

xii

1Ni

1NNNNNi

i

i

i

m

N

NNNm

i

imx

yx

yi

1m

i

i

ii

1

i

1x2m

xm

y

i

1

ii

1a0

xm

ai

1i

1xm1

i

1Ni

1i

1i

1

i

1xm1

aa0

xi

a1

x2

aa0N

a1

xi

a正则方程组为N定理6.4x1

,x2

,

,xN互异，且N

m

1，则上述正则方程组有唯一的解。例6.2试用最小二乘法求一个多项式，使与下列数据相拟和xi1345678yi105421120

1

2

3

4

5

6

7

8

xy

。。。。。。。。解：(1)作草图,发现函数图形近似为抛物线0

a1

x

a2

x2(

x)

a(2)构造，设拟和曲线为次二多项式(3)

写出方程组，将数据代入拟和曲线2100102108

64aaa24

16aa2

a4aaa590

a

x

a

x21

2(x)

a得(4)写出正则方程组，并求解

382

25

200

2

8756

a

1288

a1

80

7

34

200

a0

34

2001288AT

Ax

AT

b解得a0

13.4451，a1

3.5850，a2

0.2639故拟和曲线为(

x)

3.4451

3.5850x

0.2639x20

10

10

1a0

a1

10a

3a

5a

4a

4a0

5a1

4a

6a

1a0

7a1

1a

8a

2

0

1若用一次多项式y

a0

a1

x

拟和上述数据，将数据代入拟和曲线用最小二乘法解得所求拟和曲线为(

x)

7.0984

0.6016x拟和曲线均方差最大偏差二次多项式0.93480.6725一次多项式3.53352.1637来判断拟和曲线的优劣。通常用均方差2Ni

i1i

Ni

1与最大偏差ma