第六章回归分析-yj

6-1第六章回归分析(regressionanalysis)

6-2表达变量之间的关系

问题：

测量与数据处理的目的不是被测量的估计值，而是寻找两个或多个变量之间的内在关系。目的被测量的估计值及其精度变量间的关系及其精度第五、六章的比较

第六章回归分析6-3可由回归分析得到表达变量之间的关系

散点图、表格、曲线

简单明了，但不能深刻反映变量间的内在关系，且使用不方便。数学表达式形式严密，能充分表达变量间的关系问题：

测量与数据处理的目的不是被测量的估计值，而是寻找两个或多个变量之间的内在关系。第六章回归分析大纲要求理解回归分析的基本概念。掌握一元线性回归方法。了解两个变量都具有误差时的线性回归方程。了解一元线性回归方法。了解多元线性回归方法。6-46-5第一节回归分析的基本概念一、函数与相关1.函数关系（确定性关系）（functionrelation）

如以速度作匀速运动的物体，走过的距离与时间之间，有如下的函数关系

定义:可以用明确的函数关系式精确地表示出来如电路中的欧姆定律:I=V/R。等等6-6第一节回归分析的基本概念一、函数与相关定义：这些变量之间既存在着密切的关系，又不能由一个（或几个）自变量的数值精确地求出另一个因变量的数值，而是要通过试验和调查研究，并从统计的角度，才能确定它们之间的关系。

2.相关关系（随机性关系）（correlationrelation）如人的身高(y)与体重(x)之间的关系如零件加工误差和直径之间的关系如某种高档消费品的销售量与城镇居民收人之间的关系6-73、函数与相关的关系

函数和相关虽然是两种不同类型的变量关系，但它们之间并无严格的界限。

一方面由于测量误差的原因，使确定的关系以相关关系表现出来。另一方面，当对事物内部规律性了解得更加深刻的时候，相关关系又能转化为确定性关系。一、函数与相关第一节回归分析的基本概念6-8二、回归分析的主要内容

3、

进行因素分析，确定各因素的影响程度。例如对于共同影响一个变量的许多变量（因素）中，找出哪些是重要因素，哪些是次要因素。

回归分析是英国生物学家兼统计学家高尔顿（Galton）在1889年出版的《自然遗传》一书中首先提出的，是处理变量之间相关关系的一种数理统计方法。本章主要内容：1、从一组数据出发，确定这些变量之间的数学表达式----回归方程或经验公式。

2、对回归方程的可信程度进行统计检验。

第一节回归分析的基本概念6-9第五、六章的比较

目的被测量的估计值及其精度变量间的关系及其精度关系函数关系(如:y=y0(1+αt)相关关系(如:y=b0+b1x)第一节回归分析的基本概念6-10第二节一元线性回归

一、一元线性回归方程

二、回归方程的方差分析及显著性检验

三、重复试验情况

四、回归直线的简便求法(自学)

6-11一、一元线性回归方程(onedimensionallinearregessionequation)第二节一元线性回归6-12(一)回归方程求法（1）建立回归模型(回答“变量之间是什么样的关系?”)回归模型一元回归线性回归非线性回归线性回归非线性回归多元回归一个自变量两个及两个以上自变量回归模型：描述因变量y如何依赖于自变量和误差项的方程称为回归模型.一元线性回归：确定两个变量之间的线性关系，即直线拟合问题。第二节一元线性回归6-13例：确定某段导线的电阻与温度之间的关系：19.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10散点图：202530354045507678828084（1）建立回归模型(一)回归方程求法

例6-1第二节一元线性回归6-14从散点图可以看出：电阻与温度大致成线性关系。设测量数据有如下结构形式：式中，分别表示其它随机因素对电阻影响的总和。（1）建立回归模型(一)回归方程求法

例6-11、误差项是一个服从正态分布的随机变量，且相互独立。即假定：2、xi可以是随机变量，也可是一般变量，不特别指出时，都做一般变量处理，即它是可以精确测量或严格控制的变量。一元线性回归模型第二节一元线性回归6-15(一)回归方程求法

例6-1（1）建立回归模型

一元线性回归模型模型中，是的线性函数部分加上误差项线性部分反映了由于的变化而引起的变化误差项是随机变量反映了除和之间的线性关系之外的随机因素对的影响是不能由和之间的线性关系所解释的变异性第二节一元线性回归6-16(一)回归方程求法

设b0和b1分别为

0和

的估计值，得到(经验）回归方程：

1、

图解法（紧绳法）（了解）2、

分组法（平均值法）

（了解）3、

最小二乘法（2）求回归方程

第二节一元线性回归6-17：要求电阻y与温度x的关系，即根据测量数据要求出β0和β的估计值。根据测量数据，可以得到7个测量方程。结合前面所学，未知数有两个，而方程个数大于未知数的个数，适合于用最小二乘法求解。最小二乘法求回归方程思路第二节一元线性回归6-18最小二乘法求回归方程对每一个xi，由右式可以确定一个回归值

，因此有残差方程：用矩阵形式，令第二节一元线性回归6-19由最小二乘法，得到最小二乘法求回归方程这里第二节一元线性回归6-20第五、六章的比较

目的被测量的估计值及其精度变量间的关系及其精度关系函数关系(如:y=y0(1+αt)相关关系(如:y=b0+b1x)正规方程

第二节一元线性回归6-21代入解得：式中：

l表示离差积之和回归方程：

或者最小二乘法求回归方程第二节一元线性回归6-22最小二乘法求回归方程ix/oCy/Ωx2/oC2xy/(ΩoC)y2/Ω2123456719.125.030.136.040.046.550.076.3077.8079.7580.8082.3583.9085.10364.81625.00906.011296.001600.002162.252500.001457.3301945.0002400.4752908.8003294.0003901.3504255.0005821.6906052.8406360.0626528.8406781.5227039.2107242.010Σ246.7566.009454.0720161.95545825.974表

6.1第二节一元线性回归6-23最小二乘法求回归方程N=7x/oCy/Ωx2/oC2xy/(ΩoC)y2/Ω2Σ246.7566.009454.0720161.95545825.974第二节一元线性回归6-24（二）回归方程的稳定性

稳定性是指回归值的波动大小，用表示。波动越小，稳定性越好。

目的被测量的估计值及其精度变量间的关系及其精度关系函数关系(如:y=y0(1+αt)相关关系(如:y=b0+b1x)正规方程(ATA)X=ATL(XTX)b=XTY

精度估计观测量yσ2

=Σvi2/(N-t)σ2

=Q/(N-2)

y作为直接观测量，它的一次性测量的离散度用残余标准差σ表示。第二节一元线性回归6-25（二）回归方程的稳定性

稳定性是指回归值的波动大小，用表示。波动越小，稳定性越好。

回归方程：

有：

根据随机误差传递与合成公式：

第二节一元线性回归6-26(二)回归方程的稳定性

是观测量y的标准差

第二节一元线性回归6-27因此，有

（二）回归方程的稳定性

回归系数b0的方差不仅与观测量y的方差σ有关，而且还与自变量x的取值范围、数据个数N有关：x取值范围越大，b0的离散度越小。

N越大，σ2bo越小。回归系数b1的方差与观察量y的方差σ、自变量x的取值范围有关。

第二节一元线性回归6-28第五、六章的比较

目的被测量的估计值及其精度变量间的关系及其精度关系函数关系(如:y=y0(1+αt)相关关系(如:y=b0+b1x)正规方程(ATA)X=ATL(XTX)b=XTY精度估计观测量y

σ2

=Σvi2/(N-t)σ2

=Q/(N-2)估计量第二节一元线性回归6-29回归值的波动大小不仅与残余标准差σ有关，而且还取决于试验次数N及自变量x取值范围。

（二）回归方程的稳定性

第二节一元线性回归6-30提高回归方程稳定性的方法(1)提高观测数据y本身的精度(2)尽可能增大观测数据中自变量的取值范围(3)增加观测次数第二节一元线性回归(4)用回归方程进行预报时，x尽量不超出取值范围6-31第五、六章的比较

目的被测量的估计值及其精度变量间的关系及其精度关系函数关系(如:y=y0(1+αt)相关关系(如:y=b0+b1x)正规方程(ATA)X=ATL(XTX)b=XTY精度估计观测量y

σ2

=Σvi2/(N-t)σ2

=Q/(N-2)估计量a、b估计量？第二节一元线性回归6-32二、回归方程的方差分析及显著性检验

第二节一元线性回归6-33问题：这回归直线是否真正符合y与x之间的客观规律？回归直线的预报精度如何?二、回归方程的方差分析及显著性检验方差分析法，显著性检验

回归方程当我们得到一个实际问题的回归方程后，还不能马上就用它去作分析和预测，因为回归方程是否真正描述了变量y与x之间的统计规律性，还需运用统计方法进行检验。第二节一元线性回归6-34（一）回归问题的方差分析

观测值之间的差异来源于两个方面自变量x取值的不同,及x,y间的线性关系;其它因素(如x对y的非线性影响、测量误差等)的影响.第二节一元线性回归6-35离差平方和的分解图示n个观测值之间的差异性可用离差（实际观测值与均值之差来表示）平方和S表示，称为总变差(x,y)第二节一元线性回归6-36三个平方和的关系

残余平方和：000=0第二节一元线性回归6-37三个平方和的关系S=Q+U其中U—回归平方和，反映总变差中由于x和y的线性关系而引起y变化的部分。Q—残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对y变差的影响。第二节一元线性回归6-38三个平方和的自由度因为N个变量

有且只有一个约束条件三.自由度及其确定

P.86因为，只有一个x是自由变量。因为vS=vU+vQ

。第二节一元线性回归6-39自由度计算公式在总的偏离中除了对线性影响之外的其它因素而引起变化的大小在总的偏差中因和的线性关系而引起变化的大小总偏差平方和

回归平方和残余平方和意义反映N个观测值之间的变差三个平方和的意义第二节一元线性回归6-401、计算检验统计量2、在给定显著性水平α下，由分布表查得临界值Fα(1,N-2);3、若F>Fα(1,N-2)，则认为该回归效果显著。反之，则不显著。即基本思路：方程是否显著取决于U和Q的大小，U越大，Q越小，说明y与x的线性关系愈密切。（二）回归方程显著性检验—F检验法第二节一元线性回归6-41给定显著水平

，一般取=0.01或0.05，0.1当时，则认为回归是高度显著的（或称在0.01水平上显著）；当时，认为回归是显著的（或称在0.05水平上显著）；当时，认为在0.1水平上显著；当时，回归不显著，此时y对x的线性关系不密切。第二节一元线性回归6-42（三）残余方差与残余标准差残余平方和Q除以它的自由度vQ所得的商称为残余方差。残余标准差：它是排除了x

对y的线性影响后，衡量y随机波动的特征量。第二节一元线性回归可用于衡量所有的随机因素对y的一次性观测的平均变差的大小，残余标准差越小，回归直线的精度越高。6-43(四）方差分析表

来源平方和自由度方差F显著度回归

1——残余N-2————总计N-1——Fα(1,N-2)——第二节一元线性回归6-44方差分析(例题)

来源平方和自由度方差F显著度回归60.574

1——1180α=0.01残余0.25750.0514————总计60.8315——Fα(1,N-2)——Fα(1,5)=16.20F>Fα(1,5)：回归方程可信赖程度为99%以上，为高度显著的。第二节一元线性回归6-45小结对N个观测值与其算术平均值之差的平方和进行分解S=Q+U；从量值上区别对Ｎ个观测值的影响因素；用F检验法对所求回归方程进行显著性检验。

方差分析法第二节一元线性回归6-46三、重复试验情况第二节一元线性回归6-47(一)重复试验的意义“回归方程显著”：只表明因素x的一次项对y的影响显著；但并没有告诉我们影响y的是否还有其它不可忽略的因素？x和y是否确为线性关系?并不表明线性方程是拟合得最好的方程.第二节一元线性回归6-48

为检验一个回归方程拟合的好坏，可通过重复试验，获得误差平方和QE和失拟平方和QL，然后用QE对QL进行F检验。(二)重复试验回归直线的求法2、重复试验回归直线的求法1）设N个试验点，每个试验点重复m次试验，则将这m次试验取平均值，然后再按照前面的方法进行拟合，见表6－5和表6－6。2）方差分析第二节一元线性回归6-49(二)重复试验回归直线的求法设有N个试验点，每个试验点重复m次试验，则将这m次试验取平均值，然后再按照前面的最小二乘方法进行拟合。例6-3

用标准压力计对某固体压力传感器进行检定，检定数据如表。表中xi为标准压力，yij为传感器输出电压，为四次读数的平均值。试对仪器定标，并分析仪器的误差。第二节一元线性回归6-50(二)重复试验回归直线的求法ixiyi1

yi2yi3yi412345678910110123456789102.789.7016.6023.5430.4437.3544.2851.1958.0664.9271.732.809.7616.7123.5630.5137.4544.3551.2558.0864.9671.732.809.7816.7023.5830.5437.4244.3051.1858.1264.9471.752.869.7816.7623.7130.6437.5044.3851.2558.1465.0071.752.81009.755016.692523.597530.532537.430044.327551.217558.100064.955071.7400第二节一元线性回归6-51(二)重复试验回归直线的求法ixyx2y2xy12345678910110123456789102.81009.755016.692523.597530.532537.430044.327551.217558.100064.955071.740001491625364964811007.896195.1600278.6396556.8420932.23361401.00491964.92732623.23233375.61004219.15205146.62760.00009.750033.385070.7925122.1300187.1500265.9650358.5225464.8000584.5950717.4000Σ55411.157538526601.32542814.4950第二节一元线性回归6-52(二)重复试验回归直线的求法N=11xyx2y2xyΣ55411.157538526601.32542814.4950第二节一元线性回归6-53总的离差平方和(三)方差分析第二节一元线性回归6-54反映模型不当所引起的波动(三)方差分析离差平方和:误差平方和:失拟平方和:回归平方和:第二节一元线性回归6-55(三)方差分析(F检验)2.若F1>Fα(vQL,vQE)，说明：1)

影响y的除x外，至