统计学课件第九章一元回归分析报告

第九章

一元线形回归变量间关系的度量一元线性回归分析利用回归方程进行估计和预测残差分析9.1

变量间关系的度量

某种商品的销售额(y)与销售量(x)之间的关系可表示为y=p

x(p为单价)

企业的原材料消耗额(y)与产量(x1)、单位产量消耗(x2)、原材料价格(x3)之间的关系可表示为y=x1

x2

x3粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系变量间的关系函数关系相关关系是一一对应的确定关系变量y

随变量x

一起变化，并完全依赖于x

， 当变量x

取某个数值时，y

依确定的关系取相应的值，则称

y

是

x

的函数，记为

y=f

(x)，其中x

称为自变量，y

称为因变量各观测点落在一条线上（1）函数关系（2）相关关系变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量x

取某个值时，变量y

的取值可能有 几个各观测点分布在直线周围（3）相关关系的描述与测度散点图相关系数相关系数：相关系数取值及其意义r

的取值范围是[-1,1]|r|=1，为完全相关r

=1，为完全正相关r

=-1，为完全负正相关3.r

=0，不存在线性相关关系4.-15.0<rr<0，为负相关1，为正相关6.|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切相关系数的显著性检验检验两个变量之间是否存在线性相关关系,等价于对回 归系数b1的检验,采用t

检验检验的步骤为提出假设：H0：

；H1：0C.计算检验的统计量：D.确定显著性水平，并作出决策:若t>t，拒绝H0，

若

t

<t，接受H0无谓相关及其他问题解释相关系数时要务必小心。很多相关系数在数值上既大且在以后要谈的检验中也被判为统计显著的，却未必包含什么实际信息。关于谬误或无谓相关，我们特别喜欢举的例子是由统计学家G·乌迪内·尤乐在其1926年的一篇出色的论文中给出的。（１）尤乐用英格兰和威尔士1866~1911年间人口死亡率的年数据与英格兰所有结婚中到教堂举行仪式所占的比例作回归，发现其相关系数是+0.950。（２）普劳瑟和施沃特用1897～1958年间的年数据，发现美国名义收入的对数与积聚的太阳黑子的对数相关系数达到+0.9l（３）韩德瑞也注意到，在英国，通货膨胀率与年累计降雨量有很强的正变关系。９.２

一元线性回归分析9.2.1

一元线性回归模型:y

=

b0

+

b1

x

+

eA.模型中，y

是

x

的线性函数(部分)加上误差项B.线性部分反映了由于

x

的变化而引起的

y

的变化,误差项

是随机变量,反映了除

x

和

y之间的线性关系之外的随机因素对y的影响,是不能由x和

y

之间的线性关系所解释的变异性C.

称为模型的参数9.2.2

一元线性回归模型的基本假定误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x

值，y

的期望值为:E

(

y

)

=

0+

1

x对于所有的x

值，ε的方差σ2

都相同

误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2

)9.2.3

回归方程描述y的平均值或期望值如何依赖于

x的方程称为回归方程.简单线性回归方程的形式如下: E(

y

)

=

0+

1

x·

方程的图示是一条直线，因此也称为直线回归方程·

0是回归直线在y轴上的截距，是当x=0时y的期望值·

1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值9.2.4

估计(经验)的回归方程总体回归参数 本数据去估计用样本统计量0

和

1

是未知的，必需利用样和

代替回归方程中的未知参数

0

和

1

，就得到了估计的回归方程3.简单线性回归中估计的回归方程为:参数

0

和

1

的最小二乘估计1.使因变量的观察值与估计值之间的离差平方和达到最小来求得

和

的方法:离差平方和的分解两端平方后求和有:SST

=

SSR

+

SSE9.2.5回归方程的显著性检验平方和(SST):反映因变量的n个观察值与其均 值的总离差平方和(SSR):反映自变量x的变化对因变量y 取值变化的影响，或者说，是由于x与y

之间的线性关系引起的y的取值变化，也

称为可解释的平方和平方和(SSE):反映除x以外的其他因素对y取 值的影响，也称为不可解释的平方和或剩

余平方和样本决定系数1.回归平方和占总离差平方和的比例:反映回归直线的拟合程度取值范围在[0,1]之间

1，说明回归方程拟合的越好,回归方程拟合的越差判定系数等于相关系数的平方0，说明估计标准误差SyA.实际观察值与回归估计值离差平方和的均方根

B.反映实际观察值在回归直线周围的分散状况

C.从另一个角度说明了回归直线的拟合程度回归方程的显著性检验（线性关系的检验）A.检验自变量和因变量之间的线性关系是否显著B.具体方法是将回归离差平方和(SSR)同剩余离差平方和

(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系线性关系的检验回归系数的显著性检验1.

检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布在一元线性回归中，等价于回归方程的显著性 检验回归系数的显著性检验（步骤）A.

提出假设H0:

b1

=

0H1:

b1

0B.

计算检验的统计量c.

确定显著性水平，并进行决策t>t，拒绝H0；t<t，接受H09.3

利用回归方程进行估计和预测根据自变量x的取值估计或预测因变量y的取值9.3.1

y

的平均值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y的平均值的一个估计值E(y0)，就是平均值的点估计9.3.2 y的个别值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计值

，就是个别值的点估计9.3.3

区间估计点估计不能给出估计的精度，点估计值与实 际值之间是有误差的，因此需要进行区间 估计对于自变量x的一个给定值x0，根据回归方 程得到因变量y

的一个估计区间区间估计有两种类型:置信区间估计预测区间估计置信区间估计1.利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的平均值E(y0)的估计区间，这一估计区间称为置信区间2.E(y0)在1-置信水平下的置信区间为预测区间估计1.利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计区间，这一区间称为预测区间2.y0在1-置信水平下的预测区间为9.4

残差分析用残差证实模型的假定用残差检测异常值和有影响的观测值9.4.1 残差因变量的观测值与根据估计的回归方程求出 的预测值之差，用e表示反映了用估计的回归方程去预测而引起的误 差可用于确定有关误差项

的假定是否成立用于检测有影响的观测值用残差证实模型的假定残差图:表示残差的图形关于x的残差图关于y的残差图标准化残差图用于判断误差

的假定是否成立检测有影响的观测值残差图(a)满意模式残差x0残差x(b)非常数方差0残差x(c)模型不合适0标准化残差残差除以它的标准差也称为Pearson残差或半学生化残差计算公式为用以直观地判断误差项服从正态分布这一假定是否成立

若假定成立，标准化残差的分布也应服从正态分布

在标准化残差图中，大约有95%的标准化残差在-2到+2之间标准化残差图标准化残差图异常值:如果某一个点与其他点所呈现的趋势不相吻合，这个点就有可能是异常点，或称为野点异常值也可以通过标准化残差来识别如果某一个观测值所对应的标准化残差较大，就可以识别为异常值一般情况下，当一个观测值所对应的标准化残差小于-2或大于+2时，就可以将其视为异常值9.4.2

用残差检测异常值和有影响的观测值

如果异常值是一个错误的数据，比如记录错误造成的，应该修正该数据，以便改善回归的效果

如果是由于模型的假定不合理，使得标准化残差偏大，应该考虑采用其他形式的模型，比如非线性模型