一元线性回归

1、第章一元线性回归第1页，共50页。线性回归线性回归分析（Linear Regression）是研究一个因变量和一个或多个自变量之间是否存在某种线性关系的统计学方法。如果参与回归分析的自变量只有一个，就是一元线性回归分析，也称为直线回归分析，得到的结果称为直线回归方程。如果参与回归分析的变量有多个，则是多元线性回归。线性回归分析是基于最小二乘原理的统计分析方法，是在统计假设下的最优线性无偏估计。第2页，共50页。1 一元线性回归模型例1 体检数据的体重和肺活量的分析 表112名女工体检数据某单位对12名女工进行体检,体检项目包括体重(kg)和肺活量(L),如表1所示.第3页，共50页。1 一元线

2、性回归模型例2 全国人均消费金额记作y(元); 人均国民收入记为x(元) 表2 人均国民收入表第4页，共50页。1 一元线性回归模型一元线性回归模型 y=0+1x+回归方程 E（y|x）=0+1x第5页，共50页。1 一元线性回归模型样本模型 yi=0+1xi+i, i=1,2,n回归方程 E(yi)=0+1xi ,var(yi)=2，样本观测值(x1,y1),(x2,y2),(xn,yn)经验回归方程 第6页，共50页。2 参数0、1的估计一、普通最小二乘估计 (Ordinary Least Square Estimation,简记为OLSE) 最小二乘法就是寻找参数0、1的估计值使离差平方

3、和达极小称为yi的回归拟合值,简称回归值或拟合值 称为yi的残差 第7页，共50页。2 参数0、1的估计第8页，共50页。2 参数0、1的估计经整理后,得正规方程组第9页，共50页。2 参数0、1的估计得OLSE 为记第10页，共50页。2 参数0、1的估计续例1回归方程第11页，共50页。3 回归方程的显著性检验 一、t 检验 原假设： H0 ：1=0对立假设： H1 ：10 由当原假设H0 ：1=0成立时有： 第12页，共50页。3 回归方程的显著性检验 一、t 检验 构造t 统计量 其中第13页，共50页。什么是P 值?(P-value)P 值即显著性概率值 Significence P

4、robability Value是当原假设为真时得到比目前的 样本更极端的样本的 概率，所谓极端就是与原假设相背离它是用此样本拒绝原假设所犯弃真错误的 真实概率，被称为观察到的(或实测的)显著性水平第14页，共50页。双侧检验的P 值/ 2 / 2 t拒绝拒绝H0值临界值计算出的样本统计量计算出的样本统计量临界值1/2 P 值1/2 P 值第15页，共50页。左侧检验的P 值H0值临界值a样本统计量拒绝域抽样分布1 - 置信水平计算出的样本统计量P 值第16页，共50页。右侧检验的P 值H0值临界值a拒绝域抽样分布1 - 置信水平计算出的样本统计量P 值第17页，共50页。利用 P 值进行检验

5、的决策准则若p-值 ,不能拒绝 H0若p-值 , 拒绝 H0双侧检验p-值 =2单侧检验p-值第18页，共50页。3 回归方程的显著性检验 二、F检验平方和分解式 SST = SSR + SSE构造F检验统计量 第19页，共50页。3 回归方程的显著性检验 三、F检验一元线性回归方差分析表方差来源自由度平方和均方F值P值回归残差总和1n-2n-1SSRSSESSTSSR/1SSE/（n-2）P(FF值)=P值第20页，共50页。3 回归方程的显著性检验 三、相关系数的显著性检验 第21页，共50页。3 回归方程的显著性检验 四、相关系数的显著性检验 两变量间相关程度的强弱分为以下几个等级：当|

6、r|0.8时，视为高度相关；当0.5|r| 0.8时，视为中度相关；当0.3|r| 0.5时，视为低度相关；当|r| 0.3时，表明两个变量之间的相关程度极弱， 在实际应用中可视为不相关。第22页，共50页。3 回归方程的显著性检验 四、三种检验的关系H0: b=0H0: r=0H0: 回归无效第23页，共50页。4 残差分析 一、残差概念与残差图 残差 误差项 残差ei是误差项ei的估计值。 第24页，共50页。4 残差分析 一、残差概念与残差图 第25页，共50页。4 残差分析 二、残差的性质 性质1. 残差满足约束条件: 第26页，共50页。4 残差分析 三、改进的残差 标准化残差学生化

7、残差第27页，共50页。5 回归系数的区间估计 等价于1的1-置信区间 第28页，共50页。6 预测和控制 一、单值预测 第29页，共50页。6 预测和控制 二、区间预测找一个区间（T1,T2），使得 需要首先求出其估计值的分布 1因变量新值的区间预测第30页，共50页。二、区间预测 1 因变量新值的区间预测以下计算的方差从而得第31页，共50页。二、区间预测 1 因变量新值的区间预测记于是有 则第32页，共50页。二、区间预测 1 因变量新值的区间预测y0的置信概率为1-的置信区间为 y0的置信度为95%的置信区间近似为 第33页，共50页。二、区间预测 2 因变量平均值的区间估计得E(y0

8、)的1-的置信区间为 E(y0)=0+1x0是常数第34页，共50页。三、控制问题 给定y的预期范围(T1, T2),如何控制自变量x的值才能以1-的概率保证 用近似的预测区间来确定x。如果=0.05,则要求 把带入第35页，共50页。回归分析的一般步骤一个完整的回归分析通常包括了以下几步：对数据进行预处理，选择合适的变量进行回归分析。在建立回归模型的时候，选择哪些变量进入模型是首先要考虑的问题，对于变量的选取，既要考虑实际问题的背景也要考虑变量数据的统计特征。作散点图，观察变量间的趋势，初步选取回归分析方法。同时利用散点图剔除异常点。进行回归分析，拟合自变量与因变量之间的经验公式。拟合完毕之后进行残差分析，检验模型是否恰当。残差分析主要包括检验残差是否独立，以及残差是否服从正态分布两方面。利用拟合结果进行预测控制。第36页，共50页。用SPSS进行线性回归分析依次单击菜单“分析回归分析线性”命令，打开“线性回归”对话框第37页，共50页。方法选项及其含义第38页，共50页。线性回归线性回归：设置规则第39页，共50页。线性回归线性回归：统计量第40页，共50页。回归系数选项及含义第41页，共50页。残差选项及其含义第