相关与回归分析11.ppt

统计学原理 复习,统 计 学 原 理 第八章 相关与回归分析,第一节 相关分析概述,一、函数关系与相关关系 正方形面积与边长；脚长与智商；销售收入和消费情况；广告投入与销售收入；GDP与精神病患者；头发长与见识短 1.函数关系： 变量之间存在严格的数量关系。 2. 相关关系： 变量之间存在不确定的依存关系。 3.区别与联系：,1.按相关关系涉及的变量多少划分分为单相关、复相关、偏相关。 2.按相关形式划分可以分为线性相关和曲线相关。 3.按相关的方向划分可分为正相关和负相关。 4.按相关关系的程度划分可分为完全相关，不完全相关和不相关。 5.按相关性质分为真实相关和虚假相关。,二、相关关系的种类,（1）确定现象之间有无相关关系，以及相关关系的表现形态 （2）确定相关关系的密切程度 （3）建立合适的数学模型 （4）测定估计值的标准误差,三、相关分析的内容,定性分析,依据研究者的理论知识和实践经验，对客观现象之间是否存在相关关系，以及何种关系作出判断。,定量分析,在定性分析的基础上，通过编制相关表、绘制相关图、计算相关系数等方法，来判断现象之间相关的方向、形态及密切程度。,第二节、相关关系的测定,相关图：又称散点图。将x置于横轴上，y置于纵轴上，将（x,y）绘于坐标图上。用来反映两变量之间相关关系的图形。,二、相关系数,(一)相关系数的定义 1、相关系数：在线性条件下说明两个变量之间相关关系密切程度的统计分析指标。,2、相关系数r的取值范围：-1r1,0|r|1表示存在不同程度线性相关： |r| 0.3 为微弱相关； 0.3 |r| 0.5为低度线性相关； 0.5|r| 0.8为显著性线性相关。 0.8 |r| 为高度相关,r0 为正相关，r 0 为负相关； |r|=0 表示不存在线性关系； |r|1 表示完全线性相关；,例：下表是有关15个地区某种食物需求量和地区人口增加量的资料。,（1）相关关系不等于因果关系； （2）相关系数只度量变量间的线性关系，因此，弱相关不一定表明变量间没有关系； （3）极端值可能影响相关系数。 （4）警惕虚假相关,3、使用相关系数时应注意的问题,回归：regression,1889年 弗朗西斯高尔顿爵士 遗传学研究 回归线,回归分析法产生的历史,第三节 一元线性回归分析,回归分析,通过一个变量x或一些变量(x1,x2,x3)的变化解释另一变量y的变化。即根据相关关系的数量表达式（回归方程式）与给定的自变量x，揭示因变量y在数量上的平均变化和求得因变量的预测值的统计分析方法,回归方程,回归模型,反映自变量和因变量之间数学联系的表达式。,某一类回归方程的总称。,1、根据理论和对问题的分析判断， 区分自变量和因变量；,2、设法找出适合的数学方程式(即 回归模型)描述变量间的关系,3、对回归模型进行统计检验；,4、统计检验通过后，利用回归模型，根据解释变量去估计，预测 因变量。,一、回归分析的内容,二、一元线性回归方程,样本一元线性回归方程：,以样本统计量估计总体参数,斜率（回归系数）,截距a 表示在没有自变量x的影响时，其它各种因素对因变量y的平均影响；回归系数b 表明自变量x每变动一个单位，因变量y平均变动b个单位。,三、直线回归方程的求解原理 最小二乘法,使因变量的观察值与估计值之间的离差平方和达到最小来求得 a 和 b 的方法。即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小。,3.回归系数的估计的最小二乘法公式 设 将对求偏导数，并令其等于零，可得: 加以整理后有：,例：配合回归直线？,估计方程的求法 （Excel的输出结果）,四、一元线性回归方程的检验,（一） 回归模型检验的种类 回归模型的检验包括理论意义检验、回归方程的检验和回归系数的检验。,（二）拟合程度的评价 1、拟合程度，是指样本观测值聚集在样本回归线周围的紧密程度。 2、判断回归模型拟合程度优劣最常用的数量尺度是决定系数。它是建立在对总离差平方和进行分解的基础之上的。,3、离差平方和的分解,因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面： 由于自变量 x 的取值不同造成的； 除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响。,3、离差平方和的分解 （三个平方和的关系）,2） 两端平方后求和有,1）从图上看有,SST = SSR + SSE,4、决定系数 （r2 ）,1）回归平方和占总离差平方和的比例,2）反映回归直线的拟合程度 3）取值范围在 0 , 1 之间 4） r2 1，说明回归方程拟合的越好；r20，说明回归方程拟合的越差 5）判定系数等于相关系数的平方，即r2(r)2,（三）回归方程的显著性检验,1、检验自变量和因变量之间的线性关系是否显著 具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著 如果是显著的，两个变量之间存在线性关系 如果不显著，两个变量之间不存在线性关系,2、检验的步骤,1）提出假设 H0：线性关系不显著,2） 计算检验统计量F,3）确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 4）作出决策：若FF ,拒绝H0；若FF ,接受H0,Excel 输出的方差分析表,平方和,均方,四、回归系数的显著性检验,3、在一元线性回归中，等价于回归方程的显著性检验,1、检验 x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著,2、理论基础是回归系数 的抽样分布,1） 是根据最小二乘法求出的样本统计量，它有自己的分布 2） 的分布具有如下性质,4、依据,5、步骤,1）提出假设 H0: b1 = 0 (没有线性关系) H1: b1 0 (有线性关系) 2）计算检验的统计量,3） 确定显著性水平，并进行决策 tt，拒绝H0； tt，接受H0,6、实例,提出假设 H0：b1 = 0 人均收入与人均消费之间无线性关系 H1：b1 0 人均收入与人均消费之间有线性关系 计算检验的统计量,t=65.0758t=2.201，拒绝H0，表明人均收入与人均消费之间有线性关系,对前例的回归系数进行显著性检验(0.05),7、Excel输出的结果,五、一元线性回归方程的预测,1、根据自变量 x 的取值估计或预测因变量 y的取值 2、估计或预测的类型 点估计 y 的平均值的点估计 y 的个别值的点估计 区间估计 y 的平均值的置信区间估计,3、置信区间估计,（1） y 的平均值的置信区间估计 利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值E(y0)的估计区间 ，这一估计区间称为置信区间 （2）E(y0) 在1-置信水平下的置信区间为,式中：Sy为估计标准误差,（3）影响区间宽度的因素,1） 置信水平 (1 - ) 区间宽度随置信水平的增大而增大 2） 数据的离散程度 (s) 区间宽度随离散程度的增大而增大 3） 样本容量 区间宽度随样本容量的增大而减小 4） 用于预测的 xp与x的差异程度 区间宽度随 xp与x 的差异程度的增大而增大,置信区间、回归方程,第四节 多元线性相关与回归分析,一、多元线性回归模型 1、定义：一个因变量与两个及两个以上自变量之间的回归 描述因变量 y 如何依赖于自变量 x1 ，x2 ， xp 和误差项 的方程称为多元线性回归模型,b0 ，b1，b2 ，bp是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性,多元线性回归模型, 对于 n 组实际观察数据(yi ; xi1,，xi2 ， ，xip )，(i=1,2,n)，多元线性回归模型可表示为,二、参数的最小二乘法,根据最小二乘法的要求，可得求解各回归参数 的标准方程如下,使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即,三、显著性检验 （线性关系的检验 ）,1、回归方程的检验：将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 2、回归系数的检验：对每一个自变量都要单独进行检验，应用 t 检验 在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验。,第五节 非线性相关与回归分析,一、非线性函数形式的确定 1、选择回归方程的具体形式应遵循以下原则： 首先，方程形式应与有关实质性科学的基本理论相一致。 其次，方程有较高的拟合程度。 最后，方程的数学形式要尽可能简单。,二、几种常见的非线性模型, （一）指数函数,线性化方法 两端取对数得：lny = ln + x 令：y = lny，则有y = ln + x,基本形式：,图像,二、几种常见的非线性模型, （二）幂函数,线性化方法 两端取对数得：lg y = lg + lg x 令：y = lgy，x= lg x，则y = lg + x,基本形式：,图像,二、几种常见的非线性模型, （三）双曲线函数,线性化方法 令：y = 1/y，x= 1/x, 则有y = + x,基本形式：,图像,二、几种常见的非线性模型, （四）对数函数,线性化方法 x= lgx , 则有y = + x,基本形式：,图像,几种常见的非线性模型, （五） S 型曲线,线性化方法 令：y = 1/y，x= e-x, 则有y = + x,基本形式：,图像