bs课程讲义：一元线性回归模型-0概述1回归模型2参数估计2012-11-18

Business Statistics,Chapter 13Simple Linear Regression,中央财经大学 信息学院吴 靖,参考教材和网站,1. 参考教材Business Statistics: A First Course, 5e 2009 Prentice-Hall, Inc. David M . Levine统计学基础e4 中国人民大学出版社 贾俊平2. 相关网站 中国统计信息网 国研网 中国经济信息网 台湾统计局 .tw 美国国家统计局 ,Content of this chapter,13.1 变量之间的关系13.2 一元线性回归13.3 参数的最小二乘估计13.4 回归的拟合优度13.5 显著性检验13.6 估计和预测,回归分析与相关,回归分析回归分析是一种应用极为广泛的数量分析方法，它用回归方程的形式描述和反映变量间的数量变化规律。回归分析的目的在相关的基础上进一步研究变量在之间的相互关系，因此它也是带误差项的不确定性的函数关系。相关分与回归分析的区别1.回归分析研究变量之间相互关系的具体形式，能从一个变量的变化来推测另一个变量的变化情况，为预测提供可能；2. 相关分析假设变量之间的地位是等同的，不对变量进行区分；而在回归分析中则把变量区分为自变量和因变量。二者的地位不同，自变量通常被假设为非随机变量。,【案例】恩格尔是怎样发现恩格尔定律的,1857年，德国德累斯顿市的德国统计学家恩斯特恩格尔（Engel）使用经Edouard Ducpetiaux收集的198个比利时家庭的收入与食物支出数据（单位：比利时法郎）得出其著名的恩格尔定律：收入越高的家庭将其收入用于食物支出的比例越低。,（Ernst Engel，18211896）,引 例Sunflowers Apparel Cop.,在过去的12年中，随着连锁店数量不断增加，专营女装的SFA公司业务不断拓展，销售额不断增长。公司的管理层店面选址的判断标准：（1）店面是否容易租赁；（2）该地点开服装店是否理想。 如果你是新上任的规划主管，你认为店面的面积会影响销售额，决策过程中如何运用这个关系？如何根据店面的面积预测其年度销售额？,回归模型的类型,13.2.1 建立一元线性回归模型的条件,一元线性回归模型简单，便于用二维图形直观的表示回归的理论与方法，所以一元线性回归模型一经提出，得到迅速发展和完善，它不仅是经典计量经济学的基础，而且也是现代计量经济学的基础，其本身的应用也较为广泛。 建立一元线性回归模型的条件： （1）只研究两个变量x、y之间的关系；（2）根据有关经济理论x、y间存在相关或因果关系； （3）x、y间的散点图近似为一条直线；（4）建模目的为得到y对x的边际值，进行结构分析。 在满足上述条件的情况下，可以建立一元线性回归模型。,13.2.2 总体一元线性回归模型,总体一元线性回归模型： （13.1） 式中, 为被解释变量（应(因)变量）y的第t期实际值； 解释变量（自变量)x的第t期实际观测值； 常数项（截距、位移项），可大于、小于或等于零； 回归系数（斜率系数），可大于或小于零，但不能等于零； 随机（扰动）项； N 总体中数据组个数，称为总体容量。 注意：（1） 为总体一元线性回归模型参数，总体未知，则其未知； （2）因为 为随机变量，所以应变量 也是随机变量； （3）回归是指应变量 对解释变量 的回归，故式（13.1）称为 对 的总体一元线性回归模型。,总体一元线性回归模型图示,图13.1 一元线性回归模型示意图,几个概念,（1）“一元”：是指式（13.1）中，只有一个解释变量。 （2）“线性”：是指式（13.1）中，变量均为一次幂，亦即变量间的图象为一条直线。,1889年F.Gallton学生K.Pearson收集了1078个家庭成年男孩的有关数据。企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式。在观看散点图时，发现近乎于一条直线。得到了如下回归方程： y=33.73+0516x由此精彩案例可得到两个结论：第一，由于父亲身高增加一个单位，儿子身高增加0.516个单位。正是因为子代身高有回归到父辈平均身高的趋势，人类的身高在一定时期内才相对稳定，没有出现父辈个子高其子女更高，父辈个子矮其子女更矮的两极分化现象。第二，此例说明是儿子们的身高(被解释变量)对父亲们身高(解释变量)的回归。,“回归”的历史由来和现代涵义,（1）“回归”的历史由来。“回归”一词首先由英国著名的生物学家、统计学家格尔顿 （FGallton 1886）达尔文的表弟在一篇著名的研究遗传问题的论文中提出的。他在论文中指出：虽然存在这样一种趋势，即身材高的父母有高个子的子女，而身材矮小的父母有身材矮小的孩子，但世世世代代人类总体身高的分布并无显著变化。他对做了如下解释：一定身高的父母所生子女的平均身高有朝着总体平均身高移动或回归的倾向，即“回归到中等水平”的倾向。,（2）回归”的现代涵义：这个例子生动地说明了生物学中“物种”的稳定性。正是为了描述这种有趣的现象，Galton引进了“回归”这个词来描述人类子代身高y与父辈身高x之间的关系。 尽管“回归”这个词在历史上有特定的含义，但近代人们借用“回归”这个词表示具有相关或因果关系的变量之间的一种定量分析方法。,(continued),“回归”的历史由来和现代涵义,13.2.3 包含的内容,总体一元线性回归模型（13.1）中随机项 主要包含如下内容： (1) 对有影响而被忽略的影响因素的影响; (2) 模型误差; (3) 数据误差; (4) 随机因素的影响。 由 包含的主要内容可知，计量经济学家在模型中考虑随机项的原因如下：模型考虑再多的影响因素，也不能穷尽所有的影响因素；例如，研究消费问题，根据凯恩斯的绝对消费理论，收入是决定消费的主要因素。然而，预期因素、季节因素、时尚及偏好等都影响消费。这些影响因素中，有些可以做为解释变量加入模型中，如季节因素，而更多的是不能做为解释变量而包含在随机项中；另外，模型与测量误差和纯粹的随机因素都包含在随机项中。,13.2.4 一元线性回归模型的假定,为能对模型(13.1)的参数进行估计和使估计的参数精度更高，必须对模型(13.1)的随机项 提出假定,其假定为： 假定1 零均值性假定。 各期扰动项 的均值(期望值)为0，即 假定2 同方差性假定。 各期扰动项的方差为同一常数，即 故有各期扰动项服从正态分布，即 假定3 无自相关性假定。各期扰动项 互不相关，即 假定4 解释变量与扰动项无自相关性假定。各期 与扰动项 不相关，即 假定5 近似线性假定。 与 间近似为线性关系。,13.2.5 样本一元线性回归模型,1. 样本一元线性回归模型 为对模型(13.1)的参数进行估计，根据统计理论建立样本模型： （13.2） 式中， 为被解释变量 y 的第 t 期观测值； 为解释变量 x 的第 t 期观测值； 为常数项（截距、位移项），是 的估计量； 为回归系数（斜率系数），是 的估计量； 为第 t 期残差（剩余、误差），是 的估计量； n 为样本中数据组个数，称为样本容量(要求 n=15 )。,2. 估计的回归方程(estimated regression equation),例1 引例-Sunflowers Apparel Cop.,例1 引例-Sunflowers Apparel Cop. 在过去的12年中，随着连锁店数量不断增加，专营女装的SFA公司业务不断拓展，销售额不断增长。公司的管理层店面选址的判断标准：（1）店面是否容易租赁；（2）该地点开服装店是否理想。 如果你是新上任的规划主管，你认为店面的面积会影响销售额，决策过程中如何运用这个关系？如何根据店面的面积预测其年度销售额？,表13-1,例1 Satter Diagrame,13.3 参数的最小二乘估计,、,13.3.1 最小二乘估计原理13.3.2 参数估计最小二乘法13.3.3 例题,13.3.1 参数的最小二乘估计原理,、,13.3 参数的最小二乘估计,Karl Gauss的最小化图,13.3 参数的最小二乘估计,上式是以 和 为未知数的二元方程组,称为最小二乘一元线性回归正规方程组。,13.3.2 参数估计的最小二乘法,13.3 参数的最小二乘估计,设， ， 分别是序列 和 的均值。故,由公式推导知：（1）由偏导第二式知， ， 故残差 与 不相关。（2）由 的表达式知，样本回归直线通过样本均点 。,13.3.2 参数估计最小二乘法 （continued）,13.3 参数的最小二乘估计,估计方差为: 故标准差为: (2.6) 式中, 为 的自由度；k为模型中解释变量的个数。 显然，当样本数据已知时，上述各量都可计算出来。,13.3.2 参数估计最小二乘法 （continued）,13.3 参数的最小二乘估计,例1 估计参数,13.3 参数的最小二乘估计,例1 Excel 回归分析,13.3 参数的最小二乘估计,例 2 不良贷款分析,【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，管理者希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据。,步骤1：分别做出散点图。,例 2 不良贷款分析,13.4 回归的拟合优度,变 差,1. 因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面由于自变量 x 的取值不同造成的除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响2. 对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示,13.4 回归的拟合优度,误差分解图,13.4 回归的拟合优度,误差平方和的分解 (三个平方和的关系),SST = SSR + SSE,13.4 回归的拟合优度,误差平方和的分解 (三个平方和的意义),1. 总平方和(SSTtotal sum of squares)反映因变量的 n 个观察值与其均值的总误差。2. 回归平方和(SSRsum of squares of regression)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和。3. 残差平方和(SSEsum of squares of error)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和。,13.4 回归的拟合优度,判定系数R2 (coefficient of determination),1. 回归平方和占总误差平方和的比例,2. 反映回归直线的拟合程度；3. 取值范围在 0 , 1 之间；4. R2 1，说明回归方程拟合的越好；R20，说明回归方程拟合的越差；5. 判定系数等于相关系数的平方，即R2r2,13.4 回归的拟合优度,例题分析：判定系数,【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义： 判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系 。,13.4 回归的拟合优度,估计标准误差(standard error of estimate),实际观察值与回归估计值误差平方和的均方根；反映实际观察值在回归直线周围的分散状况；对误差项e的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量；反映用估计的回归方程预测y时预测误差的大小； 计算公式为,注：例题的计算结果为1.9799,13.4 回归的拟合优度,13.5 显著性检验,13.5.1 线性关系的检验,1. 检验自变量与因变量之间的线性关系是否显著2. 将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数k) 残差均方：残差平方和SSE除以相应的自由度(n-k-1),13.5 显著性检验,线性关系的检验步骤,1. 提出假设H0：1=0 线性关系不显著,2. 计算检验统计量F,确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 作出决策：若FF ,拒绝H0；若FF ,拒绝H0，线性关系显著,13.5.1 线性关系的检验,13.5.2 回归系数的检验,在一元线性回归中，等价于线性关系的显著性检验；采用t检验。,检验 x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著；,理论基础是回归系数 的抽样分布；,13.5 显著性检验,回归系数的检验步骤,1. 提出假设H0: b1 = 0 (没有线性关系) H1: b1 0 (有线性关系) 2. 计算检验的统计量,3. 确定显著性水平，并进行决策 tt，拒绝H0； tt=2.201，