《简单线性回归模型》

简单线性回归模型整理ppt（一）经济变量间的相互关系第一节回归分析与回归函数一、相关分析与回归分析

确定性关系或函数关系

统计依赖关系或相关关系经济变量之间的关系，大体可分为两类：整理ppt例2.1假如有一个乡村由20户人家构成的总体，我们研究每月家庭的平均消费支出Y与平均可支配收入X

之间的关系，统计数据如下：50060075080010001200125015001650175018002000平均消费支出Y42448052260566263277070580892095089310391158129510331144124713001355每月家庭平均可支配收入X（单位：元）经济变量之间的相关关系可用散点图描述。整理ppt50075010001250150017502000250250500750100012501500YX0整理pptYYYXXX不完全相关完全相关不相关整理ppt1.按变量数目分相关关系的类型｛简单相关：两个变量多重相关：三个及以上变量2.按表现形式分｛线性相关：散点图接近直线3.按变化方向分｛正相关：同增同减非线性相关：散点图接近曲线负相关：相反4.按相关程度分｛完全相关：实际是函数关系不完全相关不相关整理pptYYXX负相关正相关整理pptYYXX非线性相关线性相关整理ppt(二)简单线性相关关系的度量总体相关系数：样本相关系数：整理ppt1.rx,y=ry,x注意：2.不能说明非线性关系3.不能确定因果关系4.r是随抽样变动的随机变量整理ppt（三）回归分析相关分析主要是用相关系数去描述变量间相互依存的性质和程度，但不能说明变量间相互关系的具体形式，从而不能从一个变量的变化去推测另一个变量的变化，要做到这一点，还需要进行回归分析。整理ppt回归（Regression）“回归”一词最先由F.高尔顿（F.Galton）在《家庭身材相似性》一文中提出。高尔顿发现：虽然有一个趋势,父母高,儿女也高;父母矮,儿女也矮。但给定父母的身高,儿女辈的身高却趋向或者回归到全体人口的平均身高。高尔顿称之为“回归到中等”。整理ppt

“回归”的现代释义通过一个或多个解释变量在重复抽样中的已知值，去估计被解释变量的总体均值。整理ppt二、总体回归函数

例：假定武汉市某小区的人口总体由

60户家庭组成，要研究每月家庭消费支出

Y

和收入

X之间的关系。现在假设我们得到该小区总体60户家庭的收入支出数据，见下表：整理ppt表2每月家庭收入支出表（元）

800100012001400160018002000220024002600每月家庭消费支出55065079080010201100120013501370150060070084093010701150136013701450152065074090095011001200140014001550175070080094010301160130014401520165017807508509801080118013501450157017501800-880-113012501400-160018901850---1150---1620-1910YX整理pptx(收入)y图1不同收入的消费分布（散点图）800100012001400160018002000220024002600100015002000(消费）整理ppt从散点图看出消费与收入之间存在不确定性的相关关系，给定收入X的条件下，消费Y形成一定的分布，称为X取某一值时Y的条件分布。当X取某一值时，Y取各种值的概率，称为Y的条件概率。由Y的条件分布和条件概率可计算Y的条件数学期望或条件均值。整理ppt表2与表2对应的条件概率

800100012001400160018002000220024002600Y的条件概率1/51/61/51/71/61/61/51/71/61/71/51/61/51/71/61/61/51/71/61/71/51/61/51/71/61/61/51/71/61/71/51/61/51/71/61/61/51/71/61/71/51/61/51/71/61/61/51/71/61/7-1/6-1/71/61/6-1/71/61/7---1/7---1/7-1/7均值6507708901010113012501370149016101730整理pptx(收入)y图2条件均值的散点图800100012001400160018002000220024002600100015002000(消费）整理ppt该函数称为总体回归函数

(PopulationRegressionFunction，PRF)，它描述了平均消费支出（总体均值）与收入之间的关系。对X的每一个值Xi，都有Y的条件均值与之对应，即整理pptx(收入)y图3总体回归直线图800100012001400160018002000220024002600100015002000总体回归函数（PRF）(消费）整理ppt一般来说，收入相同的家庭的支出与支出的

均值是有差异的。令三、随机扰动项或则ui是随机变量，称为随机扰动项或随机误差项。整理pptWhydoesthestochasticerror

term

exist在解释变量中被忽略因素的影响；变量观测值误差的影响；模型数学形式设置误差的影响；其他随机因素的影响。整理ppt对于大多数实际问题，总体回归函数是无法得到的！怎么办？抽样！总体

（population）样本

（sample）四、样本回归函数假设在上例中我们得到的两个随机样本：整理ppt表3表2总体的一个随机样本yx700800650100090012009501400110016001150180012002000140022001550240015002600整理ppt表4

表2总体的另一个随机样本yx550800880100090012008001400118016001200180014502000135022001450240017502600整理ppt如果把Y的样本条件均值表示成X的某种函数，这个函数称为样本回归函数（SampleRegressionFunction，

SRF），其图形称为样本回归线。一般地说，从不同的样本会得到不同的样本回归线。整理pptx(收入)y（支出）图4根据两个不同样本的回归线800100012001400160018002000220024002600500100015002000第一个样本回归线第一个样本（表3）第二个样本（表4）第二个样本回归线整理ppt同样，家庭的实际消费支出并不完全等于

样本条件均值，令或则ei是随机变量，称为剩余项或残差。整理ppt注意：1、总体回归函数虽然未知，但是确定的；2、样本回归函数随抽样波动，不止一条；3、总体回归函数中的参数是确定的常数，而样本回归函数中的参数是随抽样变化的随机变量；4、总体回归函数中的ui是不可观测的，而

样本回归函数中的ei是可以计算的。整理pptYXPRFSRF0uieiYi整理ppt第二节简单线性回归模型参数的估计一、简单线性回归的基本假定称为一元线性回归模型或简单线性回归模型.这里的线性实际上是针对参数来说的。整理ppt由于随机项u的存在，使得模型中的参数

b1和b2的数值不能严格算出，只能进行估计。在计量经济学中，能否成功地估计出这些参数值，取决于随机项u

和自变量X的性质。整理ppt随机项u和自变量X的统计假定：假定2：同方差假定，即假定1：零均值假定，即假定3：无自相关(无序列相关)假定。或或或整理ppt假定4：非随机变量假定，即解释变量X是确定性变量，与随机项u不相关。假定5：正态性假定，即以上假定也称高斯假定或古典假定。或整理ppt在不知道总体回归直线的情况下，利用样本信息建立的样本回归函数应尽可能接近总体回归函数，有多种方法。普通最小二乘法(OrdinaryLeastSquares)由德国数学家高斯(C.F.Gauss)提出。二、普通最小二乘法整理pptXY整理ppt对于给定的Y

和X的观测值，我们希望这样决定SRF，使得SRF上的值尽可能接近实际的Y。就是使得残差平方和即使得整理ppt整理ppt这样就得到PRF的一个样本估计SRF:整理ppt记则称为Xi的离差称为Yi的离差整理ppt三、OLS回归线的性质1.样本回归直线通过样本均值，即由下式即得整理ppt2.Y的真实值和估计值有相同的均值，即整理ppt3.残差和及残差均值为0，即由前面方程组中的：整理ppt4.Y的估计值与残差e不相关,即整理ppt5.解释变量X与残差e不相关,即整理ppt（1）无偏性四、OLS估计式的统计性质整理ppt（2）最小方差性最小方差性是指在参数的所有无偏估计量中，OLS估计量具有最小方差。标准差为（3）线性性线性性是指参数估计式是Y的线性函数，即整理ppt在古典假定条件下，总体回归函数参数的最小二乘估计量具有线性性、无偏性和最佳性，我们把总体参数的最小二乘估计量叫做最佳线性无偏估计量（BestLinearUnbiasedEstimatorBLUE）。整理ppt第三节拟合优度的度量

样本回归线是对样本数据的一种拟合，从散点图上看，回归线上的值（计算值）与实际样本观测值总是存在或正或负的偏差。所谓拟合优度就是指拟合的优劣程度。怎样度量？若仅用残差来度量并没有反映Y的变化在多大程度上可以用X的变化来解释。整理ppt一、总变差的分解整理ppt该式为0，见P34整理ppt∴TSS=RSS+ESS且三个平方和的自由度有如下关系:dfT

=dfR

+dfE在一元回归问题中:dfT

=n-1,dfR

=

1,dfE

=n-2。总离差平方和记回归平方和残差平方和整理ppt1.什么是自由度模型中样本值可以自由变动的个数，称为自由度自由度=样本个数-样本数据受约束条件（方程）的个数例如：样本数据个数=n，它们受k个方程的约束（这n个数必须满足这k个方程）∴自由度df=n-k。关于自由度整理ppt2.对应于平方和分解的自由度的分解∴dfT=n-1∴dfR=1∴dfE=dfT

–dfR=n-1-1=n-2约束方程为∵TSS=RSS+ESS∴dfT=dfR+dfE只有一个解释变量整理ppt

从回归平方和RSS与残差平方和ESS的意义可知，在TSS中RSS所占的比重越大，则样本回归直线与样本观测值拟合程度就越好。二、可决系数（判定系数）R2称为可决系数或判定系数，R2越大，表明回归直线与样本观测值拟合越好。或整理ppt1.可决系数是非负统计量注意：2.0≤R2≤13.

它是随抽样变动的随机变量整理ppt三、可决系数与相关系数的关系

在数值上，事实上整理ppt整理ppt1.度量的意义不同但二者是两个不同的概念：2.一个是不对称的因果关系一个是对称的相关关系3.

取值的范围不同整理ppt第四节回归系数的区间估计与假设检验

在古典假定条件下，一、OLS估计的分布性质

而是Yi的线性函数，故它们也服从正态分布，且

作区间估计时，需作标准化变换：整理ppt而s2是未知的，只能由得到s2的无偏估计值。在大样本情况下，用代替s2，计算的z1和z2仍视为服从正态分布。整理ppt在小样本情况下，整理ppt用OLS得到的参数值是对总体回归参数的点估计值，尽管在重复抽样中可以预期它的期望值等于参数的真实值，但这并不能说明点估计值的可靠性。而参数估计值的标准误差也只是说明点估计值与其均值的离散程度。于是需要找到参数值的一个范围，使得这个范围包含参数真实值具有给定的可靠程度。二、回归系数的区间估计

以b2为例，对于b2的区间估计，就是对于给定的a

(0<a<1)，要找到正数d，使得区间包含参数b2的真值的概率为1-a，即：整理ppt这里：a

称为显著性水平

1-a

，称为置信水平上式称为b2的区间估计式分别称为置信下限和置信下限称为b2的置信区间整理ppt分三种情况，求b2的置信区间：1）总体方差s2已知，由于给定a

，查正态分布表，可得z的临界值z0，有于是b2的置信水平为1-a的置信区间为：整理ppt2）总体方差s2未知，且样本容量较大时，可用无偏估计代替s2，仍可认为：同1），可求得b2的置信水平为1-a的置信区间为：整理ppt3）总体方差s2未知，且样本容量较小时，当用无偏估计代替s2时，由于给定a

，查t分布表可得自由度为n-2的临界值t0，有于是b2的置信水平为1-a的置信区间为：整理ppt参数的区间估计主要回答什么样的区间包含总体回归参数真实值可以达到给定的可靠程度问题，而假设检验是要根据已知的样本值，判断是否与对总体参数的某个假设相一致。三、回归系数的假设检验对回归系数的假设检验的基本思想，是基于“小概率事件不易发生”的原理，给定显著性水平，构造一个小概率事件，可以认为小概率事件在一次观测中基本不会发生，如果竟然发生了，就认为原假设不真。整理ppt

以b2为例，原假设为按检验目的分两种情况：备择假设为2）检验解释变量对被解释变量影响的显著性：1）检验估计的参数的显著性：整理ppt给定a，查正态分布表，得临界值z0。当样本容量较大时，统计量1）Z检验若则接受原假设若就拒绝原假设按样本大小分两种情况：整理ppt给定a，查自由度为n-2的t分布表，得临界值t0当样本容量较小时，统计量2）t检验若则接受原假设若就拒绝原假设检验解释变量对被解释变量影响的显著性类似。整理ppt回归系数的P值给定的显著性水平不同时，对检验所得的结论可能不同，甚至是相反的结论。a越大，接受域越小。用样本值计算出了统计量以后，把不能拒绝原假设，如的最大显著性水平，称为b2的P值。显然，若给定的a大于P值，则在显著性水平a下，应拒绝H0，反之，若a小于P值，则接受H0。整理ppt第四节回归模型预测一、回归分析结果的报告广泛采用下列规范格式：(76.5826)(0.0216)t=(4.5963)(24.5902)R2

=0.9869df=8整理ppt的估计，所以表示的是Y的真实均值的近似值；二、被解释变量取值的预测

预测就是用已知或预先测定的解释变量的值Xf去估计被解释变量的值Yf

。如果我们通过将Xf代入用样本观测值估计的样本回归函数，得到：那么一方面样本回归函数只是对总体回归函数另一方面又表示Y真实个值的近似值；但又都