[经济学]第三讲 一元线性回归模型ppt课件

1、第三讲第三讲 一元线性回归模型一元线性回归模型知识体系知识体系u 一、回归分析一、回归分析u 二、参数估计二、参数估计 u 三、统计检验三、统计检验 u 四、模型运用四、模型运用 一、回归分析一、回归分析 知识体系知识体系一回归分析与相关分析一回归分析与相关分析二总体回归函数二总体回归函数三样本回归函数三样本回归函数 一回归分析与相关分析一回归分析与相关分析 知识体系知识体系1、变量之间的关系、变量之间的关系2、相关系数、相关系数3、回归分析与相关分析的关系、回归分析与相关分析的关系 一回归分析与相关分析一回归分析与相关分析u1、变量之间的关系、变量之间的关系变量变量关系关系相关相关关系关系函

2、数函数关系关系自变量与应变量是一一自变量与应变量是一一对应的函数关系对应的函数关系线性线性相关相关非线性非线性相关相关正相关、不相正相关、不相关、负相关关、负相关函数分析函数分析相关分析相关分析回归分析回归分析没有没有关系关系两个随机变量的取值互两个随机变量的取值互不影响，相互独立不影响，相互独立数理统数理统计分析计分析正相关、不相正相关、不相关、负相关关、负相关图3-1 变量之间的关系一回归分析与相关分析一回归分析与相关分析u2 2、相关系数、相关系数线性相关程度的度量线性相关程度的度量()()122()()11nXX YYiiirnnXYXXYYiiii( , )Cov X YXYDX D

3、Y1 1总体线性相关系数总体线性相关系数2 2样本线性相关系数样本线性相关系数 相关系数只反映随机变量间的线性相关程度，不能阐明非线性相关关系； 相关系数只能反映线性相关程度，不能确定因果关系，不能阐明相关关系详细接近哪条直线； 样本相关系数是总体相关系数的估计值，由于抽样动摇，样本相关系数是个随机变量，其统计显著性有待检验。一回归分析与相关分析一回归分析与相关分析u2 2、相关系数、相关系数线性相关程度的度量线性相关程度的度量Note:一回归分析与相关分析一回归分析与相关分析u3 3、回归分析与相关分析的关系、回归分析与相关分析的关系 回归的来源回归的来源 普通而言普通而言, ,父亲身高父亲

4、身高( (矮矮),),子女也身高子女也身高( (矮矮) )。英国的遗传学家弗朗西斯英国的遗传学家弗朗西斯高尔顿高尔顿 (Francis (Francis Galton)Galton)发现发现: : 矮个的父亲矮个的父亲, ,如身高如身高1.6M 1.6M 的人群的人群, ,他他们的子女的平均身高会大于其父亲的身高们的子女的平均身高会大于其父亲的身高, ,且趋向于且趋向于( (或回归于或回归于) )一切人一切人( (高和矮高和矮) )子女的平均身高；而对子女的平均身高；而对于高个的父亲于高个的父亲, ,其子女的平均身高会低于其父亲的身其子女的平均身高会低于其父亲的身高高, , 而且也回归到一切人

5、子女的平均身高而且也回归到一切人子女的平均身高, ,即所谓回即所谓回归到中等。归到中等。 父亲的身高X 160 165 170 175 180 185 190 195所有人的平均身高儿子 的身高Y163 175 163 175 169 185 173 175157 174 157 169 167 169 167 160179 161 173 165 178 186 213 186188 180 188 188 178 203 188 164151 168 176 168 199 186 201 209176 159 186 194 176 169 166 162192 176 164 176

6、179 176 162 206175 178 175 178 175 168 175 178189 183 194 163 164 163 169 178159 187 169 187 189 177 179 177173 174 175 176 177 178 179 180 177 表表3-1 3-1 父子身高关系统计表父子身高关系统计表 单位：单位：cm cm E Y Xi1 1内涵内涵一回归分析与相关分析一回归分析与相关分析u3 3、回归分析与相关分析的关系、回归分析与相关分析的关系相关分析Regression Analysis 研讨随机变量间的相关方式及相关程度；回归分析Correl

7、ation Analysis 研讨一个被解释变量与假设干个解释变量的统计依赖关系。其目的是由解释变量固定值，去估计和预测被解释变量的平均值。研讨对象 相关分析仅从统计数据上测度变量间的相关程度，而无需调查两者间能否有因果关系；回归分析偏重于变量间的因果关系分析。变量特性 变量在相关分析中的位置是对称的，并且都是随机变量；变量在回归分析中的位置不对称，区分为解释变量和被解释变量，经常假定解释变量为非随机变量。2 2区别区别一回归分析与相关分析一回归分析与相关分析u3 3、回归分析与相关分析的关系、回归分析与相关分析的关系研讨目的 相关关系只关注变量间的联络程度，而不关注详细的依赖关系；回归分析更

8、加关注变量间的详细依赖关系，偏重于经过解释变量的变化来估计或预测被解释变量的变化，从而找到经济运转的规律。一回归分析与相关分析一回归分析与相关分析2 2区别区别u3 3、回归分析与相关分析的关系、回归分析与相关分析的关系3 3联络联络两者都研讨非确定变量间的统计依赖关系，并能测度线性依赖程度的大小。二总体回归函数二总体回归函数 知识体系知识体系1、条件分布与条件期望、条件分布与条件期望2、总体回归线与总体回归函数、总体回归线与总体回归函数3、总体回归函数的方式、总体回归函数的方式4、 引入模型的缘由引入模型的缘由iu1 1、条件分布与条件期望、条件分布与条件期望二总体回归函数二总体回归函数1

9、1Y Y的条件分布的条件分布 解释变量解释变量X X取某固定值时，被解释变量取某固定值时，被解释变量Y Y 的值不确定，的值不确定， Y Y的不同取值构成的分布。的不同取值构成的分布。2 2Y Y的条件期望的条件期望 对于对于X X的每一个取值，由的每一个取值，由Y Y的条件分布确的条件分布确定其期望，称为定其期望，称为Y Y的条件期望，即：的条件期望，即：E Y Xi。一总体回归函数一总体回归函数表表3-2 3-2 某社区家庭每月可支配收入与消费支出统计表某社区家庭每月可支配收入与消费支出统计表 单位：元单位：元 E Y Xi每月家庭可支配收入X 1000 1500 2000 2500 30

10、00 3500 4000 4500 5000 5500每月家庭消费支出Y820962 1108 1329 1632 1842 2037 2275 2464 2824888 1024 1201 1365 1726 1874 2110 2388 2589 3038932 1121 1264 1410 1786 1906 2225 2426 2790 3150960 1210 1310 1432 1835 1068 2319 2488 2856 3201 1259 1340 1520 1885 2066 2321 2587 2900 3288 1324 1400 1615 1943 2185 236

11、5 2650 3021 3399 1448 1650 2037 2210 2398 2789 3064 1489 1712 2078 2289 2487 2853 3142 1538 1778 2179 2313 2513 2934 3274 1600 1841 2298 2398 2538 1886 2316 2423900 1150 1370 1670 1974 2052 2331 2599 2900 3150二总体回归函数二总体回归函数 图3-2 总体回归线YiX100015002000250030009001150016701974二总体回归函数二总体回归函数u2 2、总体回归线与总体

12、回归函数、总体回归线与总体回归函数1 1总体回归线总体回归线 对于对于X X每一个取值，都有每一个取值，都有Y Y的条件期望的条件期望 与之对应，这些与之对应，这些Y Y条件期望的点构成条件期望的点构成的轨迹。的轨迹。()E Y Xi2 2总体回归函数总体回归函数Population Regression Population Regression FunctionFunction，PRFPRF将将Y Y的条件期望的条件期望 与解释变量与解释变量X X 的对应的对应关系，写成函数表达式关系，写成函数表达式 ，反映了被，反映了被解释变量的平均形状随解释变量解释变量的平均形状随解释变量X X变化的

13、规律。变化的规律。()E Y Xi()()E Y Xf Xiiu3 3、总体回归函数的方式、总体回归函数的方式二总体回归函数二总体回归函数1 1条件均值方式条件均值方式将将Y Y的条件均值的条件均值 是解释变量是解释变量X X 的的线性函数，那么：线性函数，那么：()E Y Xi()()01E Y Xf XXiii2 2随机设定方式随机设定方式01其中， 是未知参数，称为回归系数。()()()0101XYYE Y XiiiYE Y XiiiiYE Y XYXYXiiiiiiii对于一定的， 的各个个别值 分布在的周围，若令各个 与条件均值的偏差为，显然 是随机变量，则：u3 3、总体回归函数的

14、方式、总体回归函数的方式二总体回归函数二总体回归函数2 2随机设定方式随机设定方式()0101YE Y XYXYXiiiiiiii系统性部分非系统性部分随机干扰项()01E Y XXiii Note: 这阐明被解释变量Y不仅受解释变量X的系统性影响，还受其它要素的随机性影响， 代表一切未包含在模型中的其它要素。iiXiXY)(iXYEiY二总体回归函数二总体回归函数图3-3 随机干扰项的图示u4 4、 引入模型的缘由引入模型的缘由 二总体回归函数二总体回归函数i1代表未知的影响要素； 2代表残缺数据；3代表众多细小的影响要素； 4代表数据观测误差；5代表模型设定误差； 6代表变量的内在随机性。

15、三样本回归函数三样本回归函数 知识体系知识体系1、样本回归线与样本回归函数、样本回归线与样本回归函数2、样本回归函数的方式、样本回归函数的方式3、样本回归函数与总体回归函数的关、样本回归函数与总体回归函数的关系系 三样本回归函数三样本回归函数u1 1、样本回归线与样本回归函数、样本回归线与样本回归函数1 1样本回归线样本回归线对于对于X X的每一个值的每一个值 ，都有样本观测值，都有样本观测值Y Y的条件均值的条件均值 与之对应，样本观测值条件均值与之对应，样本观测值条件均值的轨迹称为样本回归线。的轨迹称为样本回归线。2 2样本回归函数样本回归函数(Sample Regression Func

16、tion(Sample Regression Function，SRF)SRF)假设把假设把Y Y的样本条件均值的样本条件均值 表示为解释变表示为解释变量量X X的某种函数，这个函数称为样本回归函数。的某种函数，这个函数称为样本回归函数。XiYiYi三样本回归函数三样本回归函数u1 1、样本回归线与样本回归函数、样本回归线与样本回归函数NoteNote： 每次抽样都能获得一个样本，就可以拟合每次抽样都能获得一个样本，就可以拟合一条样本回归线，所以样本回归线随抽样动摇一条样本回归线，所以样本回归线随抽样动摇而变化，可以有许多条；而变化，可以有许多条； 样本回归线不是总体回归线，只是未知总样本回归

17、线不是总体回归线，只是未知总体回归线的近似表现；体回归线的近似表现； 样本回归函数的方式应与设定的总体回归样本回归函数的方式应与设定的总体回归函数的方式一致。函数的方式一致。 u2 2、样本回归函数的方式、样本回归函数的方式三样本回归函数三样本回归函数01YXii01YXeeYYiiiiii1 1条件均值方式：条件均值方式：2 2随机设定方式：随机设定方式：01YYXiiYieYYiii是 相对应的样本条件均值；和是样本回归函数的参数；为样本的实际观测值；残差 是样本实际观测值与样本条件均值之差。三样本回归函数三样本回归函数u3 3、样本回归函数与总体回归函数的关系、样本回归函数与总体回归函数

18、的关系表表3-3 3-3 总体回归函数与样本回归函数总体回归函数与样本回归函数 三样本回归函数三样本回归函数u3 3、样本回归函数与总体回归函数的关系、样本回归函数与总体回归函数的关系 SRF： PRF： A ()01E Y XXiiieiiY()iiE Y XiYYiXXiY01YXii图3-4 样本回归函数与总体回归函数二、参数估计二、参数估计 知识体系知识体系一根本假定一根本假定二普通最小二乘法二普通最小二乘法 三三OLS估计量的统计性质估计量的统计性质 四四OLS回归线的性质回归线的性质五五OLS估计量的区间估计估计量的区间估计 一根本假定一根本假定 知识体系知识体系1、经典假定高斯假

19、定、经典假定高斯假定2、暗含假定、暗含假定3、 的分布性质的分布性质Yi一根本假定一根本假定u1 1、根本假定、根本假定1解释变量 是确定性变量，不是随机变量， 而且在反复抽样中取固定值；2随机干扰项 具有零均值、同方差和不序 列相关性，即：Xii() 0,1,2, ;2Var(),1,2, ;(,)()()() 0,; ,1,EiniiniCovEEEijiijjEij i jni j 零均值：同方差：无序列相关：一根本假定一根本假定u1 1、根本假定、根本假定3随机干扰项 与解释变量 不相关，即:iXi(,)()()0,1,2,CovXE XE XEiniiiiii4随机干扰项 服从零均值

20、，同方差，零 协方差的正态分布，即： i2(0,),1,2, ,Nini（中心极限定理）一根本假定一根本假定u2 2、暗含假定、暗含假定5随着样本容量的无限添加，解释变量X的 样本方差趋于一个有限常数，即：12lim()11nXXQnini6模型没有设定偏误specification error7观测次数大于待估参数的个数 1n k Note： 回归模型中存在随机干扰项回归模型中存在随机干扰项 ，使待估参，使待估参数数 成为随机变量，因此，只需对随机干扰成为随机变量，因此，只需对随机干扰项做出假定，才干确定待估参数的分布性质，从项做出假定，才干确定待估参数的分布性质，从而才干进展假设检验和区间

21、估计，这也是运用普而才干进展假设检验和区间估计，这也是运用普通最小二乘法的前提条件。通最小二乘法的前提条件。一根本假定一根本假定i01和u3 3、 的分布性质的分布性质 一根本假定一根本假定Yi01YXiii() 0( )0122()( )(,) 0( ,) 0,22(0,)(,)01EE YXiiiVarVar YiiCovCov Y YijijijNYNXiii （1）零均值假定：（2）同方差假定：（3）无序列相关假定：（4）正态分布假定：二普通最小二乘法二普通最小二乘法 知识体系知识体系1、OLS的根本思想的根本思想2、最小二乘估计、最小二乘估计3、样本回归函数的离差方式、样本回归函数的

22、离差方式二普通最小二乘法二普通最小二乘法图3-5 OLS估计表示图 点到直线的间隔点到直线的间隔1点到直线的垂直间隔；点到直线的垂直间隔；2点到直线的垂直坐标间隔；点到直线的垂直坐标间隔；3点到直线的程度坐标间隔。点到直线的程度坐标间隔。222minminminmin01111nnnQeYYYXiiiiiiii二普通最小二乘法二普通最小二乘法u1 1、OLSOLS的根本思想的根本思想 知样本观测值 ，假设使样本回归线 尽能够好地拟合这些观测点的分布规律，那么必需满足一切样本观测点 到样本回归线的垂直坐标间隔之和最小，即: 由于残差可正可负，简单求和能够正负相互抵消，因此，只需残差平方和才干反映

23、两者总体上的接近程度，即：(, )(1, )X Yini i 01YXii,X Yi iminmin11nneYYiiiii22minmin11nneYYiiiii 二普通最小二乘法二普通最小二乘法u2 2、最小二乘估计、最小二乘估计Ordinary least Ordinary least squares, OLSsquares, OLS1 1微分求最值微分求最值222minminminmin01111001000100011nnnQeYYYXiiiiiiiiQQeYXiiiQX eYX Xi iii要使，则必使 对、 的一阶偏导数等于 ，即可得正规方程组：012001YnXiiY XXXi

24、 iiiiu2 2、最小二乘估计、最小二乘估计二普通最小二乘法二普通最小二乘法2 2求解正规方程组求解正规方程组( (克拉姆法那么克拉姆法那么) )2202221222YXiiX YXXYXX Yi iiiiii inXinXXiiXXiinYiXX YnX YXYii ii iiinXinXXiiXXii 。二普通最小二乘法二普通最小二乘法u2 2、最小二乘估计、最小二乘估计3 3方式变换方式变换12(OLS);2221221012xXXyY YiiiixXXXnXXXniiiiix yXX YYX YnXYX YXYni iiix yi ixiYXi ii iii 令，则：估计量的离差形式

25、u3 3、样本回归函数的离差方式、样本回归函数的离差方式二普通最小二乘法二普通最小二乘法()01011()11:001yYYiiyYYXXeiiNoteeiXXYXiiiixiien 令，则： 三三OLSOLS估计量的统计性质估计量的统计性质 知识体系知识体系1、线性性、线性性2、无偏性、无偏性3、有效性、有效性()kY kiji i是不全为0的常数()0,1Ejjjmin()Varj三三OLSOLS估计量的统计性质估计量的统计性质u1 1、线性性、线性性 01OLSYi估计量、是 的线性组合12222021211011yYYiix YYx yxYYxi ii ii iixxxxiiiixik

26、xXXiiixixYi ikYi ixiYXYkY XXk Ynnii ii iwYwXkni iii 证：令，因，其中，三三OLSOLS估计量的统计性质估计量的统计性质u2 2、无偏性、无偏性0,1Ejjj0110101012221111110YXiiikYkXkk Xki iiiiii ii ix x XxxXi iii ikk Xii ixxxiiiki iEEkkEi iiiE 证：同理可证：000EwwEi iiiu3 3、有效性、有效性 三三OLSOLS估计量的统计性质估计量的统计性质0,1minVarjj1先求 的方差j2210122222220011VarVarkYk Var

27、Yk VarXi iiiiiixik VariixxiiVarVarwYw VarXi iiiiXkni222112222 XkX knnii三三OLSOLS估计量的统计性质估计量的统计性质u3 3、有效性、有效性2221 2122022222222222:011022xXiVarXkXn nnixxiiXXnXxnXXiiin xn xn xiiiNotekk Xww Xiiiiii1先求 的方差ju3 3、有效性、有效性1 再证最小方差性三三OLSOLS估计量的统计性质估计量的统计性质11102varvar()varvar110cYi ickddiiiikd YkdYii iiiiOLS假

28、设也是的线性无偏估计量其中，为不全为 的常数。则：同理可证，估计量具有最小方差性。 高斯定理：在经典假定下，OLS估计量具有线性性、无偏性和最小方差性，是最正确线性无偏估计量best linear unbiased estimator, BLUE 知识体系知识体系1、OLS回归线经过样本均值点回归线经过样本均值点2、残差的和为零，而残差的平方和最小、残差的和为零，而残差的平方和最小3、解释变量与残差的乘积之和为零、解释变量与残差的乘积之和为零4、被解释变量的估计与残差的乘积之和、被解释变量的估计与残差的乘积之和为零为零5、估计值、估计值 的均值等于实践观测值的均值等于实践观测值 的的均值均值四

29、四OLSOLS回归线的性质回归线的性质YiYi01YX（）01neii（）01nX ei ii（）01nYei ii（）Y Y（）四四OLSOLS回归线的性质回归线的性质u1 1、OLSOLS回归线经过样本均值点回归线经过样本均值点00111110011101nneYXiiiiinneYXnniiiiiYX ( , )X Yu2 2、残差的和为零，而残差的平方和最小、残差的和为零，而残差的平方和最小20min11nneeiiiiu3 3、解释变量与残差的乘积之和为零、解释变量与残差的乘积之和为零001YX XX eiiii i正规方程组u5 5、估计值、估计值 的均值等于实践观测值的均值等于实

30、践观测值 的均的均值值YiYi四四OLSOLS回归线的性质回归线的性质u4 4、被解释变量的估计与残差的乘积之和为、被解释变量的估计与残差的乘积之和为零零001011111nnnnY eXeeX ei iiiii iiiii（）01010101YXYXiiYXY YX 五五OLSOLS估计量的区间估计估计量的区间估计 知识体系知识体系1、OLS估计量的分布估计量的分布2、OLS估计量的区间估计估计量的区间估计五五OLSOLS估计量的区间估计估计量的区间估计u1 1、OLSOLS估计量的分布估计量的分布1 方差 知222(0,)(,)010101222=,;=,00011122222(,);(,

31、)001122NYNXiiiOLSYiOLSXiEVarEVarn xxiiXiNNn xxii又估计量、是 的线性组合估计量、 也服从正态分布五五OLSOLS估计量的区间估计估计量的区间估计u1 1、OLSOLS估计量的分布估计量的分布2 方差 未知201222222()2222222222222(0,1);(2)2(2)(2)jjjjjjjjjjjeeeiiiEnnnXiSSnxxiinSNnVarVarVarTnSVarn是的无偏估计，即=；又 (2),0,1jjt njS 小结小结 0100112(0,)2(,)222(,);(,)22(0,1)0,1222(2)0,1 (2)0,12

32、jjjjjjjjNiYNXiiXiNNnxxiiNjVarnSnjVarTt njST正态分布：正态分布：正态分布：标准正态分布：分布： 分布： u2 2、OLSOLS估计量的区间估计估计量的区间估计五五OLSOLS估计量的区间估计估计量的区间估计1 构造枢轴变量 (2)jjjTt nS2 构造概率为 的事件1(2)(12)P F Fn，4计算检验统计量，判别其落入的区域010(12)(12)F FnHHFFnH若，时，则拒绝，而接受，说明解释变量对被解释变量的影响显著。若，时，则接受，说明解释变量对被解释变量的影响不显著。三变量显著性检验三变量显著性检验 知识体系知识体系1、构造、构造T统计

33、量统计量 2、T检验的步骤检验的步骤 三变量显著性检验三变量显著性检验u1 1、构造、构造T T统计量统计量222(0,1);(2) (2),0,12(2)(2)jjjjjjjjjjjjjnSNnVarVarVarTt njSnSVarn u2 2、T T检验的步骤检验的步骤三变量显著性检验三变量显著性检验1分析问题，提出假设2确定检验的统计量3构造小概率事件01:0:0jjHH；0| (2)(0,1)jjTt njSH成立(2)2P Ttn010(2)2(2)2TtnHHYXTtnHYX若时，则拒绝，而接受，说明被解释变量 与解释变量的线性关系显著。若时，则接受，说明被解释变量与解释变量的线

34、性关系不显著。u2 2、T T检验的步骤检验的步骤三变量显著性检验三变量显著性检验4计算检验统计量，判别其落入的区域四、模型运用四、模型运用 知识体系知识体系一点预测一点预测二区间预测二区间预测一点预测一点预测 知识体系知识体系1、Y的条件均值的条件均值 的点预的点预测测2、Y的个别值的个别值 的点预测的点预测()E Y XFYF一点预测一点预测 根本思想根本思想 利用所估计的样本回归函利用所估计的样本回归函数数 ，用解释变量的知值或预测，用解释变量的知值或预测值值 ，对预测期或样本以外的被解释变量，对预测期或样本以外的被解释变量数值做出定量的估计。数值做出定量的估计。01YXiiXFNote

35、:1模型设定的关系式不变；2所估计的参数值不变；3解释变量在预测期的取值已给定为 。XF一点预测一点预测 个别值0真实平均值点预测值SRFE Y XF（）FYFeFXFXYFPRFY图3-8 平均值、个别值和预测值的关系Note: 是真实平均值的点估计是真实平均值的点估计,也是对个别值的点估计也是对个别值的点估计YF一点预测一点预测u1 1、 Y Y的条件均值的条件均值 的点预的点预测测()E Y XF ()01()01 0101()()()01E Y XXiiXXE Y XXiFFFYXiiXE YXYXiXE Y XFFFYE Y XFFFFF总体回归函数为当时，又样本回归函数为当时，是条

36、件均值的无偏估计量。一点预测一点预测u2 2、 Y Y的个别值的个别值 的点预测的点预测YF 0101()= ()01)0()1E YXE YFFFYXiiiXXYXiFFFFE YXFFYYE Y XFFFYFYF总体回归模型为当时，又不仅是条件均值的点预测值， 也是个别值是个别值的无偏估计量。的点预测值。二区间预测二区间预测 知识体系知识体系1、Y的条件均值的条件均值 的区间的区间预测预测2、Y的个别值的个别值 的区间预测的区间预测()E Y XFYF二区间预测二区间预测u1 1、 Y Y的条件均值的条件均值 的区间的区间预测预测()E Y XF()() ()YFE Y XFE Y XFYYE Y XFFF由于抽样存在波动，预测值不一定等于真实平均值，还需要对其作区间估计。对条件均值作区间预测，必须确定其预测值的抽样分布， 必须找出与和都有关的统计量。 根本思想根本思想二区间预测二区间预测1构造枢轴变量u1 1、 Y Y的条件均值的条件均值 的区间的区间预测预测()E Y XF()()01212()()012212( (),;010)12E YE Y XXFFFXXFVar YVaX