数学简单线性回归模型PPT学习教案

1、数学简单线性回归模型数学简单线性回归模型第1页/共89页第2页/共89页第3页/共89页第4页/共89页第5页/共89页第6页/共89页第7页/共89页第8页/共89页第9页/共89页第10页/共89页第11页/共89页第12页/共89页第13页/共89页第14页/共89页也服从正态分布。服从正态分布，的随机性。的随机性导致正是由于变量：服从正态分布的随机：参数，：解释变量被解释变量YYYYiiniiixx010:第15页/共89页第16页/共89页 1. 经济变量间的相互关系 确定性的函数关系 不确定性的统计关系相关关系 (为随机变量) 没有关系 一、回归与相关 （对统计学的回顾）()Yf

2、X()Yf X第17页/共89页2.相关关系 相关关系的描述 相关关系最直观的描述方式坐标图（散布图） YX第18页/共89页 3.相关程度的度量相关系数 总体线性相关系数： 其中： X 的方差； Y的方差 X和Y的协方差样本线性相关系数： 其中： 和 分别是变量 和 的样本观测值 和 分别是变量 和 样本值的平均值Cov(,)Var()Var( )X YXYVar()XVar( )YCov(, )X Y_22()()()()iiXYiiXX YYXXYY_YiXiYXXYXY第19页/共89页XY第20页/共89页4. 回归分析回归的古典意义： 高尔顿遗传学的回归概念 ( 父母身高与子女身高

3、的关系)回归的现代意义： 一个应变量对若干解释变量 依存关系 的研究回归的目的（实质）： 由固定的解释变量去 估计应变量的平均值第21页/共89页iXXYYYYYYYXYXE()iY X第22页/共89页 iXYX回归线: 对于每一个 的取值， 都有 的条件期望 与之对应， 代表这些 的条件期 望的点的轨迹所形成 的直线或曲线，称为 回归线。回归线与回归函数XYYE()iY X第23页/共89页举例：假如已知100个家庭构成的总体。YXXE()()iiY Xf XYE()iY XE()iY X第24页/共89页每每 月月 家家 庭庭 可可 支支 配配 收收 入入 X X100015002000

4、250030003500400045005000550082096211081329163218422037227524642824888102412011365172618742110238825893038932112112641410178619062225242627903150每每960121013101432183510682319248828563201月月125913401520188520662321258729003288家家132414001615194321852365265030213399庭庭1448165020372210239827893064消消1489171

5、220782289248728533142费费1538177821792313251329343274支支160018412298239825383110出出17021886231624232567 Y1900238724532610201224982487271025892586900115014001650190021502400265029003150E()iY X例:100个家庭构成的总体 (单位:元)第25页/共89页 1. 总体回归函数的概念 前提：假如已知所研究的经济现象的总体应变量 和解释变量 的每个观测值, 可以计算出总体应变量 的条件均值 ，并将其表现为解释变量 的某种函数

6、 这个函数称为总体回归函数（PRF）二、总体回归函数（PRF）E()()iiY X= f XYYXXE()iY X第26页/共89页 iuiXXY)(iXYEiY （1）条件均值表现形式 假如 的条件均值 是解 释变量 的线性函数，可表示为： （2）个别值表现形式 对于一定的 ， 的各个别值 分布 在 的周围，若令各个 与条件 均值 的偏差为 , 显然 是随机变量,则有 或 2.总体回归函数的表现形式iXE()iY X12E()()iiiiY Xf XXiYE()iY XiYE()iY Xiuiu12E()iiiiiiuYY XYX12iiiYXuYYX第27页/共89页YXYYX第28页/共

7、89页计量经济学中: 线性回归模型主要指就参数而言是“线性”,因为只要对参数而言是线性的,都可以用类似的方法估计其参数。12E()iiiY XX212E()iiiY XX12E()iiiY XX“线性”的判断第29页/共89页uiYiuYXiXuE()iY XYiu第30页/共89页引入随机扰动项的原因第31页/共89页四、样本回归函数（SRF）X 样本回归线： 对于 的一定值，取得 的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹称为样本回归线。 样本回归函数： 如果把应变量 的样本条件均值表示为解释变量 的某种函数，这个函数称为样本回归函数（SRF）。 XYYYX第32页/共89页

8、SRF2SRF1YX第33页/共89页第34页/共89页12iiYX 样本回归函数如果为线性函数，可表示为 其中： 是与 相对应的 的样本条件均值 和 分别是样本回归函数的参数 应变量 的实际观测值 不完全等于样本条件均值，二者之差用 表示, 称为剩余项或残差项： 或者 样本回归函数的表现形式21iiiYXeiiieYYieiXiYiY12ieYY第35页/共89页ieiYiuE()iY X12iiiYXe122112iu第36页/共89页iY 样本回归函数与总体回归函数的关系 SRF PRF A iuieiY()iiE Y XiYYiXX第37页/共89页1 回归分析的目的 用样本回归函数S

9、RF去估计总体回归函数PRF。 由于样本对总体总是存在代表性误差，SRF 总会过 高或过低估计PRF。要解决的问题：寻求一种规则和方法，使得到的SRF的参数 和 尽可能“接近”总体回归函数中的参数 和 。这样的“规则和方法”有多种，最常用的是最小二乘法212第38页/共89页第39页/共89页第40页/共89页2、基本假定的内容12iiiYXuXuX第41页/共89页iuiu（2）对随机扰动项 的假定uiuXXE()0iiu X2iu22Var()EE()iiiiiu Xuu X第42页/共89页 假定3：无自相关假定 随机扰动项 的逐次值互不相关 假定4：随机扰动 与解释变量 不相关 iui

10、uX( ,)( )()ijiijjCov u uE uE uuE u()0()ijE uuij( ,)( )()0iiiiiiCov u XE uE uXE X第43页/共89页 假定5：对随机扰动项分布的正态性假定 即假定 服从均值为零、方差为 的正态分布 （说明：正态性假定不影响对参数的点估计，但对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时， 的分布会趋近于正态分布。所以正态性假定是合理的）iu2(0,)iuNiu2iu第44页/共89页iYCov( ,)0()ijY YijiiiuXY21iuiuiY12E()iiiY XX2Var()iY X212(,

11、)iiYNXY第45页/共89页OLS的基本思想二、普通最小二乘法 （rdinary Least Squares ）12iYiYiYieie2ie2212min()min()iiieYX第46页/共89页 正规方程和估计式用克莱姆法则求解得观测值形式的OLS估计式： 2122()iiiiiiiXYXX YnXX取偏导数为0，得正规方程222()iiiiiinX YXYnXX12iiYnX212iiiiX YXX第47页/共89页 为表达得更简洁，或者用离差形式OLS估计式： 注意其中：而且样本回归函数可写为 22_2)()(iiiiiixyxXXYYXXXY2_1XXxiiYYyii用离差表现

12、的OLS估计式iiixy 第48页/共89页XYXYiYiY12YXiYYn第49页/共89页 剩余项 的均值为零应变量估计值 与剩余项 不相关 解释变量 与剩余项 不相关 ie0neeiCov(,)0iiY eiYieieiXCov(,)0iiX e第50页/共89页( )fE( )E( )第51页/共89页前提：样本相同、用不同的方法估计参数， 可以找到若干个不同的估计式 目标：努力寻求其抽样分布具有最小方差的 估计式 最小方差准则，或称最佳 性准则 既是无偏的同时又具有最小方差的估计式，称为 最佳无偏估计式。2. 最小方差性第52页/共89页 4. 渐近性质（大样本性质）nP)lim(思

13、想:当样本容量较小时，有时很难找到最佳无偏估计，需要考虑样本扩大后的性质一致性： 当样本容量 n 趋于无穷大时，如果估计式 依概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。即 或 渐近有效性：当样本容量 n 趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。1)(limP第53页/共89页iYiX2122()iiiiiiiXYXX YnXX222()iiiiiinX YXYnXXkk第54页/共89页1. 线性特征 是 的线性函数 2. 无偏特性 3. 最小方差特性 在所有的线性无偏估计中，OLS估计 具有最小方差结论：在古典假定条件下,OLS估计式是最佳线性无 偏估计式

14、（BLUE） kOLS估计式的统计性质高斯定理kkE)(iiiiiiiiykxyxXXYYXX222)()(2iiixkxkY第55页/共89页第56页/共89页 一、什么是拟合优度? 概念：样本回归线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线，拟合的回归线与样本观测值总有偏离。 样本回归线对样本观测数据拟合的优劣程度 拟合优度拟合优度的度量建立在对总变差分解的基础上XY第57页/共89页)()(iiiiYYYYYY222)()()(iiiiYYYYYY第58页/共89页2iy2iy2ie第59页/共89页iY总变差i(Y -Y )SRFi(Y -Y ) 来自回归ie来自残差iX

15、Y变差分解的图示YX第60页/共89页222iyyrTSSRSSTSSESSTSSTSS2iy2r2iy2221iiyer22221iiiyeyy第61页/共89页可决系数的作用和特点102 r2r第62页/共89页运用可决系数时应注意 可决系数只是说明列入模型的所有解释变量对 因变量的联合的影响程度，不说明模型中每个 解释变量的影响程度（在多元中） 回归的主要目的如果是经济结构分析，不能只 追求高的可决系数，而是要得到总体回归系数 可信的估计量，可决系数高并不表示每个回归 系数都可信任 如果建模的目的只是为了预测因变量值，不是 为了正确估计回归系数，一般可考虑有较高的 可决系数第63页/共8

16、9页第64页/共89页问题的提出 为什么要作区间估计？OLS估计只是通过样本得到的点估计，不一定等于真实参数，还需要找到真实参数的可能范围，并说明其可靠性为什么要作假设检验？OLS 估计只是用样本估计的结果，是否可靠？ 是否抽样的偶然结果？还有待统计检验。区间估计和假设检验都是建立在确定参数估计值概率分布性质的基础上。第65页/共89页iYkkkiukkiYiY第66页/共89页 的期望： (无偏估计） 的方差和标准误差 (标准误差是方差的算术平方根) 注意：以上各式中 未知，其余均是样本观测值 的期望和方差2212Var()iiXNx2E()kk222Var()ix22SE()ix212SE

17、()iiXNx第67页/共89页 可以证明 的无偏估计为 (n-2为自由度,即可自由变化的样本观测值个数)2对随机扰动项方差 的估计2222ien第68页/共89页在 已知时将 作标准化变换2) 1 , 0()(22111111NxnXSEzii) 1 , 0()(2222222NxSEzi第69页/共89页2 (2)()kkktt nSE22当 未知时 第70页/共89页k1),(kk1)(kkkP01第71页/共89页回归系数区间估计的方法22*222 (2)()tt nSE第72页/共89页22n1)(22222tSEtP1)()(2222222SEtSEtP第73页/共89页三、回归系

18、数的假设检验1. 假设检验的基本思想为什么要作假设检验？ 所估计的回归系数 、 和方差 都是通过 样本估计的，都是随抽样而变动的随机变量， 它们是否可靠？是否抽样的偶然结果呢？还需 要加以检验。212第74页/共89页XYXY第75页/共89页*2(2) ttn*2(2) ttn* 2 2-t(n - 2) t t(n - 2)2t(n- 2)22*22222 (2)()()tt nSESE02H :012H :002H :02. 回归系数的检验方法第76页/共89页 P用 P 值判断参数的显著性假设检验的 p 值：p 值是基于既定的样本数据所计算的统计量，是拒绝原假设的最低显著性水平。统计分析软件中通常都给出了检验的 p 值统计量 t由样本计算的统计量为:相对于显著性水平 的临界值: