第四章多元回归估计与假设检验(新)

1、第三章 双变量模型:假设检验复习重点复习重点: :1 1、参数估计掌握的基本知识：、参数估计掌握的基本知识：六个基本假定是满足最小二乘估计量三个性质的基本条件；六个基本假定是满足最小二乘估计量三个性质的基本条件；自变量前的参数估计量称为结构参数，其对应的标准误称为分布参数；自变量前的参数估计量称为结构参数，其对应的标准误称为分布参数；参数估计值、参数的估计标准误、参数估计值、参数的估计标准误、t t统计量三者之间的数量关系统计量三者之间的数量关系2 2、统计检验：、统计检验：判定系数检验：度量了解释变量对被解释变量变异的解释比例。判定系数检验：度量了解释变量对被解释变量变异的解释比例。变量显著

2、性检验：双边检验变量显著性检验：双边检验拒绝零假设，表明自变量与因变量之间的线性关系显著；拒绝零假设，表明自变量与因变量之间的线性关系显著；单边检验单边检验拒绝零假设，表明自变量对因变量有正向（或负向）影响。拒绝零假设，表明自变量对因变量有正向（或负向）影响。3 3、回归分析报告：估计方程、回归分析报告：估计方程、t t统计量、估计标准误、判定系数、统计量、估计标准误、判定系数、F F统计量、统计量、D.W.D.W.统计量统计量1第四章 多元回归：估计与假设检验本章讲授内容本章讲授内容: :前三个内容类似于双变量模型前三个内容类似于双变量模型, ,后两个内容有所不同后两个内容有所不同 4.1多

3、元线性回归模型 4.2多元线性回归模型的若干假定 4.3多元线性回归模型的参数估计 4.44.4多元线性回归模型的统计检验多元线性回归模型的统计检验( (* *) ) 4.54.5对模型设定的讨论（增减解释变量）对模型设定的讨论（增减解释变量）( (* *) )2 4.1多元线性回归模型-一般表现形式一般表现形式多元线性回归模型多元线性回归模型: :线性回归模型中的解释变量有多个。ikikiiiXXXY 22110i=1,2,n习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。j也被称为偏回归系数偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E

4、(Y)的变化量;3ikikiiiXXXY 22110kikiikiiiiXXXXXXYE 2211021),|(总体回归模型（总体回归函数的随机表达形式）总体回归函数（非随机表达式） (1)多元线性回归模型-一般表现形式一般表现形式样本回归模型（样本回归函数的随机表达形式）ikikiiiieXXXY22110样本回归函数（非随机表达式）kikiiiiXXXY221104XY)1(212221212111111knknnnkkXXXXXXXXXX1)1(210kk121nn (2) 多元线性回归模型-矩阵表达式矩阵表达式5 样本回归模型（函数）的矩阵表达: XYeXYk10neee21eikik

5、iiiieXXXY22110kikiiiiXXXY2211064.2多元线性回归模型的基本假定 假设1：回归模型是参数线性的，并且正确设定。 0)(iE22)()(iiEVar0)(),(jijiECovnjiji, 2 , 1,假设2：解释变量与随机项不相关。 0),(ijiXCov假设7：随机项满足正态分布。 ), 0(2Nikj,2 , 1 假设3、4、5：随机误差项具有零均值、同方差及不序列相关性。假设6：解释变量之间不存在完全共线性。即解释变量之间没有严格的线性关系。 7假设6：解释变量之间不存在完全共线性。即解释变量之间没有严格的线性关系。 012322330122133iiiii

6、iiiiYXXXXXX例：收入储蓄消费123XXX0112233iiiiiYXXX84.3 多元线性回归模型的参数估计 一、普通最小二乘估计 二、参数估计量的性质 三、参数估计中的样本容量问题9根据最小二乘原理，求参数估计值0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXYikikiiiXXXY 22110(1)普通最小二乘估计结构参数；分布参数10于是得到关于待估参数估计值的正规方程组正规方程组： kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(22110222

7、2110112211022110 解该（k+1）个方程组成的线性代数方程组，即可得到(k+1)个待估参数的估计值, , ,jjk 012 。KikiiiiXXXY22110i=1,2nYXXX1)(11例：例：在的家庭收入家庭收入-学生数学分数学生数学分数例中， 53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX可求得 0735. 10003. 00003. 07226. 0)(1EXX于是 7770. 0172.10339648400156740735. 10003. 0

8、0003. 07226. 021E12(2)OLS估计量的方差和标准误随机误差项的方差的估计 可以证明，随机误差项的方差的无偏估计量为 1122knkneiee134.4 多元线性回归模型的统计检验 一、拟合优度检验:多元判定系数R2 二、变量的显著性检验:t检验 三、方程的显著性检验:F检验 四、参数的置信区间:参数估计准确度 F检验与T检验的区别F与R2的关系F检验怎么做14 (1)(1)拟合优度检验拟合优度检验TSSRSSTSSESSR1215多元判定系数含义多元判定系数含义: :度量度量K K个解释变量对因变个解释变量对因变量量Y Y变动的联合解释比例。变动的联合解释比例。ikikii

9、iXXXY 22110 （2）(4.7)变量的显著性检验（t检验）) 1(1kntkncStiiiiiiiee1122knkneiee1、设计原假设与备择假设： H0：i=0H1：i0 （i=1,2k） 3、给定显著性水平，可得到临界值t/2(n-k-1)2、由样本求出统计量t的数值4、通过比较 拒绝或接受H0 判定对应的解释变量是否应包括在模型中|t| t/2(n-k-1) 或 |t|t/2(n-k-1) |P| /2 16 三、方程的显著性检验(F检验) 17 方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上在总体上是否显著成立作出推断。1、方程的显著性检验（F检验

10、）与变量的显著性检验（T检验）的区别。 变量的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系,在单个解释变量在单个解释变量是否与被解释变量线性关系显著成立作出推断。 F F检验的思想检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS由于回归平方和2iyESS是解释变量X的联合体对被解释变量 Y 的线性作用的结果，考虑比值 22/iieyRSSESS 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此,可通过该比值的大小对总体线性关系进行推断。182、方差分析技术 19对TSS各组成部分进行分析变异来源变异来源平方和

11、平方和自由度自由度MSS=SS/d.f.ESS解释变量个数kESS/kRSSn-待估参数个数(k+1)RSS/(n-k-1)TSSn-12YY2YY2YY3、(4.8)方程显著性的F检验 step1、可提出如下原假设与备择假设： H0： 1=2= =k=0；H1： j不全为0) 1/(/knRSSkESSFstep3、给定显著性水平，可得到临界值F(k,n-k-1)step2、由样本求出统计量F的数值 step4、通过比较 拒绝或接受原假设H0 判定原方程总体总体上上的线性关系是否显著成立(注意:k为模型中解释变量的个数)F F(k,n-k-1)拒绝原假设 ；FF(k,n-k-1)接受原假设根

12、据数理统计学中的知识根据数理统计学中的知识，在原假设，在原假设H0成立的条件成立的条件下，该统计量服从自由度下，该统计量服从自由度为为( (k , n-k-1)1)的的F分布分布 204、关于F与R2的关系2ESSESSRTSSESSRSS22/11/1ESS kRkFRSS nkRnk211ESSRSSRSSRESSESS 说明这两个统计量同方向变动。R2=0时，F=0；R2值越大，F值越大；R2=1时，F趋于R221 四、参数的置信区间 参数的置信区间用来考察：在一次抽样中所估计的参数值离参参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多数的真实值有多“近近”。即即参数

13、估计值的估计准确程度参数估计值的估计准确程度) 1(1kntkncStiiiiiiiee在(1-)的置信水平下i的置信区间是 (,)iitstsii22其中，t/2为显著性水平为 、自由度为n-k-1的临界值。 22练习题 t= （5.858） (-0.668) (-0.494) 模型1 R2=0.9960 d=3.1568 F=15.6 n=10 t= （7.464） (-2.469) (2.619) 模型2 R2=0.9980 d=3.5241 F=17.6 n=10要求要求（1）解释两个模型判定系数的含义；（）解释两个模型判定系数的含义；（2）对两个模型的变量）对两个模型的变量进行显著性

14、检验，并指出哪个模型更优；（进行显著性检验，并指出哪个模型更优；（3）对两个模型进行显著）对两个模型进行显著性检验（性检验（F检验）；（检验）；（4）解释模型）解释模型2中偏回归系数的含义。（显著中偏回归系数的含义。（显著性水平性水平=0.05） 注：模型中注：模型中Y-服装消费；服装消费； X1-可支配收入；可支配收入； X2-流动资产流动资产 ； X3-服装价格；服装价格； X4-相关商品价格相关商品价格XXXY3210345. 00379. 01387. 09400. 0XXXY4313186. 01882. 01036. 07593.12对模型1各问题回答（1）解释模型判定系数的含义；

15、）解释模型判定系数的含义；答答:0.996表明三个解释变量表明三个解释变量(即可支配收入、流动资产、服装价格）即可支配收入、流动资产、服装价格）对被解释变量（即服装消费）变动的联合解释比例为对被解释变量（即服装消费）变动的联合解释比例为99.6%。（2）对模型）对模型1的变量进行显著性检验；的变量进行显著性检验；答答:首先首先,根据给出的显著水平根据给出的显著水平0.05,自由度自由度 n-k-1=10-3-1=6,查表查表E-2得单侧检得单侧检验得临界值验得临界值t=1.943然后然后,分别将每个分别将每个t统计量的绝对值与统计量的绝对值与t临界值对比临界值对比.由于由于,x1对应的对应的t

16、统计量的绝统计量的绝对值大于对值大于t 临界值临界值,拒绝原假设拒绝原假设,表明表明x1与与y之间的之间的线性关系显著成立。之间的之间的线性关系显著成立。同理同理,由于另外两个自变量的由于另外两个自变量的t 统计量绝对值小于其临界值，表明统计量绝对值小于其临界值，表明x2,x3与与y的的线性关系不显著线性关系不显著.（3）对模型）对模型1进行显著性检验（进行显著性检验（F检验）；检验）；答答:首先首先,根据显著水平根据显著水平0.05,分子自由度分子自由度k=3,分母自由度分母自由度n-k-1=6这三个约束条这三个约束条件查表件查表E-3,得到得到F临界值为临界值为4.76将将F统计量与统计量

17、与F临界值比较临界值比较,F统计量大于统计量大于F临界值临界值,拒绝原假设拒绝原假设,表明回归方程表明回归方程总体上显著成立总体上显著成立.（4）解释模型）解释模型1中偏回归系数的含义。（显著性水平中偏回归系数的含义。（显著性水平=0.05）在其他条件不变的情况下，城镇居民人均可支配收入每增加在其他条件不变的情况下，城镇居民人均可支配收入每增加1元，则城镇居元，则城镇居民服装消费平均增加民服装消费平均增加0.1387元（或元（或0.14元）；另外两个自行分析说明元）；另外两个自行分析说明.提醒提醒:模型模型2的检验、分析由自己完成的检验、分析由自己完成.如何才能缩小置信区间？如何才能缩小置信区

18、间？ 增大样本容量增大样本容量n n，因为在同样的样本容量下，因为在同样的样本容量下，n n越越大，大，t t分布表中的临界值越小，同时，增大样本容分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；量，还可使样本参数估计量的标准差减小；提高模型的拟合优度提高模型的拟合优度，因为样本参数估计量的标，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差准差与残差平方和呈正比，模型优度越高，残差平方和应越小。平方和应越小。提高样本观测值的分散度提高样本观测值的分散度, ,一般情况下，样本观一般情况下，样本观测值越分散测值越分散，即观测值与其均值的离差平方和就，即

19、观测值与其均值的离差平方和就越大，参数估计量的标准误越小越大，参数估计量的标准误越小,致使区间缩小。致使区间缩小。254.5 多元回归模型的相关讨论 一、回归模型设定的讨论一、回归模型设定的讨论(4.10-4.11)什么时候增加新的解释变量？-(4.9)设定误差(4.12)受限最小二乘二、对回归结果的讨论二、对回归结果的讨论2R261、设定误差P83 4-524-534-3727模型设定中遗漏变量的问题28如何知道需否增加解释变量“设定误差”说明 模型模型(3)中中,推导钟表年代推导钟表年代(Age)对拍卖价格影响时对拍卖价格影响时,假设了竞标假设了竞标人数人数(Bidders)是保持不变的是

20、保持不变的; 而在模型而在模型(1)中中,只是简单略去了竞标人数这个变量只是简单略去了竞标人数这个变量.换一句话换一句话说说,模型模型(3)中钟表年代对其拍卖价格的影响是净影响中钟表年代对其拍卖价格的影响是净影响(或单独或单独影响影响),而在模型而在模型(1)中中,竞标人数的影响并没有略去竞标人数的影响并没有略去.因而因而,模型模型(1)中钟表年代的系数反映了钟表年代的直接影响和竞标人数中钟表年代的系数反映了钟表年代的直接影响和竞标人数的间接影响的间接影响.故此故此,模型模型(3)和模型和模型(1)的这种差异很好地反映了的这种差异很好地反映了偏回归系数的含义偏回归系数的含义. 从三变量模型从三

21、变量模型(3)的回归结果可以看出，钟表年代的回归结果可以看出，钟表年代(Age)和竞和竞标人数标人数(Bidders),无论是单独看无论是单独看,还是联合看还是联合看,都对拍卖价格有都对拍卖价格有重要影响重要影响 .因此因此,从模型从模型(1)中省略竞标人数中省略竞标人数(Bidders)这个变量这个变量,会导致模型中遗漏相关变量的会导致模型中遗漏相关变量的设定偏差设定偏差或或设定误差设定误差. 同样道理同样道理,从回归模型从回归模型(2)中省略钟表年代中省略钟表年代(Age)这个变量这个变量,也会也会导致设定误差存在导致设定误差存在.判定系数与校正（调整）的判定系数与校正（调整）的判定系数判

22、定系数( (根据模型中解释变量个数进行调整根据模型中解释变量个数进行调整) )TSSRSSTSSESSR12) 1/() 1/(12nTSSknRSSR211 (1)1nRnk n-k-1为残差平方和的自由度，n-1为总体平方和的自由度如果在模型中增加一个解释变量， R2往往增大现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需调整需调整校正的判定系数剔除了变量个数对拟合优度的影响校正的判定系数剔除了变量个数对拟合优度的影响302、什么时候增加新的解释变量？- 的应用2R2、什么时候增加新的解释变量？- 的应用2R只要校正判定系数只要校正判定系数 值增加，就可以增加新的解

23、释变量。值增加，就可以增加新的解释变量。注意:应变量相同的回归模型才可以对 进行比较。2R2R*赤池信息准则和施瓦茨准则 nknAIC) 1(2lneennknAClnlnee 这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。(补充内容) 31如果拟新增解释变量的参数估计值的如果拟新增解释变量的参数估计值的t绝对值大于绝对值大于1，则校正，则校正的判定系数的判定系数 会增加。会增加。2R 运用于对回归模型增加或减少解释变量的判断中考虑如下两个回归模型：kkXXY110qkqkkkkkXXXXY11110(有约束模型)(无约束模型)施加约束条件约束条件H0

24、：021qkkk323、受限最小二乘检验思想：用（检验思想：用（RSSR - RSSU）的大小检验约束的真实性的大小检验约束的真实性若约束条件为真 受约束回归模型与无约束回归模型具有相同的解释能力 （RSSR - RSSU）较小若约束条件无效 受约束回归模型与无约束回归模型解释能力有差异 （RSSR - RSSU）较大如果约束条件为真，RSSR 与 RSSU的差异很小，则计算的F值较小，即不拒绝该约束条件,说明受限模型成立,受限条件对应的解释变量对被解释变量没有影响。) 1,() 1/()/()(URUUURUURknkkFknRSSkkRSSRSSF如果约束条件无效， RSSR 与 RSSU

25、的差异较大，计算的F值也较大，即拒绝该约束条件,非受限模型成立。F临界F值，则拒绝约束条件；注意，kU - kR恰为约束条件的个数。q为约束条件(受限自变量)个数;k+q非受限模型自变量个数33构建检验统计量为：3、受限最小二乘222/1/1urrurRRqRnkq3、受限最小二乘012YAgeBidders01YAge无约束模型：有约束模型：施加约束条件：202urR2rRF临界F值，则拒绝约束条件,表明受限模型的约束无效,非受限模型成立；F临界F值，则接受约束条件,表明受限模型约束有效,模型中不含有约束条件所对应的解释变量.34222/1/1urrurRRqRnkq举例:食品消费函数无约束模型:lnQ=5.53+0.540lnx-0.258lnp1-0.288lnp0 (59.4) (14.78) (-1.45) (-1.41) R2=0.9773 F=258.84 n=22 RSSU=0.01775有约束模型: B3=B4=0, lnQ=5.74+0.2213lnx (38.14) (11.74) R2=0.8733 F=137.9 RSSr=0.09923要求要求:计算计算F统计量统计量.并进行并进行F检验检验,是拒绝约束条件是拒绝约束条件,还是不拒绝约束条件还是不拒绝约束条件说明说明:无约束模型