计量经济学的各种检验ppt课件.ppt

经济计量学的几种检验 多重共线性 Multicollinearityarisesbecausewehaveputintoomanyvariablesthatmeasurethesamething Asthedegreeofmulticollinearityincreases theregressionmodelestimatesofthecoefficientsbecomeunstableandthestandarderrorsforthecoefficientscangetwildlyinflated Measure vif tol 1 vif conditionindex etc 多重共线性的后果 1 存在完全多重共线性时 参数的估计值无法确定 而且估计值的方差变为无穷大 2 存在不完全多重共线性时 可以估计参数值 但是数值不稳定 而且方差很大 3 多重共线性会降低预测的精度 甚至失效 增大零假设接受的可能性 t值变小 多重共线性的检测方法 1 样本可决系数法 如果样本的可决系数R square比较大 且回归系数几乎没有统计上的显著性 则可认为存在多重共线性 Theil提出了一个指标 多重共线性效应系数 Theiltestresults Sas结果 结果表明有多重共线性 多重共线性检测方法 2 辅助回归检验法 若存在多重共线性 则至少有一个解释变量可精确或近似地表示为其余皆是变量的线性组合 相应的检验统计量为 辅助回归检验结果 Sas结果 Klein经验法则 若存在一个i 使得R i square R square 则认为多重共线性严重 本例中x1 x3有多重共线性 多重共线性检验方法 3 样本相关系数检验法 FGtestresults fg 20 488013401p 0 0001344625 拒绝零假设 认为存在多重共线性 具体那些变量之间存在多重共线性 除了上面提到的辅助回归的方法外 还有以下提到的条件数检验和方差膨胀因子法 多重共线性检验方法 4 特征值分析法所用的检验统计指标 为第k各自变量和其余自变量回归的可决系数 VIF 10 有多重共线性 TOL 1 VIF 条件指数 条件数 C 20 共线性严重 多重共线性的检验和补救 例一 进口总额和三个自变量之间回归 Sas结果如下 PearsonCorrelationCoefficients N 11Prob r underH0 Rho 0 x1x2x3x11 000000 025850 99726GDP0 9399 0001x20 025851 000000 03567存蓄量0 93990 9171x30 997260 035671 00000总消费 00010 9171从上面可以看出x1和x3线性相关严重 多重共线性的检验和补救 2 回归结果 ParameterEstimatesParameterStandardVarianceVariableDFEstimateErrortValuePr t InflationIntercept1 10 127991 21216 8 36 00010 x11 0 051400 07028 0 730 4883185 99747x210 586950 094626 200 00041 01891x310 286850 102212 810 0263186 11002发现x1的系数为负 和现实经济意义不符 出现原因就是x1和x3之间的线性相关 补救措施 增加样本 岭回归或主分量回归 至少去掉一个具有多重共线性的变量 对具有多重共线性的变量进行变换 对所有变量做滞后差分变换 一般是一阶差分 问题是损失观测值 可能有自相关 采用人均形式的变量 例如在生产函数估计中 在缺乏有效信息时 对系数关系进行限制 变为有约束回归 Klein Goldberger 1955 可以降低样本方差和估计系数的标准差 但不一定是无偏的 除非这种限制是正确的 对具有多重共线性的变量 设法找出其因果关系 并建立模型和原方程构成联立方程组 岭回归 岭回归估计 K 0 b k b即为OLSE K的选取 即使b k 的均方误差比b的均方误差小 岭迹图 岭回归结果 Obs MODEL TYPE DEPVAR RIDGE k PCOMIT RMSE Interceptx1x2x3y1MODEL1PARMSy0 48887 10 1280 0 0510 586950 287 12MODEL1RIDGEVIFy0 00方差膨胀因子185 9971 01891186 110 13MODEL1RIDGEy0 000 48887 10 1280 0 0510 586950 287 14MODEL1RIDGEVIFy0 018 5990 981928 604 15MODEL1RIDGEy0 010 55323 9 18050 0460 598860 144 16MODEL1RIDGEVIFy0 022 8580 962192 859 17MODEL1RIDGEy0 020 57016 8 92770 0570 595420 127 18MODEL1RIDGEVIFy0 031 5020 943451 502 19MODEL1RIDGEy0 030 57959 8 73370 0610 590800 120 110MODEL1RIDGEVIFy0 040 9790 925320 979 111MODEL1RIDGEy0 040 58745 8 55830 0640 585910 116 1 主分量回归 主分量回归是将具有多重相关的变量集综合得出少数几个互不相关的主分量 两步 1 找出自变量集的主分量 建立y与互不相关的前几个主分量的回归式 2 将回归式还原为原自变量结果 详见 方开泰 主分量回归结果 Obs MODEL TYPE DEPVAR PCOMIT RMSE Interceptx1x2x3y1MODEL1PARMSy0 48887 10 1280 0 051400 586950 28685 12MODEL1IPCVIFy10 250831 000850 25038 13MODEL1IPCy10 55001 9 13010 072780 609220 10626 14MODEL1IPCVIFy20 249560 000950 24971 15MODEL1IPCy21 05206 7 74580 073810 082690 10735 1 主分量回归结果 由输出结果看到在删去第三个主分量 pcomit 1 后的主分量回归方程 Y 9 1301 0 07278x1 0 60922x2 0 10626x3 该方程的系数都有意义 且回归系数的方差膨胀因子均小于1 1 主分量回归方程的均方根误差 RMSE 0 55 比普通OLS方程的均方根误差 RMSE 0 48887 有所增大但不多 Sas程序 dataex01 inputx1x2x3y labelx1 国内生产总值 labelx2 存储量 labelx3 消费量 labely 进口总额 cards 149 34 2108 115 9161 24 1114 816 4171 53 1123 219 0175 53 1126 919 1180 81 1132 118 8190 72 2137 720 4202 12 114622 7212 45 6154 126 5226 15 0162 328 1231 95 1164 327 6239 00 7167 626 3 run proccorrdata ex01 varx1 x3 run 岭回归 procregdata ex01outest ex012graphicsoutvif modely x1 x3 ridge 0 0to0 1by0 01 plot ridgeplot run procprintdata ex012 run 主分量回归法 procregdata ex01outest ex103 modely x1 x3 pcomit 1 2outvif pcomit表示删去最后面的1或2个主分量 用前面m 1或m 2各主分量进行回归 run procprintdata ex103 run Sas程序 theiltest procregdata ex01 equation3 modely x1x2 equation2 modely x1x3 equation1 modely x2x3 run r 9473 r3s 0 9828 datatheil rsq 0 9919 r1s 0 9913 r2s 0 9473 r3s 0 9828 theil rsq 3 rsq r1s r2s r3s puttheil run 辅助回归检验法 procregdata ex01 equation3 modelx3 x1x2 equation2 modelx2 x1x3 equation1 modelx1 x2x3 run FGtest proccorrdata ex01outp corrnosimple varx1 x3 run procprintdata corr run title 计算相关矩阵的行列式 prociml R 1 0000 0260 997 0 02610 036 0 91520 63061 d det R printd run d 0 081371 title 计算检验统计量及其p值 datafg n 11 p 3 d 0 081371 fg n 1 1 6 2 p 5 log d df p p 1 2 p 1 probchi fg df putfg p run fg 20 488013401p 0 0001344625 拒绝零假设 异方差的检验和补救 OLSEunbiased inefficient t Ftestinvalid forecastaccuracydecreased Ifthemodeliswell fitted thereshouldbenopatterntotheresidualsplottedagainstthefittedvalues Ifthevarianceoftheresidualsisnon constant thentheresidualvarianceissaidtobe heteroscedastic 异方差的检测 Therearegraphicalandnon graphicalmethodsfordetectingheteroscedasticity Acommonlyusedgraphicalmethodistoplottheresidualsversusfitted predicted values Example grade educatedyears potexp workingyears exp2 potexp 2 union dummyvariable 收入方程回归的结果 DependentVariable LNWAGEAnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr FModel412 422363 1055914 06 t Intercept10 595110 283492 100 0384GRADE10 083540 020094 16 0001POTEXP10 050270 014143 560 0006EXP21 0 000561720 00028785 1 950 0540UNION10 165930 124451 330 1856 图示法检测 利用残差平和对因变量的预测值做散点图如右图所示 残差变化不大 因此认为没有异方差存在 怀特检验 Sas程序结果 AnalysisofVariancSumofMeanSourceDFSquaresSquareFValuePr FModel121 188810 099070 880 5731Error879 830780 11300CorrectedTotal9911 01958RootMSE0 33615R Square0 1079DependentMean0 20989AdjR Sq 0 0152CoeffVar160 15281ParameterStandardVariableDFEstimateErrortValuePr t Intercept1 0 077670 98580 0 080 9374GRADE1 0 012200 12502 0 100 9225POTEXP10 077840 071881 080 2819EXP21 0 003990 00409 0 970 3325UNION10 648790 861600 750 4535grade210 002200 004250 520 6065exp41 3 34378E 70 00000151 0 220 8256exp310 000061700 000141920 430 6648gx210 000116830 000111021 050 2955gp1 0 003750 00494 0 760 4498gu1 0 051370 04430 1 160 2494pu10 001930 060610 030 9746eu1 0 000221850 00126 0 180 8605 残差项平方对所有一阶 二阶及交叉项回归 1 由左边的结果可知 故同方差的假设未被拒绝 2 Procregdata aa Modely x spec Run 可得到相同的结果 布罗施 帕甘 戈弗雷检验 怀特检验的特例 1 OLS残差额et和一个估计的干扰误差 2 用OLS将对选中的解释变量进行回归 并计算解释平方和 ESS 3 在零假设下 有 4 一个更简单且渐进等价的做法是直接利用残差平方对选中的解释变量进行回归 在零假设 同方差 下 DependentVariable rsqSumofMeanSourceDFSquaresSquareFValuePr FModel121 188810 099070 880 5731Error879 830780 11300CorrectedTotal9911 01958RootMSE0 33615R Square0 1079DependentMean0 20989AdjR Sq 0 0152 BPGtestresults 1 BPGtestresults 2 DependentVariable rsqadjustAnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr FModel310 704153 568051 430 2386Error96239 411162 49387CorrectedTotal99250 11531RootMSE1 57920R Square0 0428DependentMean0 99997AdjR Sq0 0129CoeffVar157 92443ESS 10 70415 BPGtestresults 3 ESS 5 35FModel30 471600 157201 430 2386Error9610 547980 10987RootMSE0 33147R Square0 0428 戈德菲尔德 匡特 Goldfeld Quandt 检验 按potexp的值将数据从小到大进行排列 取前后个35个观测值分别回归 c 30 回归的主要结果 RSS1 6 39573 RSS2 7 2517 RSS2 RSS1 1 13 而 该比值不显著 不能拒绝同方差的原假设 去掉的中间观测值的个数要适中 否则会降低功效 一般取观测值个数的1 3 补救措施 已知方差的形式 1 广义最小二乘法 GLS 请参考讲义中的例子 2 模型变换法 适用于函数型异方差 已知方差的函数形式 3 加权最小二乘法 WLS 实质上是一种模型变换法 具体参见讲义中的例子 采用面板数据 增加信息量 未知方差的形式 Furnival 1961 提出了一种拟合指数进行不断的修正 最后找出最佳的权重 使得该指数值最小 处理盲点 robustregression 1 迭代加权最小二乘法 IRLS Neter提出了2中加权函数 HuberandBisquare 但是不易操作 SASv8中常使用ProcNLIN迭代 2 非参数回归 ProcLoess 3 SASv9 0中有一个过程ProcrobustregStata中有一个比较好的命令 rreg直接进行鲁棒回归 robust 采用迭代过程 序列相关性 serialcorrelation OLSEunbiased butinefficientanditsstandarderrorestimatorsareinvalid BLUEoftheGauss MarkovTheoremnolongerholds Thevarianceformulasfortheleastsquaresestimatorsareincorrect AR MA orARMAformsofserialcorrelation TaketheAR 1 forinstance Dw检验需要注意的地方 假定了残差是服从正态分布 而且是同方差 自变量是外生的 如果包含了内生滞后变量 就需要用修正的dh检验 procautoreg 只适用于一阶自相关 对高阶或非线性自相关不适用 样本容量至少为15 自相关检验的标准 德宾和沃森根据显著水平 n k 确定了二个临界值du 上界 dl 下界 然后进行比较 1 ddu 不拒绝零假设 3 dl2 负自相关 d 2 无自相关 Eg Icecreamdemand Hildreth Lu 1960 Cons consumptionoficecreamperhead pints Income averagefamilyincomeperweek Price priceoficecream perpint Temp averagetemperature inFahrenheit Data 30four weeklyobsfromMarch1951to11July1953 残差的散点图 回归结果 ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr t Intercept10 197320 270220 730 4718price1 1 044410 83436 1 250 2218income10 003310 001172 820 0090temp10 003460 000445557 76 0001Durbin WatsonD1 021NumberofObservations301stOrderAutocorrelation0 330 1 DWtest 查表可得 在0 05的显著水平上 dl 1 21 N 30 k 3 du 1 65 直接在回归的语句中加上一个dw选项 Dw 1 021 dl 1 21 故有一阶正的自相关 2 当回归元严格外生时 AR 1 序列相关的检验 1 yt对做xt1 xt2 xtk回归 得到残差 t 2 进行回归 t对 t 1 采用t检验 注意 采用t检验时 必须假定 t t 1 et种的误差项et服从同方差的假定 否则采用稳健的检验统计量 robust 3 当回归元非严格外生时 AR 1 序列相关的检验步骤 当解释变量非严格外生时 会有一个或多个解释变量和ut 1相关 t检验和dw检验失效 例如含滞后因变量一种解决办法 dh检验统计量 Durbin 1970 另一种更一般的方法 无论有多少个非严格外生变量都有效 1 yt对做xt1 xt2 xtk回归 得到残差 t 2 进行回归 t对xt1 xt2 xtk t 1 包含截距项 采用t检验 同样可以采取稳健性t检验 4 高阶的BG Breusch Godfrey检验 AR P 序列相关检验 假设干扰项 零假设 所有自回归系数为零 检验步骤 拉格朗日乘数检验 1 yt对做xt1 xt2 xtk回归 得到残差 t 2 辅助回归 3 Breusch Goldfrey BG test P 1 一般从低阶开始探测直到10左右 如果没有什么显著的结果 就认为扰动项不存在序列相关 e t e t 1 OLSN R square 29 0 15 4 35 因此拒绝零假设 认为有自相关 且显著一阶正相关 ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr t resid10 384540 170292 260 0319 补救方法 1 已知rho时 采用广义差分变换 2 未知rho时 先求相关系数 然后进行广义差分 求相关系数的方法有 1 Cochrane Orcutt迭代方法 2 Hildreth Lu 3 Durbin2step 对严格外生回归元的序列相关的校正AR 1 模型 可行的广义最小二乘法 FGLS 采用估计的相关系数值 回归方程 FGLS步骤 1 yt对做xt1 xt2 xtk回归 得到残差 t 2 t t 1 et 求出相关系数的估计值3 对上面的方程进行回归 常见的标准误 t统计量和F统计量都是渐进正确的 采用相关系数估计值的代价是FGLS有限样本性质较差 可能不是无偏的 数据弱相关时 但仍然是一致的 尽管FGLS不是无偏的 不是BLUE 但是当序列相关的AR 1 模型成立时 比OLS更渐进有效 区分科克伦 奥克特 Cochrane Orcutt 和普莱斯 温斯登 Paris Winsten 估计 Co估计省略了第一次的观测值 使用的是 t t 1 et滞后项系数估计值 而Pw估计方法使用了第一次的观测值 见上面的回归式 大体来说是否使用第一次的估计值并不会带来很大的差别 但是时间序列的样本很小 实际中还是有很大差别 注意下面的估计结果中没有还原到原方程 还原时要写正确 高阶序列相关的校正 类似于一阶的修正 广义的差分方法 Sas程序 dataice inputconsincomepricetemptime cards procregdata ice modelcons priceincometemp dw outputout ice1p conspr resid run symbol1i nonev dotc blueh 5 procgplotdata ice1 plotresid time 1 vref 0 run BGtest datatt1 setice1 resid1 lag resid run procregdata tt1 modelresid resid1 noint run rh0 0 40063 R square 0 1541 databgt bg 29 0 1541 chisq cinv 0 95 1 ifbg chisqthent 1 elset 0 putt run t 0 Sas程序 高阶的BG检验 高阶BGtestp 3 datatt2 setice1 resid1 lag resid resid2 lag resid1 resid3 lag resid2 run procregdata tt2 modelresid resid1resid2resid3 noint run R square 0 1792 databgt2 bg 29 3 0 1792 chisq cinv 0 95 3 ifbg chisqthent 1 elset 0 putt chisq bg run t 0 无高阶自相关 Sas程序 yule walkerestimates procautoregdata ice modelcons priceincometemp nlag 1method yw run COCHRANE ORCUTT procregdata ice modelcons priceincometemp dw outputout ttp chatr res run procprintdata tt run datatt settt relag Lag res run procprintdata tt run procregdata ttoutest b1 modelres relag noint run 可算出rh0 0 40063 datapp settt c1 lag cons t1 lag temp i1 lag income p1 lag price run procprintdata pp run datapp1 setpp if n 1thendelete c2 cons 0 40063 c1 t2 temp 0 40063 t1 i2 income 0 40063 i1 p2 price 0 40063 p1 run procprintdata pp1 run procregdata pp1 MODELc2 t2i2p2 dw run dw 1 54 1 65 因此不拒绝平稳性假设 Sas程序 上页的科克伦 奥科特迭代只用了1次 对小样本情况 迭代多次的仍然很难收敛 我做了三次迭代发现仍然不收敛 所以说多次迭代效果和一次的效果相差不大 从理论上来说两者的渐进性一样 大样本情况只需几步就可收敛 下面采用fgls进行估计校正 datafgls settt1 if n 1thenint sqrt 1 0 40063 0 40063 elseint 1 0 40063 if n 1thencons1 cons sqrt 1 0 40063 0 40063 elsecons1 cons 0 40063 cons if n 1thenprice1 price sqrt 1 0 40063 0 40063 elseprice1 price 0 40063 price if n 1thenincome1 income sqrt 1 0 40063 0 40063 elseincome1 income 0 40063 income if n 1thentemp1 temp sqrt 1 0 40063 0 40063 elsetemp1 temp 0 40063 temp run procregdata fgls modelcons1 intprice1income1temp1 noint run Sas程序 procautoregdata ice modelcons priceincometemp nlag 1dwprobarchtest run 估计方法缺省为yule walker估计 又称为两步完全变换法 已知自回归参数下的GLS估计 其他方法 在model method ML ULS ITYW 分别为极大似然估计 无条件最小二乘估计 以及迭代yule walker估计 自回归参数较大时ml方法uls 又称NLS 方法较好 详见SAS ETS中的autoreg过程 Yuler walkerestimate TheAUTOREGProcedureDependentVariableconsOrdinaryLeastSquaresEstimatesSSE0 03527284DFE26MSE0 00136RootMSE0 03683SBC 103 63408AIC 109 23887RegressR Square0 7190TotalR Square0 7190Durbin Watson1 0212PrDW0 9997NOTE PrDWisthep valuefortestingnegativeautocorrelationStandardApproxVariableDFEstimateErrortValuePr t Intercept10 19730 27020 730 4718price1 1 04440 8344 1 250 2218income10 0033080 0011712 820 0090temp10 0034580 0004467 76 0001PreliminaryMSE0 00105EstimatesofAutoregressiveParametersStandardLagCoefficientErrortValue1 0 3297720 188812 1 75 EGLS Cochrane Orcutt两步法 results 一次迭代 DependentVariable c2 generaldifferenced AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr FModel30 047070