第四章--经典线性回归模型(高级计量经济学-清华大学-潘文清).ppt

第四章经典线性回归模型 I ClassicalLinearRegressionModel I 4 1经典线性回归模型ClassicalLinearRegressionModels 一 经典回归模型ClassicalRegressionModel 假设随机抽取一容量为n的样本 Yi Xi i 1 n 其中 Yi是标量 Xi 1 X1i X2i Xki 或 经典回归模型 classicalregressionmodel 建立在如下假设之上 假设1 linearity Yi 0 1X1i kXki i Xi i i 1 2 n 或Y X 其中 0 1 k 1 2 n 注意 这里的线性性指Y关于参数 是线性的 假设2 strictExogeneity E i X E i X1 X2 Xn 0 i 1 2 n 注意 1 由E i X 0易推出 E 0 E Xj i 0或有 Cov Xj i 0 i j 1 2 n 2 由于可以有j i 或j i 意味着 i既不依赖过去的X 也不依赖于未来的X 因此排除了动态模型 例 对AR 1 模型 Yi 0 1Yi 1 i Xi i这里Xi 1 Yi 1 显然E Xi i E Xi E i 0 但E Xi 1 i 0 因此 E i X 0 3 计量经济学中 关于严格外生性有其他的定义 如定义为 i独立于X 或X是非随机的 这一定义排除了条件异方差性 而我们这里的假设2是允许存在条件异方差性的 如果X是非随机的 则假设2变成E i X E i 0 4 假设2的向量形式 E X 0 注意 1 本假设排除了解释变量间的多重共线性 multicollinearity 2 本假设意味着X X是非奇异的 或者说X必须满秩于k 1 因此应有k 1 n 3 由于 表述了矩阵X X的相关信息 因此本假设意味着当n 时应有新信息进入X 即Xi不能老是重复相同的值 假设4 Sphericalerrorvariance a conditionalhomoskedasticity E i2 X 2 0 i 1 2 n b conditionalserialuncorrelatedness E i j X 0 i j 1 2 n 注意 1 假设4可写成E i j X 2 ij 其中 i j时 ij 1 i j时 ij 0矩阵形式 E 2I 3 假设4意味着存在非条件同方差性 var i 2类似地 Cov i j 0 2 由假设2 Var i X E i2 X E i X 2 E i X 2同理 Cov i j X E i j X 0 4 假设4并不意味着 i与X是独立的 它充许 i的条件高阶矩 如 偏度 峰度 可依赖于X 二 参数 的估计Estimationof 由假设1与假设2知 E Y X 0 1X1 kXk X 其中 X 1 X1 Xk 即线性模型Y X 关于E Y X 正确设定 因此 其最佳线性最小二乘近似解 beatlinearLSapproximationcoefficient 等于参数的真实值 0 即 minE Y X 2的解为 0 E XX 1E XY 由类比法 对样本回归模型Yi Xi b eii 1 2 n其中 Xi 1 X1i Xki b b0 b1 bk 需求解极值问题min 1 n ei 2 上述问题相当于求解残差平方和 sumofsquaredresiduals SSR 的极小值minSSR b ei2 Yi Xi b 2 e e Y Xb Y Xb 其中 e e1 e2 en 在假设3下 解为 b X X 1 X Y 该方法称为普通最小二乘法 ordinaryLeastSquares 1 1阶偏导 SSR b 2X Y Xb 2阶偏导 2SSR 2b 2X X由 min X X 0知2X X 0 从而b X X 1 X Y 是最小值由1阶极值条件可以得到所谓正规方程 normalequations X Y Xb X e 0正规方程是OLS所特有的 而不论是否有E i X 0 注意 一些有用的等式 1 X e 0 2 b X X 1X 因为b X X 1X Y X X 1X X X X 1X 3 定义n n方阵 P X X X 1X M In P则P P M M P2 P M2 M且PX X MX On k 1 4 e MY M SSR b e e Y MY M 三 高斯 马尔科夫定理Gauss MarkovTheorem Question OLS估计量的统计性质如何 1 Unbiaseness E b X E b E b X E X X 1X X X X 1X E X 2 VanishingVariance Var b X E b b X E X X 1X X X X 1 X X X 1E X X X 1 2I 2 X X 1b中第i个元素的方差 Var bi 2cii cii为 X X 1中主对角线第i个元素 对任何其元素平方和为1的 k 1 1向量 1 Var b X 2 X X 1 2 max X X 1 2 min X X 1 注意 Var b X 0还可通过Chebycheff不等式来证明 对b中的第i个元素 P bi i 0forall 0 由于b X X 1X E e X E M X ME X 0故Cov b e X E X X 1X e X E X X 1X M X X X 1X E X M 2 X X 1X M On n 3 Orthogonalitybetweeneandb Cov b e X E b e E e X 4 Gauss Markovtheorem IntheCRmodel theLScoefficientvectorbistheminimumvariancelinearunbiasedestimatorofparametervector E b X E C X X C X C E X C X b 是无偏的当且仅当C X I于是b C Y C X C X C C b C 则Var b X E b b X E C C X C E X C C 2IC 2C C于是Var b Var b 2C C 2 X X 1 2 C C C X X X 1X C 2C I X X X 1X C 2C MC 2C M MC 2 MC MC 2D D positivesemi definite 设b 是另一线性无偏估计 b C Y其中 C C X 为一n k 1 只依赖于X的矩阵 只需证明Var b Var b 是半正定的 1 Gauss Markov定理表明OLS估计量b是 的最佳线性无偏估计量 bestlinearunbiasedestimator BLUE 2 由性质 1 与性质 2 还可得出 OLS估计量b依均方收敛于 因此依概率收敛于 从而是 的一致估计量 3 由性质 1 与性质 2 知 MSE b X E b b X Var b X bias b X 2 0 n 注意 四 估计 2及Var b Estimationof 2andVar b 由于 2未知 而Var b 中也有 2 故需估计 由假设4 E i2 X 2 故可用E ei2 X 来估计 2 E ei2 X E e e X E M X E i jmij i j X i jmijE i j X 2 imii 2trace M 而trace M trace In P trace In trace X X X 1X n trace X X 1XX n trace X X 1X X n k 1 于是E ei2 X E e e X 2 n k 1 记s2 ei2 n k 1 e e n k 1 则s2为 2的无偏估计量 五 估计条件期望及预测EstimationofconditionalExpectation andPrediction 1 估计条件期望 2 Y个值的预测 六 测度拟合优度MeasuringGoodnessofFit Ruc2为非中心化多元相关系数的平方 Uncenteredsquaredmulti correlationcoefficient Question Howwelldoesthelinearregressionmodelfitthedata Thatis howwelldoesthelinearregressionmodelexplainthevariationoftheobserveddata 注意 1 0 Ruc2 1 2 Ruc2的含义 Y的变化中可以由X的变化解释的部分所占的比重 称为Y的方差分解式 analysisofvariance 观测值的离差平方和 SST 等于拟合值的离差平方和 SSE 加残差的平方 SSR SST SSE SSR 3 R2是解释变量数目Xi的非递减函数 Proof 记Yi Xi ui i 对应R2Yi Xi vi ii 对应R 2其中 Xi 1 X1i Xki Xi 1 X1i Xki Xk q i 求解minSSR 可看成在 k 1 k q 0的约束下求解minSSR 有约束的 i 的残差平方和不会小于无约束的 ii 的残差平方和 e e e e 为避免将无解释力的解释变量纳入到X中去 引入调整的决定系数 adjustedcoefficientofdetermination 4 决定系数仅是对样本回归线拟合样本数据的程度给予描述 而CR模型并不要求R2要有多高 CR模型关心的是对总体回归参数的估计与检验 5 有两个常用的判别是否有必要引入额外解释变量的准则 在变量数目与模型简洁性间权衡 贝叶斯信息准则 Baysianinformationcriterion BIC 施瓦茨准则 Schwarzcriterion SC BIC ln e e n k 1 ln n n 赤池信息准则 Akaikeinformationcriterion AIC AIC ln e e n 2 k 1 n goodnessoffit modelcomplexity 贝叶斯信息准则对多引入多余的解释变量给出了更重的惩罚 4 2经典正态回归 一 经典正态回归模型ClassicalNormalRegressionModel 为了寻找有限样本下b的抽样分布以及对其对 的代表性进行检验 需要对随机扰动项 给出进一步的假设 假设5 X N 0 2I 于是 Y X 称为经典正态回归模型 classicalnormalregressionmodel CNRmodel 它并不依赖于X 即 独立于X ii 有假设 5 意味着就有假设 2 与假设 4 注意 二 抽样分布SamplingDistribution Question Whatisthesamplingdistributionofb 引理3 4 1 多元正态分布向量的线性函数呈多元正态分布 如果z g Hy 这里g与H为非随机变量 且H是行满秩的 则z N g H H H 其中 E y Var y 引理3 4 2 设n 1向量u N 0 In M为n n幂等矩阵 rank M r n 记w u Mu 则w 2 r Proof 由于b X X 1X 记HK n X X 1X 则rank H rank X rank X K k 1又 X N 0 2I 则由引理3 4 1b X N X X 1X E X X X 1X Var X X X X 1 或b N 2 X X 1 Theorem1 Normalityofb 在假设1 3 5下 b X N 2 X X 1 推论 bj为b的第j个元素 则bj N j 2cjj proof 正态分布的线性组合为正态分布 E Rb X RE b X R J 1Var Rb X RVar b X R 2R X X 1R Theorem2 NormalityofRb 在假设1 3 5下 对任何非随机行满秩矩阵RJ K 有Rb X N R 2R X X 1R Theorem3 在假设1 3 5下 i n K s2 2 X e e 2 X 2 n K ii s2与b相互独立 进一步关心与s2有关的分布形式 1 由于e e M 而 X N 0 2In 则 1 X N 0 In 由于rank M trace M n K由引理3 4 2 M 2 n K 于是e e 2 n K s2 2 2 n K 2 s2是e的函数 而e与b相互独立 从而s2与b相互独立 注意 1 i 意味着E n K s2 2 X n K n k 1因此E s2 X 2 proof 3 i 与 ii 意味着MSE s2 X E s2 2 2 X Var s2 X E s2 X 2 2 Variance biase 0因此 s2是 2的最优估计 2 i 意味着Var n K s2 2 X 2 n K 即 n K 2 4 Var s2 X 2 n K Var s2 X 2 2 n K 0 n 表明s2 X依均方收敛 从而依概率收敛于 2 再次表明s2是 2的一致估计量 三 置信区间ConfidenceInterval 2未知时bj的置信区间 2往往未知 可用s2替代 这时小样本下 b的分布已不再是正态分布 引理3 4 3Ifw z z wherethen 1vectorz N 0 I thenw 2 n 引理3 4 4Ifv w1 m w2 n wherew1 2 m andw2 2 n areindependent thenv F m n 四 假设检验HypothesisTesting 1 单参数检验 testonaSingleParameter 假设有如下零假设 nullhypothesis H0 j j0如果该假设为真 则在一次抽样中 bj远离 j0的概率较小 在Tj bj i0 sbj t n K 的情况下 给定较小的显著性水平 significance level 意味着Tj落在置信度1 的置信区间外的概率只有 即P bj i0 sbj t1 2 n K 因此 给定显著性水平 Tj落在置信度1 的置信区间内 则接受H0 j j0Tj落在置信度1 的置信区间外 则拒绝H0 j j0 注意 1 在实践中 往往关注的假设是 j 0 2 n 时 t N 0 1 这时可用标准正态分布的置信区间进行判断 选择适当的R 可以关注整个 向量 或 的子向量 p 1 或 的某一个元素 j 如 取R 0 0 0 1 0 r 0 则R r 3 0取R 0 1 1 0 0 r 1 则R r 1 2 1 2 多参数检验 TestonaSetofParameters 假设有一关于 的联合零假设 jointnullhypothesis H0 R r其中 R是秩为J的J K矩阵 r为J 1向量 如果H0为真 则在一次抽样中 b远离 的概率较小 或Rb远离r的概率较小 由于Rb X N R 2R X X 1R 则当R r为真时Rb X N r 2R X X 1R 引理3 4 6 对n 1向量y N 记w y 1 y 则w 2 n 由于 式中的 2往往未知 因此在小样本下并不实际使用 当用s2替代 2时 采用如下F统计量 Proof 而 由前述引理3 4 4 命题得证 注意 因此 大样本下可以用s2替代 2后直接用 2分布另外 容易验证有 2 对于F分布具有如下性质 a 如果F F p q 则F 1 F q p b F 1 q t2 q a是显然的 下面验证b 记R 0 0 1 0 0 这里第j个元素非零 r j0则 1 n K bj j0 R X X 1R 1 bj j0 s2 bj j0 2 R X X 1R s2 3 AlternativeexpressionforF TestStatistics 这里 J恰为约束条件个数 记非约束OLS估计为 b X X 1X Y 考虑上述极值条件第一式有 因此 在一次抽样中 可根据计算的F值的大小 来检验约束条件H0 R r的真伪 由于一般地有SSRr SSRu只有当约束条件为真时 二者的差异变小 计算的F值较小 否则F值变大 具体地 给定显著性水平 F值落在相应的临界值 criticalvalue 左边 则接受H0F值落在相应的临界值右边 则拒绝H0 3 若干应用 Case1 TestingfortheJointSignificanceofExplanatoryVariables 检验H0 j 0forj 1 2 kH1 j 0atleastforsome j j 1 2 k 在H0下 受约束回归 Yi 0 i 另一表达式 注意 该式只能检验假设 H0 j 0forallj 1 Case2 TestingforOmittedVariables 假设X X 1 X 2 这里X 1 n k1 X 2 n k1 k2 1 如果E Yi Xi E Yi X 1 i 则称X 2 i对Yi无解释能力 如