多元线性回归模型的各种检验方法

1 对多元线性回归模型的各种检验方法对多元线性回归模型的各种检验方法 对于形如对于形如 1 1 uXXXY kk 22110 的回归模型 我们可能需要对其实施如下的检验中的的回归模型 我们可能需要对其实施如下的检验中的 一种或几种检验 一种或几种检验 一 一 对单个总体参数的假设检验 对单个总体参数的假设检验 t t 检验检验 在这种检验中 我们需要对模型中的某个 总体 在这种检验中 我们需要对模型中的某个 总体 参数是否满足虚拟假设参数是否满足虚拟假设 做出具有统计意 做出具有统计意 0 H jj a 义 即带有一定的置信度 的检验 其中义 即带有一定的置信度 的检验 其中为某个给为某个给j a 定的已知数 特别是 当定的已知数 特别是 当 0 0 时 称为参数的 狭义时 称为参数的 狭义j a 意义上的 显著性检验 如果拒绝意义上的 显著性检验 如果拒绝 说明解释变量 说明解释变量0 H 对被解释变量对被解释变量具有显著的线性影响 估计值具有显著的线性影响 估计值才才j X Y j 敢使用 反之 说明解释变量敢使用 反之 说明解释变量对被解释变量对被解释变量不具不具j X Y 有显著的线性影响 估计值有显著的线性影响 估计值对我们就没有意义 具对我们就没有意义 具j 体检验方法如下 体检验方法如下 1 1 给定虚拟假设给定虚拟假设 0 H jj a 2 2 2 计算统计量计算统计量 的数值 的数值 j jj j jj Se a Se E t 1 1 j j jjjjj CCSe 1T X X 其中 3 3 在给定的显著水平在给定的显著水平下 下 不能大于不能大于即即 1 0 10 10 也即我们不能在置信度小于 也即我们不能在置信度小于 90 90 以下的前提下做以下的前提下做 结论 结论 查出双尾 查出双尾 t t 分布的临界值 分布的临界值 1 kn2 t 4 4 如果出现如果出现 的情况 检验结论为拒绝的情况 检验结论为拒绝2 tt 反之 无法拒绝 反之 无法拒绝 0 H 0 H 检验方法的关键是统计量检验方法的关键是统计量 必须服从已必须服从已t j jj Se t 知的知的 分布函数 什么情况或条件下才会这样呢 这需分布函数 什么情况或条件下才会这样呢 这需 t 要我们建立的模型满足如下的条件 或假定 要我们建立的模型满足如下的条件 或假定 1 1 随机抽样性 我们有一个含随机抽样性 我们有一个含次观测的随机次观测的随机 n 样样 这保证了误 这保证了误 niYXXX iikii 2 1 21 差差u 3 自身的随机性 即无自相关性 自身的随机性 即无自相关性 0 jjii uEuuEuCov 2 2 条件期望值为条件期望值为 0 0 给定解释变量的任何值 误 给定解释变量的任何值 误 差差 的期望值为零 即有的期望值为零 即有 u 0 21 k XXXuE 这也保证了误差这也保证了误差 独立于解释变量独立于解释变量 即 即u XXX 21 模型中的解释变量是外生性的 也使得模型中的解释变量是外生性的 也使得 0 uE 3 3 不存在完全共线性 在样本因而在总体中 不存在完全共线性 在样本因而在总体中 没有一个解释变量是常数 解释变量之间也不存在严没有一个解释变量是常数 解释变量之间也不存在严 格的线性关系 格的线性关系 4 4 同方差性 同方差性 常数 2 21 k XXXuVar 5 5 正态性 误差正态性 误差满足满足 u 0 2 Normalu 在以上在以上 5 5 个前提下 才可以推导出 个前提下 才可以推导出 1 1 0 knjjj jjj jjj tSe NSd VarN 4 由此可见 由此可见 检验方法所要求的条件是极为苛刻的 检验方法所要求的条件是极为苛刻的 t 二 二 对参数的一个线性组合的假设的检验对参数的一个线性组合的假设的检验 需要检验的虚拟假设为需要检验的虚拟假设为 比如 比如无无0 H 21 jj 21 法直接检验 设立新参数法直接检验 设立新参数 211 原虚拟假设等价于原虚拟假设等价于 将 将代入原模型代入原模型0 H 0 1 211 后得出新模型 后得出新模型 2 2 uXXXXY kk 212110 在模型 在模型 2 2 中再利用 中再利用 检验方法检验虚拟假设检验方法检验虚拟假设 t 0 H 0 1 我们甚至还可以检验这样一个更一般的假设我们甚至还可以检验这样一个更一般的假设 CH kk 11000 t t 统计量为统计量为 1 2 knt Se t T X X 1T 三 三 对参数多个线性约束的假设检验 对参数多个线性约束的假设检验 F F 检验检验 5 需要检验的虚拟假设为需要检验的虚拟假设为 0 H 0 0 21 kqkqk 该假设对模型 该假设对模型 1 1 施加了 施加了个排除性约束 模型个排除性约束 模型 q 1 1 在该约束下转变为如下的新模型 在该约束下转变为如下的新模型 uXXXY qkqk 22110 3 3 模型 模型 1 1 称为不受约束 称为不受约束 urur 的模型 而模型 的模型 而模型 3 3 称为受约束 称为受约束 r r 的模型 模型 的模型 模型 3 3 也称为模型 也称为模型 1 1 的嵌套模型 或子模型 分别用的嵌套模型 或子模型 分别用 OLSOLS 方法估计模型方法估计模型 1 1 和 和 2 2 后 可以计算出如下的统计量 后 可以计算出如下的统计量 1 knRSS qRSSRSS F ur urr 关键在于 不需要满足关键在于 不需要满足 t t 检验所需要的假定 检验所需要的假定 3 3 统 统 计量计量 F F 就满足 就满足 利用已知的 利用已知的 F F 分布函数 分布函数 1 knq FF 我们就可以拒绝或接受虚拟假设我们就可以拒绝或接受虚拟假设 0 H 了 所以 一般来讲 了 所以 一般来讲 F F 检验比检验比 t t 检检 0 0 21 kqkqk 验更先使用 用的更普遍 可信度更高 利用关系式验更先使用 用的更普遍 可信度更高 利用关系式 6 F F 统计量还可以写成 统计量还可以写成 1 2 rr RTSSRSS 1 2 urur RTSSRSS 1 1 2 22 knR qRR F ur rur 四 四 对回归模型整体显著性的检验 对回归模型整体显著性的检验 F F 检验检验 需要检验的虚拟假设为需要检验的虚拟假设为 相 相0 H0 0 21 k 当于前一个检验问题的特例 当于前一个检验问题的特例 嵌套模型变为 嵌套模型变为 kq F F 统计量变统计量变 uY 0 0 2 r RTSSRSSr 22 RRur 为 为 1 1 1 2 2 knRSS kESS knR kR F 五 五 检验一般的线性约束检验一般的线性约束 需要检验的虚拟假设比如为需要检验的虚拟假设比如为 0 H 受约束模型变为 受约束模型变为 0 1 21 k 7 uXY 10 再变形为 再变形为 F F 统计量只可用 统计量只可用 uXY 01 1 knRSS qRSSRSS F ur urr 其中 其中 2 11 2 11 1 XXYYXYXYTSSRSS iiiiXYr 六 六 检验两个数据集的回归参数是否相等 皱 至庄 检验两个数据集的回归参数是否相等 皱 至庄 检验检验 虚拟假定是总体回归系数的真值相等 步骤如下 虚拟假定是总体回归系数的真值相等 步骤如下 1 1 基于两组样本数据 进行相同设定的回归 基于两组样本数据 进行相同设定的回归 将二将二 者的者的 RSSRSS 分别记为分别记为和和 1 RSS 2 RSS 2 2 将两组样本数据合并 基于合并的样本数据 将两组样本数据合并 基于合并的样本数据 进行相同设定的回归 将回归的进行相同设定的回归 将回归的 RSSRSS 记为记为 T RSS 3 3 计算下面的计算下面的 F F 统计量 统计量 8 22 1 2121 21 knnRSSRSS kRSSRSSRSS F T 4 4 如果如果 拒绝原假定 拒绝原假定 FF 七 七 非正态假定下多个线性约束的大样本假设检验 非正态假定下多个线性约束的大样本假设检验 LMLM 拉格郎日乘数 检验 拉格郎日乘数 检验 F F 检验方法需要模型 检验方法需要模型 1 1 中的 中的满足正态性假定 满足正态性假定 u 在不满足正态性假定时 在大样本条件下 可以使用在不满足正态性假定时 在大样本条件下 可以使用 LMLM 统计量 虚拟假设依然是统计量 虚拟假设依然是 0 H LMLM 统计量仅要求对受约束模型统计量仅要求对受约束模型 0 0 21 kqkqk 的估计 具体步骤如下 的估计 具体步骤如下 将 将对施加限制后的解释变量进行回归 对施加限制后的解释变量进行回归 Y 并保留残差并保留残差 即我们要进行了如下的回归估计 即我们要进行了如下的回归估计 u uXXXY qkqk 22110 将 将对所有解释变量进行辅助回归 即进行对所有解释变量进行辅助回归 即进行 u 如下回归估计如下回归估计 9 22110 kk XXXu 并得到并得到 R R 平方 记为平方 记为 2 u R 计算统计量 计算统计量 2 u nRLM 将 将与与分布中适当的临界值分布中适当的临界值比较 如比较 如LM 2 q c 果果 就拒绝虚拟假设 就拒绝虚拟假设 否则 就不能拒绝虚拟 否则 就不能拒绝虚拟 cLM 0 H 假设假设 0 H 八 八 对模型函数形式误设问题的一般检验 对模型函数形式误设问题的一般检验 RESETRESET 如果一个多元回归模型没有正确地解释被解释变如果一个多元回归模型没有正确地解释被解释变 量与所观察到的解释变量之间的关系 那它就存在函量与所观察到的解释变量之间的关系 那它就存在函 数形式误设的问题 误设可以表现为两种形式 模型数形式误设的问题 误设可以表现为两种形式 模型 中遗漏了对被解释变量有系统性影响的解释变量 错中遗漏了对被解释变量有系统性影响的解释变量 错 误地设定了一个模型的函数形式 在侦察一般的函数误地设定了一个模型的函数形式 在侦察一般的函数 形式误设方面 拉姆齐 形式误设方面 拉姆齐 RamseyRamsey 19691969 的回归设定 的回归设定 误差检验 误差检验 regressionregression specilficationspecilfication errorerror testtest RESETRESET 是一种常用的方法 是一种常用的方法 RESETRESET 背后的思想相当简背后的思想相当简 单 如果原模型 单 如果原模型 1 1 满足经典假定 满足经典假定 3 3 那么在模型 那么在模型 10 1 1 中添加解释变量的非线性关系应该是不显著的 中添加解释变量的非线性关系应该是不显著的 尽管这样做通常能侦察出函数形式误设 但如果原模尽管这样做通常能侦察出函数形式误设 但如果原模 型中有许多解释变量 它又有使用掉大量自由度的缺型中有许多解释变量 它又有使用掉大量自由度的缺 陷 另外 非线性关系的形式也是多种多样的 陷 另外 非线性关系的形式也是多种多样的 RESETRESET 则是在模型 则是在模型 1 1 中添加模型 中添加模型 1 1 的 的 OLSOLS 拟合值的多拟合值的多 项式 以侦察函数形式误设的一般形式 项式 以侦察函数形式误设的一般形式 为了实施为了实施 RESETRESET 我们必须决定在一个扩大的回归 我们必须决定在一个扩大的回归 模型中包括多少个拟合值的函数 虽然对这个问题没模型中包括多少个拟合值的函数 虽然对这个问题没 有正确的答案 但在大多数应用研究中 都表明平方有正确的答案 但在大多数应用研究中 都表明平方 项和三次项很有用 令项和三次项很有用 令 表示从模型 表示从模型 1 1 所得到的 所得到的 OLSOLSY 估计值 考虑扩大的模型估计值 考虑扩大的模型 4 4 3 2 2 122110 YYXXXY kk 这个模型看起来有些奇怪 因为原估计的拟合值的函这个模型看起来有些奇怪 因为原估计的拟合值的函 数现在却出作为解释变量出现 实际上 我们对模型数现在却出作为解释变量出现 实际上 我们对模型 4 4 的参数估计并不感兴趣 我们只是利用这个模型 的参数估计并不感兴趣 我们只是利用这个模型 来检验模型 来检验模型 1 1 是否遗漏掉了重要的非线性关系 记 是否遗漏掉了重要的非线性关系 记 住 住 和和 都只是都只是 的非线性函数 的非线性函数 2 Y 3 Y j X 对模型 对模型 4 4 我们检验虚拟假设 我们检验虚拟假设 这时 这时 0 0 210 H 11 模型 模型 4 4 是无约束模型 模型 是无约束模型 模型 1 1 是受约束模型 是受约束模型 计算计算 F F 统计量 需要查统计量 需要查分布表 拒绝分布表 拒绝 模型 模型3 2 knF 0 H 1 1 存在误设 否则 不存在误设 存在误设 否则 不存在误设 九 利用非嵌套模型检验函数形式误设九 利用非嵌套模型检验函数形式误设 寻求对函数形式误设的其他类型 比如 试图决定某寻求对函数形式误设的其他类型 比如 试图决定某 一解释变量究竟应以水平值形式还是对数形式出现 一解释变量究竟应以水平值形式还是对数形式出现 作出检验 需要离开经典假设检验的辖域 有可能要作出检验 需要离开经典假设检验的辖域 有可能要 相对模型相对模型 log log log 22110kk XXXY 5 5 检验模型 检验模型 1 1 或者把两个模型反过来 然而 它们 或者把两个模型反过来 然而 它们 是非嵌套的 所以我们不能仅使用标准的是非嵌套的 所以我们不能仅使用标准的 F F 检验 有检验 有 两种不同的方法 两种不同的方法 一种方法由一种方法由 MizonMizon andand RichardRichard 1986 1986 提出 构造提出 构造 一个综合模型 将每个模型作为一个特殊情形而包含一个综合模型 将每个模型作为一个特殊情形而包含 其中 然后检验导致每个模型的约束 对于模型 其中 然后检验导致每个模型的约束 对于模型 1 1 和模型 和模型 5 5 而言 综合模型就是 而言 综合模型就是 12 6 6 kkX XY 110 log log 11kkkk XX 可以先检验可以先检验 作为对模型 作为对模型 1 1 的检验 也 的检验 也0 0 10 kkk H 可以通过对检验可以通过对检验 作为对模型 作为对模型 5 5 的检验 的检验 0 0 10 k H 另一种方法由另一种方法由 DavisonDavison andand MacKinnonMacKinnon 1981 1981 提出 提出 认为 如果模型 认为 如果模型 1 1 是正确的 那么从模型 是正确的 那么从模型 5 5 得 得 到的拟合值在模型 到的拟合值在模型 1 1 中应该是不显著的 因此 为 中应该是不显著的 因此 为 了检验模型 了检验模型 1 1 的正确性 首先用 的正确性 首先用 OLSOLS 估计模型估计模型 5 5 以得到拟合值 并记为 以得到拟合值 并记为 在新模型 在新模型Y 7 7 YXXXY kk 122110 中计算中计算 的的 t t 统计量 利用统计量 利用 t t 检验拒绝或接受假定检验拒绝或接受假定 Y 0 10 H 显著的显著的 t t 统计量就是拒绝模型 统计量就是拒绝模型 1 1 的证据 类似的 的证据 类似的 为了检验模型 为了检验模型 5 5 的正确性 首先用 的正确性 首先用 OLSOLS 估计模型估计模型 1 1 以得到拟合值 并记为 以得到拟合值 并记为 在新模型 在新模型Y 8 8 YXXXY kk log log log 122110 中计算中计算 的的 t t 统计量 利用统计量 利用 t t 检验拒绝或接受假定检验拒绝或接受假定 Y 0 10 H 以上两种检验方法可以用于检验任意两个具有相同的以上两