多元线性回归模型及其假设条件

5 1 多元线性回归模型及其假设条件 1 多元线性回归模型 多元线性回归模型 i pipii i xbxbxbb y 22110 ni 2 1 2 多元线性回归模型的方程组形式 3 多元线性回归模型的矩阵形式 4 回归模型必须满足如下的假设条件 第一 有正确的期望函数 即在线性回归模型中没有遗漏任何重要的解释变量 也没有包 含任何多余的解释变量 第二 被解释变量等于期望函数与随机干扰项之和 第三 随机干扰项独立于期望函数 即回归模型中的所有解释变量与随机干扰项不 Xj u 相关 第四 解释变量矩阵 X 是非随机矩阵 且其秩为列满秩的 即 式中nkkXrank k 是解释变量的个数 n 为观测次数 第五 随机干扰项服从正态分布 第六 随机干扰项的期望值为零 0 uE 第七 随机干扰项具有方差齐性 常数 22 ui 第八 随机干扰项相互独立 即无序列相关 0 uuuu jiji cov 5 2 多元回归模型参数的估计 建立回归模型的基本任务是 求出参数的估计值 并进行统计检验 bbb p 10 残差 残差平方和 Q yy e ii i yy e ii n i i 2 1 2 矩阵求解 X xxx xxx xxx pnnn p p 21 22212 12111 1 1 1 b b b b p B 2 1 0 y y y y n n Y 1 2 1 YB XXX 1 1 2 pn Q 要通过四个检验 经济意义检验 统计检验 计量经济学检验 模型预测检验 5 4 多元线性回归模型的检验 一 检验 R 2 1 检验定义 R 2 检验又称复相关系数检验法 是通过复相关系数检验一组自变量与因变 R 2 xxx m 21 量 y 之间的线性相关程度的方法 复相关系数与复可决系数检验中的 复 是相对于一元函数而言 复相关系数 自变量在两个以上 检验线性关系密切程度的指标 记为 通常 R xxx p y 21 用 R 表示 复可决系数 复相关系数的平方 R2 在实际应用中 判别线性关系密切程度都是用 R2检验 所以复可决系数 R2是模型拟合优 度指标 R2越接近于 1 模型拟合越好 0 R2 1 yy yy i ii R 2 2 1 2 复相关系数检验法的步骤 1 计算复相关系数 2 根据回归模型的自由度 n m 和给定的显著性水平值 查相关系数临界值表 3 判别 3 调整可决系数 mn n RR 1 11 2 2 是一个随自变量个数增加而递增的函数 所以 当对两个具有不同自变量个数但性质 R 2 相同的回归模型进行比较时 不能只用作为评价回归模型优劣的标准 还必须考虑回 R 2 归模型所包含的自变量个数的影响 消除了自变量个数不同的影响 可以用于不同自变量个数间模型的比较 R 2 4 检验的目的 R 2 检验模型对原始数据的拟合程度 或对原始数据信息的解释程度 二 F 检验 1 检验目的 通过 F 统计量检验假设是否成立的方法 回归方程的显著性检0 21 0 m H 验是检验所有系数是否同时为 0 2 F 统计量 m 1 是回归变差的自由度 n m 是剩余变差 mn m F yy yy ii i 2 2 1 yyi 2 的自由度 y y ii 2 F 服从自由度为的 F 分布 mnm 1 3 回归效果不显著的原因 1 影响 y 的因素除了一组自变量之外 还有其他不可忽略的因素 xxx m 21 2 y 与一组自变量之间的关系不是线性的 xxx m 21 3 y 与一组自变量之间无关 xxx m 21 4 解决办法 分析原因另选自变量或改变模型的形式 三 t 检验 1 检验目的 回归系数的显著性检验是检验某个系数是否为 0 2 T 统计量 统计假设 H0 统计量 是矩阵的第0 bi cS b t iiy i i mn Q Sy cii X X 1 I 个对角元素 是一个自由度为 n m 的 t 分布变量 统计检验判别 否定假设 titti 系数 否则 接受假设 0 bi 0 bi 四 DW 检验 1 序列相关的概念及对回归模型的影响 序列相关是指数列的前后期相关 若时差为一期的序列相关 称为一节自相关 回归模型假设随机误差项之间不存在序列相关或自相关 即和互不相关 uiuj 若回归模型不满足这一假设 则称回归模型存在自相关 ji uu ji 0 cov 当模型中存在序列自相关时 使用 OLS 方法估计参数 将产生下列严重后果 1 估计标准误差 S 可能严重低估 的真实值 2 样本方差可能严重低估的真实值 S j 2 i D 3 估计回归系数可能歪曲的真实值 j i 4 通常的 F 检验和 t 检验将不再有效 5 根据最小二乘估计量所作的预测将无效 2 序列相关的原因 1 惯性 变量的发展趋势 2 偏误 模型设定有误 删去了一些必要变量 3 蛛网现象 供给对价格的反应要迟一个时期 4 其他原因 例如 现时消费取决于前期消费 3 序列相关的检验方法 D W 检验法 适用条件 序列相关是一阶自回归形式 注意 第一 D W 检验不适用于随机项具有高阶序列相关的检验 第二 D W 检验有 一段不能判断其正相关或负相关的范围 第三 对于利用滞后被解释变量做为解释变量的 模型 该检验失效 1 一阶自相关的数学表达式 V ee tt 1 2 D W 检验给出了是否存在一阶自相关的结论 3 一阶自相关系数 的估计值 更常用的是 T t t T t tt e ee 2 2 2 1 2 1 d 4 消除序列相关的方法 1 一阶差分法 已知自相关的相关系数 1 原回归模型 令 ux y tt t 10 vuu ttt 1 yyy ttt1 xxx ttt1 vxy tt t 1 2 广义差分法 原回归模型 令 ux y tt t 10 vuu ttt 1 yyy ttt1 xxx ttt1 vx y tt t 10 1 2 1 d 3 广义最小二乘法 做变换得到广义差分模型 P 1000 01000 0010 0001 00001 2 P P 1 PX X PY Y Pu u uXY 广义最小二乘估计量 YX XX 1 1 1 XX v arV 1 1 2 用样本普通最小二乘残差的一阶自相关系数来估计 kT XYXY v 1 2 k 是模型中估计参数个数 含常数项 T 是样本容量 五 异方差 1 异方差及其检验方法 1 异方差性在观察点聚图上的直观表示 对原始数据点而言 2 异方差性的检验方法 1 经济分析法 对数据分组 分别计算方差 2 直观判 断法 对残差而言 3 等级相关检验法 4 戈里瑟检验 2 消除异方差的基本方法 1 模型变换法 是已知异方差与自变量关系的形式 对模型进行变换 利用方差的性质可以证明是等方差 的 2 加权最小二乘法 使用异方差性的权矩阵 W 对模型进行变换 YB WXXWX 1 1 1 六 多重共线性 1 多重共线性 是指模型中解释变量间存在着一定的相关关系 没有满足独立性要求 2 原因 1 各经济变量间存在着内在联系 2 各经济变量在时间上有共同增长的趋 势 3 在建立模型时引入了一些解释变量的滞后值作为新的解释变量 3 解决办法 1 经济分析的办法 找出引起多重共线性的变量 将他排除在外 2 统计分析的方法 降维技术或者逐步回归的方法 3 改变变量定义的形式 七 预测区间 1 估计标准误差 mn S yy ii 2 2 点预测 预测误差的样本方差 1 点预测 B xy 0 0 2 预测误差