第3章多元线性回归模型

1 第三章 多元线性回归模型 基本要求 基本要求 1 理解多元线性回归模型的定义 2 理解多元线性回归模型的假定 3 掌握参数估计的计算 4 理解参数统计性质 第一节第一节 多元线性回归模型及假定多元线性回归模型及假定 一 多元一 多元线线性回性回归归模型模型 许多经济现象往往要受多个因素的影响 研究被解释变量受多个解释变量的影响 就要利用多 元回归模型 多元线性回归模型与一元线性回归模型基本类似 只不过解释变量由一个增加到两个以上 被 解释变量与多个解释变量之间存在线性关系 Y k XXX 21 假定被解释变量与多个解释变量之间具有线性关系 是解释变量的多元线性Y k XXX 21 函数 称为多元线性回归模型 即 3 1 kkX XXY 22110 其中为被解释变量 为个解释变量 为个未知参Y 1 2 j Xjk k 0 1 2 j jk 1k 数 为随机误差项 被解释变量的期望值与解释变量的线性方程为 Y k XXX 21 3 2 01122 kk E YXXX 称为多元总体线性回归方程 简称总体回归方程 对于组观测值 其方程组形式为 n 2 1 21 niXXXY kiiii 3 3 01122 1 2 iiikkii YXXXin 即 nknknnn kk kk XXXY XXXY XXXY 22110 2222212102 1121211101 2 其矩阵形式为 n Y Y Y 2 1 knnn k k XXX XXX XXX 21 22212 12111 1 1 1 k 2 1 0 n 2 1 即 3 4 YX 其中 为被解释变量的观测值向量 为解释变量的观 1n Y n Y Y Y 2 1 1 kn X knnn k k XXX XXX XXX 21 22212 12111 1 1 1 测值矩阵 为总体回归参数向量 为随机误差项向量 1 1k k 2 1 0 1n n 2 1 总体回归方程表示为 3 5 E YX 与一元线性回归分析一样 多元线性回归分析仍是根据观测样本估计模型中的各个参数 对估 计参数及回归方程进行统计检验 从而利用回归模型进行经济预测和分析 多元线性回归模型包含 多个解释变量 多个解释变量同时对被解释变量发生作用 若要考察其中一个解释变量对的影YY 响就必须假设其它解释变量保持不变来进行分析 因此多元线性回归模型中的回归系数为偏回归系 数 即反映了当模型中的其它变量不变时 其中一个解释变量对因变量的均值的影响 Y 由于参数都是未知的 可以利用样本观测值对它们进行 012 k 12 iikii XXXY 估计 若计算得到的参数估计值为 用参数估计值替代总体回归函数的未知参数 012 k 则得多元线性样本回归方程 012 k 3 6 01122 iiikkn YXXX 其中为参数估计值 为的样本回归值或样本拟合值 样本估 0 1 2 j jk 1 2 i Y in i Y 计值 其矩阵表达形式为 3 7 YX 3 其中为被解释变量样本观测值向量的阶拟合值列向量 1 n Y 1 2 n Y Y Y Y1n 1 kn X 为解释变量的阶样本观测矩阵 为未知 knnn k k XXX XXX XXX 21 22212 12111 1 1 1 X 1 nk 11k 0 1 2 k 参数向量的阶估计值列向量 1 1k 样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差 i Y i Y i e 3 8 0112 iiiiiikiki eYYYXX 二 多元二 多元线线性回性回归归模型的假定模型的假定 与一元线性回归模型相同 多元线性回归模型利用普通最小二乘法 OLS 对参数进行估计时 有如下假定 假定假定 1 1 零均值假定 即 0 1 2 i Ein 3 9 11 22 0 nn E E EE E 假定假定 2 2 同方差假定 的方差为同一常数 22 1 2 ii VarEin 假定假定 3 3 无自相关性 0 1 2 ijij CovEij i jn 2 1 1121 2 2 2122 12 2 12 n n n n nnn EEE 4 2 21 2 2 212 121 2 1 nnn n n EEE EEE EEE 3 10 nuI 2 2 2 2 00 00 00 假定假定 4 4 随机误差项与解释变量不相关 这个假定自动成立 X 2 1 2 1 0 nikjXCov iji 假定假定 5 5 随机误差项服从均值为零 方差为的正态分布 2 2 0 in N I 假定假定 6 6 解释变量之间不存在多重共线性 1rankkn X 即各解释变量的样本观测值之间线性无关 解释变量的样本观测值矩阵的秩为参数个数X k 1 从而保证参数的估计值唯一 012 k 第二节第二节 多元线性回归模型的参数估计及统计性质多元线性回归模型的参数估计及统计性质 一 多元一 多元线线性回性回归归模型的参数估模型的参数估计计 一 回归参数的最小二乘估计 对于含有个解释变量的多元线性回归模型k 01122 1 2n iiikkii YXXXi 设分别作为参数的估计量 得样本回归方程为 k 10 k 10 01122 iiikki YXXX 观测值与回归值的残差为 Yi Yi i e 0112 iiiiiikiki eYYYXX 由最小二乘法可知应使全部观测值与回归值的残差的平方和最小 即使 k 10 Yi Yi i e 5 22 210 iiik YYeQ 3 11 2 22110 kikiii XXXY 取得最小值 根据多元函数的极值原理 分别对求一阶偏导 并令其等于零 即Q k 10 3 12 0 1 2 j Q jk 即 01122 0 011221 1 01122 2 1 0 2 0 0 iiikki iiikkii iiikkiki k Q YXXX Q YXXXX Q YXXXX 化简得下列方程组 3 13 01122 2 011122111 2 01122 iikkii iiiikkiiii kiikiikikkikii nXXXY XXX XX XX Y XX XX XXX Y 上述个方程称为正规方程 其矩阵形式为 1 k 3 14 iki ii i k kikiikiiki ikiiiii kiii YX YX Y XXXXXX XXXXXX XXXn 1 2 1 0 2 21 112 2 11 21 因为 2 21 112 2 11 21 kikiikiiki ikiiiii kiii XXXXXX XXXXXX XXXn 6 knkk n n XXX XXX XXX 21 22221 11211 111 knnn k k XXX XXX XXX 21 22212 12111 1 1 1 X X iki ii i YX YX Y 1 knkk n n XXX XXX XXX 21 22221 11211 111 Y X n Y Y Y 2 1 设为估计值向量 0 1 2 k 样本回归模型两边同乘样本观测值矩阵的转置矩阵 则有 YX eX X XYXX Xe 得正规方程组 3 15 XYXX 由假定 6 为阶方阵 所以满秩 的逆矩阵1 kR XX X 1 kX X X X 存在 因而 1 X X 3 16 1 XXXY 则为向量的 OLS 估计量 以二元线性回归模型为例 导出二元线性回归模型的 OLS 估计量的表达式 由 3 3 式得二元 线性回归模型为 iiii XXY 22110 为了计算的方便 先将模型中心化 1 1 1 2 n jjijijij i XXxXXj n YYyY n Y ii n i i 1 1 7 2 1 qpxxL qipipq 2 1 jyxL ijijY 2 iYY yL 设 则二元回归模型改写为中心化模型 001122 XX 3 17 iiii xxY 22110 记 0 1121 1 1222 2 1 1 xx xx X 3 18 2 1121 2 2122 00 0 0 i iiiii iiiii nY xx xx Y x xxx Y XXXY 将代入得 2 1 qpxxL qipipq 3 19 2221 1211 0 0 00 LL LL n XX 因为 n i n i n i jiijiiji n i iji xYyxYyxYx 1111 3 20 2 1 1 jLyx jY n i iji 则 Y Y i L L Y 2 1 YX 由 3 16 式得 3 21 1 1 1 2 1 0 0 i Y Y Y Ln L XXXY L 其中 8 1112 1222 21122211 1 2212 12111 1 LL LL LLLLLL LL L 由 3 21 式可知 Y 0 Y Y Y Y L L LL LL LLLL L 2 1 1112 1222 2 1222112 11 2 1 1 L 得 3 22 2 122211 122221 1 LLL LLLL YY 3 23 2 122211 121112 2 LLL LLLL YY 3 24 22110 XXY 二 随机误差项的方差的估计量 2 样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差 i Y i Y i e 01122 iiiiiiikiki eYYYXXX 则 1 eYYYX X X XXXY 1 X X XXX X 1 X X XXX 1 X XXX 1 n IX XXX 设 可以得出是阶对称幂等矩阵 于是 1 n PIX XXXPn PP 2 PP eP 而残差的平方和为 2 i e e eP P P P P 9 1 n IX XXX 1 n EE e e IX XXX 21 n tr IX XXX 21 n trtr IX XXX 2 1 nk 其中 表示矩阵的迹 即矩阵主对角线元素的和 于是tr 2 1 1 E E nknk e ee e 随机误差项的方差的无偏估计量 记作 即 为残差的 2 2 e S 22 e E S 22 e S e S 标准差 或回归标准差 因此 3 25 11 2 2 knkn e S i e ee 其中 2 i e e eYX YX 2 Y Y XY XX 1 2 Y Y XY XX XXXY 3 26 Y Y XY 例如 对于二元线性回归模型 2 k 3 27 2 2 33 i e e S nn e e 2 1122 iYYYY eLLL e e 3 28 2 1122 iiiii YX YX Y 二 估二 估计计参数的参数的统计统计性性质质 1 线性性 指最小二乘估计量是被解释变量的观测值的线性函数 12 k Y YY 10 由于 1 XXXY 设 则矩阵为一非随机的阶常数矩阵 所以 1 PXXXP 1 kn 3 29 PY 显然最小二乘估计量是被解释变量的观测值的线性函数 12 k Y YY 2 无偏性 将代入 3 16 式得 YX 11 1 XXX X XXXX XXX 3 30 1 XXX 则 1 EE XXX 1 E XXX 所以是的无偏估计量 3 最小方差性 设为阶数值矩阵 为阶随机矩阵 随机变量为元素的矩阵 为阶数Ppn Xnp Qnn 值矩阵 则 QXPPXQEE 下面我们推导的方差 协方差矩阵 定义 VarE kk kk E 1100 11 00 11 kkk k k VarCovCov CovVarCov CovCovVar 10 1101 0100 由 3 30 式得 1 11 XXX XXX X XX 所以 VarE 11 E XXX X XX 11 E XXX X XX 1 2 1 XXXIXXX n 3 31 12 XX 这个矩阵主对角线上的元素表示的方差 非主对角线上的元素表示的协方差 例如 是位于的第 行与第 列交叉处的元素 主对角线上的元素 是位 i Var 1 2 X X ii ji Cov 于的第 行与第列交叉处的元素 非主对角线上的元素 1 2 X X ij 在应用上 我们关心的的方差 而忽略协方差 因此把 3 31 式记作 3 32 1 2 ii Var X X 记 则 所以是的最小方差线 2 1 0 1 1 kjiCij XXS iii CVar 2 性无偏估计 这说明 在 3 1 式系数的无偏估计量中 OLS 估计量的方差比用其它估计方法所得 的无偏估计量的方差都要小 这正是 OLS 的优越性所在 用代替则得的标准估计量的估计值 乃称为标准差 2 e S 2 i 3 33 2 eiii SCS 其中 1 2 kn Se ee 对于二元回归模型 求估计量的方差 由 3 32 式得2 k 21 12 1 22 1 1 0 0 ii ii Varn XX L 其中 2212 1211 LL LL L 于是 ii ii LL LL LLL LVar 1112 1222 2 122211 2 12 2 1 所以 3 34 2 2 122211 22 1 2 1 LLL L Var 3 35 2 2 122211 11 2 2 2 LLL L Var 3 36 2 2 122211 22 1 e S LLL L S 3 37 2 2 122211 11 2 e S LLL L S 其中 3 2 n Se ee 第三节第三节 显著性检验显著性检验 一 一 拟拟合合优优度度检验检验 一 总离差平方和分解 设具有个解释变量的回归模型为k ikikiii XXXY 22110 其回归方程为 kikiii XXXY 22110 13 离差分解 YYYYYY iiii 总离差平方和分解式为 3 38 2 2 2 YYYYYY iii 即 3 39 RSSESSTSS 总离差平方和分解为回归平方和与残差平方和两部分 二 样本决定系数 对于多元回归方程 其样本决定系数为复决定系数或多重决定系数 简记为 2 1 2 YX Rik 2 R 3 40 2 ESS R TSS 根据式 3 39 3 41 TSS RSS R 1 2 因为 22 2 YnYYYTSS ii 由 3 26 式知 RSS Y Y XY 所以 2 ESSTSSRSSnY XY 3 42 2 2 2 nY R nY XY Y Y 作为检验回归方程与样本值拟合优度的指标 越大 表示回归方程与样 2 R 2 R 10 2 R 本拟合的越好 反之 回归方程与样本值拟合较差 具体的 当时 求样本决定系数2 k 2 22 2 2 2 i ii i i y ey YY YY R 由 3 28 式 得 因此有 2 1122 iYYYY eLLL 3 43 2 1122 YY YY LL R L 14 三 调整后的样本决定系数 在使用时 容易发现的大小与模型中的解释变量的数目有关 如果模型中增加一个新 2 R 2 R 解释变量 总离差不会改变 但总离差中由解释变量解释的部分 即回归平方和将会增TSSESS 加 这就是说与模型中解释变量个数有关 但通过增加模型中解释变量的数目而使增大是错 2 R 2 R 误的 显然这样来检验被回归方程与样本值拟合优度是不合适的 需要对进行调整 使它不 2 R 2 R 但能说明已被解释离差与总离差的关系 而且又能说明自由度的数目 以表示调整样本决定系数 2 R 3 44 2 2 2 1 y e S S R 其中 1 1 2 2 2 2 n YY S kn e S i y i e 这里是残差平方和的自由度 是总离差平方和的自由度 1 kn1 n 由 3 44 式得 1 1 11 1 1 1 2 2 2 2 kn n R kn n YY e R i i 其中 是样本观测值的个数 是解释变量的个数 从式中可以看出 当增加一个解释变量时 由nk 前面分析可知会增加 引起减少 而增加 因而不会增加 这样用判 2 R 2 1R 1 1 kn n 2 R 2 R 定回归方程拟合优度 就消除了对解释变量个数的依赖 2 R 或只能说明在给定的样本条件下回归方程与样本观测值拟合优度 并不能做出对总体 2 R 2 R 模型的推测 因此不能单凭或来选择模型 必须对回归方程和模型中各参数的估计量做显著 2 R 2 R 性检验 二 方程二 方程显显著性著性检验检验 由离差平方和分解 3 39 式可知 总离差平方和的自由度为 回归平方和是TSS1 nESS 由个解释变量对的线性影响决定的 因此它的自由度为 所以 残差平方和k k XXX 21 Yk 的自由度由总离差平方和的自由度减去回归平方和的自由度 即为 1 kn 检验回归方程是否显著 第一步 作出假设 0 210 k H 备择假设H1 b1 b2 bk不同时为 0 第二步 在成立的条件下 计算统计量 0 H F 15 1 1 knkF knRSS kESS F 第三步 查表临界值 对于假设 根据样本观测值计算统计量给定显著水平 查第一个自由度为 第二个 0 HF k 自由度为的分布表得临界值 当时 拒绝 1 knF 1 knkF 1 knkFF 0 H 则认为回归方程显著成立 当时 接受 则认为回归方程无显著意义 1 knkFF 0 H 三 三 参数参数显显著性著性检验检验 回归方程显著成立 并不意味着每个解释变量对被解释变量的影响都是重要 k XXX 21 Y 的 如果某个解释变量对被解释变量的影响不重要 即可从回归模型中把它剔除掉 重新建立回Y 归方程 以利于对经济问题的分析和对进行更准确的预测 为此需要对每个变量进行考查 如果Y 某个解释变量对被解释变量的作用不显著 那么它在多元线性回归模型中 其前面的系数可XY 取值为零 因此必须对是否为零进行显著性检验 i 由 3 44 式 3 45 2 eiiii SCS 其中 1 2 kn Se ee 对回归系数进行显著性 检验 步骤如下 i t 1 提出原假设 备择假设 0 0 i H 0 1 i H 2 构造统计量 当成立时 统计量 这里 i ii S t 0 i 1 i i tt nk S 是的标准差 为解释变量个数 计算由式 3 45 给出 i S i k 3 给定显著性水平 查自由度为的 分布表 得临界值 1 knt 1 2 knt 4 若 则拒绝 接受 即认为显著不为零 若 1 2 kntt 0 0 i H 0 1 i H i 则接受 即认为显著为零 1 2 kntt 0 0 i H i 16 四 利用多元四 利用多元线线性回性回归归方程方程进进行行预测预测 对于多元线性回归模型 01122iiikkiiii YXXX X 其中 kiiii XXX 1 21 X 01 k 2 1 ni 根据样本观测值利用最小二乘法求得回归方程 2 1 1 21 niYXXX ikiii ii Y X 预测就是给解释变量某一特定值对被解释变量的值进行估计 020100 1 k XXX X 0 Y 作为的预测值 设 称其为预测误差 为一随机变量 可以证明服从正 0 Y 0 Y 000 eYY 0 e 0 e 态分布 即 0 1 0 2 0 1 0 XXXX Ne 将式中用它的估计值代替 则得的标准差 2 2 e S 0 e 0 e 0 1 00 1 XXXX e Se 其中 1 kn Se ee 统计量 0 00 e YY t 对于给定置信水平 预测值置信区间为 1 0 Y 0200020 etYYetY 即为 0 1 020000 1 020 1 1 XXXXXXXXX ee StYYEStY 17 五 多元五 多元线线性回性回归归分析分析实实例例 第四节第四节 最大似然估计最大似然估计 一 似然函数一 似然函数 一 基本假定 对于所研究的模型 给定如下基本假设 YX 1 0 2I N 2 2 1 2 1 0 kjniXCov iij 3 kxP 4 随机抽样总是生产单一的最可能结果 任意样本都是其所属总体的代表 这个强假定是针 对小样本而言的 二 似然函数 确定随机变量的任一观测样本的联合概率的函数 就称为的似然函数 YY 一般表达式为 3 47 2 222 11 exp 2 2 n LP Y X IYYX YX 二 极大似然估二 极大似然估计计法的基本思想法的基本思想 极大似然估计法 maximum likelihood estimation MLE 需要对随机扰动项的分布做出假定 通常选择正态分布假定 在极大似然估计中 假定样本是固定的 个观测值都是独立观测的 这n 个样本可由各种不同的总体生成 而每个样本总体都有自己的参数 那么在可供选择的总体中