第三章 多元线性回归模型.ppt

模型的建立及其假定条件最小二乘法最小二乘估计量的特性可决系数显著性检验与置信区间预测案例分析 第三章多元线性回归模型 一 多元线性回归模型二 多元线性回归模型的基本假定 3 1模型建立及其假设条件 多元总体线性回归模型 表现在线性回归模型中的解释变量有多个 一般表现形式 一 多元线性回归模型 i 1 2 n 其中 k为解释变量的数目 j称为回归参数 多元总体回归方程的表达式为 j也被称为偏回归系数 表示在其他解释变量保持不变的情况下 Xj每变化1个单位时 Y的均值E Y 的变化 或者说 j给出了Xj的单位变化对Y均值的 直接 或 净 不含其他变量 影响 总体回归模型的矩阵表达式为 其中 多元样本线性回归模型 多元样本线性回归方程 ei称为残差或剩余项 residuals 可看成是总体回归函数中随机扰动项 i的近似替代 多元样本回归方程的矩阵表达式 假设1 解释变量是非随机的或固定的 且各X之间不存在精确的线性关系 即 rank X k 1 n 假设2 随机误差项具有零均值 同方差及无序列相关性 二 多元线性回归模型的基本假定 假设3 解释变量与随机误差项不相关 假设4 随机误差项满足正态分布 上述假设1和2的矩阵符号表示式 假设1 n k 1 矩阵X是非随机的 且X的秩rank X k 1 n 假设2 估计方法 OLS 3 2多元线性回归模型的估计 一 普通最小二乘估计二 参数估计量的性质三 估计实例 对于随机抽取的n组观测值 一 普通最小二乘估计 如果样本回归方程的参数估计值已经得到 则有 i 1 2 n 根据最小二乘原理 参数估计值应该是下列方程组的解 其中 于是得到关于待估参数估计值的正规方程组 正规方程组的矩阵形式 即 由于X X满秩 故有 将上述过程用矩阵表示如下 即求解方程组 得到 于是 总体回归函数和样本回归方程的离差形式 其矩阵形式为 其中 在离差形式下 参数的最小二乘估计结果为 二元线性回归模型的OLS估计量 一 拟合优度检验二 方程的显著性检验 F检验 三 变量的显著性检验 t检验 四 参数的置信区间 3 3多元线性回归模型的统计检验 描述力学体系运动状态必须的独立坐标数 例如描述可在空间任意运动的一个质点的位置需3个独立坐标 则其自由度为3 若限制质点在某曲面或某曲线上运动 则其自由度减为2或1 又如自由运动的刚体有6个自由度 即3个平动自由度和3个转动自由度 简要定义 体系在运动时 用以完全确定体系在平面内的位置所需的独立坐标的数目 称为自由度 自由度 1 一组数据中可以自由取值的数据的个数2 例如 样本有3个数值 Ex 5 当Ex 5确定后 x1 x2和x3有两个数据可以自由取值 另一个则不能自由取值 比如x1 6 x2 7 那么x3则必然取2 而不能取其他值 3 再加一个约束 x1 x2 3 则只能有1个可以自由取值 自由度为1 自由度等于样本个数减去约束数量 三个人去郊游 自由活动 但必须有一个看包的 同时只能有2个自由活动 自由度为2 再加一个约束 还必须有一个做饭的 自由度就剩1了 自由度 总离差平方和TSS n 1 均值约束 残差平方和ESS n k 1 k 1各方程求得残差平方和 回归离差RSS k n 1 n k 1 自由度 随机误差项 的方差 2的无偏估计 可以证明 随机误差项 的方差的无偏估计量为 在满足基本假设的情况下 其结构参数 的普通最小二乘估计具有 线性性 无偏性和最小方差性 有效性 二 参数估计量的性质 高斯 马尔可夫定理 1 线性性 最小二乘估计量是被解释变量观测值的线性函数 2 无偏性最小二乘估计量的数学期望等于其真实值 3 最小方差性 有效性 回归系数的方差及其估计值 i 0 1 k 二元线性回归模型的回归系数的标准差估计值 三 多元线性回归模型参数估计实例 1 回归系数估计 P60 2 随机误差项方差的估计值 P63 3 回归系数标准差的估计值 P69 1 可决系数与调整的可决系数 一 拟合优度检验 总离差平方和的分解 可决系数 该统计量越接近于1 模型的拟合优度越高 问题 在应用过程中发现 如果在模型中增加一个解释变量 R2往往增大 Why 这就给人一个错觉 要使得模型拟合得好 只要增加解释变量即可 但是 现实情况往往是 由增加解释变量个数引起的R2的增大与拟合好坏无关 R2需调整 调整的可决系数 在样本容量一定的情况下 增加解释变量必定使得自由度减少 所以调整的思路是 将残差平方和与总离差平方和分别除以各自的自由度 以剔除变量个数对拟合优度的影响 其中 n k 1为残差平方和的自由度 n 1为总离差平方和的自由度 回归方程的显著性检验 旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断 二 回归方程的显著性检验 F检验 即检验模型Yi 0 1X1i 2X2i kXki ii 1 2 n中的参数 j是否都显著不为0 1 提出原假设与备择假设 H0 0 1 2 k 0H1 j不全为0 2 构建F统计量根据数理统计学中的知识 在原假设H0成立的条件下 统计量 服从自由度为 k n k 1 的F分布 3 给定显著性水平 得到临界值F k n k 1 4 比较 得出结论由样本求出统计量F的数值 根据F F k n k 1 或F F k n k 1 来拒绝或接受原假设H0 以判定原方程总体上的线性关系是否显著成立 方程的总体线性关系显著 每个解释变量对被解释变量的影响都是显著的 三 变量的显著性检验 t检验 因此 必须对每个解释变量进行显著性检验 以决定是否作为解释变量被保留在模型中 这一检验是由对变量的t检验完成的 1 t统计量 从前面的分析知道 回归系数的估计量服从正态分布 因此 可构造如下t统计量 t n k 1 t n k 1 特别地 如果回归系数的真实值为0 则t统计量为 2 t检验 设计原假设与备择假设 H1 i 0 给定显著性水平 可得到临界值t 2 n k 1 由样本求出统计量t的数值 通过 t t 2 n k 1 或 t t 2 n k 1 来拒绝或接受原假设H0 从而判定对应的解释变量是否应包括在模型中 H0 i 0 i 1 2 k 参数的置信区间用来考察 在一次抽样中所估计的参数值离参数的真实值有多 近 在变量的显著性检验中已经知道 四 参数的置信区间 容易推出 在 1 的置信水平下 i的置信区间是 其中 t 2为显著性水平为 自由度为n k 1的临界值 t n k 1 3 6预测 多元线性回归模型 OLS回归方程 i 1 2 n X0 X10 X20 Xk0 一 点预测 估计值可以分别看做被解释变量条件均值和个别值的点估计 意义 为何这样说 估计值的随机性质 本质 置信区间 条件均值与个别值点预测相同 预测区间不同 大小 2 区间预测