多元线性回归模型

第三章多元线性回归模型主要内容n 多元线性回归模型的一般形式 n 参数估计（ OLS估计）n 假设检验n 预测一 . 多元线性回归模型n 问题的提出n 解析形式n 矩阵形式问题的提出n 现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。n 例如，产出往往受各种投入要素 资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。n 所以在一元线性模型的基础上，提出多元线性模型 解释变量个数 2多元线性回归模型的假设n 解释变量 Xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。n 随机误差项具有 0均值和同方差n 随机误差项不存在序列相关关系n 随机误差项与解释变量之间不相关n 随机误差项服从 0均值、同方差的正态分布多元模型的解析表达式多元模型的矩阵表达式矩阵形式二 . 参数估计 (OLS)n 参数值估计n 参数估计量的性质n 偏回归系数的含义n 正规方程n 样本容量问题1.参数值估计 (OLS)得到下列方程组求参数估计值的实质是求一个 k+1元方程组正规方程变成矩阵形式正规方程矩阵形式最小二乘法的矩阵表示2.1最小二乘估计量的性质n （ 1）线性（估计量都是被解释变量观测值的线性组合）n （ 2）无偏性（估计量的数学期望 =被估计的真值）n （ 3）有效性（估计量的方差是所有线性无偏估计中最小的）OLS估计量的性质（续）线性无偏性有效性2.2 OLS回归线的性质n 完全同一元情形 ：2.3 随机扰动项方差的估计注解： k与 k+1n 凡是按解释变量的个数为 k的，那么共有 k+1个参数要估计。而按参数个数为 k的，则实际有 k-1个解释变量。总之两者相差 1而已！要小心所用的 k是什么意思！n 所以如果本来是用解释变量个数的 k表示的要转换成参数个数的 k则用 k-1代换原来的 k就可以了！3.偏回归系数的意义n 多元回归模型中的回归系数称为偏回归系数n 某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动4.正规方程n 由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程正规方程的结构n Y 被解释变量观测值 n x 1n X 解释变量观测值（含虚拟变量 n x (k+1) ）n XX 设计矩阵（实对称 (k+1) x (k+1)矩阵 ）n XY 正规方程右端 n x 1n 回归系数矩阵（ (k+1) x 1 ）n 高斯乘数矩阵， 设计矩阵的逆n 残差向量（ n x 1 ）n 被解释变量的拟合（预测）向量 n x 15.多元回归模型参数估计中的样本容量问题n 样本是一个重要的实际问题，模型依赖于实际样本。n 获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。n 最小样本容量：满足基本要求的样本容量最小样本容量 n k+1n (XX)-1存在 | XX | 0 XX 为 k+1阶的满秩阵n R(AB) min(R(A),R(B)n R(X) k+1n 因此，必须有 nk+1满足基本要求的样本容量n 一般经验认为： n 30或者 n 3(k+1)才能满足模型估计的基本要求。 n 3(k+1)时， t分布才稳定，检验才较为有效第三节 多元线性回归模型的检验n 本节主要介绍：n 3.1 拟合优度检验（判定系数及其校正）n 3.2 回归参数的显著性检验（ t 检验）n 3.3 回归方程的显著性检验（ F 检验）n 3.4 拟合优度、 t 检验、 F 检验的关系3.1.1 拟合