3 多元线性回归模型参数估计ppt课件

2 3多元线性回归模型的参数估计 一 多元线性回归模型概述二 多元线性回归模型的参数估计三 OLS估计量的统计性质四 参数估计量的方差 协方差矩阵和随机误差项方差的估计五 样本容量问题六 多元线性回归模型的实例 一 多元线性回归模型 1 多元线性回归模型的形式由于 在实际经济问题中 一个变量往往受到多个原因变量的影响 从一般到简单的建模思路 在线性回归模型中解释变量有多个 这样的模型被称为多元线性回归模型 多元线性回归模型的一般形式 i 1 2 n 其中 k为解释变量的数目 j称为回归系数 regressioncoefficient 习惯上 把常数项看成为一个虚变量的系数 该虚变量的样本观测值始终取1 这样 模型中解释变量的数目为 k 1 总体回归函数的非随机表达式 j也被称为偏回归系数 总体回归函数的随机表达形式 总体回归模型n个随机方程的矩阵表达式为 其中 样本回归函数 用来估计总体回归函数 其随机表示式 ei称为残差或剩余项 residuals 可看成是总体回归模型中随机扰动项 i的近似替代 样本回归函数和样本回归模型的矩阵表达 或 其中 2 多元线性回归模型的基本假定 假设2 随机误差项具有零均值 同方差及不序列相关性 假设3 解释变量与随机误差项不相关 假设4 随机误差项满足正态分布 假设5 解释变量之间不存在严格的线性关系 即不存在完全共线性 假设1 解释变量是非随机的 上述假设的矩阵符号表示式 假设2 假设3 E X 0 即 假设4 向量 有一多维正态分布 即 假设5 n k 1 矩阵X的秩 k 1 即X满秩 例 测度教育的回报问题wage 小时工资 元 educ 受教育的年数 exper 以年数计的工作经历 其他非观测因素 天生能力 职业道德等 E educ exper 0影响wage的其它因素与educ和exper无关 比如 如果 是天生能力 这个假定就是要求 员工总体中受教育和工作经历的各种组合 其平均能力都相同 Var educ exper 2 Var wage educ exper 2 如果这个方差随着两个解释变量中的任何一个变化 就出现了异方差 无完全共线性假定 的说明cons 消费 inc 收入 一个问题 在什么情况下由多元线性模型估计得到的偏回归系数与仅用该变量作为解释变量构成的一元回归模型的估计结果是相同的 重要提示 几乎没有哪个实际问题能够同时满足所有基本假定 通过模型理论方法的发展 可以克服违背基本假设带来的问题 违背基本假设的处理构成了线性单方程计量经济学理论方法的主要内容 异方差问题 违背同方差假设 序列相关性 违背序列不相关假设 共线性问题 违背解释变量之间不相关假设 随机解释变量问题 违背了解释变量和随机误差项之间不相关假设 零均值 正态性假定是由模型的数理统计理论决定 二 多元线性回归模型的估计 普通最小二乘法最大似然法矩估计方法 1 普通最小二乘估计 对于随机抽取的n组观测值 如果样本函数的参数估计值已经得到 则有 根据最小二乘原理 参数估计值应该是下列方程组的解 其中 于是得到关于待估参数估计值的正规方程组 正规方程组的矩阵形式 即 由于X X满秩 故有 将上述过程用矩阵表示如下 即求解方程组 得到 于是 正规方程组的另一种写法 对于正规方程组 于是 或 或 是多元线性回归模型正规方程组的另一种写法 样本回归函数的离差形式 其矩阵形式为 其中 在离差形式下 参数的最小二乘估计结果为 2 最大似然估计 Y的随机抽取的n组样本观测值的联合概率 即为变量Y的似然函数 对数似然函数为 对对数似然函数求极大值 也就是对 求极小值 因此 参数的最大似然估计为 结果与参数的普通最小二乘估计相同 3 矩估计 MomentMethod MM 用每个解释变量分别乘以模型的两边 并对所有样本点求和 即得到 对每个方程的两边求期望 有 得到一组矩条件 求解这组矩条件就得到参数估计量与OLS ML估计量等价 矩方法是工具变量方法 InstrumentalVariables IV 和广义矩估计方法 GeneralizedMomentMethod GMM 的基础 在矩方法中关键是利用了 如果某个解释变量与随机项相关 只要能找到1个工具变量 仍然可以构成一组矩条件 就是IV 如果存在 k 1个变量与随机项不相关 可以构成一组包含 k 1方程的矩条件 就是GMM 因此 由该样本估计的回归方程 样本回归函数 为 例2 3 在例2 1的家庭收入 消费支出例中 对于所抽出的一组样本数 例2 3 在例2 1的家庭收入 消费支出例中 可求得 于是 随机误差项 的方差 2的无偏估计 可以证明 随机误差项 的方差的无偏估计量为 三 OLS参数估计量的性质 在满足基本假设的情况下 其结构参数 的普通最小二乘估计仍具有 线性性 无偏性 有效性 1 线性性 其中 C X X 1X 为一仅与固定的X有关的行向量 3 有效性 最小方差性 2 无偏性 这里利用了假设 E X 0 其中利用了 和 结论 在经典假定条件下 多元线性回归的OLS估计式是最佳线性无偏估计式 四 参数估计量的方差 协方差矩阵和随机误差项方差 2的估计 1 参数估计量的方差 协方差矩阵将参数估计量看成是随机变量 具有数字特征 参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性 具体描述如下 的方差 协方差矩阵 矩阵符号表达式 可以证明随机误差项方差 2的无偏估计量是 2 随机误差项方差 2的估计量 于是 参数估计量的方差 标准差 协方差可以分别用其样本方差 标准差 协方差估计 五 样本容量问题 所谓 最小样本容量 即从最小二乘原理出发 要得到参数估计量 不管其质量如何 所要求的样本容量的下限 最小样本容量 样本最小容量必须不少于模型中解释变量的数目 包括常数项 即n k 1因为 无完全共线性要求 秩 X k 1 2 满足基本要求的样本容量 从统计检验的有效性角度 n 30时 Z检验才能应用 t分布较为稳定 从参数估计角度 一般经验认为 当n 30或者至少n 3 k 1 时 才能说满足模型估计的基本要求 模型的良好性质只有在大样本下才能得到理论上的证明 六 多元线性回归模型的参数估计实例 中国消费函数模型根据消费模型的一般形式 选择人均消费支出为被解释变量 人均国内生产总值和前一年的人均消费支出为解释变量 变量之间关系为简单线性关系 选取1979 2000年统计数据为样本观测值 被解释变量 CONSP解释变量 人均GDP GDPP前期消费 CONSP 1 估计区间 1979 2000年 Eviews软件估计结果 随机