2.1 最大似然估计.ppt

第2章非经典计量经济学模型估计方法 最大似然估计广义矩估计贝叶斯估计分位数回归估计 关于估计方法的说明 计量经济学模型 参数模型 均值回归模型 基于样本信息 的3类估计方法LS ML MM经典模型的估计 LS非经典模型的估计 ML GMM综合样本信息和先验信息的贝叶斯估计分位数回归模型 QuantileRegression QREG非参数模型的权函数估计 级数估计等 2 1最大似然估计 一 最大似然原理二 线性模型的最大似然估计三 非线性模型的最大似然估计四 异方差和序列相关的最大似然估计五 最大似然估计下的Wald LM和LR检验 一 最大似然原理 最大似然方法 MaximumLikelihood ML 当从模型总体随机抽取n组样本观测值后 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大 将样本观测值联合概率函数称为样本观测值的似然函数 在已经取得样本观测值的情况下 使似然函数取最大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值 该总体参数即是所要求的参数 通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法 二 线性模型的最大似然估计 1 一元线性模型的最大似然估计 Yi的分布 Yi的概率函数 Y的所有样本观测值的联合概率 似然函数 对数似然函数 对数似然函数极大化的一阶条件 结构参数的ML估计量 分布参数的ML估计量 注意 ML估计必须已知Y的分布 只有在正态分布时ML和OLS的结构参数估计结果相同 如果Y不服从正态分布 不能采用OLS 例如 选择性样本模型 计数数据模型等 2 多元线性模型的最大似然估计 i 1 2 n 结构参数估计结果与OLS估计相同 分布参数估计结果与OLS不同 3 最大似然估计量的性质 一致性渐近正态性渐近有效性不变性 三 非线性模型的最大似然估计 1 简单非线性模型的最大似然估计 i 1 2 n 面临NLS同样的过程 得到相同的估计结果 2 一般非线性模型的ML估计 以上是一般非线性模型的完整描述 随机项满足经典假设 模型参数的一种估计方法是最小二乘法 即最小化 模型参数的另一种估计方法是最大似然法 得到广泛应用 最大似然估计 yi的密度函数 雅可比行列式 雅可比行列式 正态分布密度函数 因变量样本的对数似然函数为 很明显若没有雅可比行列式项 参数的非线性最小二乘估计将是最大似然估计 但是 如果雅可比行列式包括 最小二乘法不是最大似然法 最大化对数似然函数的一阶条件为 一般是得到中心化对数似然函数 然后最大化 如果变换的雅可比行列式是1 则不存在因变量的参数变换 如果变换的雅可比行列式包含 则称为因变量的参数变换模型 3 说明 非线性模型最大似然估计的性质结构参数的最大对数似然估计是渐近无偏 一致估计且渐近地服从正态分布 分布参数的最大对数似然估计是渐近无偏和一致估计 非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计 而是一个加权非线性最小二乘估计 在特殊情况下 最大对数似然估计才等价于非线性最小二乘估计 四 异方差和序列相关的最大似然估计 1 思路 经典模型的异方差问题或者序列相关问题的处理方法 一类是变换模型 使之成为不再具有异方差性或者序列相关性的模型 然后采用OLS进行估计 例如WLS GLS等 一类是修正OLS估计量的标准差 纠正模型具有异方差性或者序列相关性时OLS估计量的非有效性 使得继而进行的统计推断 例如显著性检验 参数的置信区间估计等 仍然有效 例如White修正 Newey West修正方法等 非线性ML方法将异方差问题或者序列相关问题看成一类非线性问题 采用NML估计 比较简单 可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计量 2 异方差的最大似然估计 被解释变量样本的对数似然函数为 对异方差的结构给出假定 可以对模型的参数和异方差的结构参数进行最大似然估计 针对不同的问题假定不同的异方差结构 针对同一个问题假定不同的异方差结构 进行估计和比较 典型的异方差结构及其对应的对数似然函数 见教材 3 例题 OLS ML 线性模型 截面样本 一般存在异方差 采用非线性最大似然法估计 可以得到关于异方差结构的估计结果 在某些情况下 得到异方差结构的估计结果比模型参数估计量更重要 这就是异方差性的非线性方法的意义所在 4 序列相关的最大似然估计 首先假定模型随机误差项的序列相关结构 一般以AR 1 MA 1 ARMA 1 1 为常见 求出随机误差项对被解释变量的偏导数表达式 构造最大似然函数 同时得到模型参数和随机误差项的序列相关结构的估计结果 假定模型随机误差项的序列相关结构为AR 1 对数似然函数为 中心化对数似然函数 假定模型随机误差项的序列相关结构为MA 1 方法步骤相同 见教材 假定随机误差项的序列相关结构为ARMA 1 1 方法步骤相同 见教材 5 例题 五 最大似然估计下的Wald LM和LR检验 1 说明 在采用最小二乘估计的经典模型的检验中 常用的检验统计量是基于残差平方和构造的 例如F统计量 t统计量等 在采用最大似然估计