极大似然估计和广义矩估计.ppt

第四章极大似然估计和广义矩估计 MaximumLikelihoodmethodandGeneralizedMethodofMoments 第一节极大似然估计法第二节似然比检验 沃尔德检验和拉格朗日乘数检验第三节广义矩 GMM 估计小结 除普通最小二乘法 OLS 外 极大似然估计 MLE 和广义矩估计 GMM 也是计量经济学中重要的估计方法 极大似然估计法和广义矩估计法适用于大样本条件下参数的估计 它们在大样本条件下显示了优良的性质 本章主要介绍极大似然法和广义矩方法以及基于极大似然估计的似然比 LR 检验 沃尔德 W 检验和拉格朗日乘数 LM 检验 第一节极大似然估计法极大似然估计法 MaximumLikelihoodmethod ML 的应用虽然没有普通最小二乘法广泛 但它是一个具有更强理论性质的点估计方法 它以极大似然原理为基础 通过概率密度函数或者分布律来估计总体参数 极大似然估计的出发点是已知被观测现象的分布 但不知道其参数 极大似然法用得到观测值 样本 最高概率的那些参数的值来估计该分布的参数 从而提供一种用于估计刻画一个分布的一组参数的方法 一 极大似然法的思路设有一枚不均衡的硬币 我们关心的是在每次抛掷该硬币出现正面的概率p 抛掷该硬币N次 假设得到次正面 次反面 由于每次抛硬币都是相互独立的 根据二项分布 得到这样一个样本的概率为 上式中的表达式可看作是未知参数p的函数 被称为似然函数 Likelihoodfunction 对p的极大似然估计意味着我们选择使似然函数达到最大的p值 从而得到p的极大似然估计量 实际计算中 极大化似然函数的对数往往比较方便 这给出对数似然函数上式达到极大的一阶条件是解之 得到p的极大似然估计量 二 极大似然原理极大似然法的思路是 设是随机变量X的密度函数 其中是该分布的未知参数 若有一随机样本 则的极大似然估计值是具有产生该观测样本的最高概率的那个值 或者换句话说 的极大似然估计值是使密度函数达到最大的值 由于总体有离散型和连续型两种分布 离散型分布通过分布律来构造似然函数 而连续型分布通过概率密度函数来构造似然函数 因此二者有区别 下面分别讨论 一 离散型随机变量极大似然原理若总体为离散型分布 容易求得从样本取到观察值的概率 亦即事件发生的概率为 其中 是待估参数向量 这一概率随的取值而变化 它是的函数 称为样本的似然函数 极大似然估计法就是在取值的可能范围内挑选使似然函数达到最大的参数值作为参数的估计值 即求 使得 一般通过微分的方法求得 即 令得到 有时候也可通过迭代法来求 具体的计算方法根据随机变量的分布来确定 这样得到的称为参数的极大似然估计值 而相应的统计量通常记为 称为参数的极大似然估计量 二 连续型随机变量极大似然原理与离散型的情况一样 我们取的估计值使取到极大值 但不随而变 故只需考虑函数的极大值 这里称为样本的似然函数 若则称为的极大似然估计量 记为 通常情况下 关于可微 这时可从方程解得 因为与在同一点处取到极值 的极大似然估计值通常从方程解得 式中称为对数似然函数 为了后面内容表述方便起见 我们将对数似然函数的一阶导数向量表示为 称为score向量或梯度向量 的极大似然估计量通过求解得到 因此称为似然方程 三 极大似然估计量的性质极大似然估计量 MLE 的优势在于它们的大样本性质 渐近性质 为介绍这些渐近性质 我们用表示参数向量的极大似然估计量 MLE 表示参数向量的真值 如果极大似然函数被正确设定 可以证明 在弱正则条件下 极大似然估计量具有以下渐近性质 1 一致性 是的一致估计量 即 2 渐近有效性 是渐近有效的且达到所有一致估计量的Cram r Rao下界 即在所有一致渐近正态估计量 consistentasymptoticallynormalestimators 中具有最小方差 3 渐近正态性 即渐近地服从正态分布 其中V是渐近协方差矩阵 协方差矩阵V由对数似然函数的形状决定 为了说明这一点 我们引入信息矩阵 InformationMatrix 的概念 信息矩阵定义为在适当的正则条件下 可以证明 极大似然估计量的渐近协方差矩阵等于信息矩阵的逆矩阵 即 四 线性回归模型的极大似然估计线性回归模型是计量经济学应用最为广泛的模型 因此讨论线性模型的极大似然估计是非常必要的 下面我们在随机扰动项服从正态分布的假设下分别讨论双变量线性回归模型和多元线性回归模型的极大似然估计 非线性模型的极大似然估计 将在第五章中介绍 一 双变量线性回归模型的极大似然估计双变量线性回归模型 其中 为待估参数 为随机扰动项 对随机扰动项作出如下假设 即随机扰动项具有0均值 同方差 不相关和服从正态分布的性质 根据以上假设可知 因此 的概率密度函数为 由于独立同分布 因此 联合概率密度函数 即似然函数为 对数似然函数为 令 得 不难看出 前两式与用普通最小二乘法得出的正规方程相同 故我们有但最后一式表明 的极大似然估计量与最小二乘估计量不同 我们记得 最小二乘估计量是一个无偏估计量 而 这表明 是一个有偏估计量不难看出 当样本容量趋向无穷时 因而是一个渐近无偏估计量 二 多元线性回归模型的极大似然估计下面我们来讨论一般形式的线性回归模型的极大似然估计 并以矩阵形式表示 对随机扰动项作出如下假设 根据以上假设 我们有 因此 的概率密度函数为 上面有点问题 把单个标量和整体向量混淆了 看的时候注意点 可以参考多元线性回归讲义PPT 由于独立同分布 因此 联合概率密度函数 即似然函数为 对数似然函数为 注意到 4 17 中右端第二项的分子就是残差平方和 我们有 这里最后一个等号成立是因为第二行中所有各项都是标量 且中间两项互为转置矩阵 因而相等RSS对微分 得到 这里用到了矩阵微分的以下两条规则 1 2 第二个等号成立的条件是A为对称矩阵 在 4 19 式中 a是 A是 由 4 19 式的结果 使对数似然函数 4 17 达到极大的一阶条件为解此二正规方程 得 因此 在随机扰动项满足标准假设条件的情况下 的极大似然估计量与普通最小二乘估计量相同 方差的ML估计量与OLS估计量则不同 是无偏的 而是有偏的 但在大样本下渐近无偏 将这些极大似然估计量代入 4 17 就得到的极大值 为了得到的无偏估计量的Cram r Rao下界 需要先计算信息矩阵 信息矩阵是按分块对角的 这是扰动项为正态分布的回归模型的一个重要性质 意味着Cram r Rao下界为 值得注意的是 达到了Cram r Rao下界 在正态性的假设下 是最小方差无偏估计量 MVU 这表明 在所有无偏估计量而不仅仅是线性无偏估计量中方差最小 假设多一些 CLR模型加上正态性 得到的也多一些 MVU而不仅仅是BLUE 例4 2以简单的消费函数为例 说明极大似然估计法的估计过程 根据经济理论 消费和收入与价格密切相关 因此建立以国内生产总值gdp和消费价格指数p为解释变量 国内总消费tc为被解释变量的消费方程 数据区间为1988 2007年 消费方程设定为 其中服从正态分布 普通最小二乘估计的结果为 极大似然估计的EViews结果为 可见 对于线性方程 用极大似然估计得到的系数估计值与用最小二乘法估计得到的结果完全相同 第二节似然比检验 沃尔德检验和拉格朗日乘数检验 似然比检验 LikelihoodRatioTest LR 瓦尔德检验 WaldTest W 拉格朗日乘数检验 LagrangeMultiplierTest LM 是三种基于极大似然法的大样本检验方法 我们在第二章中介绍的F检验适用于检验CLR模型的线性约束条件 如果施加于模型的约束是非线性的 模型存在参数非线性 或者扰动项的分布不是正态的 在这些情况下 F检验就不再适用 通常需要采用LR W和LM这三个检验方法中的一个来检验约束条件是否成立 这三个检验方法是渐近等价的 与这些检验相联系的统计量的小样本分布是未知的 但它们每一个都渐近地服从自由度为约束条件个数的分布 一 三种检验的基本原理 这三个检验统计量基于三个不同的原理 我们用下图来解释之 图中 对数似然函数 由上面的那条曲线表示 它是要估计的参数的函数 是使达到极大的值 假设要检验的约束条件是 这一条件在这个值得到满足 从图上看 这个点是函数与横轴的交点 下面对这三个检验所依据的原理作出解释 1 LR检验如果约束条件为真 则在施加约束条件的情况下 的极大值不应当显著小于的无约束极大值 因此 LR检验要检验的是 是否显著异于0 2 W检验如果约束条件为真 则不应当显著异于0 其中是的无约束极大似然估计值 因此 W检验要检验的是是否显著异于0 3 LM检验对数似然函数在A点达到极大 在这点关于的斜率为0 如果约束条件为真 则在B点的斜率不应当显著异于0 LM检验要检验的是用约束估计值计算的的斜率是否显著异于0 二 似然比 LR 检验 设为待估计参数向量 原假设规定施加于这些参数上的约束 为的无约束极大似然估计量 为约束极大似然估计量 如果和分别是用这两个估计值计算的似然函数值 则似然比 LikelihoodRatio 为 此函数的值位于0和1之间 因为两个似然都是正的 并且不会大于 约束最优不可能超过无约束最优 如果过于小 则有理由怀疑约束条件的正确性 LR检验的检验统计量是 该统计量在大样本情况下服从自由度为约束条件个数的分布 三 沃尔德 W 检验 在实践中似然比检验的短处是需要估计约束和无约束参数向量 也就是说 既要进行约束回归 又要进行无约束回归 在复杂模型中 其中的一个估计值可能很难计算 幸运的是 有两个可供选择的方法 即沃尔德检验和拉格朗日乘数检验 可以解决这个问题 这两个检验只需要估计约束和无约束参数向量中的一个 设是在无约束情况下得到的参数估计值向量 要检验的原假设为 若约束条件成立 则至少应该近似地满足它们 如果原假设是错的 则应该比单由抽样变差所解释的情况要更远离0 W检验就是遵循这个思路构建的 W统计量是成立和大样本的情况下 W服从自由度为约束条件个数的分布 要注意的是 W统计量仅需要无约束模型的计算 但仍需要计算协方差矩阵 其估计值由下式给出 其中和分别表示估计和渐近 是一个矩阵 J是约束条件的个数 K是待估计参数的个数 它的第j行是第j个约束关于的第k个元素的导数 四 拉格朗日乘数 LM 检验 第三个检验是拉格朗日乘数 LM 检验 亦称score检验 该检验基于约束模型 无需估计无约束模型 假设我们要在施加一组约束条件的情况下极大化对数似然函数 令表示拉格朗日乘数向量 并定义拉格朗日函数 约束最大化问题的解就是下式的根 其中是矩阵的转置 若约束成立 则加上它们不会造成对数似然函数极大值的显著差异 这意味着在一阶条件下 第二项应该很小 特别是应该很小 我们可以直接检验之 即检验 这导致拉格朗日乘数检验 LM检验 直接检验拉格朗日乘数向量比较困难 有另一个等价而简单一些的方法 在约束估计值处计算的对数似然函数的导数是 如果约束条件成立 至少在抽样变差的范围内成立 则应有 也就是说 在约束估计值处计算的对数似然的导数应该近似为0 应该记得 对数似然的一阶导数向量是Score向量 由于我们的检验基于这个向量 因而被称为Score检验 但大多数文献中还是称之为拉格朗日乘数检验 一阶导数向量的方差是信息矩阵 我们用它来计算极大似然估计量的渐近协方差矩阵 LM检验统计量是在原假设下 LM统计量渐近服从自由度为约束条件个数的分布 实际应用中 LM统计量有一个很简单的公式 其中N是观测值数目 是用一个元素均为1的列向量对在约束估计值处计算的对数似然函数的诸导数 即Score向量 进行线性回归得到的非中心 非中心的含义是 在计算总平方和TSS时 因变量不减去其均值 即 用这种方法计算LM统计量非常容易 但对于小样本来说不可靠 犯第一类错误的可能性很大 Davidson和MacKinnon 1983 提出了计算LM统计量的另一种方法 该方法克服了上述方法的缺点 而保持了其计算简便的优点 尽管计算中需要执行他们所称的双长度回归 double lengthregression DLR 五 实践中三种检验法的选择问题 当面临具有相同渐近性质的几种统计量时 计量经济学家通常根据它们的小样本性质来进行选择 然而实践中在LR W和LM的选择上 计算成本往往起着关键作用 计算LR统计量 的约束和无约束估计值都要计算 如果二者都不难计算 则LR检验是三种检验中最具吸引力的 计算W统计量仅需要无约束估计值 如果约束估计值的计算比较困难 而无约束估计值计算不困难 如约束条件是非线性的情况 则W统计量应成为首选 计算LM统计量仅需约束估计值 如果约束估计值的计算比较容易 而无约束估计值的计算困难 例如施加约束后使非线性模型转换成线性模型的情况 则LM统计量应成为首选 在计算方面的考虑不是问题的情况下 应选择LR检验 第三节广义矩 GMM 估计 前面讨论的普通最小二乘法和极大似然估计法等方法都有本身的局限性 普通最小二乘法必须在遵循经典假设的条件下才具有优良的性质 在异方差和序列相关等违背基本假设的情况下 普通最小二乘法将不再是最佳线性无偏估计量 应用极大似然估计法的前提是对随机扰动项的分布必须做出某种假设 如正态分布 而广义矩估计可以不考虑随机扰动项的准确分布信息 且允许随机扰动项存在异方差和自相关等违背经典假设的情况 在很多方面具有独特的优势 GMM是一种大样本估计方法 在大样本情况下GMM估计量渐近有效 普通最小二乘法 极大似然估计和工具变量法等许多估计方法都可以看作是广义矩估计的特例 一 矩估计法 矩估计法 MethodofMoments 是GMM法的基础 一 矩估计原理一般来说 样本统计量中每一个都有它的总体对应物 例如 样本均值对应总体期望值 样本方差对应总体方差 因此一个很自然的想法是用诸样本 矩 作为总体参数的估计量 设为随机变量 是来自的样本 连续型随机变量和离散型随机变量的前k阶矩分别定义为 其中 为连续型随机变量的概率密度函数 为离散型随机变量的分布函数 是参数向量 总体矩是的函数 设函数关系如下这是一个包含k个未知参数的方程组 可以从上述方程组解出 得到 样本矩依概率收敛于相应的总体矩 样本矩的连续函数依概率收敛于相应的总体矩的连续函数 因此 可用样本矩作为相应的总体矩的估计量 而以样本矩的连续函数作为相应的总体矩的连续函数的估计量 以分别代替上式中的 得到的估计量这种估计方法称为矩估计法 例4 3 未知 是来自的样本观测值 试用矩估计法求参数的估计量 解 样本一阶和二阶原点矩分别为 因为矩估计认为样本矩等于总体矩 所以总体矩的估计量为 对于正态总体 分别为总体的均值和方差 均值和方差与总体一阶二阶原点矩有如下关系 所以根据矩估计 正态总体的均值和方差的估计量为 二 OLS和LM估计量的矩估计 考虑经典线性回归模型的OLS估计量 该模型的一个重要假设条件是解释变量与扰动项无关 即这组矩条件的样本对应物是的估计量是满足这些矩条件的 不难看出 这些矩条件正好是OLS估计量的正规方程 因此我们看到 OLS估计量是矩估计量 极大似然估计量是通过对数似然的导数等于0得到的 对于满足正则条件的密度 有 其中f 为概率密度函数 是参数向量 我们通过令上式的样本对应物等于0来求极大似然估计量 可见 极大似然估计量也可以通过一组矩条件用矩估计法导出 二 广义矩法 在矩估计中 矩条件的个数恰好等于要估计参数的数目 即方程个数等于未知参数的个数 所以存在未知参数的唯一解 如果矩条件的数目大于参数的个数 就引出了广义矩法 GeneralizedMethodofMoments GMM 广义矩法直接从模型所施加的矩条件来估计模型 这些矩条件有时是线性的 但多数情况下是非线性的 我们在前面矩估计法的介绍中讨论了构建OLS和LM估计量的矩条件 下面我们给出矩条件的一般定义 矩条件的一般形式为 为了表述的方便 将上式写成 其中表示有R个元素的向量函数 为K维未知参数向量 和为模型中全部变量 如为解释变量向量 为工具变量向量 为了估计 我们考虑上式的样本对应物 如果矩条件的个数R等于未知参数的个数K 则有可能令的R个元素等于0 解出的唯一解 得到一个一致估计量 若是的非线性函数 则可能得不到解析解 如果矩条件的个数小于参数的个数 则参数向量不可识别 如果矩条件的个数大于参数的个数 即 我们无法通过令等于0求得的唯一解 因为方程数目多于变量个数 一 广义矩估计方法概要 在矩条件的个数大于参数的个数 如工具变量的个数多于原解释变量的数目的情况下 我们不能通过设定来唯一确定参数向量的估计量 为了充分利用个矩条件的信息 我们只能转而借助最优化方法的思路 选择使得样本矩向量从总体上尽可能接近于0的的估计量 这就是广义矩估计方法的思路 具体的做法是将下面的加权平方和 亦称为距离函数 作为目标函数 求出使该目标函数达到最小的的值 就得到GMM估计量 上式中 为任意正定矩阵 称为权矩阵 假设它收敛于一个常数矩阵W 即 权矩阵可能依赖于数据 但不是的函数 权矩阵在某种意义上反映了诸矩条件在距离函数中所占的权重 因此可以考虑将它设定为一个对角矩阵 其对角线元素是各个矩的方差的倒数 至此 我们将矩条件的个数大于参数的个数情况下参数的估计问题化为如下的最小化问题 求解此最优化问题 得到的估计量就是广义矩估计量 GMM 估计量 尽管一般情况下我们无法得到它的解析解 但可以证明 在某些弱正则条件下 GMM估计量是一致和渐近正态估计量 实践中通常采用数值解法求解上式中的最小化问题得到GMM估