《最大似然估计》PPT课件.ppt

非经典计量经济学模型估计方法,第一节 最大似然估计,计量模型估计方法说明,计量经济学模型(参数模型、均值回归模型、基于样本信息）的3类估计方法 LS、ML、GMM 经典模型的估计LS 非经典模型的估计ML、GMM 综合样本信息和先验信息的贝叶斯估计 分位数回归模型，Quantile Regression ,QREG 非参数模型的权函数估计、级数估计等,主要内容,一、最大似然原理 二、线性模型的最大似然估计 三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计 五、最大似然估计下的Wald、LM和LR检验,一、最大似然原理,内在机理：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。该方法更本质地揭示了通过样本估计母体参数的内在机理。 在微观计量模型尤其适用。 似然函数：将样本观测值联合概率函数称为样本观测值的似然函数。 极大似然法：通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。,工作原理：在已经取得样本观测值的情况下，使似然函数取最大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。 最小二乘法：最合理的参数估计量是使得模型能最好的拟合样本数据； 以正态分布的总体为例，每个总体都有自己的分布参数期望和方差，如果已经得到n组样本观测值，在可供选择总体中，哪个最可能产生这组样本数据？取得n组样本观测值的联合概率，然后选择参数使其最大，和该参数匹配的即为总体。,二、线性模型的最大似然估计,1、一元线性模型的最大似然估计,Yi的分布,Yi的概率密度函数,Y的所有样本观测值的联合概率似然函数,随机抽取n组样本观测值Yi 。,为什么是这个形式?,对数似然函数,对数似然函数极大化的一阶条件,结构参数的ML估计量,判断L*为海塞矩阵负定，所以有极大值，一阶条件为：,分布参数的ML估计量,注意： ML估计必须已知Y的分布。 只有在正态分布时，ML和OLS的结构参数估计结果相同。 如果Y不服从正态分布，不能采用OLS。例如：选择性样本模型、计数数据模型等。在微观计量领域有重要应用。,2、多元线性模型的最大似然估计,i=1,2,n,结构参数估计结果与OLS估计相同,分布参数估计结果与OLS不同,3、最大似然估计量的性质,4、信息矩阵,三、非线性模型的最大似然估计,1、简单非线性模型的最大似然估计,i=1,2,n,Y和X是分离的,面临NLS（非线性最小二乘估计）同样的过程，得到相同的估计结果。,2. 一般非线性模型的ML估计,以上是一般非线性模型的完整描述。,随机项满足经典假设,模型参数的一种估计方法是最小二乘法，即最小化,模型参数的另一种估计方法是最大似然法。得到广泛应用。,最大似然估计,雅可比行列式,第i个观测点的似然函数=雅可比行列式密度函数,总体的对数似然函数为：,样本的对数似然函数为：,很明显若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计；但是，如果雅可比行列式包括，最小二乘法不是最大似然法。,最大化对数似然函数的一阶条件为：,3、说明,非线性模型最大似然估计的性质 结构参数的最大对数似然估计是渐近无偏、一致估计且渐近地服从正态分布； 分布参数的最大对数似然估计是渐近无偏和一致估计。 非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二乘估计。 在特殊情况下，雅克比行列式为1，最大对数似然估计才等 价于非线性最小二乘估计，条件如下：,四、异方差和序列相关的最大似然估计,1、思路,经典模型异方差问题或者序列相关问题的处理方法： 一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用OLS进行估计，例如WLS、GLS等； 一类是修正OLS估计量的标准差，纠正模型具有异方差性或者序列相关性时OLS估计量的非有效性，使得继而进行的统计推断（例如显著性检验、参数的置信区间估计等）仍然有效，例如White修正、Newey-West修正方法等。,非线性ML方法 将异方差问题或者序列相关问题看成一类非线性问题，采用ML估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计量。,2、异方差的最大似然估计,被解释变量样本的对数似然函数为：,对异方差的结构给出假定，可以对模型的参数和的参数进行最大似然估计。,3、例题,OLS,ML,注： 线性模型，截面样本，一般存在异方差。 时间序列也有可能有异方差，常见金融时间序列。 采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。 在某些情况下，得到异方差结构的估计结果比模型参数估计量更重要。这就是异方差性的非线性方法的意义所在。,4、序列相关的最大似然估计,首先假定模型随机误差项的序列相关结构。一般以AR(1)、MA(1)、ARMA(1,1)为常见。 求出随机误差项对被解释变量的偏导数表达式，即得到雅克比式。 构造最大似然函数。 同时得到模型参数和随机误差项的序列相关结构的估计结果。,假定模型随机误差项的序列相关结构为AR(1),按照非线性模型ML显示：,此时，n变为T，且有,所以，对数似然函数为：,中心化对数似然函数：,模型随机误差项的序列相关结构为MA(1)、ARMA(1,1)的估计方法步骤相同，见教材。,5、例题,五、最大似然估计下的 Wald、LM和LR检验,1、说明,在采用最小二乘估计的经典模型的检验中，常用的检验统计量是基于残差平方和构造的，例如F统计量、t统计量等。 在采用最大似然估计的非经典模型的检验中，常用的检验统计量是基于最大似然函数值构造的，例如Wald统计量、LR统计量、LM统计量等。 三类检验在大样本下渐进等价。,1、沃尔德检验（Wald Test） 通过研究 的无约束估计量与有约束的距离来检验，如果原假设正确，二者差值不应该很大。,2、似然比检验（WLR） 通常来说，无约束的似然函数最大值 比有约束的似然函数最大值 更大，如果原假设正确，差值不应该很大。,3、拉格朗日乘子检验（LM）,注： Wald仅利用无约束估计的信息，LM检验仅利用有约束估计的信息，而LR检验同时利用有约束与无约束信息。 这三类检验在大样本情况下是等价的，小样本下性质不同。 在正态分布与线性假设的情况下，可以证明统计量WALDLRLM。 在不对模型的具体概率分布做出假设的情况下，LR、LM检验无法进行，但是Wald检验仍可以进行。 L