C17 受限因变量模型和样本选择纠正

第17章受限因变量模型和样本选择纠正摘要:C7中的线性概率模型是受限因变量(limiteddependentvariable(LDV))模型的一例子，其容易解释，但有其缺陷，本章介绍的logit模型和probit模型更为常用，但解释相对困难。实际应用中，离散和连续是相对的，也就是说，实际离散的经济变量可能也适用于因变量离散的模型建模。本节介绍的模型包括Tobit模型，用于应对角点解响应(cornersolutionresponse);泊松回归模型(计数模型)，用于建模LDV只能取非负整数的情况；截断数据模型和对样本选择的纠正。受限因变量模型更容易在横截面数据中被使用。样本选择的纠正通常都源于横截面或面板数据。17.1二值响应的logit模型和probit模型线性概率模型的缺陷？二值响应模型(binaryresponsemodel)关注的核心问题是响应概率(responseprobability):logit模型和probit模型的设定为此，需要先建一个连接函数：其中G(.)是一个取值于(0,1)的函数。常见的连接函数有:

该函数是标准logistic随机变量的累积分布函数：常见的连接函数还有标准正态的累积分布函数,G可以被表示为:使用上述两个连接函数，我们分别建立了logit模型和probit模型。关于logit模型和probit模型的推导：并定义要求,为示性函数。满足CLM假设或高斯-马尔科夫假设。显然当服从均值为0的正态分布，或者logistic分布，其都关于0点对称，则有：也即：.从该推导中我们知道，但由于的不可观测性本身的含义并不直观，也并不很有用，虽然和中X的影响方向具有一致性(这一点由下面推导保证)。我们关心解释变量对y的偏效应，由于(.)的非线性，对连续变量的情形就得依赖于偏导技术：其中为概率密度函数，由于,所以偏效应的方向取决于。一个有趣的结论是：任意两个自变量的偏效应之比等于其系数之比。此外，偏效应方程告诉我们偏效应依赖于密度函数的位置和的大小，从而logit模型和probit模型的最大偏效应位置出现在和=0.25.而对于二值变量情形，则其偏效应相对来说容易确定，例如，是一个二值变量，则其偏效应为：。其它离散变量情况类似。考虑如下问题的偏效应：对于上述问题，有时还要考虑响应概率相对于一个解释变量的弹性：对的弹性为：;对的弹性为：;对含解释变量交互项的模型可能会更难处理，可依赖于偏导数讨论。logit和probit模型的极大似然估计极大似然法(maximumlikelihoodestimation,MLE)是基于条件分布的估计量，故一般其是有效估计和考虑了异方差性。其可用于对受限因变量模型的估计。假定有一个样本量为n的样本，为了得到极大似然估计量，需要给出在给定下的分布函数：，对上述方程取自然对数：),对上述方程求和，得到对数似然函数：则最大化上述函数可求得的MLE估计量，记为,对数似然函数值一般是负值。极大似然估计量一般是一致的、渐近正态的和渐近有效的(Wooldrige,2002,C13)。其标准误和检验统计量一般统计软件都会提供。•多重约束性检验有三种常用的排除性约束检验统计量：Lagrangemultiplierorscoretest(Wooldrige,2002,C15)；Waldtest(Wooldrige,2002,C13)和likelihoodratio(LR)test。下面介绍似然比检验的思想：如果部分变量的确对y有联合显著性，那么去掉它们，对数似然函数取值应该有比较大的降低，从而可以构造似然比统计量：LR=2(),表示无约束模型的对数似然值，而表示有约束模型的对数似然值，那么在原假设(检验q个排除性约束)成立的情况下，有LR.•解释Logit和Probit模型的估计值拟合优度指标之一:正确预测百分数(percentcorrectlypredicted)，若，则定义，若，则定义,该变量是对的预测值，当表示预测对了，否则表示做了不正确的预测，所以只需要计算成立的对数。分类给出正确预测百分比数是更好的选择。关于临界值0.5的争议:假如，那么可能发生的可能性很小，所以一种替代方法是将临界值定为，但可能在对进行0预测时会犯更大错误。更有效地方法是使用搜索的方法确定临界值，以使正确预测百分比达到最大。拟合优度指标之二:伪(pseudoR-squared)为McFadden(1974)建议的指标1-,表示只有截距项的模型的对数似然值。请解释？拟合优度指标之三:=G()为拟合概率，其也是对的估计值，考察和的相似度！拟合优度本身对经济问题研究是相对次要的，下面讨论相对重要的偏效应(在其它条件不变的情形下的显著关系探讨)。连续情形下，7此时通常的做法是在均值、中位数等重要的分位点进行讨论。还有一种做法是提供各个变量的均值来生成对的调整因子，此时被称为平均值处的偏效应(partialeffectattheaverage(PEA)),但这种做法有两个缺陷，一、对离散变量而言，其平均值代表什么含义？二、如果模型中的变量涉及到了函数变换，那么究竟是函数变换前取平均(统计软件默认)还是变换后求平均？—种替代法是使用平均偏效应(averagepartialeffect(APE))：离散变量情形下，自变量的离散偏效应为：,特别是对于二值变量有同样可以定义离散情形下的平均偏效应。三种模型的比例因子的关系，LPM的g(0)=1;而logit的g(0)约为0.4,Probit约为0.25.Estimatedrespondprobabilitieswithrespecttoeduutlonforthelinearprobability

Andprobitmadels・1-1-uQ^dvtr^d3吐£中一右^'-一一P91EU1-轻043121620yearsofeducationProbit模型等同样面临内生性问题，问题的解决可以考虑类似于2SLS的思路(Wooldrige,2002,C15)。在Probit模型的情形下，有两个问题：一、e的非正态性，二、e的异方差性(假如Var(e|x)依赖于x,则响应概率不再具有形式G(0+x),而依赖于方差的形式。17.2用于角点解响应的Tobit模型另一类重要的受限因变量以在0值处取一个不可忽略的概率而在正值时大致连续为特征。我们可以用线性模型来拟合该因变量，但要注意：1)拟合值可能取负值；2)以水平值出现的解释变量对的偏效应是常数；3)可能是异方差的；4)y的条件分布不再是正态，因此只能实施渐近的统计推断。为此，建立Tobit模型：并定义从而，=1-■，而当y>0时，其基于的条件密度函数为,为标准正态密度函数。估计问题仍然可以使用极大似然估计需要给出在给定下的分布函数：对上述方程求和，得到对数似然函数：则最大化上述函数可求得和的MLE估计量。同样可以建立三种常用的排除性约束检验统计量：Lagrangemultiplierorscoretest(Wooldrige,2002,C15)；Waldtest(Wooldrige,2002,C13)和likelihoodratio(LR)test。

对Tobit估计值的解释如果我们仅仅要解释，那么直接使用就够了，但是我们此时需注意有两个条件期望：其中入入其中入入,—;最后一个等式成立是因为最后可得，-(1)从该方程可以看出，1)仅用的样本，不能一致的估计出；2)可以证明(1)式的右边为正数，也即(1)保证y拟合值非负的代价是，以一个复杂的非线性式子替换线性模型的线性关系；3)偏效应的估计还是要依赖于求偏导的方法：入可见，的偏效应并非只取决于，还取决于一个调整因子，该因子是的函数，可以证明该调整因子严格介于0和1之间。进一步可得可见对的偏效应的方向和的正负号相同，也同于对的偏效应方向。有了偏效应函数，那么弹性公式也可以写出。如果为离散变量，则其偏效应可仿造logit或Probit模型的做法。关于偏效应的实际解释，也可以借鉴Logit或Probit模型的做法。例如，先求出平均值处的，然后用这个调整因子乘以连续变量的估计值。同Logit和Probit模型，在平均值处的偏效应(PAE)可能不如平均偏效应(APE)可取。由于，所以调整因子总在0和1之间，并且在0的取值越少，Tobit模型和OLS参数估计值越接近。x离散时的偏效应度量，也可借鉴Logit和Probit模型的类似讨论。Tobit模型中的设定问题Tobit模型极大的依赖于满足条件正态分布，否则，我们不知道我们在估计什么。正因有该假设，则的偏效应依赖于调整因子，而且对的影响和对影响有密切的联系。而在线性模型时，我们却往往可以放心的进行统计推断。检验Tobit是否恰当(评价Tobit)一种方法是估计一个Probit模型，那么该模型的系数从而若Tobit模型合适，的估计值应该和—的估计值较为渐近。如果Tobit模型不合适，那么可以选择对和具有不同影响的模型(例如，Hurdlemodel或者Two-partmodel,Wooldrige,2002,C16)。17.3泊松回归模型非负因变量的另一个常见例子是计数变量(countvariable)即其可以取非负整数(0,1,2,…)。该模型的一种解决思路是，使用指数函数：7来保证对的预测取正数。解释上也很简单，两边取对数后有：7从而系数有一个对数-水平值的解释，或者有一个更为精确的比例变化解释：二exp()-1.由于指数函数的非线性特征，我们又要依赖于极大似然估计方法和拟极大似然估计方法(quasi-maximumlikelihoodestimation)。假定y的条件分布为正态已不再合适，合适的假定是假定其服从泊松分布(Poissondistribution),从而的条件概率为：,h=0，1,2，….在估计出参数值后，该分布列能给出任意取值的概率。对一个样本量为n的样本，有如下的对数似然函数：()最大化上式可以得到的MLE估计值。在连续变量时，可以将OLS估计值和泊松回归模型的估计值做比较。事实上由于，从而从APE的比例因子实际上就是y的样本均值。从而直接比较和即可。泊松分布的高阶矩都由其一阶矩决定，这往往和实际不符合。此时需要对某些统计量例如标准误进行调整。办法是假定,其中时满足泊松分布的假设，一般情形是，此时被称为过度散布(overdispersion)，与散布不足(underdispersion)对应。估计思路是先估计泊松模型的优点在于不管泊松分布假设是否成立，仍能得到的一致和渐近正态估计量(Wooldrige,2002,C19)，此时的估计量称为拟极大似然估计(QMLE)。有效地排除性约束检验仍然是似然比检验或者拟似然比检验(quasi-likelihoodratiotest)。后者的检验统计量是似然比检验统计量除以无约束模型的后生成的)17.4删失和截断回归模型类似于17.2中的数据，有时因为调查设计或者因为制度上的约束，我们可能面临数据被删失的情形。此时可能需要建立删失回归模型(censoredregressionmOd来应对。555555在抽样方案中以y为依据排除了总体中的一个子集时，就出现截断数据，从而需建立截断回归模型(truncatedregressionmodel).•删失回归模型本节讨论删失正态回归模型(censorednormalregressionmodel)：并定义.(可以是取对数后的值)。满足这种要求的例子，有顶端编码(topcoding)。该模型也可用于持续期分析(durationanalysis).和Tobit模型讨论类似，OLS估计会给出一个不一致估计，不同的是我们现在面临的是数据选择问题。又要借助于极大似然估计方法，该方法关键是构造出的密度函数。显然当,(我们把放入中了)；当时，贝I」,如此就可以构造极大似然函数进行估计。但若违背异方差或正态性假定，贝IJMLE估计一般是不一致的，截断回归模型也一样。这是对删失数据进行分析的代价。•截断回归模型截断回归模型和删失回归模型的区别在于，前者不能观测到总体中某一段的任何信息。假定但是对于样本而言，只有当时，才能观测到它，是外生临界值。因此，不同于删失回归模型，在时是不能观测到的。同样需借助于极大似然估计，先给出如下的密度函数：Hausman和Wise(1977)指出OLS会给出截断数据的估计量一个向零的偏误：17.5样本选择纠正截断回归属于所谓的非随机样本选择(nonrandomsampleselection)。另—例子是从属截断(incidentaltruncation)。面板数据分析中也常因人员的自然衰退而出现此类情况。OLS什么时候对选择样本是一致的？55假定该模型满足高斯-马尔科夫或CLM假设。现在研究选择样本(selectedsample)问题。先定义一个选择指标,表示观测到样本(；)的全部；否则，.那么，目前的估计问题变为：，显然要满足假设4，即误差项的条件均值为0的假设，必须满足：那么当为的函数，此时是外生样本选择(exogenoussampleselection)的情形，上述要求自然成立。当独立于和且完全随机的时候，则上式也成立，这是样本随机删失的例子。此外，若取决于，附加的随机项又是完全独立于和，那么上述要求也仍然成立。上