工具变量(IV)：估计与检验

工具变量回归由来估计矩估计（不好）2SLS（最常用）GMM（异方差自相关）；LIML（若IV）工具变量有效性检验相关性

F检验;PartialR2，单内生解释变量Minimumeigenvaluestatistic，最小特征值统计量，用于多内生解释变量外生性

过度识别约束检验J统计量

（又称Sargan统计量）解释变量内生性检验Hausman检验寻找工具变量的方法：几个实例方法例子由来经典假设

所有的解释变量Xi与随机误差项彼此之间不相关。若解释变量Xi和ui相关，则OLS估计量是非一致的，也就是即使当样本容量很大时，OLS估计量也不会接近回归系数的真值。造成误差项与回归变量相关（内生性）的原因很多，但我们主要考虑如下几个方面：遗漏变量变量变量有测量误差双向因果关系。遗漏变量偏差可采用在多元回归中加入遗漏变量的方法加以解决，但前提是只有当你有遗漏变量数据时上述方法才可行。双向因果关系偏差是指如果有时因果关系是从X到Y又从Y到X时，此时仅用多元回归无法消除这一偏差。同样，变量有测量误差也无法用我们前面学过的方法解决。因此我们就必须寻找一种新的方法。工具变量(instrumentalvariable,IV)回归是当回归变量X与误差项u相关时获得总体回归方程未知系数一致估计量的一般方法。我们经常称其为IV估计。其基本思想是：假设方程是：我们假设ui与Xi相关，则OLS估计量一定是有偏的和非一致的。工具变量估计是利用另一个“工具”变量Z将Xi分离成与ui相关和不相关的两部分。在经济学中：（1）内生变量：由模型内的变量所决定的变量称作内生变量。（2）外生变量：由模型外的变量所决定的变量称作外生变量。重要概念：内生变量和外生变量在计量经济学中，把所有与扰动项相关的解释变量都称为“内生变量”。这与一般经济学理论中的定义有所不同。1。与误差项相关的变量称为内生变量(endogenousvariable)。2。与误差项不相关的变量称为外生变量(exogenousvariable)。我们的工作就是要寻找相应的工具变量将解释变量分解成内生变量和外生变量，然后利用两阶段最小二乘法(TSLS)进行估计。一个例子：考虑货币政策对宏观经济的影响。由于货币政策的制定者会根据宏观经济的运行情况来调整货币政策，故货币政策是个内生变量（双向因果关系）。Romer(2004)通过阅读历史文献将货币政策的变动分解为“内生”（对经济的反应）与“外生”（货币当局的自主调整）的两部分。谁开创了工具变量回归？1928年的著作的“TheTariffonAnimalandVegetableOils”的附录B。作者是谁？PhilipWright还是他的儿子SewallWright文体计量学的分析为什么IV回归是有效的？例1:PhilipWright的问题PhilipWright关心的是那个时期的一个重要经济问题：即如何对诸如黄油，大豆油这样的动植物油和食用动物设置进口关税。在20世纪20年代，进口关税是美国主要的税收收入来源。而理解关税的经济效应的关键在于要有商品需求和供给曲线的定量估计。由前知供给弹性为价格上涨1%引起的供给量变化的百分率，而需求弹性为价格上涨1%引起的需求量的百分率变化。例如具休考虑黄油的需求弹性估计问题：根据11个均衡样本点估计的方程究竟是需求函数还是供给函数？两者都不是。由于这些点是由需求和供给两者的变化确定的，因此用OLS拟合这些点的直线既不是需求曲线也不是供给曲线的估计。利用这些样本点估计出来的OLS拟合线是需求曲线还是供给曲线，都不是！两个极端的情况如图：因此，由于这些点是由需求和供给两者的变化确定的，因此用OLS拟合这些点的直线既不是需求曲线也不是供给曲线的估计。Wright的解决办法：1。找到第三个变量，这个变量影响供给但不影响需求。这样，所有的均衡价格和均衡量对都落在这条稳定的需求曲线上，此时很容易估计出它的斜率。2。可见，这第三个变量，也就是工具变量，它与价格相关(它使供给曲线移动，于是导致价格发生变化)，但与u无关(需求曲线保持不变)。3。Wright考虑了几个可能的工具变量；其中一个是天气。例如，某牧场的降雨量低于平均值会使牧草减少从而减少给定价格时黄油的产量(会使供给曲线向左移动而使均衡价格上升)，因此牧场地区降雨量满足工具变量相关性的条件。但牧场地区降雨量对黄油的需求没有直接影响，因此牧场地区降雨量与ui的相关系数为零；也就是牧场地区降雨量满足工具变量外生性条件。上图表明若某个变量使供给曲线移动而使需求保待不变时会发生什么样的情况。现在所有的均衡价格和均衡量对都落在这条稳定的需求曲线工具变量法的本质是联立方程，只不过，我们只关心原方程的可识别性估计：矩估计、TSLS、GMM、LIMLGMM估计TSLS估计量的抽样分布为了简单起见，我们仅考虑只有一个回归变量X和一个工具变量Z的情况。即，参数的TSLS估计量为Z和Y的样本协方差与Z和X的样本协方差之比。假设原方程为：即总体系数为Z和Y的总体协方差与Z和X的总体协方差之比。在香烟需求中的应用为了减少由于吸烟导致的疾病和死亡，以及这些生病的人对社会其他成员产生的成本或外部性，一种方法是对香烟征收重税从而减少吸烟同时阻止潜在的新吸烟者。但具体需要增加多大幅度的税收来削减香烟的消费呢？例如，若要使香烟消费减少20%则香烟的税后售价应该是多少？若需求弹性为-1，使价格上涨20%就能达到减少20%消费量的目标。若弹性为-0.5，则价格必须上涨40%才能使消费下降20%。同philipWright对黄油的研究一样。我们无法通过数量对数关于价格对数的OLS回归得到香烟需求弹性的一致估计。我们利用TSLS和1985-1995年美国48个大陆州的年度数据估计了香烟的需求弹性。模型假定：被解释变量：香烟消费，即为州内每人购买的香烟包数。内生解释变量：包含所有税收的每包香烟的实际平均价格。工具变量：由一般销售税征收的香烟税收。这个工具变量设定是否合理？

工具变量的相关性：由于高销售税增加了总的销售价格，因此每包香烟的销售税满足工具变量相关性的条件。工具变量的外生性：若销售税是外生的，则必须与需求方程中的误差无关；即销售税必然只是通过价格间接影响香烟的需求。这看上去是合理的：主要是因为不同州选择了不同的销售额、收入、财产和其他公共财政事业的混合税收，所以不同州的一般销售税是不同的。其中关于公共财政的选择受到政治考量的驱使而不是受香烟需求有关的因素影响。结论：这种工具变量的设置方法是合理的。因此我们利用两阶段最小二乘法(TSLS)：第一阶段结果：第二阶段结果：66香烟需求（续）

67STATA实例:香烟需求，第一阶段68第二阶段69结合到一个命令中一般IV回归模型一般IV回归模型因变量Yi。外生解释变量Wi。内生解释变量Xi。我们引入的工具变量Zi。更为详细的说明引入工具变量的个数假设我们有n个内生解释变量，引入了m个工具变量，n和m的关系是什么？n=m恰好识别n<m过度识别n>m不可识别只有恰好识别和过度识别才能用IV方法估计。一般IV模型的TSLS对一般的IV回归模型，我们需要修改工具变量的相关性和外生性条件。相关性条件：1.当包含一个内生变量但有多个工具变量时，工具变量相关性的条件为给定W时至少有一个Z对预测X是有用的（相关的）。2.当包含多个内生变量时，不但要排除完全多重共线性问题，而且工具变量必须提供关于这些变量外生性变动的足够信息，以分离出它们各自对Y的效应。外生性条件：工具变量外生性条件的一般叙述为每个工具变量必须与误差项ui不相关。一般IV模型中的工具变量相关性和外生性IV回归假设和TSLS估计量的抽样分布基于TSLS估计量的推断在香烟需求中的应用在上一节中，我们基于1995年美国48个州的年消费数据利用包含一个回归变量(每包香烟的实际价格对数)和一个工具变量(每包香烟的实际销售税)的TSLS估计了香烟的需求弹性。但这个估计并非没有问题的。收入会影响需求，它是总体回归误差的一部分。若州销售税与州的收入有关，则它与香烟需求方程误差项中的某个变量相关。这违反了工具变量外生性的条件。会导致IV估计量是非一致的。因此我们需要在回归中加入收入这一变量。除了工具变量SaleTaxi外，我们增加一个新的工具变量香烟专项税CigTaxi，香烟专项税提高了消费者支付的香烟价格，因此可证明它满足工具变量相关性的条件。同时它与州香烟需求方程中的误差项不相关，因此它是外生工具变量。有了这个工具变量后我们就有了每包香烟的实际销售税和每包香烟的实际州专项税两个工具变量。因此需求弹性是过度识别的，即工具变量的个数(m=2)大于包含的内生变量个数(k=1)。现在我们就可以利用TSLS估计需求弹性了，其中第一阶段回归中的回归变量为包含的外生变帚ln(Inci)和两个工具变量。结果，使得标准误差变小。85实例:香烟的需求86实例：香烟需求，一个工具

87实例:香烟需求,两个工具88工具变量有效性检验1.相关性：为什么弱工具变量是个问题如果工具变量是弱的，那么即使当样本容量较大时用正态分布近似TSLS估计量的抽样分布效果仍然很差。因此即便是在大样本下仍然缺乏常用统计推断方法的理论依据。事实上，如果工具变量较弱，则TSLS估计量严重偏离OLS估计量的方向。弱工具变量会使得分母变得很小，甚至为0，导致结果严重偏离。直观上看，由于"z"中仅包含很少与"x"有关的信息，利用这部分信息进行的工具变量法估计就不准确，即使样本容量很大也很难收敛到真实的参数值。这种工具变量称为弱工具变量，将使𝛽

̂_"IV"的小样本性质变得很差，且基于大样本理论的统计推断失效此外，用TSLS估计量1.96标准误差构造的95%置信区问包含系数真值的次数远小于95%，简言之，若工具变量较弱则TSLS不再是可靠的了。F检验(只有一个内生解释变量)当只有一个内生解释变量时检验弱工具变量的一种方法是利用F统计量检验TSLS第一阶段回归中工具变量系数都为零的假设。第一阶段F统计量，度量了工具变量中包含的信息：包含的信息越多，则F统计量的期望值越大。经验法则是如果第一阶段F统计量应该超过10。即检验Z1、Z2、…、Zm的联合显著性。testZ1=Z2=…=Zm=0计算F值然后和10比较。偏R2检验(只有一个内生解释变量)Minimumeigenvaluestatistic(最小特征值统计量)经验上此数应该大于10。这个方法类似于与书上的“第一阶段F统计量”（但允许有多个内生变量）。如果存在弱工具变量该怎么办？1.如果有很多工具变量，有少数强工具变量和许多弱工具变量，可以忽略最弱的工具变量而选用相关性最强的工具变量子集。2.但如果系数是恰好识别的，则你不能略去弱工具变量。即使系数是过度识别的，但你可能没有足够的强工具变量用于识别，因此略去一些弱工具变量也没有什么帮助。在这种情况下，有两个选择：第一个选择是寻找其他较强的工具变量。(难度较大)第二个选择是利用弱工具变量继续进行实证分析，但采用的方法不再是TSLS。而是对弱工具变量不太敏感的有限信息极大似然法(LIML)。在大样本下，LIML与2SLS是渐近等价的，但在存在弱工具变量的情况下，LIML的小样本性质可能优于2SLS。按：从更根本上说，应该跳出IV框架，寻找IV方法本身的替代工具，这就是DID和RegressionDiscontinuity的作用——有可能正式其由来。参教育报酬率的文献，Angrist&Kruger(1991);Oreopoulos(2006,AER)2.外生性：过度识别约束检验刚才我们提到：只有恰好识别和过度识别才能用IV方法估计。恰好识别：工具变量个数=内生变量个数过度识别：工具变量个数>内生变量个数一个很重要的命题是：只有过度识别情况下才能检验工具变量的外生性，而恰好识别情况下无法检验。过度识别条件下，可以检验外生性又称Sargan统计量在恰好识别情况下，假设考虑只包含一个内生变量(k=1)的情况。此时如果有两个工具变量，可以计算出两个TSLS估计量，其中每个工具变量对应一个估计量，然后可以将两者进行比较看看它们是否接近。但如果你只有一个工具变量，则只能计算出一个TSLS估计量，这样就无法进行比较了。更直观地看，如果系数是恰好识别的，此时m=k，那么过度识别检验统计量J恰好为零。解释变量内生性检验究竟该用OLS还是IV还有一个重要问题没有考虑：我们只是假设解释变量中具有内生性。那么解释变量是否真的存在内生性？假设能够找到方程外的工具变量。1。如果所有解释变量都是外生变量，则OLS比IV更有效。在这种情况下使用IV，虽然估计量仍然是一致的，会增大估计量的方差。2。如果存在内生解释变量，则OLS是不一致的，而IV是一致的。检验方法：豪斯曼检验豪斯曼检验（Hausmanspecificationtest）H0：所有解释变量均为外生变量。H1：至少有一个解释变量为内生变量。

quietlyreglw80s80expr80tenure80iqeststoreolsquietlyivregress2slslw80expr80tenure80(s80iq=medkwwmrtage)eststoreivhausmanivols在香烟需求中的应用在香烟的案例中我们增加了两个工具变量：销售税与香烟专项税。我们现在判定这两个工具变量的外生性。我们发现：香烟专项税可能不具有外生性，例如，种植烟草的州的吸烟率要高于大多数其他州的吸烟率。而这个因素与税收相关，原因是如果烟草种植和香烟生产是这个州的重要产业，那么这些企业会努力让香烟专项税维持在低水平上，所以，这个州是否种植烟草和生产香烟，它可能与香烟专项税相关。1.由于这是一份面板数据，所以我们可以利用离差的形式消除这种不随时间变化的内生变量的影响。2.两个不同年份间的时间跨度会影响弹性估计的解释。这是因为香烟是能让人上瘾的，所以只有在较长的时间范围，价格的改变才会改变吸烟者的习惯。即对于香烟来说，短期内的需求可能没有弹性，但长期内可能富有弹性。3.因此，我们把时间差定为10年。被解释变量内生解释变量外生解释变量工具变量1工具变量2寻找工具变量的方法：几个实例获得工具变量的方法使用工具变量法的前提是存在有效的工具变量。因此，如果寻找工具变量在实践中十分重要。由于工具变量的两个要求（“相关性”与“外生性”）常常是自相矛盾的，即与内生解释变量相关的变量常常与被解释变量的扰动项也相关。故在实践上寻找合适的工具变量常常比较困难，有时需要一定的创造性与想象力。第一种方法是利用经济理论提出工具变量。例如,PhilipWright对农业市场经济的了解促使他找寻使供给曲线移动但需求曲线不动的工具变量，于是他找到了天气。第二种构造工具变量的方法是找出实际上是由导致内生回归变量移动的随机现象引起的内生回归变量X变化的某个外生因素。例如，在上面的假想例子中，地震造成的损害使某些学区的平均班级规校增大了，显然班级规模的这种变动与影响学生成绩的潜在遗漏变量不相关。在实际操作中：寻找工具变量的步骤大致可以分为两步，（i）列出与内生解释变量（X）相关的尽可能多的变量的清单（这一步较容易）；（ii）从这一清单中剔除与扰动项相关的变量（这一步较难）。几个实例例1。把罪犯关进监狱会减少犯罪吗？要考察的问题：入狱人口增加1%引起的犯罪率的变化。估计这个效应的一种方法是利用美国的州的年度数据建立犯罪率对监禁率的回归。此外，该回归中应该包含一些衡量经济环境的控制变量，人口统计变量等等。遗漏变量偏差问题：双向因果偏差：一方面，被监禁的人增多使犯罪率下降；但另一方面，犯罪率上升会有更多的人被监禁。因此，我们必须选择工具变量，这个工具变量必须与监禁率相关(它必须是相关的)，同时也必须与感兴趣犯罪率方程中的误差项无关(它必须是外生的)。Levitt(1996)寻找了以下工具变量：监狱容量，即减少监狱过分拥挤的诉讼。1。监狱过度拥挤诉讼减慢了数据中囚犯监禁的发展速度，这表明这个工具变量是相关的。2。监狱过度拥挤诉讼是由监狱条件而不是由犯罪率或其决定因素导致的程度，我们得出这个工具变量是外生的。例2。缩小班级规模能提高测试成绩吗?第二篇我们看到了，小班的学校往往比较富有，并且他们的学生也能获得更多的校内和校外学习机会，所以当时我们控制了各种度量学生富裕状况和英语学习能力等的变量，利用多元回归解决了遗漏变量偏差的威胁。遗漏变量偏差：但还有可能遗漏掉其他无法获得的变量，如校外的学习机会等。因此我们需要找到一个工具变量，这个变量与班级规模相关(相关性)，但与组成误差项的因素(如父母对学习的兴趣、课外的学习机会、教师的质量和学校设施)等不相关(外生性)。Hoxby(2000)找到的工具变量：出生日期导致的潜在入学人数距离其长期趋势的偏差1。这一变量与班级规模相关。2。这一变量与随机误差项不相关。例3。对心脏病的积极治疗能延长寿命吗？模型的设置：被解释变量是患者期望寿命，解释变量包括二元治疗变量(患者是否接受了心导管术)和其他影响死亡率的控制变量(年龄、体重、其他健康状况指标等等)。变量内生性问题：所有决定接受治疗的人都是被认为治疗有效的人，如果他们的决定部分取决于数据集中没有包含的但与健康结果有关的不可观测因素，则治疗决定与回归误差项相关。McClellan，McNeil和Newhouse(1994)找到的工具变量：地理位置。大部分医院都不是专攻心导管术的。因此许多患者到没有提供这种治疗的“普通”医院的距离比到心导管术医院的距离近。所以可以把患者的家到最近的心导管术医院的距离和到最近的任何类型医院的距离之差作为工具变量，若距离最近的医院为心导管术医院，则距离之差为零，否则取正。如果这个相对距离影响到患者接受这种治疗的概率则它是相关的。同时它在患者间是随机分配的，因此它是外生的。例4：警力与犯罪率。一般认为，警察人数越多，执法力度越大，则犯罪率应该越低。为了度