管理研究方法：理论、前沿与操作（第2版）课件 第10章 内生性及其解决办法

第十章：内生性及其解决办法讲课人：

目录CONTENTS1234理解内生性内生性问题的来源内生性修正方法之工具变量法56内生性修正方法之倾向得分匹配7内生性修正方法之断点回归内生性修正方法之双重差分法利用人工智能与机器学习修正内生性学习目标LEARNING

OBJECTIVES学习内生性的概念理解内生性产生的原因掌握有关内生性的解决办法熟悉检验内生性和解决内生性的软件操作理解内生性01

介绍内生性的定义之前,我们先回顾一下OLS回归假设——外生性假定：小样本OLS估计

要求严格的外生性,即误差项与任何一期的所有解释变量都不相关,解释变量不受内部因素的影响大样本OLS估计

放宽了严格外生性的假设,称为弱外生性,即要求误差项仅与同期所有解释变量不相关

然而在实际问题中,弱外生性的条件往往也很难满足,内生性问题总是不可避免。一、外生性假定问题

下面是一个经典的回归模型：

再以一个随机对照实验来说明内生性造成的结果：

基于该方法的前提假设：

每个个体只能经历一种事实(即只能在实验组或者控制组)，个体的潜在结果互相独立，二者统称为theStableUnitTreatmentValueAssumption(SUTVA)。

然而与随机实验不同，在观察性数据下实验中的样本不能随机分配，实验组和控制组在整体上不可能相似。此外,对于观察性数据,处理方法与结果并不独立。因此分配到实验组还是控制组是内生的。

理想的随机实验是估计平均因果作用的重要方法，不依赖对事物间关系的完善的知识而进行因果推论。以上个实验为例：总体实验组(合同治理)控制组(关系治理)

抽取随机样本观察到的平均结果来估计总体在策略中的平均结果使用差值来估计两种策略下的不同的结果

内生性的存在会显著改变回归分析中自变量的系数显著性,导致我们对自变量与因变量之间的关系得出错误结论。

通常情况下,实证研究的目标是确定自变量(X)对感兴趣的因变量(Y)的影响，这种模型需要处理内生性,进而校准投入(自变量)和产出(因变量)之间的关系。

例如,我们研究个体受教育程度对收入的影响。理论上,我们希望个体的受教育程度是外生的,即完全随机。然而实际上个体的受教育程度与自身某些不可观察或测量的因素(如努力程度、智商等)相关,而这些因素也对个体的收入有着重要的影响。

因此,在构建回归方程时,我们很难测量个体的努力程度或智商这类变量,这些没有被控制的变量通常构成了误差项,导致我们要研究的解释变量(受教育程度)和误差项相关(即内生性问题)。

从统计角度看,内生性会导致研究的回归结果中解释变量的估计产生偏误；从实践角度看,内生性会导致研究结论出现错误。二、内生性造成的后果内生性问题的来源02内生性问题个主要来源:遗漏变量(omittedvariables)、双向因果(simultaneous)、测量误差(measurementerror)、选择性偏差(selectionbias)。一、遗漏变量内生性最直观的原因可能是遗漏变量偏差：遗漏变量偏差

在设定模型设定时遗漏了某个或某些可能与因变量和自变量都存在相关关系的变量所导致遗漏变量问题

可能是由于数据不可获得或选择性偏差,其中某些同时与因变量和自变量相关的遗漏因素会导致样本观测以非随机的方式被分配到了实验组

考虑下面两个回归模型：1)假定真实的模型:2)实际估计的模型:二、双向因果

双向因果被认为是导致内生性的第二大来源。互为因果是指解释变量与被解释变量互为因果,这样会使解释变量与误差项相关,造成内生性问题。考虑以下两个线性模型:在以上两个回归方程中,Yi与Xi互为因果,联立两个方程我们可以得到:

在研究中双向因果的实例较多。例如,在家族企业高管团队研究中,分析家族成员与非家族成员之间权力平衡对企业绩效的影响时,解释变量和被解释变量之间可能存在双向因果关系。具体来说,企业可能会根据企业绩效来调整高管团队中家族成员与非家族成员之间的权力平衡程度,也就是说企业绩效也可能会反过来影响高管团队中家族成员与非家族成员之间的权力平衡程度。三、测量误差测量误差是指对变量的测量不准确所导致的误差假设真实的回归模型为:

由于:

整理可得:四、选择性偏差选择性偏差包括自选择偏差(self-selectionbias)与样本选择偏差(sample-selectionbias)以陈云松(2012)的研究为例，该研究反驳了社会网络对农民工的收入没有影响的结论。在过往分析中,样本都只包含外出打工的农民,忽视了农民是否外出打工也是一个自我的选择性行为。具有城市劳动力市场优势(男性、年轻和能力强等)的农民会更倾向于外出打工。因此,在设定模型时,必须要考虑面对的样本本身(即农民工群体)是一个经过双向筛选后的群体。当样本选择导致的偏差被消减,农民工收入的网络效应从0.125上升到0.263,且在0.01的水平上显著。因此,忽视了自选择效应会低估“同村打工社会网络”对农民工收入的影响。自选择偏差：解释变量不是随机的,而是经过选择的例如,在研究健身水平对脱发程度的影响中,我们在健身房门口发放调查问卷收集数据。分析收集的数据后发现,健身多的人脱发程度高。然而,我们调查的样本不是随机选择的,我们只关注健身水平较高的群体,意味着在研究中以一个不具有代表性的群体验证了一个广泛的假设,结论没有说服力。样本选择偏差：样本不是随机的,而是经过选择的在实证研究中,我们只能观测到一种状态下的潜在结果,观测结果与潜在结果之间的关系可以用下面的公式表示:

由此可得：

五、对内生性来源的总结内生性问题中的误差项是不可观察，加之大部分所谓的外生变量也可能并不完全外生。因此,当前几乎没有可以完全解决内生性问题的办法。在这种情况下,我们在面对内生性问题的时候,并不追求完全解决内生性问题,而是选择最恰当的内生性处理办法来解决可能的内生性问题。研究人员针对不同类型的内生性来源,提出了各种相对应的解决办法,包括面板数据模型、Heckman两阶段模型、工具变量法(IV)、双重差分法(DID)、断点回归(RD)、倾向得分匹配(PSM)、实验以及准实验等。任何专注于探讨变量之间的因果效应的实证研究,必要的第一步是从理论上(如广泛地回顾文献、提供全面的研究设计有助于使用适当的统计工具)识别内生性问题及其对推断的影响,然后基于此收集数据和设计模型,在研究设计之初就解决一些内生性问题。工具变量法031.1解决思路工具变量法

工具变量示意图基本步骤找到一个工具变量Z通过工具变量Z识别出解释变量Xi中与残差不相关的一部分X利用解释变量中的外生部分X来估算解释变量结果变量Y的影响1.2理论推导修正内生性的理论推导

2.1常见选择宏观数据同伴效应：个人受到集体影响同一个行业或者地区的整体数据但容易引入噪音（不能确保完全外生）自然现象外生性：河流、地震、降雨、自然灾害等自然现象随机外生相关性：能够影响一些社会过程生理现象出生日期、季度和性别、死亡率等既具有随机性又往往和特定的经济社会过程相关社会空间具象性的城市、乡村和非具象性的市场在特定分析层面上具有独立性、随机性和人类的行为与社会结果有相关性自然实验给关心的解释变量带来冲击置身于模型之外社会实验（政策干预）与模拟实验工具变量的选择3.1STATA执行--理论判断数据类型横截面数据or面板数据横截面数据——内生性问题修正困难遗漏变量未考虑到的变量无法观测到的变量测量误差共同方法偏差双向因果自变量影响因变量，因变量影响因变量如：正式合同与成本削减3.2基于两阶段最小二乘法

3.2基于两阶段最小二乘法

回归结果图结果分析OLS回归自变量educ对因变量lwage存在显著的正向影响（β=0.107，p<0.01）2SLS回归自变量educ对因变量lwage存在显著的正向影响（β＝0.061，p<0.05）问题：并不知道哪个系数估计值更接近真实的教育回报办法：对工具变量的效果进行检验3.3工具变量法的事后检验事后检验内生性检验Hausman检验（同方差）hausmanIV_2SLSOLS,constantsigmamore2.Durbin和Wu-Hausman检验（异方差）estatendogenous*Durbin基于卡方检验，Wu-Hausman基于Ｆ检验Hausman检验结果示意Durbin和Wu-Hausman检验结果示意3.3工具变量法的事后检验事后检验弱工具变量检验ivreg2lwage$control(educ=motheducfatheduc)*F统计量>10则可以证明非弱工具变量过度识别检验（工具变量个数>内生解释变量个数）estatoverid*如果Sargan检验和Basmann检验的结果显著，则至少一个工具变量是无效的，回归模型没有得到正确的设定和估计——不显著即可弱工具变量检验结果示意过度识别检验结果示意3.3工具变量法的事后检验总结：基于工具变量估计的有效性检验3.4一些细节

3.5报告结果基本步骤1.描述内生性的可能来源（或者为什么不需注意内生性问题）2.在理论上论证工具变量的相关性和外生性3.弱工具变量检验和过度识别检验4.提供详细的解释和评估特别注意：需要根据数据结构特征和核心变量性质来论证工具变量估计的回归方法选择的合理性双重差分模型法04经济学家在评估某项政策的处理效应时,常常使用反事实框架,将受到处理(处理组)的数据(实际可观测到)与假如未受到处理的数据(反事实)之间的差异称为“处理效应”。由于未受到处理的数据是反事实的,并不能被实际观测到,因此经常寻找各个方面都与处理组相似但未受到处理的控制组,作为处理组的反事实的替代,处理组前后变化与控制组前后变化之差为“处理效应”。为估计处理效应,比较处理后与处理前的差异,将处理组的前后变化减去控制组的前后变化,就得到处理效应,故名“双重差分”。合成控制法SCM处理组仅有一个被处理对象双重差分法DID处理组有多个被处理对象多期DID被处理时间是不同时间点

一、理解双重差分法引入：政策评估的一般思路比较事前和事后比较受影响的组与不受影响的组DID思想在时刻t1和t2个体所展现出来的Y值时有明显的降低。虽然我们有理由推测这是政策产生的影响,但Y值随着时间变化的可能性会更大。将研究样本分为处理组(受到政策冲击)和控制组(未受到政策冲击),比较两组的差异(不包含事前的数据)。在时刻t*政策实施之后,我们观测到处理组与控制组有明显的差异。DID适用于面板数据。在这面板数据中,个体可分为两类,即受到政策冲击的“处理组”(treatmentgroup)与未受到政策冲击的“控制组”(controlgroup)。然而,处理组的个体也只有到了处理期才会受到政策冲击(之前未受到冲击),故引入处理期虚拟变量Postt

一、理解双重差分法反映净效应双重差分的基本逻辑：双重差分的核心思想示意：假设控制组的平均变化和处理组在没有政策冲击的情况下有相同的发展趋势(即两者之间的差分在没有政策冲击时是既定的,在图中表现为处理组和控制组之间的直线平行)那么处理组平均结果状态(Y*t2)和控制组平均结果状态(Yc2)之间的差分在事前和事后应该是固定的(Yc2

-Y*t2=Yc1

–Yt1)。如果上述假设成立,用受到政策冲击的处理组与未受到政策冲击的控制组事后差分(ΔY2=Yt2-Yc2),减去事前差分(ΔY1=Yt1-Yc1),就能得到真实的影响。很显然,真实的影响可以看作两次差分的结果,一次差分在时间维度(事前vs.事后),一次差分在个体维度(处理组vs.控制组)二、双重差分法的识别假设(一)共同趋势假设(二)单位处理变量值稳定假设含义：控制组的平均变化和处理组在没有政策冲击之前有相同的发展趋势。方法： 1）画时间趋势图法 2）事件研究法含义：不同个体受到政策冲击是否是相互独立的,即某一个体受到政策冲击的情况不影响其他任何个体。方法： 1）安慰剂检验 2）可以利用不同的控制组进行回归,看研究结论是否依然一致 3）选取一个完全不受政策影响的因素作为被解释变量进行回归(一)共同趋势假设控制组的平均变化和处理组在没有政策冲击之前有相同的发展趋势,这一假设也称为“共同趋势假设”(commontrendshypothesis),即E(Δεit|Treati=0)=E(Δεit|Treati=1)。如果不满足这一条件,那么两次差分得出的政策效应β就不完全是真实的政策效应,其中有一部分是由处理组和控制组的差异所造成的。画时间趋势图法优点：简单直观缺点：粗糙，不能在统计意义上准确地判断处理组和控制组是否存在显著差异。事件研究法优点：更准确、更科学具体做法：生成年份虚拟变量Yearj与处理组虚拟变量Treatt的交互项,加入模型中进行回归,那么交互项Treatt×Yearj的系数δj衡量的就是第j期处理组和控制组之间的差异。检验方法：(二)单位处理变量值稳定假设单位处理变量值稳定指的是不同个体受到政策冲击是否是相互独立的,即某一个体受到政策冲击的情况不影响其他任何个体。这一问题可以概括为处理变量对产出变量作用机制的排他性,对此,DID分析需要进一步的稳健性检验来论证估计结果的可靠性。1)安慰剂检验。即通过虚构处理组进行回归,具体可以: ①选取政策实施之前的年份进行处理,比如政策发生在2008年,研究区间为2007—2009年,这时可以将研究区间前移至2005—2007年,并假定政策实施年份为2006年,然后进行回归。

②选取已知的并不受政策实施影响的群组作为处理组进行回归。如果不同虚构方式下回归结果依然显著,说明原来的估计结果很有可能出现了偏误。2)利用不同的控制组进行回归,看研究结论是否依然一致。3)选取一个完全不受政策影响的因素作为被解释变量进行回归,如果回归结果依然显著,说明原来的估计结果很有可能出现了偏误,等等。检验方法：三、双重差分法的基本类型经典DID双向固定效应估计方法：OLS多期DID每个个体处理期不完全一致使用随时间和个体变化的处理变量队列DID使用横截面数据（缺少时间维度）用个体的出生队列(年份)代替三重差分DDD控制组与处理组时间趋势不同三重差分示意：四、双重差分法的Stata操作实例经典DID数据生成交互项回归Diff命令平行趋势检验安慰剂检验多期DID数据回归平行趋势检验队列DID数据回归安慰剂检验平行趋势检验实证参考：卡德和克鲁格(Card&Krueger,1994)的自然实验研究方向：关注最低工资对就业的影响实证问题：由于工资与雇佣人数由劳动力市场的供求均衡所决定,故如果使用OLS估计劳动力需求函数,将导致联立方程偏差或内生变量偏差。解决办法：考虑自然实验，在1992年,美国新泽西州通过法律将最低工资从每小时4.25美元提高到每小时5.05美元,但在相邻的宾夕法尼亚州最低工资却保持不变。在这种情况下,这两个州的雇主仿佛被随机地分配到实验组(新泽西州)与控制组(宾夕法尼亚州)。收集两个州的快餐店在实施新法前后的雇佣人数数据,并使用双重差分法进行估计。研究结果：提高最低工资对低技能工人的就业几乎没有影响。也就是说,快餐店对低技能工人的需求是没有弹性的,并不会因工资的上升而显著地减少雇佣人数。（一）经典DID——数据首先读入所需数据；生成政策实施前后以及控制组虚拟变量；将它们相乘产生交互项,再进行回归。（一）经典DID——生成交互项回归提高最低工资并不会显著改变快餐店的雇佣人数,也就意味着最低工资的变动对低技能工人的就业几乎没有影响。>0.05，不显著（一）经典DID——使用第三方命令diffDID分析的核心结果从上述结果可以看出,DID值为2.935且p值0.045小于0.05,意味着政策实施后(最低工资提升后)雇佣人数增加了2.935人政策实施前控制组和处理组的雇佣人数(fte)均值以及组间差异,结果还给出了这些估计量的标准误差、t统计量和p值政策实施后控制组和处理组的雇佣人数(fte)均值以及组间差异（一）经典DID——平行趋势检验除雇佣人数之外,其他变量在处理组和控制组之间都不存在显著差异,意味着在政策实施前处理组和控制组不存在显著差异。在命令中加入test，进行平行趋势检验实证参考2：普林斯顿大学奥斯卡·托雷斯-雷纳(OscarTorres-Reyna)教授构建的DID虚拟数据集数据陈述：该数据集假设1994年在E、F、G三个国家实施了一项政策,并以相似的A、B、C、D四个国家为控制组。数据集一共包含country、year、y、x1、x2、x3、opinion7个变量,其中y为被解释变量，x1~x3为连续型自变量,opinion为分类型自变量。（一）经典DID——平行趋势检验（事件研究法）pre_4~pre_2的系数均不显著,表示实验组和控制组在政策实施前并无显著差异；政策实施后,仅有time_1的系数显著,表明政策效果仅出现在政策实施后一年,1996年及以后实验组和控制组未受到政策的影响。（一）经典DID——平行趋势检验（事件研究法）随后,采用coefplot命令绘图,观察1994年前回归系数是否均在0附近波动、1994年后回归系数是否显著为负。使用coefplot命令可较便捷和快速地生成多期动态效应图,更多使用方法详见helpcoefplot。结果见图。系数在政策实施前的确在0附近波动,而政策实施后一年系数显著为负,但很快又回到0附近。这说明实验组和控制组的确是可以进行比较的,而政策效果可能出现在实施后一年,随后又很快消失。（一）经典DID——安慰剂检验通过DID估计出的政策效应是否受其他政策或因素的影响是未知的，因此需要进行安慰剂检验。安慰剂检验最常用的方法就是将研究样本缩小至政策实施前,并随机设定一个政策实施年份,采用政策实施前的数据。将政策实施前除第一年之外的所有年份“人为地”设定为实验组的政策实施年份,然后根据DID模型逐年回归。当所有回归中的交互项系数都不显著时,说明通过了安慰剂检验,表明之前识别的政策平均效应是可靠的,否则就是不可靠的。如果政策实施前有n年数据,就要做n-1次上述回归。结果：did_new的系数为负,但是不显著,表明可以排除其他潜在的不可观测因素的影响,即估计出的政策效应是稳健的。其他方法,包括随机选择实验组、替换样本安慰剂检验、替换变量安慰剂检验等（二）多期DID——数据实证参考：贝克等(Becketal.,2010）研究方向：银行分支机构管制政策与收入分配差距之间的关系研究背景：在20世纪70年代到90年代,美国大多数州放松了对州内银行分支机构的管制,这一政策加剧了银行竞争,降低了费用,扩大了低收入群体获得银行信贷的渠道,从而缩小了收入分配差距。研究样本：样本包括美国的49个州31年(1976—2006年)的平衡面板数据,共1519个观测值722。研究选取包括基尼系数在内的四类指标作为收入分配不平等(因变量)的代理变量。此处选取基尼系数这一变量演示政策实施时点不一致的多期DID的处理效应。基尼系数取值在0到1之间:值越大,表示收入分配越不平等;值越小,表示收入分配越平等。处理期虚拟变量(Dst)在s州放松对银行分支机构的管制后取值为1,意味着此后该州处于处理组。研究模型：美国银行分支机构的放松管制政策在不同州推出的时间不一致,因此在进行DID分析时就需要选择多期DID模型。（二）多期DIDBankderegulation对因变量的影响均显著为负,意味着多期DID分析结果表明放松对银行分支机构的管制会加剧收入分配的不平等性。（二）多期DID——平行趋势检验变量pre2~pre10的系数的p值都大于0.05,意味着在政策实施前处理组和控制组并没有显著差异。因此,平行趋势假设成立。从图中可以看出,在放松银行分支机构管制之前估计的系数在0附近波动(95%置信区间包含0),而放松银行分支机构管制当年以及之后几年系数显著为负。这表明,处理组和控制组在实施放松银行分支机构管制政策之前差异不明显,是可以进行比较的,也就是满足平行趋势假设。放松银行分支机构管制政策对收入分配差距的负效应在放松管制后的8年左右持续增长,然后趋于平稳。总的来说,放松银行分支机构管制使得基尼系数下降了约4%。（三）队列DID——数据实证参考：陈等(Chenetal.,2020)研究方向：知识青年的上山下乡经历对不同地区孩子教育水平的影响研究背景：大规模的上山下乡运动始于1968年,1956年出生的人是第一批受到影响的人,因为他们应该在1968年上小学的最后一年,1969年出生的人是最后一批受到影响的人,因为他们在1976年才开始上小学,而从1976年开始下乡知青开始返城。因此,作者将1956年至1969年出生的个体作为处理组,将1946年至1955年出生的个体作为控制组。研究方法：使用了基于出生队列(年份)和地区两个维度变异的队列DID。识别策略:1)在知识青年上山下乡运动中,各县接收了不同数量的下乡知青,受到下乡知青的影响程度不同。 2)在同一个县内,不同出生队列的儿童受到下乡知青的影响不同。研究模型：（三）队列DID——回归列(1)针对农村地区的孩子，列(2)针对城镇地区的孩子。在列(1)中,c.sdy_density#c.treat的系数显著为正(β1=3.237,p<0.001)表明知青上山下乡确实增加了农村孩子的受教育年限。由于所在县的下乡知青平均密度为2.22%(2.22名知青/100人),因此知青上山下乡使得每个农村孩子的平均受教育年限增加了0.072年(3.237×2.22%)。列(2)中估计结果尽管也为正,但是并不显著,说明知青上山下乡对城镇孩子的受教育年限没有影响。（三）队列DID——安慰剂检验在两种检验中,交互项c.sdy_density#c.treat的系数β1其估计值都不显著,表明安慰剂检验通过。（三）队列DID——平行趋势检验。根据I1946~I1969的系数与p值可以看出,上山下乡的知青密度对出生在1957年前(在1968年知青上山下乡运动开始时已经过了上小学的年龄)的农村孩子的受教育年限并没有显著影响,1957年开始上山下乡对农村孩子的受教育年限就产生了明显的影响。（三）队列DID——平行趋势检验对于1956年之前的出生队列,β1,γ的估计值基本接近0,并且无法拒绝其等于0的原假设。这说明在知青上山下乡运动开始之前,不同出生队列个体的受教育年限并没有出现异质的趋势,平行趋势检验通过。对于1956年之后的出生队列,β1,γ的估计值不断增大且较为显著。这说明知青上山下乡运动开始之后,其对农村孩子受教育年限的促进作用不断增强。图中没有展示的是,对于1970年之后的出生队列,β1,γ的估计值有所下降但仍然显著,说明知青上山下乡运动结束之后,其影响虽然有所减弱但依然存在。调整置信区间的样式倾向得分匹配051.1解决思路倾向得分匹配【Rubin因果模型】“一个人无法同时踏入两条河流“选择偏差：选择群体中固有的差异导致残差项不干净——如何解决？【解决思路】建立一个反事实框架，找到现实情况下不可能观察到的的潜在结果【具体办法】通过衡量处理组和控制组样本之间的差异，将两组中某几个变量（尤其是影响政策效应的变量）值最相似的个体进行匹配，匹配后将得到一个与处理组有相同或相似随机分布的控制组——倾向得分匹配（PSM）因此，以考察上大学对个人收入的影响为例，对PSM进行理论推导1.2理论推导修正内生性的理论推导

前提假设【条件独立假定】匹配过后的处理组和控制组无显著差异，即匹配过后的处理组和控制组的选择偏差在５%以下【共同支撑条件】控制组与处理组的样本特征分布有一定的重合2.1基本步骤模型：Logit或Probit两种模型获得匹配得分变量选择：和多元回归模型的变量选择应相似固定效应：可以适当加入个体或时间固定效应1、估计倾向得分的模型设置协变量平衡性检验关注实验组和控制组均值或中位数差异3、评估配对样本：检验平行假设配对：放回配对或不放回配对卡尺距离：限制成功匹配样本中得分之间的最大距离匹配度：1:1还是1:n，常用1:12、构建配对样本进行T检验或多元回归来估计平均处理效应4、估计处理效应3.1STATA基本语法psmatch2的语法结构psmatch2depvar[indepvars][ifexp][inrange][,outcome(varlist)pscore(varname)neighbor(integer)radiuscaliper(real)mahalanobis(varlist)ai(integer)populationaltvariancekernelllrkerneltype(type)bwidth(real)splinenknots(integer)commontrim(real)noreplacementdescendingoddsindexlogittiesquietlyw(matrix)ate]本章节案例：检验母亲在小孩出生后1年内（即1岁前）是否参加工作（Treat）对小孩数学成绩的影响变量标签Treat小孩1岁前，母亲是否参加工作：1=参加工作，0=全职在家Piatm56小孩5～6岁时的PIAT数学测试成绩Piatm78小孩7～8岁时的PIAT数学测试成绩3.2PSM实例分析基本代码描述性统计T检验ttestpiatm56,by(treat)//描述性分析，独立样本T检验执行PSM——

1:1近邻匹配neighbor(1)

psmatch2treat$x,out(piatm56)neighbor(1)tiescommon匹配后检验命令pstest,both//平行趋势检验psgraph //图示匹配结果PSM匹配后结果匹配前后存在差异平行趋势检验共同取值范围3.2PSM实例分析基本代码PSM匹配样本的回归regresspiatm56treat$xeststoreolsregresspiatm56treat$x[pw=_weight]eststorepsm_olslocalm"olspsm_ols"esttab`m',mtitle(`m')compressnogapar2结论：PSM的回归结果更具可靠性回归结果对比断点回归06断点回归（theRegressionDiscontinuitydesign,RDD）是一种基于自然实验的思路来解决内生性问题的重要方法。基本思想:存在一个连续变量,该变量能决定个体在某一临界点两侧接受政策干预的概率,由于X在该临界点两侧是连续的,因此个体针对X的取值落入该临界点任意一侧是随机发生的,即不存在人为操控使得个体落入某一侧的概率更大,则在临界值附近构成了一个准自然实验。

一、断点回归原理简介

一、断点回归原理简介

一、断点回归原理简介

一、断点回归原理简介断点回归解决选择性偏差的思路：断点回归是一种局部（准）随机实验，其思路在分数线60（能否获得奖学金）附近对学生进行随机分组。样本随机分组：学生无差异假设：假定60分附近的学生，如假定成绩为57、58、59、60、61、62的学生的知识基础、学习能力、勤奋程度、智力水平、应试能力等决定考试成绩的各个可观测和不可观测的因素上都没有显著差异。处理组：考试成绩为60、61、62的学生样本控制组：考试成绩为57、58、59的学生样本

一、断点回归原理简介是否获得奖学金对未来成绩的因果效应估计：若处理组和控制组的未来成绩的均值之间存在差异，就可以认定这种差异就应是获得奖学金所引发的变化造成的。由于断点60分附近的局部样本是随机分组的，所以60分附近的局部平均处理效应（Localaveragetreatmenteffect,LATE）应该等于平均处理效应（ATT），得到一致估计。回归模型设定：

一、断点回归原理简介断点回归示意图由于上述回归模型存在一个断点（cutoff=60），故称为“断点回归”或称“断点回归设计”。由于在断点附近仿佛存在随机分组，故一般认为断点回归是内部有效性比较强的一种准实验。

一、断点回归原理简介断点回归分类：清晰断点回归（sharpRD）：在断点X=c处,个体接受政策干预的概率从0跳跃到1。例如，上述例子中，60分是获得奖学金的门槛，个体得到处理（获得奖学金）的概率在60分出发生了从0到1的跳跃。模糊断点回归（fuzzyRD）：在断点X=c处,个体接受政策干预的概率从a变为b,其中a≠b（0<a<b<1）。例如，考试能否获得奖学金受到多方面因素的影响，并不是成绩超过60就一定能获得奖学金，没有过60就一定不能获得奖学金。是否获得奖学金可能还受到特长加分、少数民族专项扶持等因素的影响。因此模糊断点回归是更为普遍的断点回归情形。在模糊断点的情形下，处理变量D不完全由分组变量X决定，影响处理变量D的其他因素也会影响因变量Y。核心思想：样本视作一项准自然实验，前提条件是个体在断点附近的分组是随机的。

二、断点回归的估计步骤（1）观察断点效应，判断检验RDD的适用性运用图形来分析处置效应是否存在是断点回归分析的基础。通过将样本点和决定处置的关键变量在坐标系中描述出来，可以清楚地看到断点值附近的样本点是否存在跳跃。（2）利用断点值两边的局部样本进行回归清晰断点回归：参数估计：将Y在每个箱体内的均值作为因变量，用处理变量、配置变量的多次项作为自变量，在断点两边分别跑回归，得到断点左右两边因变量的拟合值，两个拟合值的差值便是我们想估计的实验对因变量的因果效应。非参数估计：用非参数估计的方法替代断点两边估计因变量的拟合。模糊断点回归：参数估计：将配置变量（score）以及配置变量与是否超过断点的乘积(score*above_cutoff)作为实验变量的工具变量来进行两阶段最小二乘估计。非参数估计：利用核密度函数局部现性回归来代替2SLS里面一般线性回归，rdrobust命令可以直接实现这种估计。（3）对断点回归的结果进行稳健性检验(Lee&Lemieux,2010)检验前定变量在断点处是否跳跃；检验结果对不同带宽、不同多项式次数的稳健性。示例：《养老金对缓解农村居民医疗负担的作用——为何补贴收入的效果好于补贴医保》利用老年人超过60岁可以领取新农保养老金这一非连续性制度设计，使用断点回归方法考察了领取养老金对医疗负担的因果效应。个体领取养老金的概率在断点处并不完全发生从0到1的跳跃，只是概率上大幅提升，因此符合模糊断点回归的设定。断点回归设计的基本要素：

三、RDD的STATA运用实例因变量（医疗负担）代理变量为家庭自负-收入比，值越高，医疗负担越重自变量是否获得养老金驱动（分组）变量年龄：45-75断点60.5岁，超过65岁可以领取养老金，否则不能分组变量标准化（标准化年龄）60.5岁协变量受教育程度、婚姻状况、身体疼痛情况、高血压患病情况、慢性疾病数量、自评健康、记忆力、日常生活能力、抑郁指数、是否医疗保险安装RDD分析所需的命令rd、rdrobust、rdlocrand、rddensity等等。

三、RDD的STATA运用实例常用STATA的RDD命令与功能Step1：断点效应的图形观察确定结果变量在分配点存在跳跃现象，也即存在断点效应。利用拟合方法，对分配点左右分别拟合，通过观察两侧拟合线的的差异来更容易推测跳跃现象是否发生。

三、RDD的STATA运用实例Rdplot命令的一般格式如下：rdplotoutcomevar[treatmentvar]assignmentvar[if][in][,options]其中，outcomevar表示结果变量。treatmentvar为处理变量。若忽略处理变量treatmentvar，则默认为【精确断点】回归，且根据分组变量assignmentvar来计算处理变量，若assignmentvar>=z0，则treatmentvar=1，反之等于0。assignmentvar为驱动变量Z。常用选项参数options有：c为断点值(cut-point)，默认为0•p为全局多项式的幂次方，默认为4•nbins用来设定断点左右的带宽的数量，默认为NULL•kernel用来设定加权方法，默认为uniform，同时还有triangular和epanechnikov方法•binselect为判断方法，默认为’esmv’，判断方法常用一共4种：Evenly-spaced(es)，Quantile-spaced(qs)，以及结合mimicking-variance(MV)的esmv和qsmv，推荐使用qs方法。当p和nbin如果不确定也可缺失，让binselect方法自行设定。Step1：断点效应的图形观察确定结果变量在分配点存在跳跃现象，也即存在断点效应。利用拟合方法，对分配点左右分别拟合，通过观察两侧拟合线的的差异来更容易推测跳跃现象是否发生。画驱动变量与干预的散点图，判断是否为sharp或者fuzzy类型。具体命令如下：

三、RDD的STATA运用实例Step1：断点效应的图形观察确定结果变量在分配点存在跳跃现象，也即存在断点效应。利用拟合方法，对分配点左右分别拟合，通过观察两侧拟合线的的差异来更容易推测跳跃现象是否发生。画驱动变量与干预的散点图，判断是否为sharp或者fuzzy类型。绘图结果如下：

三、RDD的STATA运用实例在断点处获得养老金的概率出现了跳跃，但是不是从0到1的跳跃，仅仅发生了概率小于1。因此，这一断点类型为模糊断点。进一步描绘驱动变量年龄与因变量医疗负担之间的关系图，初步判断两者之间的关系。

rdplot命令+线性拟合（设定p为p(1)）、rdplot命令+二阶多项式拟合图(p(2))、和rdplot命令+三阶多项式（p(3)）拟合图的来进行画图。具体命令如下：进一步描绘驱动变量年龄与因变量医疗负担之间的关系图，初步判断两者之间的关系。

rdplot命令+线性拟合（设定p为p(1)）、rdplot命令+二阶多项式拟合图(p(2))、和rdplot命令+三阶多项式（p(3)）拟合图的来进行画图。分析得出如下结果：观察线性拟合（图右下方）、二次型拟合（图左下方）和三次型拟合图形，发现，在断点两侧存在明显跳跃，可以利用断点回归来分析此问题。从上图可以看出，rdplot自动给出的最佳拟合阶数为3阶（图左上方），三阶拟合的模型中断点更为明显。Step2：断点回归的模型估计--全局多项式估计和局部多项式估计全局参数估计即是利用全部个体的数据，对驱动变量和结局变量拟合线性、二次项、三次项、四次项回归模型，此方法利用的是RD设计的“断点处不连续(discontinuityatacut-point)”的特性。模型设定如下：

三、RDD的STATA运用实例

Step2：断点回归的模型估计--全局多项式估计和局部多项式估计局部多项估计是在cut-point左右选择一段合适的带宽(bandwidth)，在这一段带宽局部范围内，拟合驱动变量和结局变量的线性或者多项式回归模型，此方法利用的是RDD设计的“局部随机(localrandomization)”的特性。此方法适用于样本量较大的情况，因为样本量太少，设定带宽之后样本量将会不足，增加估计误差。关键问题--带宽的选择：带宽越大，纳入检验的局部样本数量越多，参数估计越准确。但是也意味着样本随机性越难被满足，内生性问题的越严重。STATA中可以执行RDD的命令包括rd、rdrobust、rdcv。•rd为STATA官方命令，但是缺点是无法有效针对非线性拟合，且不提供AIC、BIC等信息准则。•rdrobust为第三方命令，优点是运行速度快，但是不提供AIC、BIC等信息准则。•rdcv为第三方命令，能提供AIC、BIC等信息准则，但是运行速度慢。这三个命令都会自动给出该命令下的最优带宽。优先使用推荐rdrobust，这一命令功能丰富，且分析效率更好。

三、RDD的STATA运用实例关键问题--模型的阶数的选择：局部线性回归法通过在左右两侧邻域分别进行线性回归并比较两侧回归系数差异来进行识别。需要使用模型拟合优度来判断最佳阶数。利用赤池信息准则(AkaikeInformationCriterion，AIC)和贝叶斯信息准则(BayesianInformationCriterion，BIC)，即AIC或BIC值越小，模型拟合越好。采用连玉君的AIC和BIC信息添加函数myic，结合rdcv命令来选择阶数。具体代码如下：回归结果的AIC和BIC信息如下表格所示：表中，m1-m3分别表示一阶、二阶、三阶的断点回归模型。结果表明，m1模型找那个AIC和BIC的取值最小，意味着一阶断点回归模型拟合最优，因此选择一阶模型（k=1）。使用rdrobust进行模糊断点回归的具体命令如下：分析结果如下：最优带宽处理效应阶数K=1最优宽带数为4.19年，该宽带包含了断点左侧样本1624个，右侧样本1878个，断点回归模型的阶数为1。输出的结果的最中间一张表的第一行Conventional表示驱动变量（年龄）对领取养老金的影响，结果显示系数为正且在1%的水平上显著，说明年龄断点可以作为是否领域养老金的处理因素。

Step3：RDD的有效性检验RDD本质是非实验方法(nonexperimental)，所以它必须满足一系列前期条件，才能提供无偏估计。这些条件包括（a）局部平滑假设和（b）驱动变量不受人为控制假设。局部平滑性的检验内涵：除了结果变量，所有其它变量在断点附近都不应该存在处理效应，也即没有出现跳跃现象。检验方法：将每一个协变量（即控制变量）作为安慰剂结果变量(placebooutcomes)，利用rdplot命令进行绘图而直接观察，也可以使用断点回归方法进行检验是否存在断点。选取控制变量教育水平为例，进行STATA命令演示：

三、RDD的STATA运用实例局部平滑性的检验结果如下：通过rdplot的绘图分析可以显示，教育水平在年龄断点处并不存在跳跃。基于断点回归的局部平滑检验的具体命令与结果如下：结果显示，年龄断点（60.5岁）对教育水平的处理效应并不显著，即不存在处理效应。Step3：RDD的有效性检验RDD本质是非实验方法(nonexperimental)，所以它必须满足一系列前期条件，才能提供无偏估计。这些条件包括（a）局部平滑假设和（b）驱动变量不受人为控制假设。驱动变量不受人为控制的假设检验内涵：驱动变量不应存在人为操控，正常情况下断点cutoff值附近样本量处于断点左侧还是右侧应该随机。检验思路：如果不存在人为操控，那么在断点附近样本的数量应该相近，才符合随机性。检验方法：（1）、绘制配置变量的直方图（直方图命令hist），观察频数在不同带宽中的变化；（2）、绘制密度函数曲线（DCdensity命令）进行检验样本在断点附近的分布随机性--检验驱动变量在断点值处是否连续。DCdensity的基本语法格式如下：DCdensityvarlist[if][in][weight][,options]，其中，主要选项如下：varlist:驱动变量breakpoint():驱动变量断点值处b()：指定特定带宽值generate():生成新的参数变量graphname():保存图形

三、RDD的STATA运用实例相应代码如下图所示：驱动变量的直方图直方图上可以直观看出，驱动变量(年龄)在断点(cutoff=0)处两侧虽然存在一定的波动，但是整体上还算连续。本例中，直方图难以直观判断样本在断点附近的分布的连续性。驱动变量的核密度曲线图

（3）、第三种方法检验的思路是：构建驱动变量不受人控制的原假设，如果不能拒绝断点附近两侧样本量大致相等的假设，就可以得出驱动变量不受人控制的假设满足的结论。为此，研究中可以用rddensity命令来检验断点两侧样本数量是否相近。具体命令与分析结果如下：回归结果Rddensity函数的回归结果显示，p值为0.590，因此不能拒绝断点附近两测样本量大致相等的假设，可知驱动变量不受人为控制的假设满足。Step4：RDD的稳健性检验检验方法：更换核函数法、更换断点值法，是否加入控制变量法，更换带宽值法，更换阶数，改变样本选择法。常见稳健性方式：断点敏感性检验、样本选择的敏感性检验、带宽选择的敏感性检验。断点敏感性检验检验思路：选择一个不同于断点的值作为安慰剂断点(placcebocutoffpoints)。如果断点回归结果变得不显著，则表明断点的真实性。示例思路：为了说明仅是因为养老金的收入冲击而影响了医疗负担，而不是因为其他机制，那么在远离60岁的其他年龄处做"伪断点"，回归结果都应该不显著。将56、57、58、62、63、64岁作为"伪断点"进行回归。STATA命令如下：

三、RDD的STATA运用实例“伪断点”进行断点回归的处理效应（是否领取养老金）都不显著，说明60岁附近自负-收入比和灾难性医疗支出的下降确实是新农保带来养老金领取的作用Step4：RDD的稳健性检验检验方法：更换核函数法、更换断点值法，是否加入控制变量法，更换带宽值法，更换阶数，改变样本选择法。常见稳健性方式：断点敏感性检验、样本选择的敏感性检验、带宽选择的敏感性检验。样本选择的敏感性检验内涵：由于越接近断点的样本，越有动机去人为操控，即所谓的甜甜圈效应（donutholeapproach）(Cattaneo,Idrobo,&Titiunik,2019)。当参保人开始接近60岁的时候，他通过一些关系提前领取养老金的动机就越强。检验思路：为了增强模型的稳健性，可以删除最接近断点的样本，来观察观察回归是否显著。如果断点处理效应仍旧存在，说明即使存在人为操控，断点效应仍旧存在。一般操作中，可以删除断点附近5%，10%，15%，25%和30%的样本，进行稳健性检验。相应代码如下：

三、RDD的STATA运用实例图形给出了回归系数和95%的置信区间。图形中，五组中回归系数的置信区间中都包含了0，意味着在5%的水平上都不再显著，这意味着删除最接近断点处的样本后，断点处理效应便消失了。因此，样本选择的敏感性检验未能通过。Step4：RDD的稳健性检验检验方法：更换核函数法、更换断点值法，是否加入控制变量法，更换带宽值法，更换阶数，改变样本选择法。常见稳健性方式：断点敏感性检验、样本选择的敏感性检验、带宽选择的敏感性检验。带宽选择的敏感性检验内涵：带宽长度的选择会影响方差大小，带宽越大，偏差越大。带宽长度会显著影响回归的结果，一个稳健性的结果要求对带宽长度不敏感。检验思路：基准回归结果使用的是基于rdrobust命令提取的最优带宽，在带宽选择的敏感性检验中，也可以使用不同的带宽进行回归。示例思路：自定义5年、8年作为带宽，重复进行断点回归。这部分代码如下：

三、RDD的STATA运用实例结果显示，断点的处理效应系数在5年和8年带宽的回归模型下依然有接近5%水平的显著。人工智能与机器学习07一、双重机器学习原理简介ＤＭＬ利用灵活的机器学习方法对观察到的混杂变量进行建模，从而减轻对混杂因素调整的假设要求：当潜在重要的混杂变量数量较多，或者其混杂影响的功能形式尚不明确时，ＤＭＬ将采用灵活的机器学习方法自动选择最重要的混杂变量并进行动态调整。减少因果效应的偏差的两个步骤：【预测结果变量Y与处理变量D】建立一个条件期望函数CEF，用来描述在给定控制变量X的情况下Y和D之间的关系。【残差分析】在获得第一步的估计后，计算结果变量和处理变量的残差。通过从结果Y中减去预测值，得到残差，从而去除那些已控制的影响。

其中，是希望估计的因果效应，即处理变量对结果变量的平均处理效应。双重机器学习的原理和步骤3个技术概念【条件均值独立性】DML在模型识别过程中的一个重要假设。要求在控制了协变量X的情况下，未观察的干扰因素U与处理变量D之间不应存在系统性的关系。意义：确保在一个理想条件下，未观察的混杂因素不会对子样本的因果效应估计产生偏差。【Neyman正交性】DML确保估计结果鲁棒性的重要条件。它可以被理解为得分函数对估计误差的不敏感性。具体来说，假设我们有一个得分函数ψ，用于描述处理效应，希望确保这一得分函数在特定条件下的期望值为零。【交叉拟合】用于确保DML的估计具有可靠性。其基本思路是将数据随机分割成若干个折叠，在进行模型训练时使用部分数据，并在未使用的数据上进行验证。交叉拟合的过程：数据分割：将样本数据随机分为K个折叠。模型训练与预测：在每个折叠上训练模型。汇总结果Stata实践应用——ddml命令四个步骤：1.初始化ddml并选择模型ddmlinitmodel[if][in][,mname(name)kfolds(integer)fcluster(varname)foldvar(varlist)reps(integer)tabfold]2.添加监督机器学习算法以估计条件期望ddmlcond_exp[,mname(name)vname(varname)learner(name)vtype(string)predopt(string)]:commanddepvarvars,cmdopt3.执行交叉拟合ddmlcrossfit[,mname(name)shortstackpoolstacknostdstackfinalest(name)]4.估计因果效应ddmlestimate[,mname(name)robustcluster(varname)vce(vcetype)noconstantshowconstantatetateutrim(real)shortstackpoolstackfinalest(name)]AI赋能尽管工具变量法是解决内生性问题的重要工具之一，然而其应用的根基———寻找一个同时满足相关性和排他性约束的有效IV———却始终是一个核心难题。【大语言模型LLM】假如直接对一个LLM提出“请为我找到某个问题的工具变量”，结果会如何？二、AI赋能工具变量搜索（一）“两步法＋角色扮演”：搜索工具变量的AI提示框架第一阶段：搜索满足相关性与排他性约束的候选工具变量Promptl(SearchforIVs):[cite_start]youare[agent]whoneedstomakea[treatment]decisionin[scenario]whatarefactorsthatcandetermineyourdecisionbutdonotdirectlyaffectyour[out-come],exceptthrough[treatment](thatis,factorsthataffectyour[outcome]onlythrough[treatment])?list[K_0]factorsthatarequantifiable.explaintheanswers.第二步：精炼列表，筛选满足独立性假设的最终工具变量Prompt2x(refineIVswithCovariates):supposeyouare[agent]in[scenario]with[covariates].amongthe[K0]factorslistedabovechoose[K]factorsthataremostlikelytobeunassociatedwith[confounders],whichdetermineyour[outcome].thechosenfactorscanstillinfluenceyour[treatmment].foreachchosenfactor,explainyourreasoning.（二）案例实操：以“教育回报率”为例在估计大学教育对未来收入的因果效应这一经典问题上，关键的混淆变量为不可观测的个人“能力与性格”及“学校质量”。研究者们最著名的工具变量莫过于Card(1995)使用的“家庭到最近大学的地理距离”。第一步：生成候选IV列表Promptl(SearchforIVs):youareahighschoolgraduate.youneedtomakeacollegeattendancedecision.whatwouldbefactors(factorsofschoolsandfactorsofyourself)thatcandetermineyourdecisionbutthatdonotdifectlyaffectyourfutureearnings,exceptthroughcollegeattendance(thatis,thataffectyourearningsonlythroughcollegeattendance)?listfortyfactorsthatarequantifiable,twentyforschoolfactorsandtwentyforfactorsofyourself.explaintheanswers.第二步：精炼IV列表，筛选满足独立性的工具变量Prompt2:supposeyouareastudentwithfamilyincome$l0Kperyear,whoisasianfemalefromcalifornia,whosehavecollegeeducation,whoiscatholic.amongthefortyfactorslistedabove,chogseallfactorsthatarenotassociatedwithyourinnateabilityandpersonalit