培训项目评估 全球性典型案例.doc

培训项目评估：全球性典型案例Hong W. Tan首席经济学家世界银行学院，人力发展部2003年7月培训项目评估：全球性典型案例 本文大量采用了为世界银行学院的劳动力市场政策课程汇编的资料，尤其是，Dar(2002)的就业政策入门中的“效果评估”；Dar和Tzannatos (1999)的“积极的劳动力市场项目：论评估中的证据”；和OLeary et al (2001)为国际劳工组织所作的“劳动力市场政策评估手册”。 一、介绍很多工业国家和发展中国家政府在培训、再培训和提高劳动力技术水平方面进行了大量投入。这些政府干预措施针对不同的人群失业的年轻人或者在行业重组中失业的工人，或者中小型企业中（SMEs）的在职工人。这些措施方式不同可以是单一的培训项目，或者更多的时候是作为积极的劳动力市场项目（ALMP）的一部分帮助失业者重新就业，包括求职协助、收入支持、和对雇员的工资补贴。培训项目可以由公共或者私人培训机构提供在教室进行，或者作为公共与私人合作项目的一部分在工作场地对失业人员进行培训，或者作为全国中小企业战略的一部分提高工人技能，提高生产率和工资，创造就业机会。近年来，几大因素导致了对劳动力市场调整的压力和日益增加的对失业、工人技术水平低、生产率低增长的政策考虑，这些因素是：经济改革、全球化、技术革新、贸易和市场的自由化。虽然通过培训来解决这些问题对政府的吸引力日益增大，但执行这些培训项目的财政影响培训往往是不同的ALMP项目中成本最高的也对政策制定者提出了一些问题：“这些培训项目是否有效？它们是否对使用公众资金承担责任？”回答这些问题需要进行效果评估，将参加培训项目的个人（对象组）的劳动力市场效果与没有接受培训的类似人群（控制组）进行比较。培训项目的效果分析还不普及（关于这一点，其他ALMP项目也一样），而且发展中国家常常缺乏这种分析。现有的评估分析往往集中在项目绩效监控上，如提供的培训课程、接受培训的失业者人数、有多少接受培训者找到工作、找到新工作所需的时间、收入。有时，这样的研究依赖于对接受培训服务的个人满意度的主管调查。这些质和量的指标虽然对监控项目绩效很有用，但对回答培训项目是否起作用或是否有效地实现项目目标这些问题几乎没有用处。它们不能解释培训是否引起这些劳动力市场的具体效果，或者是项目的什么具体特征起了作用。如果没有一个控制组，就很难知道在没有培训项目的情况下，不同的参与者小组表现会怎样。也很难将参与者的成功或者失败归结于培训干预，因为这些效果也可以由其它因素造成，如与工人有关的因素象年龄、教育、性别以及工人的经验；地区劳动力市场差异；或者宏观经济条件，如经济增长或萧条。 精心设计、严格执行的效果评估能为政府部门和政策制定者提供所需信息，以便改善培训效果。理想的做法是，示范项目应该首先进行试点和评估，以确定项目效果，在项目扩大前对培训项目进行设计。对现有项目进行阶段性的评估还有助于完善项目设计和培训的实施，或者将培训对象推广到那些最能从这些培训干预中获益的人群。而效果评估的结果可以为政策制定者提供正当的理由，为被证实有效的项目扩大资金，或者对那些被确定为无效的培训项目缩小规模甚至取消。这一点为评估培训项目效果提供了一个基础。它旨在使两条线负责培训项目效果评估的人，和在效果评估的基础上决定拨款和资源分配的政策决定者熟悉效果评估的核心概念和方法。它介绍了衡量劳动力市场效果的两种方法试验的和准试验的对项目参与者和一个比较组进行比较，以及为培训效果评估的设计提供一些关键性原则。接着是关于消除培训项目影响的探讨。最后一部分是总结，对几个高收入国家和发展中国家的培训项目评估研究提出了一些见解和教训。二、效果评估的方法评判一个培训项目是否有效需要对参加培训的人与没有参加培训而条件相当的人在劳动力市场上的表现进行比较。只知道参加培训的人的表现是不够的。80%的参加者在项目结束后6个月内就找到了工作，但这一事实并不能说明同样的人在没有参加培训项目的情况下表现如何。重要的是与事实相悖的问题，例如如果没有参加培训项目他们当中只有60%的人能够靠自己的力量找到工作。之间的差距20%是培训的“净效应”，即对收益的估计，它为评估培训项目的公共投资回报提供了一个基础。尽管常常能够得到关于项目参加者和劳动力市场成果的信息，我们所面临的挑战是，怎样准确地体现与事实相悖的证据即，怎样建立一个与参加培训项目的“对象组”类似的合适的控制组。有2个方式：（1）实验设计，（2）准实验设计。在实验评估中，个人在培训干预前就被随机分到对象组和控制组，这个过程是为了确保两组的相似特点。与之形成对照的是，如果设计是准实验方式的，对象组和控制组通常是在培训干预后被选出来的，为了修正两组之间显性和隐性特点的差别，还采用了统计学的技巧，因为它可能会影响利益效果。实验评估技巧 传统的实验设计中，个人被随机地分到对象组或者控制组。其根本原则是，如果大量抽样被随机分到任何一组，那么平均来说，两组的显性和隐性特点不应有差别，而劳动力市场上的任何不同表现应当归结于对项目的参与。这种方法的主要吸引人之处在于对结果的简单解释项目的净效果就是项目参加者与控制组之间效果变量的平均值的差别。用先前引用的例子为例，如果参加培训者的平均就业率是80%，而非参加者的平均就业率为60%，那么在重新就业率上20%的差别就是对项目净效果的估计。能够简单而精确地解释结果使实验评估方法成为项目效果评估中的黄金标准。确实，实验评估方法被很多OECD国家定期用来评估很多项目；对美国职业培训合作法（JTPA）下的培训项目所作的有影响力的培训就是一个例子。然而实际上，实验评估方法对于发展中国家而言，实施起来难度太大，费用太高。在很多情况下，由于存在着偏向和“抽取精华”，随机性很难实现，“抽取精华”指的是项目管理者排斥高危人群以便展示积极的效果。政策制定者可能以拒绝为控制组提供培训服务为由提出道德问题。一些人如果知道自己是对象组成员，则可能改变自己的行为，也就是所谓的“霍索恩效应”。但是，阻碍人们使用这种方法的主要因素是完成实验评估所需的费用和时间。通常从将个人分配到对象组和控制族、完成培训、对两组的后续调查到结果分析会有相当长的时间滞后通常为2-3年。大部分国家既没有资源又没有数据收集基础设施对个人进行这么长时间的追踪。 准实验评估技巧准实验评估方法试图通过统计学方法建立抽样框架中参与者和控制组代表来模拟传统的实验评估。通常，对象组和控制组都是在事后选出的，对象组选自培训项目中的注册参加者，控制组选自同期注册失业而没有参加培训项目的人。在某些情况下，控制组也可能从那些同期劳动力调查中宣称自己失业的人中选出，这一抽样样本的抽取符合了控制组的特点。为了对项目效果进行公平的估计，比较组必须在影响利益效果的特点方面与对象组尽量接近。一些特点，如年龄、性别、教育水平和过去的工作经历是显性的，而其他的特点，如先天的能力和动机则不是。为了区分项目效果，计量经济学方法被用来修正两组特点上的这些差异。 培训项目的准实验评估法可以有几种形式，对对象组和控制组可比性问题作出修正：项目前和项目后比较。 一种方法是利用项目前参加者的信息作为他们参加项目以后结果的比较组。虽然把参加者作为自己的控制组能够自动调整显性和隐性特点的效果估计，然而这种方法有两个限制：第一，美国对项目前收入评估（即所谓的“Ashenfelter dip”）显示了，项目前后收入的比较可能夸大培训项目对收入的影响；第二，培训前后的经济状况可能不同，因此可能把“真正的”培训效果和劳动力市场状况的改变混淆起来。 对显性特点的回归率调整。 一个选择是，在一组没有参加培训项目的人当中选择一个同期的比较组，用统计学的调整方法来控制两组之间项目效果的计算估计差别。收集参加者和非参加者的显性特点，如年龄、性别、过去的职业、教育程度。这样就可以使用多种回归率方法来计算估计项目效果，控制这些单个特点的小组差异。回归率调整方法使用简单；然而，它假定两组间所有（或者至少多数）差异可以用显性特点来解释。 选择性-修正回归率。 如果选择培训项目参加者不是随机的，那么由上述简单的回归率方法得出的项目效果评估就很可能是有偏倚的。问题是两组之间可能存在隐性的差别，不仅影响选择是否参加培训，而且影响项目效果。Heckman 建议的一个解决方法是，建立项目参与决定的模型，然后将预测的参与可能性作为隐性特点用于对项目效果的第二级回归率的控制。然而，经验表明，选择性-修正回归率的结果容易受到所选择的基于经验的规范的影响，而得出对项目效果的评估。倾向分匹配。 一个更新的方法是，通过协调特点，在同期非参加者抽样中创建一个控制组。使用这种方法时，对参加者和非参加者的抽样进行概率模型评估，对能预计项目参加情况的特点计算出一个加权倾向分数。除了通常的人口统计学特点，比较因素还可能包括前平均收入水平、前失业补助接受情况、以及其他积极的劳动力市场项目和地理位置。这一模型产生的倾向分数用于选择那些显性特点（即分数所衡量的）与对象组显性特点最能吻合的非参加者的分组（具体了解不同的比较方法，请参见Baker, 2000），然后就和以前一样对对象组和控制组抽样进行培训项目效果的评估。 准实验评估技巧的主要的吸引人之处在于，它们可以在培训项目开始后任何时间进行，与实验评估相比，它们可以更好地利用显有数据来源，从而降低评估费用。然而，也存在着劣势，统计复杂性就是主要的一个。调整显性特点差异（如性别、年龄和教育）虽然较直接但容易产生规范上的错误；调整隐性特点差异（例如动力和先天能力）需要统计学程序，而统计学程序容易受到模型规范的影响。倾向分匹配的方法通过消除控制组与对象组不很“吻合”的显性特点，模拟实验评估；但是，这些方法可能无法完全控制小组之间隐性特点的差异。不过，回归率调整和匹配的方法在很多发展中国家比实验评估技巧更受欢迎，原因是它们的灵活性、周期短、费用相对较低。三、评估设计的几个原则 一旦决定使用什么方法进行培训项目的评估，管理人员就可以进入下一阶段研究设计、数据收集和效果评估的实施。在这个阶段，应当考虑下面的设计原则，以便实现可靠的项目效果评估，避免常见的评估失误(详细的论述参见OLeary): 1. 统一的资格条件。 为了评估项目净效果，避免其他因素干扰，关键是要确保对象组和控制组在尽可能多的方面类似。一个关键的步骤就是确保统一的资格条件对两组同等有效。也就是说，无论采用了怎样的筛选变量选择参加培训项目的人，也应当采用同样的方法选择控制组成员。例如，如果接受再培训的人必须首先是登记失业人员、具有高中以上学历、年龄在18-55岁之间，那么这些资格条件也应当适用于控制组。除了人口统计学特点外，项目管理者还可以制定选择项目参加者的规则。在评估过程中，收集两组尽可能多的来自人口统计学和管理员掌握的因素的数据，这一点很重要。2. 足够的抽样规模。 净效果评估的抽样规模应当足够测试小组间利益效果差异。抽样规模越大，评估越精确，越能捕捉到较小的项目效应。例如，抽样规模越大，就能进行不同的培训状态的次小组分析公共部门与私人培训相比，长期培训与短期培训课程相比，或者不同的培训能力这些问题很有可能是政策制定者所感兴趣的，他们希望了解什么培训特点最有效，对哪一个人群的影响最大。抽样规模需要的估计也反映了关于调查回应率的真实预期低回应率将要求相应地扩大调查抽样规模。抽样问题很复杂，项目评估人员应当咨询抽样统计学专家，确定抽样规模（详细论述，参见OLeary, 2001）。 取样和数据收集。 所有的评估设计，无论实验评估还是准实验评估，都从确定抽样框架开始，对象组和控制组都是从抽样框架中选出的。实际抽样时应该确保两个抽样框架中的每个人被纳入分析的可能性相同。在实验评估钟，分配人员进一组或另一组时是随机的；在准实验评估钟，参加者和控制组是从各自的框架中抽样产生。 两组的数据来自基础调查（或行政记录）和跟踪调查，跟踪调查采集干预期间参加者和控制组在劳动力市场上的比较信息。收集的数据有几类：结果衡量如收入和就业；为了分析回归率，准实验评估技巧需要反映社会经济特点的数据（如年龄、教育、性别、地区）以及反映项目（如周期和培训类型）和本地劳动力市场特点（如地区失业率）的数据。这些人口学和项目数据对实验评估法中进行分组研究和控制随机分组引起的小组间差异同样有用。 标准对象组。 评估培训项目时，重要的是对项目进行很好的定义，让所有的参与者在评估中得到同样的服务。这与实验的要求一致，即对每个调查对象的条件是一样的。然而，培训干预可以在很多方面不同，包括培训时间（长期和短期培训）、培训提供者是公共机构或者私人机构、传授的技能，因此选择一个完全类似的对象组并不可行。在这种情况下，应该收集具体数据区分接受不同类型培训的参加者，并确定什么培训特点最能影响利益效果。 合理的成本和时间。 定期进行评估研究，并将效果反馈给政策制定者进行项目调整和改善目标，这对政策的制定非常有用。这样，它们的成本就不会太高而导致在政治上的不可行。尽管成本是评估设计中的一个决定性因素，还是应当有足够的经费以便确保一个足够的抽样规模来解决重要的政策问题。节约成本可以通过更好地利用现有的行政记录及其包含的两组的具体信息来实现，这些信息不需要在追踪调查中获取。评估还应该设定一个可行的时限。多数情况下，我们是无法为几个月后就要出台的政策决定设计和实施净效果评估的。然而，进行准实验评估并估计一年内的项目效果通常是可能的。对实验设计而言，酝酿周期大约为2-3年。 稳定的评估环境。 培训项目（和其他ALMP项目）的效果研究应该有一个稳定的评估环境。宏观经济状况和政策环境的改变可以显著地影响评估的结果，而它们是培训或者再培训项目实施的环境。例如，有证据表明，为失业人员举行的再培训项目在一个扩张的经济里比经济萧条时期更有效，因为萧条的经济提供的就业机会很少。政策环境的改变也能造成解释评估数据方面的问题。当抽取完样本或随机分组完成后，求职者的决策环境就形成了。这包括劳动力市场状况和现有的其他服务。如果增加了一个新的项目或者现有项目发生改变甚至取消，可以预见到它会改变结果。与其他项目的互动。 正如前面所述，政府常常为失业人员提供再培训项目，作为ALMP服务之一。也就是说，一些人可能接受除了培训以外的其他失业救助服务； 如果是这样，那么解释培训项目与其他项目之间的互动关系就很重要。例如在美国，失业求职者在接受政府就业服务提供的再培训帮助的同时，也可以参加地区学校提供的成人教育班。或者，对有些项目参加者而言，培训可以与职业介绍服务相结合，这对利益效果可能产生独立影响。四、对项目效果的估计选择的评估方法很大程度上决定了用于衡量净效果的评估技巧。如前所属，如果评估使用的是传统的实验方法，随机将个人分配到培训项目和控制组中，那么项目的净效果可以通过小组间结果变量的差异进行评估： (1) E(yp) - E(yc),如果E(y)是y，即利益效果，的预期值，那么p就是参加培训者的抽样，c就是控制组。无论培训项目是否有重要的净效果，都可以用t数据进行测试。 公式（1）的计算结果相当于用普通最小平方(OLS)模型测试斜率，如公式（2）：(2) yi = a0 + a1Pi + ui,在比较组成员和项目参加者的抽样中，如果y是利益效果，P就是一个哑变量，对培训项目参加者是1，否则就是0，a1 是项目对参加者的影响，a0 是控制组结果的平均值，ui 是一个正常分布的平均零误差条件，而i是任意组中成员的指标变量。测试项目效果是否重要就是对参数a1的t-测试。对大多数准实验评估方法而言，净效果估计是对显性特点的回归率调整。从计算的角度看，这只需要对公式（2）进行简单的扩展，把所有的显性特点都包括在内， 评估出来每个人的X1 to Xn就是抽样平均值的偏差：(3) yi = a0 + a1Pi + b1X1i + b2X2i + .+ bnXni + ui,这个方法得出的项目净效果评估是根据显性特点调整的，“净”是因为对比较组和项目参加者小组进行了数据调整，消除了样本之间的显性差别（异质性）。结果就只剩下了一个衡量培训项目结果差别的因素。要注意的是，这一技巧也可以用于实验评估，前提是，随机分配产生的现场数据不能说明两组完全的同质性（相同的显性特点）。公式（3）还可以用来解决效果评估中遇到的其他问题。例如，政策制定者也许有兴趣了解培训项目不同组成部分的各自的效果，如培训课程是由公共部门或者私人培训机构提供的。如果我们简化一下，消除X的特点，那么公式（3）可以重写为：(4) yi = a0 + b1P1i + b2P2i + ui如果参加的项目是由公共机构提供的，那么 P1i = 1，否则P1i = 0；如果项目是由私人培训机构提供的，那么 P2i = 1，否则P2i = 0。各个培训模式的效果可以用普通最小平方(OLS)回归率评估，并对效果进行比较b1 代表公共培训，b2 代表私人培训。类似的模型可以用来测试长期培训和短期培训的相对有效性。. 有时，一些培训项目的参加者也能获得额外的失业救助服务，如职业咨询，政策决定者也许想知道那一个最有效单独的培训课程还是为失业者提供多种服务的ALMP项目。其研究方法可以通过扩展公式（3），使其包括不同项目的参与指标及其互动条件：(5) yi = a0 + b1Pi + b2Pi .ESi + b3ESi + uiP 代表了培训，ES 是获得就业服务的指标。作为单独培训的效果，b1 可以与综合项目效果进行比较，b1 + b2E(ES) ，其中 E(ES) 指的是接受额外失业救助服务的培训组。综合服务效果是否重要还能用F-测试进行评估。 如果参加培训项目不是随机的，那么用公式（3）或其衍生公式评估得到的项目效果也许并不正确，也许是因为隐性特点如个人的动力或能力。Heckman显示了，自主选择会使公式（3）中用普通最小平方(OLS)计算的参数发生偏移，正如评估公式中省略了一个重要的变量。他建议，在第一级概率公式中建立这个被省略的参数，而且它应当被纳入第二级模型，由普通最小平方(OLS)对参加培训的人员和控制组的抽样进行评估。这个Heckman抽样选择程序修正了可能造成两组结果不同的隐性特点，即使它们的显性特点完全一致。然而，正如本文前面所述，选择性-修正评估容易受到模型规范的影响，而得出评估结果。 另一个解决由培训和控制组隐性差异产生的潜在偏移的方法是，采用差异中的差异（DID）法。这个方法需要获得项目参加者以及同期非参加者小组在项目前后的数据。计算两组结果变量的最新值和项目前数值的差别，如收入的增长。这一变量就是第一个差别。下一步，也就是第二个差别，就是就这个结果对项目参加者和非参加者作比较，如公式（1），或者OLS经验对等公式，即公式（3）。第二步自动考虑了前面项目前后比较中所述“Ashenfelter dip”的限制。这个DID方法的产生来自一个认识，即结果变量的项目前数值包含了造成两组差别的所有隐性和显性特点。因此，计算第一个差别就是修正两组间隐性差异（包括隐性能力或动力）的项目影响。 五、全球范例选这最后部分介绍了几个OECD和发展中国家进行的培训项目效果评估研究，说明了上述原则是如何应用的，强调了从这些研究中总结的教训。 范例1、美国职业培训合作法 （JTPA）1986年，美国劳工部开始了一项全国性的JTPA研究，这是一项跨年度的对职业培训合作法所资助的培训项目效果进行的试验性评估。该评估研究采用了随机实验设计，评估了项目对参加者的收入、就业和获得的福利产生的效果。 对这个职业培训实验进行的精确评估表明，该项目对成人和青年产生了截然不同的影响。对成人而言，项目非常成功，提高收入达7-11%，每投入1美元带来约1.50美元的福利。然而对青年而言，项目并不成功，研究发现项目对他们的收入没有太大的影响，项目成本大于对社会的福利。这些结果清楚地说明，给青年提供的培训服务没有效果。1994年这些结果公布后，国会削减了JTPA为青年提供的培训投入超过5亿美元（80%）；相反，为成人提供的培训经费提高了11%。通过调整JTPA各部分项目的经费，国会把资金从一个无效的项目转移到了一个更高效的项目，从而提高了其公共投资的回报率。评估可以确定无效项目。精确的效果评估可以帮助政策制定者确定哪些项目是无效的，应该取消或者调整，使资源可以重新分配给成本效益更高的项目。 范例2、东欧和中亚的培训项目 20世纪90年代末，捷克共和国、匈牙利、波兰和土耳其等四国对主要的ALMP项目，包括培训项目，开展了净效果评估研究，采用了类似的准实验设计，得到了世界银行的技术支持(参见 Fretwell et al, 1999)。各国的培训项目各不相同，包括公共和私人机构（基本上是欧洲国家）以及企业（土耳其）的培训，公共培训和在职培训相结合，集体培训与凭证参加的个人培训。研究的目标之一是挖掘各国培训项目的多样性，比较不同的培训模式对不同的人群的影响。仅就重新就业这一效果看，数据显示，培训对就业的影响总体是小而积极，除了在土耳其，它的影响是不重要，在匈牙利和波兰，影响更加持久，而在其他国家影响随时间减弱。短期培训和长期培训同样有效。“凭证类”个人培训可能比集体培训更有效。公共机构可以提供有效的培训，而私人和企业提供的培训可能更加有效，这是ILO和OECD评论文献支持的结论。对于分组而言，结果显示，培训可以对下列分组产生积极的净效果：(a) 男性和女性，但对女性的影响会更大；(b) 对中青年工人的影响比对老年工人的影响更大；(c) 短期和长期失业者，但对短期失业者的影响更大；(d) 对初级和中级教育程度的工人的影响比对中级程度以上的工人影响更大。对妇女的影响同OECD的研究类似，但是对较低教育程度者的影响则不同。结果的多样性强调了国别评估的必要性。 跨国研究发现了不同培训模式和不同人群在培训效果方面的相似和差别。这说明，虽然其他国家的经验可以带来启发，它们的结果并不能完全可转化的，每个国家应该评估自己的培训项目。 利用评估结果改善对象组的选择。 培训对女性比对男性更有效这一证据，尤其是在捷克共和国和土耳其，导致了将培训对象组更紧地锁定失业妇女。给政策制定者的评估结果反馈可以为对象组的确定提供更多信息，提高项目效应。 范例3、墨西哥中小企业培训项目(CIMO). 墨西哥的CIMO 项目，由劳工部实施，为中小企业（SME）提供补贴的培训和技术援助，加强其工人的生产力和福利。1995年和1997年进行了两个效果评估研究，利用准实验设计，对两组企业进行了为期3年的追踪一组受益于CIMO项目，一个没有受益的控制组衡量培训和技术援助对企业生产率和收益的影响。在这里，正如对个人采取的准实验方法，公司是研究的对象。两个研究都发现了受益公司与控制组公司相比在参加项目后产生的混合的净效果。与其参加项目前状态相比，对象公司在若干中期结果方面，与控制组公司相比有重要的进步工人培训、质量体系的使用、工人组织、保有工作、员工更新。然而，尽管这些中期结果被假定会影响生产率，它们并不能转化为对象组培训后更高的生产率水平。实际上，一些CIMO公司的项目后生产率水平低于控制组。混合的结果要归结于样本的选择。虽然与CIMO公司相配的控制组有着类似的显性特点，项目结束后，CIMO公司在项目前后的生产率水平都要低于控制组，这说明，CIMO往往吸引一些平均来说生产率低于控制组的公司参加项目。但是，两组间生产率差异在一段时间以后急剧缩小，原因是，对象组的生产率提高更快。用差异中的差异（DID）方法，评估培训对生产率提高的净影响，结果认为在1991-1993期间是积极的13%，而在经济衰退期的1993-1995是消极的负4%。准实验设计适于以公司为基础的培训项目。 这个案例强调了准实验项目效果评估方法对公司