执行监测与政策评估

第8章执行监测与政策评估一、执行监测的功能二、政策监测的内容与指标三、执行监测的方式与技术四、政策监测结果的使用一、执行监测的功能为什么需要“执行监测”？即使推荐的政策方案被采纳或者被采纳的政策实施了一段时间后，政策本身中的不确定性和疑问仍然存在——政策问题是否得到了正确界定？——是否忽视了政策问题的某些重要方面？——如果有更好更新的资料，是否政策选择的结果会有所不同？——决策者与执行者是一种“委托——代理”关系，代理人与委托人之间存在的信息不对称、道德风险等问题，可能使政策有意无意地被误读或曲解，从而使政策目标无法实现，预期的政策效果难以达成。——应委托人的要求，根据政策实施情况和效果开出“复诊”药方，建议延续、修改或终止该项政策。对政策执行情况进行有效监测和评估，能够对政策失败的原因做出分析，对政策未来提出建议。一、执行监测的功能执行监测：一种用来提供公共政策的原因和结果的信息的政策分析程序，以便使未来的政策执行更为科学合理，更趋近于政策目标。可以将政策方案视为对政策行为与政策结果关系的一种假设：若在时间t1发生行为A，则在时间t2产生结果O。执行监测不同于“政策监控”。政策监控是对政策运行过程的各个环节所进行的检查、督促、指导和纠偏行为。一、执行监测的功能执行监测的功能：——监察。监测有助于确定项目执行人员、官员以及其他利益相关者是否按照立法者、管理机构和专家组所制定的标准和程序开展行动。比如，国务院“国家食品药品监督管理局”对食品、药品生产企业是否按照国家卫生标准进行生产的监测。——审计。监测有助于确定原来计划安排用于特定目标群体和受益者的资源是否真正落到实处。——核算。政策监测所产生的信息有助于对大范围的公共政策和项目的执行所引起的社会和经济的变化进行核算。——解释。监测可以提供政策执行方面的关键信息，反映政策执行不同阶段的状态，进而提供关于公共政策和计划结果出现异变的原因的信息。二、政策监测的内容与指标监测内容：（1）政策输出（policyoutput）政策目标群体和受益者所获得的货物、服务或其它各种资源，代表的是执行机构所做的事情、所采取的行动以及与此相联系的一系列统计数字。（2）政策效果/政策影响（policyimpacts）由政策输出所引起的人们在行为和态度方面的实际变化。监测内容主题区域政策行为政策结果投入过程产出结果犯罪审判美元工资支出设备维持抚养费用总逮捕数中非法逮捕的百分比每100000项已知案件中逮捕的罪犯数每100000项已知案件中被判有罪的罪犯数市政服务美元环境卫生工作人员以及设备支出工人的道德风貌服务的总居民数街道的清洁程度社会福利全社会工人的数量同享受福利人员的关系每个社会工作者的福利份额非独立儿童的生活水平检测指标即对“政策投入”、“政策影响”进行测量。概念的操作化，形成操作性定义或工作型定义（operationaldefinition），使名义性定义转化为变量（variable）。当以智力测验分数作为“智力”的操作性定义，以学生各科考试的成绩平均值作为“学习成就”的操作性定义时，概念就以变量的形式出现了，而智力测验分数、平均成绩就是指标（index）。一个指标就可以测量简单概念，复杂概念需要把概念分成若干个方面（维度），然后为每一个维度选择一个或几个指标，从而形成指标体系（indices）。“富裕程度”可以通过“年收入多少”、“存款额”、“财产价值”等指标来测量；“同情心”可以通过“帮助盲人过街”、“给讨饭者钱物”、“为灾区捐款”等指标来测量。注意点：忽略概念的重要维度或要素；将一些不相关的特性误认为是重要指标。监测指标的CREAM标准：清楚（Clear）、相关（Relevant）、经济（Economic）、适当（Adequate）、可监测（Monitorable）。三、执行监测的方式与技术社会系统核算、社会试验、社会审计、综合实例研究社会系统核算（socialsystemaccounting）是对主观和客观的社会状况变化进行监测的一种方式和一套方法。主要分析因素是社会指标（socialindicators），即衡量总体的各部分随时间变化以及社会状况的统计量。社会指标可以是客观的或主观的人均GDP、人均收入的增幅、就业率，害怕夜间单独行走的人数。监测方式图示法表格法指数法间断时间序列分析法可控时间序列分析法不连续回归分析社会系统核算社会审计社会实验综合实例研究×××××××××××○×××○×××○○○×○社会系统核算社会指标可以是正向的或负向的民众对公共服务的满意度、婴儿死亡率、投诉电话数。社会指标可以是单一的特殊性指标，也可以是综合性指标研究领域指标健康与疾病公共卫生教育就业收入住房休闲与娱乐人口政府和政治

公众价值取向和态度社会流动性自然环境科学与技术州精神病院的人数害怕夜间单独行走的人数25岁及以上的高中毕业生妇女就业比率处于贫困线以下的人口的百分比住房条件低于法定标准的家庭数制造业职工年均带薪假期计划人口和世纪人口数公共管理的质量对生活的总的满意度和陌生感父辈职业的变迁空气污染指数科学发现社会系统核算优点：适宜的社会指标可以提供比较全面的信息，反映政策效果与目标的差距。缺陷：从逻辑上看，政策与社会指标变化之间未必存在必然联系，因为还可能有其他因素发挥作用；从选择上看，指标（特别是复合指标的选择）可能带有人为偏见的成分因而不可能是“价值中立”的，指标也可能流于一般因而难以反映社会真实状况的变化；如果存在某种激励，政策执行机构对指标的追求会替代对整体政策目标的追求。社会实验社会实验（experimentingsociety）是通过系统控制政策行为来观察政策效果。设计程序：（1）随机选择实验对象作为研究样本，将样本分为实验组（接受实验处理）和控制组（不接受处理或接受与实验组不同的处理），并找好指标。分组应当是完全随机的，以免因起始条件不同而导致结果不同。（2）对实验组施加控制措施，而对控制组不施加控制措施或做显著的不同于实验组的处理。（3）监测并分析两组的结果。（4）对政策效果和政策产出进行评估。优点：排除很多导致结果变化的外部因素的影响，使对政策与效果、产出之间的关系的推理更为可信。缺陷：社会实验是一种小范围的实验，实验条件具有人为选择的色彩，实验结果的信度值得怀疑，特别是将实验结果在整个社会中推行时，还面临外部有效性威胁（externalthreats）。社会审计社会审计（socialauditing）力图清楚地监测政策投入、过程、产出及其影响之间的关系，因此能够提供政策执行“黑箱”内部的信息，帮助分析人员确定政策结果究竟是投入不足导致的，还是由于资源或服务偏离了预定目标群体或受益者引起的。社会审计的2种类型：（1）资源分离，通过行政体系将资源转移，使最初的投入同预定目标群体和受益相分离；（2）资源转换，政策目标群体与政策受益者可能不一致，政策资源与目标群体的实际接受额也可能不同。需要仔细考察资源是怎样使用的，资源投入转化为政策产出和影响的过程是什么。综合实例研究综合实例研究（socialresearchandpracticesynthesis）是一种对政策执行过程和结果进行系统整理、对比和评价的方法，以案例研究为基础，通过对已有的公共政策案例的综合考查、系统整理和对比评价来改进公共政策执行的质量。需要2类信息：（1）有关政策形成与执行的案例调查分析，（2）阐述政策行为和结果关系的研究报告。优点：能够对政策过程的总结提供支持相同或类似案例的论据；能够有效地整理、评估政策执行案例和研究报告；能够有效地考察主观和客观的社会状况。缺陷：案例经常“报喜不报忧”、案例与研究报告的质量不高，因而有关政策执行信息的可靠性与有效性令人怀疑。三、执行监测的方式与技术图示法、表格法、指数法、间断时间序列分析等最简单有效的图示法是时间序列图：将时间作为X轴，将变量作为Y轴，通过绘图来判断变量随时间的变化规律。如果将同一时间点的两个或多个变量在同一个图中显示，就得到了散点图。将散点图中的散点回归成直线或曲线，就可以分析相关性。表格法学会数值处理的基本方法，如计算方差、标准差、（加权）平均值、百分比、增长率等。有人送给你2份据说非常权威的报告，第1份报告给出了如下数据及图示。经核实，数据没有任何问题。报告指出，“在过去10年中，尽管通货膨胀并不高，但由于需求翻了一番，导致小货车的价格上涨0.8万元”。如下表：“将相关的数据描述为下图。从中不难发现，需求曲线向上倾斜，这与传统的看法大不相同”。小货车价格（万元）小货车的销售量（万辆）19951.45020052.2100问题：（1）关于小汽车的需求曲线，这些数据说明了什么？（2）小汽车的需求曲线向上倾斜吗？是不是教科书的结论过时了？（3）小汽车的价格涨了，买家反而多了，我们应该怎么解释这些数据？（4）导致小货车价格上涨的可能原因有哪些？报告2指出，“我们在预测的基础上绘制出全国1950—2050年石油的供给曲线和需求曲线，两条曲线相交于2010年。从图可以看出，在前50多年中石油是过剩的，但是在2010年以后石油短缺会日益严重，而且会一直持续下去……因此，我们必须制定石油储备政策，避免发生石油危机”。问题：（1）这张图提供了有关石油价格的信息了吗？（2）这张图没能说明市场过程的供求原理，（3）从图中可以看出，短缺日益严重，那么短缺会一直持续下去吗？该图没有提供石油价格的信号，尽管他们给曲线表明了“需求”和“供给”！因此，这两条曲线根本就不是供给曲线和需求曲线！如果不懂得经济学，我们很可能被他们耍了！“过剩”与“短缺”同样是误导人的。“过剩”是“在某一价格下供给量大于需求量”，而非在某一时间点上“供给”大于“需求”。“短缺”也是同样的道理。请一位同学说明！这张图没有说明市场过程的供求原理，没有承认价格在市场过程中的调节作用。事实将是：如果长期来看，需求大于供给，市场价格就会上涨，以反映边际成本和价值，不会出现持续的短缺。此外，价格上涨也会让人们更加节约！石油储备是非市场行为，就如同“稀土保卫战”。一则新闻报道国内一份报纸的报道如下：“近期的寒流继续给桔子市场带来灾难。在今后几周内，桔农会面临更加糟糕的局面。一些期货商预测，供给降低会使桔子价格上涨。但是他们还是考虑得不够全面。高价会降低桔子的需求，这对桔农来说是雪上加霜。需求一降，价格很快就会跟着降。桔农的处境真是相当凄惨。一方面是桔子减产，一方面是价格降低。市场不会原谅任何人。桔农要在这种双重打击中得以幸存，只有靠运气了。”问题：记者的逻辑是否没有任何问题？是否在信口开河？为什么？不懂经济学的新闻报道！供给下降确实会导致价格上涨，但桔子价格上涨并不会导致需求下降，当其他条件不变时，价格上升才会使需求量减少。这会缓解桔子市场上出现的暂时性短缺。记者的错误在于，把需求量的下降和总需求的下降搞错了！这样一来，记者的预测就像纸房子遇到冰雹，根本站不住脚。新闻记者常常有意无意地混淆了“需求（供给）变化”与“需求量（供给量）变化”，作为读者的我们却要保持清醒！指数法指数法也是一种重要的技巧。恩格尔系数、CPI等。指数（index）指衡量一个指标或一套指标与基期值随时间变化的数值。这里的“基期”是任意给定的，取数值100，作为指标变化的对比标准。指数可分为两种：（1）简单指数，只包含一个指标的指数。（2）综合指数，包含多个指标的指数，可以衡量多种产品和服务的成本，比如CPI。综合指数构造：（1）对多个变量进行加权，加权的方法主要有2种：显加权，对各种变量的实际影响仔细权衡后，再确定各个变量的权重。隐加权，无须通过类似显加权那样明确的程序就可确定权重。（2）构造总量指数或平均指数。前者需要将指标在给定期间的数值进行简单总和即可，后者需要计算指标数值随时间的平均变化。指数法环境污染物浓度指数构造污染物可分为气体、悬浮颗粒2类。前者的单位是ppm（百万分之一），后者的单位是mg/m3（毫克每立方米）。选择一个基准浓度（由于环境研究的历史原因，

的数值被选定为229.4），作为构造指数的分母。将两类污染物的浓度相加（单位不能改变）作为分子，和分母构成分数，再将分数乘以100，就得到了污染物浓度指数。指数公式为：其中，是给定时期n内气体污染物数量指数；是时间序列n期间的气体污染物的数量；

是时间序列0期间（基值）的气体污染物的数量。间断时间序列分析间断时间序列分析（interruptedtime-seriesanalysis）是一种用图形、统计表格对比政策干预前后效果的一种分析技术，通常用于高速公路死亡率、受到医疗援助的人数、职业培训人数、医院死亡率等。前提：存在关于政策执行前后若干时间点上体现政策效果变量的历史记录。间断时间序列分析问题：（1）政策a和b是否有效？（2）与政策a相比，政策b的效果呈现何种趋势？（3）政策c有效吗？为什么？（4）政策d有效果吗？为什么？（5）政策e有效吗？为什么？四、政策监测结果的使用对政策执行效果的监测结论，将成为进一步政策建议的依据。但是，监测效果只部分地取决于分析人员的分析质量，还有另外一些因素对于评估工作产生影响，比如，委托人偏爱的信息形式，分析人员可能喜欢提供整体的信息，而委托人可能对个案印象更深；分析人员习惯于提供量化的信息，而委托人喜欢定性的描述。政治、官僚体制的固有性质也会影响评估结论的采纳。比如，分析人员甚至普通人都知道某些结果并非政策执行之后才出现的，与政策之间没有因果关系，但官员们仍坚持说“在……之后，各项工作如何、如何”。补充：政策评估案例分析美国纽约北面有一个康涅狄格州，著名的耶鲁大学就在这里。多年来，康涅狄格州的交通事故发生率一直偏高。1955年，该州死于交通事故的人数达到324人，创历史新高。1956年，州长亚伯拉罕·利比科夫（AbrahamRibicoff）颁布并执行了一项非常严格的交通管制政策——所有经过康涅狄格州收税高速公路（一条南贯纽约、华盛顿，北接波士顿等城市的交通要道）的车辆都要接受严格的车速限制检查。如果超速行驶1次，吊销驾驶执照30日；超速行驶2次，吊销驾驶执照60日；超速行驶3次，则吊销驾驶执照的日期不受限制。由于利比科夫任职之前，康涅狄格州从未颁布过类似的交通管制政策，特别是由于管制非常严格，围绕该政策，人们褒贬不一，议论纷纷。对此，利比科夫州长以1955年交通事故死亡人数为324人，执行交通管制政策后的第二年，也就是1956年，死亡人数减为284人，为自己辩护。他指出，“1956年，我们挽救了40条人命，与1955年相比，交通死亡人数下降了12.3％，因此我们能够说这项政策无疑是有价值的”。他还在记者招待会上公布了一份资料，如下图所示。案例分析美国政策评估专家坎贝尔（DonaldT.Campell）深表怀疑。在《论作为一种实验的制度改革》（1966）一文中，他提出了至今仍有重要指导价值的政策效果评估方法。问题1.谁对利比科夫州长的交通管制政策感兴趣，并对该政策进行评估？（who）2.在交通管制政策实施的第二年，也就是1956年进行评估是否合适？为什么？（when）3.人们为什么对利比科夫州长的交通管制政策议论纷纷？利比科夫州长为什么要召开记者招待会？（why）4.在这个例子中，我们要评估的问题究竟是什么？（what）5.人们是否可能认同利比科夫州长的交通管制政策？为什么？6.如果你是一名政策评估专家，你将按照什么标准对利比科夫州长的交通管制政策做出评估？（standard）7.如果你是一名政策评估专家，你如何评估利比科夫州长的交通管制政策？（how）8.如果利比科夫州长的交通管制政策被证明是成功的，有人建议作为交通部长的你将该政策加以推广，你是否采纳？为什么？

一、公共政策评估系统——“4W1H1S”框架

1.主体（who）2.时间（when）3.目的（why）4.对象（what）5.标准（Standard）6.方法（how）一、公共政策评估系统

1.政策评估主体政府启动的政策评估（内部评估）政策制定者、执行者、监督者（立法部门、司法部门）。——信息优势；资源优势（财力）。——评估质量难以保证。詹姆斯·威尔逊第一法则：如果研究是由那些执行政策的人主持或者由他们的朋友主持，那么结论是，对社会问题的所有干预都会产生预期的效果。一、公共政策评估系统

1.政策评估主体民众参与的社会评估（外部评估）政策团体（利益集团、政党）、政策研究组织（学术研究机构与咨询机构）、政策目标群体、普通公民、新闻舆论。——评估较为客观。——难以获得第一手信息；资金难以保证；政府部门干扰。南京“万人评议政府”詹姆斯·威尔逊第二法则：如果研究是由独立的第三方主持，尤其是那些对政策持怀疑态度的人主持时，那么结论就会是，对社会问题的政策干预不会产生预期的效果。

一、公共政策评估系统

2.政策评估时间

广义政策评估＝预（期）评估＋现实评估＋研究评估狭义政策评估＝研究评估（预期评估属政策分析，现实评估属政策执行）美国评估协会（ERS）

规划评估

预评估可评估性评估过程评估政策评估执行评估

传送系统评估（输入评估）

结果评估政策产出评估政策影响评估一、公共政策评估系统

3.政策评估目的积极目的（规范性政策评估）出于“公心”、确定政策与事实之间的逻辑因果关系：检验政策效果、总结政策经验、确定政策变化方向。消极目的（非规范性政策评估）政策评估是政治过程与技术过程的统一，加之政策评估过程的复杂性，在实际政策评估过程中，不同人员对评估抱有不同动机，从而产生政策评估的消极目的。炫耀政绩规避责任形式主义一、公共政策评估系统

4.政策评估对象公共政策方案（实质是“预测性评估”或“可行性研究”）政策运行过程（包括：政策目标、政策方案、政策执行过程、政策后果）公共政策输出公共政策效果（政策效益、政策效率、政策价值）问题导向的评估（发现和修正误差）

一、公共政策评估系统

4.政策评估对象：综合的观点

影响评估（政策对目标群体产生了哪些影响？对社会生活带来了哪些影响？正面和负面的影响是什么？）绩效评估（政策达到预期目标了吗？部分达到还是完全达到？程度与范围如何？）效率评估（政策投入与产出如何？政策的未来去向如何：继续、调整还是终结？）回溯评估（如果没有达到预期目标、政策净收益过低、、政策影响不理想，政策执行环节是否有问题？政策设计环节是否有问题？政策方案是否有问题？政策目标是否有问题？）一、公共政策评估系统

5.政策评估标准与指标（1）评估标准第一，技术标准——绩效标准（产出标准）：政策执行实际效果；政策绩效的充分性（政策目标的实现程度）——资源投入标准（人、物、财、时间、信息等资源投入）——效率标准（政策投入与政策产出的比例。包括：技术效率，即政策执行机构的内部运作效率；经济效率，即政策资源的配置是否使全社会满意）——工作过程标准（政策的实际过程）第二，社会政治标准——政策的回应度（政策目标的设置是否科学）——分配的公平性标准（政策资源分摊是否公平，政策受益是否公平）——社会指标（对社会状态、社会发展趋势的数量分析与描述，以体现社会总体发展变化状况）罗森布鲁姆（Rosenbloom）——管理视角：“3E”标准：政策效能，政策效率，政策经济——政治视角：“3P”标准：代表性，反应度，责任——法律视角：平等保障，程序正义，相关民众的权益标准（criteria）与指标（index）确定了政策评估的标准后，还需要将其转化为可观测的操作性指标，才能应用于政策评估实践。评估指标设计的SMART原则

——Specific——Measurable——Achievable——Realistic——TimeBound

一、公共政策评估系统

6.公共政策评估的方法与技术1.政策评估的方法论2.政策评估模型3.政策评估的操作技术总结：政策评估的四个特征价值为焦点（Valuefocus）事实与价值互依（Fact-valueinterdependence）目前与过去取向（Presentandpastorientation）价值的双重性（Valueduality）——威廉·邓恩《公共政策分析导论》二、公共政策评估标准与指标政策评估的标准政策评估的指标如何完成由标准到指标的转换政策评估程序6.评估结果的交流与传播1.确定政策评估课题2.设计政策评估方案3.收集评估信息5.得出评估结论4.整理和分析评估信息（1）历史（history）检验在评估政策效果前，对政策干预前后的历史进行调查。搜集康涅狄格州1951－1959年交通事故死亡人数的历史资料。得到如下表所示的数据：问题：数据说明了什么问题？年份195119521953195419551956195719681959死亡人数256228276233324284281251247（2）不稳定性检验对表达政策信息的数据变化情况进行检验。将康涅狄格州1951－1959年交通事故死亡人数变化情况绘制成图形，如下图所示。

年份

死亡人数（2）不稳定性检验从上图可以看出，康涅狄格州1951—1959年死于交通事故的人数是上下波动的。1954—1955年，死亡人数明显上升，1956年开始下降，且1956年后从未重新上升。因此，有理由怀疑车速管制政策真的发挥了作用。无论是上图1，还是上图2，都仅仅表明了交通事故死亡人数，而未说明1955—1956年死亡人数减少的真正原因。对此，可做如下假设：（1）1956年天气非常干燥，降雨（雪）量减少；（2）1956年，驾驶员佩戴安全带的比例上升。（3）其他？

（3）回归性（regression）检验“回归”在统计学上是指总体的某些特征的极值会自动向总体均值靠拢或“回归”总体均值附近。例如，张某在第一次测试中得了零分，那么，即使他在课堂上什么也没学到，在第二次测试中，他的得分也肯定会高于零分。因为只要张某随机猜中1－2个正确答案，就能得到更高的得分，而且，他也无法得到更低的分数了。因此，除了比第一次测试得分高，没有其他的可能性。再例如，如果李某在第一次测试中得了100分，则在第二次测试中就可能得低分。因为他已经得到了可能得到的最高分数。除了得分下降，没有其他的可能性。回归性告诉人们，某项政策干预措施不一定是某种政策效果的原因，而可能是一时性的异常状态的结果。被视为“政策干预措施”的结果通常只不过是“回归”到正常状态而已。（3）回归性（regression）检验利用回归检验可以推断，1954—1955年交通事故死亡人数剧增可能只是一种极端的异常现象（极值点）。在此之后，即使不实行车速管制政策，交通事故死亡人数也完全可能自动恢复到平均水平（自然回归）。由于利比科夫州长对这种一时性的异常剧增现象过于敏感，因此才实施了交通管制政策。在评估政策效果时，又将数据的“自然回归”说成是交通管制政策的结果。回归分析是一种“唯象描述”，并不能揭示现象背后的真正原因，即它无法解释“为什么交通事故死亡人数要向正常的值回归？”要想弄清楚其中的因果关系，就必须对统计数据以外的东西进行调查。（4）成熟性（maturation）检验“成熟性”概念来源于教育学。随着年龄的增长，正常儿童的学习能力将飞快提高。因此，不能简单地将其归功于老师的教学方法。也就是说，孩子们学习能力的提高，也许只是由于孩子们逐渐成熟起来。在政策效果评估中也应注意这种现象。（5）测验（testing）效果检验“测验效果”的概念也来源于教育学。只要老师宣布下周考试，学生们就会做出特殊反应，而且比平时要花费更多的时间学习。具体到本案中，即使不实施严格的车速管制政策，但只要公布交通事故死亡人数的统计数据，就可能收