创意造言-倡导工作效果的评估技巧.doc

P C为变革而学习-倡导工作效果的评估技巧摘 要：倡导工作正处于快速发展和变化之中，还需要开展大量的工作。不仅要探索如何才能使倡导工作最有成效，还要研究如何应用监控评估和效果评价（M&E/IA）工具来推动学习，加强倡导工作的可问责性以及对倡导工作的价值评估。本文首先探讨了倡导工作复杂而富于变化的特性，认为标准化的监控评估和效果评价形式可能是不适宜的它们可能会造成信息误导，产生不当动机而破坏联合倡导行动。然而，尽管监控评估和效果评价有明显的缺陷，除此之外却几乎没有现成的解决方案。作者建议涉及倡导工作的各级组织机构应首先明确工作的关键要素，确保对最重要的要素进行监控和评估。有证据表明，倡导工作的短期成功可能是以损害其长期目标为代价的，比如合作伙伴的能力建设以及开展更多的着眼于未来的基础改善工作。作者始终主张以权力和权力结构分析来指导倡导工作策略，并对倡导工作进行有效的评估。一种成功的监控评估方法必须非常灵活，不仅能适应外部事件，还能成为改造倡导运动的工具。要开发M&E/IA工具以实现可问责的和有效的倡导，我们还要开辟新的天地。导言许多国际援助和发展机构最近都热衷于倡导工作。过去的几十年中，组织机构为各个层级的（地方性、国家和国际的）影响和倡导工作投入了更多的资源并给予其优先地位。有多种因素拉动了这些趋势。其中最重要的因素可能是对于贫困和边缘化根源更深刻的理解。组织机构和很多捐赠者们开始认识到，那些为期数十年的援助项目，即使运用了改进后的干预手段，仍然既不能从根源上解决贫困问题，也无法充分减轻贫困的现状。事实上，贫困和社会排斥的根基仍毫发未损。由于发展中国家组织机构在规模和能力上得到了提升，发展工作的背景已发生了剧烈的变化。在很多案例中，它们已经顺理成章地取代发达国家组织机构而成为发展工作的实施者，甚至成为获取政府或多边组织援助的渠道随着民主和政治多元论的传播，发展中国家组织机构和社会运动在挑战所在国以至国际权力体系时变得更加自信。许多发达国家组织机构作为援助实施者的地位已经减弱，但他们在倡导工作中找到了自己的新位置。最近一些运动所取得的成功（比如反地雷运动，一些世界银行项目，债务以及多边投资协议）激起了发达国家组织机构的极大兴趣。媒体形象的传播和公众参与运动的潜力增加了这些运动作为形象和资金来源的吸引力。更具实质意义的是，一些发展中国家组织机构认识到，国际政策在很大程度上仍以经合组织国家为主导，因此他们开始呼吁发达国家的同道们努力改变其所在国政府的政策。在有些国家，例如英国，放宽慈善管理条例的司法解释也使加强倡导工作变得可行。在对倡导活动充满热情的同时，人们也急于了解对这些活动所做的实质投入是否正在产生成效。组织机构们想知道倡导和影响措施是否经济合算，是否能对完成组织任务有所贡献（比如改善目标受益者的生活水平）。有很多重要的问题有待澄清，这不仅是履行责任的需要（比如组织机构如何使用捐赠或公共资金），也是为了汲取经验教训，改进倡导工作的方法。监控评估和效果评价还能帮助组织机构了解他们对其他组织的支持程度，尤其是巩固公民社会，以及通过倡导和影响工作持续改善贫穷和边缘人群生活水平的程度。在倡导工作中运用监控评估工具面临着两个主要问题。首先是经验和能力的缺乏。“市场”（内部人员，研究机构，和或咨询顾问）已经认识到监控评估行将成为一个增长型产业，并开始做出反应。跨国咨询机构正设法将监控企业对工人、社区和环境的影响变成潜在的盈利业务，让自己成为可信赖的验证机构。具有项目监控评估经验的小型咨询公司则关注对倡导活动进行评估的潜力。与此同时，组织机构也在增加内部人员数量，为对倡导工作实施监控评估而开展内部培训及能力建设。还有第二个问题：怎样开展M&E/IA？本文指出了M&E/IA的一些深层缺陷，并提出了一些方法建议。一、什么是倡导工作，它是如何演变的？倡导工作最深层的缺陷是无法了解它所涉及工作的特性。倡导工作有着不同的形式、方法和制度结构，它所试图影响的决策过程在内在机制上也是林林总总，还很缺乏有关的系统研究和分析。考虑到这些状况，对倡导工作的特性缺乏了解也就毫不令人吃惊了。此外，整个倡导工作领域都处于快速变化之中，大型公司的支配性地位，要求弱化政府职能的呼声，公民社会所面对的新挑战，传媒和娱乐全球化以及新的通讯技术等，这些因素都带来了新的挑战和机会。倡导的复杂性可以从以下四个方面进行阐述 倡导工作日益全球化 多样性公民社会的兴起 倡导工作的结构日益多样化 策略日益多样化1-倡导工作日益全球化在过去的20年里，经济活动迅速国际化，全球经济组织的力量也相应增长。过去，公民社会在国际层面上，尤其是通过联合国程序，在全球范围内对人权、社会和环境政策发挥了强烈的影响。然而这些软性的（依靠热情的）政策在很大程度上隶从于那些由国际机构和经济组织制定的硬性（强制性）条款。如今国际层面的经济决策影响着世界上大量人口的生活，一个不争的事实是，对弱势人群尤其是穷人具有重大影响的决策在距离他们越来越远的地方制定(Watson 2001:123)。发展模式会受到贸易、资金流和支配这些因素的国际规则的影响。例如，WTO为政府提供了一种机制，不仅用来决定关税、配额这样的外贸规则，还用以决定国家和地方的补贴政策、专卖法以及大量渗透到社会各个领域的法规。随着这些规则的日益普遍和深入，公民社会开始对一些基本政策，缺乏透明的决策以及一些机构的合法性提出挑战。在过去的20年里，公民社会的倡导工作已经从外围话语进入主流话语，并开始改变政策和权力结构。处理这些规则需要一种国际倡导工作的新方法。新的通讯技术，特别是互联网使构建倡导运动网络成为可能，这在十年前还是不可想象的。倡导运动在地方、国家和国际层面间的互动意味着运动具有很多不同的方法和目标。通过发展协调和责任体系，倡导运动鼓励更广泛的参与，并将受影响最大者的声音和需求作为运动的核心。M&E/IA系统能够认可倡导活动在形式上的巨大差异性并支持这种差异性，这一点非常重要。2-多样性公民社会的兴起发展中国家公民社会能力的加强为有效开展地方、国家、区域和国际性的政策倡导工作创造了新的契机。在过去的十年里，发展中国家组织机构开始成为国际运动的领导者，其中包括了像“第三世界网络”这样来自发展中国家的跨国倡导组织。发达国家组织机构领导运动的传统模式正在发生快速的变化，他们认识到，只有发展中国家全面深入地参与到倡导工作的各个方面，才有可能实现持久而富于成果的政策变革。然而在很多最贫困的国家，特别是撒哈拉沙漠以南的非洲地区，公民社会几乎没有机会也没有能力去施加影响。因此有些组织机构强调倡导工作应该包括能力建设，为合作运动和具有广泛基础的运动提供支持，为公民社会拓展民主空间。所面临的挑战是使加强运动的过程与实现政策变革的行动相结合，它要求在充分考虑多重性目标的前提下，对倡导工作进行更具深度的评估。3-倡导工作的结构日益多样化倡导工作的组织结构同样在迅速变化。新技术和新的联合方式正极大地丰富着国际联合倡导运动的战略战术。比如，1999年12月的经济学家杂志将反对西雅图新一轮WTO谈判的运动比做一次“群英会”，众多不同的自治性公民社会组织参与了这次运动。以新方法建立联合策略，分享研究结果，基于新信息采取快速行动，这样一来，多重交叉的网络结构取代了正式的层级和僵化的架构。它与传统运动完全不同，传统运动通常有一个领导机构，能够清楚地界定运动中任一特定单位所产生的影响。要保证联合运动能跨越地域、文化、经济和政治的隔阂有效运转，信任是关键。公民社会在世界银行问题上的联合取得了成功，有关研究显示，其原因在于尽管总体地理跨度很大，相对较短的组织链条帮助实现了公民社会的“垂直联合”(Brown and Fox 1999:811)。毫无疑问，信息和通讯技术极大地促进了全球组织机构的专业化水平，正如他们在世界经济价值链中所产生过的作用一样。如今再不需要某个团体和组织来充当所有问题的专家，或者胜任某项运动所有方面的工作。例如，在反多边投资协议运动中，联合体的多样化是一个重要的力量来源。他们执行着各种不同的专门倡导功能，比如内部对话、研究、公共教育、运动建设、公众运动、网络联络等。在一些截然不同的事务中也同样存在着这些功能，比如国际发展，环境，人权，工人、消费者及妇女权益，基于宗教信仰的社会公正，地方政府，企业社会责任等。在这样的联合中，根本就不可能明确界定某一联合体成员的功过得失，他们不可避免地要分享成功分担失败。4-策略日益多样化随着倡导工作复杂性的增强，人们开始更加积极地认识实现变革策略的多样性。一个对倡导工作最重要的洞见是，倡导工作的成功取决于转化权力结构的能力，采取何种策略也就取决于权力如何构建和维系。Gaventa于1995年对不同的权利体系发表了自己的真知灼见，在他的工作基础上，我们提出以下三种类型的权利体系：多元化体系：系统内存在相对开放的权力竞争精英体系：由特权集团统治，具有排他性和歧视性意识形态体系：依赖政治、经济或宗教信仰上的统治来塑造社会意识由于权力结构种类的多样，倡导需要完全不同的策略。例如，在一个多元体系内，职业游说可能发挥作用，相对开放的研究和分析交流能为专业组织机构和研究机构带来理性的争论和游说。然而，这种方法在精英体系内多半无效。在一个精英体系中，最有效的倡导策略可能是颠覆权力，比如挑战体系的合法性或者蔑视与嘲笑既有体系。与之类似，在特定的意识形态体系中，倡导也需要不同的策略，比如发动那些利益受到排斥的人。同样，不同的社会、制度、经济和文化环境需要不同的倡导策略。随着倡导运动开始跨越国界，倡导方法的多样性也成倍增加，涉及新的公民社会联合以及应对全球性挑战等。把倡导行动中能发挥作用的各种因素都列举出来然后选择打勾，这种方法明显不管用。为了赢得变革，倡导的战略和战术应该是或者几乎就是没有限制的。二、标准化M&E/IA运用于倡导工作的巨大缺陷公民社会对政策的影响力日渐增长，这要求组织机构更具可问责性。对此商业领袖的呼吁最为强烈。尽管他们自己只局限于向大股东承担责任，但这不影响他们要求组织机构更加负责，而这对于组织机构成员和目标受益人极为重要。此外，对倡导工作资源投入的增加也更加要求能对倡导工作的效果进行准确的评估。因此，组织机构需要运用M&E/IA流程来证明其倡导工作的有效性，这对于许多组织机构而言都是个巨大的挑战。传统的倡导工作M&E/IA实施得不够充分，且有提供信息误导之虞，倡导工作的一些重大缺陷就源于对倡导过程本质的错误理解。1-倡导工作法无定式倡导工作中最常见的一个缺陷是假定政治和制度变革是按线性方式发生的，如同只需往锅里加入各种材料（研究、游说、政治利害，政治压力等），熬煮（开展倡导运动）一下就能炮制出一副药来，而事实上这种情况是绝少发生的。变革往往出人意料地骤然间发生，要能应对极其少见的状况。倡导运动往往在一堆混乱的障碍、机会和反应中开展，加纳促进母乳喂养以及印度地毯业童工问题这两个案例能够很好地说明这一点(Chapman and Fisher 2000:152157)。研究这些案例所得出的观点是，不能指望倡导运动是系统的、机械的、按逻辑产生结果的。然而，M&E/IA往往正好就有这个毛病，假设倡导工作能在一定的时间内取得成效，能够在已有计划（甚至可能只是一个逻辑框架）的基础上通过投入获得成效。这种思路会带来工作上的误区，甚至破坏倡导工作的成效，例如，对达成目标的过分强调可能会导致错失某些预计外的变革机会。2-倡导有赖于合作倡导工作的第二个常见缺陷是，很多组织机构往往脱离其他组织而仅对自身倡导工作的效果进行评估。在一些案例里，效果评估仅局限于媒体报道，看报道是否专门讲到了某个组织机构。尽管媒体报道对机构形象确实很重要，但这种方式所鼓励的可能是竞争而不是合作，使得运动机构只顾提升自身形象而不管其他机构或整体联盟。更广义地讲，评估某个组织机构作为联合体一分子的作用是很困难的，往往会在联合体中制造紧张。当一项国际运动涉及到来自不同国家的成千上万的公民社会组织时，要想把运动成效归因于某种运动方式或某个国家区域都很困难，就更别提归因于某个组织机构了。3-没有放之四海皆准的方法倡导工作的第三个常见缺陷是，使用标准化的M&E/IA工具而不知道不同的倡导形式需要不同的方法和时间进度。有些人从事长期研究和间歇性政策影响，他们可能更喜欢那些正规的体系，依赖年度报告、量化指标和计划达成度考核数据。与之相反，有些人是通过大众动员或直接行动来发挥影响的，他们可能会创造出一种非正式系统，每个星期都对运动进程进行评估，依靠主观判断和灵活的计划快速反应并抓住新的机遇。使用标准化的M&E/IA方法很难为决策提供最有效的信息。4-倡导常常具有对抗性受倡导活动影响的决策系统类型同样需要知悉所使用的M&E/IA类型。例如，当组织机构和某一政府部门具有高度的信任和深入的合作，就如同英国组织机构为争取更大的援助预算进行游说时一样，向决策者询问倡导工作的影响和效果是有用的。（Development Initiatives 1996 发展运动，1996），然而当双方关系带有对抗性质时，尝试这种做法就可能得到恶意误导的信息。5-罗马不是一天建成的第五个缺陷是过分强调短期目标而忽视不大显著的长期目标。一方面，对于多数倡导工作而言，获得切实的成果是很重要的，这不仅能在一定程度上证明倡导工作的成功并获得更多支持和资源，还能为倡导工作构建更广泛的参与者基础。但在另一方面，短期的成功可能是以牺牲长期目标为代价的。这些代价通常包括那些不显著的目标，如合作伙伴的能力建设以及为未来的基础性变革未雨绸缪。对食物权利运动的行动援助阶段性回顾证明了这一点。在这个案例里，影响WTO西雅图进程这一短期愿望从一开始就损害了运动的长期制度化目标，如深化运动、发展以人为核心的倡导工作，以及建立坚固的微观-宏观联系等(Harding 2000)。结论是：简单化和标准化的M&E/IA形式对倡导工作可能是不适宜的，它可能会诱导形成对联合行动的破坏。就如同逻辑框架损害参与性一样，以程序导向方法来设计倡导工作，受捐赠者的压力而使用限制性M&E/IA方法，都会妨碍倡导工作有效开展。所面临的挑战是：要为倡导工作者开发出有用的方法并提高倡导工作对所有的权益人的可问责性。三、更多有效的M&E/IA方法那么对于倡导工作的监控评我们还能提供一些什么意见呢？应该在以下四项原则的指导下发展M&E/IA体系：确认哪些组织机构价值得到了评估使用适合当前倡导工作的科学方法看全局而非只看局部把影响评估作为机构优先事项1-看看什么是有价值的了解倡导工作的目标及战略战术对于有效的监控和评估具有重要意义。很多时候，组织机构对倡导工作的热情仅仅是为倡导而倡导，他们并不了解行动如何带来变革。组织机构极少能清楚地认识到倡导工作如何实际地达成政策变革，更不用说了解政策变革如何转化成能给穷人提供长期支持的积极实践。即使倡导工作是在流动和快速变化的环境中进行，每个机构也都应该清晰地表明什么是他们要努力达成的目标，要对哪些价值做出衡量（定性的或者指标性的评估也许要优于刻意的定量估计）。确定重要的工作过程目标，一种方法是首先确定出倡导工作的基础方面并对其进行优先排序。这其中最显著的方面是获得政策或立法变革。然而，根据倡导活动的类型（以及组织机构的价值观），第二个方面可能是通过在公民社会群体中建立合作、信任和联合来加强公民社会。第三个方面是扩展公民社会群体的民主空间。第四个方面是被排斥人群直接参与倡导活动以获取权力，而不仅仅是接受那些代表他们开展倡导工作的专门人士的咨询。无论是什么方面，每个组织机构都应该很清楚自己要做什么以及如何去监控。2-选择适合的方法什么是效果评估的科学方法？正如前面所讨论的一样，这要从了解倡导方法的多样性开始。选择恰当的方法来评估不同环境中的变化非常重要。广大的利益相关者会涉入对倡导工作的评估，其中包括了组织机构人员，联合体成员和合作伙伴，决策者或目标受影响者，“专家”（如咨询者和学者），普通大众，最受影响者代表或者他们本身。当前，标准的科学方法包括半结构化访谈、分组讨论、调查问卷、媒体报道、内部会议报告、事件和活动、邮件列表以及外部报告。哪些人参与M&E/IA反映了倡导工作和受影响权力结构的类型。应该尽可能地让目标收益者参与倡导运动，尽管当运动涉及大量的受益人时这有些不大现实（如2000年的债务免除运动）。更实际的方法是在国家层面上设置公民社会代表，如有可能，地方层面也应有代表。在变革遭遇阻碍的运动中，要做到这一点是很困难的。例如，在阻止新一轮WTO谈判的运动中，把受益人纳入运动是不可能的，但是让组织机构、社会活动、贸易联盟，以及其他公民社会团体对运动进行联合评估则是可能的。然而，在其他一些情况下，最受影响人群的直接参与至关重要。当受影响人群深度参与运动，政策变革是地方性的（而不是全球性的），参与者互相高度信任时，这种直接参与是最有意义的。如表1所示，受影响权力结构的不同形式和最适合的M&E/IA之间也存在关联。在一个相对开放和多元的体系中，可以让提议者甚至决策者来参与评估倡导方法成功与否。在一个精英掌控的封闭体系中，通常很难了解决策是如何制定的，所谓评估就是看看在倡导工作带来变革的概念模式下，倡导工作取得变革进展的程度如何。在意识形态统治的体系，决策者更难以接近，变革通常非常缓慢，跨越数十年。表1概括了不同权力结构所涉及的倡导工作类型及可能的M&E/IA方案表1：权力分析如何影响M&E/IA方法权力体系权权力架构的主要特征可供选择的倡导方法可供选择的M&E/IA方法多元体系相对开放，资源占有层次决定与权利结构的亲疏利益集团之间的竞争基于政治和经济杠杆穷人和少数民族没有权力专业的研究和游说对有关问题进行公共利益游说对民主程序/选举施加影响以公开运动显示公众支持使用能够获得的信息，包括公开的决策记录让更大范围的人与之利益相关，尽可能让有建议权者和决策者参与尽可能让合作者参与评估涵盖对政治变革、能力建设和参与程度的中间性评估精英体系封闭的权利体系通路，只对有限的精英阶层开放排斥某些问题和群体系统化的压迫和剥削动员被排斥群体开展联合秘密反抗运动使精英阶层丧失权力合法性的策略发挥被压迫者代表的重要作用进一步使公民社会组织起来并发挥影响在缺乏有关决策程序信息的情况下，M&E应对重点影响方式所取得的进展进行评估，并对倡导导致变革的假设进行检验。尽可能地让合作者参与M&E评估应该包括能力建设、公民社会的参与范围和程度意识形态统治的体系由于意识形态的不一致而带来隐性压迫 (比如种族歧视制度)统治意识形态渗透社会构架异议受到压制和嘲笑大众教育、培养批判意识通过文化、艺术和文学等形式提高公众判断力提高对统治意识形态以外的思想和事务的分析理解能力建立无权群体的联合(例如受市场意识形态排斥的穷人)需要更长的时间表来实现变革评估范围应包括：能力建设、公民社会的参与程度、面对不同受众的暴光率以及公众认知的变化来自于John Gaventa (1995)和Valerie Miller (1997).3-整体评估而非局部评估选择监控评估方案的第三个原则是要有整体观。正如前文所述，倡导工作复杂、层次多、演变迅速。传统的计划、监控和评估工具有时间期限表，逻辑架构，年度目标，阶段性回顾以及阐述性的冗长报告等(Davies 2001)。最近对一个M&E/IA方案的回顾表明组织机构常常是盲人摸象，失之整体。因为倡导工作巨大的多样性，所以需要新的评估方案。监控评估必需是整体倡导工作的一部分。这意味着监控评估不是倡导运动结束后的课后作业和向资助者报喜时的故事来源。倡导运动的时间限制和快速演变要求必须经常对行动和计划进行回顾。灵活性很重要，成功的运动能够把握新的机遇，应付新的威胁。因此，成功的监控评估方案必须非常灵活，不仅能适应外界的变化，而且是倡导运动进行自身改造的工具。我们几乎没有什么现成的答案。本文作者参与了一些推动监控评估创新的工作。全球发展运动(WDM)是以英国为基地的一个会员网络，它是公民社会反对贸易服务总协议运动的国际网络的组成部分。运动整体多层次地全面覆盖了各国政府，国家性和国际性的游说公司以及国际机构（主要是WTO），联盟成员既有发展中国家争取自然资源控制权的小型抗议社团，也有反对公共服务私有化的国际贸易协会。这项运动的方式各种各样，外部条件瞬息万变，并且权力体系是相对多元体系、精英体系和意识形态体系的混合体，要开展监控评估是非常困难的。世界发展运动所使用的方法是要发展一种倡导工作程序的概念性指南，用于确定需要影响的决策者、能为穷人和受排斥人群带来利益的运动成果，以及获得这些成果的途径。这些运动往往将研究和分析结合起来以赢得争论并影响观念发起人，通过开展公众教育、群众动员以及媒体覆盖来制造政治压力，并且与其他人一起工作以支持其行动。因此这些方法包含了有助于实现总体目标的各种方法。在阶段性的间歇期，要对指南进行回顾，讨论有关进展，为实现未来计划而做出一些调整。因此，概念性指南不仅能为制定计划提供框架，还能对使用每一种倡导影响方法所取得的进展，以及实现总体倡导目标的进展情况进行监控。在结果总是滞后于行动时，评估倡导工作的每一个步骤就非常重要。从官方立场、文件（特别是外泄的）以及有关的讨论中能够嗅出变革的一些迹象，还能与同盟者分享这些信息。对倡导运动的局部进行评估，这一方法还有待于进一步发展完善，但作为一种灵活而实用的方法，它是很可能有助于整体评估的。4-赋予影响评估以组织优先权最后的一个原则是赋予影响评估以组织优先权，这一原则会指导倡导工作M&E/IA的发展。监控和评估工作的最理想状态是：支持制度性学习，鼓励反思和适应性工作实践，确保对那些生活受到组织机构倡导工作影响的人们负责并倾听他们的声音。要达到这种状态，M&E和IA必须超越专家岗位，成为组织工作方式中极富生机的一部分，并且与利益相关者相联系。一些组织机构已经觉察到了这种挑战(Roche 1999; Chapman and Wameyo 2001)。例如，在援助行动中，责任感、学习和计划系统的发展已经为此创造了可能性（另见本期中Patta Scott-Villiers的文章）。这一新体系对评估过程、策略的形成以及跨组织项目回顾进行了详细说明。不仅如此，它还高度强调组织的各个层级都要对穷人负责。它使反思和学习成为每个人工作中的关键因素。还有一个重要之处是，它明确承认