评价组关于独立外部评价的进展报告.doc

3C报告评价组关于独立外部评价的进展报告由独立外部评价核心小组提交理事会独立外部评价委员会2006年9月目 录页 次A.引 言1B.独立外部评价的组织安排1C.对现有评价和已掌握材料的连续审查、分析及综合2D.准备调查和其它研究工具3E. 国家的选择和访问的时间安排4F.粮农组织的技术工作5G.性别考虑7H.行政、管理和组织7I.治 理9J. 评估粮农组织内的评价功能10K.粮农组织在多边系统中的作用1111A.引 言1. 独立外部评价于2006年3月底开始运作，此后不久即提交了起始报告。2006年5月24日，在理事会对粮农组织独立评价委员会（独立外部评价委员会）第二次会议上：“成员欢迎起始报告，他们认为起始报告为开展评价奠定了坚实的基础 主席备忘录，理事会对粮农组织独立外部评价委员会（独立外部评价委员会）第二次会议，2006年5月24日审议独立外部评价起始报告。”。会议同时商定，将向2006年11月举行的理事会会议提交一份进展报告。本报告正是根据这一要求提交的。仅在起始报告后大约十五周时间编写本报告是必要的，因为必须首先翻译进展报告，供独立外部评价委员会的成员于9月审查，并与任何修改意见一起转交理事会在11月审议。2. 本报告由核心小组在9月初的一次会议上进行过审查。在该次会议上，小组作为一个整体对独立外部评价迄今取得的进展、其规划的产出和时间表进行了详细审查。本进展报告的辅助文件已刊登在独立外部评价网站：http：//pbe/pbee/en/219/index.html，并涉及： 起始报告中确定的评价框架； 独立外部评价国家访问组报告的部分注释要点； 对粮农组织技术工作全球评估的责任和时间表； 发展中国家访问暂定时间表。3. 在其开始的规划会议以及批准起始报告以后，独立外部评价核心小组立即采取步骤，对调查的四个主要领域开始采用评价框架 在起始报告中确定的评价框架/pbe/pbee/en/219/index.html。，这四个主要领域即粮农组织的(i) 技术工作，(ii) 行政管理和组织；(iii) 治理，以及(iv) 在多边系统中的作用。在开展这些工作时，特别注意到独立外部评价委员会和质量保证顾问在审议起始报告时发表的意见。4. 过去10周取得了巨大进展。本报告对所有包含正在开展的工作的活动进行了简要概述。虽然最终必须综合独立外部评价的所有方面，并将其纳入一个连贯一致的总体评价（起始报告中强调的一点），但本报告反映这样一种事实，即在此其早期阶段，一些活动是单独的信息收集、数据汇编和分析方面。B.独立外部评价的组织安排5. 核心小组成员在组长的总的支持和协调下，制定了其具体领域的工作计划，并根据商定的标准挑选了专家顾问。挑选标准强调技术能力和独立性。粮农组织评价处提供了行政支持，还提供了关于信息来源的建议和与粮农组织相关的各方面工作的总体背景情况。组长与代表独立外部评价委员会的评价处一起进行了预算控制。6. 招聘了一个研究助理小组，以协助独立外部评价各方面的工作，该小组由组长领导，由评价处提供一些日常监督支持。7. 与独立外部评价有关的所有重要决定均由组长与核心小组密切磋商作出。C.对现有评价和已掌握材料的连续审查、分析及综合8. 正如独立外部评价职责范围中规定和起始报告中确认的那样，本次评价尽可能利用已经掌握和与对粮农组织全面评估直接相关的大量材料，已开展活动的例子包括：a) 完成了从1998年至2005年所有重要的全组织评价的审查和概述，包括主要结果、正式建议（无论是否由外部同行审查）、管理层回应（同意、合格证明或不同意）、承诺和时限以及后续行动（如知道的话）。为促进在独立外部评价的四个重点领域的进一步分析工作，还在每一概述中提请注意似乎可用于其中每一领域的主要因素。b) 正在执行一项工作计划，以综合以前在某些领域（类别）的评估/评价中在全球或区域间出现的共同主题和教训（如林业、与政策相关活动、紧急情况，粮食安全特别计划）。在确定类别以后，为审查准备了一个标准化的衡量尺度。重点放在大多数评价报告和/或最可能的共同主题的部门类别上。一些综合工作已经完成，对另一些综合工作确定了时间表。c) 起草了一组要素（如规划的适当性、事先风险分析范围、磋商范围等），并将用于追溯审查粮农组织内部采取的历史机构举措和改革。d) 已开始审查粮农组织的文献引证范围及互联网参考资料。这将为评估粮农组织不同产品的范围提供一个重要的基准指标。e) 正在努力汇编粮农组织领导机构所作的决定，并为这些决定的分类准备了一个矩阵草案（如战略、政策、行政、财务、机构间等）。希望这将为对粮农组织治理的二至三个详细个案研究奠定有益的基础。f) 正在为进行独立外部评价时将要访问的24个发展中国家中的每一个国家准备国别简介。为了加快和精简这方面的工作，制定了一个标准格式。每一国别简介将包括通过与技术官员及粮农组织其它重要职员的电话和面对面访谈所得出的对每一国家的看法，以及过去6年在该国开展的粮农组织项目、重要捐助者和政府的规划文件，粮农组织和其它机构编写的国别简介和情况介绍、减贫战略文件等资料汇编。正在分析粮农组织项目在国内的执行情况，以便为小组在每一国家集中询问建议重要的计划领域。正在按照对每一国家访问的时间安排有序地准备这些国别简介。g) 针对所代表的构成单位利用2005年进行并按照所提供的服务进一步提炼的对粮农组织伙伴关系和联盟所作的评价，汇编了一份在农业和粮食方面提供服务的重要全球和区域（间）组织的资料。目前要求粮农组织各技术司按照伙伴和竞争者的重要性将各组织进行排列。这将通过问卷和与一些组织及其它知情伙伴的访谈（三角）为进一步的后续行动提供重要的基准。D.准备调查和其它研究工具9. 在过去3个月中确定了一些将要采用的重要评价工具，包括：a) 准备了一份全体职员调查表，并将于9月份发出。除努力在统计上制定职员对广泛问题的意见和经验的可行指标以外，调查还将努力制定粮农组织机构简介（利用一个高度重视的社会科学分类 该工具为Booz Allen Hamilton拥有。该公司同意将该工具及其拥有的关键内容作为一种公益产品免费提供给独立外部评价）。调查包括一系列以前在国际组织的调查中使用过的标准以及独立外部评价提出的问题，以便测试和验证在个别访谈中出现的陈述和看法。b) 准备了一份关于粮农组织治理的问卷，将于9月送交所有常驻粮农组织代表处。问卷中提出的许多问题和事项直接来自迄今所进行的单个面对面访谈。问卷的统计结果将用于进一步的结构性和半结构性后续访谈。c) 在8月第三周按时间表在非洲和拉丁美洲开始了国别访问。准备了一个尤其对24发展中国家访谈的关键问题、事项、可能指标的建议以及数据收集方法的评价矩阵。这是一项正在进行的在对四个国家的初步访问中事先测试过的工作。此外，已经为需要编写的关于每一国家访问的 /pbe/pbee/en/219/index.html。报告准备了一个建议的注释要点，并由核心小组在其9月份的会议上进行了审查。鉴于将要访问的国家、每个国家内的计划各不相同以及小组的多样性，预计在国别报告中所包含的问题以及在综合国家教训方面的挑战将各不相同。尽管如此，注释要点应帮助确保书面报告中的某些相同性。将从单个国家报告中提炼区域工作文件，这些文件将作为区域间和区域内比较的基础，并作为将要审查的核实和进一步假设的来源。然而，鉴于粮农组织活动的数量和多样性以及国家访问的时间和现有资源，可能仅有一些少量的经验性国别技术反馈以及对粮农组织服务是否对其客户有益的严格测试。E. 国家的选择和访问的时间安排10. 一如起始报告中指出的那样，对需要访问国家的选择主要是根据粮农组织在每一国家的计划的相对规模、所报告的食物不足人口比例以及参加农业人口的比例的一个简单、透明、基于数字的公式进行的。对世界每一主要区域，然后将该公式得出的结果按人口进行加权，并进行随机选择。其中的一个例外是佛得角，该国被列入是因为它是“一个联合国”试验的试验国。结果是24个国家的实例（见发展中国家访问的暂定时间表）。 /pbe/pbee/en/219/index.html。11. 必须强调，独立外部评价的国家访问中所包括的国家实例不可能符合所有理想标准，所得到的名单可能有一些明显的缺陷。例如已经收到的一条意见是，由于尼日尔和布基纳法索均为萨赫勒国家，选择另一国家代替其中一个国家将会对实例的多样性作出积极贡献。转达的第二条意见是实例中所提出的国家可能并不反映粮农组织参与紧急活动的日益重要性。然而，为了避免向评价各方和粮农组织秘书处建议的访问国家倾斜，除以上提到的佛得角的例外情况外，严格采用了取样方法， 24个国家的实例规模应至少确保合理的代表性。12. 除了24个发展中国家以外，正在为对经合组织一些国家首都的自然资源部和发展援助机构中的决策人员进行半结构性访谈制定时间表。13. 理事会和大会正是本着对所含范围广泛的明显看法而特别责成将访问如此大量的国家作为独立外部评价的一个组成部分。然而很明显，在广度和深度之间有必要进行取舍，尤其在本次独立外部评价的时间特别紧的情况下更是如此。国家访问将由二至三人组成的小组进行，通常包括一名区域专家和一名核心小组成员。每一国家访问必须压缩在57天，尽管这将提供宝贵的评价信息，但对全面评估粮农组织在相关性、适当性、效率、效益和可持续性方面的活动显然时间不足。正在作出一切努力处理这一问题，例如通过将国家和区域专家纳入国家访问，事先准备上面提到的国别简介以及确定将要在每一国家更深入研究的具体问题。然而，广度与深度之间的取舍应明确予以承认。14. 在国家访问以及在对国家的询问和全球研究中将要调查的主要问题包括：a) 用户国家如何看待/珍视粮农组织的服务?这些服务与其它方面提供的服务进行比较和对照的结果如何?b) 用户如何评估/评价粮农组织的区域和国家活动?c) 千年发展目标（与粮农组织相关）目前是否影响粮农组织的各种活动?是哪些活动?如何影响?d) 2000年以来各种活动是如何提出的?e) 这些活动在多大程度上是由国家需求引导或由粮农组织或捐助者在国家一级的供应引导的?f) 粮农组织的各种活动是否适合国家本身减少饥饿和贫困的战略?和/或g) 这些活动与千年发展目标、减贫战略文件和联合国发展援助框架如何相关?h) 这些活动的供资水平如何?i) 粮农组织的计划与谁结为伙伴，为何?j) 已知或要求粮农组织在产出、结果和影响方面的活动为何?k) 在影响可持续性方面是否有指标？如有是哪些?F.粮农组织的技术工作15. 特别致力于评价粮农组织技术工作的小组是四个小组中最大的一个。该小组目前包括14名技术专家，审查粮农组织在全球一级的活动。自核准起始报告以来的重要活动包括：a) 14名全球技术小组成员中的11名与大多数核心小组成员及其顾问小组一起于7月1日至7月11日在罗马举行会议，确定了评估粮农组织在全球一级工作的具体计划，并指定了责任和确定了时间表 /pbe/pbee/en/219/index.html。在这些会议期间，准备并商定了一个标准的评价范围框架和一份技术工作文件的要点，尽管这是仍在进行的工作，并随着小组成员在其工作中的进展而发展变化。技术专家为国家访问确定了问题，但由于上述原因，预计对技术小组提供的关于国家一级具体技术计划效益的反馈意见有限。b) 在7月1日至7月11日，技术专家还与粮农组织职员及其各自领域的管理人员进行了访谈，以便熟悉粮农组织整个组织、其人员配备、预算编制、政策、过程和实质性活动。他们审查了过去的评价，收集了其它相关信息，确定了在全球文件中需要调查和在国家访问中需要探索的主要问题及假设。c) 技术专家目前正在与粮农组织以外补充和合作、或利用粮农组织各部门工作的组织内各自分析领域的专业人员进行访谈。其结果将不仅与对粮农组织的技术评估相联系，而且有助于评估粮农组织在多边系统中的地位和比较优势。d) 预计供独立外部评价核心小组审议的技术工作文件将特别涉及： 粮农组织职责的所有领域内与政策相关的分析和援助 技术援助 投资援助 粮农组织在粮食安全方面的工作 国际条约、公约、法律、标准和规范 营养 林业和集水区管理 渔业 畜牧业 紧急情况下的援助和恢复 统计资料、数据库、知识和包括预警在内的信息系统 可持续发展 农业支持系统 植物遗传资源、改良、保护、营养和生产 水和灌溉 土地资源。16. 评估对粮农组织服务需求的范围和性质是一项重大挑战。粮农组织的186个成员国在发展阶段和需要方面各不相同。从初步的访谈似乎也可以清楚看出，对粮农组织及其它竞争和补充的组织可以提供何种物品和服务他们有不对称的信息，有多种表达需求的渠道。这就要提出评估“谁的需求?”以及确定如何相结合的问题。正在开发访谈和其它工具，以便评估发达国家和发展中国家的需求以及目前相结合的途径。同样，虽然需求似乎无限，因为粮农组织的服务对所有成员国是免费的，但提供却受到预算因素的严重制约，包括对预算外资源所确定的特别用途。G.性别考虑17. 性别考虑涉及所有核心领域的工作，在任命一名性别专家时特别注意到这一方面。她准备了一项工作计划，包括参加技术小组于7月份在粮农组织举行的会议和参加一些国家访问及其它后续访问。询问的具体问题包括评估实施粮农组织性别行动计划的效率和结果，其中尤其涉及：a) 粮农组织秘书处对性别的认识；b) 秘书处内的性别平衡；c) 将性别原则作为粮农组织所有工作的主流活动；d) 在粮农组织的所有活动，包括领导机构的活动中适当注意性别的意义； e) 在多边系统中为提高对性别的认识和在农业、粮食安全及农村发展中的性别活动缔结伙伴并进行适当分工。H.行政、管理和组织18. 2006年5月招聘了行政、管理和组织小组的6名成员，该小组尤其包括人力资源、激励和补偿、预算编制、财务和审计、信息和通讯技术以及知识管理方面的专家。自那时以来：a) 全组在2006年5月29日至6月2日的一周期间在罗马举行了会议，并确定其工作计划和时间表的细节。其中之一是该小组全体与粮农组织的相关司长、其高级同事、七十七国集团主席、区域小组、财政委员会和粮农组织技术部门的一些计划协调员举行了会议。还举行了单个后续会议。结果是该小组能够获得关于独立外部评价主要问题、挑战、数据是否存在以及期望的看法和感知，能够制定共同的工作计划和时间表以及确定单项工作计划。b) 制定并且目前正在采用一个评价粮农组织人力资源管理和采购惯例及绩效的框架。该框架包括与粮农组织人力资源司的所有监督及管理职员、在新的人力资源管理模式、共享服务中心和采购科开展工作的相关职员进行深入的半结构性访谈和/或会议。c) 9月初为预算功能开展了上述关于人力资源和采购方面的类似活动。d) 对选择的一些审计报告进行了初步审查，并正在规划后续工作。e) 对比较系数（制定基准 明确“制定基准”一词有何意思十分重要。该词主要用于商业和工业，要求制定严格商定的标准(如国际标准化组织)各组织可根据这些标准自己确定基准或由其它方面确定基准。然而，就粮农组织和包括多边开发银行在内的已经做出巨大努力的公共国际组织而言，这些商定的标准一般并不存在。因此，本研究中制定基准将采用已经成为这类评价中普遍接受做法的较为折中型的基准制定。它将力求通过与其它合理的类似组织相关的各种广泛指标对粮农组织进行比较和对照。）进行了讨论，已经或正在与世卫组织、教科文组织、经合组织和国际货币基金组织作出必要的安排。与联合国联合检查组、联合国高级别管理委员会和国际计算中心作出了补充合作工作安排。f) 为在粮农组织与比较机构之间进行详细的比较进行绘图（制定基准）确定了两个过程，即预算过程和招聘/任命过程。确定了粮农组织的基准统计比较参数，在选择的四个比较参数中已就两个开展了初步工作。g) 因此，行政、管理和组织小组的成员参加访问了粮农组织驻三个国家的代表处（墨西哥、尼日尔、布基纳法索）和一个区域办事处（阿卡拉），以便审查实地一级的行政、组织和管理问题。h) 10月底将建立23个焦点小组，包含150多名工作人员，每一焦点小组有两个小时的结构性讨论。i) 本报告前面提到的对职员的调查已于9月发出。j) 作为一个全球知识机构，粮农组织是历史最久的机构之一。正在与技术小组密切磋商，对知识流量进出粮农组织的途径、信息和数据如何在内部变成增值知识进行绘图，并确定知识管理过程的优点和缺点，包括粮农组织促进传播其它组织工作的能力。19. 起始报告中指出主要事项和问题仍然存在，这些事项和问题是迄今以及今后三个月将要进行的所有调查和访谈的基础。到2007年2月底，小组将产生第一批分析报告，将包括：a) 预算和计划制定这将审查目前正常计划和预算外资源两方面的预算过程的优点和不足，包括向成员国阐述政策的性质、指标的效率和适当性以及对注重结果的管理进行绩效衡量的实用性及价值。b) 财务粮农组织与其它组织相比财务管理和控制结构的透明度及效率。c) 审计涵盖粮农组织的审计功能、其系统或核实和验证手段的适当性及其与其它组织的这些方面相比的独立性和在粮农组织管理及治理效率方面的指标。d) 人力资源粮农组织人力资源政策的有效性、透明度和公平性；这些政策使本组织灵活保证其以最低费用满足不断变化的需要，同时协助营造一种正面的工作环境所要求的人力资源质量。e) 一般行政管理粮农组织主要行政过程的适当性、相对效率和成本结构，与位于罗马的其它机构相比和对照这些问题如何以及三个机构之间共享服务的各种配置的可能性及所涉及的风险。f) 知识管理粮农组织内部从规划和产生至分配的知识流动，以及终端用户对价值和有用性的看法将予以跟踪和报告。还将寻求效率和效益的指标。I.治 理20. 在5月814日的一周期间，在罗马进行了关于粮农组织治理问题的初步事实认定访谈。在该时间，治理小组组长还参加了计划委员会、财务委员会的会议以及它们的联系会议。紧接5月份核准起始报告以后，为三名核心成员的服务签订了合同，并为两名治理顾问的补充专业指导和某些同行评审做出了安排。自那时以来，开展了以下工作：a) 在数据收集和分析方面已经并在继续做出大量努力。这包括学术和工作研究文献以及对多边机构治理问题的较具体研究和评价。这是一个广泛和迅速变化的领域，经常出现“良治”及“最佳做法”的新概念和评估正在继续分析及综合文献的工作，以便能够系统地评估其与粮农组织的相关性。b) 到罗马进行了另外两次访问，包括：i）整个治理小组的一次详细工作规划会议（6月1420日）以及一轮半结构性访谈。在这次会议上，小组确定并商定了一系列将要处理的重要事项和问题、处理这些问题的方法和共同方针以及总的工作计划。设计了问卷，并开始对粮农组织领导机构决策的性质、质量、方式和清晰程度的分析；ii）7月25日与组长和核心小组其它成员协调了国家访问和总的工作计划。 c) 作为上述访问的一部分，与总干事和副总干事、粮农组织各部和各司的所有首长、理事会主席、计划和财政委员会主席及若干成员、七十七国集团主席、区域小组主席和成员、粮农组织理事会其它成员、粮农组织若干委员会的秘书处、一些高级官员（在职和已退休）以及其他有关的利益相关者和治理事项的研究人员进行了专门关于治理问题的访谈。对拉丁美洲区域办事处进行了首次访问，主要是为了收集对粮农组织所面临的区域范围的问题及其对粮农组织治理可能影响的评估。21. 在上述许多访谈中出现了一些重要问题和事项。这些包括全球治理问题和与粮农组织内部治理相关的问题。例如，提出了关于在一个已经发生很大改变的外部环境中粮农组织在治理全球粮食和农业问题中的适当位置的问题。这些与关于如何应对大量新的农业和营养挑战、对贫困人口和贫困国家福利的机遇和威胁的问题结合在一起。这些包括应对成功贸易和获得市场、私营部门在有关国际农业贸易的规则、标准和规范中的优势、获取有效政策选择需要的知识和科学、与贸易有关的知识产权的作用和一般知识产权等不断变化的要求。鉴于这种情况，粮农组织应发挥何种适当作用以及适合这种全球责任的治理结构如何?22. 在更详细的层面，提出了一系列关于粮农组织领导机构现有结构是否适当和有效、这些与包括联合国其它专门机构在内的其它国际组织相比的情况及效果如何以及一系列建议的变革是否将提高粮农组织的威信、效率和效益等问题。23. 在6月14日一周的会议上准备和商定的治理小组的工作计划侧重于这种对问题的双重配置。全方位的结构和半结构访谈、问卷、焦点小组讨论和比较分析是该工作计划的一部分。还为发展中国家和发达国家的访问确定了问题。工作计划还将进行：a) 对粮农组织一些领域治理的具体个案研究，一如本报告前面指出的那样。b) 对治理与管理之间的关系的仔细三角审查和评估。c) 根据权力下放过程对区域办事处职能和组织的治理影响的评估。d) 对治理与财务预算编制之间的连贯一致的分析将力求说明资金分配的各种形式（尤其是核心和预算外资金）决定本组织目标和重点的程度。e) 正在研究基本文件中规定的粮农组织领导机构的结构和作用对现有职能、做法和现实是否适当。J. 评估粮农组织内的评价功能24. 独立外部评价注意的另一相互交叉领域是评估粮农组织内的评价功能。该功能为本组织工作内的治理监督和组织学习二者服务。一项审查将研究评价的各个方面，包括其对政策制定、效率和计划效益的贡献；以及与其它多边机构的评价功能比较和对照情况如何。K.粮农组织在多边系统中的作用25. 多边小组包括三名非常资深的个人，他们拥有在政府、国际组织及学术机构中担任高级职位的各种背景和经验。26. 该小组于7月上旬在罗马开会。除了确定和开始绘图工作以外，该小组与粮农组织职员进行了访谈，确定了其工作的具体范围及分工，包括其成员如何及在何处参与实地访问并规划了其后勤方面的工作。工作正在开展中。27. 独立外部评价必须考虑到自粮农组织在60多年前成立以来国际环境出现的广泛变化。正在准备一份概况文件，该文件将阐述这种不断变化的全球环境以及粮农组织与作为伙伴和竞争者崛起的许多新角色的关系的性质。它将反映所面临的问题的不断变化的性质和新旧环境之间的冲突，然后评估粮农组织是否适应这种新的环境。28. 认识到这种情况并为了确保相关性，