卫生项目的监督和评价讲义PPT课件.ppt

卫生项目的监测和评估 浙江省卫生厅刘谷琮 1 项目的定义及特征 项目是指一项在规定时间内为完成某种目标而进行活动的总称 主要特征是 目标的明确性 可以检查评价 时间的局限性 规定时间完成 组织的整体性 多方参与 明确分工 协同作战分生产建设项目与公共项目两大类 2 项目的定义及特征 项目是指一项在规定时间内为完成某种目标而进行活动的总称 主要特征是 目标的明确性 可以检查评价 时间的局限性 规定时间完成 组织的整体性 多方参与 明确分工 协同作战 3 公共项目及其特点 公共项目是指主要由政府兴办的为社会提供公共服务 以创造社会效益为主的公益性建设项目 如 城市给排水 科研 文化 教育 卫生 体育 环保等 具主要特点是 服务性 满足社会物质文化和提高群众素质需要 不以盈利为目的 公共性 为全体居民共同享用适应性 与当地经济社会发展相适应配套性 与生产建设项目配套规划 同步进行 4 世行中国卫生项目简介 综合性卫生政策与发展项目 区域卫生发展 农村基本卫生服务等某领域的卫生改革与发展项目 农村卫生人力 计划免疫 妇幼保健 高等医学院校教育改革等某一疾病的控制项目 血防 结核病 爱滋病 非典等 5 综合性区域卫生发展项目 1988 1997 A领域 规划与信息管理B领域 疾病监测与控制C领域 健康教育D领域 妇幼保健E领域 急救服务F领域 医院服务G领域 康复服务I领域 设备维修与管理 6 中国农村贫困地区基本卫生服务项目 1998 2007 A领域 规划 管理与卫生基础设施建设A1实施县卫生资源规划A2改造乡镇卫生机构A3改进卫生部门管理信息系统B领域 改进卫生服务提供B1改善乡级卫生机构服务质量B2支持重点卫生干预C领域 试行合作医疗C1合作医疗制度C2特困人口医疗救助D领域 项目协调与支持 7 卫生项目的共同特性 以提高群众健康水平为根本目的与当地经济社会发展相适应以社会需求为主要依据 重点解决居民获得基本卫生服务把有限的卫生资源主要用于保证薄弱领域 薄弱环节与弱势人群讲求整体效益 注重社会受益程度 8 项目监测评估的概念 监测评估是项目的重要组成部分 是检查与促进项目顺利发展的主要手段 它是对正在实施项目的运行状态进行客观估量 判断已经结束项目的目标实现程度 影响力和可持续性的一种工具 9 项目监测评估的作用 获得最新的项目进展信息 对即将开展和正在进行的项目作出改进 对各种实施方法作出最好选择 更好明确和落实各方的责任 判断项目的政策与举措的实施效果 影响力和可持续性 10 项目监测评估的特点 贯穿项目从设计 计划 实施乃至完工的全过程 始终为了实现项目既定的目的与目标 努力做到客观 真实 公正 需要有可信的信息支持 选择科学实用的技术方案 11 项目监测评估的类型 前评估 检查项目的相关性 必要性 可行性及预期的风险 又称 评估性评价 监督与监测 检查项目按计划的运行状态 中期评估 收集项目的早期绩效 提出相应改进措施 终末评估 全面检查项目运行结果 衡量项目目标的实现程度 又称 总结评估 影响评估 考察项目结束数年后的远期影响 又称 后评估 12 项目监测与评估的区别 项目监测 关注重点是进度以及走向 即 项目是否沿着预先确定的目标和方向顺利发展 是项目管理过程的经常性工作 项目评估 关注重点是项目实现既定目标的程度 影响力和可持续性 13 项目监测的定义 项目监测是一种持续性的职能 其目的是为项目管理机构和主要利益相关各方及时提供的进展状况 使其判断和评价项目的潜在问题 预测项目的成功已否 并为重大问题的改进提供依据 用于调整项目的设计方案 执行方式 以及提高结果的质量 世界银行学院 围绕项目管理的监测与评估 14 项目监测的类型 项目监测是一项持续性的项目管理工作 可与卫生行政管理有机结合 项目监测分为自我监测和接受上级监测多个层次 上级部门监测又分卫生部门内部监测和出资人与相关部门的联合监测等 15 项目监测的主要内容 政府对项目的领导与协调 建立领导组织和协调机制 决策项目重大问题 出台相关政策 落实项目筹资等 项目主要进展 项目资金投入方向 领域 形式 土建设施改善 卫生人力开发 重点干预活动 技术支持程度等 供方服务行为 覆盖范围 可及程度 提供服务数量 品种 质量的变化 需方服务可及 可负担及对服务满意度的变化 项目日常管理 管理机构人员编配 职责分工 建章立制 信息管理 物资采购 财务运行等 16 项目监测的主要步骤 监测计划的制定 监测实施的准备 监测的实施 监测的总结 监测结果的反馈及整改 17 项目监测的计划制定 工作目标 项目实施的进程和方向 重点内容 对照项目计划检查项目实施进度 质量 出现的问题及发生原因 不同项目单位 项目不同阶段可以有不同重点 衡量指标 通常运用项目制定的监督监测指标 主要是投入指标和过程指标 监测频度与时间 因不同层次而异 经费预算 列入项目年度经费预算 18 项目监测的准备 人员组成 出资方 管理方 技术专家 民意代表等 资料准备 项目主要文件 监测对象的上报资料 项目常年收集的监测指标 用于监测的空白表册等 适当培训 特别对初次参与者 内部分工 制定具体日程安排与行程路线 19 项目监测的实施 主要形式 进展交流 查阅资料 现场考察 技术工具 信息分析 个别访谈 现场观察等 20 项目监测的总结 监测总结是监测组内部的一项目重要活动 根据内部分工汇报各自的发现和见解 进行由粗取精 弃伪存真 由此及彼 由表及里的分析 统一认识 形成总结框架 总结主要包括 监测组工作过程 主要成绩 存在问题 改进建议 致谢等 21 项目监测的反馈与整改 反馈过程要体现充分沟通 平等协商 指导邦助的氛围 把检查工作 总结经验 发现问题 进行指导 研究对策紧密结合 反馈可采取多种形式和途径 如 口头 书面 督导意见 备忘录 把整改作为监督监测的落脚点 22 项目评估的定义 评估是对项目进行客观和系统的评价 检查项目与明确或隐含的标准比较是否正在达到或已经达到既定目标 除了促进项目的改进 评估还能帮助确定项目活动的意义以及鉴别项目组成部分的优缺点 评估既可以是项目内活动 也可以是项目外活动 世界银行学院 围绕项目管理的监测与评估 23 项目评估的基本要求 有用性 评估结果应该清晰有序 反映用户的需求 公正性 客观正确反映项目的真实状态和结果 外部评估要保持评估的独立性 可信度 评估人员必须对项目有深入的了解 有能力进行社会研究并提供正确的评估信息 向利益相关者通报评估过程有利于确保评估的透明度和可信度 出资方的参与 在评估的每个阶段 评估方与出资方必须充分交流意见 24 项目评估的标准 相关 项目的合法性和必要性 有效 效益 项目的直接效果 效率 项目本身的成本效益 运行过程中的效率 影响 项目的间接和长远影响 积极 消极 意料中 意料外 可持续 项目结束后项目目标 策略的可继续性 OECD发展援助委员会 DAC 评估标准 25 项目评估标准与类型 前评估 相关中期评估 有效 效益效率期末评估 有效 效益影响后评估 影响可持续性 26 逻辑框架 项目评估的重要工具 逻辑框架是对项目的简明描述 以框架形式展示项目各个组成部分之间的相互关系 活动原因与结果 逻辑框架帮助我们了解项目的设计思路 了解项目各组成部分的因果关系 为我们理解项目为什么这样做 做了什么 产出了什么 结果如何提示逻辑关系 27 项目逻辑框架的内容 投入 资源 运行 项目活动内容 产出 产品和服务 成果 目标群体受益情况 影响 最终效果 项目目标实现程度 逻辑框架一般以矩阵形式排列 28 逻辑关系举例 人们的生活质量提高人们健康状况改善注意健康的行为增多 更多的人戒烟 更多的人掌握戒烟知识提供戒烟咨询和帮助财力 教员 设备 影响 结果 产出 项目内容 资源投入 29 项目评估的主要步骤 任何类型的评估都遵循一个基本程序 即 评估项目的计划 实施和报告评估结果及运用 30 项目评估的计划阶段 确定评估的问题 选择评估的设计 确定测量指标和测量方法 制定收集数据的策略 确定数据分析的方案 31 确定项目评估的问题 确定评估问题是评估计划的第一步 评估问题引导评估的方向和结果 评估问题的确定必须与利益相关各方协商达成一致 确定的评估问题必须与项目目标密切相关 具体 清晰 突出重点 可测量 32 评估问题的类型 描述型问题 描述项目现状 提供事件发生的概要 发生了什么 标准型问题 根据标准将事物的现状与其理想状态进行比较 是否实现了项目目标 影响型问题 用下列方法测量项目运行的结果 逻辑关系 项目实施与项目目标之间的联系有意义 时间顺序 项目实施在前 结果在后 其它因素的排除 确定变化是由项目引起 而不是其它因素 项目是否引起了变化 33 评估问题类型举例 描述型问题 项目地区成人吸烟率项目地区儿童计划免疫接种率标准型问题 项目地区成人吸烟率比全国低多少项目地区儿童计免接种率比项目实施前提高多少影响型问题 健康教育是否降低了成人吸烟率计划免疫是否降低了儿童传染病发病率 34 项目评估问题的来源 项目逻辑框架 政府 出资方的协定 文件 包含监督评价指标的项目报告 项目受益群体的意见 技术专家建议 35 设计项目评估方案 设计方案是为了能正确显示项目获得的预想结果或长远效果 不同类型的问题需要选择不同的设计方案 在回答影响型问题时 要特别关注评估设计的分辨力在多大程度上可以判别看到的效果是项目带来的 36 评估方案设计的种类 实验设计为标准实验 通过随机分组保证两组样本的可比性 是解答影响效果的最佳设计方法 但是样本不可能选择很大 准实验设计 近似 标准设计 两个样本组不是完全随机选择的结果 但是其相似之处能保证两组的比较是有意义的 非实验设计用于没有对照组设计 没有项目前本底资料的评估设计 37 评估问题与评估设计的关系 描述型问题 非实验设计准实验设计标准型问题 准实验设计非实验设计影响型问题 实验设计准实验设计 38 项目评估的测量方法 评估项目的进展或结果 需要有正确定义的指标 指标是指某一事物的水平和程度 选择测量指标时要明确 评估关心的问题是什么 怎样才能找到问题的答案 需要什么样的数据 39 制定测量指标的方法 先从已有的项目监测指标中选择 新建指标的确定 关键词 范围 测量值例如 全县乡镇卫生院参加培训的人次健康教育后吸烟者对吸烟危害的知晓率 40 与测量有关的问题 测量指标是否与评估主题有关 测量指标是否为最重要的 测量方法是否可靠 稳定 测量结果是否真实 有效 测量是否对准目标人群 41 数据收集与选择 利用现有数据 项目文档 常规卫生统计报表 项目监测指标 数据库 项目进度报告 会议记录 国家和省级相关统计报告等调查表法 为项目评估需要的卫生资源 卫生需求 卫生服务调查社会学评估 问卷 访谈 小组会 观察 个案分析 42 数据分析方法 定量数据分析描述性方法 单个变量 相关性方法 两个及以上变量关系 确定性方法 回归 定性数据分析内容分析 归纳分析 逻辑分析 43 评估结果的报告与应用 撰写评估结果报告是项目评估最后一项重要活动 其中也包括报告的应用及项目经验的推广 44 评估报告的基本组成 一 引言二 评估的目的 评估研究的背景 评估项目简介三 方法 评估方法 主要评估问题 方案 测量分析方法四 主要发现有选择地 清晰地介绍数据和信息五 结论与主要评估问题相呼应六 建议保证相关论据的支持七 附录 45 一份好的评估报告 尽可能达到可发表 出版的标准 清晰的逻辑和条理性 分析思路和数据表达易于理解 提出可靠而有趣的结论 在报告中提出合理的建议 明确地回答问题 行文简洁 版面美观 前后呼应 46 评估报告常见的问题 行文拖泥带水 八股式的陈词滥调 背景交代不清楚 几乎没有分析 只有描述 结论陈腐 与证据不符没有回答 解决任何重要的问题 事实出错 缺乏创意 不能引起阅读兴趣语法错误 结构