监控与评价(ME)系统的介绍.ppt

监控与评价（M&E)系统的介绍 姜世闻 中国疾控中心结核病预防控制中心 2005年 12月19日 哈尔滨 主要内容 lM&E的定义 lM&E的作用 lM&E的框架 lM&E指标的选择 lM&E指标的利用 讨论概念或定义的关系 l监控 l评价 l督导 l监测 M&E的定义 监控与评价是 综合利用社会科学和流行病学研究方法来评价 规划或规划的某一部分的实施情况及效果，改 善并高质量的实施规划。 直观地讲其目的是 评价规划实施的投入、进程、结果和效果 ，发现存在的问题，总结经验和教训、提 出改进规划的建议，确保规划的质量。 u监控（Monitoring）是利用投入(input) 、过程(process)或活动( activity)、产出 (output)的资料，常规进行追踪规划的进展 。 u评价（Evaluation） 过程评价：衡量规划的质量和 完整性。 结果（outcome）和效果（impact）的 评价：衡量规划对目标人群的结果和 效果。 u督导(Supervision, field visiting) l督导是指上级规划管理部门对下级规 划实施单位结核病控制工作的督察和指导。 l 督导活动是规划管理的重要内容。是现 场调查研究、现场评价、现场指导、现场培训和反 馈的过程。 u监测（Surveillance） 常规或专题调查搜集流行病学资料追踪疾病 的流行趋势，为评价服务的。 M&E的作用 M&E与质量保证 质量保证 （Quality Assurance,QA） l质量是一种标准，反映结核病规划效益和 效用，使供方和需方都得到满意。 l质量保证：为保证质量而建立一系列指标 ，并及时评价，提出改进问题的对策，来 改善规划的效益与效用。 2.质量标准 3.监测标准 4.监测评价 5.重点问题 6.确定问题 7.问题的责任方 8.分析原因 9.提出决定 10.实施决定 1.计划 质量保证 循环图 监控和评价计划的重要成分 l清晰的规划目的及目标 （可以基于10年和5结核病控制 规划和实施计划） l为达到每个规划目的明确的实施策略（如遏制结核病策 略（Stop TB Strategy 包括DOTS策略)、TB/HIV策略 、MDR-TB策略等） l一个描述了投入、过程、产出、结果及效果之间关系的 监控和评价框架 l选择定义清楚的指标及如何定义的、如何收集及如何分 析的信息 l简述参与监控和评价的伙伴（如不同的项目或组织）的 协调，包含他们的要求及贡献 l分享和利用监控和评价结果的措施 M&E是规划或项目管理的主要内容 l领导、机构、项目进程管理 l财务管理 l设备采购与管理 lM&E M&E的重要性的概括 在日常的卫生规划管理M&E是非常重要 l为规划管理者确定策略、设计计划、组织 实施，以及确定人力和财力资源提供信息 。 l追踪是否达到了目标，如果没有就要在中 期进行修订或调整。 质量框架 系统模型 过程 Process 投入 Input 产出 Output 如果按照计划进行投入，可以开展活动 如果按照计划开展活动，可以获得产出 如果按照计划获得产出，可以获得结果和 效果 结果和效果 Outcome impact 监控和评价框架 l活动（过程）需要什么投入 l从活动期望什么产出 l由投入、过程及产出产生的什么短期和长 期结果 l预期规划所产生的作用 投入 过过程 产产出 结结果 作用 政策环环 境 指南 人力资资 源 财财力资资 源 基础设础设 施 机构 督导导活 动动 培训训 结结核病 药药品的采 购购及发发 放 痰菌检检 查查 健康促进进 活动动 收集信息 交流 发动发动 高质质量的痰 镜检镜检 服务务 提供规规范治 疗疗 有效的病人 管理 不间间断地高 质质量的药药品 供应应 知识识、信念 和行为为完善 减少歧视视 病人发发 现现 70% 治愈率 85% 减少感染 率 减少患病 率 减少发发病 率 减少死亡 率 保证质量的痰标本显微镜检查 投入过程产出 产品/机构指标产品/机构指标产品/机构和指标 制订痰标本镜检及EQA指南国际认可的痰标本镜检指 南的实用性 痰标本镜检培训地市级或者县级实验 室人员接受痰 涂片镜检培训 的百分比 有质量保证的痰涂片镜 检机构 地市级或者县级实验 室人员接受痰 涂片镜检EQA培 训的百分比 指标：符合EQA结果的有 质量保证的痰涂 片镜检实验室的 百分比 开展镜检和EQA的人力资源各级具有开展镜检和EQA足 够人员的实验室百 分比 对病人进行痰涂片镜检对病人进行痰涂片镜 检的实验室百 分比 开展镜检和EQA的经费各级可以得到开展镜检和 EQA的经费的百分比 对实验室痰涂片镜检进行 EQA（盲法检查） 按照指南进行EQA的 实验室百分比 各级可以得到足够开展镜 检和EQA经费实验室 的百分比 完成实验室常规督导和标 准片阅读 按照指南被督导的实 验室百分比 建立提供有质量的实验室 试剂和材料的实验 室 提供有质量的实验室试剂 和材料的实验室百 分比 按照EQA结果的分析进行有 目的的访问及干预 完成对EQA不好的县/ 地市参观的百 分比 对痰标本镜检的EQA进行数 据报告 完成全部EQA报告的 地市和县的百 分比 提供有效的治疗管理 投入过程产出 产品/服务指标产品/服务指标产品/服务和指标 有关病人管理机制及 方法的指南 适合国家NTP的病人 管理指南 根据国际标准，制 定适合国家NTP 的有关病人管 理指南 指南完善的、有效的病人 管理 对负责管理病人的人 员，进行培训 接受病人管理培训的 县级人员比例 接受标准管理的病人 比例 投入充足的人力资源 ，保障所有病 人得到有效的 管理 各级负责病人管理工 作的人员数量 （或比例） 进行病人管理平均每个人员所管理 的病人数 所有的病人的治愈率 平均每个病人接受有 效管理的次数 经费投入各级投入用于病人管 理工作的经费 数量 激励各级人员对病人 进行有效的管 理 接受有效管理的病人 数量或比例 及时发放病人管理费 的比例或数量 获得治愈的病人数量 提供交通工具（督导 车辆） 各级所需交通工具的 数量 对病人进行常规督导不能正常维持病人管 理工作的单位 数量 能有效使用交通工具 的单位数量 提供免费的标准化治疗 投入过程产出 产品/服务指标产品/服务指标产品/服务和指标 制定并下发关于免费及采取标准 化疗方案的文件 文件规定内容的可行性各地转发、学习相关文件%的机构已接到相 关文件并开 始执行 治愈病人 免费对象的标准及化疗方案的标 准及操作手册 标准和操作手册的实用性对各级结防机构的门诊医生 及督导员进行培训 %的单位开展了培 训 %的病人接受了免 费的标准化 疗 %的门诊医生及督 导员接受了 培训 %的接受标准治疗 的病人被治 愈 有充足的人能够准确的为病人提 供标准化疗，并能够区分 哪些病人应该被免费 每个单位门诊医生及督导 员的数量 对病人开展免费的标准化疗接受免费的病人数 量占应接受 免费病人数 量的百分比 （%） %的门诊医生及督导员能 够准确的执行这项 政策 %的病人治疗方案 正确 资金保障提供给病人免费治疗的资 金占实际需求资金 的百分比（%） 对病人开展免费的标准化疗接受免费的标准化 疗的病人数 量 提供给病人免费治疗的资 金占全部提供资金 的百分比（%） 化疗覆盖率 设备保障（包括门诊屋、药库、 X光机等） 能够有相应设备对病人进 行治疗的单位数占 全部机构数的百分 比（%） 收集、报告治疗病人的数据%的县级单位报告 了病人治疗 情况 不间断提供有质量保证的药物 投入过程产出 产品/服务指标产品/服务指标指标 计划年度药品供应计划需求测算；调整药品需求测算的准确 性；药品调整 的及时性 持续、不间断的药品 供应 药品管理指南可操作性、实用性对各级结防机构的药 品管理人员进 行培训 开展培训的单位数免费抗结核药品缺货 时间的平均百 分比； 接受培训人数接受正确治疗方案的 结核病人百分 比。 药品管理人员各级有固定人员负责 药品管理 各级药品管理人员职 责 人员考核情况 经费保障可持续性；经费来源 和数量 采购药品采购药品数量 药品管理药品管理制度药品储存、发放和出 入库管理 免费抗结核药品过期 或破损的百分 比； 帐物相符率 报告信息系统建立药品报告信息系 统 及时准确报告药品管 理信息 正确报告各类药品的 平均百分比 结核病健康教育 投入过程产出 产品/服务指标产品/服务产品/服务指标 健康促进策略的出 台 与国际接轨符合 中国国情的 策略 培训各级人员省、地/县/ 乡/村三 级健康 教育人 员的培 训比例 结核病特定 知识知 晓率 工具箱的开发及更 新 责任明确的工作 计划 各级开展宣教活 动 各级宣教活 动完成 率 结防机构与其他部 门的协调 人均经费各部门开展宣教 活动 各部门宣教 活动的 完成率 经费的投入 作为日常督导工 作的内容之一 各级督导率 健康教育效果评 价 特定调查完 成情况 M&E指标内容 内容 质量特 点指标标准 计算方 法 资料来 源负责人时间 投入 经费 保证工 作需求 专项经 费到位 率100% 实际到 位数/ 应到位 数季报表 单位领 导每季度 机构 机构能 力满足 工作需 求 结防机 构组建 率100% 已建机 构数/ 应建机 构数 专题调 查 单位领 导不定期 活动 培训 提高村 医防治 水平 村医培 训率100% 接受培 训数/ 村医数季报 负责培 训人员每季度 督导 及时高 质量的 督导活 动 督导完 成率100% 督导县 区数/ 应督导 县区数季报 负责督 导的人 员每季度 产出 病人发 现 尽可能 多地发 现病人 初诊病 人占人 口的比 例 3 初诊病 人数/ 人口季报 领导/ 门诊医 生每季度 病人治 疗 使确诊 的病人 接受治 疗 新涂阳 病人接 受治疗 率 %95% 接受治 疗数/ 登记数季报 门诊医 生每季度 内容质量特点指标标准计算方法资料来源负责人时间 结果 病人发现 尽可能多 地发现病 人 病人发现 率 70% 发现病人 数/发病 数季报 领导/门 诊医生每季度 病人治疗 使病人得 到治愈 新涂阳病 人治愈率 %85% 治愈数/ 登记数季报门诊医生每季度 效果 患病率 尽可能多 地发现病 人 初诊病人 占人口的 比例 下降一半 患病人数 /检查人 数，或加 权计算专题调查 领导/专 业机构不定期 死亡率 使确诊的 病人接受 治疗 新涂阳病 人接受治 疗率 % 下降一半 死亡数/ 检查人数 ，或加权 计算专题调查 领导/专 业机构不定期 选择指标 l基于规划目的和目标 l考虑指标的实用性 （能够实际衡量你感兴趣的变化或进展） l考虑数据收集的可行性（费用和实际性） l考虑可比性 （不同时间和跨地域是可比的） l考虑在哪个级别使用 （国家和省或下级） 选择指标(indicator)的标准 合理 指标应该衡量想要获得的状况或结果 可信 用多于1种方法测量同一状况或结果产生相同的 结果 特异 是衡量计划的状态或结果 敏感 能够反映观察下的状态或结果的变化 可操作 按照规划起草和实验并有参考标准的定义进行 计算 可提供 测量指标的费用是可以提供的 可行 按照计划能够进行信息的收集 可比较较 应该是可比较的，包括时间、地理等条件 四、资料收集的方法 完善的监测评价体系，缺少不了完整 的资料，而好的资料又来源于优秀的收集 方法。即力求于方便、易行，便能获得有 效资料的方法。在结核病规划监测体系当 中，主要存在三种方法： （一）利用规划报表 我国现行的结核病防治规划报表包括月报、季报和年报。 l月报表涉及内容主要有病人发现、登记报告，以及病人 转诊追踪情况。作为常规报表，月报表为结核病规划提 供了最基本的连续型资料，能及时反应各级的病人发现 工作； l季报表要求各级（省、地市和县级）在每季度初上报上 季度的工作情况，该表涉及内容广泛，包括病人发现、 治疗管理、治疗转归、药品供应、培训工作等各个方面 。利用季报表是目前获得资料，开展结核病监测工作的 重要方法之一。 （二）现场督导 报表中得不到的信息，常常利用现场督导 的方法获取。例如： l病例记录的质量、实验室的操作、涂阴病 人的诊断质量、DOT的质量、医院的漏报 等。 l基层对有关工作的建议。 （三）通过现场和专题调研 l在开展监测评价工作当中，往往需要一些专题资料，如 设备使用状况、工作人员配置情况，项目经费支出情况 等资料。对于这些资料的收集，可采用现场调查和专题 调研的方法。具体通过现场观察、询问或下发文件的形 式获得第一手资料。 l结核病控制效果的评价常使用患病率、知晓率等专题调 查。 l通常来说，使用该方法应先针对所需资料设计好调查问 卷或调查表格，以方便资料获得。 （四）回顾现有资料 l我们在对资料进行分析，通常要使用既往资料作比较。 对于这些资料，收集方法主要通过文献检索、期刊查询 等。随着电子网络的日益普及，这些资料均可通过网络 快速而准确地获得，同时，一些基本资料（如年度人口 数、人群年龄分布等）也可通过网络信息轻易得到或更 新。 l值得一提的是，我国结核病规划已于2004年启动了疾病 监测信息报告系统（即大疫情网络直报系统）和结核病 专报系统，随着该两个系统的完善，我们结核病规划所 需的大部分资料可通过其直接获得。 指标的特点 l有清晰的定义 l正确的计算公式 l对结果有明确的解释，优点与不足 l收集的方法或资料来源 l收集的频度 新涂阳病人任务完成率 l定义：指一定地区，一定时间（一年），在一定人群中发现和登记 的新涂阳肺结核病人数占年度计划发现新涂阳人数的百分比。 l公式：发现和登记的新涂阳肺结核病人数/年度计划发现新涂阳人 数100 l评价：此指标反映该地区新涂阳肺结核病人发现的情况，可以对病 人发现任务进行量化评价。涂阳肺结核病人发病率的估算是关键， 即估算的新涂阳肺结核病人发病率比实际偏低，发现率会偏高，反 之则偏低。 l资料来源：月报表、季报表和网络专报资料 l收集频度：月度、季度 l适用级别：国家、省、地（市）、县（区） 帐物相符率 l定义：指结防机构库存的免费抗结核药品实际数与库存记录相符程度的平均百分数 。 l公式：库存的免费抗结核药品实际数/库存记录*100 l一种药物帐物相符的计算方法：根据药品出入库登记本中的记录获得当前库存的该 药品数量，对库存的抗结核药品进行现场清点，记录该种库存药品的数量（过期药 品不计入），若库存记录与现场清点记录一