健康促进规划的评价ppt.ppt

第十二章 健康促进规划的评价,评价(evaluation)：是把客观实际与可接受标准进行比较。 规划评价：是全面检测、控制、保证规划方案设计先进性、是否实施成功并取得应有效果的关键性措施，贯穿于规划设计、实施和评价的始终。,评价研究的注意事项,提高规划设计与评价水平 增加社会学家、行为学家和生物医学家的合作 提高与改善政策分析 规划目标的定量化 制定实践标准 改善测量指标,第一节 规划评价的目的,规划评价工作存在的误区,1、规划设计者没有把评价设计列入总体规划，在规划中没有明确的目标和目的，没有进行基线调查，使评价工作无法实施； 2、认为评价工作是耗时、耗费的工作，由于项目资金有限，而忽视了评价工作； 3、认为行为与环境的干预需要很长的“潜伏期”方可发生改变，或一经改变也不持久，难以评价；,规划评价工作存在的误区,4、自行设计的评价标准与专业标准不统一； 5、在实际工作中难以确定因-果关系，效果难以确定； 6、缺少评价专业人员或专业人员中途离去； 7、领导者为了节约开支，增加项目效益而对规划评价不予考虑。,规划评价的目的,1、确定健康促进规划的先进性与合理性。 2、明确健康促进活动的数量与质量，确保健康促进是否适合目标人群，各项活动是否按规划进行及资源的利用情况。 3、确定健康促进规划达到预期目标的程度及其影响因素。,规划评价的目的,4、总结健康促进项目的成功与不足之处，提出进一步的研究假设。 5、介绍项目结果，扩大项目影响，改善公共关系，取得更多的支持与合作。 6、向项目资金提供者说明项目结果，完成合同的要求。,第二节 规划评价的内容,评价的核心内容,阐明当地实施规划活动的质量和效率、规划中设定的目标是否达到以及达到的程度，也为领导和群众提供有价值的反馈信息。,评价结果的作用,用以改善现有的规划； 决定是否终止现有规划或扩大规划； 为设计新的规划提供科学依据。,评价的目的 内部评价、外部评价 所应用的投入、过程、输出指标是否合适、可行、贴切？ 如何保证评价的正确性和可靠性？是否匿名？ 邀请谁评估结论的正确性和可靠性？ 评价的结果送给谁？ 评价结果以什么方式发布？,评价策略,健康文化的评价 社会行动和影响的评价 健康公共政策和组织改革 健康生活方式和条件的评价 有效的健康服务评价,评价内容,6、健康环境的评价 7、社会结果的评价 8、健康结果的评价 9、能力建设结果评价,评价内容,第三节 规划评价的类型,完整的评价包括,形成评价 过程评价 效果评价 总结评价,形成评价（formative evaluation）,指在规划执行前或执行早期对规划内容所作的评价，包括为制定干预规划所作的需求评估及为规划设计和执行提供所需的基础资料。,形成评价（formative evaluation）,目的 1、通过需求评估以了解所制定的规划目标和干预措施是否合适； 2、规划实施前对靶人群的了解，以决定适用于该人群的最佳干预方法； 3、产生新观念，探索新策略。,形成评价（formative evaluation）,目的 1、通过需求评估以了解所制定的规划目标和干预措施是否合适； 2、规划实施前对靶人群的了解，以决定适用于该人群的最佳干预方法； 3、产生新观念，探索新策略。,形成评价的内容,1、了解目标人群对各种措施的看法 2、选择教育信息作预试验 3、了解教育资料发放系统 4、通过调查获得有价值的信息 5、通过预调查修改问卷项目 6、提供定性资料为定量资料作解释或说明 7、发现实施早期阶段可能出现的问题,过程评价（process evaluation）,1、测评的是投入、活动和产出过程。 2、包括对规划的设计、组成、实施过程、管理、工作人员情况等进行评价。 3、是评估项目活动的质量与效率，而不是评估规划的效果和行为效应，目的在于控制规划质量，因此又称为质量控制或规划质量保证审查（quality assurance review， qar）,过程评价内容,1、评估规划实施情况并随时了解现场反应。 2、评估工作人员工作情况。 3、项目预试验。,过程评价方法,1、直接观察各项干预活动。 2、专题讨论法。 3、抽出少量目标人群，了解他们是否得到有关信息。 4、记录各项活动，提供动态变化。,效果评价（effectiveness evaluation）,效果评价内容 规划评价的目的是确定干预的效果，规划效果评价有： 近期和中期效果评价 结局评价,近期和中期效果评价,又称效应评价，是规划评价的重要内容。评价的重点在于规划或规划的某方面对参与者的知识、态度、行为的直接影响。主要评估： 有关健康行为的倾向、促成、强化因素改变的程度。 相关行为改变的情况 政策、法规制定情况,结局评价,也称远期效果评价，指评价健康促进规划的最终目的是否实现。包括： 效果：即规划对目标人群健康的影响。 效益：指规划改变人群健康状况所带来的远期社会效益和经济效益。 成本效益和成本效果。,效果评价方法 1、在干预组或社区中重复横断面调查，提供基线与随访资料，以评估在某特定时期内行为改变情况。 2、在靶人群中建立哨点监测发病情况，干预前后作对比，最好设对照组。 资料收集方法 可采用定量与定性资料相结合的方法收集资料。,总结评价（summative evaluation）,是指综合形成评价、过程评价、效果评价以及各方面资料作出总结性的概括。 总结评价从规划的成本-效益、各项活动的完成情况作出判断，以期作出该规划是否有必要重复或扩大或终止的决定。,评价研究（evaluation research，er）,即以研究为核心目的的健康规划，目的在于验证研究假设，揭示教育干预和结局之间的因果关系，从中获取可推广到其他场所或相似人群的理论知识和方法。,评价研究（evaluation research，er）,研究者要充分考虑内外两方面的效力： 内在效力：规划效果直接归因于教育措 施的程度； 外在效力：归因于干预的效果能推广到 相似人群或场所的程度，并力求得出 有说服力的结论。 使用随机、对照、盲法的设计原则。,第四节 规划评价设计类型,根据评价者是否人为控制所研究因素和评价对象是否随机分组，分为实验、准实验和非实验三类。,一、实验设计（experimental design） 结果的说服力较强，难以实施,实验对象,实验组,对照组,随机分组,干预前,干预后,干预前,干预后,二、准实验设计（experimental design）,1、非随机比较组 干预组和对照组非随机确定，对照组除干预因素外，其他特征与干预组可比，从而控制混杂因素，减少外部误差来源。 2、复合时间系列比较 比较干预组和对照组在不同时间点的变化结果，需进行多次基线调查和追踪随访，因此应注意相同的测量技术。,三、非实验设计（non-experimental design）,既不遵循随机化原则又不设立对照组，因而对实验中的影响因素控制力最低。 单组前后比较 时间系列,单组前后比较,是最简单的非实验设计方案，主要方法是同一对象在接受干预前后的变化进行比较。 观察时间越短越好，评估即时效应。 观察指标不易随时间改变，如知识和技能的变化。,时间系列,必须满足的条件： 1、能建立可测量的时间周期； 2、所测结果稳定； 3、可顺利收集结果资料； 4、可在许多时候进行观察； 5、可在特定时间开展干预并可突然停止。,第五节 影响评价的因素及存在问题,一、影响评价的因素,要特别注意防止偏倚因素和混杂因素的影响，常见的影响因素有： 历史性因素 工作人员和参与者的熟练性 测试或观测的偏倚 测量工具、回归因素 选择偏倚、失访、相互影响,二、评价中存在的问题,健康促进规划评价指标相对无形、潜在， 明确的标准有一定困难。 结局评价难以做到全面实现。 评价指标较难确定特异性标准，定量性 差，主观性较大,妨碍评价正确性的影响因素,月晕效益（halo effect）：其他因素对被研究因素的影响。 评定错误（rating error）：评价者的意向会影