第七章 健康教育评价

1,健康教育评价,目的与要求：了解评价在健康教育项目中的意义；掌握健康教育评价的种类和内容；熟悉评价设计方案和评价结果的影响因素；熟悉成本效益和成本效果分析方法,3,健康教育工作的一般程序,计划实施,项目计划,实施效果,目的性？科学性？可行性？,是否按计划执行？计划是否符合客观实际、是否需要修改、如何修改？目标人群是否满意？,如何？,4,第一节 评价概述,概念,评价,客观实际,预期目标,Vs,6,评价(evaluation)：将客观实际与预期目标进行比较是系统收集、分析、表达资料的过程目的在于确定健康教育计划和干预的价值，为健康教育计划的进一步实施和以后的项目决策提供依据。不仅能使我们了解健康教育项目效果如何，还能全面检测、控制，最大限度地保障计划的先进性和实施的质量，从而也成为取得预期效果的关键措施。,7,一、评价的性质,评价是管理的重要组成部分，贯穿于计划和实施的全过程,始于计划，对计划的科学性、可行性、适宜性进行评价，并对计划实施的进度和质量进行评估。对于干预措施执行后是否达到了预期效果，达到目标程度的评定，是质量监测与控制的重要内容。,8,一、评价的性质,评价的基本原理是比较,只有通过比较，才能鉴别，找出差异，分析原因，总结规律，完善管理，提高效率。,9,确定价值标准是评价的前提,一、评价的性质,评价是对某一特定目标与一个可接受标准做比较。要在一定的价值体系下做出判断，它是一种主观活动，这种价值可以是一种标准，或自身的基线水平，或他人的结果。,10,测量是评价的重要手段，准确的信息是评价成功的保障,一、评价的性质,只有通过对评价指标的定性、定量测量，评价才能得出准确结论。因此，需要有完善的信息系统的支持，需要建立一套科学可行的指标体系及各项指标的测量标准与方法。,11,二、评价的目的和意义,评价的目的,1.明确健康教育计划的先进性与合理性2.确定计划的执行情况3.确定健康教育活动是否达到预期目标4.总结健康教育项目的成功与不足之处，提出进一步的研究假设5.向公众和项目资金提供者说明项目结果，扩大影响，获取更多支持,12,评价的意义,1、保证计划设计和实施的质量。2、科学地说明计划的价值。3、改善计划的手段。4、向公众和资金提供者说明项目实施所取得的结果。5、丰富和充实理论知识,二、评价的目的和意义,13,第二节 评价的种类与内容,14,形成评价,过程评价,近期效果评价,中期效果评价,远期效果评价,计划,实施,效果,效应评价,健康教育过程,健康教育评价,结局评价,效 果评 价,15,对项目计划本身进行的评价，包括目标人群的选择、策略确定、方法设计等，主要发生在计划设计阶段，部分职能将延续到实施阶段。,一、形成评价（formative evaluation）,16,形成评价内容,1.科学性：项目计划的目的是否明确；目标是否合理；目标和指标体系是否一致；实施方案和干预框架是否明确；监督和考核措施及其实施方案是否明确；2.针对性：干预方案是否适合目标人群；目标体系和目标对象人群特点是否一致；3.可及性：干预方式与方法的可及程度和可接受程度；,17,任务：使计划更科学、更完善，符合目标人群的实际情况。作用：最大限度地降低项目失败的风险，避免资源的浪费。方式：主要的评价方式为查阅资料、专家评估或模拟试验。,18,评估计划实际执行情况与计划要求之间的差异。始于健康教育项目实施启动之时，贯穿于计划执行的全过程。作用：即时发现问题，为计划的调整提供科学依据。,二、过程评价（process evaluation）,19,过程评价内容,评估项目活动运作情况,干预是否适合于教育对象、接受程度如何是否按计划干预及干预质量教育材料的发放情况目标人群参与情况是否有信息反馈系统，各项记录完整性和质量如何资源利用情况,20,过程评价内容,项目计划的修改,不成功的干预活动原因分析计划的修改方案修改方案的可行性分析,21,过程评价指标1.项目活动进度指标：,项目活动执行率干预活动覆盖率干预活动暴露率有效指数(effectiveness index，EI)总有效指数(program effectiveness index，PEI),22,过程评价指标2.目标人群满意指标：,对干预活动内容满意度对干预活动形式满意度对干预活动组织满意度对人际关系满意度,23,过程评价指标3.资源使用进度指标：,活动费用使用率年度费用使用率费用进度比,注意的问题：建立完善的质量控制和监测体系以及准确的资料收集方法是过程评价的基础。,24,过程评价实施方法,直接观察各项干预活动社区和目标人群调查举行项目工作者会议：定期举行计划设计者、管理者和执行者联席会议，对项目进展进行阶段性评估。档案追踪：可以了解项目开展情况和组织者及目标人群参与情况。,25,过程评价中的质量控制,过程评价要解决的主要问题是确认项目活动的数量与质量。只有高质量的过程评价才能保证项目目标的最终实现，并为解释项目结果提供有价值的信息。,26,过程评价中的质量控制,内部质控（internal quality control）：主要依赖于项目工作人员在执行项目过程中能准确记录项目活动进行情况。因此，指标的可操作性及其标准至关重要。外部质控（external quality control）：一般由项目以外的、有项目评价经验的专业人员以专家小组审查的方式进行。,27,效应评价即近期和中期效果评价。评估健康教育计划导致的人群健康相关行为及其影响因素（倾向因素、促成因素、强化因素）的变化。,三、效应评价（impact evaluation）,28,效应评价内容11.倾向因素目标行为发生发展的内在基础，包括个人的知识、态度、信念，以及行为动机和意向。项目执行前后人群的卫生保健知识、健康价值观、对健康相关行为的态度、对疾病易感性和严重性的信念、采纳促进健康行为的动机(motivation)、行为意向(behavioral intention)以及自我效能(self efficacy)等发生了什么变化。,29,效应评价内容22.促成因素行为动机和意愿得以实现的因素，即实现或形成某行为所必须的技能、资源和社会条件。目标人群实现促进健康行为所需要的个人保健技能、环境条件、卫生保健资源、服务、技术等方面的变化。,30,3.强化因素那些在行为发生之后提供持续的汇报或为行为的维持和重复提供的激励。与目标人群关系密切的人、公众等对目标人群采纳促进健康行为的支持程度、个人感受等方面在项目前后的变化，如同伴的评价、家人的理解、公众舆论等。,效应评价内容3,31,4.健康相关行为项目实施前后目标人群健康相关行为发生了什么样的改变，各种变化在人群中的分布如何。,效应评价内容4,32,卫生知识：均分；合格率；知晓率（正确率）信念：持有率行为：流行率；改变率环境、服务、条件、公众舆论等方面的改变如安全饮用水普及率,效应评价常用指标,33,四、结局评价（outcome evaluation）,结局评价即远期效果评价，评价健康教育项目导致的人群健康状态乃至生活质量的变化。评价指标：健康状况和生活质量的评价。,34,四、结局评价（outcome evaluation）,注意：进行健康教育计划的结局评价时，往往难以简单的把人群健康状况、生命质量的变化归结于健康教育干预的结果，需精心设计，有效控制混杂因素才能下此结论。一般情况下，获得健康结局指标需在相当长时间之后，而此期间社会政治、经济、文化状况的变化也将对人群健康产生影响，需客观评估健康教育做出的贡献。,35,五、总结评价（summative evaluation）,指形成评价、过程评价、效应评价和结局评价的综合以及对各方面资料做出总结性的概括。能全面反映健康教育项目的成功之处与不足，为今后的计划制定和项目决策提供依据。,健康教育计划评价的种类与内容总结,计划设计阶段,项目实施阶段,项目结束阶段,中间目标,行为改变,健康状态,生活质量,评价内容,评价指标,评价种类,计划设计的合理性,科学性适宜性可接受性,形成评价,计划实施情况,干预活动次数参与人数干预活动暴露率有效指数,行为影响因素（倾向、促成、强化）,知识知晓率态度转变率,健康相关行为,行为流行率行为转变率行为意向,健康状态,生理指标疾病指标死亡指标,生活质量,物理环境健康状态心理状态,过程评价,效应评价,结局评价,总结评价,37,评价设计方案,第三节,38,基本知识,实验研究与准实验研究的差异实验设计中设立对照组的意义不设对照组的前后测试实验设计的应用条件（无法控制干预之外的干扰，用于周期较短或资金有限的项目）知情同意书,39,R（random）：随机化，指采用随机抽样的方法确定干预组与对照组E（experiment）：指接受健康教育干预的人群，称为干预组或实验组C（control）：指在健康教育中不对其进行干预，用作参照的人群，称为对照组O（observation）：指收集资料的过程X：代表干预措施,常用符号,40,常用设计方法,不设对照组的前后测试 简单时间系列设计 非等同比较组设计 复合时间系列设计 实验研究,41,一、不设对照组的前后测试one group before/after design,EOXO 通过比较目标人群在实施前后有关指标的情况反映项目效应与结局优缺点：设计和实施操作简单；但干预之外因素的干扰控制较为困难应用：周期比较短或资源有限的项目评价注意：干扰因素的控制,42,二、简单时间系列设计simple timeseries design,EOOOXOOO 不设对照组，在对目标人群进行多次观察后，实施干预，干预过程结束后再进行多次观察。分析方法：比较时间序列数据变化规律，如果干预后的变化是干预前的自然延续，则干预无效，否则干预有效。优缺点：能较好的控制成熟效应的影响。但由于观察周期长，控制历史效应的能力较弱；观察点多，耗费人力、财力较大。,43,三、非等同比较组设计nonequivalent comparison group design,EOXO 是类实验设计的一种，又称为没有随机分配的平行对照设计。设立与接受干预的目标人群（干预组）相匹配的对照组，通过对干预组、对照组在项目实施前后变化的比较，来评价健康教育项目的效应和结局。优点：通过与对照组的比较可以消除时间因素、测量因素和观察因素等对评价结果正确性的影响。缺点：两组之间齐同性差，不能消除选择因素的影响 注意：两组的可比性 、观察时间和方法的一致性,44,四、复合时间系列设计multiple timeseries design,EOOOXOOO COOO OOO 融合了简单时间系列设计和非等同比较组设计，既设立了对照组，又进行多点观察。优缺点：上述两种方法的优缺点,45,五、实验研究classical experimental design,REOXO RCO O随机化分组，充分保证齐同性，不存在选择因素的影响，也克服了历史因素、测量和观察的影响。理论上是一种比较理想的方案，但实际健康教育项目中不易操作，主要是因为随即化难以实现。,缺点：现场操作难度较大，主要是随机化不易实现。,46,第四节 影响评价的主要因素,47,时间因素测试或观察的因素回归因素选择因素失访,48,历史性因素,历史性因素，又称时间因素。指在项目实施期间所发生的干预之外的事件，导致参与者发生某些可能对结果有影响的变化。,如与健康相关的公共政策的出台、重大生活条件的改变、自然灾害等。此外，随着社会经济的发展，经济、文化等因素的变化，人群的行为、健康状况也会发生相应的改变。,49,测试或观察因素,1 测量者因素来自于实验者的因素包括主观因素和客观因素两大类客观因素： 主观因素：,原因：调查人员的熟练程度；调查者的诱导、暗示控制方法：调查人员培训，统一调查内容、方式,原因：主观故意，设计、实施和评价阶段均可出现控制方法：建立完善的外部评价体系；加强科研道德、建立良好的学术风气；盲法,50,2 测量工具的因素实验工具的信度与效度物理测量工具的信度与效度问题调查表的信度与效度问题,51,3 测量对象霍桑效应：测量对象的成熟度,人们被选择作为干预或评价对象时，由于感受到正在被研究或评价而表现的行为异乎寻常。例如在营养调查中，被调查者由于意识到自己正在被研究，从而改变以往的饮食习惯，趋向于表现出社会期望的、计划期望的、或自己认为正确的行为。,回归因素,指由于偶然因素，个别被测试对象的某特征水平过高或过低，在以后又回复到实际水平的现象。,52,选择因素,如果对照组的主要指标特征与干预组的特征不一致，则不能有效发挥对照组的作用，这种选择对照组产生的偏差称为选择偏倚。,53,54,失 访,在健康教育计划执行或评价阶段，目标人群由于各种原因而不能被干预或评价。在科研中对失访有确切的要求吗？你认为对失访的科学态度是什么？,努力减少失访，对应答者和失访者进行结构分析，鉴别是否非随机失访。,没有，但比例不能过高，低于10随机,55,成本效益与成本效果分析,第五节,56,成本效益与成本效果分析,在制定方案、选择方案和评价效果时，常常要考虑的一个问题是：如何最大限度地合理分配和使用资源，以最小的投入获取最大的收益。评价一个项目的优劣除考虑其先进性、可行性和科学性外，还要考虑其适用性和经济效益。方法：成本效益分析（costbenefit analysis，CBA）和成本效果分析（costeffectiveness analysis，CEA）,57,CBA和CEA最早产生于军事领域，以后则应用于包括卫生保健在内的诸多社会经济领域。成本效益（效果）分析在卫生领域的应用，对制定卫生事业规划、选择优先项目、促进卫生事业的合理投资起到了积极的作用。,58,健康教育是随着医学模式转变应运而生的一门年轻学科，是一切卫生工作的基础，其投资最小，收益最大。但其潜在的巨大效益在我国鲜为人知，且资源也相当贫乏，据统计，我国每年、每人健康教育经费平均不足1角钱，只占全国卫生事业投资的0.5%。,59,因而，每一个健康教育者都应懂得并善于应用成本效益（效果）分析方法选择最优的教育规划，加强规划评价，提供最有说服力的成本效益（效果）分析结果来改变领导者（决策者）的观念，争取更多的资源，促进我国健康教育事业的发展。,60,成本效益（效果）分析的意义,1.在项目计划阶段进行方案可行性评价或选择出单位成本效益（效果）最大的方案2.在项目实施和评价阶段，评价项目单位成本的实际效益（效果）,61,（一）基本概念,简单地说，成本效益（效果）分析就是通过对各种规划项目所费资源与健康收益进行比较，以选择投入低而产出高的方案的一种比较分析方法。成本效益（效果）分析的两个基本要素是成本和收益（效益或效果） 。,62,成本（cost）,也称作费用，即开展一项规划所投入的资源，包括从事项目活动所有资源的经济价值，含金钱与非金钱的投入（即人力、物力和财力的投入），从整个社会角度以货币值计量。在实际应用中有多种分类方法,63,成本的分类直接成本、间接成本、无形成本固定成本、可变成本投资成本、经营成本可控成本、不可控成本,64,健康教育项目中的直接成本,直接成本（direct cost）：为特定人群提供服务时直接消耗的资源健康教育项目的直接成本： 1.所有全职人员的工资、津贴；专家咨询费；培训教师讲课费；调查人员劳务费等人员费用。 2.设备、材料费用。如电脑、录象机、健康教育材料等 3.交通、通讯费用。 4.日常消耗费用。,65,间接成本（indirect cost）：指与项目有关，但又未直接应用于项目的那部分成本。也可理解为由于项目的实施而引发的其他资源的消耗。健康教育项目的间接成本：主要是目标人群参与项目而需要花费的成本。 1.为参与项目而付出的时间、交通费用； 2.用于克服某些副作用而