健康教育与健康促进计划评价.ppt

健康教育与健康促进计划评价 陕西省健康教育所王俊儒2008年7月29日 评价概述 1 一 评价的概念评价是客观实际与预期目标进行的比较 评价贯穿于整个健康教育与健康促进项目管理过程的始终 评价概述 2 二 评价的作用1 了解健康教育与健康促进项目的效果如何 2 对项目全面检测 控制 3 最大限度地保障计划的先进性和实施质量 评价概述 3 三 评价的目的1 确定健康教育与健康促进计划的合理性和先进性 2 确定计划的执行情况 包括干预活动的数量与质量 以确定干预活动是否适合目标人群 各项活动是否按计划执行 以及资源利用情况 3 确定健康教育 健康促进计划是否达到预期目标 其可持续性如何 4 项目的产出是否有混杂因素的影响 影响程度如何 5 向公众和投资者说明项目结果 扩大项目影响 改善公共关系 以取得目标人群 社区 投资者的更广泛支持与合作 6 总结健康教育 健康促进项目的成功经验与不足之处 提出进一步的项目方向 评价的种类和内容 1 一 形成评价 1 1 形成评价的概念 形成评价是一个为健康教育计划设计和发展提供信息的过程 包括为指定干预计划所做的需求评估及为计划设计和执行提供所需的基础材料 其目的在于使健康教育计划符合目标人群的实际情况 使计划更科学 更完善 2 形成评价的具体内容 1 了解目标人群的各种基本特征 2 了解目标人群对干预的看法 3 了解教育材料发放系统 包括生产 贮存 批发 零售以及发放渠道 4 对问卷进行预调查及修改 5 了解哪些健康教育干预策略适用于目标人群 健康教育材料预实验 确定其适宜性 6 针对计划执行的早期阶段可能出现的问题 根据新的情况对计划做适度调整 评价的种类和内容 2 一 形成评价 2 3 形成评价的方法与指标1 方法文献 档案 资料的回顾 专家咨询 专题小组讨论 目标人群调查 现场观察 试点研究等 2 指标计划的科学性 政策的支持性 技术上的适宜性 目标人群对策略和活动的接受程度等 评价的种类和内容 3 二 过程评价 1 1 过程评价的作用 1 可以概括为两大方面 评估项目运作和修正项目计划 1 评估项目运作情况教育干预是否适合于教育对象 并为他们所接受 教育干预是否按既定的活动类型 时间 频率加以实施 干预的质量如何 教育材料是否全部发放给目标人群 教育的覆盖面如何 目标人群参与是否积极 不愿参与的原因何在 教育服务利用情况 如展览 咨询等服务项目 利用率低的原因何在 是否建立完整的信息反馈体系 各项记录的完整性 质量如何 在项目实施期间有无重大的环境变化 如各种重大事件 对项目执行的影响如何 工作人员的职业技能 工作态度 责任心及与教育对象 工作人员之间的配合工作情况 2 修正项目计划 评价的种类和内容 4 二 过程评价 2 2 过程评价的实施方法1 直接观察各项干预活动 2 社区及目标人群调查 可根据随机原则 在少量目标人群中进行抽样调查 中心地区调查 网络调查 专题小组讨论等 3 举行项目工作者会议 定期举行计划设计者 管理者及执行者的联席会议 讨论来自各方面的反馈信息 对项目进行阶段性评估 4 追踪了解情况 以记录档案的形式对各项活动开展的日期 内容 目的 地点 持续时间 活动组织者 目标人群及参与情况进行追踪了解 为了有效的评价项目的运作 及时收集各方面的反馈信息 必须建立过程追踪系统 其人员组成为 健康教育计划的设计者 健康教育专业人员 项目合作者 目标人群代表 社区卫生机构 新闻机构代表等 评价的种类和内容 5 二 过程评价 3 3 过程评价指标经费执行率项目执行率干预活动类型 干预次数 持续时间媒介拥有率干预活动覆盖率干预活动暴露率有效指数 评价的种类和内容 6 二 过程评价 4 4 过程评估中的质量控制1 内部质量控制 主要是项目内部工作人员在对项目进行过程评估时 严格掌握评价标准 把好评价质量关 2 外部质量控制 一般由项目以外的 有项目评价经验的人对过程进行的质量控制 常用的方法是专家小组审查 评价的种类和内容 7 三 效应评价 1 效应评价是要评估健康教育计划导致的目标人群健康相关行为及其影响因素 倾向因素 促成因素 强化因素 的变化 效应评价也成为近期和中期效果评价 1 效应评价的内容1 倾向因素 如目标人群的卫生保健知识 健康价值观 对某一健康相关行为或疾病的态度 对自身易感性 疾病潜在威胁的信念等 2 促成因素 卫生服务或实行健康行为的资源的可及性 从健康促进角度 有关政策 法规制定情况 行政对健康教育的干预程度 效果也可以说是更强有力的一种促成因素 3 强化因素 与目标人群关系密切的人对健康相关行为或疾病的看法 目标人群采纳某健康相关行为时获得的社会支持 及其采纳该行为后自身的感受 4 健康相关行为 干预前后目标人群的健康相关行为是否发生变化 改变量是多少 各种变化在人群中的分布如何 评价的种类和内容 8 三 效应评价 2 2 常用效应评价指标1 卫生知识均分 2 卫生知识合格率 3 卫生知识知晓率 正确率 4 信念流行率 5 行为流行率 6 行为改变率 过程评价与效应评价分组练习 评价的种类和内容 9 四 结局评价 远期效果评价 1 健康状况1 生理和心理健康指标 如身高 体重 体质指数 血压 血色素等生理指标在干预后的变化 心理健康指标如人格 抑郁等方面的变化 2 疾病与死亡指标 如疾病发病率 患病率 死亡率 婴儿死亡率 5岁以下儿童死亡率 孕产妇死亡率 平均期望寿命 减寿人年数 PYLL 等 2 生活质量1 生活质量指数 即PQLI指数 2 美国社会健康协会指数 即ASHA指数 3 日常活动量表 即ADL量表 4 生活满意度指数量表 即LSI量表 评价的种类和内容 10 五 总结评价是指形成评价 过程评价 效应评价 结局评价的综合以及对各方面资料做出总结性的概括 它全面反映计划的成败 通过总结评价对各项计划的完成情况 对成本 效益等做出总的判断 以总结经验教训 为今后计划的决策提出准确的科学依据 健康教育计划评价的种类与内容 计划设计计划实施阶段阶段中间目的行为改变健康状况生活质量评价内容计划设计划实健康相关行为的影健康相关健康状况生活质量计的合施情况响因素 倾向因素 行为理性促成因素 强化因素 评价指标科学性干预活动次数知识知晓率行为流行率生理指标PQLI适宜性参加人数信念流行率行为转变率疾病指标生活满意度可接受性干预活动暴露率资源分配死亡指标有效指标社会支持评价种类形成评价过程评价效应评价结局评价总结评价 评价阶段 评价设计方案 1 一 不设对照组的前后测试二 简单时间系列设计三 非等同比较组设计四 复合时间系列设计五 实验研究 评价设计方案 2 一 不设对照组的前后测试1 概念 这是评价方案中最简单的一种 通过比较目标人群在项目实施前后有关指标的情况反映项目效应与结局 2 优点 方案设计与实际操作相对简单 能节省人力 物力资源 3 不足 无法控制干预措施以外其他因素的影响 4 用途 周期比较短或资源有限的健康教育与健康促进计划的设计 评价方案设计 3 二 简单时间系列设计1 概念 简单时间系列设计同样不设对照组 特点是在对目标人群进行多次观察后 再实施干预 并且在干预过程后再进行多次观察 2 优点 是可以确定干预的效果的变化趋势 有助于推断因果关系 3 不足 由于观察时间点多 增加了实施难度 实施周期长 耗费的资源也相应增加 评价设计方案 4 三 非等同比较组设计1 概念 是类实验设计的一种 设计思想是设立与接受干预的目标人群 干预组 相匹配的对照组 通过对干预组 对照组在项目事实前后变化的比较 来评价健康教育与健康促进项目的效应和结局 2 优点 通过干预组与对照组的比较 能有效地消除或克服多种混杂因素对评价效果正确性的影响 3 注意事项 应选择主要特征十分接近干预组的人群作为对照组 以保证可比性 避免选择因素对结果的影响 此外 要保证对照组与干预组的观察时间一致 并应用与观察干预组完全相同的方法 内容观察对照组 评价设计方案 5 四 复合时间系列设计1 概念 融合了简单时间系列设计和非等同比较组设计 既设立了对照组 又进行多点观察 2 优势 在控制混杂因素对评价结果的影响及观察变化趋势方面 3 不足 由于观察点多 特别是对对照组进行多点观察 增加了资源的消耗 也增加对照组失访的可能性 操作复杂 难度较大 在实际中应用不多 评价设计方案 6 五 实验研究1 概念 实验研究的根本特点是将研究对象随机分为干预组和对照组 比较项目实施前后的变化 来评价健康教育与健康促进项目的结局 2 优点 由于干预组和对照组是随机得来的 有效保证了干预与对照两组间的齐同行 避免了选择的影响 同时由于设置对照组 还可以克服历史因素 回归因素 测量与观察因素等的影响 因此 在理论上是比较完美的评价设计方案 3 不足 在社区干预中 尽管以个体为单位的随机抽样可以实现 但干预实施中容易出现对照组的 信息污染 不易操作 影响评价结果的因素 1 一 时间因素二 测试或观察因素三 回归因素四 选择因素五 失访 影响评价结果的因素 2 一 时间因素又称历史因素 指在健康教育与健康促进计划执行或评价期间发生的重大的 可能对目标人群健康相关行为及其影响因素产生影响的因素 如新的卫生政策的颁布 食物供应的变化 自然灾害等 历史因素不在干预活动之内 但可能对目标人群有积极或消极的影响 以致加强或减弱健康教育与健康促进项目本身的效果 此外 随着社会的发展 经济 文化等因素的变化 人们的行为与健康状况也会有所改变 因此 当健康教育与健康促进项目周期较长时 这种自然的变化也作为一种时间因素影响评价结果的真实性 通常可以通过设立对照组 来克服历史因素的影响 影响评价结果的因素 3 二 测试或观察因素1 测量者的因素 1 暗示效应 健康教育者先入为主的态度是目标人群的行为向其意向发展 如健康教育者认为家庭条件差的学生个人卫生习惯差 学生受到这种态度的暗示 就会真的不在意个人卫生 这并非健康教育项目的真实结果 2 项目工作人员的成熟性 随着项目的持续进展 项目工作人员能越来越熟练地运用有关的知识和技能 有可能使观察到的项目效果优于其实际结果 3 评定错误 在评价过程中有意无意地放松评价标准对待干预组 而以原标准评价对照组 最终使评价结果偏离真实情况 2 测量工具因素 测量工具包括问卷 仪器 药品 试剂等 其有效性和准确性也直接影响评价结果的真实性 因此 在进行评价测量前 首先要选择适宜的测量方法和工具 然后检验工具的可靠性 才能获得真实 可信的评价结果 3 测量对象因素 1 测量对象的成熟性 目标人群在项目初期并不十分了解项目目标 随着其对项目的参与或被重复调查某些内容 可能引发其对有关内容的关注 增加了学习兴趣 使测量结果好于项目干预的真实结果 2 霍桑效应 人们被选择作为干预或评价对象时 由于感受到正在被研究或评价而表现的行为异乎寻常 影响评价结果的因素 4 三 回归因素回归因素指的是由于偶然因素 个别被测试对象的某些特征水平过高或过低 在以后又回复到实际水平的现象 回归因素的影响不像其他因素一样比较容易被识别 可采用重复测量 设立对照组等方法减少回归因素对项目效果的影响 影响评价结果的因素 5 四 选择因素设立对照组的目的在于克服时间因素 测量因素 回归因素等对项目效果的影响 但如果对照组的主要特征指标与干预组的特征不一致 则不能有效发挥对照组的作用 这种选择对照组产生的偏差称为选择偏差 影响评价结果的因素 6 五 失访失访指在健康教育与健康促进计划执行或评价过程中 目标人群由于各种原因不能被干预或评价 当目标人群失访比例高 超过10 或是非随机失访 即只是其中有某些特征的人失访时 会影响评价效果 应努力减少失访 并鉴别是否为非随机失访 从而估计失访是否会引起偏倚及偏倚程度 成本 效益分析与成本 效果分析 1 成本 效益分析是通过比较项目的总成本和总收益 均以货币值表示 来确定投入一定 单位 成本的产出 然而 卫生领域中的很多效益难以转化为货币值 如心理健康的改善 疼痛的减轻等 为此 使用成本 效果分析的概念 即项目成本以货币值体现 而项目效益改用效果指标表示 如技能水平 发病率等 进而进行成本与效果的比较 以确定项目的价值 成本 效益分析与成本 效果分析 2 投入产出CBA效益 用货币值表示各种成本全部收益 以货币值表示 效果 有效果指标表示CEA 健康教育计划 成本 效益分析与成本 效果分析 3 一项健康教育项目的直接成本应包括 1 所有全部工作人员的工资 津贴 专家咨询费 培训教师讲课费 调查员劳务费等人员费用 2 设备 材料费用 如计算机 放像机 健康教育材料等 3 交通 通讯费用 包括交通 电话 邮件 传真等 4 日常消耗费用 如纸张 文具 复印资料 表格印刷 场