伯明翰阿拉巴马大学项目评估ppt课件

1、工程评价 Huey T. Chen, Ph.D. 行为安康室 伯明翰阿拉巴马大学美国 第一单元: 根本概念和问题工程评价的定义Rossi, et al., 2004: 利用社会学研讨的程序来对社会学干涉工程进展系统的研讨Chen, 2004: 利用评价方法、技术和知识来系统评价和改善干涉工程的方案，实施及效果干涉工程经过有组织的努力来改善社会问题或增进人群安康卫生工程工程评价的目的评价工程改良根本概念和评价中的问题利益相关者: 个人，小组或组织对工程运转的方式具有浓重的兴趣工程评价中利益相关者的担忧担忧工程评价将耗费工程资源担忧工程将会终止担忧信息将会被滥用担忧评价的设计没有针对性或不公平有效

2、的评价对未来有指点作用具有科学性，并且具有利益相关者可信性科学上的可信度: 以科学的原那么为指点利益相关者可信性：利益相关者以为可以反映实践情况且公平整体战略内部与外部评价者问题管理者的自信心目的对工程的了解潜在的运用价值自治评价者的作用和评价方法 (1)独立评价: 评价者作为客观的评价者参与式评价: 评价者与利益相关者协作来设计评价参与式评价的赞成与反对者赞成:添加了利益相关者的信任度减少了评价者与工程管理者及任务人员之间的冲突有利于改善工程减少了权益的不平衡提高了评价结果的利用率反对:耗费时间和资源能够不客观目前的趋势:第二单元: 工程评价的分类评价类型的传统分类构成性和结论性评价过程和结

3、果评价构成性和结论性评价 (1)Scriven, 1980: 评价能够向那些希望改善某些事情的人提供反响信息 (构成性评价); 或向决策者提供信息以便他们决议资助、终止或购买某些东西 (结论性评价).构成性和结论性评价 (2)举例: “当厨师品味汤的时候，这是构成性评价; 当客人品味时，就是结论性评价 问题: 构成性研讨与构成性评价之间的区别在哪里?过程和结果评价过程评价: 评价一个工程是如何执行的结果评价: 评价工程的结果问题: 构成性结论性与过程结果评价之间有什么联络? 评价分类评价可以满足过程和利益相关者的需求 (Chen, 2004) 工程阶段工程方案开场实施实施的成熟阶段结果 第三单

4、元:利用评价来评价和改善工程方案工程方案与评价评价功能：提供相关信息和协助以协助利益相关者制定工程的方案和实际评价方法: 需求评价 构成性研讨 制定方法Development Facilitation 需求评价需求的定义实践与需求形状之间的差别?人必需在一种有满足感的形状下生存需求与要求高危人群产生某种问题的几率较高的一组人群预备需求评价要研讨的人群目的人群特殊定义举例: 老年居民缺乏社会机遇社区中目前的资源需求评价的信息来源需求的社会目的 统计数字，公共资料，普查社区调查面对面访谈提供深化的信息费用能够较高访谈提供普通的信息非常难于接触到高危人群信件调查可灵敏地接触大量人群在长的及开放性的问

5、题方面会遭到限制应对率通常较低关键知情人对社区非常了解的人或社区的指点举例：卫生需求的关键知情人?访谈或小组访谈的方法作为一个好的倾听者的重要性，以及预备回答工程相关的问题潜在的问题过度估计个人日程小组访谈一个非正式的小组一同讨论需求小组人员的构成非常重要小组指点者不能与小组中的任何成员疏远气氛: 轻松且自在自在小组访谈之前该当预备特殊的问题构成性研讨有利于寻觅缘由决议要素及干涉战略以及设计工程的一些相关背景信息协助利益相关者发现重点关注的缘由决议要素协助利益相关者找到干涉战略有利于减少需求与要求之间的差距 第四单元 方法制定逻辑模型工程活动与希望到达效果之间联络的图解逻辑模型的构成成分结果产

6、出活动投入逻辑模型的术语投入: 执行工程所需求的资源资金，人员，协作，设备及物资供应活动: 执行工程所需求开展的主要活动及方式招募及培训工程执行者，提供效力产出: 工程活动的主要产品培训班数量，培训学员数量开展咨询的次数结果:由于工程而导致明显的变化知识、技艺、态度、行为、安康形状的变化逻辑模型举例请参见所发的单页辅助资料逻辑模型投入活动产出最初结果中期结果长期结果工程原理到达料想的目的所必需开展的活动详述，还会产生什么样其他的重要影响，目的及影响是如何产生的 工程根本原理 (改动方式):它促使行动开场工程方案 (行动方式行动方案蓝图工程根本原理工程将减少或处理什么问题？什么样的目的人群将会遭

7、到工程关注？工程将到达什么样的可丈量的目的？什么决议要素问题的缘由，平衡机制促使变化的发生？什么样的干涉活动可以影响这种决议要素？什么问题?什么目的人群? 干涉决议要素结果黑箱评价原理驱动型评价 (行动及概念假设)改动模型举例群众传媒运动更安康的饮食更安康饮食更安康饮食饮食知识及认识群众传媒运动群众传媒运动减少心脏病饮食知识及认识针对吸毒者提供艾滋病自愿咨询与检测的工程组成成分需求减轻的问题? 目的人群?最终结果:减少吸毒者中艾滋病病毒的传播近期结果减少共用针具实施平安性行为决议要素 ?干涉艾滋病自愿咨询与检测工程方案实施机构: 技术方面的专长，文化方面的才干，人力资源及其他资源?干涉及效力提

8、供的方案：由谁担任？工程执行者: 招聘, 培训, 坚持资历, 及承诺同伴机构社区的协作者: 建立协作关系社会生态学背景: 寻求其支持 (微观程度上的支持及宏观程度上的支持)目的人群: 发现, 招聘，筛查及效力工程胜利实施胜利干涉的完好性行动原理胜利概念实际胜利决议要素实施结果干涉工程方案构成性评价过程评价过程与结果评价监视Huey T. Chen, Ph.D.第五单元过程评价一个评价工程能否按照最初设计思想实施的评价过程工程接触到预定的目的人群了吗？目的人群中的成员了解工程吗?构成性评价与过程评价构成性评价: 利用灵敏的研讨方法来评价工程实施中的妨碍和促进要素，协助利益相关者去抑制困难过程评价

9、: 评价实施的质量构成性评价举例:平安套可及性工程社区中的中学有平安套自动售套机 (每个平安套2角5分钱). 售套机安装在护士办公室，活动中心及走廊.构成性评价的目的是通知他如何添加平安套的销售研讨方法: 开展了两个小组访谈. 妨碍: 售套机的安装位置2角5分钱的费用平安套的包装辅导者: 青少年安康中心是一个平安获得平安套的地方过程评价举例: 孕妇吸烟复吸预防工程干涉内容与一个吸烟的安康教育者进展10分钟咨询经过讨论和辅导提供并加强社会支持产前医务人员在门诊进一步强化 (护士和医生)研讨方法从参与人员中选择一部分代表，利用规范的调查工具进展访谈，以了解方案的内容与学员实践获得的内容的一致性。原

10、理驱动过程评价 (规范化评价)利用工程原理的概念性框架 (特别是行动方式)来评价实施过程评价工程在干涉、目的、及实施环境方面方案与实施之间的一致性。干涉艾滋病自愿咨询检测实施 实施者 干涉 同伴机构 生态学 目的人群 与效力 背景 机构 提供 方案过程监视阶段性搜集实施过程中的信息举例有多少人接受了效力？谁接受了效力？向目的人群提供了什么样的效力？过程和结果监视过程监视结果监视资料搜集由评价者搜集利用现有的记录效果评价中的根本问题Huey T. Chen, Ph.D.第六单元内部有效性及外部有效性内部有效性: 干涉任务影响到结果了吗？外部有效性: 哪些人群、场所和丈量可以推行这些效果？Camp

11、bell: 内部有效性是必需的选择-成熟交互作用: 选择偏性会导致成熟率的不同实验设计随机实验: 实验组和对照组是随机分配构成的准实验设计: 实验组和对照组不是按照随机分配的原那么构成的预实验设计: 设计什么东西不会对内部有效性产生宏大影响预实验设计一组检测前后设计O X O对内部有效性的影响- 1历史: 在预实验和后验证之间发生的干涉活动以外的事件。成熟: 随着时间的推移在一个人或系统中所产生的变化，如生长，疲倦，社会趋势等。检验: 一次检测后进展第二次检测得分变化的效果仪器精度: 丈量工具的精度发生变化或察看者的变化能够会导致观测结果的变化。对内部有效性的影响- 2历史衰减: 根据一个人或

12、事物的极端特性进展选择后所产生的假性变化。选择: 选择对照组时由于平均丈量结果的不同所带来的偏向。损失: 由于对照组在成熟度选择方面的影响而导致被察看个体在差别方面的丧失。选择偏性导致成熟率不同。选择成熟度的影响: 选择偏性所呵斥的成熟率的变化。随机实验参与者随机被分配到对照组和实验组中利用随机原那么建立可比性。问题: 随机化不是随机抽样问题: 附近实验: “忽视的情况问题: 如何丈量实验中抚慰剂所产生的影响。干涉组 R O X O 对照组 R O X O 对随机实验的批判实验要求工程的延续性而不利于继续的改善。 (管理者与评价者之间的冲突由于操作性的缘由，实验倾向于一次丈量一个工程变量，而实

13、践上工程的胜利取决于多项效力结合在一同。一项实验试图控制太多的条件，从而使工程不受任何要素影响，但在实践中无法推行。实验不研讨效果是如何或为什么会产生，也不能了解什么要素是工程胜利的关键。开展实验最理想的时间当引进一个新的干涉措施时当基准提高时当对工程效果出现争论时准实验设计Huey T. Chen, Ph.D.第七单元非对称性对照组的设计干涉组 O X O - - - - - - - - - - - - - - -对照组 O O 对内部有效性的影响?提高可比性的战略对照组匹配个体特征，家庭特征组织单位的特征，社区特征对照组的统计阻断型时间序列设计O O O O O O X O O O O O O 对内部有效性的影响?评价预定的和不测的结果目的模型的局限性管状视野忽视不测的效果无目的评价 (Scriven)评价者事先不了解工程目的相关的知识检查预定的和不测的结果检查实施的活动举例: 对失职者的管教机构正式目的: 恢复操作性目的: 监管运用现有的原理和或知识原理驱动型结果评价Huey T. Chen, Ph.D.第八单元实施机构实施者同伴机构社区协作者干涉及提供效力的方案生态学背景