培训有效性评估的方案设计

培训有效性评估的方案设计培训有效性评估的方案设计 整理输出 日期 2011年5月28日 背景分析 正文 第一节培训有效性评估概述第一节培训有效性评估概述 一 一 培训有效性评估的概念培训有效性评估的概念 培训有效性 training effectiveness 指的是公司和员工个人从培训中获得的收益 对员工个人来说 收益意味着学到的新的知识或技能 可能使自己的工作更有效率 或更有动力 从而提高业绩 对于公司来说 收益包括销售的增加 生产力的提高 产品质量的提升 费用的降低 时间的节省 顾客满意度的提高等 培训有效 性评估是收集用于决定培训是否有效的结果信息并对培训项目进行进一步改进的过 程 在培训项目实施以后 通过适当的有效性评价方法对数据进行分析 得到评估 结果并予以反馈 为下一轮的培训改进提供信息 培训有效性评估是培训流程中的 最后一个环节 评估的依据就是初始的培训目标以及预期效果 二 二 培训有效性评估的目的和意义培训有效性评估的目的和意义 一般来说 任何一项投入都必须考虑其产出 企业培训也不例外 为了证明企 业的某一项培训支出是合理的 总收益必须超过总成本 一个企业如果不进行培训 有效性评估 就很难衡量培训做出的贡献 然而由于种种原因 作为整个培训系统 工程的重要环节 培训有效性评估却没有得到应有的重视 使得培训有效性评估 的发展远远滞后于培训需求分析及培训执行等环节 培训有效性评估的目的主要体 现在 1 体现人力资源管理的效益性 略 体现人力资源管理的效益性 略 2 决定继续进行或停止某个项目的培训 略 决定继续进行或停止某个项目的培训 略 3 获得如何改进某个培训项目的信息 略 获得如何改进某个培训项目的信息 略 三 三 培训有效性评估的战略特点 略 培训有效性评估的战略特点 略 第二节培训有效性评估模型 略 第二节培训有效性评估模型 略 第三节培训有效性评估的方案设计第三节培训有效性评估的方案设计 培训有效性评估的方案设计决定了所得到的结果的可靠性 当然 没有一种评估方案 是绝对准确的 对于培训管理和培训设计人员来说 重要的是在适当的情景下 采用最 有效的方式对培训的效果进行评估 一 一 影响培训有效性评估的效度因素影响培训有效性评估的效度因素 所谓培训有效性评估效度 指的是某一评估量真正测量到所需测量的培训成果 或属性的程度 或者说某种评估方案评估培训效果的程度有多大 因为在对培训有 效性进行评估时 有时会由于一些未考虑到的因素 影响到评估结果的有效性 既 可能是低估了培训的效果 也有可能是员工发生的改变根本不是由培训所致 而是 由其他原因造成的 比如 测量学员培训后体重的变化 其效度对于培训技能来说 为零 在培训有效性评估中涉及的效度通常有内部效度和外部效度两种 内部效度是 指评估结果是否真正反映了由于培训引起的变化程度 外部效度是指评估结果可以 一般化到其他学员和人群中去的程度 影响内部效度的因素有公司历史因素 如在培训期间发生了其他一些变化 而 这些变化会对学员产生影响 结果测量的可靠性 以及学员自身的因素 如在培训 前后的成熟因素 例如 一些刚进公司的新员工 特别是刚从学校毕业的学生 在 培训前后自己就有一个发展 所以 在他们身上表现出来的变化不完全是由新员工 导向培训产生的 这些干扰因素会使培训评估得出错误的结论 外部效度受到学员 样本 学员对培训前的测验态度等的影响 比如有些培训针对的是很少一部分员工 这样使得培训有效性的结论可能很难推广到所有员工身上 为了更好地对培训有效性进行评估 使结果更科学 培训管理者和培训讲师可 以通过一些方案设计来对培训有效性进行评估 二 二 培训有效性评估方案的设计种类培训有效性评估方案的设计种类 培训有效性评估方案的设计种类从是否有对照组 是否进行培训前评估和培训 后评估两个方面来考虑 主要有以下一些方法 见表 9 8 表表9 8 培训有效性评估方案的设计种类培训有效性评估方案的设计种类 评估 测量 是否进行评估 测量 是否进行 设计设计评估对象评估对象 培训前培训前培训后培训后 仅有后测 无对照组的设 计 培训组否是 前测 后测的设计培训组是是 后测 对照组的设计培训组和对照组否是 前测后测 对照组的设计培训组和对照组是是 培训组A是是 培训组B无是 培训组A是是 所罗门四组设计 培训组B无是 时间序列设计培训组是是 分时间进行多次 表9 8中借用了实验设计中的常用方式和用语 前测是指在培训前对学员某方面的测定 如学业水平 能力水平 智力 个性特点 态度和技能等 后测是指在培训后对他 们再次进行测定 对照组指在企业中和培训成员有差不多的背景 但没有接受培训 的那些员工所构成的群体 用他们来与培训组进行对照从而发现培训的效应 下面 我们对每种设计进行一些解释 1 仅有后测 无对照组的设计仅有后测 无对照组的设计 这类评估仅在学员参加培训后对其进行测量 这种方式得到的信息可以了解学 习效果 但由于不知道培训前学员的知识和技能水平如何 因此很难说学员所学到的 东西就是培训的效果 2 前测前测 后测的设计后测的设计 这种设计是指在培训前对学员在某方面的知识 技能或态度进行测量 在培训 之后 在对其进行测量 通过前后的变化度来解释培训的效果 见图 9 4 这种设计 比第一种有所进步的地方就在于它多了前测 这样就可以进行前后差异的检验 通过 统计分析来说明培训的效果 不足之处在于 由于没有控制组 分析出来的差异可能 不是由培训所致 而是由于企业中其他方面的变化造成的 例如 工作态度的变化可 能不是由企业文化培训所致 而是由于企业中采用了新的奖金制度所致 比 较 培训前评估受训者 进行训者 图图 9 4 前测前测 后测的设计后测的设计 3 后测后测 对照组的设计对照组的设计 这种设计中增加了对照组来比较与培训组的差异 但在培训前没有对培训组和 对照组进行过测量 只在培训后对两组在某方面的知识 态度或技能进行评估 这 两组在这些指标上的差异被认为是由培训导致的 见图 9 5 图图 9 5 前测前测 对照组的设计对照组的设计 该设计的假设是培训组和对照组在培训前没有差异 然后经历了除培训外的其 他组织过程 这样可以固化一些培训外的干扰因素 但和第一种仅有后测的设计同 样存在的问题是 对培训学员以往的水平并没有测量 很难评估到真正的学习效果 4 前测后测前测后测 对照组的设计对照组的设计 在这种设计当中 采用一个对照组来和培训组进行比较 对这两个组都有培训前的 测量和培训后的测量 这样就可以剔除那些可能由于公司其他方面的条件发生变化 而导致的变化 在这种设计下 如果前测培训组和对照组之间并没有显著性差异而 后测有显著差异 就可以认为这种差异是由于培训所产生的 表 9 9 图 9 6 可以说 明这种设计 表表 9 9 前测后测前测后测 对照组的设计对照组的设计 培训前的工作态度培训前的工作态度培训后的工作态度培训后的工作态度 培训组 1前测 1后测 1 培训组 2前测 2后测 2 培训效果 后测 1 后测 2 前测 1 前测 2 这种设计比前两种都可以明确地看出培训的效果 同时也使得培训管理或培训 讲师更有把握确定培训的效果 前测后测 对照组的设计是在研究设计中用的较多的设计 它不仅可以用于评 估单一培训的效果 同时也可以用来衡量不同培训方式的效果 下面举例说明 某公司采用讲授法 计算机辅助教学以及行为塑造法来进行计算机技能的培训 在培训前对员工进行随机分组 把他们分配到不同的培训组中 并有一组不参加培 训的员工作为对照组 采用这种设计 我们可以来比较不同培训方式直接的差异和 效果 表 9 10 可以说明这种设计 随机选出两组 类似的员工 培训实验组 评估实验组评估控制组 比较 随机选出两组 类似的员工 培训前评估实验组 培训实验组评估控制组 培训后评估受训者 图图 9 6 前测后测前测后测 对照组的设计对照组的设计 表表 9 10 评估不同培训方法效果的设计评估不同培训方法效果的设计 培训前测量培训前测量培训后测量培训后测量 讲授法有有 计算机辅助教学有有 行为塑造法有有 对照组 没有培训 有有 通过前后两次测量收到信息后 可以通过方差分析 analysis of value ANOVA 检验 培训的效果 并检验不同培训方式之间的差异 5 所罗门四组设计所罗门四组设计 该实验设计将前面提到的几种设计结合起来 这样做好处是可以把干扰培训效 果的其他因素的影响减少到最低限度 在具体操作时 可以把培训学员随机分成两 组 接受培训 同时另外设置两个对应的参照组 见图 9 7 图图 9 7 所罗门四组设计所罗门四组设计 另外 这种设计还可以用于评估不同培训方式的效果 比如我们想了解采用互 动式的培训方式和传统的演讲法对培训效果有何影响 可以采用下面的设计 表 9 11 可以说明这种设计 表表 9 11 所罗门四组设计的应用所罗门四组设计的应用 前测前测培训培训后测后测 第一组有互动式有 第二组有传统演讲有 第三组没有互动有 第四组没有传统演讲有 这样 既可以消除历史因素的影响 又可以消除成长因素或者组织中其他因素 比较 随机选出两组 类似的员工 培训前评估 实验组甲 培训实验组甲 评估控制组乙 培训后评估 实验组甲 评估控制组甲 培训前评估 实验组乙 培训实验组乙 培训后评估实 验组乙 培训后评估实验组评估控制组 比较 比较 比较 比较 的干扰 从而真正看到培训的效果 6 时间序列设计时间序列设计 为了更好地检查培训的效果 排除其他非培训因素的干扰 还可以采用时间序 列设计 改设计是由库克和坎贝尔在他们著名的 准实验设计 一书中提出的 时 间序列设计指在培训前一段时间和培训后一段时间里对学员在某方面进行多次测量 以观测培训的效果 它的一个假设是如果学员在培训后持续地表现出某种变化 则 可以认为这种是由培训引起的 设计如图 9 8 所示 适合用于学员人数较少 比较 难以进行统计分析的情况 图图 9 8 时间序列设计之一时间序列设计之一 在时间序列设计之中 由于要在较长一段时间里对员工进行测量 很容易受到 历史因素和员工发展因素的干扰 为了避免这些影响 也可以采用对照组的做法 设计如图 9 9 所示 采用了对照组的时间序列设计也叫多重时间序列设计 这种设计和前面讲的前 测 后测 对照组的不同之处是 它不强调随机分配的做法 而是根据自然发生的 情况 对参加过培训和没有参加过培训的员工进行观察和测定 而这也正是准实验 设计的一大特点 这类评估方式通常用于评价那些较容易观察到变化的培训结果指 标 如事故率 生产率和缺勤率等 下略 三 三 培训有效性评估中的基本统计分析培训有效性评估中的基本统计分析 一 一 平均数差异检验 略 平均数差异检验 略 二 二 相关分析 略 相关分析 略 三 三 方差分析 略 方差分析 略 培训前再次 评估受训者 进行培训 培训后首次评 估受训者 培训前首次 评估受训者 培训后再次评 估受训者 比 较 比 较 比 较 随机选出两组 类似的员工 比较 培训前再次 评估实验组 进行培训 培训后首次评 估实验组 培训前首次 评估实验组 培训后再次评 估实验组 比 较 比 较 比 较 培训前再次 评估控制组 进行培训 培训后首次评 估控制组 培训前首次 评估控制组 培训后再次评 估控制组 比 较 比 较 比 较 图图 9 9 时间序列设计之二时间序列设计之二 四 四 选择培训有效性评估方案的要点选择培训有效性评估方案的要点 以上介绍了一些培训有效性的设计方案 这中间 有相对容易实施的