企业培训_培训有效性评估概述2

第九章培训有效性评估 本章重点 培训有效性评估的基本概念培训有效性评估的模型培训有效性评估的的方案设计培训有效性的经济价值分析 第一节培训有效性评估概述 一 培训有效性评估的概念和内涵培训有效性评估 又称培训开发效果评估 是依据组织目标和需求 运用科学的理论 方法和程序 从培训项目中收集数据 以确定培训的价值和质量的过程 涉及如下四个关键性问题 有没有发生变化 这种变化是否由培训引起 这种变化与组织目标的实现是否有积极的关系 下一批受训者完成同样的培训后 是否还能发生类似的变化 二 培训开发效果评估的类型 一 按评估的性质划分 二 按评估方式分类 三 按评估时间分类 三 培训开发效果评估的目的和原则 一 培训开发效果评估的目的1 通过有效性评估 反映培训对于组织的贡献 并以此体现人力资源部门或培训部门在组织中的重要作用2 决定继续进行或停止某个培训项目3 获得如何改进某个培训项目的信息 二 培训开发效果评估的原则 四 培训开发评估的内容 一 学员学习成绩为了检查培训效果 对学员的学习成果进行评估主要从两方面进行 培训结束时对学习成绩进行检验 这种评估一般在培训结束后进行 主要考察学员对所学知识和技能的掌握情况如何 培训结束后 考察培训对学员回到工作岗位后的工作是否产生作用 主要考察学员的工作态度 工作方法和工作业绩等有无改善和提高 二 培训讲师的评价对培训讲师的评估可在培训前和培训后进行 培训前可以采用试讲或审查教材等方法 培训后可采用访谈 问卷调查等方法 评估主要考虑以下几个方面 课程的内容是否符合培训目标的要求 课程的形式是否被学员接受 培训方法是否适当 讲师的语言表达如何 课程还需要进行哪些改进 三 培训组织管理对培训组织管理的评估在培训课程结束后进行 许多情况下常与对讲师的评估结合在一起进行 评估的内容主要有以下几个方面 培训时间安排是否合适 培训场所的环境如何 培训使用的设备或器材准备如何 学员的生活和娱乐活动安排如何 学员的投入和情绪反应如何 四 组织培训的效益对培训的经济效益进行评估 主要考虑几方面 核对培训办班的预算 检查是否超支 计算培训的投入产出比 检查办班的效率和效益 比如投资利用率 投资收益率 办班直接取得的经济效益或收入 第二节培训有效性评估模型 一 柯氏四级培训评估模式柯氏四级培训评估模式 KirkpatrickModel 由国际著名学者威斯康辛大学教授唐纳德 L 柯克帕狄克于1959年提出 是世界上应用最广泛的培训评估工具 在培训评估领域具有难以撼动的地位 一 柯氏四级培训评估模式简介 1 反应评估 Reaction 评估被培训者的满意度 反应评估是指受训人员对培训项目的印象如何 包括对讲师和培训科目 设施 方法 内容 自己收获的大小等方面的看法 反应层评估主要是在培训项目结束时 通过问卷调查来收集受训人员对于培训项目的效果和有用性的反应 这个层次的评估可以作为改进培训内容 培训方式 教学进度等方面的建议或综合评估的参考 但不能作为评估的结果 2 学习评估 Learning 测定被培训者的学习获得程度 学习评估是目前最常见 也是最常用到的一种评价方式 它是测量受训人员对原理 技能 态度等培训内容的理解和掌握程度 学习层评估可以采用笔试 实地操作和工作模拟等方法来考查 培训组织者可以通过书面考试 操作测试等方法来了解受训人员在培训前后 知识以及技能的掌握方面有多大程度的提高 3 行为评估 Behavior 考察被培训者的知识运用程度 行为的评估指在培训结束后的一段时间里 由受训人员的上级 同事 下属或者客户观察他们的行为在培训前后是否发生变化 是否在工作中运用了培训中学到的知识 这个层次的评估可以包括受训人员的主观感觉 下属和同事对其培训前后行为变化的对比 以及受训人员本人的自评 这通常需要借助于一系列的评估表来考察受训人员培训后在实际工作中行为的变化 以判断所学知识 技能对实际工作的影响 行为层是考查培训效果的最重要的指标 4 成果评估 Result 计算培训创出的经济效益 效果的评估即判断培训是否能给企业的经营成果带来具体而直接的贡献 这一层次的评估上升到了组织的高度 效果层评估可以通过一系列指标来衡量 如事故率 生产率 员工离职率 次品率 员工士气以及客户满意度等 通过对这些指标的分析 管理层能够了解培训所带来的收益 柯氏评估模型 二 柯氏四级培训评估模式的四个阶段 阶段一 学员反应在培训结束时 向学员发放满意度调查表 征求学员对培训的反应和感受 问题主要包括 对讲师培训技巧的反应对课程内容的设计的反应对教材挑选及内容 质量的反应对课程组织的反应是否在将来的工作中 能够用到所培训的知识和技能 确定学员在培训结束时 是否在知识 技能 态度等反面得到了提高 实际上要回答一个问题 参加者学到东西了吗 这一阶段的评估要求通过对学员参加培训前和培训结束后知识技能测试的结果进行比较 以了解是否他们学习到新的东西 同时也是对培训设计中设定的培训目标进行核对 这一评估的结果也可体现出讲师的工作是否是有效的 但此时 我们仍无法确定参加培训的人员是否能将他们学到的知识与技能应用到工作中去 阶段二 学习的效果 这一阶段的评估要确定培训参加者在多大程度上通过培训而发生的行为上的改进 可以通过对参加者进行正式的测评或非正式的方式如观察来进行 总之 要回答一个问题 人们在工作中使用了他们所学到的知识 技能和态度了吗 尽管 这一阶段的评估数据较难获得 但意义重大 只有培训参与者真正将所学的东西应用到工作中 才达到了培训的目的 只有这样 才能为开展新的培训打下基础 需要注意的是 因这一阶段的评估只有在学员回到工作中去时才能实施 这一评估一般要求与参与者一同工作的人员如督导人员等参加 阶段三 行为改变 这一阶段的评估要考察的不再是受训者的情况 而是从部门和组织的大范围内 了解因培训而带来的组织上的改变效果 既要回答 培训为企业带来了什么影响 可能是经济上的 也可能是精神上的 如产品质量得到了改变 生产效率得到了提高 客户的投诉减少了等等 这一阶段评估的费用和时间 难度都是最大的 但对企业的意义也是最重要的 以上培训评估的四个层次 实施从易到难 费用从低到高 一般最常用的方法是阶段一 而最有用的数据是培训对组织的影响 是否评估 评估到第几个阶段 应根据培训的重要性决定 阶段四 产生的效果 二 考夫曼的五层次评估 考夫曼扩展了柯克帕狄克的四层次模型 他认为培训能否成功 培训前的各种资源的获得是至关重要的 因而应该在模型中加上这一层次的评估 并且培训所产生的效果不应该仅仅对本组织有益 它最终会作用于组织所处的环境 从而给组织带来效益 因而他加上了第五个层次 即评估社会和顾客的反应 三 CIRO培训评估模型 CIRO培训效果评估模型的设计者奥尔 Warr P 伯德 Bird M 和莱克哈姆 Rackham CIRO由该模型中四项评估活动的首个字母组成 这四项评估活动是 背景评估 Contextevaluation 输入评估 Inputevaluation 反应评估 Reactionevaluation 输出评估 Outputevaluation CIRO培训评估模型的内容 1 背景评估 主旨在确认培训的必要性 主要任务有二 其一 收集和分析有关人力资源开发的信息 其二 分析和确定培训需求与培训目标 2 输入评估 主要在确定培训的可能性 其主要任务是 第一 收集和汇总可利用的培训资源信息 第二 评估和选择培训资源 对可利用的培训资源进行利弊分析 与此同时 确定人力资源培训的实施战略与方法 因此 输入评估实际上是收集 佐证并利用这些佐证来确定人力资源开发的实施方法 3 反应评估 主旨在提高培训的有效性 其关键任务是 第一 收集和分析学员的反馈信息 第二 改进人力资源培训的运作程序 Warr Bird和Rackham指出 如果用客观 系统的方法对上述信息进行收集和利用 那么学员所提出的意见或观点将会对人力资源培训运作程序的改进产生非常大的作用 4 输出评估 主旨在检验培训的结果 其一 收集和分析同培训结果相关的信息 其二 评价与确定培训的结果 培训结果的评价与确认可以按照层次来进行 也就是说 可以对应前述的培训目标来检验 评定培训结果是否真正有效或有益 对此 Warr等人特别说明 一个成功的人力资源培训项目总会使学员在知识 技能和态度方面的变化 而这些变化又将通过他们的行为反映出来 并作用于他们的工作业绩 进而 由于学员行为及其工作业绩的变化又促使组织消除缺陷 提高绩效 四 CIPP评估模型 美国学者斯塔弗尔比姆1967年在对泰勒行为目标模式反思的基础上提出了CIPP模型 CIPP评估模型由四项评估活动的首个字母组成 背景评估 Contextevaluation 输入评估 Inputevaluation 过程评估 Processevaluation 成果评估 Productevaluation 简称CIPP评估模型 这四种评价为决策的不同方面提供信息 所以 CIPP模型亦称决策导向型评价模型 CIPP评估模型的具体内容 一 背景评估 Contextevaluation CIPP模型对背景评估的内容界定为 了解相关环境 诊断特殊问题 分析培训需求 确定培训需求 鉴别培训机会 制定培训目标等 其中确定培训需求和设定培训目标是主要任务 二 输入评估 Inputevaluation 输入评估包含的事项有 收集培训资源信息 评估培训资源 确定如何有效使用现有资源才能达到培训目标 确定项目规划和设计的总体策略是否需要外部资源的协助 三 过程评估 Processevaluation 过程评估的目的是为那些负责实施培训项目的人们提供信息反馈 以及时地 不断地修正或改进培训项目的执行过程 过程评估主要通过以下方式得以实现 洞察培训执行进程中导致失败的潜在原因 提出排除潜在失败原因的方案 分析培训执行进程中导致失败的不利因素 提出克服不利因素的方法 分析并说明培训执行中实际发生的事情和状况 分析并判断它们与目标之间的距离 坚持在培训执行过程中提供有关既定决策和新的决策等 同其他阶段的评估一样 过程评估也需要建立在大量的相关信息基础之上 四 成果评估 Productevaluation 成果评估的主要任务是对培训活动所达到的目标进行衡量和解释 其中既包括对所达到的预定目标的衡量和解释 特别需要认定的是 成果评估并不限于培训结束以后 它既可以在培训以后进行 也可以在培训之中进行 CIPP评估模型相对CIRO模型而言 可以说是一次重大的补正 CIPP评估模型一方面补正了CIRO评估模型的不足 同时又起到了对柯氏四级培训评估模式的完善作用 其中的关键就是将评估活动切入到了整个培训过程的核心地带 执行培训环节 而成果评估又不仅被置于培训以后 重在对后续培训项目的设计产生价值 更被明确置于培训之中 旨在对本次培训项目的推进产生作用 以上介绍了四种现有的人力资源培训效果评估模型 其中的柯氏模型 考夫曼模型主要是用来对受训者的评估 其中柯氏模型是基础 其他培训评估模型中都有着柯氏模型的影子 CIPP模型与CIRO涉及到公司培训管理工作的过程 是对培训工作本身的评估 而CIRO评估方法是基础方法 第三节培训开发评估的一般流程 一 评估决策的做出在进行培训开发效果评估之前 培训主管必须对评估的可行性 评估目的以及评估的人员做出决策 二 评估规则 一 选定评估者 二 选定评估对象 三 完善培训开发评估数据库 四 评估形式的选择 五 确定培训开发评估层次 六 选择培训开发评估方法三 评估信息的收集和分析四 培训评估报告的撰写五 培训开发项目的调整和沟通 第四节培训有效性评估的方案设计 一 影响评估效度的因素和控制方法评估效度指评估的有效性 可从内部效度和外部效度两方面衡量 内部效度指评估结果是否真正反映了由于培训开发 而不是其他因素 而引起的变化程度 外部效度指评估结果适用于其他学员和人群的程度 评估中可能会由于某些因素的影响 导致评估结果不准确 低估或高估培训开发效果 使评估的有效性降低 一 影响效度的因素 1 历史和时间一项针对销售人员的销售培训项目 在学员参加培训期间 公司增加了广告投入 培训结束后 销售人员的业绩大幅提高 但这并不全部是培训的效果 培训的作用究竟有多大 员工的业绩会随时间变化 即使不培训 业绩也可能因为熟练程度的提高而得到改进 哪些真正是培训的结果 2 学员参加培训项目的学员存在知识 能力 行为方式上的差异 这种差异会影响学习的结果 如果参加项目的学员中能力强或差的比例过大 评估结果可能不具代表性 不适用于其他学员 3 对测试的反应即使不实施培训 测试也可能对工作表现和态度产生影响 特别是当员工希望取得好的测试结果时 那么这种变化就不是培训的结果 培训前的测试可能使学员更加关注测试中的问题 在培训中更加努力学习 学员在了解了项目的目标后 在培训后的评估中可能会做出具有倾向性的回答 二 影响因素的控制方法 为避免这些因素对评估有效性的影响 可以采用前后测试 对照组 随机抽样等方法 1 前后测试培训开发前后分别进行相同内容的测试 以培训开发前的测试结果作为衡量培训效果的比较基础 将培训开发后的结果与之比较 确定培训开发带来的改变程度 前测和后测应在同样的或类似的条件下进行 测试时间应大体相同 2 对照组对照组是参与评估但不接受培训开发的一组员工 将对照组和培训组的测试结果比较 可以反映培训开发项目的效果 如果培训组的业绩提高 而对照组的业绩没有变化 则可以说明是培训开发使员工的业绩水平提高 但对照组的使用一定要注意 两组成员应具有相似的个人特征 性别 教育水平 年龄 技能水平 经验等 两组成员的工作设置 工作条件也应大致相同 避免个人差异和工作条件等方面的不同而影响比较结果 另外 尽量不暴露对照组的身份 以免影响他们的业绩表现 3 随机抽样以随机抽样的方式组成培训组和对照组 避免组内成员在某些个人特征方面过于集中 同时保证两组成员在个人特征方面的相似性 这样可使评估结果更具代表性和普遍性 但从实践的角度 学员的确定不可能随机产生 现实的做法是 学员人选确定后 对他们的特征进行描述 然后将具有类似特征的员工组成对照组 二 评估设计的类型 培训有效性评估的设计种类从是否有对照组 是否进行培训前评估和培训后评估两个方面来考虑 主要有以下一些方法 上表中 借用了实验设计中的常用方式和用语 前测指的是在培训开发前对学员某方面的测定 如学业水平 能力水平 智力 个性特点 态度和技能等 后测是指在培训开发后对他们再次进行测定 对照组指在企业中和培训成员有差不多的背景 但没有接受培训开发的那些员工所构成的群体 用他们来和培训组进行对照从而发现培训的效应 一 仅有后测无对照组的设计这类评估仅在学员参加培训开发后对其进行测量 这种方式得到的信息可以了解学习效果 但由于不知道培训开发前学员的知识和技能水平如何 很难说学员所学到的东西就是培训开发的效应 二 前测一后测的设计这种设计是指在培训开发前对学员在某方面的知识 技能或态度进行测量 在培训开发之后 再对其进行测量 通过前后的变化度来解释培训开发的效果 这种设计比第一种有所进步的地方在于它多了前测 这样就可以进行前后的差异检验 通过统计分析来说明培训开发的效果 不足之处在于 由于没有控制组 分析出来的差异可能不是由于培训开发造成的 而是由于公司中其他方面的变化 如工作态度的变化很可能不是由于企业文化培训导致 而是由于公司中采用了新的奖金制度所致 三 后测一对照组的设计这种设计增加了对照组来比较和培训组的差异 但在培训开发前没有对培训组和对照组进行过测量 只在培训开发后对两组在某方面的知识 态度或技能进行评估 这两组在这些指标上的差异被认为是由于培训开发导致的 该设计的假设是培训组和对照组在培训前没有差异 然后经历了除培训外的其他组织过程 这样可以恒定一些培训外的干扰因素 但和第一种仅有后测的设计同样存在的问题是 对培训学员以往的水平并没有测量 很难评估到真正的学习效果 四 有对照组的前测与后测有对照组的前测与后测 指既包括培训组也包括对照组 需要收集两个小组培训开发前与培训开发成果衡量标准的数据的评价方案 如果受训者的进步大于对照组 说明是培训导致的这种差距 五 所罗门四组所罗门四组是综合运用了对对照组进行前后测以及对实验组进行前后测的设计 这样的好处是可以把干扰培训效果的其他因素的影响减少到最低限度 具体操作时 可以把培训学员随机分成两组 接受培训 同时另外设置两个对照组 六 时间序列设计为了更好地检查培训开发的效果 排除其他非培训开发因素的干扰效果 还可以采用时间序列设计 时间序列设计指在培训前一段时间和培训后一段时间里对学员在某方面进行多次测量 以观测培训的效果 它的一个假设是如果学员在培训开发后持续地表现出某种变化 则可以认为这种变化是由培训开发引起的 该方法适合用于学员人数较少 比较难以进行统计分析时 第五节培训开发效果评估的方法 一 目标评估法通常情况下 企业系统化的培训开发都是由确定培训开发需求与目标 编制培训开发预算及计划 监控以及效果评估等部分组成 它们之间并不是割裂的 而是相互联系 相互影响 好的培训开发目标计划与培训开发效果评估密不可分 目标评估法要求企业在制定的培训开发计划中 将受训人员完成培训计划后应学到的知识 技能 应改进的工作态度及行为 应达到的工作绩效标准等目标列入其中 培训开发课程结束后 企业应将受训者的测试成绩和实际工作表现与既定培训开发目标相比较 得出培训效果 作为衡量效果的根本依据 企业应制定出具有确切性 可检验性和可衡量性的培训开发目标 绩效评估法是由绩效分析法衍生而来的 它主要被用于评估受训者行为的改善和绩效的提高 绩效评估法要求企业建立系统而完整的绩效考核体系 在这个体系中 要有受训者培训开发前的绩效记录 在培训结束3个月或半年后 对受训者再进行绩效考核时 只有对照以前的绩效记录 企业才能明确地看出培训开发效果 绩效考核一般包括目标考核和过程考核 目标考核是绩效考核的核心 目标可以分为定量目标和定性目标 培训经理在选取目标时 应注意选取能体现岗位职责的指标 目标达到了 基本上就履行了岗位职责 过程考核是绩效考核的另一个重要内容 过程是绩效的保证 没有好的过程就不可能有好的结果 过程考核能反映员工的工作现状 它通常包括考勤 服务态度 工作饱满程度等指标 将目标考核与过程考核结合起来 就能够反应一个岗位的绩效 二 绩效评估法 定性评估法是通过对培训开发活动以及受训人员的表现进行分析和综合 剖析其失误的根源 查找问题 分析原因 总结成功的经验 最后作出结论性评价的方法 比如判断培训开发是否有效 是正效果还是负效果 方向是正确还是错误 以及评估对象的情况是积极还是消极 是进步还是落后 等等 都要用定性的评估方法 定性评估只能对培训开发活动和受训人员的表现作出原则的 大致的 趋向性的判断 定性评估主要有两种形式 即鉴定和评语 如对某培训活动的验收鉴定和个人的操作评语等 三 定性评估法 定性评估法在操作上要注意下述几点 用于评估的指标要切实可行 使定性评估的评语或鉴定恰当可靠 评估要客观 评估人员不能带任何感情色彩 要掌握评估对象的全面情况 使结论中肯切实且有针对性 评估应一分为二 既肯定成绩 又指出问题 鉴定或评估的用词要准确 恰如其分 富有特点或个性 定量评估法在培训开发效果中评估运用得比较少 要想把培训开发效果数字化是一件难事 同时收集各种资料的成本也比较高 但培训开发主管又不得不重视定量评估法 因为用数据说话往往更具说服力 评估的结果也更为准确 定量评估法较为常用的方法有成本 收益分析法 边际分析法 目标成本法 假设检验法等 但其中运用较为广泛的是成本 收益分析法 运用成本 收益分析法可有两种评估途径 一是计算培训开发效益 二是计算培训开发投资回报率 培训开发效益是指培训开发所获得的总效益减去总成本之后所得到的净效益 培训开发效益越高 培训开发的效果就越好 反之则越差 对于预期培训开发效益为负的培训 企业一般不会开展 四 定量评估法 培训效益的计算 培训效益TE E2一El xTSxT一C其中 TE 培训开发效益 E1 培训开