培训效果评估中需要注意的地方之一

培训效果评估中需要注意的地方之一 上次发布了 Phillips 的的 五级六指标五级六指标 模型模型 之后收到很多消息 留言或者问题 对培训效果的评估上显得很无奈 也很迷惑 更有迷糊 说 培训效果评估 很多人说这是形式 没有效果 常诚试着把所遇到的问题汇总回答如下 期待 能带给大家一些启示 当然 有些地方只是常诚的见解 不一定对 欢迎参与 讨论 让我们更一步清晰明白 对于培训效果评估究竟如何做才是最有效的 论坛及线下交流群提及的问题 常诚进行了归类 具体表现形式上 第一 在培训计划制定上没有包含对培训评估方法的选择 第二 在培训评估系统设计上选择了不当的评估形式 没有制定完整的合理性 培训评估计划 每次培训完了没有用心进行评估总结 更不要说建立良好的培 训评估反馈系统和进行有效反馈 第三 在培训评估标准制定上 对培训效果的评估没有形成体系 或者是搞主 观性过强的反应评估 或者是给受训人员带来压力的学习评估 或者是占用时 间和经理太多的行为评估 或者是评估标准有歧义存在缺陷 这样的评估结果 肯定就会导致信度很低 下面 常诚结合一些案例对以上表现形式进行分析 努力寻求解决之道 一 在制定培训计划时 不要忘记选择培训评估方法 一 在制定培训计划时 不要忘记选择培训评估方法 培训结束后评估方法的选择 是衡量培训成功与否的重要途径 在 Phillips 的 五级六指标 模型 帖子中 曾说到 培训评估 回答的是 做得怎样 的问题 也就是对当初为啥搞培训的出发点和初衷进行验证 对培训实施的过 程进行跟踪 对培训后产生的成果进行衡量测量 所以 培训效果评估是贯穿 于整个培训的循环中的 而不是等到培训搞完了才来评估 以下是网络上流 传的一份培训计划 关于新会计准则操作培训项目计划关于新会计准则操作培训项目计划 培训目标满足企业财务情况运转需要 提高企业财务管理水平 受训人员财务部全体人员 5 K5 J6 E g0 Y 培训内容新会计准则操作培训 i3 T Q8 B9 f J 培训时间 S O7 M N4 T 年 月 e h K8 V i M7 h 日 1 天 a D v7 C I P s9 V H6 n3 q 培训地点 t2 T7 w7 9 R F4 u0 6 A4 k 市委党校 培训方式外派脱产培训 5 U8 L8 i O 3 K 培训讲师 财务培训机构知名讲师 培训组织 0 f q o6 K m7 o HR 部门培训主管 培训预算 5 1 G I6 d4 a 5000 元 N G T p D 这份培训计划中就没有把培训评估方法作为重要内容选择进去 那么就会导致 目标能不能实现 不好衡量 培训评估对所有参加培训的公司来说都是不可少的一个环境 可以对培训效果 进行正确 合理的判断 确定受训人员知识 技术能力的提高或行为表现的改 变是否直接来自培训本身 找出培训的不足 发现新的培训需求 客观地评价 培训者的工作 为管理层决策提供所需信息 因此 在制定培训计划时 应该确定培训实施中所采用的评估方法 包括如何 考核培训的成败 如何进行中间效果的评估 如何评估培训结束时受训人员的 学习效果等等 第一 在有关培训评估方法的选择上 有观察法 问卷调查法 测试法 情景 模拟测试 绩效考核法 360 考核 前后对照法 时间序列法和收益评价法等 等 第二 对培训效果评估的实施上 应该从反应层 学习层 行为层和结果层进 行 也就是采用 Kirkpatrick 的四层次理论 论坛中有关这样的理论和模型 这里就不再 多说 各位可以参考以下帖子 1 柯氏评价 2 柯氏四级培训评估模式 虽然说 培训不是万能的 但是 没有培训是万万不能的 任何一项培 训都必须接受效果评估 否则培训就流于形式起不到任何作用 为避免这个形 式 和避免培训的盲目性 作为 HR 就应该建立起一整套科学有效的培训评估 系统 这个系统应该是对培训前 培训中 培训后各个环节进行检验的逐步深 化的过程 O k8 H a q2 X y A a T A s 对照预先设定的目标 评价培训项目所带来的贡献大小 而 不是判断培训投资是否合理或培训是否有必要继续存在 评估的级别 h A y9 A p v Y S 数据收集数据的分类 硬数据和软数据 培训前后和期间数据的收集 鉴别培训效果至少采用 2 种方法对培训效果做出鉴别 评估方法 3 c i4 U t9 7 4 t6 l 将数据转化成数字从最精确的转化策略向最不精确的策略依次进行选择 可选 择多个策略 并考虑数据的可获得性和便利性 财务数据 d1 8 V3 n D t 由硬数据转换而来的货币价值的有形收益 e5 k l7 Y G0 G D i 数据转换及 分析 K6 t1 K n Q M4 u d B 项目成本成本阶段和分类矩阵 1 q8 b Y6 v V E F x4 U 数据来源 数据统计和分析 结论 结果 3 应用与实施 7 V2 7 H j m4 数据来源 数据统计和分析 结论 结果 4 对业务的影响 T h j g5 Q Y Q D s 数据来源 数据统计和分析 结论 结果 5 ROI k7 l3 i5 8 F4 J e9 n Q 数据来源 数据统计和分析 结论 结果 o8 i0 o h b s l M 学习层次学习层次 R9 S f G8 f 结果层析结果层析 评估目 的 考核参训人员对培训方案 的反应 参训人员对培训 项目结构和培训师的看法 以及培训内容是否合适 方法是否得当的看法等 8 u p0 e5 h3 g 2 e5 L P D l 针对培训内容和培训项目的整体 情况及受训人员对培训内容的掌 握程度进行评估 Q m0 P K Q b E t3 g 评估培训项目使参训 人员在工作行为和表 现方面产生的变化 R 3 T L a6 s 培训对公司发展带来 的可见的和积极作用 评估的核心问题是评 估培训是否对公司的 经营成果产生影响 评估方 法 观察法 培训评估问卷和 培训评估调查法等 y B g9 n g8 Z L 1 培训结束时 要求参 训人员制定行为改进 计划 列明现在的情 况和需要改进方面 跟踪评估的时间 培 训师 参训人员与其 上级讨论详细的实践 计划 并由其上级和 管理人员备份 2 在约定的评估时间内 培训管理人员需要保 持与参训人员上级的 评估交流 3 约定的评估时间结束 后 参训人员及其上 级对培训效果进行评 估 培训管理人员也 可以参加评估 1 硬性指标 产出 质 量 成本 时间等 2 软性指标 态度激励 满意度 工作环境 工作习惯 工作新技 巧的使用 公司文化 及创造性等 4 为保证评估的公平性 可以采用 360 调查法 进行评估 参训人员 及其上级 同事参与 评估 七 在反应层次的评估上避免太主观 七 在反应层次的评估上避免太主观 先看一个案例 某公司在调查问卷上既有封闭式问题的满意度按 1 5 打分 又包括需要参 训人员自己填写的开放式问题 拿到问卷后 这四人说了起来 A 说 我就喜欢这老师的风格 特幽默 感觉上课很轻松 学到了不少东西 我给这次 培训的打分都是 5 分 B 说 我对老师的感觉倒是一般 不过这次培训没有占用周末时间 还让我们来这么的 好玩地方 既能学习 又能万 我满意 都打 4 分吧 C 说 你们都高兴 我可是不满意的哦 我觉得这次虽然外在的一些因素安排得好 但 是真正核心的培训内容安排得有点问题 跟咱们的工作联系不大 也不知道以前调查过的 咱们对培训的真正需求他们考虑没考虑 我全部打 2 分 D 说 我觉得你们都说得很片面 这问卷里面不是分了好几项的么 有关培训师 组织 者 课程内容都在问卷上了 就应该就事论事 给这次培训公正的评分 相信这样的情景在很多公司都类似发生过 反应层次评估的几个方面在上面已经说到了 这里说一下进行反应评估时 应该遵循的原则 第一 确定希望了解的事项 对每个培训项目来说 都有必要针对培训主题和培训责任人 进行培训反应方面的评估 且在每个培训项目的评估中 将这 2 方面的因素单独进行评估 此外 培训人员还可能就培训条件 课程安排 培训期间的后勤保障 案例分析 视听辅 助材料 分发的培训资料等事宜对参训人员的反应进行调查和了解 第二 设计一部分能够量化的反应评估表 尽力做到两点 一是能够提供尽可能多的信息 二是仅仅需要花费尽可能少的时间 培训项目结束后 多数参训人员会迫不及待地离开场 地 他们并不像在评估表格填写花费过多时间 有些参训人员甚至认为培训人员根本不会 对他们的意见进行考虑 第三 鼓励参训人员提交书面的意见和建议 汇总评分情况 仅仅反映了参训人员的部分 培训反应情况 单凭得分情况还不能提供参训人员培训反应的原因 也不能说明怎样才能 对培训项目做出改进 所以 从参训人员哪里得到更多的意见反馈 尤其是书面形式的 就很重要了 可以将反应评估表的填写安排成培训项目的一个组成部分 从而从所有参训 人员那里得到相应的意见反馈 第四 得到真诚的回答 参训人员在参加公司外部的培训项目时通常都会坦率表达自己意 见 因为这样做几乎不会给他们带来什么负面影响 而公司内部的培训项目情况则正好相 反 参训人员会担心提出意见之后对自己产生不利的影响而不愿意表达真实的想法 所以 反应评估表尽量采取匿名填写才有可能得到比较真诚的意见 第五 确定参训人员认可的评估标准 在充分考虑了资金预算 培训设施和可用师资等相 关情况下 根据对培训项目预期情况的实绩分析 建立一套参训人员能够接受的培训绩效 评估标准 第六 根据评估标准衡量培训反应 并采取相应措施 一旦确定了符合实际情况的评估标 准 就应该根据评估标准对照实际结果对培训项目的各个方面进行评估 如果没有达到预 期标准 可以对培训负责人 培训设施条件 培训主题 培训师深圳评估标准等方面做出 调整 八 在学习层评估上避免给参训人员带来压力 八 在学习层评估上避免给参训人员带来压力 有一个案例 某公司在给员工开展英语培训 除了周末的集中授课外 每天还要求员工自 己抽出 1 小时自学 1 个月后进行考核 不合格的就被辞退 可是员工们普遍基础很差 压力很大 为了保证自己不被辞退 在上班时间也偷学英语 导致公司工作严重滞后 无论评估的内容是啥 适当的压力有助于参训人员更积极地学习 培训师更好地讲课 但 是压力过大就会使培训适得其反 第一 通过笔试对参训人员学习的知识技能进行测试 培训前后测试总分对比是衡量知识 增长或态度转变 将参训人员对测试题中各个题目的答案进行对比 找到培训对参训人员 的作用和影响 但是在学习新知识的时候不要进行培训前测试 对于学习态度方面的评估 可以通过态度调查表的方法将希望参训人员在培训后具备的态度包括在里面 然后把参训 人员培训前后的调查结果进行对比 则可以看出参训人员在态度上的变化 第二 通过绩效测评衡量参训人员学习的技能 在培训前先通过参训人员的实际操作考察 期培训前的水平 在培训后根据其同样的操作表现来评估学习的结果 第三 让全部参训人员参加测试 第四 采取恰当的措施 如果培训没有取得相应的成功 那么就应该把视野放到培训内容 或者培训目标上 了解在哪些方面做的不好 而不是质疑参训人员在哪方面出现了问题如 果认识到选择的培训内容或培训目标与理想的存在差距 就应该找出对策 九 在行为评估上避免占用过多精力 九 在行为评估上避免占用过多精力 有些公司在行为评估上花费的时间和精力很多很长 采取 360 的方式来评价行为层次 既要填写问卷还要应付访谈 甚至有些公司为此还出现过吵架争执现象 搞到最后 大家 就培训就更反感了 对于这种 情况 HR 应该从评估实施的时间 方法 评估前的沟通及 评估后的反馈上多方面综合考虑设计评估流程 第一 留出充足的时间 促使行为转变 除非参训人员有机会改变自己的行为 否则他们 很难促成自己的行为转变 如果参训人员能够将培训中掌握的知识应用到实际工作中 应 该留出充足的时间 以促使其行为改变 不然 他们会说 我都没有机会和时间来转变 你就来评估 这不是扯淡的嘛 第二 如果有可能 在培训项目前后都要进行评估 在计划培训项目时 首先确定员工应 该采取哪些行为以取得最高的工作效率是最重要的 在培训项目开始前 应该对参训人员 的行为进行评估 在培训结束后 如果需要对参训人员的学习情况进行评估 就可以对其 培训后的行为转变做出衡量 了解培训项目讲授的知识技能或态度让参训人员在行为方面 发生了怎样变化 通过参训人员培训前后行为变化的对比 就可以确定参训人员在行为方 面发生了哪些变化 第三 对了解参训人员行为的人进行调查或访谈 评估应该对参训人员及其直接主管和下 属人员 以及对参训人员行为有直接了解的其他人员进行调查或访谈 这里面 只需要抽 取一小部分人作为样本 没有必要全部调查访谈 这时候 可以为这部分人准备一点礼物 进行激励激励 第四 对所有参训人员进行评估或者选择部分人员作为调查样板进行评估 第五 在适当的时间范围内进行多次评估 因为行为的转变需要时间 需要机会等等 第六 比较评估成本和评估收益 看看行为转变所用的成本与评估取得的收益 十 制定评估标准避免缺陷 十 制定评估标准避免缺陷 曾记得本人参加电脑五笔输入法培训的时候 单位没有说要掌握 Excel 和 Word 的应用技能 结果培训回来后 对我们的考核标准全部是怎样使用 Excel 和 Word 搞得哭笑不得 这个 事实说明 评估标准一定要在培训前确定 避免缺陷和争议 制定评估标准应该充分考虑 第一 标准相关度 也就是培训成功和培训目标所强调的知识 能力和技能之间的相关性 第二 信度 就是测试结果在一段时间内的一致性程度 信度高的测试就是参训人员对测 试题目的理解和解答在经过一段时间后并没有发生改变 就可以使参训人员相信 相对于 培训前后测试分数上的提高是由于在培训项目中进行了学习 而不是因为测试特点或测试 环境等其他因素 第三 区分度 就是不同的参训人员取得的成功真正反应其绩效的差别的程度 第四 可行性 就是收集培训成果的测量结果的难易程度 正确的培训评估是一个复杂过程 这是因为培训的效果具有多因素 多变量 界限模糊等 原因 科学地进行定量分析是比较困难 坚持评估标准的科学性就是想努力做到合理分解 评估项目与要素 合理确定各项评估指标的权重 合理确定各项评估要素的分值 十一 避免出现信度较低的测试结果 十一 避免出现信度较低的测试结果 测试结果是否能真实地反应培训效果还取决于测试的信度 以前 本人在建设单位的时候 对员工的安全标准掌握程度进行测试 结果是普遍不合格 上报之后引起领导高度重视 责令部门长进行安全标准知识的培训 可是部门领导为了优化培训效果 将本次培训化作 自己的功劳 就选择了一个业绩最好的单位 亲自监督 观察他们的行为 培训结束后过 了一段时间 公司对参训人员进行一次测验 结果是部门长监督的单位效果非常明星 所 有员工全部合格 然而其他单位的成绩则参差不齐 这个案例 虽然对员工参加培训前后各进行一次测验 但是测试结果的信度却不高 信度 高的测试是指参训人员对测试题目的理解和解答在经过一段时间后并没有发生改变 这就 可以使参训人员相信 相对于培训前 培训后测试分数上的提高是由于在培训项目中进行 了学习 而不是因为测试特点 比如第二遍看题目时更容易理解 或者测试环境 比如参 训人员之所以能在培训后的测试中表现得更好 是由于教室更舒服更安静 等其他因素 上面的这个案例 前后测试环境相同 但是可能出现了霍桑效应 在评估中 员工仅仅因 为受到关注表现高绩效的现象 由于参训人员培训前后的行为和态度的变化 不仅仅取决于培训 还取决于组织环境的变 化 培训期间个体的成熟程度 参训人员对培训的认知等多种因素的复合作用 则需要设 法从诸多变量中区分培训的影响 参考的方法有 1 前测和后测 提高信度的一个方法就是首先建立培训成果的基准线或进行培训前测验 培训后在相同的环境进行有关成果的另外一次测验 能够说明参训人员由于参加培训而改 变的程度 如果后测的环境显然优于前测的环境 则测试结果的信度必然会低 2 利用对照组 避免霍桑效应 对照组是指不参加培训项目的一组员工 但是他们会收到 相同的对待 前测和后测使用的仪器相同 而且他们具有与参训人员相似的条件 比如性 别 年龄 文化 在职年限 技能水平等 因此他们在公司中收到的关注度差别不大 在 评估中 运用对照组就可以排除培训之外的因素对成果衡量尺度的影响 在上面的案例中 对参训组和对照组在培训前 培训后分别进行安全测验 并且给予对照 组和参训组同样的领导关注度 如果参训人员的安全行为水平较培训前有所提高 而对照 组在培训前后没有什么变化或者变化程度明显弱于参训组 那么合理的结论就是 培训导 致了员工的行为发生了好的变化 而不是参训组因为受到领导的关注导致了这一变化 增加一个对照组 会增加培训成本 而且还需要考虑哪些员工纳入参训组和对照组 一个 办法就是在明确参训人员之后 对他们的特点进行描述 确保对照组中的成员有类似的特 征 另外一个办法就是采用随机抽样法 由于一般不太容易衡量所有能够影响培训成果尺 度的个性特征 只能通过随机抽样 确保这些特征均匀分布在参训组和对照组 培训效果评估的方法有很多 对培训效果的要求各不相同 培训师必须有效地运用评估方 法 既要成功地进行评估 又不能浪费资源 决定评估前 要考虑两点 一是可以使用的 方法 工具 二是可以用来评估的资源 当这两条都满足的时候 就可以有效地进行评估 但是在现实中 由于一些客观条件的影响或者限制 使得培训方法不能发挥全部的作用 这样会使评估不完整 评估结果带有主观性 评估结果很难理解 但是 如果前后一致地 进行了评估 尽管评估不完整 在某种程度上 也对下一步的参训人员的工作和下一次的 培训有所帮助的 十二 如何避免单一的培训效果信息收集渠道 十二 如何避免单一的培训效果信息收集渠道 在某次公司培训评估会议上 某领导首先开口这样说 这次培训 我看到我们的员工都 很积极 他们都说收获很多 因此 我个人认为这次培训是非常成功的 接下来 基本 上所有的与会者都按照领导的这个基调进行培训效果发表自己的意见 没有一个发表与领 导基调不同意见的意见或者建议 最后 领导就决