《培训效果评估》PPT课件

第五章培训效果评估,导入案例：安全培训与安全绩效安徽省同一城市的两家煤矿（Z矿和L矿）。Z矿为一家国有重点煤矿，投产时间为1961年，设计能力75万吨/年，现核定生产能力达220万吨年，职工4443人；该矿安全绩效水平高，在业内属于标杆水平。L矿是一家国有地方煤矿，建矿时间是1992年，投产时间是1998年，设计生产能力是30万吨/年，现核定生产能力45万吨/年，职工1120人；该矿的安全绩效在业内处于中游水平。,两矿在人力资源管理方面有明显差异,L矿的人力资源管理只是一些传统意义上的人事工作，该矿矿长说：“人事部门主要执行领导的决策，没有提供一些人力资源管理方面的主导意见给领导。”Z矿对人力资源部门的重视程度显著高于L矿，设有劳动工资科和职业教育办公室，在组织运作、人员配备、激励和考核等方面起到了更加主动的作用。,招聘方面,Z矿的招聘活动主要由所属的集团公司组织，包括笔试和面试。Z矿接受人员报名，然后将名单统一上报到集团公司，由集团公司对这些人员进行考核和选拔。考核内容：身体条件（是否适应井下环境，是否有高血压、心脏病等疾病，体能测试）、井下实践、学历（最低初中）等。两年前该矿主要从企业内部招职工子女，还招收该市退伍军人和大中专毕业生。现在招工紧张，逐步放宽招聘渠道，面向社会招生。,招聘方面,L矿主要采取社会招工的招聘形式，条件：年龄（25-40岁）、身体条件（体力）、文化程度（最低初中）。90%以上是农民工，流动性较大。,培训方面,两矿都比较重视安全培训。安全培训是国家有关法律法规和上级部门要求的“规定动作”，具有强制性。但在培训形式和培训效果上，两矿存在明显差异。,培训方面,Z矿强调理论和实践并重，除了讲师理论培训外，还举行职工技术比武和实训。该矿实行师带徒制度，工人进矿后需要在师傅的指导下进行六个月的见习，与师傅同上同下。如果师傅不在身边，徒弟就是一个“隐患人”，不能下井单独作业。,培训方面,Z矿的工人们认为培训的效果较好。工人们对培训教材非常熟悉，集团公司安全培训一日一题、一周一案例，工人每天都要背会其中一题。矿劳资科负责督查，定期下井抽查。职业教育办公室对工人每月小考一次，每季度大考一次。工人们对培训效果较高的满意度与培训内容的细化、培训效果的奖励考核、以及培训时间的合理安排是分不开的。,培训方面,L矿将培训安排在工人的业余时间，工人由于工作劳累，学习精力不够集中，影响培训效果。职工的文化水平参差不齐，有的工人课堂记录不够全面，不能全面理解和领悟培训内容。L矿工人认为培训能提高他们的技能，保障他们在工作中的安全，懂得面对紧急情况该采取什么措施。但是培训内容需要通过合适的形式才能发挥效果。,薪酬管理方面,从2002年开始，两矿相继实行安全工资制度，将安全指标与职工薪酬挂钩，将安全工资在工资总额中的比重提升到30%。近年来两矿还实行了安全抵押金制度。这些与安全相关的薪酬制度有效提高了两矿的职业安全绩效。,两矿薪酬管理的差异,Z矿的一线采煤工的月工资达4000多元，而L矿只有2000多元。L矿一名工人说：“如果工资少，比如2000元/月，那么觉得违章扣一点钱也无所谓，不管怎么样，矿里也会发点工资给工人生活，低不到哪里去。但如果工资高，如4000元/月，违章扣一下就1000元，心里觉得很多。工人最怕的就是扣钱。,两矿薪酬管理的差异,Z矿采掘工的月安全风险抵押金为1000元/人，L矿只有350元/人。出现事故或严重违章行为时，Z矿处罚的力度更大。Z矿将抵押金概念团队化，一人违章整个团队都要受罚，直接领导也要受罚。L矿只有在团队出现重大事故或三违次数超过一定值的时候，才对整个团队处罚，对团队领导的处罚力度不如Z矿大。,两矿薪酬管理的差异,Z矿实行安全效益奖，用正向激励的手段促进员工自觉遵守安全。L矿则很少用这些奖励的手段。,管理监督方面,2005年9月3日，国务院下发第446条国务院令，规定领导执行下井带班制度。两矿在实行领导带班制度后，安全绩效得到提高。Z矿规定，带班领导一季度内必须发现至少一个“三违”行为，否则就会被扣工资，这使该制度更加务实。领导带班时如果看到某工人的安全行为做得好且规范，就会奖励他五十元。,管理监督方面,L矿也实行了严格的管理技术人员下井跟班制度，但存在不足。如非地下专业的领导要先确保自身的安全，通过培训了解井下专业知识后才能下井带班。这些非井下专业的领导带班主要是和工人座谈，不能发现安全问题。,劳动关系方面,Z矿是国有重点煤矿，对工人保障的投入较高，劳资关系较缓和，工人的积极性更高，对安全更加重视。遇到工资和职业病等方面的问题，他们会直接找劳资科的人员进行询问。劳资科调解无效，会由该矿的劳动仲裁委员会解决。委员会由工会主席、劳资科的相关人员和该矿的法律顾问组成。,劳动关系方面,L矿劳资冲突的问题主要体现在工人的工资和排班时间的安排上。L矿没有一个完善的工人意见申诉机制，工会没有发挥应该起到的作用，工人有时直接找矿领导表达工作中的问题。,导入案例：安全培训与安全绩效,案例讨论题：Z矿的安全绩效在业内处于标杆水平，你认为主要原因是什么？其中安全培训的贡献度大概是多少？为什么？导致Z矿和L矿安全绩效差距的非培训因素有哪些？如何剔除？,第五章培训效果评估,经常被忽略：重要环节，具有实际的意义。不知如何进行：思路、方案、技巧。,第一节培训效果评估概述,一、培训效果评估的基本内涵培训效果：培训活动给培训的对象、学员主管、培训组织部门和培训的投资方带来的正面效应。培训和培训效果之间没有必然的联系。（没有效果或负面效应，这方面效果显著，那方面表现平平，该项目投资回报率高，那项目低。）,一、培训效果评估的基本内涵,针对一个具体的培训项目，培训的投资方或组织方等，通过系统地收集和分析资料，对培训效果的价值及其价值的程度、对培训质量的好坏高低等作出判断，其目的在于指导今后的培训决策和培训活动。,二、培训效果评估的多元意义,培训效果评估本身具有多方面的意义。（价值、质量、投资回报等方面的判断）培训效果评估的受益方，是多方面的。（投资方，培训的组织部门，培训师，学员）,1、效果评估对投资方的意义,1）了解投资收益率，指导今后的培训投资决策。不判断此次培训投资的质量，就无法确定今后如何对待此类培训。培训前的成本收益分析是预先的估计，不能替代效果评估。,1)了解投资收益率，指导今后的培训投资决策。,一般性项目的投资收益率，社会上或行业内有权威的数据。不能替代实际评估。有些培训项目无法进行投资收益分析。有些培训是作为福利项目推出的。但可以退而进行有效性分析。,2)激励培训的组织者，控制培训的过程和效果。,投资者对组织者的激励手段投资者对组织者的控制方法,2、效果评估对组织方的意义,显示培训工作的意义获得如何改进该培训项目的信息激励培训对象、培训教师的方式培训活动的控制措施,三、培训效果评估的常见障碍（掌握技能，消解障碍）,成本太高评估太难（行为层面和结果层面的评估很难操作，客观性低。资料的数量、质量和分析。非培训因素的辨别。）人际障碍（主观性导致意见冲突。你好、他好、大家好）评估的结果无用，闲置在文件柜中。,四、培训效果评估的主要类型,根据培训评估的提出者根据评估的目标根据评估的目的,四、培训效果评估的主要类型,培训开始时的评估。（对学员的现有状况的评估，为培训结束时效果评估提供参照物）培训过程中的评估。（长期的项目，及时调整和改进）项目结束时的评估。（教师对学员的学习成果、学员对教师教学、项目管理的评价）,四、培训效果评估的主要类型,项目结束一段时间后的评估。（决策层或用人单位对学员工作行为改进程度的评估，较难，培训部门有压力）项目结束较长时间后的评估。（培训项目对组织发展、利润增长的贡献率；离职率、事故率下降，满意度、效率指数上升。）,五、培训效果评估要注意的几个问题,1，考虑是否需要评估以及评估类型的选择（成本问题、可行问题、意义问题）不该进行评估或不该进行复杂评估的常见情况：培训项目目标不明确或对目标缺乏共识时（缺乏评估标准、产生争议混乱）培训效果评估没有明确目的或目的不纯时（评估结果没有用处，使事情做得比较规范，给关系户一笔业务，为既定的决策提供支持）,不该进行评估或不该进行复杂评估的常见情况：,评估没有时间和人力、物力等保证时（评估要求与资源提供失衡，避免被动）评估时机不成熟或缺乏可行性时（培训的效果还没有机会在工作中表现出来，培训效果无法量化或用货币、财务形式衡量）,应该进行评估或进行较高层次评估的常见情况,投入较大的培训项目（表示对资金的负责）。培训目标与企业的核心竞争力关系密切或对企业运作影响面较大的项目（预算总额不大：涉及的目标学员少，持续的时间短。）组织的决策和运作需要了解其效果信息的项目,决定是否评估的基本思路：成本收益比,100万的培训项目，10万的评估成本。1万元的培训项目,1万元评估。评估的数据涉及重要的决策，就值得投入；评估的结果没有用处，任何投入都是浪费。,2，明确培训效果评估的目的和目标,评估的委托者如何向评估的承担方交待清楚自己的真实意图，需要沟通的技巧、耐心和诚意。有些意图不便明说，需要承担方去揣摩。只要是合理的，都要尽可能地给予满足。以客户为导向，坚持独立、客观的评估活动。了解学员的学习效果？培训师的教学效果?员工态度和行为的改变?有关指标的变动状况？抓住重点，达到事半功倍的效果。设计评估方案的前提，提高评估效果的条件。,3，选择好评估承担方,组织内部机构承担：好处：成本较低；便于协调和沟通；对项目比较了解等。缺陷：专业知识和技能较差；易受人际关系的干扰；受高层暗示的影响。,组织外部机构承担,好处：较好的评估技能和方法、不易受组织高层或相关利益部门的干扰、独立评估，结论较客观。问题：成本较高；对项目的了解不够；协调和沟通比较困难。,选择评估承担方要考虑的因素,可能提供的评估资金的数量内部评估机构和人员的评估能力和水平评估的目标或意图可以选择组合的评估方式,六、培训评估报告的内容,评估报告：对评估过程、方式、数据和分析结论等进行整合而形成的一份综合性的书面文件。其内容涉及：概要：对整个报告的简要综述，概括评估的主要结论和建议。项目背景：培训项目的总体说明，需求状况、目标设定、方案设计等。,六、培训评估报告的内容,评估目的和指标：详细说明评估目的，各层面评估的具体目标。评估方法和策略：包括评估的层次、过程、方法、工具等。数据的收集和分析：何时、用何方法、从何处收集的数据，数据分析的方法和分析的结果等。,六、培训评估报告的内容,项目成本：分类汇总各项成本和总成本。反应效果：学员对项目的满意程度、评价和建议等。学习效果：详细说明学员对新知识、技能和态度掌握和接受的情况。行为效果：说明学员的工作行为有否运用所学内容，运用的程度。,六、培训评估报告的内容,业务影响：培训对有些组织绩效指标的影响情况。ROI分析结论：比较项目收益和项目成本，计算投资回报率。支持因素和障碍：对项目起积极作用的因素，项目实施中的问题和障碍。结论和建议：综述各项目标的实现程度，提出项目改进的建议。,第二节培训效果评估的常见模型,关于评估程序的模型关于培训结果评估的模型关于培训项目评估的模型,1.关于评估程序的模型,作出是否进行评估的决定,制定评估方案,收集评估信息,数据的整理和分析,撰写培训评估报告,2.关于培训结果评估的模型,菲利普斯（Phillips）的五级投资回报模型：反应，了解学员对培训项目的满意程度；学员打算如何在今后的工作中应用所学知识。学习，测试学员经过培训后学到和掌握了哪些知识和技能，理解掌握到什么程度。,菲利普斯（Phillips）五级投资回报模型,学习成果在工作中的运用：学员有没有按所学的知识技能进行工作，培训中提倡的态度和价值观有没有改变学员看待和处理问题方式。业务结果：培训对企业业务的影响：产量、质量、成本、客户满意度等。有没有变化、变化的方向和程度。投资回报率：将业务指标的改进转化为货币形式，与培训的成本比较，计算出投资回报率。,3.关于培训项目评估的模型,伯德（M.Bird）等人的CIRO模型：情景评估（ContextEvaluation）：了解培训项目推出的环境因素，对培训项目的目标设定是否针对培训需求，针对的程度如何作出判断。输入评估（InputEvaluation）：了解培训项目的资源投入，确定项目的成本，并对成本的状况（偏高偏低）进行评价。,伯德（M.Bird）等人的CIRO模型：,反应评估（ReactionEvaluation）：了解学员对培训项目及其实施情况的反馈信息，并确定反应的性质（好/坏，满意/不满意）和程度。输出评估（OutcomeEvaluation）：了解项目产生的影响，确定项目在哪些方面有意义，意义的大小。,罗恩考夫曼（RonKaufman）“社会效益”评估,社会和客户对培训项目的反应：了解和评价培训项目给社会和客户带来的收益是什么，有多少。模型丰富了培训评估的内容，体现了以客户为导向和承担社会责任的企业现代管理理念。,本章为何讨论程序和项目的模型?,培训评估的实践和理论许多都超出培训效果评估的范围。对培训项目本身和过程的评估，有助于对培训效果的把握，特别是关于培训满足需求程度和培训投入的评估，与培训的效果存在直接的联系。,第三节柯氏评估模型及其运用,一、唐纳德科克帕迪克（Kirkpatrick）的培训效果四层次评估模型：,四层次之间的内在联系,评估的时间顺序前者是后者的基础评估的难度逐渐加大评估的普遍性递减评估的价值递增,二、反应评估及其应用,起点，使用普遍，手段和方法较成熟。学员对培训项目的感受：培训场所是否舒适安静、教师讲课是否有趣明白、培训内容是否符合自己的要求、培训方式是否多样科学。主观性强，不能依此判断教学和培训的质量，也无法反映培训带来的个人绩效和组织绩效。,二、反应评估及其应用,反应评估是不可或缺：学员的积极反应是项目成功的基本条件；学员作为受训对象，培训活动的直接受益者，有评估的发言权。,1.反应评估的具体作用,提供培训组织方改进培训的建议。提供培训师改进教学的建议。对教学和管理方的激励和约束。使学员感受教学和管理方对其意见的重视。为进一步的评估和分析提供信息基础。,2.反应评估要注意的问题,确定要收集哪些信息：教学质量的、培训管理的、培训内容的？根据评估的目的,非越广越好。尽可能地设计可以量化分析的评估表。明确交待评估的意义，对参与评估表示感谢，要求客观诚实地填写。,2.反应评估要注意的问题,建立培训“可以接受”的标准，即各方面工作的基本标准。反应评估的结论向有关方面或当事人反馈。,3.反应评估信息收集的形式,问卷：学员意见反馈表课后会谈电话采访课堂讨论选择时机：及时，在学员对所要了解的事项还记忆犹新时进行。,三、学习评估及其应用,评估培训目标规定的要掌握的知识、技能、态度等指标达到的程度。普遍使用，比较成熟，成本较低，相对方便。,1.学习评估的类型和方法,2.学习评估要注意的问题,剔除非培训因素。个人变量：学习动机、学习成果转化动机、学习能力和学习态度。环境变量：培训成果转化氛围、外部事件。对照组、前后测等技术。,四、行为评估及其应用,1.行为评估的含义和意义评估学习结果是否迁移到工作中，在多大程度上转变为工作行为。“知”和“行”、“会”和“行”可以各行其道。影响因素：客观的环境条件，主观的态度、动机。意义更重大。,2.行为评估的主要困难,导致行为改善的非培训因素很多：组织绩效考核指标的调整，员工经验的自然积累等。学习结果转化为工作行为需要组织和工作环境的支撑。行为在什么时候、什么场合下可能表现出来，很难把握。培训内容与工作行为没有直接关系，如纯粹的理论学习。,3.必须进行行为评估的项目,学习内容与工作行为有直接关系的培训项目，如关于某办事程序的培训。培训内容与工作行为有较大的关联度，如某办事原则的培训。,4.行为评估的维度、参与者和方式,5.行为评估要注意的问题,尽量采用前后测和设对照组的评估方案。重视评估时机的选择，承认行为改变需要时间过程。重视样本的选择。样本规模要能保证评估质量，被选对象应具备学习成果迁移的主客观条件。行为评估后进一步分析行为变化的原因，找出培训在其中的作用。,6.行为评估问卷示例（学员自评）,6.行为评估问卷示例（学员自评）,6.行为评估问卷示例（下属评价）,五、结果评估及其应用,1.结果评估的特点最重要、最困难、使用得最少。反映培训对于组织绩效的贡献：产品质量、安全事故、销售业绩等。可行性较差：影响组织绩效的变量复杂多变；信息收集困难；评估方案的设计，技术要求高。资料的分析，技术要求高。,2.结果评估的通常项目和常见指标,结果评估的最高形式,培训的经济价值评估。以一个简单明了的数据回答了培训决策方最关注的问题。如何进行，有专节论述。,第四节培训效果评估的方案设计和数据分析,评估方案的质量决定评估结果的质量。了解常用的效果评估方案，知道其特征和优缺点，对于方案的选择和组合具有指导意义,一、影响培训有效性评估效度的因素,1.评估的信度和效度信度：衡量工具的准确性和精确性，要求稳定和一致，在不同的时间点重复衡量相同的事物和个人，评估结果的相同程度。效度：评估手段能否将评估对象的属性和特征反映出来以及反映的准确程度。,2.评估的内部效度和外部效度,内部效度：评估结果与评估对象的符合程度。外部效度：评估结果一般化到其他学员和群体中去的程度。提高培训评估的效度：搜寻和衡量干扰培训评估效度的因素。通过评估方案的设计和选择，在一定程度上降低这些因素的干扰。,3.影响培训评估内部效度的因素,时间的变化和过程的推移会提高或降低员工的知识水平和技能状况。评估手段和工具的进步对评估结果的影响。以前的测试对本次测试结果的影响。经过多次测试，掌握了测试技巧，使测试结果好于实际情况。抽样方法不科学或抽样规模过小影响评估结论的可靠性。实验组和控制组之间的互动对评估的干扰。控制组意识到自己的角色时，其表现会偏离正常轨道。,3.影响培训评估内部效度的因素,被测者对前测的紧张和敏感使表现失常。过分在乎评估结果或评估结果对其影响重大，使被试者超常发挥。,4.影响培训评估外部效度的因素,按一定标准甄选出来的受训者往往具有特定的素质，使评估的结果无法适用其他人群。,内部效度与外部效度的关系,没有内部效度，就没有外部效度。有内部效度，不一定有外部效度。,二、培训评估方案的主要类型,说明,前测：培训前对学员的某些方面（培训内容、效果评估有关）进行测试。后测：培训后再次对学员进行相同内容的测试。对照组：该群体除了没有接受培训外，其他情况均与培训组的成员相类似。通过比较发现培训的效果。,1.后测,含义：培训结束时对学员的知识、技能水平、态度等进行测试。评价：简便。无法证明现有知识技能中哪一部分是培训带来的。适用条件：培训的内容是全新的。评估者只对学员培训后的实际知识技能水平感兴趣。,2.前测-后测,含义：比较分析两者的差距，认为这个差距就是培训的效果。评价：难以证明学员培训前后的变化一定是培训带来的（自身的成长和组织环境的变化）。适用条件：培训目标很少受非培训因素的影响，如操作设备的速度和精确度。整个培训期间，学员个人或环境基本保持稳定。,3.后测、对照组,含义：培训结束时对培训组和对照组进行相同的测试，两组的差距为培训的效果。假设：两组的知识技能水平在训前完全一样，在训中除了培训外，其他条件均相同。,4.前测-后测、对照组,分别对两组进行前测和后测，比较两组前后测的差距。培训组的改善幅度大于对照组的部分为培训的效果。培训效果=（培后对后）（培前对前）=（培后培前）（对后对前）评价：更科学，成本也更高。,5.索罗门四组设计,5.索罗门四组设计,如果培训组A和B的后测结果差距不大，说明测试本身是可靠的。如果对照组A和B两组的后测结果也基本相同，说明测试手段没问题。同时评估了测试手段本身的可靠性程度。,6.时间序列设计和多重时间序列设计,测试学员变化的过程。如果学员在培训后，某些方面出现了训前所没有的或者训前不明显的持续的发展趋势，可以认为，这种稳定的发展趋势是培训带来的。设计方案：培训组：T1T2T3XT4T5T6对照组：T1T2T3T4T5T6,时间序列评估提供的信息,学员培训前后变化方向和程度的信息培训效果持久性的信息培训效果滞后时间的信息,如何选择培训评估的方案？,根据需要：福利性的培训无需非常正式的效果评估。研究性的评估，就要舍得投入。采纳正式的、规范的、高成本的评估：需要利用评估结果进一步改进培训项目；需要利用评估结果，比较不同的培训项目；需要证实培训投资确能带来收益；评估有足够的技术、时间和资金的保证。,三、培训有效性评估的数据分析,1.硬性数据和软性数据硬性数据：客观的、理性的、容易形成共识的、方便计量和比较的信息，如产出、质量和成本等。软性数据：量化比较困难，或量化手段不成熟，只能用描述性的语言来判断其性质或只能大致反映事物的发展变化趋势和变化程度但无法精确衡量的信息，如职工满意度的变化方向和程度，创新意识的提高和实践的情况。,硬性数据的常见类型和形式,软性数据的常见类型和形式,2.数据分析的基本类型,集中趋势分析：提供关于总体情况的结论。简单平均数：即把所有分数加总后除以分数的个数。中位数：即将分数从小到大按顺序排列，取其中位数为结果。众数：即一组中出现频率最高的数。,2.数据分析的基本类型,离散趋势分析：提供关于差别和差别程度或整体中各类情况结构的信息。离差分析方法：极差：最大和最小两数值间的距离。四分位差：75%的位数与25%的位数之间的差，代表数据分布中间50%的距离。方差：变量数列中各变量值与其算术平均数差的平方的算术平均数。标准差：方差的平方根。残差等。,2.数据分析的基本类型,相关分析：发现两组数据或不同变量之间的关系。揭示变量间的变化方向和密切程度。如，培训方式和培训成果转化程度之间的关系。分析哪些是自变量、哪些是应变量；变化的方向是同向的还是反向；变量之间关系的密切程度。,第五节培训效果的经济价值分析,分析培训对于组织的可以用经济指标衡量的收益。投资回报率分析。基本步骤：确定培训成本确定培训收益计算投资回报率,一、分析和确定培训成本,培训成本的构成：过程的阶段内容的方面结合会计账目分别列出加总。,培训成本矩阵,培训成本,1需求分析成本：绝对值和比重在上升。员工参与需求分析耗用时间的工资福利；聘请外部咨询顾问的直接费用；分析中利用的服务和物品等。2设计和开发成本：内部参与设计和开发人员的工资福利；聘请外部咨询顾问的费用；购买设备、光盘；e-learning的开发；管理费用等。,培训成本,3购买成本企业从外部直接购买培训项目发生购买费用和对培训人员进行培训等费用。4实施成本内部培训人员和协调人员的工资福利、外聘教师的全部费用；教材、案例研究、练习、纸笔、证书等材料费用；学员、培训和协调人员的差旅、住宿和用餐费用；租用外部会议中心或使用内部会议室的费用。学员培训期间的工资福利。,培训成本,5评估成本评估方案设计的成本。评估数据收集的成本。评估数据分析的成本。评估报告撰写的成本等。6一般管理成本行政人员、部门办公等开支,确定培训成本要注意,区分一次性耗用成本和反复使用的成本。避免重复计算。考虑机会成本。,二、分析和确定培训收益,1.确定培训收益的途径通过以往研究和培训纪录来确定培训收益；在公司范围内进行小样本的试验，由此