中国电信集团培训效果评估体系设计报告

1、机密 中国电信集团培训效果评估体系设计报告 2003年10月26日，北京 目 录前 言.3一、 中国电信培训体系现状分析.4二、培训效果评估理论与评估可行性分析.8（一）培训效果评估的目标.8（二）中国电信培训效果评估的目标选择.10（三）培训效果评估的可行性12（四）学术界的著名评估模型.12（五）培训效果评估应用实例.15三、中国电信培训效果评估体系设计.16（一）多维度、多层次、多方法培训效果评估模型.16（二）培训效果评估的原则.21（三）培训效果评估流程.22（四）结果层评估方法介绍26（五）培训效果评估结果的应用.32前 言中国电信集团公司（以下简称“中国电信”、“集团公司”）是按

2、国家电信体制改革方案于2002年5月17日重组挂牌成立的特大型国有通信企业，注册资本1580亿元人民币，主要经营国内、国际各类固定电信网络设施，多媒体通信与信息服务等业务，下辖21个省级电信公司，员工22万余人。 为了应对日趋激烈的市场竞争环境，实现企业的持续、健康发展，围绕创建“世界级的现代电信企业集团”的总体目标，中国电信早在2001年就提出了薪酬激励、绩效考核、职业发展、竞争上岗和教育培训五项机制创新的战略，配合员工职业发展机制和教育培训机制创新的战略部署，为构建与现代企业制度要求和员工职业发展需要相适应的员工培训体系，提高人力资源开发利用效率，北京和君创业企业管理顾问有限公司应邀对中国

3、电信目前的培训开发体系及其效果进行分析与诊断。在此基础上，规范和设计适应中国电信战略发展需要的培训效果评估体系及相关程序和制度，从而为中国电信创建具有国际综合竞争力的大型企业集团的总体战略目标服务。 本项目组于2003年47月对中国电信培训状况进行了问卷调查，并赴宁夏、贵州、福建省（区）电信公司调研考察，在此基础上，对中国电信的培训体系现状进行了分析。在此过程中，集团公司劳资与培训部和下属各公司的培训相关工作人员给予了积极的支持和帮助，为培训效果评估体系的构建打下了坚实的基础，在此次提交培训效果评估体系设计报告的同时，我们要衷心感谢给予我们大力支持的中国电信领导和员工!一、中国电信培训体系现状

4、分析在技术进步不断加快的市场环境中，企业一方面需要依靠技术创新来提高效率、获得盈利，另一方面，任何企业的长远发展都依赖于一支能够不断创新、素质过硬、工作积极的员工队伍，因此，为了增强员工的工作技能和献身精神，适应日新月异的市场环境，企业需要越来越重视员工培训。中国电信的高层领导清醒地认识到现代企业的竞争是企业学习力的竞争，是企业员工的核心能力及其更新效率的竞争。因此，为了满足企业长远的战略发展需要，适应员工岗位职责变化和员工职业生涯发展的需求，集团公司成立以来，在培训需求调查、培训师的选拔、培训教材的编制和选择、培训计划的拟定、培训的实施和管理上都逐步建立了统一的制度和规范，为搭建一个完善、高

5、效的培训体系奠定了扎实的基础。中国电信设立了集团公司、省级电信公司、地市级电信分公司合理分工、统一协调的三级培训管理体系，并且开展了大规模的员工教育培训工作。一项对国内31家企业集团（地处江苏、上海、广东、山东、浙江、陕西、安徽等地，制造业 21 家，外贸企业集团 4 家，能源、通讯、金融行业各 2 家）的调查表明，培训支出占员工工资总额比例在 0.5% 以下的企业占 38.7%，支出比例在 0.5-1.5% 的企业占 38.7%，支出比例在 1.5-3% 的企业占 19.4%，支出在 3% 以上的企业占 3.2%，2000-2002 年间每年提供给管理及专业员工的培训日数平均为6至9天，而基

6、层员工每年接受的培训时间大约为 19 天。这些企业集团中的大部分公司将人员培训、组织结构及管理变革、人力资源战略规划作为未来三年最重要的人力资源管理工作，27.1% 的被调查公司认为未来三年里最重要的人力资源工作是制定员工发展政策。目前中国电信组织的培训主要是为增强岗位适应性开展的技术业务人员职业资格培训、业务技术培训和管理人员任职资格培训。主要以公司内部培训为主，课堂教学法、讲座法、演示法、电视电话会议和情境模拟等形式展开。据集团2002年度的统计结果，中国电信共支出培训经费34087.67万元，用于142，595名员工的培训工作，员工平均培训率达到64.04%。人均培训经费支出为1530.

7、78元/年，平均培训2.05次/年，平均培训时间为8.24日/年；集团公司制定的2003年培训计划中拟定安排集团公司负责组织的151个培训项目，包含了针对不同部门、不同层次培训对象的形式多样、内容丰富的多期培训班。以上数据表明了集团对于员工教育培训工作的高度重视，从经费的投入到分类培训的计划，从培训计划的制定到实施，都体现了公司全员轮训和重点培训相结合、以岗位培训为主、追求企业发展与员工职业发展双重目标的基本原则。可以说集团各级领导充分认识到了培训的重要性，对员工培训的投资力度，培训制度的严格程度、培训管理体系、培训时间和规模都处于国内领先的水平，但是根据此次项目组对中国电信培训状况的问卷调查

8、和访谈结果，项目组也发现了集团培训工作的不足之处，表现为重数量轻质量、重当前需求轻长远规划，缺乏前瞻性和系统性，这样的培训尽管投资巨大，其总体效果却不是很理想。根据对调查结果的分析，我们发现：集团组织的各类培训总体上达到了更新知识、提高技能、转变观念的目的，但是仍然与集团构建“世界级的现代电信企业集团”的战略目标以及员工职业发展的目标有一定的差距，其原因是多方面的，根据对调查结果的分析，主要体现在以下两个方面：Ø 培训与经营战略的结合不够紧密培训工作的开展未能满足集团实施“九大战略举措”的要求，未能体现集团以培训促进服务质量提升、人力资本增值、创建学习型企业的战略意图，应急性培训较多

9、，前瞻性、开发性培训较少；零散性培训较多，系统性培训较少。Ø 培训制度不够规范，培训体系不够完善虽然在中国电信的培训制度中对于培训计划的制定、培训课程的设计、培训的组织实施和培训效果的评估方面都有相应的制度框架，但是缺乏规范性和操作性，表现在执行过程中缺乏科学的培训需求分析和有效的培训效果评估这两个关键环节，而且没有分层分类的培训课程体系和培训教材。培训需求分析不足，导致培训内容和培训方式针对性不强，收效不大。培训效果评估不完善导致培训方向的偏差和培训投入的收益甚微。根据项目内容，我们着重对培训效果评估这一环节进行简要的分析。目前中国电信对培训工作的评估主要关注培训率（一个员工全年累

10、计接受培训时间为40个工作日计为一人次）、满意度、培训时间与及时率，例如，每年的全员培训率不少于50%；保证岗前培训率和转岗培训率达到100%；员工培训的满意率达到95%以上。这些规定体现了对培训结果的重视，反映了对培训效果进行评估的意图，培训工作人员也利用问卷调查、考试或访谈的方式收集了有价值的信息。但是，这些规定并没有反映培训效果本身，不是对培训效果的评估，而是对培训工作的要求，与培训效果评估应该收集的信息和发挥的作用相比还有很大差距。中国电信培训效果评估工作的不足：根据上述对中国电信培训效果评估现状的分析，我们认为在培训效果评估方面的主要问题在于缺乏制度化、规范化的培训效果评估体系，具体

11、表现如下：Ø 缺乏科学的评估理念培训工作人员和学员多数将效果评估视为检验学习效果的手段，而忽视了培训所学知识、技能在工作中应用的效果，甚至是为了评估而评估，没有突出以效果评估促进培训师、学员和培训工作人员改进各自工作，最终保证组织绩效提高的意图。Ø 评估目的不明确、流程不规范中国电信没有完整的培训效果评估制度，只有一些指导性的意见，缺乏操作性，实际执行过程中没有明确的评估目的、科学的评估标准和规范的评估流程，因此也很难保证评估的针对性和实用性。Ø 缺乏专业化的评估人员集团配备的培训专业人员的数量、素质和结构与公司巨大而多样化的培训需求和培训规模相比，存在着很大的缺

12、口，不能满足集团公司大量培训工作的要求，人手不够。现有培训效果评估人员自身也需要系统化、专业化的培训。Ø 评估方法单一，缺乏追踪评估多数培训项目的效果评估仅限于培训满意度的调查，少数为考试或写学习心得，而且对于这些评估方法的选择也没有科学的依据，评估比较强调培训结束时是否掌握了所学知识和技能, 而没有关注学员在实际工作中应用新知识、新技能的效果，是否能够提高个人工作绩效和组织绩效，这样的评估未能有效地检验学习效果，流于形式；Ø 未能充分地分析和运用评估结果中国电信培训部门对满意度调查、考试等方式收集到的信息没有进行深入系统的分析，同时也缺乏与培训师、学员、培训组织管理人员以

13、及公司决策层的沟通与反馈，因此造成了培训效果评估结果的低效使用。中国电信培训效果评估现状中国电信培训效果评估改进方向ü 缺乏科学的评估理念ü 评估目标不明确、流程不规范ü 缺乏专业化的评估人员ü 评估方法单一，缺乏追踪评估ü 未能充分地分析和运用评估结果ü 理念科学化ü 制度规范化ü 目标清晰化ü 方法多样化ü 流程标准化ü 人员专业化ü 应用充分化图1 中国电信培训效果评估工作改进方向二、培训效果评估理论与评估可行性分析（一）培训效果评估的目标要建立一套既符合科学原理、又适

14、应中国电信实际的培训效果评估体系，我们首先需要对培训效果评估的内涵及其在培训体系中的地位有一个科学的认识。培训效果是指公司和学员从培训当中获得的收益。对学员的好处是，他们可以学习各种新的知识、技能和行为方式，而公司则可获得由于员工工作技能的提高或观念的转变、流动率或事故发生率的下降带来的成本降低、销售额的上升以及顾客满意度提高的益处。由此可见，培训的效果包含了个人层面、团队层面和组织层面的收益（见图2），其中既包括显性的货币收益，例如成本降低或销售额的上升，也包括隐性的非货币收益，例如员工满意度的提升和公司凝聚力的增强等。个体效果知识 技能 行为 创造力团队效果凝聚力 工作效率目标达成率组织效

15、果成本 顾客满意度 员工流动率学习文化绩效图2 培训效果分解培训效果评估是一个评价培训预期目标达成程度的过程，在此过程中要系统地收集培训项目的相关信息，用于分析培训效果的影响因素，学员在培训中学习到的知识、技能的运用情况以及对组织的影响，从而对培训活动的有效性做出判断，并且为改进未来培训活动的效果提供参考。图3显示了一个完整的培训开发流程：从培训需求分析到培训计划的制定和实施，再到培训效果的评估，然后将培训效果的评估结果应用于培训需求的分析中，整个过程形成为一个闭合系统。培训效果的评估属于一个具体培训项目的最后环节，但实际上培训效果的评估结果要反馈应用到培训需求分析过程中，再次确认培训内容、方

16、式是否适合于培训对象的学习，经过培训是否能够达到预期目的，并根据评估结果做出相应的调整，这样才能保证培训效果的持续改进和整个培训系统的良性循环。培训需求分析培训设计培训实施培训效果评估图3 培训系统模型培训效果评估的目标： Ø 检验培训项目是否达到目的Ø 检验学员是否有收获Ø 判断培训的收益率Ø 提高培训质量Ø 为未来的培训投资决策提供依据Ø 对培训部门的工作进行评价可见，培训效果评估的目标是多方面、多层次的，既可以就培训本身进行评价，也可以为培训计划的改进提供参考依据；既可以对受训人员个人的收获进行评价，培训师的授课水平进行检验，也

17、可以对培训组织者的工作进行评价。因此，效果评估的目标不同，就需要选择不同的评估手段和评估方法。（二）中国电信培训效果评估的目标选择结合理论界对于培训效果评估目标的探讨以及中国电信目前培训效果评估中现存的问题，我们建议将中国电信的培训效果评估的目标定位于： 1.培训的成本效益分析作为中国电信行业的龙头企业，中国电信对员工培训投入的人力、物力、财力是惊人的。据统计，2002年，集团举办各级内训班19，555期，培训经费支出34087.97万元，这还没有将培训管理人员与受训人员的工资、奖金，以及由于培训损失的工作时间包括在内。正如省公司一位培训管理人员在接受我们访谈时所提到的：“由于目前集团缺乏对于

18、培训效果的成本收益分析，这种巨额投入是否获益，收益能否弥补支出，都很难给人以令人信服的回答”。因此，中国电信需要通过培训效果评估全面、客观地衡量培训的投入与产出，并将二者加以比较，从而判断培训项目的价值。2.完善培训计划，提高培训质量中国电信各级公司的业务部门每年底都要向本级培训管理部门上报下一年的培训需求，公司的三级培训管理体系的工作人员对这些培训需求进行汇总、分析以后做出下一年度的培训计划，其中包括选择培训师、组织者和培训对象，安排培训时间、地点、内容和方式，要保证这些决策的科学性和可行性就必须清楚以往培训项目的优势和不足之处，是哪些因素导致了培训效果与预期目标的差异，是培训师的水平问题？

19、还是学员的素质和学习积极性不足？是培训内容缺乏针对性？还是培训方式影响了学习效果？等等。由于目前中国电信还没有系统的培训效果评估体系，上述这些问题的回答只能凭借培训管理人员的经验判断，这意味着公司的培训工作从培训需求的分析和培训计划的制定开始就缺乏科学的依据，可想而知，公司的培训效果缺乏最基本的保证。调查显示，公司培训状况总体良好，然而美中不足的是，很多在中国企业中广泛存在的问题，在中国电信也有不同程度的体现。比如，在培训项目的规划上过于关注短期目的；提供的培训整体性和系统性有所欠缺；培训的针对性不强等等，其中针对性不强的问题被提到了突出的位置。所有这些问题的有效解决，都需要完善的培训效果评估

20、体系作为支撑。3.增强学习效果，促进学员在实际工作中运用培训所学的知识和技能在实施一项培训项目之前，就明确将要开展培训效果评估，这样可以引起培训各方参与者的重视。培训师将努力改进授课专业水平和授课技巧、精心选择培训教材和教学手段；学员将更加珍惜培训机会，增强学习的积极性和自觉性；培训的组织者和管理者将尽力提供完善的辅助设施，所有这些因素都是培训效果的重要保证。此外，培训效果评估也要考察学员在实际工作中应用培训中所学知识、技能的情况，因此，通过培训效果评估也可以促使学员的直线经理、同事和公司管理者支持学员尝试运用新知识和新技能，这样有利于形成良好的知识交流与共享氛围，在提高员工个人绩效的同时也促

21、进了部门绩效和组织绩效的提升，最终促进员工个人职业发展空间的拓展和中国电信整体的发展壮大。4.向培训的设计者、管理者、培训师和学员提供反馈培训效果的评估可以向培训的决策者、培训的管理者和学员提供信息反馈，培训决策者必须了解培训计划是否合理，培训项目是否实现了预期的目标，培训是否可以造就高素质、高效率的员工队伍；培训项目管理者必须知道培训组织、实施得如何；培训师必须了解如何针对特定学员合理选择培训教材和安排授课进度；学员必须知道自己所学的知识、技能是否能够促进工作绩效的提高。如果有全面、客观的培训效果评估信息来给相关各方人员提供反馈，将增进培训决策的科学性和针对性，培训管理的有序性以及学员学习的

22、积极性。5.明确培训部门的贡献和改进方向中国电信开展培训活动投入了大量的人力、物力、财力，究竟这些投资获得了哪些收益？这是企业管理者和员工都普遍关心的问题。此次项目组在对中国电信的调查过程中也发现，业务部门对于培训部门的价值和贡献存在着疑问，而培训部门的工作人员疲于奔命，也为不能有效地证明自己的贡献而苦恼。培训效果的评估首先让培训部门明确了自身的贡献和工作改进方向，其次，评估增进了培训部门和直线部门的联系，有利于学员在培训后应用培训所学的新知识、新技能，这样有利于形成良好的培训环境，为公司创建学习型组织创造条件。（三）培训效果评估的可行性长期以来，人们普遍认为培训的效果不能通过量化的方式来衡量

23、，因为在实际工作中，当一个培训项目结束后，很多因素会对学员的工作绩效产生影响，其中最普遍的就是学员自己的行为动机、工作环境、来自同事和上司的支持或压力。因此当学员通过培训获得一项新技能或者改善了已有的技能，我们如何判断培训对组织的关键业绩指标的贡献呢？如何确定特定业绩结果是归功于培训本身还是其他因素呢？这是培训效果评估最大的难点。学者们和实践者们经过不懈的努力，开发出了许多评估的模型，证明了培训效果不仅可以评估而且还有多种方法，这为我们开发中国电信的培训效果评估体系提供了宝贵的思路。我们的评估体系就是建立在国内外专家的研究和企业实践经验的基础上，结合中国电信的实际情况而设计的。以下是我们参考的

24、几个主要的培训效果评估模型。（四）学术界的著名评估模型表1 几种重要的培训效果评估模型设计者时间培训效果评估层次Korb1956知识与态度、收益及运用程度、绩效纪录和主管评语、生产效率、工作满意度和士气Kirkpatrick1959反应、学习、行为、结果CIRO1970情境、投入、反应、产出CIPP1983情境、投入、过程、产出Brinkerhoff1987目标设定、项目策划、项目实施、即时的产出、中间产出或结果使用、产生的影响和价值Bushnell1990输入、过程、输出、结果Clegg1993认知成果、技能成果、情感成果 Kaufman1994反应、获取、应用、组织成果、社会成果Holto

25、n1996次级影响、动机要素、环境要素、结果、能力要素Phillips1996反应和行动改进计划、学习、学习成果在工作中的应用、经营业绩、投资回报率 在所有的培训效果评估模型中，科氏（Kirkpatrick）的四层次模型得到了广泛的认同和实际应用。许多学术研究和企业实践都证明了Kirkpatrick的培训效果评估模型具有较高的信度和效度。我们的设计思想，一部分来源于这个模型。Kirkpatrick培训效果评估模型简介最著名的培训效果评估模型是由美国威斯康星大学的Donald Kirkpatrick教授于1959年开发，并且结合20余年培训效果评估的研究经验不断完善的，它包括四个级别的评估。有关

26、这个模型的研究和实际应用的报告，从上个世纪60年代开始，一直延续到今天。表2 Kirkpatrick的四级培训效果评估模型评估层次关注点评估方法反应层学员对培训项目的哪些方面感到满意？问卷学习层学员在培训前后，知识以及技能的掌握方面有多大程度的提高？笔试、绩效考试行为层培训后，学员的行为有无不同？他们在工作中是否使用了在培训中学到的知识？由主管、同事、客户和下属进行绩效考核结果层学员行为的变化是否对组织产生了积极的影响？事故率、生产率、流动率、质量、士气反应，即为学员对培训项目的看法。学员是否喜欢这个培训项目，是否认为这个培训对自己是有用？这个层次关注的是学员对项目及其有效性的知觉。如果学员对

27、培训项目的评价是积极的，那么说服说员工参加以后的培训就比较容易了。如果学员不喜欢这个培训项目，或者认为自己并没有学到什么东西（即使他们实际上有收获），那么他们可能就不太愿意将学到的知识或技能运用于工作中，也可能会使得其他人不再积极参加培训。在这个层次上来评估人力资源开发项目的局限在于，它只能反映学员对培训的满意度，不能证明培训是否实现了预期的学习目标。学习，是用来衡量学员对原理、事实、技术的掌握程度，即学员是否掌握了人力资源开发目标中要求他们学会的东西？这是一个非常重要的指标，许多组织都希望有效的人力资源开发项目应该满足这个指标。要想知道学员是否从培训中学到了什么东西，可以从这个角度进行测验，

28、包括笔试、技能测试和工作模拟等。行为，即学员是否在实际的工作中运用了从培训中学到的东西。也就是为了确定从培训项目中所学到的技能和知识在多大程度上转化为实际工作行为的改进。在测量这个层次时，需要对学员的在职表现进行观察、学员的自我评价、学员同事的评价或者参考组织的相关记录。结果，即培训或人力资源开发工作是否改善了组织的绩效，这涉及对组织绩效改进的监控。经过培训以后，组织的经营效率是否提高了，盈利水平是否提高了，服务水平是否有所改进了？这个层次也是最难评估的，因为除了培训活动还有许多因素会影响组织的绩效。通常在测量这个指标时需要搜集和分析组织日常运营方面的信息。这个概念化的模型有助于确定要收集的数

29、据的种类，同时也回答了四个重要的问题（见表2中“关注点” ）。由于这个模型简单易操作，所以在企业界得到广泛的应用，例如美国电话电报公司（AT&T）、蓝色巨人IBM、影印机王国Xerox都开发出了相似的四层次评估模式。（五）培训效果评估应用实例表3 企业界应用培训效果评估模型实例公司名称评估层次New England Telephone新英格兰电话公司1. 学员的反应2. 学员行为的变化AT&T美国电话电报公司1. 反应结果2. 能力结果3. 应用结果4. 价值结果MOTOROLA摩托罗拉1. 学员反应2. 学员学习3. 学员运用4. 成果与影响IBM国际商用机器公司1. 反应2

30、. 获取的知识和技能3. 工作绩效改进4. 企业结果XEROX施乐1. 进入能力2. 课后绩效3. 熟练程度4. 组织绩效Saratoga Institute萨拉脱加研究所1. 学员满意度2. 学习的变化3. 行为的变化4. 组织的变化 参照以上评估模型的学术成果和企业界的应用实例，加之中国电信高层领导对于培训工作的高度重视、现有的培训制度和培训管理措施、集团高素质的员工队伍以及现代化的管理信息系统，我们认为中国电信培训效果评估体系的构建不仅势在必行，而且完全有能力建立符合企业实际同时又有自己特色的培训效果评估体系。三、中国电信培训效果评估体系设计（一）多维度、多层次、多方法（DLM）培训效果

31、评估模型中国企业的培训，与中国企业本身一样，处于刚起步阶段，无论从培训内容的设计，还是培训方法的选择，乃至培训目标的明确，都还没有形成系统。特别是在培训目标和培训内容方面，差距巨大。因此，如果笼统地说要评估培训效果，很难完全覆盖目前开展的所有培训项目。加之中国电信集团在人力资源方面的复杂性，不仅有地区的差异，还有年龄、专业背景的差异，从集团的角度进行培训效果评估，必须考虑不同层次、不同类别、不同岗位的人员，以及培训本身在内容、形式和方法上的差异。为此，我们为中国电信设计了多维度、多层次、多方法（DLM）培训效果评估模型。所谓多维度，是指根据中国电信在培训内容上体现的多样化特点，评估模型中针对培

32、训内容的不同类别进行了区分。我们把培训内容划分为观念维度，知识维度和技能维度，其中技能维度又细分为技术业务技能和管理技能。所谓多层次，是指培训的效果可能在不同的层面上体现出来，有的培训只要解决认识问题，有的培训需要解决工作技能的应用问题，因此，我们采用了科氏的四层次分类方法，进行反应、学习、行为和结果四个层次的评估。所谓多方法，是指不同的培训类别有不同的培训目标，不同的评估层次有不同的特点，根据分层分类的思想，不同的培训内容应采用不同的评估层次，不同的评估层次应采用不同的评估方法，以适应培训的特点，全面考察和反映培训的效果。我们采用的评估方法包括问卷调查法，自我报告法，现场观察法，考试法，培训

33、师评价法、上级评价法，下级评价法，绩效考核法等。观念类培训：引导学员在价值判断、内在思维和精神面貌等方面树立正确的态度，属于“情感领域”的培训。帮助员工解决“为什么要做？”这一问题，建立起企业和员工的共同目标和相互信赖的关系，增强企业凝聚力，提高员工士气，例如企业文化理念的培训。知识类培训：让学员掌握完成本职工作所必需的基本知识，目的在于让学员明白“是什么？”，“要做什么？”，属于“认知领域的培训”。例如关于企业的历史、使命、目标、战略、经营状况、竞争地位、所面临的外部环境、规章制度、产品知识、生产知识、业务知识等内容的培训。技能类培训：让员工掌握完成本职工作所必备的技能，目的是让员工明白“怎

34、么做？”，属于操作领域的培训。Ø 技术业务技能培训：包括基本技术业务技能和专业技术业务技能，前者如阅读、公文写作、计算机操作等内容，后者如使用与特定职位相关的网络服务器、交换机的维护和使用、ATM设备的操作和使用等内容。Ø 管理技能培训：为改进管理理念和行为而开展的，强调在实践中的管理技巧应用的培训，例如沟通技能、协调技能、谈判技能、激励技巧等内容的培训。表4 中国电信培训效果评估指标评估层次培训内容反应层学习层行为层结果层观念类满意度态度转变、价值观知识类满意度知识广度、深度、自我学习能力绩效变化技术业务技能类满意度新技能运用熟练度、新技能运用规范度、信心增强度新技能运用

35、频率、问题解决能力绩效变化管理技能类满意度工作习惯、沟通技能、激励技巧绩效变化注：横坐标中各层次的含义与Kirkpatrik模型中相同1. 培训内容分类的说明：依据培训内容划分培训种类是结合培训目标和中国电信的培训现状考虑的。企业的任何经营管理活动都是围绕企业的战略目标展开的，而培训作为提升员工工作能力和综合素质的一种活动，其出发点和归宿点也应该是企业战略目标的实现，这是培训工作的终极目的；具体到一个特定的培训项目而言，其直接的目的必定是：更新知识、增强技能、转变观念。在影响培训效果的诸多因素中，培训内容是至关重要的，它决定了培训是否能够改进学员的工作能力和工作态度，是否能满足培训对象的学习需

36、求和学习动机，同时也决定了开展培训的形式，而这些因素和培训内容之间的相互作用，构成了培训效果的基础。培训目标是在培训需求分析中确定的，培训目标为培训课程的设计和培训计划的制定提供了明确的方向和依据，有了明确的培训目标，才能合理地确定培训对象、内容、时间和培训师和培训方法等具体内容，而这些因素都会直接影响培训的效果。同时，培训目标也有助于明确培训成果的类型，进而为培训效果的评估确立评估标准和评估指标。中国电信在培训制度中明确指出“实施教育培训机制创新的首要原则是服从于企业战略目标，将教育培训与企业发展实际和具体要求相结合，重点培训那些对企业发展最有用的知识和技能”，“员工培训的主要内容分为知识培

37、训、技能培训和观念培训三类”。项目组对中国电信的问卷调查和访谈的结果表明，被调查者将培训是否有针对性，内容是否合理列为影响培训效果的首要因素。因此按照培训内容作为培训效果评估的切入点是必然的选择。2. 评估层次选择的说明：对于Kirkpatrick对培训效果评估层次的划分，虽有学者提出不同意见，但是他的论点在企业界被普遍采用，尤其是评估反应和学习两层次。至于行为与结果两个层次的评估难度较大，是由于：首先，为确保评估结果的信度和效度，需要培训工作人员具有相当水准的评估能力和经验，评估过程非常复杂，成本高昂；其次，要量化计算培训的成本效益本身极其困难，在实际工作中很难区分公司业绩或部门业绩乃至个人

38、业绩的改善在多大程度上是由于培训带来的。因此，结合中国电信现有培训工作人员的素质和结构、评估结果的用途，以及公司培训的巨大规模和高层次评估可能产生的高昂成本，我们选择企业界的普遍做法，就是对多数培训项目主要针对反应层和学习层进行评估（见表 5 ），对于比较重要的培训项目，参考培训目标、培训内容、效果评估成本，选择进行多层次的评估。同时，根据中国电信的培训战略指导思想，我们的评估模型试图把对个体的评估和对组织的评估结合起来，通过直接评估个体的培训效果，间接反映培训的团队效果和组织效果。一个培训项目可能同时包含了观念、知识、技能等多方面内容，在选择评估层次时由培训效果评估专业人员根据培训的主要目标

39、、培训的重要性、评估所需的资源和难度进行选择。例如，任何一项技术培训都必定包含该技术的原理、流程等知识和实践操作演示等内容，如果该培训的主要目标在于学会该技术如何操作使用，那么就重点进行行为层的评估，原因在于学员理解该技术的原理、流程并不能保证他们在工作实践中能够熟练使用该技能。如果该项技术培训的主要目的在于让学员了解构成原理、发展趋势，那么选择进行学习层的评估可能就足以收集必要的信息了，因为评估层次越高，评估的难度越大，因此我们要有针对性地选择评估层次。表5 1996年美国各行业培训效果评估层次行业比例所有行业制造业交通、通讯、卫生、批发、零售财务、保险、银行商业服务健康、服务教育、服务公共

40、管理反应层：评估学员对培训项目的意见反馈评估反馈的比例 1867486859786919795课程比 例837682888584869184学习层：测试学员对培训材料的掌握程度测试比 例717377598764925475课程比 例515156525255524145对学员在工作中的行为表现进行评估评估行为的比例 1656764558160735952课程比例2505048565855424142对培训所带来的业务结果进行评估评估业务结果的比例 1495944434748514530课程比例24445405748513639361. 在100或100名员工以上的组织机构中，今年用这种方法对任何

41、培训项目进行评估的比例。2. 今年对某个组织机构中所有培训项目进行评估的平均比例（有的组织只对某些课程进行了评估）3. 评估方法的选择说明：本次培训效果评估方案中列出了多种评估方法和相应的使用说明，主要是考虑不同评估方法各有优缺点（见表6 ），收集信息时的效度和成本不同，评估结果的分析方法各异，对评估人员的专业水平和经验要求也不同，因而公司要根据培训内容、培训的重要性、评估的目的和评估成本，结合企业现有的资源和操作的难度灵活选择评估方法。表6：评估方法比较评估方法过程优点缺点问卷调 查用一系列标准化的问题去了解人们的观点和真实感受成本低；可在匿名的情况下完成且信度较高；受调查者可以自己掌握填写

42、速度结果易于分析数据的准确性不高如果在工作中填写问卷，则很难控制填写过程受调查者填写问卷的速度不同无法保证问卷回收率笔 试用一系列标准化的问题去了解学员是否理解了所培训的内容操作简单相对客观成本低结果易于分析测量内容单一数据形式有限效度不高无法显示出学员对知识的实际应用效果直接观 察对一项任务或多项任务的完成过程进行观察和记录不会带来危胁感用于测量行为改变的极好途径可能会打扰当事人可能会造成回应性的反应信息可能不可靠需要受过训练的观察者测验和模拟在结构化的情景下分析个人的知识水平或完成某项任务的熟练程度成本较低容易记分可迅速批改容易施测可大面积采样可能会带来危胁感也许与工作绩效不相关对常模的依

43、赖可能会歪曲个人的绩效业绩档案分析使用现有的信息，比如绩效档案或业务报告可靠，客观与工作绩效有密切的关系要花费大量的时间对现实进行模拟往往很难开发成本很高信度：用相同工具重复测量同一个对象时，得到相同测试结果的可能性。效度：测试结果在多大程度上反映了测试对象的真实状况。常模：是指某一特定团体中所有人员的测验得分情形，也就是个人在某一测验中所得的分数与常模相比之后，可以知道个人在常模样本中的相对位置，可以清楚的了解受测者各维度分数的高低。（二）培训效果评估的原则1. 科学性培训效果评估层次、评估指标和评估方法的选择要根据培训体系的运行机理、培训效果评估原理同时结合公司具体的培训内容和培训目标而定

44、，综合采用定性和定量的评估方法，进行多角度的评估。2. 规范性评估层次、评估方法、评估流程都要按照评估方案的步骤进行，必须遵守其中的原则和使用说明，对每次培训项目的评估结果都要向指定的有关各方反馈，不得随意删减直接影响评估目标达成程度的环节。3. 高效性评估方案的选择要针对培训内容和要评估的层次，方案中评估指标一定要针对培训目标来设计，评估方法的选择要针对相应培训内容和评估层次，评估结果的分析一定要针对培训项目的预期目的和效果评估的目标，这样才能保证培训效果评估预期目的的实现。4. 实用性根据评估的难度和成本，结合公司现有技术资源和评估人员的数量、素质和结构，选择使用每个评估方案中推荐的一种或

45、多种评估方法，在能够收集到必需信息的前提下，选择成本和操作难度相对较低的评估方法。（三）培训效果评估流程集团培训效果评估工作由集团公司劳资与培训部归口管理。省级电信公司人力资源部负责本公司的培训效果评估工作。各相关部门应积极配合人力资源部门，做好培训效果评估工作。图 4 培训效果评估流程图选择评估层次选择评估方法分析评估信息撰写培训效果评估报告实施评估、收集信息应用培训效果评估结果确认培训内容和目标l 培训项目的重要性l 学员人数l 培训时间l 培训效果评估所需资源l 培训效果评估成本培训培训效果评估档案管理1、 根据培训的内容和主要目标，将培训归入观念、知识、技术业务技能和管理技能四类中的某

46、一类。如果内容跨多个类别，则按多种类别分别选择评估层次与评估方法。2、 确定培训内容以后，根据不同评估方法的优缺点（见表6），收集所需信息时的效度和成本、培训的重要性、评估的目的，结合企业现有的资源和操作的难度，灵活选择评估方法。对同一类同一层的培训，可选用多种评估方法。培训的分类、评估层次与方法的选择，参见“中国电信多维度、多层次、多方法培训效果评估模型”中所列原则。表 7 中列出的是在不同类型与层次上可供选择的评估方法。3、 根据选定的层次与方法实施评估、收集信息。如笔试就组织考试，满意度调查就发放调查问卷。4、 分析评估信息、撰写培训效果评估报告。5、 将评估报告反馈给相应的部门与人员，

47、并监督培训工作的改进情况。6、 将培训效果评估的有关资料整理归档。表7 中国电信培训效果评估方法评估层次培训内容反应层学习层行为层结果层观念类问卷调查（学员、培训师、培训组织者）自我报告知识类问卷调查（学员、培训师、培训组织者）笔试、自我报告绩效变化技术业务技能问卷调查（学员、培训师、培训组织者）笔试、现场测试上级评价、自我报告绩效变化管理技能问卷调查（学员、培训师、培训组织者）上级评价、下级评价绩效变化反应层评估方法反应层（观念类、知识类、技术业务技能类、管理技能类）学员调查问卷培训师调查问卷培训组织者调查问卷观念类学习层评估方法观念类学习层学员自我报告知识类学习层评估方法知识类学习层培训师

48、笔试学员自我报告技术业务技能类学习层评估方法技术业务技能学习层培训师笔试培训师现场测试技术业务技能类行为层评估方法技术业务技能行为层学员上级主观评价学员自我报告管理技能行为层评估方法管理技能行为层学员上级主观评价学员下级主观评价（四）结果层评估方法介绍对结果层的评估是培训效果评估中最难实现的一部分。因为结果的改进是多种因素共同作用的结果，如组织的变革，市场的变化，人事调动等，培训只是其中之一。在理论上，如果要分析培训对于结果改进的影响，需要把其它各种影响因素都控制住，以保证结果的改进完全是由培训带来的。在企业实践中，要做到这点是非常困难的。然而这并不意味着对结果层的评估无法实现。这里介绍三种很

49、有参考价值的思路：培训成本收益评估、实验比较法、个人业绩档案分析。1、培训成本收益评估所谓的培训成本收益评估，就是将发生在人力资源开发项目实施过程中的成本与该项目为组织带来的收益进行比较。培训成本评估一般采取的战略是用货币来计算成本和收益指标，然后对它们进行比较。比如说，可以这样计算项目的投资回报率，即用总成本去除总回报：总回报投资回报率培训总成本总回报与总成本的比率越大，组织从培训中获得的收益就越多。如果投资回报率低于1，说明该培训项目消耗的成本高于它对组织的回报。在这种情况下，要么需要对该项目进行调整，要么将其终止。当然，有的时候组织会出于一些非经济的原因或法律原因继续进行某个培训，即使是

50、这样，如果出现了负的投资回报率，也还是需要重新考虑这个培训项目或对其进行调整。（1）培训成本的确定在计算培训项目的成本时，人力资源开发人员需要考虑五种支出，分别为直接成本、间接成本、开发成本、一般管理费用和学员报酬。直接成本指与培训的实施直接相关的成本。它们包括课程资料开支（复印或购买）、教学辅助费用、仪器租赁费用、旅行费用、食品和其他点心开支、培训师的工资和福利。间接成本指发生在培训的辅助工作中的成本，它与任何特定的培训项目之间不存在直接的一对一的关系。即使该培训项目被临时取消，这些成本已经无法再收回。这些成本包括对培训者进行培训的成本、耗费在后勤文秘和行政工作上的成本、已发给学员的资料的成

51、本、培训人员筹备培训时的时间投入，等等。在宣传推广该培训项目时发生的成本（比如邮寄成本）也是间接成本。如果项目的推广费用是2 000元，一旦报名参加培训的人太少或项目被取消，那么这笔钱是无法收回的。开发成本包括了所有的项目开发成本。通常它包括录像带的制造成本、计算机教学程序的开发成本、项目材料的设计成本以及任何必要的重新设计所带来的成本。这项成本还包括前期课程分析成本，或前期分析中与项目直接有关部分的成本。另外，还包括项目评估和跟踪成本。如果项目的周期很长，通常可以分期摊销这笔成本。比如说，项目一共进行了3年，那么每年可以冲销1/3的开发成本。否则在预算上就会出现突然的膨胀，因为开发成本全部计

52、入了第1年的成本。管理费用与培训项目没有直接的关系，但是对培训部门的顺利运转来说却是必不可少的。如果培训部门有自己专用的视听设备，那么就会有设备维护费用发生。这类成本应该在各培训项目之间进行分摊。如果培训部门还有专用的教室，那么供暖和照明费用也是一笔一般管理费用。使用教室进行培训的时候，场地维护费用应该计入该项目的成本。学员报酬由培训期间支付给学员的工资和福利构成。如果培训一共持续两天，那么这两天付给学员的工资和福利应该计入该项目的成本。 （2）培训收益的确定进行收益分析时需要和预期的培训目标结合起来考虑。通常对收益进行估量的做法主要有以下几个：一是通过以往研究和培训记录,确定培训的收益；二是

53、在公司范围内进行小样本试验,由此来确定某一培训可能带来的收益；这在公司要推行一些大的培训项目前尤为重要；三是通过观察培训后绩效特别突出的员工,来分析培训的收益,往往和生产力的提高、事故的减少、离职的降低等联系在一起。在分析了成本和收益后就可以通过公式计算培训的投资回报率了。（3）培训投资收益举例表8演示了某咨询机构按照上述的模型对培训成本进行计算的过程，其分析的对象是一家生产承包商用作建筑材料的镶板工厂的培训项目。表9是他们为同一家工厂计算的投资回报和总收益。表8 培训成本计算示例直接成本外请教员内部教员12天×125元额外的福利工资的25旅行和出差津贴培训资料56人×60元/人教室和视听设备租赁费12天×50元/天食品和点心4元/天×3天×56人合计直接成本0元1 500.00元375.00元0元3 360.00元