审计机关培训效果评估初探.doc

审计机关培训效果评估初探贾恒德摘要：培训效果评估是培训管理流程中的重要内容，也是培训工作中经常忽略的一个环节。本文从培训效果评估的内涵及理论基础切入，分析了审计机关开展培训效果评估的意义、原则及方法，以期望提高审计机关培训工作的实效。关键词：培训；培训效果评估审计干部的教育培训工作是审计机关人事管理的重要内容，通过教育培训，能够持续提升审计干部的业务知识、专业技能和综合素质，并为审计事业的发展提供强劲的人才保证和智力支持。然而，培训的效果如何，培训的投入是否值得，一直是审计机关培训工作中尚未解决的一个最大问题。笔者认为，很有必要对此进行深入细致地探讨。 一、培训效果评估的内涵及理论基础要理解培训效果评估的内涵,首先需要弄清楚什么是评估。评估（Evaluation，又称评价）作为一种现代管理技术已广泛应用于许多领域，并在实践中逐渐形成了一门专门的学科。从定义来说，评估是依据某种目标，运用科学的方法，获得各种信息，来判断某一系统的价值，以作为改进与决策参考的过程。简言之，评估是指对某一事物的价值给予的判断。而所谓培训效果评估，则是培训组织者，依据培训的目的和要求，运用一定的评估指标和评估方法，检查和评定培训效果的活动。实际上，培训的效果评估既是对培训活动再认识的过程，也是对培训活动的价值判断过程。培训效果评估是目前培训领域发展最快的领域之一，其理论研究最早可追溯到1959年，当时美国威斯康星大学的Kirkpatrick在其博士论文中开始了培训效果评估理论的研究，并于随后发表的4篇文章中，把培训效果评估分为四个递进的层次反应层、学习层、行为层和结果层，详细阐述了培训评估的四层次模型的思想和方法。Kirkpatrick的四层次评估模式成为最知名，被使用最广泛的评估模式。后来，奥尔(Warr.P)、伯德(Bird.M.)和莱克哈姆(Rackham.N)设计出了一套包括背景评估、投入评估、反应评估、结果评估的培训评估模式（CIRO模型），Daniel Stufflebeam提出了包括背景评估、输入评估、过程评估、成果评估的培训评估模式（CIPP模型），都具有将培训评估贯穿于整个培训过程中的特征。1974 年Hamblin 认为应该增加两个方面的评估，一是对行为产生的结果进行成本效益分析；二是要评估培训结果对企业战略目标的影响，提出了Hamblin 模型。1991年，菲利普斯（Philips）认为Kirkpatrick 的四层级评估不够完整，需要再增加一级评估，其重点是将培训所带来的货币利润与成本进行比较，因此提出了五级投资回报率模型。此后的诸多学者也对此进行了深入细致地研究，进一步完善和解决了包括问卷调查、观察、访谈等各种评估的方式、方法以及存在的问题。从20世纪70 年代至今，培训效果评估研究焦点已经开始积聚在培训的投资回报率的研究上，诸多计量方法也被引入到研究中，例如统计方法、会计方法、计量经济学方法等，试图对培训产生的效益进行评估。1962年利用经济学对人力资本投资回报的研究成果，有学者提出了培训收益的计算模型。除了经济学的分析方法以外，更多的学者是从企业的实际出发，研究企业的培训投入产出。1985年Sheppeck 和Cohen 提出了培训收益函数。2001年有关研究者把效用理论与Kirkpatrick 的四层次评估模式结合在一起，并据此提出了销售培训评估的框架。从培训效果理论的发展过程来看，它借鉴了管理学、经济学、统计学等方面的研究成果，并着眼于提高企业培训的效益，对培训实践产生了重大的指导意义。目前，随着人们对培训评估研究的进一步深入，有关培训收益的定性定量分析都会渐趋完善。二、审计机关开展培训效果评估的意义虽然培训效果评估的理论和实践主要在企业界，但是作为国家审计机关，积极地开展培训效果评估的一些探索，无疑具有重大的现实意义。(一)培训效果评估，是培训流程的重要环节。一般来说，一个完整的培训流程应该包括四个步骤。首先要从培训需求分析做起，了解受训者需要提高哪些技能和素质；然后根据需求设计、选择培训课程；接着是具体的授课过程；培训是否达到了目的，取得了成效，最后的环节就是效果评估。这是一个闭环的流程。（如下图）可以说，各个环节紧密相连，互相影响，互相制约。培训效果评估环节既是一个完整培训流程的终点，也是更好地开启下一次培训的起点。从审计机关目前了解掌握的情况看，培训组织者普遍注意了培训流程前面的几个环节，并在培训课程设计，具体的授课过程等方面下了很大功夫，而培训效果评估方面却是往往被忽略的环节，因此，很有必要进行培训的效果评估。培训需求分析培训效果评估培训具体 实施培训课程设计（二）培训效果评估，是检验培训成效的重要途径。审计机关开展各类培训的目的，说到底就是为了改善审计干部的知识结构，提高审计干部的业务能力，更好地服务于审计工作的发展。那么，培训工作是否达到了预想的目标，成效如何，离不开培训的效果评估。当前，各级审计机关非常重视培训工作，投入大量的时间和精力精心组织干部的各类培训，在提升干部素质和能力方面发挥了重要作用，但培训效果如何，培训是否真正贴近了干部的需求，到底作用发挥的大小应该说都还是一个模糊的概念。因此，很有必要进行培训效果评估，以获得对教育培训工作成效较为深入地认识。（三）培训效果评估，是改进培训工作的重要依据。培训的效果评估作为对培训活动的价值判断过程，通过培训效果评估，就可以找出培训工作存在的问题和不足，归纳出经验和教训。特别是学员对培训工作提出的意见和建议，可以帮助培训组织者发现新的培训需要，从而为下一轮的培训提供重要依据。而且通过对成功的培训做出的肯定性评价，也往往能提高受训者对培训活动的兴趣，激发他们参加培训活动的积极性和创造性。同时，通过评估可以检查出培训的费用效益，有助于使培训资金得到更加合理的配置。另外，通过评估还可以较客观地评价培训者的工作。一般来说，培训的效果反映了培训者的水平和对待培训的态度。对培训效果的检测评估，有助于培训人员进行自我检查，进一步端正态度，改进培训工作，从而不断提高培训的质量。三、审计机关开展培训效果评估的原则为确保培训效果评估的质量，审计机关培训效果评估必须遵循以下几个原则：（一）客观性原则。客观性原则是指审计机关培训组织者在进行培训效果评估时，一定要坚持实事求是的态度，真实地反映出培训的实在效果。这是最重要的一条原则。因为评估的实质是对所实施的培训及其培训的效果进行科学的判断，这种判断如果是客观的，对培训活动的认识才有可能符合实际，从而推动培训计划的有效开展和组织目标的实现。如果丢掉了客观性，势必会流于形式，整个评估也就没有了任何意义。但作为参与培训的人员，由于各种利益与关系及自身认识等方方面面的原因，要做到对培训效果进行客观公正的评判，是有一定现实困难的，对此，作为培训组织者要有充分的认识，并注意加强对参与培训人员的启发与引导，使之尽可能地对培训效果作出客观真实地反应和评价。（二）方向性原则。方向性原则是指审计机关培训组织者在培训效果评估过程中一定要坚持正确的价值取向，把评估活动的目的始终放在促进培训质量提高上，提升审计干部素质上，促进审计事业发展上。这就要求培训组织者在科学价值观的指导下，始终牢记培训的目的和评估的基本要求，坚决克服把全员参与、气氛热烈、领导重视、投资量大、教员名气大等作为培训成功的标准。这些表面的形式违背了培训效果评估的方向性原则，与培训评估的目的与要求是背道而驰的。（三）实用性原则。实用性原则是指审计机关的培训效果评估要易于被培训参与者接受，评估的时机、对象选择要比较合理，方法要操作简便。总之，培训效果评估要注重实效，不能走极端，不能为了获得资料与信息，把培训效果评估变成科学研究，把简单问题复杂化。（四）连续性原则。连续性原则是指审计机关的培训效果评估应该是长期的、连续的，只有这样，评估才能真正发挥作用，并且给予组织者、受训者及授课教师以持续的动力和压力。评估如果是“一次性”的，则其建设性可能远远不如破坏性，其作用将会大大折扣，甚至产生一系列的消极影响反作用于将来的培训过程，其危害是不言而喻的。四、审计机关开展培训效果评估的方法目前，国内外运用的最为广泛的培训评估方法，是由Kirkpatrick提出的培训效果四层次的评估模型。如下图，至今，它仍是企业培训经理人经常使用的经典培训评估模型。经典的评估四层次层次描述衡量1.反应学员对培训项目的哪些方面感到满意问卷2.学习学员从培训项目中学到了什么纸笔测验，绩效测验，模拟测验3.行为通过培训，学员的行为是否发生了变化主管的绩效，评估同事的绩效，评估顾客的绩效评估，下属的绩效评估4.结果行为的变化是否对组织产生了积极的影响事故率，品质，生产率，流失率，士气，成本，收益资料来源：Kirkpatrick，D.,Evaluating Training Programs,Berrett-Koehler Publishers,1994.借鉴Kirkpatrick经典培训效果评估模型，结合审计机关培训工作实际，审计机关开展培训效果评估可以从以下四个层面进行：（一）反应层评估。反应层评估是指参训人员对培训项目的看法，包括对培训内容、方法、形式、手段等等的看法。反应层评估适合的方式有问卷、面谈、座谈、电话调查等。其中，问卷调查是目前采用比较多的方法。问卷调查是在培训项目过程中或结束时，收集受训人员对于培训项目的效果和有用性的反应。问卷调查的内容主要包括总体评价、课程内容的实用性、授课方法的灵活性、意见和建议等各个方面让学员进行评分。具体衡量尺度，可以采取4分法（极好、好、一般、差）、5分法（极好、很好、好、一般、差）或者7分法（1到7分）。总的来看，4分法比较容易操作，但区分度不如7分法，评估过程中，可根据实际情况灵活选择。在今年的冬训中，我们对冬训课程进行了评估，就是采取了4分法。为了全面了解培训情况，还分成局领导、处室领导、首席审计师、审计实务导师、一般干部等五个层面，并从业务部门和综合部门两个角度，对冬训总体安排和分项课程进行了反应层评估。（见下表）一般而言，问卷调查易于实施，通常只需要几分钟的时间。如果设计适当的话，问卷调查也很容易分析和总结。应该说，参训者的反应结果对认识培训效果及改进培训工作非常重要。因为一个课程不受欢迎，即使它看起来很有用，培训组织者也必须考虑改进或取消，否则，就可能造成培训人力、物力的浪费。当然，问卷调查表的设计应该尽量客观性、科学性，以取得好的评估效果。冬训工作评估表序号课程名称授课形式授课人基本估价不太满意或不满意的原因满意比较满意不太满意不满意课程安排授课内容授课形式时间安排其他总体评价123意见和建议评价人：局领导（ ）；处领导（ ）；首席审计师（ ）；实务导师（ ）；其他人员（ ）业务部门（ ）；综合部门（ ） （二）学习层评估。学习层评估是检测受训人员对所学理论、事实、技术和技能的掌握程度。它是目前最常见、也是最常用到的一种评价方式。学习层评估的方法包括笔试、技能操练和工作模拟等。该层次的评估一般在学习过程结束后进行。培训结束后，培训组织者就可以通过笔试、技能操作等方法来了解受训人员在知识以及技能等方面的掌握程度。这里要特别注意的是，作为培训组织者要根据培训对象和培训内容的实际情况，科学地把握好检测的难易程度，如果检测的内容太难或太易，都可能反映不出参训者的真实水平和掌握程度。近年来，国家审计署举办了多期计算机中级培训班，基本就是采取了这种笔试和技能操作的方法来检验学员的掌握程度，在某种意义上也可以看作是对参训学员的一种评估。应该说，强调对学习效果的评价，有利于增强受训人员的学习动机，同时，对培训老师也是一种压力，能促使他们更负责、更精心地进行课程准备和授课。（三）行为层评估。行为层评估是指对参训者参训后行为变化的一种评价。该评估由上级、培训组织者等观察受训人员的行为在培训前后是否有差别，他们是否在工作中运用了培训中学到的知识。行为层的评估，主要有上级的评价、同事的评价、培训组织者评价以及受训人员本人的自评等方式。在评估时机把握上，一般在培训者返回岗位工作一段时间后才能进行。在实际操作过程中，培训组织者可以设计“培训跟踪调查表”，由参与评估的人员进行填写。这时的调查表就完全不同于反应层评估的调查问卷了，这时的调查表的内容应侧重于：参训者把哪些知识运用于工作中了，解决了什么问题，工作中还有哪些知识需要培训学习，培训前后的工作表现和业绩评价等。通过多角度、多层次的跟踪调查，就可以对参训者参加培训后的行为变化给出一定的评价。如果参训者参训后行为并没有发生预期的变化，这就说明过去的培训还存在不足或者根本就是无效的。这时，作为培训组织者要从培训需求、培训内容设计、培训形式及培训者自身等多方面查找原因，并进行分析，以便在今后的培训中加以改进。（四）结果层评估。结果层评估是指对培训最终对审计工作产生收益的评价，包括参训者运用培训所学知识直接产生的工作绩效、对审计机关产生的积极影响等。这一阶段的评估可以在培训之后的半年或一年后进行。此阶段评估往往涉及面广、时间较长，难度也最大，但对培训工作是非常重大的。在企业里，一般采用成本-收益评价法，计算出培训为企业带来的经济收益，还可以通过考察生产率、利润率、事故率、员工士气等来衡量。而在审计机关，情况可能会更加复杂，一方面是由于参加培训到对工作产生促进是一个过程，在短期内可能很难显现；另一方面是因为可能有很多因素影响了结果，很难分解出到底哪些因素是由于培训而带来的变化。在实际评估过程中，审计机关除借鉴企业、公司的一些做法外，要注意选择其他相关因素很稳定的培训课程来进行评估，如审计质量管理、干部安全教育、计算机应用能力培训等。再就是可以尝试使用对照组来对照评价，即针对两个小组来搜集相关数据，一个是参加培训活动的小组，一个是没有参加培训的参照组，通过对相关数据的比对、计算，来分析培训的效果。前期，我们从实践上对结果层评估进行了粗浅的探索，采取对照组的办法，把我局