公文筐测验的编制过程

1、公文筐测验的编制过程2009-09-08 23:50:23| 分类：默认分类|字号订阅试题编制是公文筐测验过程中的核心环节，是直接影响测评效果的关键。如果这个环节的工作做得不好，那么测评实施与结果评定等环节也很难保证， 公 文筐测验的有效性和可靠性就无从谈起。所以，如何设计和编制公文筐测验，这 是学习和掌握公文筐测验的关键。掌握充分相关资讯的题目设计小组一般用两至三个工作日即可完成一个重 要管理职务的公文筐测验题目设计。1、确定测评要素测评要素的确定要依据两个方面来进行：一是通过上面提及的工作分析或 胜任力特征分析来澄清拟任岗位的要求，通常需要分析岗位的职责与任职要求， 这可以通过查阅有关职位

2、说明进行，同时还要与任职者或者其上级领导进行深入 细致的访谈，以澄清拟任职位的关键任务指标和胜任力特征。如果可以访谈的任 职者数量比较多，还可以采用问卷的方式进行调研。有效的工作分析是公文筐测验的最核心的基础工作，工作分析的关键内容开展得越规范、越全面、越深入、越细致、公文筐测验的题目设计就越容易，测评 结果的信、效度也就越高。但仅有系统的工作分析还远远不够，对行为特点、企 业内外环境、企业文化和测评目标的分析也是测评题目设计时需要考虑的重要内 容。下列因素就是公文筐测验题目设计的主要依据：企业所在行业的特点；企业内部和外部环境状况；企业同行文化和希望建立的新文化；测评的目标：招聘、 选拔、评

3、价和培训需求确定等不同的测评目标对不同测评题目在整个测评中的权 重有不同考虑；管理职务设置的目的和工作职责；管理职务的工和性质与工作方 式；管理者工作活动的内容、各项工作活动占全部工和活动时间的比例、各项工作活动的执行权限和执行依据、工作活动结果的预期标准（每一管理者的工作活 动都包括人际关系、信息传递和决策制订三大类活动）；管理者每一工作活动的主导业务流程；管理者的工作关系：管理者的直接上级和间接上级、直接下级和 间接下级、管理者的同级、管理者的企业内部客户和企业外部客户。 管理者可调 遣或协调的工作资源：包括人力资源、物力资源、财力资源和信息资源。2、编制文件文件的编制是公文筐测验编制过程

4、中的核心环节，主要有以下三个步骤：一是得到文件素材。文件素材不能凭空杜撰，必须从任职者的实际工作来。一种比较与有效的方 法是请一批比较好的任职者或者他们的直接上级开个交流会，运用关键事件法， 让他们回想自己印象比较深刻的在工作中处理过的各种事情，并要求他们写出 来。一位任职者的回忆常常会引起另外一位任职者的回忆。为了得到任职者的配合，对关键事件的回忆通常从正面事件开始， 因为大多数人谈论自己比较成功的 事情还是比较容易的，这样做能使他们很有信心，从而乐于去回忆。为了不至于 使获得的事情太离谱，事先应该将测评要素及其内涵告诉他们， 让他们围绕这些 要素来回忆。至于征集关键事件的总体数量的多少，要

5、根据所需要编制的文件的 数量而定，一般要按所需文件数量的两倍到三倍来征集。通过上述方法，可以确定拟任岗位的素质要求，这是要素确定的立足点；一是要充分考虑公文筐测验的特点进行取舍，如前所说，公文筐测验方法不 一定对所有的测评要素都适合，这就需要根据方法本身的特点进行选择。 通过这 一步骤，可以确定公文筐测验要测评什么要素， 哪些要素可以得到充分测评，各 个要素应该占多大的权重等。公文筐测验对考官的要求公文筐测验对考官的综合素质要求较高。 他们不仅要具备管理学和心理学领 域的基础知识，了解公文筐测验的理论和实战依据， 而且学要对测评对象所任职 务的职责权限和任职资格（工作经验、学历、能力、潜能和个

6、性心理特征等）进 行过系统研究，能够独立或与他人合作设计测评题目， 了解各测评题目之间的内在联系；能够恰如其分地开展考评问询，能够对被测评者进行全面、客观、公正 的评价。考官要对每种可能出现的答案及其所代表的意义成竹在胸并与其他考官 事先达成共识。在上世纪五直至八十年代，公文筐测验的考官是清一色的管理顾 问、咨询专家或心理学家，二十世纪八十年代以后，公文筐测验的考官也开始逐 步吸收所在企业的高级管理人员（他们通常是被测评者直接上级的上司）。企业高级管理人员通常对企业管理现状的方方面面感受深刻，通过两周左右的标准化 速成培训以及顾问人员的现场指导，他们基本上能够担负起合格考官的工作职责 而这对于

7、企业自身管理团队的建设意义深远！二是筛选、加工文件素材。运用关键事件法得到的大量素材中，有一些可能不符合要求，比如说有的事 件根本就反映不出相应的能力来，这种情况就得看事件能否反映别的测评要素， 如果什么都反映不出来，就可以把这个事件淘汰掉了；如果能够反映出别的要素 来，就可以把这个事件归类到相应的要素上。然后就是对剩下的许多事件进行加工。 因为任职者写出来的事件中有的太抽 象或者不够完整，这就需要适当补充完整；有的包含了多个事件，这就需要适当 地进行拆分；还有的事件描述得太繁琐，这就需要进一步地精简加工。另外，完 全真实的材料可能会过于偏重经验的考察，而忽视潜能的考察，据此选拔出来的 人无疑

8、是完全与招聘单位文化气氛相同的人， 违背了引入外来人才、给单位输入 新鲜血液的本来目的，同时这对单位外部的被试也不公平。最后还需要对文件的文字陈述进行加工，力图保证试题的表述清楚，文句简 明扼要，表意确切，不致使被试产生误解，但是也不能遗漏一些必要的条件。注 意公文筐测验不是阅读理解或者语文能力测验， 而是对各种领导和管理能力的测 量，因而不能用艰深的词句来影响测验结果的公平性。三是编制文件。完成上述的工作，就可以编制文件了。文件的类型主要有三种：批阅类、决 策类和完善类。批阅类文件要求被试能够区分轻重缓急和性质，提出处理意见，这类文件是 常规性的公务文件，通常只需要按部就班地处理即可。决策类

9、文件往往是请示、报告、建议之类，阐述的往往是日常工作中遇到的 非常规性决策问题，要求被试在综合分析的基础之上提出决策方案或从给定的几 种方案中选择最佳方案。完善类是指有缺陷的文件，尚缺少某些条件和信息，如材料的不完善、观点 意见不妥当等，看被试是否善于提出问题和获得进一步信息的要求。文件的签发方式及其行文规定可以忽略，但文件的行文方向（对上与对下， 对内与对外等）应该有所区别。文件的形式尽量与拟任职位中实际可能遇到的各 种文件一致。编成的文件应该具有三大特点：典型性，文件内容涉及未来工作中最主要的 活动，是对多种情况的归纳与概括；主题突出，单个文件应该以描述一个主题为 核心，尽量避免一个事件的

10、多个方面都是重点； 难度要适中，测验的目的在于区 分能力不同的被试，因此应该尽量避免测验中的“天花板”、“地板”效应，使得大家的得分都很高或者都很低而不能区分，通常应该由易到难，形成梯度。3、试测与收集答案公文筐编制结束以后，制定评价标准也是相当关键的。为了使评价标准又针 对性和实用性，就需要收集各种答案，即文件的各种处理办法。一个比较有效的 做法就是把编好的公文筐让在职的有关人员做答。 这些在职人员应该和将来应聘 的被试团体具有相似的特征，可以看作来自于同一个样本群体，并且他们所在的 岗位，就是被试将来拟任的岗位。人数应该保证在几十个人以上，不能太少，但 是时限可以稍微宽松一些，以保证他们能

11、够将所有的文件都处理完。 最后根据这 些在职人员的结果进行汇总分类，列出表格。为了验证编制出来的公文筐测验的效度，我们可以将公文筐测验施测于一批 优秀的任职者和一批没有管理经验的一般人员。将两个团体做答结果进行比较。假如两个团体的作答结果之间没有显著性的差异， 或者一般人员的结果比优秀管 理者的结果要好，这就说明编制的公文筐测验可能存在问题，区分效度不明显， 需要进一步的修改。假如优秀管理者的结果明显地好于一般人员， 则可以接受这 份公文筐测验，但要注意强调保密。4、制定答案及评分标准让有经验的高层管理人员或者主管对上述所有的答案用三级量表评定（好、中、差），并进一步确认题目所测试的要素以及答

12、案可能反映出来的被试的能力 水平。在此基础上，把所得到的结果进行总结性的统计和组织，即得出了各文件的可能答案表及评分标准。下面给出一个评分标准的样例：计划能力好：能够有条不紊地处理各种公文和信息材料，并根据信息的性质和轻重缓 急对信息进行准确地分类处理。在处理问题时，能及时提出切实可行的解决方案， 主要表现在能系统地事先安排和分配工作， 注意不同信息之间的关系，有效地利 用人、财、物和信息资源。中：分析和处理问题时能够区分事件的轻重缓急，能够看到不同信息间的关 系，但解决问题的办法不是很有效，在资源的分配与调用方面也不尽合理。差：处理各种公文和信息材料时不分轻重缓急，没有觉察到各种事件之间的

13、内在联系。解决问题时没有考虑到时间、成本和资源方面的种种限制，以致提出 的问题解决办法不可行。公文筐测验的结果评定公文筐测验的结果评定既是重点又是难点，只有对被试的作答进行准确合理 的评定，才能有效地发挥公文筐测验的鉴别功能， 也才能体现以此方法进行人员 选拔时的客观公正。但是，由于公文筐测验作答的开放性，加上测验背景的复杂 性，其结果评定很难，这对评价者提出了很高的要求。1、评分标准的设计评分标准的设计是公文筐测验结果评定中的基础环节，公文筐测验的评分 标准包含着三个方面的内容：一是参考标准，即处理各个问题的较理想的方式； 二是等级水平，是各种不同的处理方式所体现能力、 素质或资格条件的数量

14、水平 或质量等级的量表系统；三是测评规则，即一定等级水平与参考标准之间的对应 关系。对于参考标准来说，这是评分标准设计中的关键，因为只有明确了什么样的 文件处理方式说明被试者某方面的能力高、 什么样的文件处理方式说明被试者某 方面的能力差，才可能有效地评价测验结果。确定这些测量要素的测评指标的方 法可以采用当前国际上盛行的行为定位法，这种方法不关注被试之间的相互比 较，而是有一个行为性的测评基准点，寻求有效的行为表现与无效的行为表现的 区别以及不同表现所产生的效果。参考标准确定以后，评分表的设计就比较简单了。首先要确定量表评定的等 级，常用的有5点量表、7点量表、9点量表、10点量表，其特点是

15、将被试的行为表现分成等距的几个等级，比如5点量表可以分成很好、较好、中等、较差、很差5个等级。10点量表通常把行为分成好（1-3分）、中（4-7分）和差（8-10分）三个等级，并对三个等级的行为表现作出具体的描述，然后考官根据被试的具体 表现在三个等级内再做细分。2、评定标准的把握让评价者掌握评定标准是公文筐测验结果评定的核心环节。评分表设计得 再好，如果评价者对评定标准没有把握好， 那么结果评定也是没有可信度的。 评 价者要把握评定标准，通常需要严格的训练。首先要让评价者熟悉测评要素的内涵和拟任岗位的要求。在公文筐测验的评价者中，通常由两类人员，一类是评价专家，另一类是具备拟任岗位工作经验的

16、 人（一般是拟任岗位的上级领导及人事组织部门的领导）。评价专家虽然能够很 好地把握测评要素的理论界定和评价尺度，但是对具体的岗位可能不是十分了 解；而有关领导虽然熟悉岗位特征，但是对测评要素又把握得不是太准确，因此，双方需要密切合作，互相学习，各取所长，提高评价的客观性和有效性。其次要加强评价练习。让评价者熟悉测评要素的内涵和拟任岗位的要求并不 是一件很容易的事情，需要通过评价实践来巩固。通常可以让多位考官同时对几 份公文筐测验的作答情况进行多次评定训练。评分的实施程序一定要注意，一般 应该两人以上各自独立评分，然后交流评分结果，如果发现不同评价者的评分结 果之间的差异比较大，就得让他们简述自己的评分理由，拿出客观的评分依据， 据此对他们进行指导，使他们把握好统一的评分尺度，直到达到预定的标准。3、评价结果的内容在公文筐结