无领导小组讨论题目设计.

1、.开发技术 无领导小组讨论题目设计! 孙健敏彭文彬 内容摘要无领导小组讨论是评价中心的重要组成部分，其有效性直接影响评价中心整体的信度和效度。而影响无领导小组讨论有效性的因素中，设计过程是一个被忽视的问题，很多人 对于如何设计无领导小组讨论也是心中无底。本文结合我们设计评价中心的过程，重点对无领导 小组讨论的选题原则、设计过程、设计要点、注意事项等进行了分析和说明。试图为理论和实际工 作者提供一点参考。 关键词评价中心 一、一般原理及开发流 程 无领导小组评论（以下简称 &(）作为人员素质测评的一种 方法，从属于情景模拟测验，现 在流行的素质理论包括素质的 “冰山模型 ”或“洋葱模型

2、”告诉 我们，人的素质从里到外可以大 致划分成为内在素质（态度、动 机、价值观等）、知识和技能、外 在行为三部分，其中内在素质只 能通过外在行为来衡量。心理学 理论告诉我们，一个人的内心世 界总是会表现在他的外显行为 中的。但人的外部行为和内在特 征并不是一一对应的关系，当一 个人表现出某种行为时，认识者 无领导小组讨论题目设计评价 会感受到，一旦感受到，就会不 由自主地产生某种情感反映，然 后根据自己的知识经验来解释 对方为什么会表现出这种行为，从而进一步对这个人作出整体 的评价，也就是形成社会知觉。 因此，根据此理论，如果想要对 一个人做出比较客观的评价，取 决于以下两个主要因素： !&q

3、uot;评价者的知识和经验。由 于存在内在素质和外在行为的 不一致，所以必须拥有丰富的经 验，才能够洞察真实的内在素 质。在 &(测验中，这可以通过 选拔和培训评分者以及规范评 分要素和评分表来保证。（由于 主题所限，本文不做重点讨论。）* 被评价者暴露的外在行为 的数量。人员素质测评更注重挖 掘出被评价者的内在素质，从而 给人员甄选提供依据。事物只有 在运动中才能显露其特点和本 质，同样，被评价者只有在活动 中才能表现其内在素质。在 &(测验中，必须给被评价者充分展 示自身的机会，从而使评价者能 够对其作出较为准确的评价。 （这也是本文讨论的主要问题。） 根据以上要求， &a

4、mp;(题目设计必 须体现的原则是给被评价者足 够的表现空间，这个原则必须贯 穿整个题目设计的始终，所有的 一切工作只是为了使被评价者 能够更完全地表现自己的 “本来 面目 ”。 经过长期的开发实践，我们 总结出一个无领导小组讨论的 开发程序。一个典型.的 & ( 题!" 中国 人力资源开发 !"#$% 目设计的过程应该包含确定选 题原则、编写讨论题目、写出初 稿、讨论修改、送请专家评审， 然后进行“试测 检验效果 ”的 循环过程，最后得以成稿，如图 &所示，本文将按照流程的顺 序，结合最近一次为某个政府 部门设计无领导小组讨论的实 例予以说明，试图揭示 (

5、 题目开发背后隐藏的一般规律和 原则。 和题目要符合实际工作的特征， 这也是情景模拟的必备要求之 一，包括内容和条件两方面：内 容方面就是要求从实际工作中 选取典型的话题和案例，供被评 价者讨论；条件方面就是设置的 条件要和实际工作条件在一定 程度上保持一致，以期达到最佳 的预测效果。在最近一次的 ( 题目设计中，所取的材料都是从 被评价者应试的岗位实际可能 涉及的工作中选 取出来的。推荐的 办法就是请在职 者写出日常工作 中他们认为典型 的事件，然后总结二、流程节点详述 实际上，整个评价中心的有 效性，一方面取决于题目的设 计，另外与所测量的能力要素或 维度有很大关系。本文主要讨论 题目的设

6、计，但前提是已经通过 职位分析，确定了所要评价的能 力要素以及评价指标。题目设计 的要点在于运用什么题型，通过什么内容来激发和考察这些要素。 接下来我们讨论一个完整 的题目设计开发流程，每个节点上应该注意哪些问题，可以用什么方法来保证“给被评价者足够的表现空间”这个总原则得以更好地体现。 （一）确定选题原则 一般说来， ( 测验选取的讨论题目或者案例应该具有以下几个基本特征： !"联系工作实际 联系实际是指选取的材料出可供选择的话题和案例的清单，以备后来选择使用。#" 矛盾性 前面的论述已经指出，只有给被评价者足够的表现空间，才 可能对其作出较为客观的评价。人们的某些内在特

7、征会通过不自觉的行为表露出来。实践证明，争论越多，被评价者表现的机会就越多，暴露的不自觉行为 也越多，越容易看出个体之间的差异，而这些差异正是我们需要考察的。所以， ( 题目设计中要点之一是保证刺激材料要有一定的矛盾冲突，无论是资源争 夺问题，还是多项选择问题，其矛盾点都是隐含在讨论材料中的。实践表明：所讨论的问题中隐含的矛盾冲突的大小直接影响测验的效果，这在后面还会详细论及。 $"难度适当 提供的材料或者话题难度要适中，这也是为了使被评价者有话可说，有充分的机会表现。开发技术 如果过.于简单，可能不用深入讨 论就会达成一致，使评价者无从 评价；如果太难，可能会对被评 价者产生额外的

8、压力，影响被评 价者正常水平的发挥。 （二）选择题目类型 目前，比较流行的对 ( 题目形式的分类是以下 * 种：开 放式问题、两难问题、多项选择 问题、操作性问题、资源争夺型 问题。这几种类型的题目的定义、考察要点以及特点可以通过 表 & 说明。 通过表 & 不难看出，开放性 问题和操作性问题不易引起被 评价者之间的争辩，除了特殊情 况，一般不予考虑使用。两难问 题由于对出题的要求过高，且考 察的要素相对简略，而且过程不 容易控制，尽量避免使用。所以， 在一般的甄选过程中，特别是甄 选组织的中高层管理人员时，更 多地应该考虑使用多项选择问 题和资源争夺问题。这两类问题 在实践过

9、程中有相通之处，一般 来说，相同的材料可以变成这两 种题型中的任何一种。当然，这 两种题型对题目编制的要求比 较高，这就使 ( 题目设计研究更有意义。特别是资源争夺型 问题，一定要保证案例或者角色 之间的均衡性，这一点尤为重要，在后面还会有详细论述。 在最近的这次 ( 题目设计中，我们选择的是资源争夺型 问题，采用指定角色的形式进行 测评。让处于同等地位的被试者 就有限的资源进行分配，从而对 被试者的各项目标素质进行考 察。 （三）写出初稿 “万事开头难”，在理清原则 中国 人力资源开发 !"#$% !" 开发技术 表 ! "#$题目类型一览表 问题类型定义考察要

10、点举例特点 开放式问题 答案的范围可以很 广，很宽，没有固定 答案 全面性、针对性、思 路清晰、新见解 你认为什么样的领导 是好领导 !" 容易出题 #" 不太容易引起应试者之间 的争辩 两难问题 在两种互有利弊的 答案中选择一种 分析能力、语言表 达能力以及说服力 你认为以工作取向的 领导是好领导呢，还 是以人为取向的领导 是好领导 !"编制题目比较方便 #" 可以引起争辩 $"两个答案要保持均衡 多项选择问题 多种备选答案中选 择其中有效的几种 或对备选答案的重 要性进行排序 分析问题实质，抓 住问题本质的能力 某信息中心收集 #% 条信息

11、，只能上报 & 条，请讨论出结果 !"难于出题目 #" 较容易形成争辩 操作性问题 给应试者一些材 料，工具或者道具， 设计出一个或一些 由考官指定的物体 主动性，合作能力 以及在实际操作任 务中所充当的角色 给应试者一些材料， 要求他们相互配合， 构建一座铁塔或者一 座楼房的模型 !"主要.考察操作能力 #" 不太容易引起争辩 $"对考官的要求和题目的 要求比较高 资源争夺问题 适用于指定角色的 无领导小组讨论是 让处于同等地位的 应试者就有限的资 源进行分配 语言表达能力、分 析问题能力、概括 或总结能力，发言 的积极性和反应的 灵

12、敏性、组织协调 能力等等 如让应试者担当各个 分部门的经理，并就有限数量的资金进行 分配 !"可以引起应试者的充分 辩论 #" 但是对讨论题的要求较高 $"要保证案例之间的均衡性 联网、图书馆等一些可以 利用的资料，根据讨论出来的原则收集资料。 在最近的 & ( 设计中，我们通过深入讨论， 结合与人力资源部相关 人员以及直线主管的访 谈记录，制定了选取材料 的 ,项基本原则，然后通 过各种其他的方式收集 资料，最终设计出了比较 有代表性的题目初稿。 （四）向专家咨询 在初步写出设计方 案之后，进行试测之前， 应该把方案提请有关专 家进行初审，这样做的好 处

13、是尽量消除题目设计 中常识性的错误，减少试 测的次数。在某些情况下 说明：根据 %&& ( *+%, -&+.-/ 01- *23453 673*+89 :74;!<=> 上的内容修订整理而成 之后，需要根据这些原则开始开路，而且比较容易形成一致的目 发题目，总的说来，在撰写初稿标，达到很好的效果。 时应特别注意以下两个问题： #" 尽可能地占有资料 !"团队合作信息的占有量直接关系到 目前任何一本关于管理的题目编写的代表性，而且会使设 教科书中都会提到团队合作的计工作变得更加轻松。一般说 重要性，任何一个有管理知识背来，信息的来源按照重

14、要性可以 景的人都会无一例外地肯定团分为以下几种： 队精神的可贵，甚至每个人朦朦（）人力资源部门沟通。熟 胧胧或深或浅都会意识到合作悉组织的运作方式和方法，收集的威力。特别是& ( 题目设计空缺职位的基本信息，所需要的相对较为复杂，个人的思维难免素质，最低的资格要求。并且把 会有局限性，只有集思广益，才这作为衡量材料难度的一个参 可能启发更多的灵感。团队合作考点。 最重要的是尊重和投入。尊重是（ *）管沟通。只有组织的主 人的基本素养，投入恐怕要靠共管最熟悉空缺职位的信息，可以 同目标和友谊等其他因素共同采用深度访谈的方法，事先拟定 作用了。根据笔者的实践经验， 提纲，然后有根据地收集

15、关于日 & ( 题目设计非常需要团队合常工作的信息，保证重要信息不 作，一般说来，经过几次讨论之被疏漏。 后，不仅相互之间可以启发思（ + ）查询相关信息。通过互.可能还会得到更好的建 议。向专家咨询应该包含以下几 个要点： !"谁可以作为专家 可以作为专家的有两类人， 一类是心理学家或者测评专家， 另一类是部门主管。心理学家或 者测评专家侧重审核选择的案 例或者话题是否能够考察出需 要考察的素质；部门主管侧重审 核案例或者话题是不是在某种 程度上和实际工作相关，适不适 宜从事此类工作的人进行讨论。 #" 咨询重点 上面的内容基本上透露了咨询的重点内容，为了清晰起

16、见，总结以下几个方面： （）案例与话题是否与实际 工作相联系； （*）案例与话题是否均衡 （资源争夺性问题）； （+ ）案例与话题是否适合考 !" 中国 人力资源开发 !"#$% 察需要考察的素质； （& ）案例与话题是否存在常 识性的错误； （）案例与话题是否还有需 要完善的地方； （(）是否有更好的建议（案 例、话题、考察方式等等）。 （五）试测 实践是检验真理的惟一标 准，初稿送请专家审阅之后，还 需要进入一个关键步骤 试 测，试测的效果直接关系到 *+ 题目设计的成败。一项设计无论 在理论上如何完美，在没有经过 实践之前，都不能够说是成功 的。而且，根据笔者

17、的经验，无论 把前期工作做得多么充分，多么 认真， *+ 的设计总会存在一些 只有经过试测才能体现的瑕疵， 甚至一些原则性的错误，因此， 笔者将结合最近一次 *+ 设计 试测（共进行了 ,次，三 ,次的 参与者来自同一总体，随机分成 ,组讨论，可以认为具有同质性）的实际，重点论述 *+ 试测应 该注意的问题。 试测首先应该注意的问题 就是选择合适的试测对象。各个组织都有自身的特点，甄选的目标人群也有层次上的差异，因此 最佳的试测对象应该和测验的 目标群体存在某种程度的相似。 在我们最近的一次试测中，选取 的试测对象是该部门层次较低 的在职人员，他们中的一部分人 以后可能会成为甄选的对象。当 然

18、，在条件有限的情况下，大学 毕业生和 -.%培训班的学员也 是较好的选择。 选择好试测对象以后，安排 试测时要着重注意以下几个方 面的问题： !"难度 *+ 题目的难度评价可以 从几个方面进行。首先可以观察 参与者（这里称参加试测的讨论 者为参与者，下同）理解材料的 程度，因为设计人员对材料的理 解应该是非常深刻的，在试测的 过程中，观察参与者在规定时间 内对材料的理解程度，可以反映 题目的难度。这里面包含两个方 面的观察，一是在规定的时间 （一般是 分钟.）参与者是不是 在认真阅读材料，第二是理解材 料的程度。如果绝大多数人在规 定的时间内对材料理解基本到 位，就可以认为是难度适中

19、；如 果绝大多数参与者没有经过认 真阅读，很快就能理解材料，就 可以认为难度较低，可以适当增加难度；如果绝大多数参与者在 规定的时间内对材料的理解都 不到位，那就说明材料难度过 大。在我们最近的这次 *+ 试 测中，通过两次修改，难度基本 上达到了设计的要求。 #" 平衡性 无论是多项选择型还是资 源争夺性题目，材料之间的平衡 性是一个关系 *+ 测验是否有 效的重要因素。如果材料不平 衡，参与者各自的“身份”就会受 到影响，矛盾冲突可能就不是很 激烈，参与讨论者的表现就不够充分，因此，难以对其做出适当 的评价。这一点在我们最近一次 *+ 试测中表现得很突出。由于 我们的试测采用的是

20、指定角色 的资源争夺性题目，我们最先选 择的材料是六个关于实际工作 中的案例，把每个参与者置身于 一个案例中，在我们第一次试测 的过程中，发现多数组在很短的 开发技术 时间内就结束了讨论，达成了一 致性意见，几乎没有什么讨论， 每个参与者没有表现的机会，使 评分者无从评价。原因就是有一 个案例在大多数参与者的观念 中是非常重要且紧急的，因此，没有经过多少争论，就达成了一 致性意见。在其后的两次试测 中，我们舍弃了这个案例，增加 了一个在性质和内容上与其他 材料较为平衡的案例，结果证明 不仅参与者的讨论更充分了，评 分的准确性也提高了。 ,/ 是否联系实际 材料是否切合实际，可能不 仅仅体现在其

21、预测效度上。有理 论指出，只要评价中心的取样来 自实际的、真实的工作行为，就 是有效的、无偏见的选拔工具 01234356 7899:。不仅如此，笔者 在实际中发现，材料是否切合实 际，也是能否引起足够争论，从 而导致客观评价的重要影响因 素。上文已经指出，第一次试测 的效果不好，因为有一个特别突 出的案例，第二次在案例比较均 衡的情况下，讨论过程比较充分 了，评价结果也有了改善，但仍 然没有达到理想的效果。通过和 参与者的沟通发现，案例有一处 数据与实际情况有差距，使参与 者觉得不符合实际情况，从而使 他们觉得所讨论的材料不真实， 无法真正投入。在调整数据之 后，第三次试测的情况大大改 善，

22、不仅讨论过程丰富，每个人 的表现很充分，对评价结果的信 度、效度和区分度分析都是令人 满意的。 （六）收集反馈意见 这一部分和试测是紧密相 连的，.试测的反馈意见包含, 中国 人力资源开发 !"#$% !" 开发技术 个部分：参与者的意见，评分者 的意见和统计分析的结果（主 要是评分者一致性信度和预测效度）。其中参与者的意见是案例修改和完善的重要依据。评分者的意见可以用来完善评分 表和评分要素，也在一定程度 上可以作为案例修改的依据。 统计分析主要是决定试测的效 果，如果难度合适，统计分析的结果达到了预想的水平，就可以形成终稿。 &参与者的感受 材料是不是很难理解，

23、是不是觉得有话可说，能不能引起足 够的争论，其他的一些感受，比 如说是否有压力，觉得很难被别人理解，自己不被人接受等等，这些意见一般可以从侧面反映一些问题，可以直接应用于讨论 材料的修正。 ( 评分者的感受 评分者的感受主要是用来 改进评分表和评分要点，不是本 文探讨的主要问题，不予赘述。分析的结果 主要是分析信度和效度，如 果达到了设计的要求，就可以考 虑成稿了。一般来说，其中有两个调节变量 如 时间和成本， 果时间和成本不允许，可以考虑 在评分者一致性程度较高的情 况下，形成终稿，如果时间和成 本允许，可以考虑同时使用其他测验方法，与 *+, 测验作相关， 考察其效度。 （七）再次试测 这

24、一步骤和收集反馈意见 是紧密相连的，如果试测效果已经满意，那么就不需要再次试 测；如果测验效果不满意，表现 在案例需要大改，统计分析不能 !" 中国 人力资源开发 !"#$% 达到预想效果等等，就需要根据MM &(K&KN 反映出来的情况，重新修订题(- O451 , 2 1 !4?MP9:1目，再进行试测。这个过程Q可能3 1 R +-4A.1 , * <&STN> 要循环几次，直至试测效果满 UD-?4.CG9 594-B CA P0BCA9BBV %意，得以定稿。当然，一项工具的:DAI .9-? %;R; B.0F5 DE开发，需

25、要一个长期的完善过 ?4A4I9-C4: :CG9B $9W XD-YV 程，如果能够通过跟踪研究掌握 2C:95 一些相关数据，再按照流程循环!4?MP9:1 , ; 1 R 往复，最终是能够开发出较为成 UCBY91 , 2 <&SKS> !DAG9-I9A. 熟和稳定的工具的。 4AF FCB8-C?CA4A. G4:CF4.CDA P5 ./9 ?0:.C.-4C. ?0:.C?9./DF三、小结 ?4.-CZHB58/D:DIC84: O0:9.CA1 KL1 MM &&=K 本文*+,根据题目设计的 N+40I:9-1 O1 QDB9A./4:1 流程，主要通过总结经验、理论, -A1.DA1;/D + 1O9A.BDA1 ! 归纳、分析报告等方式进行阐<&ST> 79.4 4A4:5BCB DE 述，试图揭示 *+, 题目设计背 4BB9BB?9A. 89A.9G4: CFC.5 后隐.藏的一般规律和原则，按3D0