无领导小组讨论题目设计..doc

.开发技术 无领导小组讨论题目设计 !孙健敏彭文彬 内容摘要无领导小组讨论是评价中心的重要组成部分，其有效性直接影响评价中心整体 的信度和效度。而影响无领导小组讨论有效性的因素中，设计过程是一个被忽视的问题，很多人 对于如何设计无领导小组讨论也是心中无底。本文结合我们设计评价中心的过程，重点对无领导 小组讨论的选题原则、设计过程、设计要点、注意事项等进行了分析和说明。试图为理论和实际工 作者提供一点参考。 关键词评价中心 一、一般原理及开发流 程 无领导小组评论（以下简称 &(）作为人员素质测评的一种 方法，从属于情景模拟测验，现 在流行的素质理论包括素质的 “冰山模型 ”或“洋葱模型 ”告诉 我们，人的素质从里到外可以大 致划分成为内在素质（态度、动 机、价值观等）、知识和技能、外 在行为三部分，其中内在素质只 能通过外在行为来衡量。心理学 理论告诉我们，一个人的内心世 界总是会表现在他的外显行为 中的。但人的外部行为和内在特 征并不是一一对应的关系，当一 个人表现出某种行为时，认识者 无领导小组讨论题目设计评价 会感受到，一旦感受到，就会不 由自主地产生某种情感反映，然 后根据自己的知识经验来解释 对方为什么会表现出这种行为， 从而进一步对这个人作出整体 的评价，也就是形成社会知觉。 因此，根据此理论，如果想要对 一个人做出比较客观的评价，取 决于以下两个主要因素： !评价者的知识和经验。由 于存在内在素质和外在行为的 不一致，所以必须拥有丰富的经 验，才能够洞察真实的内在素 质。在 &(测验中，这可以通过 选拔和培训评分者以及规范评 分要素和评分表来保证。（由于 主题所限，本文不做重点讨论。） *被评价者暴露的外在行为 的数量。人员素质测评更注重挖 掘出被评价者的内在素质，从而 给人员甄选提供依据。事物只有 在运动中才能显露其特点和本 质，同样，被评价者只有在活动 中才能表现其内在素质。在 &( 测验中，必须给被评价者充分展 示自身的机会，从而使评价者能 够对其作出较为准确的评价。 （这也是本文讨论的主要问题。） 根据以上要求， &(题目设计必 须体现的原则是给被评价者足 够的表现空间，这个原则必须贯 穿整个题目设计的始终，所有的 一切工作只是为了使被评价者 能够更完全地表现自己的“本来 面目”。 经过长期的开发实践，我们 总结出一个无领导小组讨论的 开发程序。一个典型 的 &(题 ! 中国 人力资源开发!#$% 目设计的过程应该包含确定选 题原则、编写讨论题目、写出初 稿、讨论修改、送请专家评审， 然后进行“试测 检验效果 ”的 循环过程，最后得以成稿，如图 &所示，本文将按照流程的顺 序，结合最近一次为某个政府 部门设计无领导小组讨论的实 例予以说明，试图揭示 (题 目开发背后隐藏的一般规律和 原则。 和题目要符合实际工作的特征， 这也是情景模拟的必备要求之 一，包括内容和条件两方面：内 容方面就是要求从实际工作中 选取典型的话题和案例，供被评 价者讨论；条件方面就是设置的 条件要和实际工作条件在一定 程度上保持一致，以期达到最佳 的预测效果。在最近一次的 ( 题目设计中，所取的材料都是从 被评价者应试的岗位实际可能 涉及的工作中选 取出来的。推荐的 办法就是请在职 者写出日常工作 中他们认为典型 的事件，然后总结 二、流程节点详述 实际上，整个评价中心的有 效性，一方面取决于题目的设 计，另外与所测量的能力要素或 维度有很大关系。本文主要讨论 题目的设计，但前提是已经通过 职位分析，确定了所要评价的能 力要素以及评价指标。题目设计 的要点在于运用什么题型，通过 什么内容来激发和考察这些要 素。 接下来我们讨论一个完整 的题目设计开发流程，每个节点 上应该注意哪些问题，可以用什 么方法来保证“给被评价者足够 的表现空间”这个总原则得以更 好地体现。 （一）确定选题原则 一般说来， (测验选取的 讨论题目或者案例应该具有以 下几个基本特征： !联系工作实际 联系实际是指选取的材料 出可供选择的话题和案例的清 单，以备后来选择使用。 #矛盾性 前面的论述已经指出，只有 给被评价者足够的表现空间，才 可能对其作出较为客观的评价。 人们的某些内在特征会通过不 自觉的行为表露出来。实践证 明，争论越多，被评价者表现的 机会就越多，暴露的不自觉行为 也越多，越容易看出个体之间的 差异，而这些差异正是我们需要 考察的。所以， (题目设计中 要点之一是保证刺激材料要有 一定的矛盾冲突，无论是资源争 夺问题，还是多项选择问题，其 矛盾点都是隐含在讨论材料中 的。实践表明：所讨论的问题中 隐含的矛盾冲突的大小直接影 响测验的效果，这在后面还会详 细论及。 $难度适当 提供的材料或者话题难度 要适中，这也是为了使被评价者 有话可说，有充分的机会表现。 开发技术 如果过 于简单，可能不用深入讨 论就会达成一致，使评价者无从 评价；如果太难，可能会对被评 价者产生额外的压力，影响被评 价者正常水平的发挥。 （二）选择题目类型 目前，比较流行的对 ( 题目形式的分类是以下 *种：开 放式问题、两难问题、多项选择 问题、操作性问题、资源争夺型 问题。这几种类型的题目的定 义、考察要点以及特点可以通过 表 &说明。 通过表 &不难看出，开放性 问题和操作性问题不易引起被 评价者之间的争辩，除了特殊情 况，一般不予考虑使用。两难问 题由于对出题的要求过高，且考 察的要素相对简略，而且过程不 容易控制，尽量避免使用。所以， 在一般的甄选过程中，特别是甄 选组织的中高层管理人员时，更 多地应该考虑使用多项选择问 题和资源争夺问题。这两类问题 在实践过程中有相通之处，一般 来说，相同的材料可以变成这两 种题型中的任何一种。当然，这 两种题型对题目编制的要求比 较高，这就使 (题目设计研 究更有意义。特别是资源争夺型 问题，一定要保证案例或者角色 之间的均衡性，这一点尤为重 要，在后面还会有详细论述。 在最近的这次 (题目设 计中，我们选择的是资源争夺型 问题，采用指定角色的形式进行 测评。让处于同等地位的被试者 就有限的资源进行分配，从而对 被试者的各项目标素质进行考 察。 （三）写出初稿 “万事开头难”，在理清原则 中国 人力资源开发!#$% ! 开发技术 表 ! #$题目类型一览表 问题类型定义考察要点举例特点 开放式问题 答案的范围可以很 广，很宽，没有固定 答案 全面性、针对性、思 路清晰、新见解 你认为什么样的领导 是好领导 !容易出题 #不太容易引起应试者之间 的争辩 两难问题 在两种互有利弊的 答案中选择一种 分析能力、语言表 达能力以及说服力 你认为以工作取向的 领导是好领导呢，还 是以人为取向的领导 是好领导 !编制题目比较方便 #可以引起争辩 $两个答案要保持均衡 多项选择问题 多种备选答案中选 择其中有效的几种 或对备选答案的重 要性进行排序 分析问题实质，抓 住问题本质的能力 某信息中心收集 #% 条信息，只能上报 & 条，请讨论出结果 !难于出题目 #较容易形成争辩 操作性问题 给应试者一些材 料，工具或者道具， 设计出一个或一些 由考官指定的物体 主动性，合作能力 以及在实际操作任 务中所充当的角色 给应试者一些材料， 要求他们相互配合， 构建一座铁塔或者一 座楼房的模型 !主要 考察操作能力 #不太容易引起争辩 $对考官的要求和题目的 要求比较高 资源争夺问题 适用于指定角色的 无领导小组讨论是 让处于同等地位的 应试者就有限的资 源进行分配 语言表达能力、分 析问题能力、概括 或总结能力，发言 的积极性和反应的 灵敏性、组织协调 能力等等 如让应试者担当各个 分部门的经理，并就 有限数量的资金进行 分配 !可以引起应试者的充分 辩论 #但是对讨论题的要求较高 $要保证案例之间的均衡性 联网、图书馆等一些可以 利用的资料，根据讨论出 来的原则收集资料。 在最近的 &(设计 中，我们通过深入讨论， 结合与人力资源部相关 人员以及直线主管的访 谈记录，制定了选取材料 的 ,项基本原则，然后通 过各种其他的方式收集 资料，最终设计出了比较 有代表性的题目初稿。 （四）向专家咨询 在初步写出设计方 案之后，进行试测之前， 应该把方案提请有关专 家进行初审，这样做的好 处是尽量消除题目设计 中常识性的错误，减少试 测的次数。在某些情况下 说明：根据 %&( *+%,-&+.-/ 01-*23453 673*+89:74;!上的内容修订整理而成 之后，需要根据这些原则开始开路，而且比较容易形成一致的目 发题目，总的说来，在撰写初稿标，达到很好的效果。 时应特别注意以下两个问题： #尽可能地占有资料 !团队合作信息的占有量直接关系到 目前任何一本关于管理的题目编写的代表性，而且会使设 教科书中都会提到团队合作的计工作变得更加轻松。一般说 重要性，任何一个有管理知识背来，信息的来源按照重要性可以 景的人都会无一例外地肯定团分为以下几种： 队精神的可贵，甚至每个人朦朦（）人力资源部门沟通。熟 胧胧或深或浅都会意识到合作悉组织的运作方式和方法，收集 的威力。特别是 &(题目设计空缺职位的基本信息，所需要的 相对较为复杂，个人的思维难免素质，最低的资格要求。并且把 会有局限性，只有集思广益，才这作为衡量材料难度的一个参 可能启发更多的灵感。团队合作考点。 最重要的是尊重和投入。尊重是（*）管沟通。只有组织的主 人的基本素养，投入恐怕要靠共管最熟悉空缺职位的信息，可以 同目标和友谊等其他因素共同采用深度访谈的方法，事先拟定 作用了。根据笔者的实践经验， 提纲，然后有根据地收集关于日 &(题目设计非常需要团队合常工作的信息，保证重要信息不 作，一般说来，经过几次讨论之被疏漏。 后，不仅相互之间可以启发思（+）查询相关信息。通过互 可能还会得到更好的建 议。向专家咨询应该包含以下几 个要点： !谁可以作为专家 可以作为专家的有两类人， 一类是心理学家或者测评专家， 另一类是部门主管。心理学家或 者测评专家侧重审核选择的案 例或者话题是否能够考察出需 要考察的素质；部门主管侧重审 核案例或者话题是不是在某种 程度上和实际工作相关，适不适 宜从事此类工作的人进行讨论。 #咨询重点 上面的内容基本上透露了 咨询的重点内容，为了清晰起 见，总结以下几个方面： （）案例与话题是否与实际 工作相联系； （*）案例与话题是否均衡 （资源争夺性问题）； （+）案例与话题是否适合考 ! 中国 人力资源开发!#$% 察需要考察的素质； （&）案例与话题是否存在常 识性的错误； （）案例与话题是否还有需 要完善的地方； （(）是否有更好的建议（案 例、话题、考察方式等等）。 （五）试测 实践是检验真理的惟一标 准，初稿送请专家审阅之后，还 需要进入一个关键步骤 试 测，试测的效果直接关系到 *+ 题目设计的成败。一项设计无论 在理论上如何完美，在没有经过 实践之前，都不能够说是成功 的。而且，根据笔者的经验，无论 把前期工作做得多么充分，多么 认真， *+的设计总会存在一些 只有经过试测才能体现的瑕疵， 甚至一些原则性的错误，因此， 笔者将结合最近一次 *+设计 试测（共进行了 ,次，三 ,次的 参与者来自同一总体，随机分成 ,组讨论，可以认为具有同质性） 的实际，重点论述 *+试测应 该注意的问题。 试测首先应该注意的问题 就是选择合适的试测对象。各个 组织都有自身的特点，甄选的目 标人群也有层次上的差异，因此 最佳的试测对象应该和测验的 目标群体存在某种程度的相似。 在我们最近的一次试测中，选取 的试测对象是该部门层次较低 的在职人员，他们中的一部分人 以后可能会成为甄选的对象。当 然，在条件有限的情况下，大学 毕业生和 -.%培训班的学员也 是较好的选择。 选择好试测对象以后，安排 试测时要着重注意以下几个方 面的问题： !难度 *+题目的难度评价可以 从几个方面进行。首先可以观察 参与者（这里称参加试测的讨论 者为参与者，下同）理解材料的 程度，因为设计人员对材料的理 解应该是非常深刻的，在试测的 过程中，观察参与者在规定时间 内对材料的理解程度，可以反映 题目的难度。这里面包含两个方 面的观察，一是在规定的时间 （一般是 分钟 ）参与者是不是 在认真阅读材料，第二是理解材 料的程度。如果绝大多数人在规 定的时间内对材料理解基本到 位，就可以认为是难度适中；如 果绝大多数参与者没有经过认 真阅读，很快就能理解材料，就 可以认为难度较低，可以适当增 加难度；如果绝大多数参与者在 规定的时间内对材料的理解都 不到位，那就说明材料难度过 大。在我们最近的这次 *+试 测中，通过两次修改，难度基本 上达到了设计的要求。 #平衡性 无论是多项选择型还是资 源争夺性题目，材料之间的平衡 性是一个关系 *+测验是否有 效的重要因素。如果材料不平 衡，参与者各自的“身份”就会受 到影响，矛盾冲突可能就不是很 激烈，参与讨论者的表现就不够 充分，因此，难以对其做出适当 的评价。这一点在我们最近一次 *+试测中表现得很突出。由于 我们的试测采用的是指定角色 的资源争夺性题目，我们最先选 择的材料是六个关于实际工作 中的案例，把每个参与者置身于 一个案例中，在我们第一次试测 的过程中，发现多数组在很短的 开发技术 时间内就结束了讨论，达成了一 致性意见，几乎没有什么讨论， 每个参与者没有表现的机会，使 评分者无从评价。原因就是有一 个案例在大多数参与者的观念 中是非常重要且紧急的，因此， 没有经过多少争论，就达成了一 致性意见。在其后的两次试测 中，我们舍弃了这个案例，增加 了一个在性质和内容上与其他 材料较为平衡的案例，结果证明 不仅参与者的讨论更充分了，评 分的准确性也提高了。 ,/是否联系实际 材料是否切合实际，可能不 仅仅体现在其预测效度上。有理 论指出，只要评价中心的取样来 自实际的、真实的工作行为，就 是有效的、无偏见的选拔工具 01234356 7899:。不仅如此，笔者 在实际中发现，材料是否切合实 际，也是能否引起足够争论，从 而导致客观评价的重要影响因 素。上文已经指出，第一次试测 的效果不好，因为有一个特别突 出的案例，第二次在案例比较均 衡的情况下，讨论过程比较充分 了，评价结果也有了改善，但仍 然没有达到理想的效果。通过和 参与者的沟通发现，案例有一处 数据与实际情况有差距，使参与 者觉得不符合实际情况，从而使 他们觉得所讨论的材料不真实， 无法真正投入。在调整数据之 后，第三次试测的情况大大改 善，不仅讨论过程丰富，每个人 的表现很充分，对评价结果的信 度、效度和区分度分析都是令人 满意的。 （六）收集反馈意见 这一部分和试测是紧密相 连的， 试测的反馈意见包含 , 中国 人力资源开发!#$% ! 开发技术 个部分：参与者的意见，评分者 的意见和统计分析的结果（主 要是评分者一致性信度和预测 效度）。其中参与者的意见是案 例修改和完善的重要依据。评 分者的意见可以用来完善评分 表和评分要素，也在一定程度 上可以作为案例修改的依据。 统计分析主要是决定试测的效 果，如果难度合适，统计分析的 结果达到了预想的水平，就可 以形成终稿。 &参与者的感受 材料是不是很难理解，是不 是觉得有话可说，能不能引起足 够的争论，其他的一些感受，比 如说是否有压力，觉得很难被别 人理解，自己不被人接受等等， 这些意见一般可以从侧面反映 一些问题，可以直接应用于讨论 材料的修正。 (评分者的感受 评分者的感受主要是用来 改进评分表和评分要点，不是本 文探讨的主要问题，不予赘述。 分析的结果 主要是分析信度和效度，如 果达到了设计的要求，就可以考 虑成稿了。一般来说，其中有两 个调节变量 如 时间和成本， 果时间和成本不允许，可以考虑 在评分者一致性程度较高的情 况下，形成终稿，如果时间和成 本允许，可以考虑同时使用其他 测验方法，与 *+,测验作相关， 考察其效度。 （七）再次试测 这一步骤和收集反馈意见 是紧密相连的，如果试测效果已 经满意，那么就不需要再次试 测；如果测验效果不满意，表现 在案例需要大改，统计分析不能 ! 中国 人力资源开发!#$% 达到预想效果等等，就需要根据MM&(K&KN 反映出来的情况，重新修订题( O-451 , 21 !4?MP9:1 目，再进行试测。这个过程可能Q 31 R +-4A.1 , * 要循环几次，直至试测效果满UD-?4.CG9 594-B CA P0BCA9BBV % 意，得以定稿。当然，一项工具的:DAI .9-? %;R; B.0F5 DE 开发，需要一个长期的完善过?4A4I9-C4: :CG9B $9W XD-YV 程，如果能够通过跟踪研究掌握2C:95 一些相关数据，再按照流程循环 !4?MP9:1 , ;1 R 往复，最终是能够开发出较为成UCBY91 , 2 !DAG9-I9A. 熟和稳定的工具的。4AF FCB8-C?CA4A. G4:CF4.CDA P5 ./9 ?0:.C.-4C. ?0:.C?9./DF 三、小结?4.-CZ HB58/D:DIC84: O0:9.CA1 KL1 MM&=K 本文根据 *+,题目设计的N +40I:9-1 O1 QDB9A./4:1 流程，主要通过总结经验、理论,1 ;/D-A.DA1 +1 O9A.BDA1 ! 归纳、分析报告等方式进行阐 79.4 4A4:5BCB DE 述，试图揭示 *+,题目设计背4BB9BB?9A.