浅析测试效果的测量(doc8页)

1、? 有效性?可靠性?测试效果的测量有效性有效性是对选择测试的一个基本要求，是评价测试效果的一个指标。有效性(validity )是指一项测试所能测量出的其所要测量 的内容的程度，它表明一种测试在预测参加者在未来业绩方面成功 与否。即选拔过程中得分较高的应聘者其工作表现也比测试得分较 低的应试者好。如果一项测试不能表明某人是否具有完成某项工作 的能力那么它就毫无价值。在我们测试有效性之前，要确定一些指标说明哪些反映工作中的成 功业绩，哪些只反映出应聘面试和测试中的成功表现。有效性用效度来衡量。效度就是指一个测验在测量中要测的行为特 征所具有的准确度，也就是说这个测验的测量结果与想要测量的内 容的

2、相关系数。它概括了两个变量间的联系，其差异范围在0至正(负)1之间，效度最高是1。效度达到0 .5 0.6就相当不 错了，而在0 .3 0.4之间也可以接受。根据问题的不同的侧重，可以把效度主要分为两类，即内容效度和 效表关联效度。(1) 内容效度，又叫形式有效度。内容效度主要就是指测量所 选的项目是否符合有关的内容， 就是测验在性质上与收集方法上与 事先所建立的标准是否一致。 要确定一个测试方法的内容效度是高 还是低，最常用的方法就是请有关的专家对测量的有关项目进行全 面的考核，看其是否代表所要测试的内容， 这样来确定它的内容效 度。(2) 效表关联效度，又叫试验有效度。效表关联效度是指测验

3、 能否达到预期要求的程度。 心理测量的作用， 往往是为了预测将来 的行为，如果在招聘中， 某一个被试者在通过某一项心理测试时显 示他的管理才能很高，但是在以后实践中发现他的管理能力并不 高，这样我们说该心理测试的效度不高， 效表关联效度的确定是由 心理测量的结果与有关人员对被试的有关心理活动进行评价的相 关的系数来决定的。测量有效性的方法可分为：1、结构有效性 ( construct validity )：是测量有效性的一种方法。 它是一种确定测试是否能衡量出对完成某项工作十分重要的特性 的有效性的测试方法。 例如， 如果工作要求高度的配合协作 (这一 点在全面质量管理导向的企业中尤为重要)

4、，测试可能会被用来衡 量求职者在小组中有效工作能力。2、内容有效性( content validity )：是测量有效性中内容效度的一种方法。 它是以一个人完成实际工作所要求的某些任务，或完成量相关工作知识的一篇论文或笔试卷为基础的有效性的测试方法， 当采用这种形式的有效性测试时， 需要仔细的工作分析和精心准备 的工作说明。采用内容有效性的常见例子是对主要工作为打字的求 职者进行打字测试。3、与标准相关的有效性(criterion-related Validity):是测量有效 性中效表关联效度的一种方法。 它是通过比较选择测试分数与工作 业绩的某些方面而确定的。业绩衡量可以包括工作的数量和质

5、量、 工作调动和缺勤情况。 测试分数与工作业绩密切相关。 表明测试是 有效的。与标准相关的有效性有两种基本形式：并存有效性和预测有效性。 并存有效性是指测试分数与标准数据基本上同时获得的形式。例 如，对所有目前在职的电视人员进行一次测试， 公司记录有当前第 位职员业绩的信息， 如果测试能够确定出哪些人工作较好， 哪些人 工作不太好，那么就可以说测试是有效的。 但是采用这种有效性的 潜在问题是，工作组织内部可能发生一些变化， 工作不好的员工可 能被解雇。而工作好的员工可能被提升到其他部门。预测有效性( predictive validity )是指进行测试后方获得标准信 息的形式。例如，对所有求

6、职者进行测试， 但测试结果不用于选择 决策，而是根据其他选择标准决定是否雇用。 在对员工的观察一段 时间后才分析测试结果是否能将成功与不成功的员工区分开， 预测 有效性被认为是一种技术上合理的程序， 但是，由于时间和成本问题，其在应用中通常不太可行可靠性可靠性 (reliability )是评价测试效果的一个指标， 它是指一个 人在同一心理测量中， 几次测量结果一致性， 它反映测试所提供结 果的一致程度。可靠性数据提示了测试的可信程度。 如果可靠性很低， 则测验也就 无有效性可言。 但是可靠性存在本身并不能保证其有效性。 测试的 可靠性应是测试的范围对所有测试对象保持一致。可靠性可以分为以下几

7、类：A再次信度。这种信度是检验时间间隔对测试分数的影响， 也 就是说同一个测验对同一个被度者进行前后两次测试， 求其两次测 试结果之间的相关，所得的相关系数就是再次信度。 这个时间间隔， 一般在两个月以上，这样比较准确。E副本信度，又叫等值信度。就是指一种心理测试的结果与另 外副本的心理测试结果进行相关性分析得出的信度。 这种评价方法 的缺点在于，副本有的时候比较难找到。C分半信度。就是说题目分成对等的两半，根据两半测验所得的分 数，计算其相关系数， 评为信度指标， 其意义与等值信度一样解释。 所不同的是一个心理测验里边包括两个独立的副本， 这样，一次测 验以后就可以找到测试信度。测量可靠性的

8、方法有：1、标准形式方法（equivalent forms method）是测量可靠性中副本 信度的一种方法。它是通过对类似但不完全相同的测试结果做相关 分析来检验可靠性。这种方法克服了测试再测试方法遇到的一些 问题，但是一个测试采用两种形式进行的成本也较高。 为了克服这 上缺点，可采用均分方法。2、测试-再测试方法（test-retest method是测量可靠性中再次 信度的一种方法。 它是通过对同一组人进行两次测试， 并对两组测 试得分做相关分析， 以确定选择测试可靠性的一种方法。 两个分值 完全正相关时的系数是 1.0。可靠性系数接近该值，表明测试结 果越一致，测试就越可靠。3、均分方

9、法（split-halves method）是测量可靠性中分半信度的一 种方法。它是通过将一个测试的结果分成两部分， 再对两部分的结 果做相关分析， 进行一次测试最大的优点是成本低， 并且没有机会 学习或回忆，而学习或回忆会使第二次测试的分数不真实。测验的可靠性体现在两个方面：（1）测验本身的一贯性，即如果发生误差，乃是由于应试者表 现上的不稳定，而不是由于测验本身性质的差异造成的。（2）一次测验与多次测验的结果大致相同，具有稳定的预测。可靠性是由信度来衡量的。其差异范围在 0至正（负）1 之间。心 理测试的信度最高可以达到1。心理测试的信度达到1是一种理想的状态，在实际中是办不到的。一般的智

10、力测验的信度系数在0.9以上，就可以认为该测验信度相当好。一般信度在80%以上就令人相当满意，如果低于 80%，在没有更好的测验时也可以作为参 考，但对于测验所得的分数不宜寄予过高的信赖。影响信度的因素：信度的准确与否与误差， 特别是随机误差的关系十分密切， 这种误 差是各种各样的。 比如， 被试者的身心健康， 参加测试的动机、 态 度，主试的专业水平， 空气的温度， 测试场地的环境， 指导语的差 异，题意的明确与否，项目的多少等等，那会影响到测试的信度。 因此，为了使心理测试获得有意义的信度， 必须严格控制可能影响 测试结果的各种主观变量。可靠性与有效性的关系： 一般来讲，测验必须先具有相当

11、的可靠性， 然后才可以预测有效性， 但是可靠性高的测验并不一定保证高的有效性， 因为可靠性表示测 验本身可靠的程度，而有效性则涉及到测验所测量的内容是否与工 作的决定因素发生关联的问题， 如果测验的目标侧重个人职业的指 导以分析其性格和能力时， 则测验的有效性越高， 其指导正确的可 能性越大， 故应特别重视有效性， 有效性越高越好。 如果测验目标 是为了考选大批新进人员， 为了达到考选的目的， 通过具有一定有 效性的测验而录取的人员比未经测验而录用的人员的实际绩效好， 那么人力资源管理人员在即使测验有效性不高的情况下也可以使 用，因为这毕竟比漫无目标的情况好。测试效果的测量 测试的效果是指测试

12、是否尽可能地选择了符合要求的人， 和尽可能 地排除了不符合要求的人。 如何测量测试效果呢？有下面几个要素 标准：(1) 标准化。标准化(standardizatiorj)是指与实施测试有关的 过程和条件的一致性。 为了能根据同样的测试来比较若干求职者的 表现，所有人都必须在尽可能相似的条件下接受测试。 例如，提供 的内容说明和允许的时间必须相同， 测试环境也必须相似。 如果一 个人在一间喧闹的房间内接受测试， 另一人在安静的环境中接受测 试，测试结果很可能有差别。 尽管测试的设计者对测试实施过程有 详细的说明，但确保测试条件标准化是测试实施者的职责。(2) 客观性。当给测试者评分的每个人所得结论相同时，测试 就具客观性(objectivity )。多项选择和判断对错的测试是客观的。 这种测试的评分是高度机械化的过程，即利用机器评分。(3) 规范。规范(norm)为将一个求职者的表现与其他求职者 相比较提供了一种参考框架。 尤其是，一种规范反映了类似于受测 试者的许多人的分数分布状态，这些分数将根据正态概率曲线分布。标准差表明数据的离散程度。一个规范化的测试，将有大约6 8.3%的分数落在 1个标准差 的范围内。该范围内的每