招聘与人才测评第3版 课件 第05章 人才测评的原理

招聘与人才测评（第3版）RECRUITMENT&TALENTASSESSMENT05CHAPTER人才测评的原理学习目标通过本章的学习，你能够：✓理解人才测评的三大基础理论1✓了解人才测评中有关统计学的基础知识2✓掌握信度、效度与项目区分度等知识3✓了解对测评分数进行解释的思路与方法4目录CONTENTS01020304人才测评的三大基础理论统计学的基础知识项目分析信度0506效度对测评分数的解释5.15.1.1真分数理论简介真分数的操作定义是无限多次测量结果的平均值。相应地，每次施测得到的实际数值则称为观测分数。观测分数与真分数之间的差异越小，则认为测验的准确度越高。从真分数的定义来看，真分数是一个理论上构想的概念，在实际测量中是无法得到的，我们只能通过不断改进测量工具、完善操作方法来使观测分数尽可能地接近真分数。5.15.1.1真分数理论理论模型及假设如果用X表示观测分数，T表示真分数，E表示测验误差，那么经典测验理论的基本数学模型用公式表示：

5.15.1.1真分数理论评价经典测验理论建立了一个包含观测分数、真分数和测验误差三个变量的线性模型，第一次将数学公式引入测评领域，并且该模型计算简单，易于理解和接受，容易推广。经典测验理论也存在一些缺陷。第一，它给出的线性模型是粗糙的。第二，线性模型的假设可能存在问题。第三，经典测验理论对平行测验的假设受到很大质疑。5.15.1.2项目反应理论项目反应理论简介及其假设与模型项目反应理论是用来分析考试成绩或者问卷调查数据的数学模型，这些模型的目标是确定潜在特质是否可以通过测试题反映出来，以及测试题和被试之间的互动关系。项目反应理论提出了以下四个基本假设：（1）能力单维性假设。（2）局部独立性假设。（3）项目特征曲线假设。（4）非速度限制假设。5.15.1.2项目反应理论项目反应理论简介及其假设与模型5.15.1.2项目反应理论评价项目反应理论最大的优点是题目参数的不变性，即题目参数的估计独立于被试组。项目反应理论的缺陷：第一，项目参数估计的不变性在实践中是难以达到的。第二，项目反应理论的假设条件比较苛刻，必须有大样本进行配合，且要对假设条件进行验证。第三，在实际应用上，由于项目反应理论建立在比较深奥的数学理论基础之上，其接受度和推广度均受到一定限制。5.15.1.3概化理论概化理论简介及其假设概化理论建立在对误差的分解之上。它“结合测量的情境关系对真分数理论中的笼统误差进行探查和分解，辨明误差的不同来源，并且在一定范围内变动测量的情境，考察这种变动引起的误差的相对变化，从而达到对误差方差进行控制、提高测验信度的目的”。5.15.1.3概化理论评价——优势1第一，概化理论以随机平行测验为基础，使满足平行的条件更容易达到，实际上随机平行测验更符合测量实践的要求。2第二，通过方差分析等统计工具，能够对总体测验误差进行分解，使每个部分对应于特定的误差来源，从而更便于控制测验误差。3第三，概化理论中所涉及的信度概念，既能估计出主效应，也能估计出交互作用效应，还能对各估计值的大小进行直接比较。5.15.1.3概化理论评价——不足第一，概化理论将所测量的心理特征看作单维度的、稳定的。第二，在计量方法上，概化理论以方差分析为基本的分析工具，但在数据结构的复杂性方差分量估计中，有时会出现负值，这是一个很难解释的结果。第三，在测量应用上，由于随机抽样的易变性，概化理论适用于实测数据的事后分析，而难以作为事前预测的工具。目录CONTENTS01020304人才测评的三大基础理论统计学的基础知识项目分析信度0506效度对测评分数的解释5.25.2.1几个基本的统计指标平均数

5.25.2.1几个基本的统计指标标准差标准差是总体各单位标准值与其平均数离差平方的算术平均数的平方根，反映组内个体间的离散程度，用σ表示，计算公式为：

5.25.2.1几个基本的统计指标方差方差是各个数据与平均数之差的平方和的平均数，反映随机变量与其数学期望（即均值）之间的偏离程度。与标准差相同，方差度量个体间的离散程度，用σ2表示，计算公式为：

5.25.2.2利用Excel计算基本的统计指标5.25.2.3利用SPSS计算基本的统计指标目录CONTENTS01020304人才测评的三大基础理论统计学的基础知识项目分析信度0506效度对测评分数的解释5.35.3.1项目分析的含义项目分析就是以测验结果为依据，对组成测验的各个题目（项目）进行分析，评价题目的难易和好坏程度，进而对题目进行筛选和优化。通过项目分析，可以检验测评工具的质量，并有针对性地对各个项目进行筛选，必要时也可以进行补充，从而优化题目，最终达到提高测验信度和效度的目的。5.35.3.2项目分析的具体方法难度分析难度是指答对某个题目的人数占总人数的百分比。项目的难度分析是对所有题目难易程度的分析。根据前面的介绍，为了使项目具有最大的区分度，难度为0.50最理想。5.35.3.2项目分析的具体方法难度分析通过率估计法。

5.35.3.2项目分析的具体方法难度分析多项选择题的难度校正。CP=（KP-1）/（K-1）5.35.3.2项目分析的具体方法区分度分析效度分析。这里用到的效度主要是效标关联效度，即计算每个项目与效标的相关性，包括相关系数分析和鉴别指数分析。·相关系数。·鉴别指数。5.35.3.2项目分析的具体方法区分度分析每个项目和总分的相关分析。·点二列相关。·二列相关。·积差相关。·因素分析。5.35.3.3项目分析的步骤11选取有代表性的被试实施测验。22计算每个被试的总分，然后按总分分组。33计算高分组和低分组通过每一题的比例。44分别求出每一测试题目的难度和鉴别指数。55进行选项分析。66修改或删减测试题目或选项。目录CONTENTS01020304人才测评的三大基础理论统计学的基础知识项目分析信度0506效度对测评分数的解释5.45.4.1信度概述信度的产生信度这一概念产生于对误差的分解。误差是指测量值与真实值之间的差异。根据其产生的原因及性质，可以分为系统误差和随机误差。

5.45.4.1信度概述信度的定义信度是指测量结果的可靠性、一致性和稳定性。信度高低的量化指标称为信度系数。信度系数是指“测量的总变异中真分数造成的变异所占的比例”。用公式表示：

5.45.4.2信度的测量方法重测信度重测信度又称再测信度，是指“以同样的测评与选拔工具，按照同样的方法，对于相同的对象再次进行测评和选拔，所得先后结果间的一致性程度”。其计算公式：

5.45.4.2信度的测量方法复本信度复本信度又称等值性系数，是指“以两个等值但题目不同的测验（复本）来测量同一群体，然后求得的被试在两个测验上得分的相关系数”。5.45.4.2信度的测量方法同质性信度同质性信度是指测验内部的各个题目在多大程度上考察的是同一内容，表现为所有测验题目得分的一致性。为了保证测验只测量一种特质或内容，必须满足同质性条件。5.45.4.2信度的测量方法同质性信度库德-理查森公式。计算公式为：

5.45.4.2信度的测量方法同质性信度克伦巴赫α系数。计算公式为：

5.45.4.2信度的测量方法评分者信度评分者信度，是指“数名不同评分者采用同一套量表对相同被试进行评分，对所得结果进行一致性检验，以估计量表的评分客观性”。公式如下：

5.45.4.2信度的测量方法评分者信度5.45.4.3信度的影响因素样本特征如果样本团体同质性较高，则分数分布范围较小，所得的信度系数就很小；反之，如果团体异质性较高，则会得出很大的信度系数，造成假性高相关。除了受到团体异质程度的影响，信度系数也受样本团体平均水平的影响。5.45.4.3信度的影响因素测验的长度一般来说，测验越长，信度越高。这是因为：首先，随着测验的加长，可能改进项目取样的代表性，从而能更好地反映被试的真实水平；其次，测验的项目越多，每个项目的随机误差越可以互相抵消。

5.45.4.3信度的影响因素测验的难度测验的难度与信度没有直接对应关系。只有当测验难度水平可以使测验分数的分布范围最大时，测验的信度才会最高，通常这个难度水平为0.50。5.45.4.3信度的影响因素测验的难度各类选择题和判断题的理想平均难度为：·五个选项的选择题：0.70。·四个选项的选择题：0.74。·三个选项的选择题：0.77。·判断题：0.85。目录CONTENTS01020304人才测评的三大基础理论统计学的基础知识项目分析信度0506效度对测评分数的解释5.55.5.1效度概述效度的定义效度具有以下特征：第一，相对性。第二，连续性。第三，影响因素的复杂性。5.55.5.1效度概述信度与效度的关系首先，信度低，效度不可能高。其次，信度高，效度未必高。最后，效度高，信度必然高。5.55.5.2效度的分类及评估方法内容效度内容效度指的是测题取样的适用性，是确定测量内容是不是想要测量的行为领域的代表性取样指标。分析内容效度需要注意三个方面的问题。第一，应该明确内容的范围。第二，测题应是所确定内容范围的代表性取样。第三，要注意区分测验分数中无关因素的影响。5.55.5.2效度的分类及评估方法内容效度内容效度的评估方法有以下几种。·经验推断法。·专家判断法。·统计分析方法。5.55.5.2效度的分类及评估方法构念效度构念效度是指测验能够测量到理论的特质或者概念的程度。构念效度的检验步骤通常包括：·根据已有的文献、研究结果、实际经验等建立构念的假设性理论。·根据构念的假设性理论，进行测评工具的编制。·选取适当的样本施测。·以科学的统计方法来检验测评工具是否可以有效解释构念的理论。5.55.5.2效度的分类及评估方法效标关联效度效标关联效度又称为效标效度，是指测验分数与外在标准（效标）之间的相关程度，这个相关系数也就是效标效度系数。5.55.5.2效度的分类及评估方法效标关联效度

5.55.5.3效度的影响因素测验本身效度的高低与随机误差和系统误差有关，因此，凡是能造成测验结果误差的因素，都会影响效度，包括测验项目的质量、测验的长度等。5.55.5.3效度的影响因素样本团体1团体的外部性质，主要是指团体的类型，包括所从事的工作、背景等各方面的特点。2团体内部的异质性。3样本容量。5.55.5.3效度的影响因素实施过程客观环境。施测者。被试。5.55.5.3效度的影响因素效标1效标必须能最有效地反映测量目标，即效标测量本身必须有效。2效标必须具有较高的信度，稳定可靠，不随时间等因素而变化。3效标可以客观地测量，用数据或等级来表示。4效标测量的方法简单，省时省力，经济实用。目录CONTENTS01020304人才测评的三大基础理论统计学的基础知识项目分析信度0506效度对测评分数的解释5.65.6.1解释的基本含义通过实施测评和对测评结果的计分，我们可以获得测评的原始分数。所谓原始分数，是指通过将被试的反应与标准答案相比较而直接获得的分数，其本身并不具有多大的实用意义，只是一个客观描述而已。一般而言，目前存在两种对分数进行解释的思路：常模参照解释和效标参照解释。5.65.6.2基于常模的解释常模参照解释分数通常将被试的分数与某个参照团体的分数进行比较，并以该分数在这个团体中的相对等级或相对高低位置来描述被试的素质或特征。常模是一组具有代表性的被测样本的测评结果的分布结构，包括集中趋势（通常用平均数表明）和离散度（通常用标准差表示）。5.65.6.2基于常模的解释常模样本的选择常模样本的构成必须明确。常模样本必须是所测群体的代表性样本。样本大小要适当。注意常模的时效性。5.65.6.2基于常模的解释常模的类型百分位常模。百分位常模包括百分等级、四分位数和十分位数。标准分数常模。标准分数常模有好几种，每一种都基于特定的平均数和标准差转换原始分数。5.65.6.2基于常模的解释常模的表示方法转化表。剖析图。5.65.6.3基于效标的解释内容参照分数的解释内容参照分数的测量目的是确定被试对某项确定的材料内容或技能的掌握和熟悉程度。由于比较的对象不是其他人，而是所掌握内容的多