第十一章 人员素质测评质量分析.ppt

第11章素质评价的品质分析，1，目录，有效性信赖度项目分析其他分析方法，2，第1节有效性评价的有效性是评价的有效性，也就是能评价到评价目标的程度。 有效性是评价好坏，选择评价的重要标准之一。 有效性的作用比可靠性的作用更重要。 强调评价目标、工具、评价对象的统一。 一、人的评价有效性的理论定义：与评价目标相关的真正得分的方差和总分的方差的比例。 公式：但是有效的方差是评价有效性的有效方差，即总分的方差。 3、有效性的性质实际上有效性是指“评价结果的有效性”，是指评价结果的正确性，而不是指评价本身。 也反映了评价结果在评价目标中反映到什么程度。 二、如何评价人的评价的有效性(一)内容有效性1，内容有效性是指将内容样本是否反映了评价的目标应用于评价对象。 4，2 .内容有效性的评价方法的评价内容的范围明确的评价内容的抽样是有代表性的。 采用以下步骤：1)决定整体范围；2 )制定双方内译表；3 )制定评价尺度。 也可以采用经验方法、统计分析方法。 3、内容有效性应用内容的有效性最适合教育和职业成果的评价。 也适合用于个人选拔和分类的评价。 (5，(2)效果标关联有效度效果标关联有效度也被称为效果标有效度，评价点数和外在基准(效果标)的关联度，即评价点数反映了预测个体的效果标行动表现的有效性的程度。 效果指标是考察评价效用的外部参照标准。 效果指标相关的有效性常用于预测性评价。 1 .预测有效性和同时有效性的有效性数据大多是在评价结束后的一段时间内获得的，反映了被实验者行动表示的预测程度。 同时有效性的指标材料几乎可以与评价分数同时收集。 6、同时有效性往往会诊断当前状态，预测有效性并预测未来的结果。 /1)“谁成功了吗？ ”2 )“谁会成功？ 2 .效果指标和效果指标的评价效果指标是衡量评价有效性的参考标准。 把效果指标变成某种可操作的评价指标叫做效果指标评价。 效力标可细分为观念效力标(即，效力标的实质概念内容)和效力标的评价(即，效力标的具体测定方法)。 例如，筛选销售者的观念指标是“销售业务的成功”，有效指标的评价是“年销售量”。 7，3 .常用的效果标(1)学术成果(2)特殊训练成绩(3)实际工作表现(4)团体对照(5)等级评定(6)以前有效评价的构想的有效性，是能评价理论上的构想和特性的程度。 构想通常指抽象、假说的概念和特质，包括智力、创造性、语言的流利性、焦虑等。 8、1 .确定构想有效性的步骤是，基于建立理论框架以说明评估表达的理论框架，以推进关于评估成绩的各种假设的逻辑和实证方法验证假设，并基于累积材料确定该理论是否能恰当地解释现有材料比如创造性评价构想的有效性。 根据评价分数和创造性的心理学理论，对观察被实验者行动的判断进行相关分析。 9、2 .确定常见构想有效性的指标(1)发展变化(2)与其他评价的关系(3)因子分析是分析行为资料内部关系、结构特性的统计技术。 (4)内部一致性评价的所有主题被验证为具有高内部一致性的情况下，表示那些都是关于同一内容的，是同一构想。 考察内部一贯性的方法主要有3种：1)总分高和低的2种人，分别以10，主题考察合格率的大小，合格率低时，应淘汰或修正。 2 )计算主题和总分的相关，未达到显着水平的，应淘汰。 3 )求出得分评价和总分的相关。各评价与总分有显着相关，否则应删除。 (5)收敛力和区分力的收敛力：评价相同的特性和构想等理论上相关变量评价高相关性的有效性：评价不同的特性和构想等理论上无关的变量评价低相关性。 例如，数学推论能力的评价和数学课成绩的关联是收敛力这个评价和阅读能力评价的关联显着低的是区分有效性。 11、3、影响有效性的因素评价本身带来的影响因素1 .评价主题的质量2 .实施评价时的干扰因素3 .被实验者的影响因素4 .评价长度的样本组的性质如果有效目标的性质与其他条件相同，则评价的行为和心理特性越与有效目标行为和特性越相似，越有效第二节信赖度一、信赖度的定义信赖度主要指评价结果的信赖度和一致性。 由评价工具不正确引起的误差称为系统误差。 操作是否正确引起的误差称为随机误差。 信赖度考虑两个问题。 一是稳定性：不同的时间、不同的评价条件下得到的分数之间的一致度有多少？一个人的收入分数和“真正的分数”之间的接近程度有多实用等。 二是影响稳定性的原因：什么因素引起了这种差异，这些影响的相对作用有多少？ 13、二、可靠度的作用可靠度的高低的指标通常用相关系数表示，被称为可靠度系数。 置信系数通常是由同一样本获得的两组资料之间的相关性，理论上表示为实得分和实得分之间的相关性的平方。 可靠度系数式：其中：真分数的标准偏差与真分数的标准偏差的比率。 其中，rxr也称为可靠度指数，是真得分标准偏差与真得分标准偏差的比率。 也可以通过分析14、和个人得分再测定时的变化(误差)来考察可靠性。 2次评价分数的差异越大，信赖度越低。 在个人评价中，确定置信度系数通常有两个作用：各被试得分及其算术平均差的平方和和总个数的商。 公式：标准偏差公式：15、1 .解释真实得分和实际得分相关性的总和的方差(即标准偏差的平方的缩写)中，真实得分的方差所决定的百分比。 2 .评估的信任系数(如人格、兴趣等)通常在0.80-0.85之间，以解释可接受的信任水平的一般能力和业绩评估的信任系数大于或等于0.90。 如果rxx0.70，则可以在团体之间进行比较，如果rxx0.85，则可以用于标识个人的情况。 三、如何评估人的评估可信度1 .重新测量置信度也称为稳定性系数，在不同时间对同一组进行测量是通过分析x而获得的评估结果y，其中、n是两次评估结果数据对的总数。 在进行再测定可靠度的评价时，还必须注意2个重要问题：1)再测定可靠度一般会反映随机因素的变化，而不反映被测试者的行动的长期变化。 2 )根据行为不同，随机误差的影响也不同。 两次，这两次评价分数的相关系数是重测定系数。 一个评价的再测定可靠性越高，表示评价的结果越一致，越可靠。 积差相关式：17、2 .复制可靠性也称为等值性系数。 这是用两个评价复印件(功能等价但主题内容不同)对同一组进行评价，求出被实验者在这两个评价中得分的相关系数(积差相关)。 复印的可信度的高低反映了这两个评价复印内容上的等价性的程度。 两个等价的评价是互相复制的。 3 .内部一致信赖度内部一致信赖度主要评价内部主题间的关系，考察评价的各主题是否评价了相同的内容和特质。 1 )半可靠度半可靠度系数是通过将评价分成两部分，计算这两个评价间的相关而获得的可靠度系数。 18、半法必须经常低估和修改可信度。斯皮尔曼一布朗公式可以估计成长或缩短的评价对可靠度系数的影响，使用该公式修正的前提条件是两个评价的方差相等。 半法中斯皮尔曼一布朗的修正公式如下。 其中，rhh是评价为一半的相关系数，rxx是估计或修正后的可靠度。 两种评价的方差不同的话，必须用鲁伦式或弗拉纳根式进行修正。 19、和卢伦公式只需将测试的两个评分之差的方差(Sd2)和评分之差的方差(Sx2)代入下式，就能直接计算半可靠度。 其中，Sd2是两个评价得分之差的方差，Sx2是评价总分的方差。 也可以用弗拉纳根公式直接计算半置信度：Sa2和Sb2是两个评分的方差，Sx2是总分方差。 (20、2 )同质性、可靠性、同质性是指所有评价主题的评价都是单一的特质或内容，表现为所有评价主题的得分的一致性。 乐观情绪和外向特质、预测和决策、监督和控制等是不容易区分的。 如果需要用一个评价来评价不同的内容的话，就必须把评价作为几个评价点来设计，在各个评价点上对内容进行评价。 例如，16PF的人格评价是包含16个成分表的评价，各成分表只评价一个人格特性。 一般的同质性可靠度的计算方法是库尔德理查森的估计方法。 计算式中有库尔德-理查森20号式(KR20 )和21号式(KR21 )。 21、接下来是KR20式：其中n是评价主题数，合格主题的人数比例qi是没有通过该问题的人数的比例=1； 所有问题的正确数和错误数的比例之和。、四、评分者的信赖度，在某些评价中，评分者的评价也是误差的原因之一。 评价者信赖度是指不同评价者评价同一对象时的一致度。 最简单的估计方法是随机提取几个答案，由两个独立的评分者评分，并为每个答案求出两个评分的相关系数。 这种相关系数的计算可以采用积差相关法。 评分者在三人以上，且采用等级评分的情况下，需要使用肯德尔调和系数求出评分者的信赖度。 其中k是评分者的人数，n是评定的人数或回答数，Ri是评价谁(或答案)的和。 按每个对象进行评价。 例如，四名评分者评分了六个回答，评价的等级如下：25，5，影响信用度的因素1 .样本组的性质1 )样本组的分数分布分数分布越宽，信用度系数越高，分数分布越窄，信用度系数越低。 (26、2 )样本组的异质性越大，可靠性系数相对越高。 但是，在评价中，小组过于同质或异质，信赖度经常被低估或高估。 在这种情况下，能够根据以下公式校正所获得的可靠度。 但是，是作为估计可靠性的采样的可靠性。SX是采样组的标准偏差。估计团体的标准偏差。、27、3 )不同团体之间的能力水平的差异2 .评价的长度信赖度也受评价的长度(即主题的数量)的影响。 一般来说，评价越长，可靠性的值就越高。 3 .评价难易度评价的难易度也影响了信赖度。 评价难易度过低的话，就会出现天花板效果。难易度过高的话，就会出现楼层效果。在第28、第三节的项目分析中，项目的适合度是素质评价，项目不仅是问题，还有一些咨询问题和观察评价分(指标)，没有难易度。 适合度是指被实验者的行为满足项目的评价标准的程度。 项目是问题的情况下，适合度是难易度的项目是问卷中的问题的情况下，适合度是所有对的被试验者数和总人数的比，项目是观测测定尺度中的指标的情况下，适合度是所有测定的得分的平均值和指标的满分值的比。29、项目的区分度也称为鉴赏力，项目的得分是指被试验者的实力和心理特质水平的区分能力和鉴赏力，即项目得分的高低与被试验者的实力和心理特质水平的高低的一致度。 项目划分度的计算方法主要包括相关分析法(包括积差相关法、二列相关法和点二列相关法)、极端分组法(鉴别度指数、临界比)和因子分析法、30、独立性为非相关性或低相关性。 独立性的分析一般采用项目间得分的相关系数，根据实际得分分布是否均匀，可以分别使用r系数法和列连接表检验法。 31、第四节其他指标的分析，客观评价的客观性从评价方法的客观性和评价者的客观性两方面来看，整体分布和水平整体分布表示评价结果在各水平的分布情况，整体水平一般指评价结果集中量的分析。 32、区分性和差异性评价工具的区分性不同水平的被试验者区分的程度，评价区分性一般通过评价结果的差异性的分析公布。 误差是通过对评价结果的定性和定量分析来判断评价结果是否受心理效果的严重影响。 分析的主要内容是心理误差、标准误差和单一评价结果的置信区间。 33 .误差心理误差晕效应误差晕效应，也称为晕效应，评价者经常通过对整个被评价者的印象的好坏来影响他的素质评价。 例如，看到容貌端正、认真的人，容易产生那个人责任感强的看法。 由晕效应引起的误差称为晕效应误差。 晕效应也是所谓的好百好，丑陋，对某个重要因素的印象好坏影响整体评价。 这是普遍的影响，前者是演绎的影响。 34、跑中心理误差跑中心理误差是指，不希望评价者的评价太好，而且把评价集中在中间而产生的误差。 这样的误差，给有差异的被测定者赋予相同或接近的分数，缺乏区别性。 这种误差的状况可以通过测定结果的分布和差异量的分析来明确。 35、和宽心理误差宽心理误差是指评价者如果不坚持评价标准的要求，则被评价为高和低而产生的误差。 这个误差都很高兴，高分很低。 另一个负宽大的心理误差，过于严格，偏离实际高标准来评价人的素质，评价结果普遍较低。 所谓逻辑误差逻辑误差，不是按评价者实际要求的资质独立地进行评价，而是根据其是否相关的特征进行逻辑的推定。 36、和对比度效果误差对比度效果误差是指在评估过程中测量出的标准之间由于明显对比度而产生的误差。 该误差也称为衬里效果误差。 如鹤立鸡群、绿叶群中稍红。 近距离效果误差所谓近距离效果误差，无论评价者实际上是否有差异，经常对时间、内容、形状等特征相似或相似的两个对象给予相同的评价。 例如，某个素质低的人介于两个素质好的人之间的话，其评分容易提高。 相反，如果素质高的人介于两个素质好的人之间，他的分数就有可能降低。概念和思考问题：的再测定信赖度、复制信赖度、内部一致度、信赖度、半信赖度、同质性信赖度、评价者信赖度、内容