心理测量学--项目分析等

第五章心理测量学知识,2020/6/4,1,第一节概述第二节测验的常模第三节测验的信度第四节测验的效度第五节项目分析第六节测验编制的一般程序第七节心理测验的使用,第五节项目分析,2020/6/4,2,第一单元项目的难度第二单元项目的区分度,2020/6/4,3,项目分析包括：定量分析、定性分析定量分析包括：题目难度和区分度定性分析包括：考虑内容效度、题目编写的恰当性、有效性,第五节项目分析,第一单元项目的难度,2020/6/4,4,一、难度（difficulty）的定义难度是指，项目的难易程度。在能力测验中，需要一个反应难度水平的指标，在非能力测验中，类似的指标是“通俗性”。通俗性是指取自相同总体的样本中，能在答案方向上回答该题的人数。难度的指标通常以通过率表示，即以答对或通过该题的人数百分比来表示。,2020/6/4,5,P大小与难度高低成反比。所以，有人称其为“易度”。,第一单元项目的难度,2020/6/4,6,二、计算的方法（一）二分法记分的项目,心理测验的项目大多为选择题，通过计1分，未通过计0分。其难度的计算为：,当被试较多时，可根据测验总成绩将被试分组：分数最高的27为高分组，最低的27为低分组，中间46为中间组。分别计算高低组通过率，以两组平均值作为每一道题的通过率。,第一单元项目的难度,2020/6/4,7,由于选择题允许猜测，所以通过率可能因为猜测而变大。被选答案越少，猜测作用越大。越不能真正反映测验的难度。为了平衡猜测的影响，吉尔福特提出了一个校正公式。比较被选答案数目不同的测题难度时，可以用此公式。,第一单元项目的难度,2020/6/4,8,二、计算的方法（二）非二分记分的项目当测验项目为问答题或不能用二分法计分的形式时，难度如下计算：,第一单元项目的难度,全体被试在该题目上的平均分，除以该题的满分。,2020/6/4,9,三、难度水平的确定（一）项目难度水平的确定难度分析的目的是：筛选项目。项目的难度取决于测验的目的、性质以及项目的形式。标准测验希望能准确测量个体差异。某个题目，被试都答对或错，那么该题无法提供个别差异的信息，对测验的信度和效度没有作用，所以，P值越接近1或0，越无法区分个体差异，而P值越接近于0.50，区别力就越高。,第一单元项目的难度,2020/6/4,10,为了使测验更有区别力，应该选难度在0.5左右的试题。但是，如果一个测验，所有试题相关均为1.00。难度为0.50。有一种可能：50的被试答对所有题目，50被试答错所有题目。那这个难度0.50还有意义吗？所以，选择题目时，所有题目平均难度接近0.5，各测题难度0.50.2之间最好。,第一单元项目的难度,2020/6/4,11,当测验用于选拔或诊断时，应较多地选择难度值接近录取率的项目。例如，测验为了选秀，就应当有高难度，P值要小。如果录取率是20，测题难度就应该是0.2。对于选择题来说，P值一般应大于概率水平。P值等于概率，说明题目过难或题意不清，被试凭猜测做答。P值小于概率无意义，说明题目质量有问题。是非题，难度应该在0.75最合适，四选一，0.63最合适。,第一单元项目的难度,2020/6/4,12,（二）测验难度水平的确定测验的难度依赖于项目的难度。人的心理特性基本是呈常态分布的。我们使用的统计方法是以正态分布为前提。所以测验设计时，希望分数呈现常态分布。如果被试样本具有代表性，对于中等难度的测验，其测验总分应该接近常态分配。如果获得的分数不是常态，而是偏态分布的，说明题目偏难或偏易。,第一单元项目的难度,2020/6/4,13,如左图，属于正偏态分布。题目难了，必须增加足够数量的较容易的项目；而右图，属于负偏态分布，题目容易了，必须增加足够数量的有较高难度的项目。,第一单元项目的难度,2020/6/4,14,有些测验，如掌握性测验，或标准参照测验，分数分布出现偏态是允许的。其难度根据情况而定,第一单元项目的难度,第二单元项目区分度,2020/6/4,15,一、定义（itemdiscrimination）也叫鉴别力，是指测验项目对被试的心理特性的区分能力。水平高者通过，低者通不过，就有区分度。它是评价项目质量和筛选项目的主要指标，也是影响测验效度的重要原因。区分度低意味着项目不能区分被试的实际水平，这类项目达不到测验的目的，必定影响测验效度。区分度取值介于1至1之间。项目得分与实际能力之间的相关来表示。相关系数越大，区分度越高。负相关说明水平越高，该项目得分反而越低，有问题，淘汰。,第二单元项目区分度,2020/6/4,16,二、计算方法在理论上，项目区分度是以项目得分高低与实际能力水平高低之间的相关来表示。但是实际水平很难估计，只好用其他指标代替，常用的是测验总分。（一）鉴别指数计算方法：1、按测验总分高低排列答卷；2、确定高分组、低分组，27；3、分别计算高分组、低分组通过率；3、项目鉴别指数为：D=PH-PL,第二单元项目区分度,2020/6/4,17,用D=PH-PL作为项目鉴别指数，理由是，高分组得分率高于低分组，则D0，D越大，该项目区分两种不同水平的程度越高。如果D0，项目有问题。,1965年，伊贝尔（L.Ebel）提出用鉴别指数评价项目性能的评价标准：,2020/6/4,18,第二单元项目区分度,（二）相关法计算区分度最常用的方法是相关法以某一项目分数与效标成绩或测验总分的相关作为该项目区分度的指标。相关越高，区分力越大。点二列相关：适用于一类变量为二分称名变量，另一类变量为连续变量的成对变量的相关计算。,2020/6/4,19,第二单元项目区分度,不是考试内容,二列相关：适用于两个连续变量，但其中一个变量被人为分成两类。,2020/6/4,20,第二单元项目区分度,不是考试内容,相关法：适用于两个变量均为二分称名变量。若将测验总分按及格、不及格或录取、淘汰划分，便可计算相关系数。,2020/6/4,21,第二单元项目区分度,不是考试内容,2020/6/4,22,三、区分度与难度的关系区分度与难度关系密切。如某一项目通过人数比率为1.00或0，说明难度P1.00或0，也说明高分组和低分组在通过率上没有差异，区分度D0。即太难、太易的项目区分度都差。如果通过率为50，即难度为P0.50，则有可能高分组都通过，低分组通过0，那么区分度很大，鉴别指数为D1.00,第二单元项目区分度,D的最大值与项目难度的关系,2020/6/4,23,项目通过率D的最大值1.0000.900.200.800.400.700.600.600.800.501.000.400.800.300.600.200.400.100.2000,2020/6/4,24,从上表可以发现，为了增大项目区分度，似乎应该使每个项目难度处于0.50水平，是这样吗？如果每一个项目难度为0.50，项目内容一致性提高，同质性增大。极端情况下，50的人得满分，50的人得0分。总分的区分能力反而低。所以，中等难度的项目之间0相关，区分度才能最高。,第二单元项目区分度,2020/6/4,25,难度和区分度都是相对的。一般来说。较难的项目对高水平的被试区分度高；较易项目对低水平的被试区分度高；中等难度项目对中等水平的被试区分度高。总体上，特别难和特别易的项目少些，中等难度的项目多些，所有项目平均难度为0.50。即可以保证多数项目的区分度，也保证整个测验的区分能力。,第二单元项目区分度,记住了吗？,2020/6/4,26,1、难度是指项目的难易程度，用P代表，P值越大，难度越低吗？（yes）2、在200个学生中，答对某项目的人数为120人，该项目的难度是多少？0.63、P值越接近于0.50，区别力越高吗？Yes4、测验项目对被试的心理特性的区分能力，叫区分度，还叫什么？也叫鉴别力,2011-5真题,2020/6/4,27,第五章心理测量学知识,2020/6/4,28,第一节概述第二节测验的常模第三节测验的信度第四节测验的效度第五节项目分析第六节测验编制的一般程序第七节心理测验的使用,第六节测验编制的一般程序,2020/6/4,29,第一单元测验的目标分析第二单元测题的编写第三单元测验的编排和组织,第一单元测验的目标分析,2020/6/4,30,第一单元测验的目标分析,2020/6/4,31,一、测验的对象编制测验前，首先明确要测量的对象。.在我国，农村、城市在文化教育上差异较大，编制测验、制定常模一定要考虑文化因素。龚耀先修订韦氏量表时，将长期生活、工作或学习在县属集镇以上的人口，称之为城镇人口，用城市式；长期生活、工作或学习于农村的称农村人口，用农村式。,第一单元测验的目标分析,2020/6/4,32,二、测验的用途所编制的测验是对被试做描述，还是做诊断、选拔、预测，应该事先确定。一般来说，测验可以分为两类：显示性测验、预测性测验。,第一单元测验的目标分析,2020/6/4,33,（一）显示性测验，是指测验题目和所要测量的心理特征相似的测验。如成就测验。古德纳夫把显示性测验分为：样本测验、标记测验。题目取自一个很明确的总体的测验就是样本测验。测量学生混合运算能力，从四则混合运算题目总体中选一组题目作为样本的测量。题目取自一个全开放的总体的测验就是标记测验。智力测验。如果测验成绩高的被试，实际上也很聪明，那么这个智力测验就是智力很好的标记。,第一单元测验的目标分析,2020/6/4,34,（二）预测性测验：是指预测一些没被测量的行为的测验。对测验的兴趣，主要在于测验分数能在多大程度上预测行为。GRE中的词汇测验，不是对词汇感兴趣。而是用这个分数预测被试将来在大学的表现。注意：显示性测验和预测性测验，不是绝对的，有时是统一的。比如高考。题目来自教材，属于显示性测验的样本测验，考试分数可以预测大学的学习成绩，又是预测测验。,2020/6/4,35,三、测验的目标测验的目标是指，编制的测验是测什么的，即用来测量什么样的心理变量或行为特征。要明确测验的目标，还要对测验目标加以分析。将其转换成可操作的术语，这个过程叫目标分析过程。目标分析包括：工作分析、对特定概念下定义、确定测验具体内容。,第一单元测验的目标分析,2020/6/4,36,工作分析：对于选拔和预测用的预测性测验，要对所预测的行为活动作具体分析。包括：（1）确定哪些心理特征和行为可以使要预测的活动达到成功，进而确定题目；（2）建立衡量被试是否成功的标准，即效标。对特定概念下定义：对所测的东西进行界定。比如，创造力的定义：有人定义为：发散思维的能力。据此创造力应该从反应的流畅性、灵活性、独创性、详尽性来测量。确定测验的具体内容：,第一单元测验的目标分析,再看看，你会不会？,2020/6/4,37,1、什么是显示性测验？是指测验题目和所要测量的心理特征相似的测验。2、什么预测性测验？是指预测一些没被测量的行为的测验。3、什么是测验目标？编制的测验是测什么的，即用来测量什么样的心理变量或行为特征4、目标分析包括几部分？工作分析、对特定概念下定义、确定测验具体内容、,第二单元测题的编写,2020/6/4,38,第二单元测题的编写,2020/6/4,39,一、搜集资料题目来源可以分为：（一）已出版的标准测验（二）理论和专家的经验（三）临床观察和记录,2020/6/4,40,二、命题的一般原则（一）内容方面：要求题目符合测验的目的，避免贪多；内容取样要有代表性；题目间内容相对独立。（二）文字方面：语言准确，简明扼要，一句话一个概念，意义明确。（三）理解方面：题目要有确切答案，内容可理解，题目格式不要引起误解。（四）社会敏感性方面：不要涉及性、自杀等敏感性问题。如果一定要涉及，鼓励被试真实作答的方法有：见书376。,第二单元测题的编写,2020/6/4,41,三、测题的编制要领心理测验题目分类标准很多，常见的是根据对被试的要求分为：提供型、选择型。提供型题目，要求被试给出正确答案。选择型题目要求被试在有限的几个答案中选择正确的答案。分别来看一下编排要领：,第二单元测题的编写,2020/6/4,42,（一）选择题选择题由两部分构成：题干和选项。题干就是呈现一个问题的情境，选项就是问题的多种可能答案。常常包括一个正确的答案，和一些错误的答案，也叫“诱答”。对选择题我们既要编好题干，也要编好选项。注意题干所提问题必须明确，使用简单而明确的词语；选项简明扼要；每题只给一个正确答案，其他属诱答；各选项长度相等；避免题干用词与选项用词一致；选项最好用同一形式。,第二单元测题的编写,2020/6/4,43,（二）是非题是非题又叫正误题，是指出一个论点要被试判断是否正确，或是从“是、非”两个答案作出选择。编制时，应该注意内容应以有意义的概念、事实或基本原则为基础；每道题只能包含一个概念；尽量避免否定的叙述；若是表达意见的题目，最好说明意见的来源和根据；“是”“非”题的数目应有适当比利，基本相等，随即排列,第二单元测题的编写,2020/6/4,44,（三）简答题在客观测验试题中，只有简答题是提供型题目，它要求被试用一个正确的词或句子来完成或填充一个未完成句子的空白，或是提供一个正确的答案。编制原则宜用问句形式；如果是填充形式，空格不宜太多；每题应只有一个正确答案。,第二单元测题的编写,2020/6/4,45,（四）操作题是介于一般认知结果的纸笔测验和在未来真实情境的实际活动之间的测验，是让被试实际操作，如画图、走迷津等。编制原则明确所要测量的目标，并将其操作化；尽量选择真实性程度较高的项目；指导语要简明扼要；制定评分标准，确定计分方法。,第二单元测题的编写,第三单元测验的编排和组织,2020/6/4,46,第三单元测验的编排和组织,2020/6/4,47,一、合成测验（一）选择和审定试题1.选择试题形式：在大多数情况下，任何题目都可以有很多种形式，关键是如何选择“最优的”形式。选择测题形式应该注意：3792.审定题目：编制者或有关专家要对题目反复审查修订；改正意义不明确的词语，取消一些重复和不适用的题目。要注意：379,第三单元测验的编排和组织,2020/6/4,48,（二）测题的编排测验题目选出以后，必须根据测验的目的和性质，考虑被试作答时的心理反应方式，加以合理安排。编排的原则：1.测题的难度排列逐步上升2.尽可能将同类型的测题组合在一起3.注意根据各种类型测题本身的特点排列题目排列方式1、并列直进式：2、混合螺旋式：,2020/6/4,49,二、预测与项目分析初步筛选出的项目，要通过预测进行项目分析。（一）预测目的：获得被试对题目如何反应的资料。注意的问题：预测对象问题；预测的实施过程与情境问题；预测的时限可稍宽；对被试的反应做记录。,第三单元测验的编排和组织,2020/6/4,50,二、预测与项目分析（二）项目分析：质的分析、量的分析,第三单元测验的编排和组织,2020/6/4,51,三、信度效度考察（一）信度信度是衡量测验质量的最基本指标。获得较高的信度，是使测验有效的必要条件。（二）效度测验的效度高低，反应测验所测的东西是不是所要侧的。,第三单元测验的编排和组织,2020/6/4,52,四、常模制订五、编写指导手册,第三单元测验的编排和组织,2011-5真题,2020/6/4,53,2014-5月,2020/6/4,54,第七节心理测验的使用,2020/6/4,55,第一单元主试的资格第二单元测验的选择第三单元测验前的准备及注意事项第四单元测验实施的程序及要素第五单元被试误差及控制方法第六单元测验的评分第七单元测验结果的报告,第一单元主试资格,2020/6/4,56,主试资格包含：技术、道德。技术方面，要求主试必须具备一定的知识结构、心理测验专业理论知识和相应的专业技能；道德方面，则要求主试恪守测验工作者的职业道德。,2020/6/4,57,一、知识结构主试者的知识结构，是指开展心理测验工作所必须具备的基础知识和与专业相关的知识。基础知识，主要包括：普心、儿心、社心等以及扎实的心理统计学的基础知识；与专业相关的知识，包括：人格P、能力P、变态p等，以及本行业的专业知识。,第一单元主试资格,2020/6/4,58,二、专业理论知识和专业技能（一）专业理论知识主试资格考察的最基本条件，是知晓心理测验专业理论知识。包括：了解心理测验的性质和特点、作用和局限性，基本特征（信度、效度、难度、区分度）等（二）专业技能主试者必须具有实际操作心理测验的专业技能和经验，接受严格的、系统的心理测验专业训练。,第一单元主试资格,2020/6/4,59,三、职业道德（一）测验的保密和控制使用保密是为了保证测验的价值。泄漏内容，测验将失效。控制使用是指并非所有的人都可以接触和使用测验。（二）测验中个人隐私的保护,第一单元主试资格,第二单元测验的选择,2020/6/4,60,一、所选测验必须适合测量的目的二、所选测验必须符合心理测量学的要求,第三单元测验前的准备及注意事项,