心理测量学心理测验的编制

第二章心理测验的编制,第一节编制测验的一般程序第二节测题的编制技术第三节测验的项目分析,第一节编制测验的一般程序,一、确定测验目的二、拟定编制计划三、设计测验项目四、预测与项目分析五、合成测验六、测验的标准化七、收集信度、效度资料八、编写测验手册,确定测验目的,明确测量对象,明确测量目标,明确测验用途,解决测量什么人的问题：年龄、职业、性别等。,描述？预测？诊断？,解决测量什么心理特质的问题。（要对特定概念下定义）,拟定编制计划,确定测验所包含的内容和各种技能,以及每一种内容或技能在测验中的地位.,一是明确了应该编哪方面的测验项目以及多少测验题目，结束后可比照核对测验项目是否反映了所要测量的领域；二是记分时可按计划中百分比确定每类测验项目的分数标准。,工作内容,用途,中学生物细目表,小学自然常识命题细目表,设计测验项目,搜集有关资料,选择项目形式,编写和修订项目,资料丰富且具有普遍性:直接选用国内外优秀的相关测题;修改前人测验中的有关测题;根据临床经验自己编写,使受测者明了测验方法；在完成测验时不会弄错；测验的过程省时；计分省时省力，经济。,测验项目的取样要具有代表性；项目的范围与测验计划相一致；项目数量要比最后所需的数量多出2-3倍；项目的难度必须符合测验的目的需要；测验的说明简明清楚。,预测与项目分析,预测,项目分析,预测时应注意的问题：1对象取自正式测验准备应用的群体；按正规测验的要求进行；时间充裕；随时记录被试的反应。,项目分析就是对测验结果进行统计分析，确定项目的难度和区分度及备选答案的适宜性。,合成测验,选择测验项目,测验项目的编排,主要考虑：一是区分度。一般而言区分度越高越好；二是难度。没有绝对的标准。三是符合测验计划要求（目标、性质等）。,一般原则是先易后难。常见形式有两种：并列直进式混合螺旋式,编制复本,复本需要符合下列条件：各份测验测量的是同一种心理特质；各份测验包括相同的内容范围，但题目不应有重复；各份测验题型相同，题目数量相等，并且有大体相同的难度分布。,如何编制复本？,测验的标准化,测验的标准化是指测验的编制、施测、评分及解释测验分数的程度的一致性。,？标准化的测验才可以用等距量表来统计分数,使进一步的统计成为可能；常态化标准分数可参照常态曲线直接转换成百分等级，因而容易解释；允许将几个测验或量表上的分数做直接的比较。,测验的标准化过程包括测验编制的标准化和测验使用的标准化。测验编制的标准化是测验标准化的前提。,测验使用的标准化可分为施测过程的标准化、评分计分的标准化、分数解释标准化三个环节：1施测过程：指导语、施测情境、时限等的标准化。2评分计分：符合客观、准确、经济、实用四项原则。3分数解释：常模参照和标准参照。,考研题,收集信度、效度资料,信度,效度,请听下章分解！,编写测验手册,具体包括：1本测验的目的和功用。2测验的理论背景以及选择项目的根据。3测验的实施方法、时限及注意事项。4测验的标准答案及记分方法。5常模表或其他有助于分数转换与解释的资料。6测验的信度、效度资料，包括信度系数、效度系数以及这些数据是在什么情况下得到的。,休息一下！,回想一下！,一、命题的一般原则1测题要符合测验目的；2内容取样要有代表性；3题目格式不要让被试产生误解；4文句要简明扼要，排除无关因素；5应有不致引起争论的确定答案（创造力和人格测验除外）；6各个试题必须彼此独立，不可相互牵连；7题目不可含有暗示本题或其它答案的线索；8题目内容不要超过受测团体的知识能力；9所提出问题应避免涉及社会禁忌和个人隐私；10施测与评分省时.,第二节测题的编制技术,考研题,二、测题的种类及编制要求一般来说主要有两种类型：选择型和供应型。选择型常用的形式有判断题、选择题、句子匹配，尤其是前两者最为常用，由于这三种的主观性较小，因此常称为客观项目。供应型常用的形式有简答法，论述法等。,（一）是非题它通常是给被试一个句子要被试作出正误的判断。如：三角形的内角和是360度。（）再如：长江是我国第一大河流。（）1优点：编制容易，可适用于各种教材；记分客观，取样广泛。2局限性：仅能测量知识层次中最基本的结果，而无法测量高层次的学习结果；受猜测因素的影响较大。,3编写原则1）考核的内容应是重要的知识，应有考核价值；2）题目应多是测量理解能力；3）一个题目中只能有一个中心内容，或是一个重要概念，避免两个以上的概念在同一题中出现；4）试题应做到是非界限分明，用词准确，不能引起争议；5）题目陈述应简单明了，尽量用正面叙述，避免用否定和双重否定的语句；6）正句和误句的排列要随机化，且数量应大致相等;7）避免使用能引起歧义的词，如：“总是”“都”“没有一个”“决不”；8）避免使用未经过界定的词，如：“只有”“许多”“一些”“很少”等等。,练习:完成下列是非题,（）铁路将所有的大城市连接起来。（）任何角都可能被二分。（）不可能用少于3分30秒的时间跑完一英里路。（）有些战争本可以阻止。（）人口普查每十年一次。（）在是非题里使用双重否定并不是不可取的。,你觉得这些题目如何？为什么？,（二）选择题选择题是由一个“题干”和“几个选项”组成的。例如：使用选择题试卷进行测量，最大的困难是什么？A试卷的编制；B试卷的印刷；C试卷的评阅；1优点1）可以用来测量学生不同层次的学习结果。2）评分标准统一、客观。3）可以加大试题容量，抽取广泛有效的代表性样本。4）有利于考查被试思维的敏捷性和准确的判断力。5）采用大量的似真选择项使得结果易于诊断，通过对学生错误选项的选择反应这个线索，教师便于发现、分析学生在学习中存在的问题，以便及时纠正。,2局限性1）编制良好的选择题较花时间，且要有专门的命题技巧。2）难以考核被试完全的推理能力，综合运用所学知识的能力、有效的总结能力、严密的表达能力和写作能力，对于被试的发散思维能力则更是如此。3）无法测量被试的思维过程。4）被试能仅凭猜测而选中正确答案。,3编写原则1）题干和意义完整并能表达一个确定的问题。2）题干和陈述要简明，避免出现不切题的内容。3）题干后面的选项不易过多，一般以四到五个选项为宜。4）在四到五个答案中错的选项不要过于明显，要和题干有相应的逻辑联系和似真性。5）选项的文字表达力求简短精炼。6）应尽量避免“以上皆是”“以上皆非”的选项。7）对的答案和错的答案要随机排列，使被试无法猜测，减少系统误差。,考研题,练习：完成下列选择题（单选）,（）编制了世界上第一个标准化的心理测验。A孔子；B冯特；C麦柯尔；D比奈（）测验标准化的内容不包括：A测验编制；B测验的施测；C测验的评分；D测试的对象（）是测验编制的第一步。A明确测量对象；B拟定编制计划；C选择测验项目；D确定测验目的你觉得这些题目如何？为什么？,（三）匹配题匹配题是一种变形的选择题。适用于测量概念与事实之间的关系。这种测题在结构上包括两部分：一为问句选项，另一组为反应项目。例如：问句项目反应项目（）曹雪芹1、三国演义（）蒲松龄2、红楼梦（）罗贯中3、西游记（）吴承恩4、聊斋志异5、水浒,1优点1）具有选择法的优点。2）可用于测量对多个事物与知识的理解能力和对其相互关系的判断力。3）它的突出特点是在较短的时间内测量大量相关联的事实材料。2缺点1）仅能测量低层次和教学目标，且易提供额外的线索；2）较难找到一些符合教育目标和学习结果的同质材料。,3编写原则：1）问句和反应项目在内容上要同质;2）指导语中要讲清配合的依据;3）配对项目不能太多,最多不超过10项;4）同一组题目要印在同一页上.,（四）简答题简答法是一种供应型的格式，它要求被试用一个正确的短语或句子或较为简短的一段文字来完成测题。就记忆的测量角度而言，简答法属于“回忆法”.简答法的难度要高于前面讲述过的三种的难度。两种主要方式：一是用直接疑问句，一是用不完全陈述句，由被试在题目的空白处填写答案，后一种我们通常称为填空题。,1优点1）简答题的编写相对比较简单、灵活，不易受猜测的影响；2）简答题可以测量有关术语的知识、特定事实的知识、原则的知识、方法和程序的知识等各种层次的知识目标，也可以测量解决问题的能力，解决数字计算、使用数字符号的技能，解方程或平衡化学方程式等的能力；3）简答题在各类题型中是最易于编制的一种，不用考虑选项之间的同质性等问题。2缺点不能测量复杂的知识和能力，评分也不够客观且费时。,3、编写原则1）只能有一个答案；2）不适宜测量零散琐碎的知识；3）测量有重要意义的词类；4）题中不应有正确答案的线索；5）如果答案是数字,最好跟上单位；6）测题不能直接来自课本或参考书；7）测题中的空格不宜过多.,（五）论述题论述题是就一个问题阐明作者的观点、思想、意见的题目。1优点：适合于测组织、综合和文字表达能力；编写容易，不允许猜测。2缺点：题目少，取样的代表性差；评分困难，且易受评分者主观因素的影响。3编写原则1）要让被试知道答题的范围和方向；2）最好要求被试在新的情境下应用新的知识去解决新问题；3）题目不要过大或过小，数量要适当多些，内容要适当具体些；4）在测试前，对每一个题目应先编制些理想的答案，并对部分正确回答如何计分做出尽可能的具体规定；5）一般不要有任选题，因为两个论文题很难做到等值。,（六）操作题操作题是让被试进行实际操作的题目。如走迷津，拼图形等。编写时要使被试明确知道要他干什么和在什么条件下干，如何使用什么工具，以及时间限制等。（七）联想题联想题是让被试把与某个事物有关的事物写出来。例如：说出所有圆形的东西，宜考查发散思维。除了以上几种介绍的格式外，还有图解法、划消法、类推法等。,就到这里！,你会了吗？,请编一道匹配题,各编三道选择、是非题！（结合第一章）,第三节测验的项目分析,项目分析：指对测验或量表的项目定量和定性的分析研究。定量分析包括：（1）题目的难度分析。难度指标是测验取舍题目与编排题目顺序的依据。客观题以通过率为指标。通过率越高，项目难度越小，通过率越低，项目难度越大；非客观题以被试在某一项目的平均分与该项目的满分之比为难度指标。（2）题目的区分度分析。指一个项目是否能把某一团体的不同水平的人区分开。一般用题目得分与外在效标的相关系数，或与测验总分的相关系数为指标及求高低分组通过率之差等方法获得。定性分析即从题目的思想性、内容取样的适切性以及表达是否清楚等方面加以评鉴。(依据经验),考研题,一、项目的难度（一）项目难度的计算（以通过率表示）1、公式（1）二值计分P=R/N（R为答对该题的人数，N为总人数）（2）非二值计分（为全体被试该题目的平均分，X为答对该题应得分数）,P值越大，难度越小。,（3）极端分组法：以高低分组（27%）平均通过率表示的难度。P=（=高分组的通过率；=低分组的通过率）例1：200人参加某项测验，在一填空题上高分组48人通过，低分组23人通过。试问该题的难度值是多少？P=0.66例2：在一次测试中，高分组与低分组各有27人。其中高分组答对第一题的有20人，低分组答对第一题的有10人。试问该题的难度是多少？P=0.56,（4）校正公式：在选择题中，由于允许猜测。可用纠正公式：CP=（CP=校正后的通过率；其中K为备选答案数；P=实得通过率。）例3：某题有5个选项，该题通过的人数为0.75，试问校正后的通过率是多少？（P=0.69）例4：A项目三选一，P=0.50；B项目五择一,P=0.45;请问哪一道题更难些?（CPA=0.25;CPB=0.31),2、难度水平的确定效标参照测验、掌握测验：不考虑难度；对于选择题来说，难度一般应大于猜测概率；选拔测验：难度=录取率；无论速度测验还是难度测验，一般都应防止得满分，因为满分的意义是不明确的。大体而言，难度为0.50时最理想，此时项目具有最大的鉴别力。但在实际操作中，让所有项目难度都到达0.50困难很大，而且也不必要，一般只需使项目的平均难度接近0.50，而各个项目的难度在0.500.20之间变化。,（二）测验的难度测验的难度依赖于题目的难度。测验难度影响测验分数的分布形态。,如何调整？,难度低，负偏态。,难度高，正偏态,二、区分度（discrimination）（一）区分度的内涵：区分度（又称鉴别力）是指测验项目对被试的心理特征的区分能力。它有两层意思：一是题目是不是测出了它要测验的那个心理特质；二是题目是否把被试团体作了有效的区分。区分度（D）的取值范围介于-1.00+1.00之间。当D为正值时，称作积极区分；当D为负值时，称作消极区分；如果D为0，则称作无区分作用。具有积极区分作用的项目D值越大，区分的效果越好。,考研题,（二）区分度的计算方法1鉴别指数法鉴别指数是项目分析中区分度的一个指标，即确定测验项目区分个体所测能力高低的程度指标。项目分析的一个最简单的估计方法是比较两个极端效标组，即将所有被试在某个测验上的分数从高到低依序排列，划分出人数相等的高分组和低分组（一般取样本中处于两端27%的个案）；分别求出此两组在每一题目上的通过率；再求出高分组与低分组通过率之差。可用下面公式表示。D=其范围在-1.00+1.00之间。1.00表示鉴别指数最高，1.00表示鉴别指数最低。鉴别指数越高，题目的鉴别性能即区分能力越好。,美国测验学家：伊贝尔（L.Ebel）提出鉴别指数的评价标准：,例1：100人参加某项测验，对其中四道题做对的人数分布如表所求，试问这些试题的区分度分别是多少？,2方差法方差表示一组数据离散程度。方差大，数据分散。被试在题上的得分越分散，则该试题鉴别力越大。当n30时，属统计上的小样本，改用,3相关法即以项目分数与效标分数或测验总分的相关作为项目区分度的指标。相关越高，项目区分度越高。1）点二列相关系数（客观题）条件：项目是二值（0、1）计分，总分是连续变量，则计算项目与总分相关。：点二列相关系数；：答对该题的被试在总分上的平均得分；P：该题难度；q：1-p；：全体被试的总分标准差：答错该题的被试在总分上的平均得分；,2）二列相关（主观题）条件：适用于连续的测量变量.但其中一个变量因为某种原因人为分成两类.=3)相关(两个二分变量)4)积差相关(论述题),例1：下表有20个学生语文测验总分以及在作文题和一个选择题上的得分情况，假设作文37分（包括37分）算通过，试计算作文题的区分度。,三、项目区分度与难度的关系,难度是区分度的必要条件。一般来说，难度越接近0.50,项目的区分度越大,难度越接近1.00或0时,项目的区分度越小。难度和区分度都是相对的，绝对的难度和区分度是不存在的。,四、多重选择题的项目分析,具体分析的步骤如下：（1）按被试测验的总分，从高到低依次排列试卷。（2）从最高分依次向下取全部试卷的27%作为高分组。（3）从最低分依次向上取全部试卷的27%作为低分组。（4）分别登记高分组与低分组选中各选择项的人数（亦可将人数换为人数比例），然后登记。（5）根据登记结果进行选择项的质量分析。,对选择项的反应模式注意从以下几方面进行分析：（1）如果正确的备选答案被所有的受测者所选择。说明该项目太容易或者可能是项目