测验的编制和实施

会计学1测验的编制和实施Outline第一节测验编制的一般程序第二节测验项目的编制技术第三节测验项目分析第四节测验的实施第1页/共68页第一节测验编制的一般程序一明确测验的目的二制定编题计划三编制测验项目四试测与项目分析五合成测验六测验的标准化七测验的鉴定八编写测验说明书第2页/共68页一确定测验目的（一）明确测量对象

eg.年龄、性别、职业、受教育程度、经济状况、民族、文化背景等。（二）明确测量目标1心理变量或行为特征2操作定义（三）明确测量用途第3页/共68页二制定编题计划

通常是一张双向细目表，指出测验所包含的内容和要测定的各种技能，以及对每一个内容和技能的相对重视程度。第4页/共68页表1-1小学自然常识测验编题计划知识理解应用分析综合评价合计生物世界35632120资源利用23311010动力与机械23420112物质与能量56832125气象24322013宇宙25410012地球2221108合计1828301388100第5页/共68页三编辑测验项目（一）收集测验资料（二）选择项目形式（三）编写测验项目第6页/共68页测验资料的遴选1资料要丰富2资料要有普遍性3资料要有趣味性第7页/共68页测验项目形式概念和原理的记忆——简答题辨别和判断——选择题综合运用——论文题幼儿——口头测验文盲、半文盲、聋哑——操作测验人多——团体测验人少——个体测验纸笔测验还是操作测验？是客观题还是主观题？第8页/共68页测验项目的编写1题目范围要与双向细目表一致；2题目数量要比最终所需要的数量多，以便筛选或编制复本；3题目的难度应有一定的分布范围；4用词力求清楚明白。第9页/共68页四试测与项目分析1试测（1）取样（2）施测过程与施测情景（3）时限可稍宽一些（4）记录被试的各种反应。2项目分析（1）质的分析：内容取样、题目的思想性、表达是否清楚（2）量的分析：难度、区分度、备选项分析第10页/共68页五合成测验（一）测验项目的选择

：选择那些能够测量所要测量内容的项目（二）测验项目的编排（三）编制复本各份复本必须等值。复本编好后，应再测一次，以确保各份测验的等值。第11页/共68页测验项目的编排1并列直进式2混合螺旋式第12页/共68页编制复本的原则1各份测验测量的是同一种心理特性。2各份测验具有相同的内容和形式。3各份测验的题目不应重复。4各份测验题目数量相等，难度和区分度大体相同。5各份测验的分数分布（平均数和标准差）大致相等。第13页/共68页六测验标准化

测验的标准化是指测验的编制、实施、评分以及分数解释都有统一的标准，以减少无关因素对测验的影响。第14页/共68页六测验标准化Page1（一）测验内容的标准化

指测验内容对所有被试都一样。（二）施测过程

1测验情景

2指导语

3时限第15页/共68页六测验标准化

Page2（三）测验评分1及时和清楚地记录被试反应的，特别是对口试和操作测验。2要有一张标准答案或正确反应的表格，即计分键。3将被试的反应和计分键比较，对反应进行分类。第16页/共68页六测验标准化

Page3（四）测验分数的解释1常模参照2标准参照（1）内容参照（2）结果参照第17页/共68页七鉴定测验（一）信度（二）效度（三）常模第18页/共68页信度Page11界定：所谓测验的信度，即可靠性，它是测量反映被测特征的真实程度的指标，有人称之为测验的准确性，也有人把信度作为测验结果的稳定性和一致性指标。信度是指测验结果的可靠性、稳定性与一致性。第19页/共68页信度Page22验证测验信度的方法（1）重测信度（2）内部一致性信度（3）复本信度第20页/共68页重测信度1定义：指同一个测验在不同的时间施作，其结果的一致性，是一种稳定系数。2程序：第一次施测→经过一段时间→第二次对同一群人施测→求取两次测验分数的相关。相关系数愈高表测验结果的稳定性愈高。最适宜的时距随测验的目的、性质和被试的特点而异，以两周到四周较宜，间隔时间最好不超过6个月。

第21页/共68页内部一致性信度1定义：多个试题是否确实是在测量同一个心理特质。2程序

：检验每一个题目的作答反应与总分的相关性，相关愈高表示该题与其它测验题目愈同质，愈是在测量同一个特质。常见的一致性信度指标为Cronbach'sα系数，其分数介于0~1之间，系数愈高代表一致性愈高，一般而言信度系数在0.6以上是可接受的范围。第22页/共68页复本信度1定义

：当一个测验有二套以上的平行题本时，就需要验证这二套题本分数的一致性。2程序受测样本同时做二套题本，然后求取两个测验分数的相关，相关愈高表二个题本的测验结果愈一致，日后不论用那一套题本的测验结果都可以互相的比较。第23页/共68页效度Page11界定

所谓测验的效度是指心理测验的有效性，即测验得到的是不是所要测定的心理行为与行为特征，也就是测验结果是否体现测验所预期效果的程度。第24页/共68页效度Page22验证测验效度的方法

（1）内容效度（2）构想效度（3）效标效度第25页/共68页内容效度1定义

：测验题目对有关内容或行为取样的适用性，从而确定测验是否是所欲测量的行为领域的代表性取样。2评估方法⑴专家判断法：请有关专家对测验题目与原定内容的符合性作出判断，看测验的题目是否代表规定的内容，也可称为“逻辑效度”。⑵统计分析法：计算两个评分者之间评定的一致性；也可由一组被试在独立取自同样内容范围的两个测验复本上得分之间相关来作数量的估计；或采用再测法。⑶经验推测法：通过实践来检验效度。第26页/共68页构想效度1定义

：测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。2评估方法（1）对测验本身的分析：测验的内容效度可以作为构想效度的证据；测验的同质性指标可以推断测验是测量单一特质还是测量多种特质；分析被试对题目的反应特点。（2）测验间的相互比较：一个有效的测验不仅应与其他测量同一构思的测验有关，而且还必须与测量不同构思的测验无相关。（3）实验法和观察法证实：观察实验前和实验后分数的差异是验证构思效度的方法。第27页/共68页效标效度1定义

：又称实证效度，反映的是测验预测个体在某种情境下行为表现的有效性程度。被预测的行为是检验效度的标准，简称效标。由于这种效度是看测验对效标预测如何，所以叫效标效度。这种效度需在实践中检验，所以又称为实证效标。2评估方法（1）相关法：是评估效标效度最常用的方法，它是求测验分数与效标资料间的相关，这一相关系数称为效度系数。（2）区分法：分析高分组与低分组分布的重叠量，或者计算每一组内得分超过（或低于）另一组平均数的人数百分比，或者计算两组分布的共同区的百分比。重叠量越大，说明两组分数差异越小，即测验的效度越差。（3）命中率法：当测验用来做取舍的依据时，用其正确决定的比例作为效度指标的一种方法。第28页/共68页常模

所谓常模是指所有受测者的平均水平和分数分布情况。不同群体的受侧者对相同测验有不同的常模，如对成人和大学生进行卡特尔16种个性因素测验，可以分别得出该项测验的成人常模和大学生常模。我们平时使用较高的是常模参照性测验。这种测验以常模作为评价的参照系，测验结果反映受测者在全体受测者中的相对位置。

第29页/共68页八编写测验说明书1测验的目的和功用；2编制测验的理论背景以及题目选择的根据和测验的构成；3测验的实施方法、时限及注意事项；4测验的标准答案和评分方法；5测验的信度和效度资料；6常模资料。第30页/共68页作业练习编写测验说明书。第31页/共68页第二节测验项目的编制技术一命题的一般原则二测题的种类及特点第32页/共68页一命题的一般原则1试题符合测验的目的2内容取样具有代表性，未超出受测团体的知识和能力，所提问题应避免涉及社会禁忌与个人隐私3题目格式不使被试产生误解4文句简明扼要，既排除与解题无关的因素，又不遗漏解题所依据的必要条件。5有确定答案（创造力测验、人格测验除外）6各题彼此独立，不互相牵连，一题的回答不影响另一题的回答。7题目中不含有暗示本题或其他题正确答案的线索8施测与评分省时第33页/共68页二测题的种类及编制1固定应答型题目

：即客观题，如：选择题、是非题、匹配题等。2自由应答型题目

：即主观题，如：填充题、简答题、应用题、论文题、联想题、操作题等。第34页/共68页（一）选择题Page11格式题干+选项（正确选项与诱答选项）2分类（1）多项条件选择题（2）类别选择题（3）异类选择题（4）多项是非选择题（5）因果条件选择题第35页/共68页多项条件选择题

已知小明的心理年龄是8岁4个月，实际年龄是9岁，其智商是多少？（a）85（b）90（c）92（d）92.6（e）100第36页/共68页类别选择题

艾森克是著名的_______心理学家。(a)儿童(b)工程(c)管理(d)人格(e)社会第37页/共68页异类选择题下面哪位与其他人不属于同一类人？

(a)小布什(b)普京(c)胡锦涛

(d)希拉克(e)牛顿第38页/共68页多项是非选择题下面两个陈述哪一个正确？（1）2008年奥运会在北京举行。（2）美国首都是费城。

(a)1和2都对(b)1对2错(c)1错2对(d)都错第39页/共68页因果条件选择题如果测验的真方差增加，但误差方差不变，结果是（）(a)测验信度增加(b)测验信度下降(c)测验总方差减小(d)测验的信度和总方差不变第40页/共68页（一）选择题Page23编制原则（1）题干意义完整，问题表述明确（2）题干及选项的语言均应简明，避免滥用否定结构、复杂句式（3）诱答项应性质一致，具有似真性，最好按逻辑排序（4）同一测验中各题目应尽量保持独立，避免相互牵连（5）正确答案不能有明显组型第41页/共68页（一）选择题Page3（1）可以测量学生多种层次的学习结果（2）评分标准统一、客观，有利于提高评阅的速度（3）允许较大的试题容量，可以保障题目的覆盖范围和代表性（4）可根据学生对似真选项的选择情况进行诊断（1）无法了解被试作答时的思维过程（2）答案固定，测量范围较窄，难以考核被试的综合能力（3）诱答选项较难编制（4）存在猜中答案的几率4特点第42页/共68页（二）是非题1编制原则（1）每题只包含一个概念，避免两个以上的概念在同一题中出现，造成题目似是而非，或半对半错。（2）避免使用具有暗示性的特殊词语，如“绝对”、“完全”、“有时”、“可能”等。（3）尽量采用正面肯定的叙述，避免反面陈述或双重否定的句子。如“生物没有不是由细胞组成的。”（4）“是”与“非”的题数应大致相等，且随机排列。第43页/共68页（三）填空题Page11编制原则（1）题意要明确，限定要严密，以保证空白处应填答案的唯一性。（2）题目中空白部分以一处为宜，过多则使题干支离破碎。（3）所有空白处的线段长度应一致，避免产生暗示作用。（4）若答案是数字，应指明单位或数字的精确程度。第44页/共68页（三）填空题Page22特点（1）主要用于考察被试对基本知识的记忆和理解能力。（2）受被试猜测影响小，评分较客观。（3）无法测量高级的学习结果。（4）使用过多容易造成被试的死记硬背。第45页/共68页（五）简答题Page21编制原则（1）问题叙述清楚、明确。（2）答案要简短具体，使被试可以用简洁的语言来回答，避免繁琐的计算和长篇大论。（3）避免只出机械记忆性的题目，应注重知识的应用。第46页/共68页（四）简答题Page22特点（1）适合于考察被试对基本知识、概念和原理的掌握、记忆情况。（2）编制简单、灵活。第47页/共68页（五）论文题Page11编制原则（1）应该用来测量较高层次的学习目标（如分析、综合、评价），特别是那些小型客观题不易测量的学业成就。如要求学生陈述理由、解释变量间关系，描述与评价资料、推理证明等。（2）要明确而系统地陈述问题，使被试能清楚地了解题目的要求。使每道题都能真实地反映被试实际能力而不受阅读理解等其他因素干扰。（3）不同的论述题之间很难做到等值，因此一般不要让被试选择问题回答，否则不同被试的得分难以比较。第48页/共68页（五）论文题Page22特点（1）可用来对高层次、复杂学习结果的测量，特别适用于人文、社会科学领域。（2）可增强能力，对学习态度和学习方式产生积极的影响。（3）试题编制相对容易，可以增进被试的写作能力。（1）一般都是大题，因此在某次考试中试题的取样范围比较小，且分布不均匀，难以做到全面考察。（2）评分的主观性强。（3）被试作答和评分阅卷均较为费时。第49页/共68页第三节项目分析

项目分析包括定性分析和定量分析。定性分析包括考虑内容效度、题目编写的恰当性和有效性等；定量分析主要是指题目难度和区分度的测量。对项目进行筛选和修订，可以提高测验的信度和效度。第50页/共68页Outline一难度分析二区分度分析三难度与区分度的关系第51页/共68页一难度分析Page1（一）难度的界定

：项目的难易程度，是衡量测验题目质量的一个重要指标。（二）难度的计算方法1以通过率计算难度2以平均数计算难度3以极端分组计算难度第52页/共68页以通过率计算难度1程序：求正确解答题目的人数与总人数之比，多用于选择题。2计算公式

P：难度R：答对人数N：参加测试的总人数。

第53页/共68页以平均数计算难度1程序

：求全部被试所得分数的平均数与该题满分之比，多用于问答题。2计算公式

P：难度：被试的平均分数W：总分

第54页/共68页以极端分组计算难度1程序

：先按得分高低排序，从分数序列两端各取27％作为高分组和低分组（根据正态分布，高分组与低分组各占总数的27％）为最佳比例。2计算公式

P：难度PH：高分组答对该题的比例，PL：低分组答对该题的比例。

第55页/共68页练习1150名儿童中答对第l题的有50人，答对第2题的有75人，求这二道题目的难度。2某测验题，150名儿童全部答对满分为150分，实际测验得的平均分为90分，求该题难度。3在125名儿童中，高分组34人(占27％)与低分组34人(占27%)，其中高分组答对第4题的有20人，低分组答对第4题的有10人。求该题难度。

第56页/共68页一难度分析Page2（三）取舍标准

1常模参照能力测验（1）P=0.50的题目为好，因为它使总体的变异最大。（2）当题目正相关时，平均难度以0.50为好。各个项目的难度在0.50±0.20之间变化。（3）当题目有猜测可能时，题目的P值应适当加大。（4）选拔性测验还要考虑录取率。2标准参照能力测验

P=1.0或P=0有可能也是好题3人格测验

P≧0.95或P≦0.05的题目考虑删除第57页/共68页二区分度分析Page11

界定

：测验题目对所测量的心理特质的区分程度。2计算（1）高分组--低分组（2）点二列相关系数第58页/共68页高分组--低分组1分组方法：根据测验总分取两端