浅谈试题编制技术与试卷质量分析ppt-浅谈命题技术与质量

1、浅谈试题编制技术与试卷质量分析广州市教育局教学研究室 教学管理科钟 阳特级教师Tel（020）83330741E-mail：一、教育育测量学学简介教育测量量学以现现代教育育学、心心理学、统计学学为基础础教育测量量只能通通过检测测心理现现象的外外显行为为或外在在表现特特征来推推知个体体的心理理能力和和个性特特质教育测量量学研究究的主要要内容是是：测验验的编制制、使用用、结果果的评价价教育测量量的基本本概念测量：事事物及属属性、法法则、数数字或符符号测验：行行为样本本、标准准化、评评价指标标（题目质质量分析析指标难度和区区分度，测验结结果可靠靠性指标标信度，测测验结果果有

2、效性性指标效度）测量要素素：参照照点（常模参参照，标标准参照照）、单位（往往不不等距或或等距不不等值）量表：命命名（类类别）量量表、顺顺序（等等级）量量表、等等距量表表、比率率量表教育测量量的量表表与变量量类型类别量表表称名变量量：如学学生编号号等。只只有区分分性，没没有序列列性、等等距性和和可加性性。不能能做数量量化分析析，只能能做次数数统计，如次数数、众数数、百分分比、离离散相关关、2检验等。顺序量表表等级变量量：如学学生名次次、等级级、百分分制成绩绩等。有有区分性性和序列列性，但但没有等等距性和和可加性性。无绝绝对零点点，也无无相等单单位，不不能做加加减乘除除运算，适用的的统计方方法有中

3、中位数、百分位位数、等等级相关关系数、肯德尔尔和谐系系数、序序次的方方差分析析。等距量表表等距变量量：如摄摄氏温度度、标准准分数等等。既有有区分性性和序列列性，也也有等距距性和可可加性，有相对对零点和和相等单单位，能能做加减减，但不不能做乘乘除，不不能用倍倍数解释释。能最最广泛地地应用统统计方法法，如计计算均数数、标准准差、积积差相关关系数、t检验、F检验等。比率量表表比率变量量：如长长度、重重量、体体积等。具有相相等的单单位和绝绝对零点点，既可可以比较较差距，也可以以计算比比例。除除上述统统计方法法外，还还适用几几何平均均数、变变异系数数等统计计运算。教育和心心理测验验特点教育和心心理测验验

4、也是一一种量表表没有绝对对零点，没有相相等单位位，属于于等级量量表。由于等距距变量适适用大量量统计分分析方法法，所以以教育学学家与心心理学家家总试图图将教育育和心理理测验的的结果放放在等距距量表背背景下解解释解决等级级量表和和等距量量表之间间差异的的最常用用办法原始分数数转化成成标准分分数教育测验验的分类类测验目标标：成就就测验（知识与与技能的的掌握）、能力测测验（稳定的的认知能能力特质质）、能力倾倾向测验验（潜在的的学习能能力和学学术发展展倾向）题目类型型：客观观性测验验（选择题题、判断断题、配配对题、限制性性的填空空或简答答题）、主观性性测验（作文题题、论述述题、证证明题）测验分数数的解释

5、释：常模模参照测测验（个体差差异、相相对水平平、选拔拔性、不不可单独独解释）、标准参参照测验验（标准或或效标达达成度、知识和和技能的的掌握程程度、水水平性、可直接接解释）测验标准准化：标标准化测测验（设计、编制、实施、评分、分数解解释）、自编测测验（尽力遵遵循测验验编制的的一般程程序）教育测验验理论经典测量量理论（ClassicalTestTheory，CTT）以真分数数模型为为理论基基石，以以弱假设设为基础础真分数是是实测分分数的期期望值较为完善善，易懂懂好用，计算简简单，应应用广泛泛各种测验验参数必必须从考考生样本本中求得得参数会受受不同考考生样本本组能力力水平的的影响考生能力力的估计计会

6、由于于测验的的改变而而改变难以实施施与学生生实际能能力水平平相当的的考试，不能确确保学生生在考试试中发挥挥最高水水平教育测验验理论项目反应应理论（Item Response Theory，IRT）以潜在特特质理论论为基石石，以强强假设为为基础试题难易易度估计计不受样样本影响响，考生生能力估估计不因因测验改改变，测测量误差差不受考考生程度度影响可以精确确估计每每个考生生的能力力水平，为自适适应测验验的实施施提供条条件对数学模模型与实实测数据据的拟合合要求高高受考生样样本容量量和试题题数量的的制约一维性假假设难以以满足，也难以以验证计算过程程复杂，工作量量过大，不能分分析主观观试题二、教育育测验的

7、的编制测验编制制的基本本程序测验目标标确定：教育目目标分类类（识记、理解、运用、分析、综合、评价）、学科特特征、教教学阶段段内容的确确定：命命题双向向细目表表、材料料收集测验的设设计：测测验形式式（纸笔、操作）、时限、题量、题型、题目编编排（先按题题型，再再按难度度）测验的技技术分析析与鉴定定：复本本与试测测、测试试质量分分析（定性与与定量分分析、信信度、效度、难度、区分度度）、测试的的标准化化（命题、实施、评分标标准、分分数解释释、时限限、环境境、指导导语）命题双向向细目表表示例1命题双向向细目表表示例2 考试内容（模块） 能力目标识记理解探究获取信息综合应用合计分子与细胞遗传与进化稳态与环

8、境实验与研究性学习 合 计 考试内容（内容块）选择题 简答题证明题应用题分析题合计识记理解.识记.分析综合.应用.应用分析综合创造内容12305050015内容20334030215内容308213900335内容404215900535 合 计218737188010100命题双向向细目表表示例3举例生物高考考模拟试试卷分析析表题号知识能力分值预计全样本难度实测难度干扰选项或预计障碍测试反映出的问题3细胞结构理解、图表20.670.4837影响光合作用的因素探究、实验设计100.380.21测验材料料收集的的原则适合测验验目的：水平性性测验（代表性性、广泛泛性、全全面性）、选拔性性测验（多考

9、虑虑难度而而非广度度）符合双向向细目表表：学科科教学内内容的良良好代表表性样本本，突出出主干知知识与核核心概念念，保证证测验有有较高的的内容效效度材料的普普遍性：是不同同班级、学校、地域的的学生共共同学过过的内容容适合学生生程度：既要难难易适当当，又要要有鉴别别力。有有些要让让水平最最低者也也能做到到，以树树立其自自信；有有些要让让水平最最高者也也不易得得分，以以激发其其进取心心测验题目目的编制制试题编制制的一般般原则1.命题的目目的性2.内容的代代表性3.格式的规规范性4.表述的简简明性5.答案的确确定性6.题目的独独立性7.创意的公公平性8.试测的实实效性题 型客观题（封闭式）主观题（开放

10、式）选择型提供型计算题证明题论述题写作题设计题翻译题是非题配对题选择题填空题改错题名词解释题简答题测试题型型的分类类客观题（封闭式）主观题（开放式）信 度较 高较 低效 度较 低较 高覆盖面较 宽较 窄陈述性知识较适宜较不适宜程序性知识较不适宜较适宜猜测可能性测验时较大测验前较大常模的建立较 易较 难客观性试试题与主主观性试试题比较较题型特征 适用范围 编制要领 由一个“题干”和若干“选项”所构成。题干可用不完全陈述或疑问句表示，用于实现一个问题情境；选项，由一个正确或最佳答案和几个似真的错误诱答项或非最佳答案项组成 。适合用文字、数字和图形等不同材料编题，可考查记忆、理解、应用、推理、判断、

11、比较、分析等多种能力。该类题有多种变式，如配伍式、比较式、因果式、组合式、类推式等，其测量功能各有侧重。题干设问明确，表述简要，且尽量创设新情境；各选项的内容和形式要相互对等，数目尽量一致，且用词勿重复；正确项随机定位，且似真非真；干扰项似假非假，保证适度干扰性；每题仅有一个测试中心，且各题相互独立，避免链式。 选择题的的编制编制选择择题的注注意要点点1每题仅仅围绕一一个测试试中心2题意完完整，表表述简明明3避免提提供解题题线索4题干应应尽量创创设新的的情境5题干尽尽量以正正面方式式叙述6各选项项语词切切勿重复复7选项只只间不应应相叠8干扰项项诱答须须似是而而非9各题彼彼此独立立，避免免链式1

12、0.忌用“以以上皆对对”、“以上皆皆错”选选项11.选项数尽尽量一致致，形式式大体相相同12.正确项目目须随机机排位题型特征 适用范围 编制要领 提供一个完整的陈述，要求被试把缺少的字、词填上，全题可留12处空格，且多置于句中和句尾。 适宜测量词组知识、名称或日期、对概念的简单理解及记忆，解决数量问题的能力等。属于“回忆性”测量，是一种开放性试题留空处须是关键字词，且与上下文联系密切；空格不宜太多；避免直接引用教科书原句；准备一个正确答案和可接受的变式的标准。 填空题的的编制题型特征 适用范围 编制要领 由一个问句或陈述句构成，要求学生作答时提供适当的字词、短语、符号、观点及结论等。适宜测量记

13、忆及简单理解。可考查术语知识、特定事实知识、原则的知识、方法和程序的知识；还可考查简单解释资料或使用数字符号的技能。 答案唯一，且简单具体，尽量采用疑问句出题；应测学科知识的重要概念；不可按书原文抄题；说明答题要求，无需论述、论证；需以数字作答的，应说明表示单位。 简答题的的编制题型特征 适用范围 编制要领 是一种要求被试根据题目自己立意、选材、组织与表达。它属于自由反应型试题，包括论述题和作文题。 适合测量综合运用知识的能力、组织材料能力和文字表达能力，甚至考核评价能力和创造能力。可以了解学生对问题的理解深度和思考过程。 明确规定作答范围和方法，避免题意空泛、笼统；设置新情境，让学生应用知识

14、解决新问题；题目数量需适度；不给被试提供选答试题机会；备用数个“理想”答案，评分标准具体，易操作。 论述题的的编制题型特征 适用范围 编制要领 叙述一个具体的情境并给出一些有关的数据或资料，让被试解决所提出的问题。 适合测量计算技能、数学和科学推理，以及运用知识到新情境中的能力。该类题常用于数学和自然科学领域的测验。 解题说明清楚、完整；题目中应含解题所需的一切条件；题目内容应采用新情境材料；各测题答案间互相独立；文字简明。 应用题的的编制三、教育育测验的的质量分分析测验误差差：随机机误差、系统误误差测验信度度测验效度度试题难度度试题区分分度其他分析析指标综合试题题分析标准参照照测验的的试题分

15、分析测验信度度测验结果果的稳定定性程度度重测信度度、复本本信度、分半信信度、评评分者信信度同质性信信度（内内部一致致性信度度、克伦伦巴赫系数）高考要求求：选择题部部分信度度0.9，非选择择题部分分信度0.7，全卷信信度0.8（题量较较多、难难度中等等；保密密、新颖颖、变式式）测验效度度测验的准准确性（测出所所预测特特质的程程度）内容效度度（内容范范围的共共性：具具有边界界、结构构化；一一个测验验涵盖的的只可能能是从所所欲考查查内容中中抽取的的一个代代表性样样本；课课标、考考纲；双双向细目目表、知知识范围围、能力力要求）结构效度度（构想想效度）（理论构构想的基基本属性性：对本本质的抽抽象概括括、

16、可测测量化或或外显化化；对测测验结果果的合理理解释首首先要求求获得该该测验的的结构效效度资料料）效标关联联效度（实证效效度）（对被试试未来成成功的预预测准确确程度等等）内容效度度与结构构效度内容效度度就是测验验能代表表它所欲欲考查内内容的程程度。知知识覆盖盖率法是是其最简简单常见见的统计计方法。内容效度度涉及到到知识的的计量问问题，对对同一学学科而言言，我们们可将课课程标准准所开列列的每一一个知识识点作为为知识基基本单位位，也可可用教材材的章来来构造基基本知识识单位，甚至是是按照知知识的内内在联系系来确定定基本知知识单元元。内容效度度反映的的是测验验外在的的、形式式上的东东西，与与所欲测测量的

17、特质（如，人人文精神神、科学学素养、探究能能力、创创造能力力、方法法论等），没有有必然的的联系。事实上上，它只只是测量量特质的的必要条条件。内容效度度与结构构效度内容效度度从知识间间的内在在联系出出发，是是以知识识为本位位分析效效度的方方法。对对于学生生而言，掌握必必要的知知识也是是很重要要的，因因此，注注意测验验的内容容效度有有它合理理性的一一面。然而，学学习者学学习知识识更为重重要的目目的是通通过学习习和掌握握这些知知识的过过程，获获得并发发展隐含含在这些些知识中中的特质，如果片片面强调调内容效效度就可可能导致致被试在在学习过过程中重重视知识识本身而而不重视视能力发发展。内容效度度与结构构

18、效度结构效度度从隐含在在建构这这些知识识联系背背后的特特质出发发，反映映的是其其特质的的当前发发展水平平。由于知识识本身可可能成为为一种特特质的表表征，而而且某些些特质与与特定的的知识领领域密不不可分，因此，强调结结构效度度并不反反对使用用特定的的知识作作为试题题的载体体。但这这种主张张与强调调内容效效度的主主张有着着根本的的差别。因此，应应该在确确保结构构效度的的基础上上兼顾内内容效度度的需要要。对于于教育测测量（特特别是考考试）而而言，为为了鼓励励学习者者既掌握握好知识识的本身身，又获获得和发发展隐含含于所学学知识中中的特质质，编制制测验应应该在保保证结构构效度的的基础上上尽量选选用被试试

19、所学过过的知识识为测验验题目的的载体。试题难度度通过率（P=R/N）或得分分率（P=X/W）高考要求求：全卷难度度0.50.6试题难度度0.30.7易：中：难3：5：2试题区分分度鉴别指数数：D=PH-PL（D0.40，优；0.39D0.30，良好； ；0.29D0.20，尚可；D15）选择题反反应模式式：若所有有考生都都选择了了正确答答案，说说明题目目太简单单或给出出了明显显的暗示示若某个个错误选选项没有有一个考考生选择择，说明明该选项项没有迷迷惑性若所有有考生都都选择了了同一个个错误选选项，可可能是答答案定错错了若高分分组考生生的选择择集中在在两个答答案上，且两者者选择率率相近，说明两两个答案案可能都都有道理理若高分分组考生生选择正正确答案案的人数数接近或或低于低低分组，说明该该题所考考内容与与水平无无关若考生生零分人人数过多多或选择择各备选选答案的的人数相相近，说说明题目目过难，或题意意表达不不清，是是的考生生无法作作答或只只能凭猜猜测作答答综合试题题分析对试题难难度（P）与区区分度（D）进进行总体体衡量人的多数数心理特特征呈正正态分布布一个测验验的各道道题目之之间或多多或少存存在着一一定的相相