第三章-教育测验的编制与实施新1分解.ppt

1、第三章教育测验的编制与实施,第一节编制测验的基本步骤,1.确定测量目的,2.编制测量细目表,3.选择合适的题型,4.设计有关的题目,5.汇编试题,6.实施测验,7.评定测验,8.使用结果,目标：改善学习和教学,第一部分 一切从“题”开始,一、试题改革要走出认识误区 现代考试和素质教育是相辅相成的. 素质教育思想古来有之；教育学理论中所追求的教育以及所有教育家所提倡的教育，在本质上是指素质教育. 应试教育方法也是古今中外、向来有之.好长一段时间以来，由于国人对应试教育的过激批评,导致人们对考试有许多不正确的认识.,第一，考试是1300多年来人类优秀文化不断传承和积淀的结果，堪称是全人类共有的文化

2、精品。 孙中山先生说过：“作为一种手段来说，我国的考试，确实是最古的，也是最好的。”他还说：“现在各国的考试制度，差不多都是学英国的。穷流溯源，英国的考试制度，原来还是从我们中国学过去的。” 因此可以说，中国人的血液中流淌着中华民族传统优秀考试文化的基因。教育改革和考试改革一定要注意这个国情。,第二，考试也是素质评价的一种方法，而且是很重要的很实在的评价方法。 虽然考试无法全面检测人的各种素质，但是通过中西合璧的现代考试技术，确实能够比较客观地检测到学习者在认知素质、心智技能、逻辑思维、学习能力、知识与技能掌握等方面的发展水平。 考试结果虽然不能说明全部素质，但许多素质可以通过现代考试测量科学

3、方法来判断。,第三，中国教育发展、中国人才培养、中国经济发展、中国科技实力、中国建设成就等，中华民族惊人的创造力，让世界各国刮目相看，让世界感到震惊，让所有华人感到自豪，让超级大国感到不安。人家一些经济大国用一、二百年时间走过的发展道路，我们用了50多年，其中有传统学校教育的功劳以及考试制度的功劳。,二、试题改革是推进素质教育的切入点,全面推进素质教育，要有先进的教育思想方法，按照教育规律办事；要脚踏实地以及站在自己祖国坚实的文化土壤上。最关键，还是要加大教育投入，对基层学校实施素质教育的要加强教师专业能力建设和教学基本条件设施建设，深化教育改革，寻找素质教育的切入点。试题改革是我国推进素质教

4、育改革的最佳切入点。,第一，考试作为一种常用的评价方法，世界各国在经历过种种考试评价改革之后，越来越多的发达国家和地区都觉悟到，考试以及学科成就测验毕竟是一种最实在的评价方法。对我们国家来讲，考试堪称是一种具有中国传统优势和鲜明特色的评价方法。教育改革绝对不能抛弃历史传承下来的优秀文化。推进素质教育应该更加重视考试改革。重视考试改革，一要继承，二要创新。,第二，考试具有强烈的导向作用，这既是考试功能的体现，也是普遍存在的一条考试规律。我们的学校教育在相当长一段时间仍将关注升学考试问题。因此，我们要重视考试，发挥考试积极的导向作用，使考试改革有利于全面推进教育。其中，试题改革对学校教育具有特别重

5、要的导向作用。,第三，考试能保证达到素质教育的最起码的教育目标。 考试优越性也是中国传统教育的优越性，在于能够有效地关注认知领域的教学内容和要求，特别适合于学科中心课程和教材类型，有利于强化学科基础知识、基本理论的教学。 不管怎么说，考试能够保证素质教育的基本发展需要和基本教育目标的实现。这是国内外经过长期教育实践和无数的教训换来的一个客观事实。,三、试题改革的努力方向,我觉得基础教育阶段试题改革主要把握两个方面，一是把握改革方向和目标，二是把握命题技术和策略。命题技术需要宣传普及和一定时间量的专业培训。这里先说如何把握试题编写的方向和目标问题，强调以下几点：,1.试题改革要牢牢把握基础教育特

6、性 基础教育的性质和教育对象决定基础教育的第一特性是“基础性”，其他任何特性皆属第二位。教育工作者对中小学生可以有很多美好的设想和期待，但青少年身心发展规律将内在地制约教育工作者非分的要求。设计过高的教育标准尤其是任何拔苗助长式的教育改革举措，最终是累了教师苦了学生害了国家。,2.试题改革要体现教育测量评价的科学性 我们都“身经百试”，似乎到了“不会作诗也会吟”的程度。其实，考试命题是一项比较专业的业务活动，考试命题有其丰富的科学理论做基础。 中小学教师学点教育测量学和教育评价学方面的理论知识，有利于提高考试评价的科学性，有利于提高教育质量，有利于提高教师的专业化水平。（专业化内涵？）,3.试

7、题改革要与社会实际和学生学习生活经验有合理的对接性 考试改革要加强试题与社会实际和学生生活的联系，注重考察学生对知识的理解和应用，特别是在具体情境中综合运用能力，即具体情境下分析问题和解决问题的能力。这是当前试题改革努力的方向之一，也是试题改革的难点之一。 一定要认真命题，合理对接。,4.试题改革要要注重回归教材、降低难度、淡化选拔、具有“减负”的责任性 教育是有计划、有目标、有标准的。基础教育更应该如此。教材编写、教学改革、考试设计等，一定要按照教育规律，要有利于“减负”的学生的学习负担。因此，试题改革要注重回归教材、降低难度、淡化选拔甑别性。,5.试题改革创新要有利于维护教学秩序稳定性、降

8、低教师和学生的焦虑性 试题需要改革创新，既可以在教材和教辅中首次出现，也可以在关键性选拔考试中首次出现，但要务必要有利于稳定教学秩序，避免考前各个学校教师猜测捉迷藏以及搞题海战术。,第二部分 考试命题双向细目表,考试命题双向细目表是一种考查目标（能力）和考查内容之间的列联表。制作考试命题双向细目表，是命题工作的一个重要环节。双向细目表可以使命题工作避免盲目性而具有计划性；使命题者明确测验的目标，把握试题的比例与份量，提高命题的效率和质量。同时，它对于审查试题的效度也有重要的指导意义。,双向细目表是包括两个维度(双向)的表格，细目表也可以是多维的，一般用双向细目表。较常见的有四种： （1）反映测

9、验内容与测验目标关系的双向细目表,（2）反映测验内容与测验目标、题型之间关系的双向细目表,该表是上一个表的改进，增加了题型。,（3）反映题型与难度、测验内容之间关系的双向细目表,（4）反映题型与难度、测验目标之间关系的双向细目表,难易度： A.较易 B.中等 C.较难 D.难度较大 认知度： 识记理解简单应用综合运用,一般双向细目表纵向为要考查的内容即知识点，横向列出的各项是要考查的能力，或说是在认知行为上要达到的水平，通常采用识记、理解、应用、分析、综合、评价六个等级。这是按美国教育家布鲁姆(B.Bloom)目标分类划分的，是从最简单的、基本的到复杂的、高级的认知能力。每前一目标都是后面目标

10、的基础。即没有识记，就不能有理解，没有识记与理解，就难以应用。,（1）知识（识记）：是对知识的回忆。 （2）领会（理解）：是最低层次的理解。 （3）运用：是在特定的情况下，对抽象概念的使用。 （4）分析：是将交流的内容分解成几个要素或组成部分，以便分清一个事物中各要素或各部分的层次关系。,（5）综合：是将所分解的各个要素或组成部分组合成一个整体。是对各个要素或各个组成部分进行加工的过程和进行排列组合以构成一个比较清楚的模式或结构的过程。 （6）评价：是为了特定的目的对材料和方法的价值所作出的判断。也就是说，对材料和方法符合标准的程度所作出的定量或定性的判断。,布鲁姆认知领域教育目标的这六个层次

11、是从学习过程的理解能力来划分的，它适应于任何一门学科，而且有很高的实用价值。,制作双向细目表的程序如下：,（1）列出大纲的细目表 （2）列出各部分内容的权重 （3）列出各种认知能力(学习水平)目标 的权重 （4）确定各考查点的“三个参数” （5）审查各考查点的分配是否合理,同时应由命题人员单独、正式地对试题作答一遍，以发现问题，加以改正。命题人员作答时，要注意以下几个问题： （1）有效性（2）时间性（3）合理性 （4）简明性（5）准确性（6）鉴别性 （7）独立性（8）针对性（9）答案的科学性 总之，制定命题双向细目表是一项非常复杂的工作，应严格遵循有关工作程序开展，以防止出错及疏忽。,第三部分

12、 命题的技术要求,一、客观性测验题目的编制（约占60%左右） 试题应反映教学内容的重点或教学过程中要求学生掌握的有意义的内容和知识点； 务必使每道试题自成一体，不可互相牵扯； 试题文字力求浅显易懂，题意明确； 试题的答案应该是明确且唯一的； 试题应按教育目标的要求，内容不能超过受测者的知识和能力。,二、主观性测验题目的编制（大约占40%左右） 试题应考查教育内容中的重要问题； 把问题和实际情景结合起来，强调知识的应用； 要给被试发挥自己创造力的余地； 要使答案的复杂程度与被试的成熟程度相符。,三、较通用的题型及其编写原则,1、选择题 2、是非题 3、配对题 4、填空题 5、论述题 6、作文题,

13、1、选择题,选择题是由一个“题干”和几个“选项”所组成的试题，其功能是测量学生对问题的理解、再认、比较和辨别的能力，以及思维的敏捷性和准确的推断力。一般又可分为单项选择题和多项选择题。 选择题编写的原则要求：,选择题编写的原则要求：,1.1 题干简明,且意义完整并能表达一个确定的问题。 1.2 题干不要滥用否定结构，要尽可能地采用正面陈述。 1.3 诱答项应具有似真性，降低猜中正确答案的概率 。 使用学生共同的错误观念或过失来作为诱答项。 以学生惯用的模糊性用语叙述诱答项。 在正确选项和诱答项中使用同样“精确的”、“重要性”等堂皇的用语来叙述。 诱答项的长度和措辞的复杂性与正确性与正确选项相似

14、。 在诱答项中使用额外的线索。如固定的用词，具有科学味道的答案，以及和题干有语义上的联系等。 保持选项之间的同质性。 5、不能对正确答案有任何暗示。 6、同一测验中每个测验试题之间应相互独立避免牵连。 7、选项的文字表达，力求简短精炼。 8、应尽量避免使用“以上皆是”、“以上皆非”的选项。,一般来说，无意提供的暗示主要表现为如下几方面：,1）语法结构上的不一致； 2）各选项在逻辑上不同，如正确答案中加以“如”、“有时”、“通常”等修饰词，诱答项中加以“总是”、“从未”、“所有”、“绝对”、“准”等修饰词，或正确答案使用与题干相同的词； 3）答案的长度有明显差异； 4）各题正确答案在选项中有一定

15、的规律等。,2、是非题,是非题：是指由一个陈述句构成，要求学生判断真或假，是或非，对与错，等等。它的主要功能是测量学生判断句子的正确性的能力。 优缺点：编制容易，可适用于各种教材。记分客观，取样广泛。但仅能测量知识层次中最基本的结果，而无法测量高层次的学习结果。受猜测因素的影响很大。 编写原则：,是非题编写原则：,（1）考核的内容应是重要的知识，应有考核价值。 （2）题目应多是测量理解能力，而非记忆性的知识。 （3）试题中只能有一个中心问题，或一个重要概念。 （4）试题应做到是非界限分明，用词准确，避免模棱两可的语句，以免引起对正确答案的争议。 （5）题目陈述应简单明了，避免使用复杂的句子结构

16、，应尽量采用正面叙述，避免用否定和双重否定的语句。 （6）正句和误句的排列要随机化，且数量应大致相等。,3、配对题,配对题是指把一系列的题干列成一列，把配备的选项列在另一列，即数个题干共同使用相同的几个选项，要求所有选项均构成为每一题干的似真项。它常用于测量和判断某些术语的意义，某些事件发生的时间、地点，人物所取得的成就，化学元素符号等记忆性知识。 编制原则：,配对题编制原则：,（1）在一道题中，要求各个题干（包括选项）具有相同或相近的性质，这种同质性可以保证所有的选项都能成为任何一个题干的似真答案。否则，会增加或降低试题的难度，而不能达到考核目的。 （2）选项的数目要多于题干的数目，而且不限

17、制每个选项被选择的次数，这样可以大大降低被试成功猜测的概率。 （3）在题干、选项之间如果有逻辑顺序，就按逻辑顺序来安排选项。 （4）要以清晰的指导语指出题干与选项之间的配合关系以及对每个选项可以被选择的次数的规定。 （5）选项的词语要短，相对而言，题干的词语应较长些。 （6）一个试题的所有部分应安排在试卷的同一页上。,4、填空题,填空题的一般形式是提供一个留有空隙的不完整的陈述句，要求考生将空缺的字、词、句补填下去。其主要功能是测量学生的记忆能力。 常见类型：补省填空、默写填空、表格填空、排序填空、语境填空。 编制原则：,填空题的编制原则：,（1）题意要明确、限定要严密，使空白处应填的答案是唯

18、一的。 （2）空白中所填写的应是关键词语，并且要和上下文有密切的关系，使被试不至于填写困难。 （3）题目中的空白地方不能太多，以免句子变得支离破碎，不利于被试理解题意。 （4）尽量将空白放在句子的后面或中间，而不要放在句子开头。 （5）所有空白处的线段长度应当一致，不能随正确答案文字的多少而长短不一，以免产生暗示作用。 （6）若答案是数字，应指明单位和数字的精确程度。,5、论述题,论述题是向考生提出较为复杂的问题，要求作出分析、说明、解释、论证，或作出结论，或提出自己的观点和见解。 论述题的主要功能是测量考生组织知识、表达思维和分析问题、解决问题的能力。它使考生有较多的独立思考，自由发挥的机会

19、。但评分主观因素较多。 编制原则：,论述题的编制原则：,1、试题应用来测量较高层次的教学目标。 2、要明确而系统地陈述问题，使被试能清楚地了解题目的要求。 3、应采用答案具有统一定论的试题。 4、一般不允许被试选择问题回答。 5、为避免被试将时间集中在某一个他所不会做的题目上而影响对其他题目的回答，最好在题目中给出回答本题所需的参考时间。,6、计算题,计算题是在试题中提供计算条件，提出计算要求，要求考生计算结果，有时还要件作出解答。 计算题的主要功能：测量考生解决问题的思维能力以及对运算技巧的掌握程度。 优缺点：评分客观准确，但编题较难。,四、教育测量分数的整理和分析,编制频数分布表 求组中值

20、 求全距 求组数 求组限 画频数分布曲线图,例题：有36名学生的数学考试成绩如下： 76716663 8883 77 72 68 64 42 627076 8179 73 71 66 41 55 65 47 67 74 86 78 92 74 84 67 72 76 74 49 68,2、编制频数分布表的基本步骤,求全距 全距最大数最小数 定组数 求组距 组距（全距1）/组数 定组限（分组的界限） （0-5，5-10，） 求组中值 组中值（上限下限）/2 归类划记,表6.336名学生数学考试分数的频数分布表,组中值 = 分数区间的最大值和最小值的平均数,图3-3 52名学生数学成绩分布图,人

21、数,50 55 60 65 70 75 80 85 90 95 100 成绩,分析频数曲线图,1、常态分布 即成绩中等的多，优秀和差的少，俗称“中间大，两头小”。学生的学业成绩呈常态分布，表明能正确、客观地反映学生真实的知识程度和能力水平。这是因为学生智力及其差异，一般是呈常态分配的；另外，教学大纲的制定、教材的编写、考试命题都是从大多数中等程度学生的实际出发，为大多数中等水平的学生经过努力能接受的。 2、正偏态分布 即低分人数很多，高分人数很少。学生的学业成绩呈正偏态分布，表明测试难度过大，考试要求过高，超越大纲和教材的要求；或者学生的基础差，应调整试题的难度或教学进度。,分析频数曲线图,3

22、、负偏态分布 即高分人数很多，低分人数很少。学生的学业成绩呈负偏态分布，表明测试较易，考试要求低于大纲或教材要求；或学生的基础好，应加大试题的难度和教学的进度。 4、驼峰型分布 即低分高分人数很多，中分人数很少。学生的学业成绩呈驼峰型分布，表明试题难度过大和过小的题较多，中等难度的太少；或表明学生基础相差悬殊，好的和差的学生多，中等程度的学生较少。,5、平波型分布 即中低高分人数差不多。学生的学业成绩呈平波型分布，表明大中小几种难度的试题比较接近，或学生的基础相差不大，试题区分度低，需要提高区分度。 6、陡峭型分布 即中分人数很多，低高分人数极少。学生的学业成绩呈陡峭型分布，表明难度中等的试题

23、比例过大，缺乏区分度或学生的基础相差不大，要提高试题的区分度。,学生的成绩分布曲线的形态多种多样，是教学过程中多种现象的反映，这些现象都是通过原因与结果的连续和交织形成的。 造成这种现象的原因是复杂的，往往与教师的教学态度、教学水平、教学经验有关，与学生的学习态度、学习基础、学习方法、学习习惯有关，与学校的思想政治工作和行政管理工作质量有关，与社会因素和家庭教育有关。,第五部分教育测验的常模及建立方法,第一节 百分等级常模 第二节 标准分数常模,第一节 百分等级常模,爸爸看到小丽的期末考试成绩单说，“上次你数学考了80，这次考了88分，有进步；语文才78分，比数学差多了，要努力啊，总分是多少，

24、我看看” 你认为小丽爸爸对小丽的成绩评价科学吗？,你来评一评！,原始分数又称观测分数，是观测直接所得、未经任何加工的数据。 原始分数没有普遍意义，而且不等距。 原始分数的参照点不同 学生各次考试所得的成绩不具有可比性 不同学科的成绩不具有可比性 不同学科的成绩不具有可加性,原始分数的不足,1、什么是常模 常模一个有代表性的样组在某种测验上的表现情况，或者说，是一个与被试同类的团体在相同测验上的得分的分布状况与结构形式。 参照测验的常模，对测验的分数进行解释与评价的测验，称为常模参照测验,一、常模及常模意义,有代表性的样组 常模团体，在建立测验常模过程中实际受测被试样组，代表着一个有明确定义的人

25、群。 测量某种身心特性 同一身心特性的测验可能多种多样 例如，在某地区范围内按一定方法选取600名小学四年级学生参加某种语文阅读理解水平测验。,2、测验常模注意事项,特定人群,特定身心特性,特定测验,3、常模的用途和导出分数,常模是解释测验分数的参照系 某学生的测验成绩与其他学生相比如何。 如：丽丽数学成绩在班级是什么水平？ 某学生在不同科目测验中成绩相比如何。 如：丽丽数学和语文哪门科目成绩更好？ 某学生在同一科目不同形式测验中成绩相比如何。 如：丽丽哪次数学成绩考更好？,3、常模的用途和导出分数,导出分数：以常模团体的原始分数为基础，用统计学的方法，导出一种新的、具有特定意义的、能反映个体

26、发展在其团体中相对位置状况的分数量表或符号系统。 原始分数参照体系导出分数,二、教育测验常模的主要类型,发展常模 某类个体正常发展过程中各个特定阶段的一般水平 包含年级常模和年龄常模 组内常模 同一身份的人在某种测验所测特性上的一般表现水平 包含百分等级常模和标准分数常模,1.年龄常模示例：格塞尔行为发展量表（婴儿发育常模）,1.年龄常模,（1）取平均值作为指标 基于不同年龄组测试所得的平均分，并与相应的年龄当量联系起来构成年龄常模资料。 （2）用一组题目作为指标 用一批能使某年龄组大多数被试都能通过的题目来代表该年龄组的发展水平。,2、年级常模,（1）概念：不同年级学生在某种测验上的正常的一

27、般表现水平。 （2）建立方法：利用某年级学生在某一测验上的平均分和相应的年级当量之间的对应关系来描述该测验的年级常模。 年级当量通常用两位表示，第一位为年，第二位为月。若假定1年有10个月在校接收教育，则三年级的年级当量范围为3.0-3.9。 例如：刚上小学三年级的一个有代表性的学生样组在某一“语文阅读技能测验”所得平均分为68分，则给这个分数安排一个3.0的年级当量；刚上小学四年级的一个有代表性的样组，在该测验上的平均分为76分，则给76分安排一个4.0的年级当量。,一系列的原始分数（平均值）和与之对应的年级当量构成该测验的年级常模表。,利用年级常模表将原始分数转化为年级当量，如此可以通过测

28、验来了解和评价学生的发展。 如：某学生4年级中期的算术、语文、阅读、外语四门学科成就测验的年级当量如下： 算术-5.5 语文-5.0 阅读-6.0 外语-4.5 评价：成就不错！,三、百分等级（PR）与百分等级常模 （一）百分等级 百分等级指在常模样本中低于这个分数的人数百分比值。 如：百分等级为85：表示在常模样本中有85%的人比这个分数要低。 再如：某学生期末语文统考卷面分75分，而其所在年级有80%的学生成绩低于75分，则该学生的百分等级为80。,在学科测验中，百分等级把学生的原始分数放在该学生所在群体成绩中进行比较，以确定该学生在群体中的相对地位之高低。 我们再来评价小丽的语文和数学成

29、绩,（二）百分等级常模,百分等级常模就是基于某个常模团体，为某种测验的原始分数与百分等级之间建立起对应关系的组内常模类型。,瑞文推理测验的百分等级常模,百分等级常模可以用于解释学生单一能力测验的成绩，以便了解该生的能力发展在其所属团体中的相对位置。 百分等级常模可以用于比较学生在不同学科上的发展状况。,（三）建立百分等级常模的方法,实例： 下面是52名学生在一项拼写测验上的成绩分布，请建立关于三年级学生此项拼写测验的百分等级常模。59,56,52,50,50,47,46,44,43,43,41,41,40,39,38,38,38,37,37,37,36,36,36,36,35,35,34,34

30、,33,32,32,32,31,31,31,30,30,29,29,28,27,27,27,25,24,22,22,21,21,20,17,17,59,56,52,50,50,47,46,44,43,43,41,41,40,39,38,38,38,37,37,37,36,36,36,36,35,35,34,34,33,32,32,32,31,31,31,30,30,29,29,28,27,27,27,25,24,22,22,21,21,20,17,17,=2/52,59,56,52,50,50,47,46,44,43,43,41,41,40,39,38,38,38,37,37,37,36,36

31、,36,36,35,35,34,34,33,32,32,32,31,31,31,30,30,29,29,28,27,27,27,25,24,22,22,21,21,20,17,17,=0.0385*100,在这次拼写测试中，小明和小花分别获得50分和35分，请分别对两人的成绩做出合理解释。,（三）建立百分等级常模的方法,1、基于未归类数据建立百分等级常模的方法 第1步：排序（从大到小） 第2步：统计次数（f） 第3步：计算以下累积次数（cf） 第4步：计算 “以下累积相对次数”（cRf） 第5步：确定百分等级（PR） 第6步：形成百分等级常模表,第二节 标准分数常模及建立方法,例：表一中是该班

32、两同学的期末考试成绩，问：（1）甲同学的语文和数学哪科相对较好？ （2）甲同学和乙同学相比，哪一个学业成绩较好？,2、正态分布下若干种评分体系之间的关系,（1）标准九分及其与百分等级和标准分数之间的关系,1,4,4,标准九分数的分布特点,正态Z分数与标准十的转换方法,标准十的分布特点,几种导出分数间的相互关系,第四部分 考试的教育测量学质量特性分析,教育考试的质量特性。从宏观上讲有信度、效度及可用度，从微观上讲，有题目的难度、题目的区分度，以及题目的教学敏感度等。,测验的信度（reliability），指测量结果或评价结果之间的一致性程度。也就是测量结果是否真实、客观地反映了考生的实际水平。无论是量的规定性，还是质的分析判断，高信度的测验或评价表意味着具有较好的误差控制能力。因此，信度是反映测量或评价表性能的一个重要的质量指标。 信度高低可以用信度系数r来表示，其值在0到1之间。,一、测验的信度,判断原则： 多年的研究结果，一般的能力测验和成就测验的信度系数都在090以上，有的可以达095；而人格测验、兴趣、态度、价值观等测验的信度一般在080085或更高些。 R原有的同类测验或相似测验。,二、测验的效度,效度是指测量结果的准确性和有效性的程度，亦即测量是否