教育测验编制与数据处理初步

1、教育测验编制与数据处理初步第1页，共77页，2022年，5月20日，16点59分，星期三教育测验编制的基本步骤第2页，共77页，2022年，5月20日，16点59分，星期三测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量使用阶段1阶段2阶段3阶段4题目分析测验分析第3页，共77页，2022年，5月20日，16点59分，星期三1、赵裕彤的学习水平可以考入大学2、李燕存在几个四则混合运算的概念问题3、张天的反应速度比较慢，记忆力不是很好4、李老师的班比我班的数学好5、我最近的教学效果提高了评价目的的制定第4页，共77页，2022年，5月20日，16点59分，

2、星期三1、了解和确定学生学业水平的一般情况学业水平测验、选拔性测验升学、分班、排名、学校评估2、鉴定和诊断学生学习中的问题（认知）诊断测验提高学习和教学针对性评价目的的制定第5页，共77页，2022年，5月20日，16点59分，星期三了解学业水平一般情况题号学习内容8（三）（2）9（七）（1）10（八）（2）11（九）（2）12（十三）（3）13（十三）（5）14（十六）（2）15（十九）（1）16（二十二）17（二十三）（3）18（二十三）（1）19（二十三）（6）20（二十三）（8）21（二十三）（9）题号学习内容23（三）（1）24（五）（3）25（十）（1）26（十七）（1）27（二十

3、三）（8）30（五）（1）、（十三）（8）31（十二）（2）32（九）（5）（6）、（二十三）（3）（9）33（二十三）（8）34（一）（3）、（七）（1）、（2）35（六）（1）（2）、 （八）（2）、（九）（3）（4）36二十二第6页，共77页，2022年，5月20日，16点59分，星期三了解学业水平一般情况算术几何代数测量统计选择307129260简释101860034问答131300026论文0030003053384892150%35.325.33261.3100第7页，共77页，2022年，5月20日，16点59分，星期三请看以下学生对评价任务的回答： 307- 182 285 8

4、56- 699 157 835- 217 618 606- 568 168 308- 287 181诊断性测验第8页，共77页，2022年，5月20日，16点59分，星期三诊断性测验的设计基础两分数相加将复合分数置换为假分数最小共分母分子相加最小共倍数寻找等分数答案 =分子总合最小共分母答案将假分数置换为复合分数分数简化cf. Marshall,1980第9页，共77页，2022年，5月20日，16点59分，星期三题目分析测验分析测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量使用阶段1阶段2阶段3阶段4第10页，共77页，2022年，5月20日，16点

5、59分，星期三测量的变量与属性主要回答测验考察什么的问题？主要依据：1、相关的课程标准2、当前的学习内容3、学生的学习情况 第11页，共77页，2022年，5月20日，16点59分，星期三课程标准案例数学课程标准1：数学作为一种问题解决 四年级数学学习应该强调问题解决，学生能够 用问题解决的方式研究和理解数学内容从日常数学情景中形成数学问题形成并运用各种策略解决各种数学问题能验证和解释问题答案或结论在运用数学解决有意义的问题过程中获得信心 NCTM： 美国国家数学教师委员会第12页，共77页，2022年，5月20日，16点59分，星期三课程标准作为学习和考试目标概括化的学习目标较为具体的学习目

6、标更为为具体的学习目标知识理解知道概念的含义理解科学原理能找出概念的定义能找出给定描述所对应的概念能匹配概念与相应的图能区分该概念与其他概念的区别能用自己的话陈述该原理能找出符合该原理的例子能解释两个原理间的关系能基于原理提出合理假设第13页，共77页，2022年，5月20日，16点59分，星期三学习和考试的学科内容电子控制技术（通用技术选修模块1）一、传感器1、常见传感器的认识2、传感器的作用与应用二、数字电路1、数字信号特性、电路符号、波形图2、常见数字集成电路类型、安装与设计三、电磁继电器1、常见电磁继电器的类型、构造和工作原理2、常见电磁继电器的使用第14页，共77页，2022年，5月

7、20日，16点59分，星期三测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量使用阶段1阶段2阶段3阶段4题目分析测验分析第15页，共77页，2022年，5月20日，16点59分，星期三测验蓝本的制定确定期望学生达到的学习目标确定相应学习内容的范围确定学习内容与目标的比重确定题目类型和难度的分布第16页，共77页，2022年，5月20日，16点59分，星期三测验蓝本的制定识记理解应用%传感器515183833数字电路822104034电磁继电器916133833225341116100%194635第17页，共77页，2022年，5月20日，16点59分，

8、星期三测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量题目分析测验分析使用阶段1阶段2阶段3阶段4第18页，共77页，2022年，5月20日，16点59分，星期三开发选择测验任务核心问题： 任务与目标一致性学生在完成测验任务中所表现出来的认知活动和水平与预期的考试目标所要求的相一致其他考虑：1、题目类型是否适合测量相关的认知活动2、题目类型的设计的难易度3、评分的难易度4、对内容和认知覆盖程度5、信度第19页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：简答题1、术语、事实、原理或方法的知识2、对数据或现象的简单解释3、问题解决能

9、力比较适合考察优点与不足不足： 不适合考察复杂的学习结果优点： 1、容易命题2、减少猜测第20页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：简答题术语、事实、原理或方法的知识考察目标案例在气体温度恒定的条件下，如果气压增加，气体的体积会怎样？（变小）在气体温度恒定的条件下，如果气压增加，气体的体积会（变小）第21页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：简答题对数据或现象的简单解释考察目标案例在数字612中，数字6代表的数值是多少？答： 600第22页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：简答题问题解决能力

10、考察目标案例超市中200毫升装的牛奶卖10元钱，600毫升装的牛奶卖25元，请问买大包装的牛奶可以省多少钱？第23页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：多选题1、术语、事实、原理或方法的知识2、原理或概念的应用3、因果关系的解释4、对方法或程序的论证比较适合考察第24页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：多选题术语、事实、原理或方法的知识考察目标案例如果你进行对某个问题的科学研究，第一步应该：A 收集相关信息 B 形成检验假设C 设计实验方案 D 选择实验仪器第25页，共77页，2022年，5月20日，16点59分，星期三开发

11、测验任务：多选题因果关系的解释考察目标案例面包放在冰箱中不会很快发霉的原因是：A 低温会减缓真菌的生长B 黑暗会减缓霉的生长C低温防止面包水分丧失D 霉的生长同时需要光和热第26页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：多选题原理或概念的应用考察目标案例下面属于一个化学元素的例子的是：A 酸 B 食盐 C 氧气D 水第27页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：多选题对方法或程序的论证考察目标案例为什么一个平衡的养鱼缸需要充足的光照？A 鱼需要光照看到食物B 鱼在黑暗中需要氧气 C 植物在黑暗中释放二氧化碳D 植物在黑暗中生长过快第

12、28页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：解释性任务考察目标：推断能力材料：到13世纪末，欧洲已经建立了几个有名的大学。当然，它们与今天的大学区别很大。波西尼亚大学是其中最早建立的大学之一，也是最广为人知的大学之一。学生从全国各地而来，希望得到罗马法律的最好的教育。特别喜欢哲学和神学的学生去了巴黎大学。想学医学的人去了蒙特培勒大学和萨勒努大学。题目： T F N 那时候人们之间偶尔会有法律纠纷 T F N 教授们薪水很低 T F N 中世纪的人对高等教育不感兴趣第29页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：解释性任务考察目标：合

13、理推广的能力题目： S R N 美国2534岁的男女性完成高等教育的比例差距最小 S R N 大学入学政策对男女申请人的对待不公平 S R N 不分男女，美国2534岁的人完成基础教育的比例最高国家基础教育(男）高等教育(男）基础教育（女）高等教育(女）德国9113.786.711.3日本89.334.291.811.5美国86.125.188.224.9第30页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：论述题材料：目前公众普遍认为，吸烟对吸烟者本人以及吸二手烟的人的健康是有害的。许多城市已经颁布了法律禁止在公众场合吸烟。有人认为， 这样的规定违反了吸烟者本人的选择

14、自由。（A）你是否同反对禁烟的人的观点（ B）论证你的立场第31页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：论述题理解水平详细描述扩展性抽象水平 (Extended Abstract)该水平上的反应不仅包括所有相关的信息，而且整合了问题中所没有提及，然而与问题解答相关的信息。联系水平 (Relational)该水平反应整合了问题所提及的所有相关信息。准联系水平 (Semi-Relational)该水平反应将问题中提及的部分,但不是全部相关信息综合成一个自圆其说的解答前联系水平 (Plural)该水平上的反应运用了问题提及的多种相关信息(不是全部),但没有将其加以综合

15、单一水平 (Unitary)该水平上的反应只运用了问题提及的一种相关信息前结构化水平 (Pre-Structural)该水平上的反应只包括无关信息第32页，共77页，2022年，5月20日，16点59分，星期三开发测验任务：表现性题目利用提供的工具：灯泡、电池和电线，找出左边6个不可视箱子中是右边五种不同组合的哪一种？注意：有两只箱子中的东西是一样的。 ABCDEF提示：你可以将箱子连到某个电路中两节电池电线灯泡电池和灯泡空箱第33页，共77页，2022年，5月20日，16点59分，星期三测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量题目分析测验分析使

16、用阶段1阶段2阶段3阶段4第34页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目分析1、题目效度2、题目难度3、题目区分度4、题目公平性 （题目偏差分析）第35页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目效度某个题目是否考察了我们想要考察的东西？第36页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目效度如果 X2 +X-3 =3, 那么 X=?如果 X2 +X-3 =3, 那么 X=? -2B. 1C. 2D. 3第37页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目效度项目解决

17、的认知访谈通过言语报告了解：学生对题目表述的理解是否与预期一致学生解答题目的过程是否与预期一致限制或促进学生解答的因素（题型、关键词、选项）其他可能因素第38页，共77页，2022年，5月20日，16点59分，星期三六、Choose the word or expression which is closest in meaning to the underlined part in each sentence. A. want to B. is a shop assistant C. stopped D. people who are ill E comes home from work(

18、) 1. Lucy usually sells things to people. ( ) 2. Nurses help doctors to look after sick people.( ) 3. They would like to be policemen in the future. ( ) 4. He usually finishes work at 9 p.m. ( ) 5. My grandfather gave up smoking many years ago.ells things to people. 测验质量分析：题目效度第39页，共77页，2022年，5月20日，

19、16点59分，星期三A你能给我说说这道题的答题要求是什么吗？S他的要求就是选择和划线部分意思相近的单词。A这个大体过程中你觉得哪些答案不确定？S第5题跟第2小题。A好吧，你为什么感觉第2小题不确定呢？sick people你理解的是什么意思？S sick people就是生病的人，D的意思我没有理解，就是D的选项。A people who are ill不太明白是什么意思对吗？S是的A第五题你现在选的答案是什么？S CA那你为什么选C呢？S因为选好之后就剩最后一个了，就填上了。测验质量分析：题目效度第40页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目难度学生题目1

20、题目2题目3题目4题目5总分111110112101101431011015401111145110111360010097110009810111149100118101001011题目难度0.80.40.60.80.411.8第41页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目难度学生题目1题目2题目3题目4题目5总分155432192223121034433216422212955535422611223971231188413451795344319102233414题目难度3.12.73.02.72.8第42页，共77页，2022年，5月20日，16点5

21、9分，星期三测验质量分析：题目难度得分人数百分比031.5194.523919.534522.54703553417总数200100第43页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目区分度题目能否将不同水平的学生区分开来？具有区分度的题目的特征：1、测验总分高的学生答对该题目的概率应该高于得分低的学生 （该题目与总分有高相关）2、如果把学生按照总分分成高分组、低分组和中间组，高分组答对该题的比例应该比低分组高第44页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目区分度第45页，共77页，2022年，5月20日，16点59分，星期三测验

22、质量分析：题目区分度第46页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目选项分析第47页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目公平性能力对照组关注组第48页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：题目公平性第49页，共77页，2022年，5月20日，16点59分，星期三测验编制的基本流程测验对象评价目的测量变量或属性开发测验蓝本开发选择评价任务鉴定测验质量题目分析测验分析使用阶段1阶段2阶段3阶段4第50页，共77页，2022年，5月20日，16点59分，星期三测验质量分析：测验分析信度分析1、复本

23、信度2、再测信度3、内在一致性信度4、决策一致性信度效度分析1、内容方面的证据2、结构方面的证据3、参照标准方面的证据第51页，共77页，2022年，5月20日，16点59分，星期三测验分析：测验分数某个测验30个题目， 20个选择题（每个2分）， 8个简答题（每个5分），2个论述题（每个10分）第52页，共77页，2022年，5月20日，16点59分，星期三测验分析：经典测量理论观测分数真分数测量误差第53页，共77页，2022年，5月20日，16点59分，星期三测验分析：测量误差T=403436414445X第54页，共77页，2022年，5月20日，16点59分，星期三测验分析：误差方差

24、与标准差第55页，共77页，2022年，5月20日，16点59分，星期三经典测量理论：测量误差XT第56页，共77页，2022年，5月20日，16点59分，星期三经典测量理论：（理论）信度第57页，共77页，2022年，5月20日，16点59分，星期三经典测量理论：平行复本的概念1、同一测验的两个版本2、符合相同的测验蓝本（双向细目表）3、相同题目难度分布和区分度分布4、每个学生在两个版本上的真分数相同5、两个版本的测量误差的方差相同6、两个版本的总分分布相同第58页，共77页，2022年，5月20日，16点59分，星期三复本一复本二849050319788583180778176615181

25、72626939337769767462423051695621368792656073815360复本信度第59页，共77页，2022年，5月20日，16点59分，星期三时间一时间二84905031978858318077817661518172626939337769767462423051695621368792656073815360再测信度第60页，共77页，2022年，5月20日，16点59分，星期三内在一致性信度克朗巴赫 系数测验中的题目之间的相关越高， 内在一致性信度越高第61页，共77页，2022年，5月20日，16点59分，星期三内在一致性信度系数第62页，共77页，202

26、2年，5月20日，16点59分，星期三决策一致性信度适用于标准参照测验在标准参照测验中，我们更关心学生是否达到预先规定的标准（达标）在常模参照测验中，我们更关心学生与其他人相比考试成绩的相对位置如何第63页，共77页，2022年，5月20日，16点59分，星期三决策一致性0.40.10.30.2未达标达标未达标达标基于测验版本一的结果基于测验版本二的结果0.70.30.50.5P=0.4+0.2=0.6第64页，共77页，2022年，5月20日，16点59分，星期三决策准确性0.40.20.10.3未达标达标未达标达标学生实际达标情况基于测验分数决策结果0.50.50.60.4P=0.4+0.3=0.7第65页，共77页，2022年，5月20日，16点59分，星期三影响测验信度大小的因素r =.225r =.725测验信度系数的大小受所测样本变异性的影响第66页，共77页，2022年，5月20日，16点59分，星期三影响测验信度大小的因素