试题命制的技术规范及其评析反馈（15-8.13）.pptx

1、试题命制及选编的技术规范 张会杰 华东师范大学考试与评价研究院 2015.8.13,利用测试促进教与学,命题的关注维度与核心概念,1,2,3,2,测试的发展趋势及教师测评素养的提升,4,大 纲,命题的技术规范：科学性、政治性与公平性,课程与教学的基本原理（Ralph Tayler，1949）： 学校应该达到哪些教育目标？ 提供哪些教育经验才能实现这些目标？ 怎样才能有效地组织这些教育经验？ 怎样才能确定这些目标正在得到实现？,3,以考试为主要手段的评价是教学的重要环节,以考试为主要手段的评价是教学的重要环节,课程与教学的基本原理（Ralph Tayler，1949）： 学校应该达到哪些教育目标

2、？ 提供哪些教育经验才能实现这些目标？ 怎样才能有效地组织这些教育经验？ 怎样才能确定这些目标正在得到实现？,4,测试与考核是“查明学习实际上带来多少预期结果的过程，能较全面地检验课程学习在实际上是否起作用，并指导教师去引发所期望的那种结果。”,考试：最具成效的学习策略,5,Jeffrey D. Karpicke. The Critical Importance of Retrieval for Learning,Science,2008.,适度频率的考试是学生成绩的重要保障,6,考试次数与学习成就的关系,考试从无到有，对学生学习成就产生的影响很大，效果量为0.34，使实验组学生学习成就百分等

3、级提升了13.5； 考试的频率与学习成就改善幅度有显著相关，在一个学期中教师开展考试的次数越多，学生学习成就水平提高越多； 当考试次数增加到5次以上，随着考试次数的增加，效果量的增长速度有所下降。 Banger-Drowns.R.L.，Kulik J.A. Kulik C C. Effects of Frequent Classroom Testing. The Journal of Educational Research，1991(2):89-99,7,利用测试促进教与学,合理的课程考核有利于学习效果的准确检验和学习的持续深化，在保障教育教学质量方面有着不容忽视的重要功效。 利用测试促进学

4、习：合理认识考试对知识长期而有效掌握的重要价值（自然属性）； 试题命制是考试与评价的核心环节和关键要素。需以教师测评素养的提升为突破口，充分发挥测试的积极效应以实现高效学习。,命题的关注维度与核心概念：试 题,Def,A test item in an examination of mental attributes is a unit of measurement with a stimulus and a prescriptive form for answering ;and it is intended to yield a response from which performanc

5、e in some psychological construct(such as an knowledge, ability, predisposition, or trait)may be inferred. (Osterlinter 1990A),定义,在教育与心理特质测试中，试题是一个测量单元，它具有刺激情境和对应答形式的规定，它的目的是获取被试的应答，并根据应答对考生某些特质方面的表现（如知识、能力等）进行推测。,9,试题命制的关注维度与核心概念,核心概念,赋分/评分标准,难度,题型及设问,试题情境,内容标准,认知要求,应答规范/参考答案,1,2,3,4,5,6,7,试题命制的关注维

6、度与核心概念,调控命题行为的规范性要求，是试题命制及选编应遵循的基础性原则。 技术规范在满足试题命题最低要求方面具有一定的普适性，只有遵循必要的技术规范，才能得到信效度较高的测试结果。 需要说明的是，技术规范的研制旨在为试题命制及选编提供满足需求的试题，技术规范不对实现试题功能的技术路线进行限制。,11,政治性,公平性,科学性,试题命制及选编的技术规范,试题命制及选编的技术规范,科学性是命题技术规范的核心内容，应千方百计避免因科学性错误诱发的测试风险。 试题必须明确测量的认知目标和涉及的内容领域（试题的设问其指向应清楚明确） 试题的情境材料、设问、标准答案及评分规则等的内在逻辑必须一致 试题应

7、着重考察重要的学习内容，不要考无关紧要的内容 试题题干语言简洁明确，不要包括无关的信息，务必规避歧义理解 试题应尽量避免超过课程大纲，避免过于专门化 试题选用的情境材料应具有教育意义 试题自身具有局部独立性,（一）普遍的技术规范 科学性,12,明确测量的认知目标和涉及的内容领域,13,试题设计必须首先明确该试题准备测量什么行为，该行为特征与哪些测量目标相关，希望考生用哪些内容领域知识来解决问题。,试题必须明确测量的认知目标和涉及的内容领域 （设问其指向应清楚明确:设问中有认知动词）,上海某小学 幼升小面试真题常识题（看图回答问题）。 例1：给出四张风景名胜图片，问哪个是上海的？ 例2：给出四张

8、人物（白雪公主、葫芦娃、诸葛亮、司马光）图片，问哪个人物从水中救出了小女孩？ 例3：地铁、摩托车、汽车、卡车，问哪个快？ 例4：看图后问：樱花、桃花、荷花、梅花哪种是属于春天的花？,14,（广州某名办 小升初“神题”）,15,例 ：近年来，食品问题接二连三地“冒”了出来，譬如：地沟油、毒奶粉、染色馒头、假牛肉等等，严重危害了人们的健康。对此，你最想对食品生产企业说的一句话是 。,16,标准答案：做人要诚信，赚钱也要讲道德，不能昧了自己的良心。,例：倾听文具们的呼声，写出你（主人）对它们说的心里话。（要求：礼貌而得体；不超过20字。） 直尺：因为我很直，主人可以用我来划直线。 铅笔：主人一旦不满

9、意，一切都可以擦掉重来，这是我的好处。 橡皮：利用我，主人能把一切错处擦得一干二净。 圆规 ：只要按照我的规矩做，就可以画出一个一个完美的圆。 主人 ：_,17,标准答案：（1）辛苦你们了，我们继续好好合作。（2）感谢你们，还请继续帮助我。,18,例 ： 下列说法不正确的是 保持心情舒畅 勤洗澡、换衣、保持个人卫生 合理膳食、不挑食偏食 节省时间，少参加体育锻炼,没有题干或刺激情境的试题。,例 ：照样子写词语 惭愧 、 、 、,19,此类试题，要求学生执行的认知过程（如分析、评价）及认知过程作用的对象是清楚的，但评价所基于的某种类型的知识或标准是含混的、游离的，极易导致学生随意的、漫无边际的评

10、价。,20,例： 某市地铁车厢、站内、室外空气质量对比 （单位：微克/立方米）,21,请写出你从表中得出的结论,标准答案：该市地铁站台的污染相当于达到了“严重污染”，而车厢内则相当于“轻度污染”（中度污染）。,试题的情境材料、设问、标准答案及评分规则等的内在逻辑必须一致，避免出现逻辑错误。,评分细则,STEP 4,STEP 3,STEP 2,STEP 1,标准答案,设问,情境材料,情境材料、设问、标准答案及评分规则等 内在逻辑必须一致,23,逻辑的严密及内在一致,阅读题：小蜗牛与喷气机,24,“直角”是等于90的角，不可以单凭目测就对是否是直角进行直接的判定。,逻辑的严密及内在一致,试题的题干

11、内容应该以客观事实性材料、科学原理或哲理材料为基础。 女：这么甜的烤白薯，多少钱1斤？ 男：西单卖4元，王府井也卖4元，还有些地方卖3块、2块。 问：下面哪种价钱他们没有提到？ A 1元 B 2块 C 3块 D 4块,25,语言类测试，试题语料要注重交际性，避免设计生活中没有的、生编硬造、不自然、不真实的语料。,例：安徒生是丹麦著名的童话作家，他的皇帝的新装，告诉我们要诚实做人；他的丑小鸭，告诉我们 。,逻辑的内在一致,26,标准答案：要不断进取。 试题的情境材料、设问、标准答案及评分规则等的内在逻辑必须一致，还要尽力避免纯粹以命题者的个人看法或意见为依据。,是真金子总会发光,例： （2007

12、高考文综全国卷I）史学家陈寅恪在评述：“武周之代李唐”的历史意义时说，此“不仅为政治之变迁，实亦社会之革命。 “此处”社会之革命是指( ) A.重用酷吏，实行法治 B.女皇当政，任用女官 C.扶植庶族，抑制士族 D.移风易俗，推崇佛教,逻辑的内在一致,27,标准答案C。 该文题干来自唐代政治史论述稿中的一句原文。陈先生认为：“武周之代李唐”之所以具有“社会之革命”的意义，不在于打击了一般的士族，扶植了广大的庶族，而在于结束了西魏以来一直占据政治中心的“关中本位政策”和关陇士族的统治。 从江西省抽样状况看，该题的难度值为0.36。,28,例：,逻辑的严密及内在一致,“加点词 在文中的意思是” “

13、画线句的作用” “概括第段的大意” “对 的描写在文中的作用” 出题人认为资产阶级具有软弱性，小资产阶级具有虚荣心，他认为是什么，考生一定要据此作答，否则就错了，就扣分。,29,“考试的”专制主义就是通过的高利害考试这个指挥棒，训练你迎合出题人的意见，千方百计揣摩出题人的意图。 一种理解，一种声音，一个标准答案。过于逼仄的封闭性，在无休止的迎合出题人的训练中，学生理性精神的学习和培养被忽视，学习乐趣被剥夺，生活乐趣被剥夺，不会独立思考。只会人云亦云，浮躁浅薄。 复旦附中特级教师 黄玉峰,30,现在的考试，大量的试题只认同一种即命题者的理解，其他的理解即使合理也常常不被认可。个别考卷大学教授有时

14、也答不对，就是因为他们的意见不同。 为了准确揣度出命题者的意思，大量针对答题套路的训练应运而生，学习活动被答题套路的训练所代替，变得机械和枯燥，学习本身的魅力冲淡； 上述命题方式所带来的负面效应备受批评。为什么要让学生的看法和你完全一样。只要作答的内在逻辑以致，就可赋分。,31,上述弊端的负面效应,着重考察重要的学习内容，不考无关紧要的内容,例：（九年级试题）在大堰河我的母亲这一书写方式中，篇名中的“”是（ ）。 A、连接号 B、间隔号 C、省略号 D、破折号,32,例：（九年级试题）下面这封感谢信，作者匆忙中忘写“敬礼”两个字，请你在适当的位置填上。,例：（高考题）右图喻示管理学理论中经典的

15、“木桶原理”，即木桶的蓄水量是由最短的那块木板决定的。这蕴涵的哲理是() A量变引起质变 B事物发展是不平衡的 C世界是变化发展的 D整体离不开局部,33,尽管试卷和试题不是教材，但它们依然承载着重要且独特的教育功能。,试题的情境材料应具有教育意义,学习者对考试尤其是大规模高利害考试的每一道试题的材料的印象可能远比其他材料深刻。,1,2,试题表述准确无误，杜绝各类错别字及语法差错,35,例：（2009年高考文综全国卷I第20题）法国人达尔让松在18世纪中期写道：“委托给大臣们的事务漫无边际。没有他们，什么事也办不了，只有通过他们，事情才能办成；如果他们的知识与他们庞大的权力有距离，他们便被迫将

16、一切交给办事员办理。”上述材料说明，当时的法国（ ） A专制王权强化B办事人员权力上升 C国王权力旁落D社会等级壁垒森严,36,从时间判断18世纪的法国是封建专制制度 ；从有效信息上看 ，“国王把大事全委托给大臣或办事员 ”从反面说明国王权力至上的特征 。,该试题题干来自旧制度与大革命第二编第六章中的原文（法托克维尔.冯棠 译，桂裕芳，张芝联，校.商务印书馆，1997.pp101），但在“办事员办理”后删掉了重要的一句“这些人便成了真正的掌权的人。”命题者给出的正确答案是“专制王权强化”，而原作的原意确是“国王权力旁落”。在选项的设计上，正确的选项应该与材料的观点保持一致。 从湖南省抽样情况看

17、，该题目的难度值为0.29，是学生出了问题，还是试题出了问题？,37,例：Mr. Hogg was on his way home. He had been out of work for two weeks and could not find another job. Today he hadnt had anything to eat and he had no money in his pocket. Suddenly ，a thin man with a gun in his hand appeared in front of him. “Dont move or shout. Pu

18、t hands on your head. Give me your money. “ The man said. Hogg didnt deare to move. ”But I havent hot any. “ Hogg said. With these words he pulled out his pockets, and they were all empty. The man didnt believe him. So Hogg told him everything. After hearing his story, the man put the gun away and took out five dollars, saying, ”We are in the same boat. Take this.” After he put the money into Hoggs hand, he went away quickly. Hogg