命题流程与质量保障.ppt

命题流程与质量保障,温州市教育教学研究院陈荣荣2012年3月,用标准提升教育质量成为国际共识,21世纪以来，世界教育进入了以提高质量为中心目标的时代，制定教育质量国家标准成为许多国家教育改革与发展的主要内容。国际教育标准主要涉及学术内容标准和教育质量标准。其中，学术内容标准明确学生应该知道什么和能够做什么，教育质量或绩效标准明确学生如何展示他们的掌握程度。基于标准提高教育质量、形成教育质量评估的一般模式、广泛开展教育质量监测、规范教师专业标准、加强立法保障，成为各国提升教育质量的共同举措。2012年1月31号中国教育版,评价过程三要素,确定对象,开发工具,评价工具,评价什么？,教育质量与学业质量学业质量与学业成绩学业成绩与考试成绩,几个核心概念的区别与联系,教育质量的内涵,教育质量与学业质量,联合国儿童发展基金会在教育质量定义中提出了教育质量的五个要素:学习者、教育环境、教育内容、教育过程和教育成果。,从宏观层面看，教育质量即整个教育体系的质量。学习者的个体层面、教育管理与行政结构的制度层面,从微观层面看，教育质量最终落在培养对象的质量上。学习者人作为质量的载体以及影响其学习质量的直接因素，其教育成果是质量的核心,有质量的教育旨在将学习者培养成为兼具个体、家庭成员、社会成员和全球公民四种角色能力的人；有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续发展的能力。,教育质量与学业质量,有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续发展的能力。,学业质量与学业成绩,可测性？,历史学科试题中日甲午战争,甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的马关条约内容是什么？对中国有什么危害？,日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？,历史学科试题中日甲午战争,学业成绩与考试成绩,学业成绩=考试成绩？,有效性？科学性？,如何评价？量尺的开发,何为健康？概念界定世界卫生组织对健康定义:“健康不仅是没有疾病,而且是指心理上和社会上的完满状态。”具体指标？框架构建世界卫生组织WHO新的健康标准10条如对一般感冒和传染病有一定抵抗力；如何检测？工具开发体检工具的开发与套餐的设计结果反馈？标准的设立各项指标的标准设定,健康体检,学业质量概念不清晰具体指标框架不完善检测量尺工具不科学结果反馈标准不稳定,学业质量评价现状与问题？,如何评价现状与问题？,？命题需要哪些人员,课程专家教研员、教师测量统计,PISA简介,“国际学生评价项目”(ProgrammeforInternationalStudentAssessment，简称PISA项目)是由经济合作与发展组织(OECD)启动，该项目在OECD成员国和其他部分非成员国中进行,PISA评价目的及内容,评价目的：以15岁在校生（接近义务教育末期）为评价对象，其主要目的是了解并比较各国15岁学生为未来生活的准备情况，了解他们是否具备分析、推理和沟通能力，了解他们是否具备终身学习的能力。评价内容：主要是生活所需要的基本知识和技能:阅读素养、数学素养、科学素养以及问题解决能力，重点考查学生运用所学知识和技能解决日常生活问题的能力。此外，还收集学生的学习态度、学习策略、家庭背景以及学校因素等影响学生表现的背景信息。PISA项目是一种前瞻性评价。,PISA测试形式及发展,从2000年起，每隔3年进行一次每次以一个学科（数学、阅读、科学）为主，其他两门学科占1/3各参与国随机抽取4500-10000名15岁的学生.完成两个小时的纸笔测验和20-30分钟的问卷被调查学校的校长也要完成一份20分钟的问卷,数学素养,一个有创新精神、关心他人及有思想的公民所应具有的数学能力：即能判断和理解数学在现实世界中的作用；能运用数学做出有充分根据的决策；能在个体生活需要时使用和渗透数学,科学素养,利用科学知识识别科学问题并能得出有根据的结论，以便能理解自然界以及人类活动造成的变化，并有助于做出相关的决策。,阅读素养,理解，使用和思考书面文本的能力，以达到个人目标，增长知识、发挥潜力并参与社会,评价三维框架,过程维度再现、回忆（reproduction）,这部分能力主要在相对熟悉的题目中起作用，主要是要求再现练习过的知识，包括熟悉、常规的数学过程和计算。如下例：解方程7x-3=13x+15;,连接能力基于再现能力，解决的不再是简单的常规问题，是原来熟悉问题的微小扩展和超越，需要更多解释，并且要求在情景的不同表征间形成联系，或者把问题情境的不同方面联系起来以获得解题方法。如下例：等你开车开到三分之二路程时，你的油箱已由原来的满箱到只有四分之一箱，问：是否能用这些油到达终点？,过程维度连接（connection）,过程维度反思（REFLECTION）,连接能力基于再现能力之上。要求学生能够综合运用知识技能分析确定具体情境下的数学要素；创造性地辨别相关的数学概念，联系相关的数学知识解决问题，并提出论据进行论证；同时还要去学生对问题解决的过程、结果、方法进行反思。,29,PISA样题,2006年pisa科学评价框架,知识纬度,科学探究起源（如好奇心、科学问题）、目的、实验、数据、测量、科学结果的特征（经验证的、试验性的、可验证的、可证伪的、自我校正的）科学解释种类（假设、理论、模型、科学规律）、形成（既有的知识和新的证据、创造力和想象力、逻辑）、法则（逻辑一致性、以证据为基础、以历史和当前的知识为基础）、结果（新知、新方法、新技术、新研究）,显性知识,隐性知识,能力纬度,样题酸雨,下图是被称作廊台的六尊女像柱雕像，建立于2500年前的雅典卫城。雕像由一种被称为大理石的岩石雕刻而成，大理石成分为钙的碳酸盐。由于酸雨腐蚀，原始雕塑在1980年被转移到博物馆内，由复制品取而代之。,问题1正常的雨水略带酸性，因为它从空气中吸收了一些二氧化碳。酸雨比正常的雨水更酸，因为它还同时吸收了如硫氧化物和氮氧化物之类的气体。空气中的硫氧化物和氮氧化物是从哪里来的？对现象进行科学地解释,样题酸雨,问题2一片大理石薄片在被浸泡在醋里一整夜之前的质量是0.2克。隔天大理石薄片被取出并且干燥，干燥后大理石薄片的质量将会是多少？A少于0.2克B精确的0.2克C在2.0克至2.4克之间D多于2.4克使用科学证据,问题3学生把一份大理石浸没在醋酸溶液中一夜，同时把另一份大理石放在蒸馏水中一夜，解释做后一步骤的原因。识别科学问题,态度纬度,样题酸雨,科学兴趣,科学探究,样题酸雨,问题6化石燃料的燃烧（煤炭、石油、天然气）导致了酸雨的量。下面给出了四个观点，选择一个和你观点最接近的答。对资源和环境的责任A.我认为酸雨不足以构成导致我们改变使用化石燃料的问题。B.采取行动减少酸雨的量是好的，如果不影响我的生活方式的话我会支持。C.为了减少酸雨，如果每个人都这样做的话，我会减少对化石燃料的依赖性。D.为了减少酸雨，我会减少燃料化石的利用。,TIMSS简介,“国际数学和科学趋势研究”(TrendsinInternationalMathematicsandScienceStudy简称TIMSS项目)国际教育成就评价协会组织(InternationalAssociationfortheEvaluationofEducationalAchievement，简称IEA),评价目的：了解各国计划数学、科学课程的实现程度评价对象：主要为四年级和八年级学生评价周期：每4年一次1970(19个)1980(24个)1995(40个)1999(38个)2003年有近50个国家和地区(包括中国香港、中国台北等地区)参加了TIMSS项目。,TIMSS测试形式及发展,2007年Timss数学测试框架,2007年Timss数学测试框架认知领域,2007年Timss数学测试框架认知领域,2007年Timss数学测试框架认知领域,2007年Timss科学测试框架内容领域,2007年Timss科学测试框架认知领域,2007年Timss科学探究,表述问题和假设设计探究过程记录表示数据分析和解释数据得出结论，进一步解释及拓展,试卷结构要素,内容维度能力维度情境维度单选题、多选题、封闭式简答题及开放式简答题难度结构,结构决定性质，性质决定功能,PISA数学素养评价框架各维度的试题分布图,2019/11/27,52,内容结构及比例（%）,TIMSS数学素养评价框架各维度的试题分布图,2019/11/27,认知维度比例（%）,TIMSS数学素养评价框架各维度的试题分布图,双向细目表,试卷命制的布局分布图,甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的马关条约内容是什么？对中国有什么危害？,历史考题中日甲午战争,日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？,历史考题中日甲午战争,58,测试目标、测试框架、试题属性，试题内在一致性,案例,某地区平均得分率：82.1%,试题目标：理解混合运算的顺序,某地区平均得分率：74.2%在错误的答案中，396约占40%,3.,2019/11/27,61,案例,2019/11/27,62,典型作答,2019/11/27,63,典型作答,2019/11/27,64,访谈了两所学校（12人），总结：多部分学生的作答跟表中数据无关，没有利用数据做合理判断的意识；部分学生已经有了利用数据做判断的意识，但学生的理由比较模糊。2位学生从平均角度做答。,反思：试题本身提问方式三年级学生利用数据做合理判断？,命题流程,小规模预测,题目表述是否清晰、准确背景学生是否熟悉学生的作答，以及是否与命题预设一致选择题选项支的设置，是否有迷惑性；主观题学生作答情况等，为试题修改和评分标准的初拟提供信息。,试题的有效性及科学性,案例,考查能力：理解概念考查目标：理解数位的意义，并能比较大小,现状：得分比率过低，且A选项比例过高分析：可能是学生在组合比较数据由于数量级悬殊不大，造成了学生比较的难度建议：将数字9改成数字8。修改如下：,69,案例PISA样题,小明用同样长的两根铁丝围成了如图的甲、乙两个图形，比较它们的面积，那么（）A乙比甲大B甲比乙大C一样大D无法比较,案例,A、B、C水平学生的平均得分率分别为：78.8%，46.9%，28.2%。,这是一幅南极洲地图,请利用图中的比例尺估计它的面积,并解释你是如何得到的.,案例评分标准的设计,案例评分标准的设计,2019/11/27,74,反映试卷总体难度及试题难易程度的分布学生的作答时间反映试题的质量（区分度、难度、信息量等）学生的作答结果为试题修改和评分标准的完善提供信息。,大规模预测,案例选择题,2019/11/27,76,试卷质量保障,命题过程力求科学规范质性分析与量化分析结合开展学生研究题库建设,如何评价工具？反馈与保障,试卷分析报告,1.关注试题，忽略试卷量尺科学性2.关注结果，忽略过程诊断试卷本身、学生思维障碍3.关注教学，忽略命题导向性,试卷分析指标标尺的科学性,信度一致性、可信度效度有效性难度分数分布,2011年中考科学试卷数据分析表,试卷分析2011年总分频数分布图,负偏态？,试卷分析2011试卷信息函数,后5%,前12%,前40%,试题分析指标,难度区分度选项分布（采分点）点二列相关能力值,试题分析指标难度,难度指标（通过率或得分率P值）,案例主观题,案例选择题,试题分析指标区分度,87,将学生能力按照测验的总分分为高分组（前25%-33%）和低分组（后25%-33%），计算两个组在某道题目上通过率或平均分数的差异：DPHPL,鉴别指数,将学生能力按照测验的总分分为高分组（前25%-33%）和低分组（后25%-33%），计算两个组在某道题目上通过率或平均分数的差异：DPHPL,88,案例选择题,中考科学试题难度区分度分布图,试题分析指标选项比例,案例选择题,案例选择题,试题分析指标采分点比例,94,案例