上海学生学业质量绿色指标提出的背景内容及目前的进展PPT幻灯片.ppt

1、上海市教委教学研究室 上海市教委基础教育质量监测中心 2014年3月4日,上海市“绿色指标”评价实践操作程序及要点,1,上海绿色指标评价改革目标与任务,总体目标： 一是形成富有时代特色、地方特点、科学多元的中小学教育质量综合评价体系，推动上海基础教育转型发展和素质教育全面落实。 二是发挥科学评价的指挥棒作用，以中小学教育质量评价改革实验推动教育教学诸领域的变革，形成区域改革实验成果，逐步辐射有效经验。,具体任务： 1.形成比较完善的中小学教育质量评价指标体系。 2.形成比较科学的中小学教育质量评价办法。 3.形成比较健全的中小学教育质量评价制度。,2,上海绿色指标评价改革实践方案,3,绿色指标

2、操作程序及要点,评价指标的内容,工具研发,报告撰写,数据处理,结果应用,考务工作,评价指标的设计依据,阅卷评分,4,1,5,评价指标的设计依据,1、上海基础教育发展过程中亟待解决的问题 上海15岁学生参加PISA2009、2012测试，在阅读、数学、科学三个方面均取得了第一名的成绩。2009上海学生每周课内外上课时间的总量（34.8小时）位居参与国（地区）第12位。2012上海学生每周作业时间11.8小时。,6,2、学业质量的上海理解 学业水平：考试的结果、达标的程度； 学业质量：学业水平+结果的品质； 水平结果+取得水平结果的路径、代价； 学业质量概念的构成性、关联性与发展性。,评价指标的设

3、计依据,7,3、国际大规模测试的关注点 如PISA、TIMSS和NAEP等都采用背景问卷的方式来了解影响学生学业成就的因素。这些因素一般分为学习者、课程教学、学校及教育制度四个维度。学习者层面主要包括性别、家庭社会经济背景、自我认知、学习动机以及教育期望等；课程教学层面包括教学策略、课堂气氛、教师支持等。,评价指标的设计依据,8,4、历年学业质量调查的实证数据基础 自2006起，一直参与教育部基础教育课程教材发展中心“建立中小学生学业质量分析、反馈与指导系统”项目，从该项目的调查结果中提炼出与学业成绩密切相关的因素，如睡眠时间、作业时间、师生关系、教师教学方式等。,评价指标的设计依据,9,2,

4、10,评价指标的内容,学生学业水平指数：标准达成+高层次思维+成绩均衡 学生学习动力指数：学习自信心+学习动机+学习压力+对学校认同度指数 学生学习负担指数：负担综合指数+负担分项指数。 师生关系指数：尊重学生，平等对待学生，信任学生 教师教学方式指数：教师自评指数+学生评价指数 校长课程领导力指数：决策计划+组织实施+管理评价 学生社会经济背景对学业成绩的影响指数学生品德行为指数：自尊、尊重、诚信、责任、公德 身心健康指数：近视率、肥胖率、身体素质、幸福感 跨年度进步指数：学习动力+ 师生关系+ 学业负担变化,11,评价指标的数据获取方式,学科测试卷：学生学业水平指数 背景调查问卷： 学生品

5、德行为指数 学习动力指数 学业负担指数 师生关系指数 学生社会经济背景对学业成绩的影响指数 教师教学方式指数 校长课程领导力指数 学生体质健康测试：身心健康指数,12,评价对象,评价对象：学生（小学四年级、初中九年级）、教师、校长 调查时间：每年10月份 （1）由于调查时间安排在10月份，实际上学科测试的内容为小学3年级和初中8年级的内容。 （2）教师：该年级被调查学科的任课教师。,13,3,14,工具研发,基本流程,组建相关研发团队（学术基础、团队、工作意向） 工作程序 （1）研发测试框架 （2）试题征集 （3）30人试测、6名学生口语报告 （6套） （4）300人试测 （6套） （5）试题

6、评审（4套） （6）正式测试卷（2套）,15,工具研发,学科测试框架,16,工具研发,学科测试框架,17,工具研发,学科测试框架,框架与样题 各个维度题量比例 试题难度分布,18,工具研发,试题征集或开发,基于课程标准的基本要求 能力导向 情境性试题,19,工具研发,300人试测,难度 区分度 每个项目上的作答比例,20,工具研发,试题评审,评审专家组对每一道试题进行专业判断 （优、良、中指出可能存在的问题，提出修改建议） 命题专家进行回应与解释 （接受意见进行修改；提出不修改的理由）,21,工具研发,问卷框架,学生问卷：学生基本情况；学习自信心；学习动机；学习压力；学生对学校的认同度；学业负

7、担（睡眠时间、做作业时间、补课时间）；师生关系；对教师教学方式的评价；品德行为（理想信念、公民素质和健全人格） 教师问卷：教师基本情况；教师对课程的看法；对学校管理的看法；面临的困难；教学观和教师专业发展；教师教学方式（因材施教、互动教学和探究与发展能力） 校长问卷：学校基本情况；校长办学理念和教育观；校长的学校管理方法；课程领导力（课程决策与计划、课程组织与实施、课程管理与评价）,22,工具研发,问卷编制,概念界定 收集资料（公开发表的量表、PISA问卷、TIMSS问卷、NAEP问卷；对学生进行访谈） 编写试题 小范围测试（用学生的视角看试题的陈述） 形成问卷 大规模测试后，再根据数据进行修

8、改完善。,23,工具研发,问卷实例,师生关系,哪个学科的老师符合下面的说法（可以多选， 也可以不选）,24,工具研发,问卷实例,睡眠时间,25,4,26,考务工作,基础信息上报,1、按照规定的表格上报完整的信息 2、学生基础信息中包含的内容有：区县名称、学校名称、学校类型、学校性质、学籍号、姓名、性别、年级、班级、户籍。其中学校类型分别为：小学、初中、完中和九年一贯； 学校性质分别为：公办、民办、随迁子女民办学校； 户籍分为本市户籍和非本市户籍。,27,调研形式：抽样调查 全体调查 抽样调查：符合教育部相关文件精神；数据处理复杂，需要计算权重和抽样误差。 全体调查：组织方便；可具体到班级、个体

9、层面做分析 抽样： 区县抽样、学校抽样、学生抽样。,考务工作,抽样设计,28,小学样本量： 年级人数=50 全测 50年级人数=100 抽50人 100年级人数=200 抽75人 200年级人数=300 抽100人 300=年级人数 抽150人 抽样方法：等距抽样 测试安排：每位学生均参加语文、数学学科测试及问卷调查,考务工作,抽样设计,29,中学样本量： 年级人数=100 全测 100年级人数=150 抽100人 150年级人数=220 抽150人 220=年级人数 抽200人 抽样方法：等距抽样 测试安排：每位学生均参加语文、数学（或外语、科学）学科测试及问卷调查,考务工作,抽样设计,30

10、,考务工作,编排准考证号,准考证号用11位数字表示，其中1-2位为区县代码；3-5位为学校代码；6-7位为考场代码；8-9位为题组代码；10-11位为座位号。 1-2：区县代码，事先规定好给区县。 3-5：学校代码：同一区县内，小学与中学的学校代码分开编写；一贯制学校内中学部和小学部各用一个学校代码；同一个学校，不同的校区用不同的代码。同一个区县内可以按照001、002的顺序依次往后编写。 6-7：考场代码，同一个考点内，考场代码按照01、02的顺序依次编写。 8-9：题组代码，小学四年级语文、数学代码为13；中学九年级语文、数学代码为25，英语、科学代码为26。 10-11：座位号，按照 0

11、125的顺序依次编写。,31,考务工作,统计测试材料,1、统计测试材料数量，与印厂交接,32,考务工作,统计测试材料,2、编制测试材料区县下发清单，与区县交接,33,考务工作,其他事项,1、编写考务手册 2、召开区县考务会议 3、设计巡考方案，组织巡考 4、测试材料清点、回收 5、答题卡扫描,34,5,35,阅卷工作,1、制定主观题评分标准，形成评分手册 2、组织阅卷教师，并对阅卷教师进行评分标准的培训 3、商讨题组分工，并确定阅卷评分模式，即是单评还是三评，以及评分误差的阈值。,36,6,37,数据处理,38,数据处理,等值设计,问题情境：2014年测试、2015年（2016年）测试，学生的

12、学业质量是提升了还是降低了？幅度有多大？ 试题难了分数低，试题容易分数高，直接比较不科学。 方法之一：,39,数据处理,等值设计,等值卷：又称为铆卷，与测试卷的结构、题型相同。 通过等值卷作为桥梁，找到不同年度测试卷之间的关系。不能公开；每年选择有代表性的学生群体进行测试。,40,数据处理,分数计算,原始分数：根据命题人员制定的赋分规则，汇总统计的分数。 标准分数：通过对原始分数进行转化后得到的分数。 量尺分数：利用试题的难度、区分度等参数，对学生的作答进行统计处理得到的分数，不同年度间可以比较。 主要依据IRT理论进行分析。通常采用的是Rasch模型，使用CONQUEST软件进行处理。 软件

13、处理后得到的结果有每个学生的分数、每道试题的难度、特征曲线等数据。,41,数据处理,等级划分,目前国际上普遍采用的是修订Angoff法和书签法（Bookmarkprocedures）将学生的学业成就表现划分为不同的等级。,42,数据处理,能力表现描述,主要回答在语文（数学、英语、科学）学科上“优秀”、“良好”、“合格”的学生具有什么样的能力，能解决哪些问题，“不合格”的学生不具备什么样的能力。,43,数据处理,问卷计分,例：你对以下问题的看法如何？ 我很愿意参加集体活动 不同意 不太同意 不确定 比较同意 同意 方式一：按照“同意计5分，不同意计1分”的原则进行计分。 如果学生选择“不同意”，

14、则该生在这道试题上得1分，选择“比较同意”，则得4分。最后将学生在同一个维度的项目得分进行加总，就得到学生在这个维度上的总得分。,44,数据处理,问卷计分,例：你对以下问题的看法如何？ 我很愿意参加集体活动 不同意 不太同意 不确定 比较同意 同意 方式二：按照“比较同意”、“同意”计1分，其他记为0分，最后统计学生在各个维度的总分。根据这个总分将学生划分为“对学校认同度较高”、“对学校认同度较低”。,45,数据分析,测试工具质量,学科测试卷、背景问卷： 信度、效度 信度分析可以采用spss统计软件进行分析，效度分析可以采用Mplus、Lisrel、Amos等软件进行分析。,46,数据分析,分

15、析类型,现状描述 影响因素 数据统计采用spss17.0软件，作图使用Excel。,47,数据分析,现状描述,现状描述 分指标（学业水平、学习动机、师生关系) 总体 群体（不同区域、不同区县、不同类型学校、不同性别、) 统计指标：百分比例,48,数据分析,现状描述,分析方法 变量的特征分析 类差异分析 相关分析 变量综合分析 时间序列分析 学科分析,49,数据分析,现状描述,总体分析（以“学习自信心”为例）,学习自信心较强的学生所占人数比例,50,数据分析,现状描述,群体分析-（不同区县）,四年级学习自信心较强的学生所占人数比例,51,数据分析,现状描述,群体分析-（新优质）,学习自信心较强的

16、学生所占人数比例,52,数据分析,现状描述,群体分析-（公办、民办）,学习自信心较强的学生所占人数比例,53,数据分析,现状描述,群体分析-（男、女）,学习自信心较强的学生所占人数比例,54,数据分析,现状描述,群体分析-（本市、非本市）,学习自信心较强的学生所占人数比例,55,数据分析,影响因素,回归分析,56,数据分析,影响因素,相关分析,57,上海市四年级学生主要指标指数,数据分析：雷达图,绿色指标的测试结果,58,7,59,报告撰写,报告类型,基础数据报告 （主要是详细呈现各个指标的统计数据） 结果解读报告 （分学科呈现主要调查结果、分析原因、提出教学改进建议） 政策分析报告 （就行政

17、关注点呈现主要数据，并做出判断。通常是将结论作为小标题）,60,报告撰写,报告层次,市级报告 （可以提供三种类型的报告） 区县报告 （基础数据报告） 学校报告 （基础数据报告）,市级报告人工撰写、区县、学校报告根据市级报告框架，通过计算机程序自动生成。,61,8,62,结果应用,行政推动,召开多种形式的反馈会（区长沙龙、结果反馈报告会、全市中小幼校园长培训会议、区县校长培训会议) 促进教育质量观的转变； 分析全市的数据，指出存在的问题； 提出改进要求。,63,结果应用,行政推动,政策文件中对绿色指标进行关注与回应,64,结果应用,行政推动,65,结果应用,行政推动,66,结果应用,行政推动,6

18、7,结果应用,行政推动,68,结果应用,行政推动,69,结果应用,行政推动,70,结果应用,问题诊断,原因分析 在市级提供基础数据报告的基础上，各区县撰写本区县的深度分析报告，着重在原因分析。 改进措施,71,视角之1：本区县在这些指标上表现出什么样的特点？,72,视角之2：本区县和全市有否差距？在哪些指标上可能存在差异？,高于全市平均水平,73,视角之2：本区县和全市有否差距？在哪些指标上可能存在差异？,低于全市平均水平,74,视角之3：本区县不同群体、不同年级间是否表现出不同的特点？,75,视角之3：本区县不同群体、不同年级间是否表现出不同的特点？,同样都是对教师教学方式的评价，9年级高于全市平均，而4年级却低于全市平均？,76,视角之3：本区县不同群体、不同年级间是否表现出不同的特点？,四年级学生对教师教学方式的评价“互动教学”上，回答“总是”的百分比例,77,视角之3：本区县不同群体、不同年级间是否表现出不同的特点？,同样都是学生家庭经济背景对学业成绩的影响，为何4年级影响的程度小于全市平均，而9年级影响的程度大