PISA教育评价新探索.doc

PISA 教育评价新探索PISA在中国：教育评价新探索【摘要】本文通过对当前国际上颇具影响力的大规模教育评价项目-学生能力国际评(PISA)的评价理念和技术的解析，结合教育部考试中心开展PISA2006中国试测研究实践收获的启示，阐述了作者对我国教育评价研究与发展的思考和建议。【关键词】教育评价；教育测量；PISA；素养教育评价是否科学有效，在很大程度上决定着教育的走向，影响着学生的素质发展，也关系到整个社会的教育公平与民族素质的提高。如果能关注国际上颇具影响力的学生能力国际评价(以下简称PISA)的评价理念、技术手段，特别是能通过实践深入研究PISA整个评价流程体系，掌握国际教育评价的设计理念和操作方法，为我所用，那么无疑将大大推动我国教育评价领域的研究与发展。一、学生能力国际评价PISA解析学生能力国际评价(Programme for International Student Assessment)是经济合作与发展组织(The Organization for Economic Cooperation and Development，OECD)发起并组织实施的为各参与国家与地区协作监控教育成效的评价项目。PISA测试义务教育阶段结束后15岁学生在阅读、数学和科学方面所具备的应用知识、技能和解决问题的能力。PISA除认知测验外，还包括了问卷调查，目的是收集有关社会、文化、经济和教育因素的指标，这些指标与学生的成就相联系，从个体学习者、教学、学校及教育体制四个层面进行分析。因此，PISA超越了对各参与国家与地区在三个主要领域的相对排名，涉及范围更广的教育成果，如学生的学习动机、自信心以及学习策略等，1以期获得来自学生、教师、学校和家长的综合看法和观点。同时从社会、文化、经济以及教育因素等方面考查学生和学校的特征，为各国政策分析和研究提供有价值的参考。PISA在2000年首次开始实施评价，每三年一次，以评价年命名。PISA2000有32个国家参与，评价的重点是阅读素养；PISA2003有41个国家和地区参与，评价的重点是数学素养；PISA2006有56个国家和地区参与，评价的重点是科学素养。2PISA2009评价的重点又轮回到阅读素养，预计将有66个国家与地区参与。PISA已形成了完善的教育成效评价指标体系与数据基准。对于政策制定者而言，通过对比自己国家或地区和其他国家或地区教育系统的成就表现，教育发展趋势走向，能够帮助他们总结已有政策的经验，改善教育体制，并基于PISA提供的指标体系更好地评价和监控教育体制的效力与发展。PISA的目标是发展常规的、可靠的、与政策相关的学生成就指标，从而达到关于国家教育体制的质量、公正性和效率的评价目标。PISA评价关注四个子目标的实现：学习成果的质量；学习成果的等价性和学习机会的均等性；教育过程的有效性和效率；以及教育对社会经济的影响。PISA运用最新的教育测量理论保证评价工具的公平、公正，使用高质量的评价工具、严格的抽样、周密的数据收集机制和先进的数据分析方法，对教育体系和学生发展水平给予高效度、高信度的评价。PISA提供的指标体系包括：学生知识和技能基准状况的基本情况指标；说明这些知识和技能与重要的人口分布、社会、经济和教育背景变量相联系的环境背景指标；源于数据收集的持续性，说明测试成绩发生变化的发展趋势指标。PISA使用目前可以使得心理与教育测量达到客观等距的现代教育测量理论，3对学生阅读、数学和科学测验以及通过学生问卷和学校问卷收集的社会、文化、经济和教育因素的指标进行题目的建构、参数校准和相关分析。PISA测试如同用尺子量学生身高一样，用现代教育测量理论建构的题目测量不同层次学生多维度能力、态度、动机等，进而进行国家或地区间横向和跨年度纵向比较。这是国内普遍使用的依据经典测量理论建立的测评工具根本无法实现的。PISA通过现代教育测量理论打造的是一把钢性的量尺，试题难度不会像传统测试的弹性量尺那样随受试人群样本的能力不同而变化。各参与国家与地区一致认同PISA客观等距量尺测量出的学生素养基本情况指标、环境背景指标、发展趋势指标，其高品质保障的取样、测试管理机制和最新的数据后期分析使PISA跨国和跨年度的比较具有高度的有效性和可信性，同时又如同用尺子量学生身高一样简单明了。PISA所关心的是15岁学生所代表的总体情况，参加PISA测试的学生样本具有广泛的代表性。学生样本所做的认知测试取自难度覆盖广泛的、具有现代教育测量理论精准题目参数的大型题库。PISA2000认知测验共有9套试题册，PISA2003和PISA2006认知测验共有13套试题册。每名学生样本只要求作答其中的一套，依据随机原则将每名学生样本分配到每套试题册。每套试题册通过现代教育测量理论相互链接，大量的试题保证覆盖15岁学生阅读、数学和科学素养，而试题抽样形成的试题册为每个受试者提供的做答时间仅为两小时。学生即使做不同题册的不同难度的题目也可以经过现代教育测量理论等值处理而进行相互比较。PISA使用两阶段分层抽取的学校样本和学生样本的数据及权重来推断参与国家或地区总体的情况。各参与国家或地区根据自己的研究目的，抽取的学校样本数从PISA最低要求的150所到将近1，000所，学生样本数从PISA最低要求的4，500人到超过30，000人。PISA数据分析保障了试题抽样和学生抽样数据分析的最大程度似真。每名学生依据随机分配试题册的答题反应、所属不同学校和相关背景信息在不同测量维度上各计算出5个似真值(plausible values，PVs)，4并进行80次重复(replicate)5的统计分析，产生有效数据，最大限度地精确估计误差，保证测量的科学性。PISA2000共收集了近26万有效学生样本，实现了阅读素养的提取信息、解释说明、反思并评估6，数学素养、科学素养5个维度的测量与评价；PISA2003共收集了27万多个有效学生样本，实现了数学素养的变化和关系、数量、空间和形状、不确定性7、问题解决、阅读素养、科学素养7个维度的测量与评价；PISA2006共收集了39万多个有效学生样本，实现了科学素养的识别科学问题、科学地解释现象、使用科学证据3个科学能力；科学兴趣、支持科学探究82个对待科学的态度和阅读素养、数学素养总共7个维度的测量与评价。PISA利用现代教育测量理论，在时间短、样本量小、试题量大、覆盖面广、成本低、误差小、减轻学生负担、减少考试焦虑的同时，确保了评价的科学性，拓宽了评价的内容与形式，使教育评价更具实用价值。二、PISA在中国的实践教育部考试中心2006年引进并启动了PISA2006中国试测研究项目。PISA2006中国试测研究并不代表中国正式参与PISA，实践的目的在于学习、借鉴PISA先进的考试评价理念、理论、技术，了解国际的情况，通过实践锻炼队伍，构建符合中国国情的评价标准、手段、技术和方法体系；促进考试内容和形式的改革，特别是对命题环节的改进，有利于全面推进素质教育。PISA2006整个流程的评价在国际上历时四年完成。从2003年12月到2004年9月为测试工具的开发，2004年9月到2005年9月为各参与国家与地区实地预试，2005年9月到2006年12月为各参与国家与地区正式测试，2006年12月到2007年12月为数据分析与结果报告。各参与国家与地区PISA执行中心根据OECD/PISA统一调配，完成测试工具翻译、样本选取、评价实施、编码评分、数据获取及整理、提交数据和接收结果报告整个流程。在这四年各参与国家与地区每年上交OECD/PISA规定年费后得到相应的技术支持。教育部考试中心PISA2006中国试测研究从2006年10月正式启动，一年来实施了PISA2006测试工具翻译和预试调整、学校样本和学生样本选取、评价实施、编码阅卷、数据整理、统计分析和结果报告全环节的评价工作。PISA2006中国试测研究在国内操作层面上实行两级管理体系，即教育部考试中心负责研究工作在全国的实施管理，试点机构在统一要求下负责本地区的组织实施，包括本地区抽样信息提供、学校样本和学生样本落实、人员培训、测试及调查问卷实施管理，并要求对测试的题册和数据严格保密。教育部考试中心统一编码评判试题册和问卷，统一录入信息，保证编码评分和数据录入的信度和效度。数据分析由教育部考试中心自主完成。通过PISA试测研究，教育部考试中心不但完成了试点地区的教育成效评价报告，还利用PISA协作组织提供的国际参数进行国际比较，为各级教育决策者提供了一个多层次评价教育成效的指标体系和国际评价参考信息。PISA2006中国试测研究按PISA国际规范采用两阶段分层随机抽样设计，第一阶段完成学校层面的抽样，选取了五个分层变量：学段，包括初中、高中；学校的地理位置，包括市区、县城(县政府所在城镇)和农村三类；学校的性质，包括公立学校、私立学校；学校的类型，包括普通中学、职业学校、特殊教育学校和中等专业学校；学校的等级，包括普通高中、示范高中、普通初中、基础薄弱初中。按照这五个维度设计了抽样框架，试点地区据此框架上报了本地区所有包含15岁学生学校的统计信息。教育部考试中心在第一阶段抽取了150所样本学校，随后在第二阶段以完全随机抽样的原则从这150所学校样本中抽出35名15岁学生作为参加试测的学生样本。共有来自试点地区150所中学的5，000余名学生被纳入样本，样本有效地代表了试点地区近1，200所学校的16万余名15岁在校学生总体，其中农村学校在校学生近一半。PISA2006中国试测研究采用的是纸笔测验，共有13套试题册，依据随机原则将每名学生分配到每套试题册，每个学生需用两个小时的时间来完成测验。PISA2006中国试测研究收集的原始数据同时采用国际大型统计软件SPSS和SAS两套系统进行了数据清理和转换，得到了完全匹配的结果，保证了数据的精准。然后，用清理后的数据按照OECD数据分析的标准流程对每个学生样本依据所属不同学校、所做不同试题册、学生问卷收集到的不同背景类型进行回归分析，每个评价领域生成5个似真值，对似真值进行加权，通过抽样权重的多重复制程序进行分析，按国际规范得到了评价结果。评价结果可直接与参与PISA2006的56个国家和地区相比PISA2006中国试测研究提供了义务教育结束后，国际公认的学生应该具有的知识和技能的基本标准参照。教育部考试中心在此过程中提升了评价学生的能力和教育成效的水平，为实现十一五事业发展规划中提出的把教育部考试中心建成国内领先、国际知名、服务教育、面向社会的专业化考试与评价服务机构迈出了开创性的一步。除提供给各级教育政策制定者与国际比较的结果评价报告外，教育部考试中心组织学科专家对PISA2006所有试题按学科和考察目的分类，根据中国测试学生试题反应指标参数，逐个题目进行命题、编码理念解析和对应数据解读，撰写了PISA能力命题借鉴和PISA试题评价试点地区考生水平和教学情况的学科评价报告。教育部考试中心还总结了PISA2006中国试测研究数据清理，样本权重，抽样方差计算，13套互不相同又存在交叉题目的试题册等值，多维度似真值与问卷背景变量联系，问卷结构效度，多元回归统计分析影响学生成绩因素，多层线性模型对涉及地区、学校不同层面的分析等技术形成了技术应用报告。PISA2006中国试测研究的数据可实现与国际横向的比较，奠定了未来纵向跟踪研究的数据库基础。三、对我国教育评价新探索的思考我国的基础教育在实现了义务教育的发展阶段之后，已进入全面提高教育质量阶段。如何开展科学、合理和有效的教育评价，使教育评价成为提高教育质量的有效手段，成为实现教育管理和教育决策科学化的重要保障，促进学生健康发展的必要环节，PISA提供了有益的启示与借鉴。(一)充分利用现行大规模考试信息在我国，大规模考试与教育有着密切的关联，这表现为大规模考试事实上对教育的评价和引导作用。因此，充分利用大规模考试的数据资源为教育服务，是我国教育评价必须做好的一项工作。借助PISA2006中国试测经验，对现行大规模考试数据进行深入数据分析，多角度、多层次地提供分析报告，从客观、定量的视角审视和评价教育的质量，并依据数据分析结果为教育教学提供有效的指导，使我国的大规模考试服务更加科学化、社会化和人性化。(二)探索建立适合我国国情的教育评价模式借鉴PISA先进的评价理念、科学的评价工具、全面的实施流程及严谨的评价方法，在教育部考试中心实施PISA2006中国试测研究的基础上，探索建立适合我国国情的教育评价模式。建立完整的从命题、分析到反馈的教育评价理论与实践操作体系，通过严谨的抽样和教育成效测量，使各级教育行政部门了解本地区教育教学发展的状况，从而制定出相应的措施，同时监测教育目标的实现情况。相关评价报告形成后还应依据一定的教育评价理论标准对评价结果的质量和结论的精确性进行再评价，检验其评价结果是否存在偏差。利用现代教育测量理论，可以在小样本、大覆盖、成本低、学生焦虑少、学校负担轻的教育评价模式下探索建立学校校内自主评价和地区统考成绩校准参照系。对校内形成性评价成绩校准，保证学生的成长记录和日常评价结果在不同学校的可比性。探索把学校、教师对学生长期的形成性评价和一次性的终结性评价有机结合，推动教育评价改革朝着有利于实施素质教育的方向发展。(三)关注影响学生成绩的因素教育评价除了关心学生之间的差异之外，也要关注影响学生成绩差异的因素。PISA十分关注学生与学校的背景，更加关注学校和教育政策在提升学生发展方面的作用。从教育公平与均衡发展的角度出发，PISA提供了学生成绩差异的社会经济根源及教育资源投入效益预测等更深层次的分析报告。PISA主张社会各阶层的孩子都应得到良好的发展与成长的教育，这与当前我国倡导的教育均衡、关注教育投资的有效性相一致。因此，适合我国国情的教育评价也应通过问卷调查，广泛吸纳学生、家长、教师、教育政策制定者参与。针对热点问题开展社会调查，对学校状况、教师教学、父母支持和政府投入等影响学生表现和教育质量的诸多因素进行分析、总结，得出相关结论。找出影响教育成效的各方面因素，力求使评价结果更加客观、公正，从而为教育决策提供政策建议。(四)开展追踪研究促进教育质量提高教育质量评价所关注的问题不仅仅是教育质量已经达到的水平，而且还应该关注教育质量趋势发展走向，需要什么样的政策调整。因此，开展追踪的趋势研究，评价教育的发展趋势，更好地发挥教育评价功能，为国家教育整体质量的提高，为地方教育质量的改善，为学校、为学生提供服务。我国是一个考试大国，考试已涉及国民生活的方方面面，成为利害攸关的事情，引起了社会各界的高度关注。考试只是评价的一种手段，利用评价的观念和方法改造我们的考试，利用考试的数据开展评价工作，是实现我国教育考试改革和推动教育评价的有效结合点。在传统考试的基础上构建一个科学的教育考试与评价体系，实现从单一考试到多元评价的跃升，既是我国教育考试改革的核心问题，也是教育评价改革的关键所在。为促进教育评价水平的提升，深化教育改革，亟需建立完善的教育考试评价体系，发挥考试的评价、导向、咨询功能，建立科学的数据统计的工作机制，形成公平、科学、安全、规范的教育考试评价新体系。9参考文献：1OECD.Learning for Tomorrows World：First Results from PISA2003M.Paris：OECD，2004.2325.28OECD.Assessing Scientific，Reading and Mathematical Literacy：A Framework for PISA 2006M.Paris：OECD，2006.844.345OECD.PISA2003 Data Analysis ManualM.Paris：OECD，2005.3080.6OECD.Measuring Student Knowledge and Skills：The 2000PISA Assessment of Reading，Mathematical and Scientific LiteracyM.Paris：OECD，2000.17.7OECD.The PISA2003 Assessment Framework：Mathematics，Reading，Science and Problem Solving knowledge and SkillsM.Paris：OECD，2003.8-35.9戴家干.从考试到评价-教育改革的时代任务J.中国高等教育，2007(13/14).教育评价是教育活动的一个重要组成部分，它是以教育目标为依据，运用有效的技术和手段，对教育活动的过程和结果进行测定、分析、比较，并给以价值判断的过程。教育评价工作越来越受到世界各国考试机构的重视，教育评价工作开展的好坏已经成为一个衡量考试机构的水平标志，反映出考试机构的竞争能力。教育部考试中心十一五事业发展规划中提出要把教育部考试中心建成国内领先、国际知名、服务教育、面向社会的专业化考试与评价服务机构，并将评价工作列为今后工作的重点，从学习和借鉴国际上先进的评价经验入手，目标为建立适合中国的教育制度的评价项目，为国家教育决策服务，为考试命题和管理服务，为考生提高学习水平服务。根据这一目标，教育部考试中心2006年引进并启动了学生能力国际评价(PISA)试测研究项目。围绕PISA先进的考试评价理念、理论、技术及中国试测研究的实践，我们将从不同的视角展开系列研讨，以期透过跨越国界的评价比较研究，了解国际教育评价趋势和成果，让教育研究学者能够从国际角度，监测教育现状及教育改革的成效；教育决策者可因全球教育发展制定当地政策，以适应新形势的要求；教师及家长亦可从更广博的视野审视本地区、中国乃至世界各地的教育情况，让教育领域内不同的成员更能以可信的理论和数据作出理性的决策与行动，为学生的未来共同努力。一、学生能力国际评价(PISA)概述学生能力国际评价(The Program for International Student Assessment，PISA)是经济合作与发展组织(The Organization for Economic Cooperation and Development，OECD)发起并组织实施的考试评价研究项目，该考试评价研究的目的是建立常规的、可靠的，与政策相关的学生成就评价指标，帮助各国政府和决策者评价和监控国家的教育体系。OECD/PISA于1997年创立，它体现了OECD各成员国政府的一项承诺：从学生学习成绩的角度，在一个共同的国际框架之内监测各国教育体系的工作成果。OECD/PISA是一个协作项目，它汇集了各参与国的专业人员和技术力量，并且在参与国政府共同的、政策驱动的关注基础之上，接受它们的联合指导。各参与国对该项目在政策层面承担责任。同时，来自各参与国的专家效力于PISA协作组织，他们的职责是把OECD/PISA的政策目标与在国际比较评价领域里最有效的专业知识和技术结合起来。通过PISA协作组织，各国可以保证OECD/PISA的考试评价既在国际上具有效度，又能兼顾到各参与国之间在文化和课程背景方面的差异，同时还可以保证这些考试具备良好的测量性能，并注重真实性和教育效度。PISA在2000年首次开始评价，其后每三年进行一次，根据评价年命名。PISA2000和PISA2003已经完成。PISA2006正在进行数据分析，2009年将对9岁和15岁学生分别评价并将评价结果建立链接，从而检查各国学生的学习进程。2000年的评价有32个国家参与，包括OECD30个成员国中的28个国家和其他四个非OECD国家。2003年有41个国家和地区参与，PISA2006有56个国家和地区正式参与，教育部考试中心开展PISA2006中国试测研究项目不代表国家正式参与该评价项目，试测只在国内小范围做科研性质的研究，目的在于学习、借鉴PISA先进的考试评价理念、理论、技术，了解国际的情况，通过实践锻炼队伍，构建符合中国国情的评价标准、手段、技术和方法体系；促进考试内容和形式的改革，特别是对命题环节的改进，有利于全面推进素质教育。PISA应用了一系列目前世界上先进的教育测量理论和成熟的操作模式来评价15岁在校生进入未来社会所必需的知识、技能的获得情况。PISA 2006参与国家和地区已近60个，所评价国家与地区的国民生产总值之和占全世界国民生产总值(GDP)的9/10，是一个持续和长久的纵向和横向的国家教育成效评价和比较研究项目。PISA评价的领域包括阅读、数学和科学素养。评价不仅仅涵盖对学校课程的掌握情况，更侧重于未来生活中所需要的重要知识技能。在PISA的三大评价领域中，2000年主要评价的是阅读素养，2003年评价的重点是数学素养，并引入了一个新的领域-问题解决能力，即15岁学生运用认知过程来解决真实的跨学科的日常生活问题的能力。2006年评价的重点将是科学素养。各领域包括三个方面：学生应当学到的知识的内容和结构；一系列涉及应用的过程；运用或汲取知识和技能的情境。PISA对于素养的定义为：评定、整理、整合、评价书面信息，以发展个体知识和潜能，参与社会并对社会做出贡献。这一关于素养的定义包括四个方面的延伸：1)对书面信息的分析、比较、对比和评价；2)将知识运用于实际生活；3)有效地交流思想与观点；4)富于想象力地思考。PISA将核心素养区分出三大类别：1)互动式地使用工具参与社会生活；2)自主的反应(如，有全局观念，学习策略，担负责任，了解权利和义务限制)；3)在多样化的团体中相互作用(如，与他人友好相处、合作，团队协作，处理和解决冲突)。OECD/PISA是建立在终身学习的动态模型基础上设计的测试。在终身学习过程中，为成功地适应不断变化的社会，那些必不可少的知识和技能是通过终身学习不断获得。OECD/PISA关注的是15岁的学生将来需要的东西，并试图评价他们用所学到的知识和技能能够做些什么。评价的内容以参与国家教学大纲的共同基本要求为依据，但并不仅仅局限于这种要求。因此OECD/PISA在确实对学生的知识进行评价的同时，也考查他们的反思能力和把知识和经验运用到实际问题中的能力。因为OECD/PISA测评的目的是评估义务教育阶段教育体系的累积成果，所以测试将集中在15岁的在校生身上。在每个国家或地区，将从至少150所学校，每所学校35名学生中选择5000到10000名学生作为典型进行测试，从而提供一个良好的基础样本，从中可以根据不同类型的学生特征，分析所得到的考试评价结果。PISA项目标准测试共有13套试题册，每名学生只要求作答其中的一套，依据随机原则将每名学生分配到每套试题册。每套试题册两小时的作答时间。完成标准测试之后，每名学生要求作答一份约半小时的学生问卷；学校样本的校长要求作答一份约20分钟的学校问卷。PISA把测试结果与通过问卷调查收集到的有关学生个人、家庭和学校的背景信息联系在一起。PISA评价关注四个子目标的实现：学习成果的质量；学习成果的等价性和学习机会的均等性；教育过程的有效性和效率；以及教育对社会经济的影响。OECD/PISA评价保障的基础是：(1)高质量保证的命题、取样和数据收集机制；(2)保证评价工具文化和语言覆盖面的措施，尤其是不同国家参与命题和修订过程的措施。(3)最新的数据分析方法。这些措施结合在一起就产生出高质量的考试评价以及高效度、高信度的考试评价结果，使人们对教育体系和学生获得更好的了解。对于政策制定者而言，通过对比自己国家和其他国家教育系统的成就表现，总结已有政策的经验，改善教育体制，并基于PISA提供的指标更好地评价和监控教育体制的效力与发展。二、学生能力国际评价(PISA)的分析框架OECD/PISA是以三年为一次，每三次(九年)为一个循环，以迅速、有效地收集信息而设计的评价，报告有关学校范围内和有关国家或地区范围内的学生在阅读、数学和科学素养方面的数据，帮助深入理解家庭和学校中影响技能发展的各种因素，研究这些因素是如何相互作用、以及对政策改进有什么启示。PISA除测验之外，还包括了学生问卷和学校问卷，目的是收集有关社会、文化、经济和教育因素的指标，这些指标与学生的成就相联系。因此，PISA超越了对各参与国家或地区在三个主要领域的相对排名，涉及更广范围的教育成果，如学生的学习动机、对自己的自信心以及学习策略等，以期获得来自学生、教师、学校和家长的综合看法和观点。PISA从社会、文化、经济以及教育因素等方面考查学生和学校的特征。个体学习者层面的因素包括性别、社会背景等，有关自我的认知(自我效能感、自我概念)，动机因素(学习兴趣、参与程度、自信心)以及教育期望等。教学设置层面的因素包括教师教学策略，学生知觉到的课堂纪律气氛、教师支持、教材使用以及班级大小、学校组织和结构等因素。学校层面的因素包括学校类型、学校结构、学校资源(人文、教育和物质资源的质量；教师和电脑的可用性)、学校风气(学生及教师的行为和道德)、学校管理以及课堂实践(活动、学生评价、教学时间、教师监控)等。三、学生能力国际评价PISA中国试测研究的实践与启示PISA2006中国试测研究按国际规范和国内试点地区报送信息情况，2006年11月PISA国际协作组织协助教育部考试中心在北京、天津和山东潍坊三个试点地区1400余所学校，16万学生样本中抽取出150所学校样本。每所学校样本15岁学生又经过国际统一设计抽样软件随机抽取了35名学生共约5000余名学生样本参加测试。PISA中国试测研究在中国国内操作层面上实行两级管理体系，即教育部考试中心负责研究工作在全国的实施管理，试点机构在统一要求下负责本地区的组织实施，包括