我国区域义务教育质量关键影响因素监测指标框架构建研究

/我国区域义务教育质量关键影响因素监测指标框架构建研究【摘要】随着我国义务教育质量监测制度体系的逐步建立完善和监测工作的持续深入开展，构建区域义务教育质量关键影响因素监测指标框架的必要性日益凸显。比较分析发现，国际大型教育质量监测项目中区域影响因素监测指标框架的研发和构建大都聚焦学生发展结果，具有理论基础坚实、政策取向明确、兼顾稳定性和科学发展性、体现简洁性和可比性等特点。充分考虑我国区域义务教育发展现状和实际需要，基于CIPP评价模型，以学生发展结果为根本旨向，体现重要政策关切，坚持吸收借鉴与创新发展相结合，注重区域特性并兼顾简洁性、可比性等，尝试构建我国区域义务教育质量关键影响因素监测指标框架，以期为今后研发设计和实施开展区域义务教育质量监测提供参考。【关键词】区域教育；教育质量；质量监测；指标框架 为推动义务教育质量不断提升，提高教育决策的科学性和管理的有效性，我国于2015年正式建立了国家义务教育质量监测制度，并将影响因素监测作为我国义务教育质量监测的重要组成部分[1]。我国实行“以县为主”的义务教育管理体制。随着义务教育质量监测制度体系的逐步建立完善和监测工作的持续深入开展，2020年基本实现全国县域义务教育均衡发展目标即将达成[2]，以及全国县域义务教育优质均衡发展督导评估认定工作于2019年10月正式启动[3]，县域义务教育质量优质均衡发展督导评估将成为今后监测评价和督导工作的一个新重点。为了弥补国家义务教育质量监测在区域监测方面的不足，分级分类地精准诊断和描述不同地区的义务教育发展现状，有效识别区域层面的义务教育质量关键影响因素，有针对性地解决不同地区在义务教育发展中的突出问题，因地制宜地促进区域义务教育优质均衡发展，助力区域层面教育决策和教育治理科学化水平的提升，构建独立的区域义务教育质量关键影响因素监测指标框架就显得尤为必要和迫切。 一、国内外大型教育质量监测项目区域影响因素监测指标框架特点分析 聚焦学生发展结果，重视对学生发展结果产生重要影响的因素及其相互之间的关系，是当前测评实践和理论进展的共通之处。经济合作与发展组织(OECD)在《发挥协同作用，提高学习效率：评价和评估的国际视角》的总结报告中指出，“鉴于评价和评估的根本目的在于提高学习效果，理应将学生置于中心地位”[4]。据此，OECD出版的《教育概览：OECD指标》(EducationataGlance：OECDINDICATORS，OECD-EAG)、美国“学校与教职人员调查”项目(SchoolsandStaffingSurvey，SASS)、国际教育成就评价协会(IEA)发起的国际数学和科学趋势研究(TrendsinInternationalMathematicsandScienceStudy，TIMSS)和国际阅读素养进展研究(ProgressinInternationalReadingLiteracyStudy，PIRLS)以及我国的国家义务教育质量监测(NationalAssessmentofEducationQuality，NAEQ)都或多或少地开展了以学生发展结果为中心的区域影响因素监测，并呈现出一些共同的特点。 (一)坚实的理论基础 基于一定的理论基础构建指标框架和进行指标研发是国际大型教育质量监测项目得以成功开展的有益经验。目前，较为普遍使用的理论包括生态系统理论、教育效能研究、课程层次理论等。其中，生态系统理论将人置于核心，强调外界环境因素对人的行为系统的影响。这些环境因素相互嵌套、相互影响，并作为一个个从小到大的环境系统，通过与个人的互动，整体地影响个体的发展[5]。基于生态系统理论的OECD-EAG构建了涵盖个体、班级、机构、教育系统四个层面的影响因素监测框架[6]；IEA的TIMSS和PIRLS项目均构建了包含国家、社会和教育环境，学校、教师和班级环境，以及学生成果和个性特征三大领域关键影响因素的监测框架。教育效能研究(EducationalEffectivenessResearch，EER)多属于学校效能研究，其基本模型(Context-Input-Process-Output，CIPO)主要用于学生能力大规模国际监测项目，如PIRLS、TIMSS，其首要目标是识别不同层面学生学业成就的影响因素。[7]有学者认为，CIPO模型中的投入、过程、产出指标可以从学生、班级、学校三个层面来考察，而背景指标则包括国家或区域层面的教育环境背景指标，如社会经济文化背景。[8]20世纪60年代，美国著名教育评价专家斯塔弗尔比姆(DanielStufflebeam)及IEA在设计学生能力大规模国际监测项目时均提出了这种以“背景—投入—过程—产出”为基本结构的模型[7]，即CIPP(Context-Input-Process-Product)评价模型，这种评价模型与CIPO模型在评价理念与特征上基本一致。后来，随着该理论模型的构建不断走向精细化，又有学者提出了动态模型，认为EER不仅将学校或其他教育因素之间的相互作用视为动态发展变化的过程，也综合考虑了各个层次的影响因素，并关注它们之间的交互效应。 (二)明确的政策取向 确保监测结果能为参测国家或地区的政策制定和改进提供依据，提高政策决策的科学化水平是国内外大型教育质量监测项目在指标框架构建、指标开发和指标更新时的重要考量因素。以PIRLS为例，其监测结果与参测国家或地区政策改进相辅相成。一方面，参测国家或地区要尽可能多地提供本国/地区学生阅读素养的影响因素数据；另一方面，PIRLS要合理地分析监测数据，以便更好地服务于参测国家或地区的政策改进。2016年，PIRLS根据时代发展趋势及参测国家或地区的不同需求，开发了PIRLS、PIRLSLiteracy和ePIRLS三个理念相通又各具特色的测试版本，为政策改进提供了颇具参考价值的重要信息。其中，PIRLSLiteracy和PIRLS包含相同试题(即锚题)，使两个测试可以作等值转化，确保了后续分析比较的可行性；ePIRLS是一项具有创新性的在线阅读评估，旨在响应信息时代的需要，反映学生21世纪技能的发展情况[9]，凸显了评估项目的时代性，为参测国家或地区的政策制定和改进提供了重要参考。 近年来，指标框架的研发愈发凸显明确的政策取向。随着国际上大多数国家和地区基础教育逐渐普及，反映“基础教育普及程度”指标的区分度逐渐降低，“教育质量”则越来越成为政策关注的重点。为此，OECD-EAG增加了有关“教育质量”的指标，并对其进行细化，指标内容也由“教育条件保障类的简单比较”过渡到“直接反映学生学习效果的综合评价”。其中，学生数学、科学、阅读等学业成就指标维度的增加为直接评价教育质量提供了政策参考[10]。SASS、TIMSS、NAEQ的每轮测试都会针对突出问题、时下政策焦点与社会背景，适当增加、删除或修改工具中的题目，以保持与相关教育政策的紧密联系。PISA自始至终都非常强调监测结果的政策影响，其首要特征就是政策导向性。[11]例如，历年的PISA报告都会专门列出小节来探讨监测结果的政策意义[12]，或提供政策工具以解决监测中发现的问题[13]。 (三)兼顾稳定性和科学发展性 国内外大型教育质量监测项目在确保核心监测指标基本保持稳定的同时，会根据政策关注、理论发展或实证研究的最新进展，吸收新指标，去除不合时宜的旧指标，兼顾监测指标框架的稳定性和科学发展性。分析OECD-EAG教育指标框架的沿革历程可以发现，指标框架的核心主题保持了一定稳定性，有关入学机会、教育投入、教育质量与教育公平等主题的指标始终是其指标框架的常规组成。此外，国内外大型教育质量监测项目在第一轮指标开发完成后，会根据每轮的测评经验适时更新指标，以保证指标的科学发展性。例如，在每轮测评前，TIMSS&PIRLS国际研究中心会根据之前的测评经验起草一个更新测评框架的草案；再将草案交由国家研究协调员(NationalResearchCoordinators，NRGs)审阅和修改，以回应各国和地区关切；之后，NRGs会咨询国内专家，对每个主题进行逐一调查，并根据调查结果进一步修订测评框架；最后，修订后的测评框架会经过NRGs及国内专家的再次审阅以获得最终通过。SASS也不例外，在每次新一轮测评之前，都会先由ICFMacro组织实施一系列的认知访谈来测试新题以及旧题(上一轮SASS测试题)的质量，并根据各类问卷的测试结果和反馈报告对题目进行修改和调整。[14] (四)体现简洁性和可比性 指标框架的构建体现了简洁性和可比性。指标框架的简洁性意味着指标数量不多，却能帮助决策者快速了解教育状况和教育表现，并抓住影响教育质量的关键因素。“盲目地构建大量指标是毫无意义的。大量的信息和测量并不能增加我们对教育的理解和认识，相反，数量庞大的指标体系很难进行管理。”[15]1989年时，OECD-EAG的初始指标共有160个。由于指标数量太多、难以管理，无法获得政策决策者的认可，OECD-EAG于1991年将指标数量缩减为50个[15]。另外，选取的指标要具有可比性。在研制指标时须为相关国家或地区提供一个可比的视角，以便它们了解自身的教育现状和位置[15]。OECD教育与技能理事会(OECDDirectorateforEducationandSkill)开发了一套定量且国际可比的教育指标，即OECDEAG指标，以供OECD国家的政府决策部门建立一个更加有效和兼顾公平的教育系统[6]。在面向多个国家的教育质量监测项目(如TIMSS、PIRLS、PISA等)中，指标的可比性也是一个硬性要求。我国的义务教育质量监测也把不同省份或区域的差异作为指标研制时的考虑因素，以便为不同省份或区域提供比较的可能性，为区域义务教育发展寻找一把“尺子”，找准自身的“位子”[16]。为使各国的教育体系更具可比性，联合国教科文组织(UNESCO)在20世纪70年代创立《国际教育标准分类》(InternationalStandardClassificationofEducation，ISCED)，最新版本为《ISCED2011操作手册》[17]，为构建我国区域义务教育质量关键影响因素监测指标框架提供了一定的参考。 二、我国区域义务教育质量关键影响因素监测指标框架的构建 区域义务教育质量关键影响因素指标框架与国家义务教育质量影响因素指标框架相似，但又有所不同。前者主要包括那些在区域层面能够对该区域教育质量产生重要影响的关键因素，既涉及区域的社会、经济、文化背景，也涵盖区域内各教育要素(学生、学校、教师、家庭等)间的互动关系。它指向区域中义务教育发展的目标、现状、特点及实际需求，旨在分析当前义务教育出现的问题的成因，找到质量提升的着力点[18]，提供“公共政策的有效且科学的证据支撑”[19]，从而提升教育决策和教育治理的科学化水平。 (一)构建我国区域义务教育质量关键影响因素监测指标框架的原则 第一，以学生发展结果为根本旨向。学生发展是一切教育活动的出发点和归宿。20世纪90年代以来，“以学习者为中心”的教育质量观在全球范围内取得广泛共识。从理论基础方面来看，国内外大型教育质量监测项目中较为常见的生态系统理论、教育效能研究、课程层次理论等均将学生的发展结果作为构建教育质量影响因素指标框架的核心。我国区域义务教育质量关键影响因素指标框架的构建亦须紧紧围绕学生，以学生为中心，以促进和实现学生发展为宗旨，选取那些对学生发展具有直接的、重要影响的因素作为核心指标。 第二，体现区域层面义务教育发展的重要政策关切。“努力让每个孩子都能享有公平而有质量的教育”[20]是中国特色社会主义进入新时代的新要求。我国政府历来高度重视教育公平和教育均衡发展，从《县域义务教育均衡发展督导评估暂行办法》(2012年)到《县域义务教育优质均衡发展督导评估办法》(2017年)，政策的变化不仅体现了我国在提高教育质量、促进教育公平、推进义务教育均衡发展等方面的成就，也体现了当前区域层面义务教育要进一步缩小校际、城乡、区域差距，实现优质均衡的新要求。2019年6月，中共中央、国务院《关于深化教育教学改革全面提高义务教育质量的意见》颁布，提出“建立以发展素质教育为导向的科学评价体系，制定县域义务教育质量评价标准，突出考查地方党委和政府对教育教学改革的价值导向、组织领导、条件保障和义务教育均衡发展情况等。”[21]因此，教育理念、教育(优质)均衡、条件保障等都是构建我国区域义务教育质量关键影响因素监测指标框架时须要考虑的重要维度。 第三，坚持吸收借鉴与创新发展相结合。许多已有研究表明教育经费、师资队伍、办学条件等是影响区域、校际层面教育发展差距的重要因素。例如，有研究发现：我国东、中、西部地区小学三年级学生达到数学课程标准基本要求的学生比例分别为83％、94％和79％；八年级学生达到数学课程标准基本要求的学生比例分别为80％、87％和69％；我国义务教育发展在教育经费、师资配置、办学条件、教育质量等方面还存在明显的区域差距[22]。也有研究指出，校际的不公平状况远比区域的不公平状况严重，主要表现在校际在经费拨款、师资队伍等显性差异和社会影响力等隐性差异上[23]等。在大量借鉴吸收已有研究成果的基础上，充分考查分析影响我国区县层面义务教育改革发展与治理的关键因素，将教育经费、师资队伍、办学条件等纳入我国区域义务教育质量关键影响因素指标框架的考量范围。 第四，注重区域特性，兼顾简洁性、可比性。充分考虑区域的经济、社会、文化背景等国民经济和社会发展指标，选择最具代表性的区域义务教育质量关键影响因素，并为未来区域义务教育质量关键影响因素指标与国内外大型监测项目相关指标具有横向可比性打下基础。为此，构建我国区域义务教育质量关键影响因素监测指标框架时既参考了《国民经济和社会发展统计公报》和《中国统计年鉴2018》中的主要指标，亦分析借鉴了《ISCED2011操作手册》[17]等。 (二)我国区域义务教育质量关键影响因素监测指标框架 构建区域义务教育质量关键影响因素监测指标框架，需要基于一定的理论基础，面向区域义务教育发展实际，关注党和国家政策推进实施的着力点，注重对已有成果的吸收和参考。特别是，指标框架的整体构建及其结构和要素之间关系的厘定都需要一定的理论作指导。国际大型教育质量监测项目，如OECD-EAG、SASS、TIMSS等，都是在明确的理论指导下形成了相应的指标框架，从而有效服务于项目实践和测评目标的达成。比较研究发现，以“背景—投入—过程—产出”为基本结构的CIPP模型不仅在国内外大型教育质量监测项目的评价指标框架构建中得到广泛应用，并且与构建我国区域义务教育质量关键影响因素监测指标框架的需求亦具有高度的适切性。该模型有助于从社会、学校、班级等多个层面来挖掘与学生发展关系密切的关键影响因素，有利于真正实现以学生发展结果为根本旨向的测评目标，体现义务教育发展的重要政策关切，凸显区域特性并兼顾各个层次和方面的影响因素。因此，本研究将CIPP模型作为构建我国区域义务教育质量关键影响因素监测指标框架的理论基础，参考CIPP模型的基本结构，遵循构建我国区域义务教育质量关键影响因素监测指标框架的四个原则，形成我国区域义务教育质量关键影响因素监测指标框架，包含背景评价、输入评价、过程评价、结果评价四个方面的内容(见表2)。 第一，背景评价是在特定的环境下评定目标对象的需要、问题、资源和机会。[24]霍力岩等认为，CIPP模型使我们加深了对教育背景和人口等关系的认识，让我们重新审视影响教育发展的决定性因素，即决定教育发展的力量不在校园内部而在校园外部。[23]背景评价主要关注区域经济社会发展水平和区域教育事业发展基本情况。其中，区域经济社会发展水平包括区域内人口与就业、地区生产总值等方面；区域义务教育事业发展基本情况包括区域内义务教育阶段的学校布局结构、学校数、在校学生数、教职工数和专任教师数、生师比等方面。 表2我国区域义务教育质量关键影响因素监测指标框架<tableborder=1align="center"><tr><td>背景评价</td><td>输入评价</td><td>过程评价</td><td>结果评价</td><td></tr><tr><td>·区域经济社会发展水平·区域义务教育事业发展基本情况</td><td>·教育经费·办学条件·师资配置</td><td>·政策执行·入学机会·保障机制·质量管理</td><td>·学生发展·均衡状况·公众满意度</td><td></td></tr></table> 第二，输入评价是在背景评价的基础上，对达到目标所需的条件、资源以及各备选方案的相对优点所作的评价，其实质是对方案的可行性和效用性进行判断。[24]输入评价主要关注区域政府对于当地教育的投入，主要包括教育经费、办学条件和师资配置。其中教育经费包括教育经费总投入、生均经费、教育经费投入方式、教育经费管理制度；办学条件重点关注办学规模、班额、校舍及各种教育教学场地建设情况、教学资源配备情况等多个方面；师资配置主要包括教师聘用条件及资格、专任教师学历及专业技术职务情况、教师专业发展等方面。 第三，过程评价的目标就是调整和改进实施过程，其本质属于形成性评价。[24]过程评价主要关注区域内义务教育的组织与领导，包括政策执行、入学机会、保障机制和质量管理四个方面，拟重点回答三个问题：教育政策/方案在实施过程中是否出现问题?教育政策/方案在实施过程中是否需要进行调整或修改?教育政策/方案该如何修改?其中，政策执行主要指是否贯彻执行党和国家的教育方针和战略部署，“以促进公平为重点，以提高质量为核心，全面实施素质教育”[25]，推动教育科学发展，实现教育现代化，迈入教育强国行列；入学机会主要包括学位保障、入学率、保障外来务工人员随迁子女接受义务教育、建立留守儿童关爱体系等；保障机制主要关注是否依据国家政策，建立相关的责任、监督、落实和问责机制；质量管理主要包括义务教育巩固率、高中入学率、学生体质健康达标率、是否有效减轻课业负担、是否按国家规定的课程标准开齐开足课程等。 第四，结果评价主要是对目标达成度的评价，其本质上属于终结性评价[24]。结果评价主要包括学生发展、均衡状况和公众满意度三部分。其中，学生发展主要包括学业水平发展(可采用国家义务教育质量监测结果)和全面个性发展(可参考学生综合素质评价结果)两方面；均衡状况包括校际差异、城乡差异两方面；公众满意度的核心指标为学校满意度、家庭满意度和社会满意度。 三、关于区域义务教育质量关键影响因素监测指标框架的几点思考 区域义务教育质量关键影响因素监测是一个不断发展螺旋式上升的系统工程，包括指标框架构建、标准研制、工具开发、数据采集、数据分析、报告撰写、结果反馈、改进提升等多个重要环节，环环相扣、紧密相连、互为促进。指标框架构建是这个系统工程中的基础性工作，因此在尝试构建我国区域义务教育质量关键影响因素监测指标框架时，还需充分考虑到未来的具体实施和应用，保证其可落地操作性和可实现性。 (一)适时更新指标框架，并利用横纵向数据对指标进行交互验证 指标框架需要根据教育发展状况和实际需求，适时对指标进行修订和更新，并在实践中不断通过监测数据进行指标验证，保证区域义务教育质量关键影响因素指标的科学性和合理性。例如，OECD-EAG教育指标在研制过程中始终关注那些通过国际视角能够提供重要附加值的问题，在保持指标稳定性和开发新指标的过程中保持平衡[26]。 一般来说，区域义务教育质量关键影响因素指标理论框架的验证和完善主要通过两种途径。一是通过有代表性的横断数据进行验证。例如，通过一次性调查问卷获得的区域义务教育质量关键影响因素监测数据与学生发展水平进行关联分析，从而有效筛选出与区域义务教育质量有关联的关键影响因素。二是通过持续监测的数据进行纵向追踪，筛选出与区域义务教育质量有关联的关键影响因素指标。目前，国际大型教育质量监测项目越来越倾向于使用趋势性数据来验证关键影响因素。如在2017年出版的OECD-EAG中，将2005年的数据作为基线数据，2015年的数据作为对照数据，观察不同国家在这10年间的变化趋势[27]。趋势性数据可以帮助政策制定者作出持续性诊断和反馈，且更少受到因文化问题引起的解释性偏差的影响，如果区域教育政策在某段时间内发生了重大变化，也可以通过追踪数据来评价政策带来的效果和影响。 (二)构建区域义务教育质量数据采集网络信息系统，多渠道采集数据 数据是教育评估的重要依据，其质量的高低直接影响统计信息的信效度。通过多元渠道采集区域数据，构建基于区域的数据网络信息系统，以此来保证评估数据的信效度。例如，OECD针对不同类型的数据，设计了科学多元的数据采集途径。一是以教科文—经合组织—欧盟统计局联合统计数据为主要数据来源，重点统计教育管理型数据，如入学率、教育支出、班级规模等。二是NESLI信息采集网络系统，收集有关教师与课程的数据，如教师工作时间、教师工资等。三是LSO信息采集网络系统，主要统计与教育产出相关的数据，包括教育