中小学校数据驱动的精准化学习评价机制与方法

中小学校数据驱动的精准化学习评价机制与方法综合素质评价是深化教育改革、落实立德树人根本任务的必然要求。信息技术赋能教育教学过程，使得传统教育评价机制向数据驱动的精准化学习评价方向迈进。数据驱动的精准化学习评价是一种不断获取、整合、分析学习过程中的多模态数据，对教学和学习活动的信息流与运行轨迹作出观测、解释和反馈，以发现教育中存在的问题，辅助课堂教学干预的评价方法，包含多场景数据采集、多空间数据融合、精准分析模型构建、分析结果可视化四个关键组成部分。多场景数据采集为学习评价提供数据来源和量化手段支撑，多空间数据融合为学习评价提供统一数据标准，精准分析模型为学习评价提供数据驱动的学习分析与评价方法，分析结果可视化为学习评价提供反馈和应用服务。数据驱动的精准化学习评价框架，应以区块链技术为基础，融合人工智能、云计算、学习分析、情境感知等新兴技术，在多维时空尺度上全面采集学习过程中的多元海量数据，通过全面、系统的统计分析和数据挖掘，从学习者的内在动机到认知发展、情感表现，再到社会综合交互能力，多维度、及时、准确地评估学生的学习状况。当前，探索数据驱动的精准化学习评价，可从构建符合多空间数据特征的综合素质评价框架，完善过程性数据的采集与共享机制，突破情感、认知、动机与社交评价的关键技术，以及研制数据驱动的学习评价平台等方面入手。2020年10月，中共中央、国务院发布《深化新时代教育评价改革总体方案》，将“改革学生评价，促进德智体美劳全面发展”列为重点内容，提出“促进学生全面发展的评价办法更加多元”的改革目标。构建多元、全过程、全要素的学生综合评价，需要改革传统的以纸笔测试为主的学业评价，充分利用信息技术，探究以多种教学场景为背景，基于学生学习行为、认知建构、情感体验、思维变化、学业表现等多模态数据，实现教学相长的精准化学习评价方式。一、信息时代的学习评价现状学习评价经历测量、描述、价值判断时代，逐步向意义建构发展。传统以纸笔测试为主的学业评价，往往侧重测试学生认知方面的知识记忆与理解程度，对学生高阶认知能力如创造力的重视不够，效果也不佳（田爱丽，2020）。对非认知能力如学生的尽责表现、情绪调节、合作能力、思想开放、社会交往等（OECD，2019）的发展情况，传统的纸笔测试更是显得无能为力。而且囿于数据和技术的双重缺失，传统学习评价与反馈结果呈现出模糊性和延时性等特征，这制约了其价值实现。随着信息技术与教育的深度融合，学习环境、学习内容、学习交互方式发生翻天覆地的变化，学习评价也随之发生变化。二、数据驱动的精准化学习评价机制数据驱动的精准化学习评价是对多空间、多场景、多时段、多过程的数据进行记录、采集、加工、处理，使得数据在平台间流转累加，实现“1＋1＞2”的能效的一种评价方法。它由多场景数据采集、多空间数据融合、精准分析模型构建、分析结果可视化等要素组成。多场景数据采集为学习评价提供数据来源和量化手段支撑，多空间数据融合为学习评价提供统一数据标准，精准分析模型为学习评价提供数据驱动的学习分析与评价方法，分析结果可视化表达为学习评价提供反馈和应用服务1.多场景数据采集学习空间是开展学习活动的基础环境，也是教育数据产生、应用与迭代流转的重要场所。由于信息技术的介入，学习空间从传统单一的教室实体学习空间向物理空间和网络空间高度融合的融合式学习空间变迁。学习者无论在何种学习空间开展学习活动，都会产生相应的教育场景数据。相较于单维学习空间，融合式学习空间场景较为多元，不仅包括图书馆、教室、阅览室等物理环境，同时也包括角色分配的社会环境以及思维意识介入的认知情境。由于传统教学场景如学校、图书馆的数字化与智能化水平相对滞后，教学场景中的学习数据采集，主要依赖于人工观察和用户自报告等手段，采集到的数据往往不够全面，且具有一定的主观性。随着可穿戴技术、物联网与人工智能技术的兴起，传统教学场景中的多元化数据得以采集。研究者可以利用数据感知技术、一卡通、视频监控、智能移动终端、穿戴设备、二维码、无线网网络设施等，随时感知与测量学习者的学习数据、生理数据、行为数据、管理数据等并对其进行记录和存储。2.多空间数据融合在评价中，已获取的教育数据并非在同一时刻被分析处理，而是依据评价目标、评价对象，选择不同场景、不同时间节点、不同频次、不同时长、不同维度的数据进行综合分析，因此数据的采集可能会出现数据不统一、噪声干扰、数值缺失等问题。为了将获取的数据转变为计算机能够识别并处理的结构化、半结构化、非结构化数据，为下一步数据建模做准备，需要对已获取的数据进行规范，涉及的关键步骤包括数据清理、数据集成、数据规约和数据变换。值得注意的是，一些数据既可以用于建模，也可以用于分析，如学习投入度的评价可采集学习者观看视频时回答问题的频次与中断视频的频次，也可以依据学习者面部表情与坐姿进行分析；而面部表情同样也可作为学习兴趣的分析方法。3.精准分析模型构建分析建模是精准化学习评价过程中至关重要的一步。其实质是首先依据评价目标的不同，构建相应的评价指标体系；然后对评价指标体系中的评价维度进行数据化表征，采集多源数据；最后基于机器学习、深度学习、自然语言处理、数据挖掘、计算机视觉等技术，对所获取的规范化数据进行建模，最终获得分析结果。分析建模主要包括学习者画像、预测模型与预警模型三类。学习者画像通过采集到的基础信息、学业数据、学习资源等实时数据，基于文本挖掘、自然语言处理等方法，对学习者的学习特征与个性特征进行描述，帮助教学利益相关者了解学习者学习情况。预测模型是基于学习者持续变化的学业数据、心理数据与生理数据，通过语义关联及相关性分析方法，诊断学习状态并预测未来变化趋势。预警模式建立在预测模型的基础之上，是预测的下一个阶段，对预测的结果进行预警。构建预警模型的主要方法是关联规则、K-means算法等。4.分析结果可视化计算机构建的分析模型较为抽象，不易理解。如果计算机内部自动分析与判别，然后为教师或学习者提供相关学习资源，其分析结果则不需要进行可视化呈现。然而，人在教育中的作用是无法取代的。无论空间如何融合，最终学习数据及学习分析结果都需要方便教师使用。因此精准分析建模后需将分析结果转变为人们易于理解的图形、图像，即将分析结果可视化。可视化分析工具的设计是“数据驱动教学”的核心。当前应用较多的学习仪表盘，被定义为“为了支撑和改进学习和表现，对学习分析结果进行可视化和直观显示的学习分析工具”（Yooetal.，2015）。它能够直观地呈现学习者学习的相关信息，如学习者对知识点的掌握程度、学习进展情况、登录次数等。知识图谱（KnowledgeGraph）是另一个可视化工具，用于绘制、分析和显示学科或学术研究主体之间的相互联系，是揭示科学知识发展进程与结构关系的可视化工具。还有社会网络，能够将学习者群体中沟通与交流的路径可视化，找出意见领袖、边缘人物等。三、数据驱动的精准化学习评价方法改进教学和学习的目的，对学习评价的及时性和精准性提出了很高的要求。为了满足新型教育情境下精准评价需求，需要对现有的教育评价理论以及关键技术进行深度剖析，构建数据驱动的精准化学习评价新模式。针对传统的教学场景，新课标提出了“知识与技能、过程与方法、情感与价值观”的三维教学目标。针对在线教学场景，Fredricks等（2004）提出了行为、认知、情感三维学习评价指标体系；王敏娟构建了以学习者参与为核心的Cybergogy模型，提出学生在线学习效果应涉及认知、情感和社会三个领域的因素。然而，以上评价框架都忽略了学习动机对学习成就的影响。学习动机是推动学习者学习的直接原因和内部动力，是激发、指引和维持学习行为的心理过程，因此，学习评价首先需要对学习者学习动机进行评价。其次，无论是在传统的物理学习空间，还是在线的云学习空间，学习者的学习情况主要是通过认知与情感变化来体现的，故二者是学习评价必须关注的重要指标。最后，传统的行为指标在云学习空间中显得过于笼统，在物理空间与云空间相融合的学习空间中，学习者的社会交互行为等社会因素对学习者的学习成就有非常重要的影响，因此，社会因素分析也是学习评价的重要方面。四、发展展望与政策建议目前，数据驱动的学习评价研究在我国仍处于起步阶段。但随着教育与信息技术的深度融合，大数据背景下的学习评价研究呈快速发展趋势。未来，在政策的指引及技术的支持下，探索数据驱动的精准化学习评价大有可为。1.构建符合多空间数据特征的综合素质评价框架智能教育时代，智能感知技术为多空间、多场景和全过程的学习数据采集提供了有效的工具，使得学习过程数据的全面采集成为可能。从数据空间来看，通过智能感知设备，我们不仅可以获得在教室等物理空间学习时的课堂交互数据，同时也可获得在网络学习空间中的在线学习数据。这些数据覆盖课程、作业、生活、社交等多个学习场景，各个场景有各自的评价标准。同时这些学习数据具有多模态特性，包括视频、语音、文本和图片等，亟需归一化标准和通用的评价框架。因此，精准化学习评价亟需建立符合多空间全数据的综合评价框架和指标体系，用于汇聚来自不同场景、不同模态的学习评价数据，为后续大数据精准分析做好准备。2.完善过程性数据的采集与共享机制学生综合素质的评价需要全面采集学生德育、智育、体育、美育、劳动教育等多维过程性数据，数据来源场景多样、涉及的信息维度多、模态不一。因此，完善国家、区域、学校和班级等多级资源与数据的采集与共享机制，是实施数据驱动的精准化学习评价的前提。人工智能技术与感知设备的快速发展为完善过程性数据的采集奠定了技术基础。研究者可以通过多种传感器设备实时记录学生行为数据，同时，结合观察、访谈、资料分析等不同方法，多维度、多层次地采集学习者的学习结果数据和学习过程数据。如可以通过手环等传感器设备来实时感知学生的运动、位置、睡眠状态等生理数据，通过摄像机等设备自动采集学生课堂学习行为数据，通过个人档案、问卷调查等方式记录学生综合发展数据，通过阶段性测评与诊断性测评采集学生学业数据等等。同时，研究者还要注意完善真实的情景化任务、成果、行为等多源、异构、多模态、不连贯语义的海量数据的共享。不同教育机构的数据与资源共享机制是保证学习评价大数据的完整性与全面性的基础。3.突破学习评价中情感、认知、动机和社交评价方面的关键技术当前学生的综合素质评价大多采用填报与统计方式，其评价的效度和真实性受到质疑。而传统的评价模型侧重学习者的知识掌握情况，忽略了更高层次的知识迁移能力、学习方法、情感态度和社会交往能力的发展情况。这既是重结果、轻过程的评价理念所致，同时也受到评价技术的制约。要实现精准化的学习评价，必须在情感、认知、动机和社交评价的关键技术方面有所突破，通过采集文字、语音、图像、视频等包含认知、情感、注意力等的多模态数据，利用自然语言处理、图像识别、情感、计算等深度学习技术和统计建模方法，分析学习者的学习过程、学习内容、知识迁移、情感获得、交流互动等，以此对学生综合素质进行全面、精准、多维度的评价与反馈。4.研制数据驱动的学习评价平台，加快学习评价在教育教学中的应用数据驱动的学习评价平台需要云计算、数据仓库、数据挖掘等技术和应用的配合，实现低成本的大规模分布式存储、及时响应的用户体验，以及更加绿色节能的新一代数据中心。即在有效面对大数据处理需求的同时，实现最大化资源利用率、最小化系统能耗的目标。为此，数据驱动的学习评价平台需要为教育大数据的汇集融合、海量存储、高效计算、深入分析挖掘以及教育应用的开发与运行提供基础支撑。基于这个原理搭建教学、管理与学习的全生态应用平台，构建不同业务系统共享数据中心的数据聚合型平台。在规范化的数据基础之上构建特色型分析模型满足分析需要，为管理者、教师、学生、家长以及合作学校提供智能服务。学校需将校内与校外、课内与课外、线上与线下、网络空间与物理空间产生的数据汇集到学习评价平台中，通过数据不断的流转迭代，帮助管理部门、教师、学生、家长等利益相关者了解学生的学习情况，开展精准的教育干预与辅助。教师应不断提升信息化教学能力与数据素养，能够对学习者不同学习时段产