教育大数据与学习分析 课件 第十章 学习分析的新发展

学习分析的新发展Contents目录010302学习分析理论的新发展学习分析技术的新发展学习分析应用的新发展学习分析的新发展—学习分析理论的新发展1一、多模态学习分析兴起与发展语言学、会话分析、社会符号学等学科领域都对多模态进行了研究探索，多模态经过发展已演变为一种统筹化的理论人工智能和机器人技术的发展进一步催生了多模态交互，多模态交互是机器人与人之间通过文字、语音、动作等进行的一种交互方式。在学习情境中，使用多模态数据进，行教育实验的探索可以追溯到20世纪90年代初，利用多种数据源和社交信号处理推断认知和社交过程的可能性。发展成因研究者的探索时代的变迁技术的深入发展多模态学习分析多模态与教育分析多模态与教育分析有天然的契合度：跨物理和数字世界的建模正成为一种日益增长的需求多模态方法更符合人类交流的本性可穿戴追踪器可以收集物理学习空间中的交互操作与网络学习中的日志数据、档案信息数据相整合使学习过程的追踪和学习分析更完整人类在交流过程中，通常会使用多种形态来表达他们的意图和情绪，如面部表情、声调、肢体动作等多模态学习分析的概念与目标取向概念多模态学习分析是一个横跨学习科学和机器学习的研究领域，能够为复杂学习行为和学习理论之间搭建桥梁，是以下三个概念的交叉点。多模态学习分析多模态教学与学习多模态数据计算机支持的分析多模态学习分析利用多模态数据捕获和信号处理技术研究复杂学习环境中的学习。原理通过收集多种形式的数据，将复杂的学习行为与学习理论和学习策略联系起来，以跟踪学习体验。目标多模态学习分析侧重对情境学习活动中自然、丰富的交互进行分析，包括演讲、写作、对象操作、工具使用、制品搭建、非语言交互（手势、面部表情、注视）等。研究取向多模态学习分析的组织及其研究主要探讨多模态学习分析的发展前景与应用价值研讨会认为，这方面的研究进步将变革我们识别和加强有效学习的能力，最终促进多样化环境下的学习将多模态分析技术与学习科学结合起来，促使研究者更好地理解学习者的学习，以创造更自然、丰富的学习界面第一届多模态学习分析工作坊01一是聚集既有丰富教学经验，又有严格技术要求的人员，开发和传播分析多模态学习数据的新技术02二是开发新的学习分析技术以更好地适应智能手机、平板电脑等现代化计算设备的多模态接口第二届多模态学习分析工作坊多模态学习分析的组织及其研究03代表性研究是基于语音、数码笔和视频数据的组合，分析在协作学习过程中数学问题是否得到解决多模态学习分析的组织及其研究第三届多模态学习分析工作坊集结了计算机科学、学习科学、学习技术和数据科学等领域专家，包含一次研讨会和两次分会。两次分会02研讨会01多模态学习分析的组织及其研究两次分会02研讨会01研讨会要求演讲者集中讨论学习信号的多模态分析过程中不同研究和技术方法的优点和缺点，包含4个议题：不同形式多模态数据融合的理论和概念思考通过语音分析确定学习练习过程中的融洽程度真实课堂中的视频分析复杂学习环境下的多模态分析作用。两次分会则包含数学数据挑战和演示质量挑战，研究问题包括：通过计算机自动预测哪些数学问题能够被正确解决如何利用多模态技术评估演讲质量及演讲者行为等。该次活动得出的主要结论是多模态学习分析是一个值得去努力探索的研究领域，其产生的结果能够被当下应用以改善学习过程。第四届第四届多模态学习分析工作坊聚焦于通过新技术捕捉多模态学习数据，以及开发丰富的多模态学习应用。多模态学习分析挑战讨论包含两个议题：学习环境的多维捕获挑战，在真实、日常学习环境中进行课堂范围内的多模态数据采集和分析非常具有挑战性；整合人体运动的多模态学习应用挑战。多模态学习分析的组织及其研究总结分析前四届发现：多模态学习分析为物理空间和数字世界中的人、设备、资源之间的学习测量与评价分析提供了新的视角应用多模态学习分析改善学习过程、优化学习体验已成为研究共识在研究挑战上，数据源类型、采集技术与工具、分析方法是需要持续解决的技术问题如何从教育实验环境下的个案分析走向真实教育场景下的全样本分析是研究实践所面临的挑战。多模态学习分析所形成的多维空间探索多模态学习分析的空间结构与数据分类学习分析领域早期关注的重点是分析学习者使用某些数字化学习工具产生的行为，包括学习管理系统、智能导学系统、大规模开放在线课程为主要学习支持工具的系统。现实世界中还包括其他非计算机下的学习环境，包括课堂学习、校园学习、家庭学习等，在这些环境下可以通过物联设备来尽可能地追踪学习痕迹，以进行多模态分析。左侧表示模态的分类，包括讲话、写作、手势、表达、注视、身体活动；图上侧表示分析的层级，包括信号、活动、表征、元认知、交互；横向和纵向双箭头交叉表示可以支持开展更加全面、系统、复杂的学习过程分析，这有助于进一步生成新的学习理论。多模态学习分析的空间结构多模态学习分析的空间结构与数据分类学习者与计算机之间形成多模态交互，包括文本交互、语音交互、界面交互等；学习者与学习资源之间通过视频、图片、动画等形成多模态感知；计算机与学习资源之间通过数据语义、知识语义、自然语言等形成多模态语义理解。在学习空间上，学习者、计算机和学习资源之间相互联结形成物理空间、网络空间和虚拟空间，这3种空间是信息化时代下支撑学习的主要空间形式。因此，多模态学习分析是以学习机理为核心，以多模态交互、多模态感知、多模态语义理解为技术支撑的结构关系分析，以跨学习空间为环境基础，对围绕学习者产生的学习体征数据和学习行为数据进行立体分析，以揭示学习变化机理及其规律。多模态学习分析的空间结构与数据分类中间层表示每一部分的数据分类；最外层表示数据采集的具体对象；从中间层到最外层表示数据逐步分类、学习行为逐步表征的过程。多模态学习分析模型与分析流程该模型以混合现实线和可观测线两个维度为分割点，将整个分析流程分为4个象限；其中混合现实线表示学习环境从物理世界到数字世界的转变；可观测线表示多模态数据从输入空间到假设空间的转变；4个象限之间的转换由4个过程（P1、P2、P3、P4）引导生成4个结果（R1、R2、R3、R4）；过程部分包括传感器捕获、注解、机器学习、反馈解释，结果部分包括多模态数据、学习标签、预测、行为变化。模型分析流程从最上方中心开始按顺时针方向迭代进行。转换一：从传感器捕获到多模态数据利用传感器将学习者行为及其环境数据进行采集，并转换为多种形式的数据流。转换二：从注解到学习标签该过程由专家或学习者主导对数据进行判断和注解，以丰富低语义多模态数据。借助机器学习算法可以自动对不可观察的数据进行判断和注解，并定义学习标签。转换三：从机器学习到预测该过程利用监督机器学习算法观察得到的多模态数据学习统计模型，并基于未观察的数据构建生成预测。转换四：从反馈解释到行为变化该过程将分析结果进行反馈解释并反馈给学习者，以引导其做出一些新的学习行为。多模态学习分析流程从区域模块来看，该管道包括学习任务模型、数据生产、数据研究等部分，其中数据生产是主要工作流程，通过仪表盘和智能导师进行输出。从分析流程来看，该管道包括数据收集、数据存储、数据标注、数据处理、数据开采等5个步骤该研究中提出4种开采策略，包括矫正反馈、预测、模式识别、历史报告，针对不同类型的研究对象和目的，并结合其他分析工具可以选择不同的路线，如对学习者言语和姿态分析可以选择A路线，对学习结果进行预测分析可以选择B路线缘起设计领域专家唐纳德·诺曼（DonaldNorman）提出的“以人为中心”的设计。其基本假设是：使用技术的用户熟知他们所从事的基本任务，他们需要易于使用的技术来帮助自己完成这些任务。以用户为中心的学习设计又称学习者中心设计（Learner-CenteredDesign，LCD），是一种旨在开发软件等技术产品，以通过支架支持学习者努力进入和掌握某个给定领域的设计方法。二、以用户为中心的学习设计内涵共同创造策略对学习设计的促进作用共同创造被定义为“通过活动和与合作者的互动整合资源而获得的收益”。学习分析的研究者需要通过共同创造策略，与用户（如教育工作者、学习者）一起进行平台设计，整合用户资源，使学习分析平台的价值潜力与用户的需求和期望保持一致。允许学习者和教育工作者共同参与学习分析的过程，就能够进一步从用户视角理解整个学习过程，优化学习体验。改善学习过程的分析和理解将学习分析重新定义为一个允许利益相关者共同参与的过程，平台的功能可能会更符合用户的需求和期望，从而被更广泛地采用。改善学习分析平台的创建和设计方式重新检查需要收集的数据类型，共同创造出更具灵活性和多样性的学习分析平台，以满足用户的需求。改善学习分析平台与用户利益之间的匹配度三、开放学习分析开放学习分析是学习分析领域的一个新兴概念。学习分析研究协会对“开放性”的愿景是：使用开放流程、算法和技术的开源软件，使研究人员和开发人员能够轻松地将自己的工具、方法与平台集成。Apereo学习分析计划01开放学习分析平台03Jisc开放学习分析体系结构02开放学习平台社区三种体系结构：开放学习分析体系结构功能比较Apereo学习分析计划01开放学习分析平台03Jisc开放学习分析体系结构0201ApereoLAI和JiscOLAA体系的一个重点是监测学习者的表现，并向教育工作者发出干预警报，其定义新指标的诉求需要开发人员使用编程的方式来进行;而OpenLAP遵循个性化的学习分析方法，不同的利益相关者（用户）能够随时定义自己的指标，来达成各自的学习分析目标。指标个性化02平台扩展性ApereoLAI和JiscOLAA的另一个重点是进行预测分析。它们有一个共同的分析组件，称为学习分析处理器，该处理器负责跟踪学习者的进度，并使用预测模型进行分析;而OpenLAP提供了一种机制，可以轻松添加新的分析方法，不仅限于预测分析，还可以应用各种分析技术来挖掘教育数据集中的隐含模式。开放学习分析的功能应用在早期发现有风险的学习者，并为学习者和教育工作者发出警报来降低辍学率通过及时向学习者提供有关自己和同伴学习表现的信息，来增强学习者的成就、动机和信心通过复杂信息的可视化交互，学习者和教育工作者能够根据特定学习或教学环境的需要“放大”或“缩小”数据集的分析通过个性化调整学习过程和内容，确保每个学习者都能获得与其当前知识状态相符的资源和教学通过对实时数据的利用，进行更高质量的学习设计，改进课程开发流程通过评估学习者的学习进度，并确定哪些学习活动可以产生最佳的学习结果，哪些学习工具可以更快地实现学习目标，从而更好地帮助学习者学习分析的新发展—学习分析技术的新发展2一、数据中台1数据中台产生背景各种各样的数据呈爆炸式增长，我们更需要数据科学与工程相关的技术与方法，快速、准确地获取大数据中的有价值信息，实现深度理解、敏锐发现与精准决策；数据标准不统一和数据统计的口径各异，以及数据间存在不一致等问题，阻碍了数字化转型进程。2数据中台概述以数据为中心，在数据集成的基础上以服务的方式提供数据的全生命周期管理，为业务构建提供便利，实现数据对于应用业务的价值，是保障“新基建”计划和数字化转型顺利推进的先进生产力。数据中台4数据中台的发展进程数据仓库—数据平台—数据中台3数据中台实质构建全域数据共享的中心，提供数据采集、数据萃取、数据服务等全链路一体化的服务，提供面向业务应用的数据智能平台。数据中台在教育中的应用物联校园的数据中台教与学的分析中台数据处理一体化中台基本思想是利用已有用户群过去的行为或意见预测当前用户最可能感兴趣的物品集数据处理、人工智能、学习者综合分析引擎于一体的，以管控平台为中心的教育数据中台将集数据采集、处理、挖掘、治理、存储、服务、分析为一体的数据中台作为运维管理及监控体系的一部分当前，教育数据中台主要用于满足单个学校或单个区域的数据服务需求。根据发展阶段的不同，教育数据中台大体可分为以下3类：二、多源数据融合概念多源数据融合的一般过程多源数据融合的分级模型起源多源数据融合起源多源数据融合（MultiSourceDataFusion）起源于多源信息融合，多源信息融合又称为多传感信息融合。人类感官感知机器模仿人类从感知到认知军事领域率先将对传感器信息进行加工提取概念目前，大多数研究者认为多源数据融合是一个“多层次、多方面处理自动检测、联系、相关、估计及多来源的信息和数据的组合过程”。多源数据融合多源数据融合的分级模型数据级融合特征级融合决策级融合多源数据融合多源数据融合的一般过程1—数据获取把模拟数据经过量化处理后转换成数字数据。2—数据预处理数据融合之前需要对数据进行一定的预处理操作，减少数据冗余与噪声，得到更精简的原始数据。3—数据特征提取数据按照一定的规则进行特征提取，得到的就是最终需要进行融合操作的信息。4—数据融合计算数据融合计算将提取到的特征信息进行融合以得到优化的决策，常用的经典数据融合算法有粗糙集、神经网络、D-S证据理论等。多源数据融合的教育应用形式线上包含教师各项教学准备、学习者在线学习活动设计与组织、学习过程等线下包含课堂教学活动、师生互动、自主学习与辅导等。线上数据与线下数据的融合传感数据是由传感器、智能录播系统、教学平台等通信设备检测和记录到的数据环境数据是教与学行为辐射到环境客体生成的模糊性数据，如学习投入度、学习坚持性、学习反思力等。传感数据与环境数据的融合历史数据多以视频、表格、档案等形式存储实时数据是通过多传感器跟踪检测到教师实时产生的最新数据。历史数据与实时数据的融合时域数据是纵向时间线上累积的教学数据空域数据是横向空间面上散落的教学数据，时域数据和空域数据的融合语义理解多模态深度语义理解是指对文字、声音、图片、视频等多模态的数据和信息进行深层次、多维度的语义理解。多模态深度语义理解不仅能让机器“听清”“看清”，更能深入理解背后的含义，深度理解真实世界，进而更好地支撑各种应用。在教育领域中，可应用多模态语义理解进行课堂视频分析：分析流程：对课堂视频进行多模态分析——利用知识关联技术建立视频理解图谱——进行多模态融合——理解视频主体内容应用三、多模态深度语义理解四、视频学习分析旨在从视频中提取学习者真实的学习行为信息，并将其转化为可被利用的标准化数据，从而对学习者行为进行分析。运用视频学习分析，能够进一步解答教学的影响因素或方法是如何产生影响的，以及这些因素或方法是如何促进教学有效性的。概述视频学习分析中的数据提取在视频信息中常被提取和分析的是面部、头部和手势，如通过双手协调、身体距离等指标来测量学习者在课堂上的注意力，以此来预测学习和教学的效果数据内容频率数据指的是在屏幕上找到学习者身体关键点的频率，如屏幕上的脸、手等，距离数据指的是学习者身体关键点之间的距离等数据类型现有的研究侧重于使用单一环境（如讲座场景）中的视频数据，来分析个别学习者的行为，如出勤率、注意力和参与度等。数据环境视频学习分析步骤借助摄像机采集学习视频，并为场景中的每个人分配一个随机标识符使用人脸识别数据库将标识符与学习者进行关联使用基于深度学习的数据库从视频中检测并提取学习者的身体姿势，逐帧输入人体关键点的位置使用算法自动生成指标人工视频编码技术；自动视频编码技术五、隐私计算隐私计算概述隐私计算具体是指在处理视频、音频、图像、文字、泛在网络行为性信息流等信息时，对所涉及的隐私信息进行描述、度量、评价和融合等操作，形成一套具有量化评价标准的隐私计算理论、算法及应用技术，以支持多系统融合的隐私信息保护。隐私计算隐私计算的流程隐私信息产生01个体在日常生活、使用互联网等过程中会产生图片、位置等各类文本、图像、语音、视频等隐私信息。隐私发布04隐私发布可以采用基于限制发布的隐私保护技术，如选择性地发布原始数据、不发布或发布精度较低的敏感数据。隐私感知02从包含隐私的信息中构建隐私变量集合，对隐私进行标记和编码，确定隐私变量的概率分布隐私存储05主要研究隐私保护后的数据如何高效存储，数据如何分类、组织、快速检索等。隐私保护03隐私保护方法包括密码学方法、信息隐藏方法和数据扰乱方法。隐私分析06隐私分析是隐私保护的逆过程，是指从施加隐私保护方案的数据中提取隐私信息取值的过程。思考怎样避免教师在运用学习分析技术时关注数据分析而忽视面向学习优化的教育实践？学习分析的新发展—学习分析应用的新发展3一、自适学习平台自适应模型领域模型被建模的领域是一个知识领域，如数学、语法等不同知识领域用户模型与用户行为有关的特点和个性，用户通常是学习者自适应教育能够基于系统采集和处理的数据，改变每个用户在学习系统中的体验。用于决策如何改变个体学习体验及改变什么的数据系统即自适应模型。自适应学习平台通一系列学习分析技术实现实时个性化教育，平台可以根据学习者在课程过程中反馈回来的信息，动态地改变内容及内容呈现方式、学习策略等。Knewton自适学习平台平台介绍Knewton创建于2008年，是一个提供自适应教育平台的公司，可以为使用者提供成熟、实时的学习者数据分析教师可以使用Knewton自适应学习平台的实时预测技术来监测每个学习者的知识空白区，即时调整，为每个学习者提供个性化教学。自适应学习平台适应性学习算法知识