CN119418725A 一种基于模态自适应学习的多模态课堂情感识别方法及系统 （华中师范大学）

一种基于模态自适应学习的多模态课堂情开了一种基于模态自适应学习的多模态课堂情征差异，提出基于自适应模态评分(AMS)的多模2据则通过3D卷积神经网络提取面部表情与身体姿采用场景感知机制，用于识别当前课堂情境，并根据情境的特征对3m值较高；通过权重分配公式，动态调整每个模态在不同情境下的权重，确保在tAMS(st,at):表示在状态st下选择动作at的自适应评分；t)7.一种实现如权利要求1～6任意一项所述基于模态自适应学习的多模态情感识别方4理器执行如权利要求1～6任意一项所述的基于模态自适应学习的多模态情感识别方法的5[0002]随着教育技术的不断发展，课堂情感计算逐渐成为智能教育系统的重要组成部[0003]现有情感识别技术大多依赖于单一模态(如面部表情或语音信号)数据进行情感根据课堂场景的动态变化灵活调整不同模态的权重，导致系统在情境变化时识别精度下6情感特征，视频数据则通过3D卷积神经网络(3D_CNN)提取面部表情与身体姿态的情感线w"表示在时间步t下模态m的权重。m值较高。7制(AMS)。该机制通过实时反馈(如情感识别的准确[0034]AMS(st,at):表示在状态st(当前课堂场景)下选择[0038]maxAMS(st+1,at)：表示在下一时刻状态st+1下选择任意模态组合a所获得的最大t)[0044]本发明的另一目的在于提供一种实现所述基于模态自适应学习的多模态课堂情8[0050]本发明的另一目的在于提供一种计算机设备，计算机设9分数为92.85显著优于CORECT(准确率89.81F1分数89.95％)，在课堂应用场景中具[0062]本发明提出的基于场景感知的多模态情感识别方法，能够在复杂课堂场景下实态融合策略有效解决了多模态数据时序信息丢失的问题，确保情感特征的完整性和精度。[0063](3)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难[0073]本发明的基于模态自适应学习的多模态课堂情感识别方法通过获取多模态数据、学习模型对这些模态特征进行提取，例如使用卷积神经网络(CNN)提取视觉模态的图像特[0078]在S5步骤(多模态融合与时序建模)中，系统融合了经过[0080]本发明的基于模态自适应学习的多模态课堂情感识别方法通过多步骤实现对不法，例如使用卷积神经网络(CNN)提取图像模态中的视觉情感特征，使用自然语言处理分模态的特征提取方式能够提升特征提取的针对性，使得每种模态的数据特征更具代表m值较高。[0108]AMS(st,at):表示在状态st(当前课堂场景)下选择[0112]maxAMS(st+1,at)：表示在下一时刻状态st+1下选择任意模态组合a所获得的最大t)[0119]本发明的应用实施例提供了一种计算机设备，计算机设[0135]本发明公开了一种基于场景感知和模态自适应学习的多[0142]本发明的技术方案通过实验数据和实际项目中的结果展示了其显著的技术效型的F1分数达到88.6明显高于MUIT的69[0144]多模态数据的异步处理与模态自适应组合优化：本发明引入了自适应模态评分均显著高于主流模型。尤其在复杂课堂情境中，通过场景感知机制和AMS动态权重调整机的结构设计和数据导出功能，使得其在教育智能化应用中具备更高的实用性和商业化潜