CN119418414A 基于云边协同的课堂教学质量辅助评估方法、设备及系统 （湖南工商大学）

基于云边协同的课堂教学质量辅助评估方本发明公开一种基于云边协同的课堂教学接收到的视频图像数据使用预先训练的学生课堂行为识别模型进行学生课堂行为识别并进行当前帧识别结果进行融合得到当前帧的最终识签目标检测算法并采用知识蒸馏结构进行训练2在边缘设备中，对实时接收到的视频图像数据使用预先训练好的所述学生课堂行为识别模型为预先基于多标签目标检测算法并采用知识蒸馏结构进行训练得到。为k×k的分组空洞卷积，k表示卷积核的大小，Norm表示归一化，X表示输入的特征图，学生课堂行为识别模型采用知识蒸馏结构进使用第二预训练权重采用基于知识蒸馏结构对学生课堂行为识别模型使用所述第三预训练权重采用基于知识蒸馏的量化感知训练识蒸馏的量化感知训练方法中学生模型采用量化感知模型3u=atan(x)/(m/2)表示学生课堂行为识别教师模型预测值与学生课堂行为识别课堂行为真实标签之间的损失函数，x表示学生课堂行为识别教师模型预测值与学生课堂7.根据权利要求1~6中任意一项所述的基于云边协同的课堂教学质量辅助评估方法，若当前跟踪不成功则直接将当前识别结果作为当前检测框的若当前跟踪成功，则统计当前检测框与邻近多帧数据中8.根据权利要求1~6中任意一项所述的基于云边协同的课堂教学质量辅助评估方法，eos-⃞4视频图像采集设备，用于实时获取摄像头采集到的课堂上学生的视5[0003]针对于课堂教学质量智能评估，现有技术中通常是采用服务器进行模型部署方所述学生课堂行为识别模型为预先基于多标签目标检测算法并采用知识蒸馏结6堂行为的类别，ni为学生课堂行为数据集训练集中第i类学生课堂行为的正样本数量，S(x)为第i类学生课堂行为的预测值，为使用第二预训练权重采用基于知识蒸馏结构对学生课堂行为识别模型进行微调，于知识蒸馏的量化感知训练方法中学生模型采用量化感知模[0013]u=atan(x)/(m/2)课堂行为真实标签之间的损失函数，x表示学生课堂行为识别教师模型预测值与学生课堂[0015]进一步地，所述使用所述第三预训练权重采用基于知识蒸馏的量化感知训练方比重。7若当前跟踪不成功则直接将当前识别结果作为当前检测框的eos-⃞视频图像采集设备，用于实时获取摄像头采集到的课堂上学生的视频图像数据，8[0025]图2是本实施例在边缘设备端实现基于云边协同的课堂教学质量辅助评估方法的[0028]图5是在具体应用实施例中融合邻近帧检测结果得到当前帧检测结果的实现流程[0031]图8是本实施例采用的基于知识蒸馏的量化感知学生课堂行为模型训练原理示意[0034]为实现课堂教学质量辅助评估，本实施例可以采用如图1所示的架构模式部署课9[0035]如图2所示，本实施例在边缘设备端实现基于云边协同的课堂教学质量辅助评估步骤S01.由边缘设备实时接收摄像头采集到的课堂及便于工程化部署，具体可以采用多标签YOLOV8+DeepSort目标跟踪实现学生课堂行为识合深度学习和跟踪技术，提高了目标跟踪的准确性和鲁棒性。本实施例通过结合多标签获详细特征信息的能力，但传统空间注意机制并不能完全解决大卷积核的参数共享问题，F=softmax(g1x1(softpool(x)))XGELU(Norm(gdkxk(x)))（1）所示。行为识别模型的检测精度。为了降低样本不平衡对学生课堂行为识别模型检测精度的影为识别模型的检测头（Head）进行学生课堂行为检测，学生课堂行为识别模型的检测头点损失函数是通过引入类权重因子，同时采用焦点函数的类权重焦点损失函数构建形成。损失函数。S(x)为第i类学生课堂行为的预测值，为性、准确性及便于工程化部署，本实施例在采用多标签YOLOV8+DeepSort目标跟踪的基础[0046]本实施例在跟踪过程中使用邻近多帧的识别结果与当前帧识别结果进行融合得步骤S201.跟踪模型以及邻近帧结果完成初始化后，获取当前帧某个检测框及其步骤S203.采用邻近若干帧结果对当前检测帧结果进行微调，统计临近跟踪目标步骤S205.将步骤S204中各个动作的均值作为当前检测结构的基础上，进一步采用知识蒸馏的量化感知训练方法来训练学生课堂行为识别模型，[0049]如图6所示，本实施例中对学生课堂行为识别模型采用知识蒸馏结构进行训练的使用第一预训练权重1对学生课堂行为识别模型进行训练，得到第二预训练权重使用第二预训练权重2采用基于知识蒸馏结构对学生课堂行为识别模型进行微使用第三预训练权重3采用基于知识蒸馏的量化感知训练方法，对微调后的学生知识蒸馏的量化感知训练方法中学生模型采用量化感知模型进行参利用第三预训练权重3，采用基于知识蒸馏的量化感知方法对学生课堂行为识别模型进行[0053]为了降低知识蒸馏过程中因为学生课堂行为识别Teacher模型预测错误而影响学堂行为识别教师（Teacher）模型的软标签（预测值）与学生课堂行为真实标签的损失值Hard_Loss_T采用反正切函数Atan进行归一化处理，并利用其对蒸馏损失（Distillation学生课堂行为真实标签之间的损失函数，x表示学生课堂行为识别教师模型预测值与学生效提高学生课堂行为Student识别模型性能。[0056]本实施例采用知识蒸馏的量化感知训练方法训练学生课堂行为识别模型的流程损失值Hard__Loss__T采用反正切函数Atan进行归一化处理，并利用其对蒸馏损失（DistillationLoss）及学生模型的预测结果与真实标签的损失值Hard_Loss_S之间的比重进行动态调节进而将两者相加，得到最终学生课堂行为识别知识蒸馏模型更新最终损失函数值，进而降低知识蒸馏过程中因为学生课堂行为识别教师模型预测错误对量化模型性能的影响。[0060]上述指标中，Interaction、concentrationpos、concentrationNeg取值范围为[0,视频图像采集设备，用于实时获取摄像头采集到的课堂上学生的视频图像数据，的某一个或多个步骤，多台设备之间进行交互以完成上述方法。处理器可以采用通用的