CN119402681A 基于边缘云协作的复杂性和语义感知视频分析方法及系统 （南京理工大学）

基于边缘云协作的复杂性和语义感知视频本发明公开了一种基于边缘云协作的复杂2异检测器提取视频帧语义特征预测出视频帧推理难度ot和帧间差异度vt,t,，以及最近处理(3)决策引擎根据获得的任务状态和系统状态做出决策，然后将决策动作应用于视频视频帧被认为是处理难度大的，根据推理难度与系统负载，在边(6)系统收集一组视频任务的处理奖励，根据强化学习决策引擎的学习策略进行训练2.根据权利要求1中所述的基于边缘云协作的复杂性和语义感知视频分析方法，其特训练难度估计器M,通过比较边缘模型ε和云端模型C的推理结果来构建一个数据集：oi=b(E(f),c(f))3t)＝Bzvt)为：C.(f)=udwvevet)和Rc(ft)分别为帧ft的边缘模型和云模考虑云模型推理结果作为真值，因为云模型具有更高的复杂性和量边缘模型检测结果与云模型结果匹配的对象的比例作3.根据权利要求1中所述的基于边缘云协作的复杂性和语义感知视频分析方法，其特(31)系统状态：时隙t处的系统状态S(t)包含了视频任务的语义特征和系统的度量信b4该奖励函数封装了推理精度、总延迟和资源利用成本之间t的动作概率分布作为一次转换过程存储到经验缓冲区中；到了满足一集训练要求的数据之后，使用该集数据对决策引擎中的Critic网络进行训练，并通过Adam优化器优化Actor网络的策略目标和Criti(36)系统采用基于近端策略优化PPO算法的DRL方法，由Actor网络和Critic网络两个Critic网络则用来达到最小化预测和4.一种基于边缘云协作的复杂性和语义感知视频分析系统，执行如权利要求1_3任一项所述的基于边缘云协作的复杂性和语义5.根据权利要求4所述的基于边缘云协作的复杂性和语义感知视频分析系统，其特征并使用MLP网络作为回归量来估计推理复杂性，用于优化任务推理延迟和提高系统资源的决策引擎：用于决定如何处理到达边缘节点的视频任务，决5[0002]深度神经网络(DNN)在计算机视觉领域的应用显著提升了推理的准确性。随着智决这些因素就能优化当前视频分析系统的资源利用效率低间差异检测器提取视频帧语义特征预测出视频帧推理难度ot和帧间差异度vt,t,，以6[0010](3)决策引擎根据获得的任务状态和系统状态做出决策，然后将决策动作应用于[0016](6)系统收集一组视频任务的处理奖励，根据强化学习决策引擎的学习策略进行[0018](11)难度估计器M:它结合了用于语义特征提取的预训练DNN和用于难度预测的一个数据集：[0019]oi=(E(f),c(f))[0020]其中o9t是训练数据的推理难度真值，ф是量化边缘模型和云端模型推理结果之[0022]or=M(fl)[0029]C.(f)=ud,vev7e[0034]进一步地，该方法的步骤(3)中构建决策引擎代理的深度强化学习算法具体实现[0035](31)系统状态：时隙t处的系统状态S(t)包含了视频任务的语义特征和系统的度[0039](33)奖励函数：在完成时隙t的推理任务后，系统将计算当前任务的处理奖励Rt的动作概率分布作为一次转换过程存储到经验缓冲区中。[0044](36)系统采用基于近端策略优化(PPO)算法的DRL方法，由两个主要组件组成：在输出层使用Softmax激活函数产生动作空间上的概率分布。该输出对应于选择每个动作8统用于实现上述的边缘云连续体中的复杂性和语[0055](1)本发明提出一种边缘云连续体中的复杂性和语义感知监控视频分析方法，对9[0063]结合图1的视频分析系统框图，基于边缘云协作的复杂性和语义感知视频分析系[0067](4)决策引擎：部署在边缘节点的决策引擎决定如何处理到达边缘节点的视频任[0071]对于组件(4)中的决策引擎采用基于近端策略优化(PPO)算法的深度强化学习方[0072]Actor网络负责将系统捕捉到的任务状态信息和系统状态信息映射到决策动作集(fasterrcnn_mobilenet_v3_large_fpn)，在云端节点中部署大模型(fasterrcnn_延迟和平均总推理成本。本发明