CN119031147B 基于可学习任务感知机制的视频编解码加速方法及系统 （中科方寸知微(南京)科技有限公司）

司技创新园创研路266号人工智能产业基于可学习任务感知机制的视频编解码加本发明公开了一种基于可学习任务感知机2S1、从视频源获取原始视频序列数据，并对其S3、将优化后的图像组结构数据并行输入预训练的高分辨率编码器和低分辨率编码32.根据权利要求1所述的基于可学习任务感知机制的视频编解码加速方法，其特征在3.根据权利要求2所述的基于可学习任务感知机制的视频编解码加速方法，其特征在44.根据权利要求3所述的基于可学习任务感知机制的视频编解码加速方法，其特征在5.根据权利要求4所述的基于可学习任务感知机制的视频编解码加速方法，其特征在56.根据权利要求5所述的基于可学习任务感知机制的视频编解码加速方法，其特征在7.根据权利要求5所述的基于可学习任务感知机制的视频编解码加速方法，其特征在8.根据权利要求5所述的基于可学习任务感知机制的视频编解码加速方法，其特征在所述存储器存储有可被所述处理器执行的指令，所述指令用于被所现权利要求1~8任一项所述的基于可学习任务感知机制的视频6789进行空间域降噪，滤波的σ值根据局部噪声水平动态调整，计算公式为σ(x，y)=σbase+k*的视频帧序列。[0043]在本申请的另一个实施例中，准备一段30分钟的1080p交通监控视频，帧率为[0044]本实施例通过引入基于场景复杂度的自适应GoP结构调整机制，提高了视频编码网络使用多层感知器结构，包含多个全连接层和非线性激活函数。网络的输出层使用Gumbel_Softmax重参数化技巧，引入随机性以增加探索。Gumbel_Softmax采样公式：yi=[0054]接收最终优化的GoP结构信息和保留的视频帧数据，进行深入的预分析和特征提[0055]接收目标检测和跟踪结果。使用金字塔卢卡斯_卡纳德(Lucas_Kanade)光流算法[0060]本实施例通过引入基于任务感知的GoP有效帧判别机制，实现了视频编码过程中的智能化和任务导向优化。利用深度学习技术，特别是预训练的目标检测模型和光流算法，对视频帧的内容进行深入分析和理解。使得系统能够准确识别对特定机器视觉法提高了编码效率，通过仅对任务相关的关键帧进行高质量编码，而对其他帧采用更激进目标检测任务可能更关注清晰的物体边界，而动作识别任务可能更关注时间上的连续性。[0070]在本申请的一个实施例中，从视频帧缓冲区读取带有帧类型标记的视频帧序对每帧生成两个版本：保持原始高分辨率版本，和使用双线性插值法生成的低分辨率版本的细节损失。将准备好的高分辨率和低分辨率帧对存储到多分辨率帧缓冲区。输出多分辨率帧对序列。接收高分辨率帧序列。使用预训练的深度卷积神经网络（如ResNet或辨率特征在空间维度上对应。使用1x1卷积层对融合后的特征进行通道压缩，降低特征维塑为与原始帧分辨率相匹配的特征图。应用特征归一化，使用批量归一化（BatchNormalization）或实例归一化（InstanceNormalization）技术。生成位置编码不同子空间的依赖关系。应用通道注意力(ChannelAttention)模块，如压缩与激励块频序列；[0107]接收来自比特流解析模块的压缩数据和元数据。根据元数据中的上下文模型参Δ_1[0109]读取低分辨率重建结果和反量化后的高频特征数据。使用超分辨率网络（如处理后的视频帧按GoP结构组织成最终的视频序列。输出高质量重建的视频帧序列和相应[0111]在本申请的另一个实施例中，进行熵解码及特征解码：对接收到的比特流B使用滤波器后的图像IR'应用基于深度学习的后处理网络了计算效率和重建质量。低分辨率解码器首先快速重建视频的全局结构和主要语义信息，GoP内每一帧对于后续机器视觉任务的重要性，从而决定哪些帧值得投入更多资源进行精[0115]系统内嵌的动态量化系数生成模块，通过机器学习算法[0119]基于任务感知的GoP有效帧判别模块具体为：视频编码的第二步涉及到基于任务权衡，从而实现有效的数据压缩。GoP结构通过以下决策函数来动态预测，St=GoPS(xt，以保证机器视觉任务的性能不会因压缩而受到ggl为本实施例所提出基于深度神经网络的特征编码器（Encoder第一级图像特征编码器通常具有较高的分辨率（Highl的输出特征图。定制，根据其对机器视觉的相关性通过动态预测每个特征元素的跳过/不跳过编码模式优[0125]得到了空间选择掩码之后，使用算数熵编码器将低分辨率图像转化成比特流：首先对量化后的特征进一步进行筛选，筛选结果经过算术编码步骤，输出二进制码流量化范围的最大值；Smindec表示解码器中的量化范围的最小值，Smaxdec表示解码器中的量化范围的最大值。l为低分辨率解码器Dl的输出结t为重构的输出视频帧。[0127]本实施例通过任务感知的GoP有效帧判别模块和动态空间有效区域选择模块的紧得系统在各种实际应用环境中都能表现出色，从高带宽的