CN119420940A 面向机器视觉的数据处理方法、装置、设备及介质 （鹏城实验室）

本申请实施例提供了一种面向机器视觉的编码器对初始视觉信息进行不同类型的特征提视觉码本对各编码特征分别进行矢量量化处理码器对不同类型压缩信息表征的编码特征进行特征重构，得到各个层次下相应类型的解码特2将所述初始视觉信息输入到预先训练好的端侧压缩模型中，通基于所述视觉码本，对各个类型下的所述编码特征分别进行矢量将相应类型的所述压缩信息发送至所述边云侧系统，以使所述边云侧所述通过多层次编码器对所述初始视觉信息进行不同类型的特征提基于所述浅层次编码块对所述初始视觉信息进行纹理编码，得到基于所述深层次编码块对所述纹理编码特征进行语义编码，所述基于所述视觉码本，对各个类型下的所述编码特征分别进行矢量量化处对所述纹理编码特征进行降维处理，得到所述纹理编码特征降从多个所述码向量中确定与所述第一基本特征单元匹配的第一码向量，或者，确定所述语义编码特征的多个第二基本特征单元，接收来自所述端侧设备发送的各类型下的压缩信息，其中，所述过多层次编码器对所述初始视觉信息进行不同类型的特征将各类型下的所述压缩信息输入到预先训练好的边云侧解码模型中3将所述样本初始视觉信息输入到预先构建好的端侧压缩模型中，通基于预先设定的初始码本，对各个类型下的所述样本编码特征分别进行矢量量化处基于所述样本压缩信息、预设的第一梯度停止算子和预设的第一权重因接收来自所述端侧设备发送的各类型下的样本压缩信息，其中，所将各类型下的所述样本压缩信息输入到预先构建好的边云侧解码融合不同类型下的所述样本解码特征，得到与所述样本初基于所述样本初始视觉信息和所述样本目标视觉信息，基于预设的第二梯度停止算子和第二权重因子，计算得到同根据所述第二量化损失值对端侧参数和所述边云侧参数进行联基于预先引入的判别器，对所述样本初始视觉信息进行所述样本目标视觉信息进行判别处理得到第叠加所述第一判别值的对数处理结果和所述第二4基于预先引入的教师模型，对所述样本初始视觉信息进行特征提取计算所述样本预测解码特征和所述样本解码特征之间的均方误差值，得到蒸馏损失根据所述蒸馏损失值对所述端侧参数和所述边云侧参数进行联根据所述总损失值对所述端侧参数和所述边云侧参数进行联合调整特征编码模块，用于将所述初始视觉信息输入到预先训练矢量量化模块，用于基于所述视觉码本，对各个类型下的器视觉的数据处理方法或权利要求4至10任一项所述的面向机器视处理方法或权利要求4至10任一项所述的面向机器视觉的数5[0001]本申请涉及视觉数据处理技术领域，尤其涉及一种面向机器视觉的数据处理方6基于预先设定的初始码本，对各个类型下的样本编码特征分别进行矢量量化处基于预先设定的初始码本，对各个类型下的样本编码特征分别进行矢量量化处7型下的样本编码特征是将获取到的样本初始视觉信息输入到预先训练好的端侧压缩模型基于样本初始视觉信息和样本目标视觉信息，计算得到像素损失值和感知损失叠加第一判别值的对数处理结果和第二判别值的对数处理结果，得到对抗损失8的面向机器视觉的数据处理方法或者上述第二方面的面向机器视觉向机器视觉的数据处理方法或者上述第二方面的面向机器基于端侧设备传输的少量信息重构得到最终的目标视觉信息，提高了视觉数据的传输效[0020]图1是本申请实施例提供的面向机器视觉的数据处理装置一个可选的应用场景示图3是本申请实施例提供的面向机器视觉的数据处理方法的一个可选的传输示意图6是本申请实施例提供的面向机器视觉的数据处理方法的另一个可选的流程9图7是本申请实施例提供的面向机器视觉的数据处理方法的一个可选的视觉码本图8是本申请实施例提供的面向机器视觉的数据处理方法的一个可选的模型训练图9是本申请实施例提供的面向机器视觉的数据处理方法的一个可选的边云侧解图10是本申请实施例提供的面向机器视觉的数据处理方法的一个可选的联合训图11是本申请实施例提供的面向机器视觉的数据处理方法的另一个可选的联合图12是本申请实施例提供的面向机器视觉的数据处理方法的又一个可选的联合图13是本申请实施例提供的面向机器视觉的数据处理方法的再一个可选的联合技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，如下实施例进行说明，首先描述本申请实施例中面向机器视觉的数据处理装置的应用场至步骤104，部署在端侧设备的装置在执行面向机器视觉的数据处理方法时，具体流程如[0036]其中，本申请实施例中端一边一云架构可以基于卷积神经网络（Convolutional例对此并不做限制。编码块进行特征提取处理的过程中为浅层次编码特征和初始视觉信息分别赋予不同的处码特征和初始视觉信息赋予的处理权重可以根据实际情况进而使得边云侧系统能够基于端侧设备传输的少量信息重新组成与欲传输的编码特征匹配[0061]在一些实施例中，本申请实施例中的视觉码本包括视觉纹理码本和视觉语义码纹理编码特征映射到低维离散码本空间中（例如从1024维降低至128维随后在低维离散第一token与视觉纹理码本中的各码向量进行比较，查找与其最相似的码向量作为量化结[0063]进一步地，从降维后的语义编码特征中确定多个第二基本特征单元，将各第二向机器视觉的数据处理方法的另一个可选的流程图，图6中的方法可以包括但不限于以下编码器对初始视觉信息进行不同类型的特征[0072]步骤403，融合不同类型下的解码特征，得到与初始视觉信息匹配的目标视觉信块接收端侧压缩模型发送的纹理压缩信息，并根据视觉纹理码本确定相应的纹理码向量；边云侧解码模型重构的解码特征确定传输得到的图像中每个像素的类[0079]在了解了本申请传输装置是如何在应用推理过程中基于本申请提出的传输方法[0080]在一些实施例中，图7是本申请实施例提供的面向机器视觉的数据处理方法的一权重因子，zc(x)代表编码器从输入的样本初始视觉信息x中提取得到的不同类型下的样请实施例还采用lz归一化编码策略。lz归一化编码策略是指对编码器提取[0092]在一些实施例中，图9是本申请实施例提供的面向机器视觉的数据处理方法的一息是端侧设备基于视觉码本，对各个类型下的样本编码特征分别进行矢量量化处理得到<2>计算得到像素损失值Lpix：通过下式<3>计算得到感知损失值Lper：f(I)和f(I,进一步地，根据像素损失值Lpix和感知损失值Lpe<4>其中，Lrec是整体重构损失值包括像素级损失值Lpix和感知损失值Lper两个部个可选的联合训练流程图，端侧压缩模型和边云侧解码模型均是通过以下步骤701至步骤[0105]在一些实施例中，还可以对端侧压缩模型和边云侧解码模型的参数进行联合调本训练数据，样本训练数据包括端侧压缩模型基于样本初始视觉信息lori提取得到的样本纹理编码特征zf和样本语义编码特征，以基于样本训练数据计算得到各类型下编/解码[0107]进一步地，第二量化损失值包括浅层次编/解码块方[0109]进一步地，根据第二量化损失值以及对端侧参数和边云侧参数进行联合调一个可选的联合训练流程图，端侧压缩模型和边云侧解码模型均是通过以下步骤801至步basedDiscriminator以便通过对抗训练的训练方式对编/解码块、尤其是浅层次编/解<7>的对数处理结果；D(IS)为第二判别值，Iog(1-D(Ire))为第二判别值的对数处理结一个可选的联合训练流程图，端侧压缩模型和边云侧解码模型均是通过以下步骤901至步<8>过下式<9>计算得到总损失值Lobj：其中，Lobj以最小化E、G、Z'、zh、R的平均损失，以及最大化D的损失值为对新增的适配器或提示token进行学习，即能够使得重构的视觉特征更好地适应于下游任特征编码模块1102，用于将初始视觉信息输入到预先训练好的端侧压缩模型中，不同类型压缩信息表征的编码特征进行特征重构，得到各个层次下相应类型的解码特征；基于端侧设备传输的少量信息重构得到最终的目标视觉信息，提高了视觉数据的传输效[0133]该面向机器视觉的数据处理装置的具体实施方式与上述面向机器视觉的数据处可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式