CN114821443B 视频特征提取网络的训练方法及装置 （浙江网商银行股份有限公司）

道西溪路556号阿里中心D幢9层、E幢JP0013418A1,2001.03.13本说明书实施例提供视频特征提取网络的列分别输入至待训练特征提取网络\参考特征提重预测网络输出的样本视频对应的序列乱序预2获取样本视频，根据所述样本视频获得所述样本视频的第一视频始视频帧序列和所述乱序视频帧序列计算所述样本视频对应的序列乱将所述第一视频帧序列和所述第二视频帧序列分别输入至待训练获取比对编码结果，并基于所述比对编码结果、所述第将所述第一提取结果输入至乱序权重预测网络，获得所述乱序权重根据所述第一损失值和所述第二损失值调整所述待训练读取比对编码结果队列；根据比对编码结果、所述第一提取结果和所述第二提取结果构建正根据所述正样本对和所述负样本对集合计算根据所述第一提取结果和所述第二提取结果构根据所述第一提取结果和比对编码结果构建所述第一提取结果对应的第一负样本对根据所述第二提取结果和比对编码结果构建所述第二提取结果对应的第二负样本对5.如权利要求4所述的方法，所述第一提取结果包括根据第一视频帧序列提取获得的据第一视频帧序列提取获得的第三特征向量和根据第二视频帧序列提取获得的第四特征3根据所述第一特征向量和所述第三特征向量构建第根据所述第二特征向量和所述第四特征向量构建第6.如权利要求5所述的方法，根据所述第一提取结果和比对编码结果构建所述第一提7.如权利要求1所述的方法，根据所述第一损失值和所述第二损失值调整所述待训练根据所述第二损失值调整所述待训练特征提取将所述第一视频帧序列和所述第二视频帧序列输入至动态编码器中，获将所述样本视频对应的比对编码结果添加至比对编码结果队列。根据所述第一损失值调整所述参考特征提取模型的模型参数和所述动态编码器的模根据所述第二损失值调整所述乱序权重预测将所述待分类视频输入至通过权利要求1_9任意一项训练获得的视频特征提取网络将所述目标特征提取结果输入至分类器中，获得所述分类器输出机指令，所述处理器执行所述计算机指令时实现权利要求1_9或者10任意一项所述方法的行时实现权利要求1_9或者10任意一项所述方4[0006]将所述第一视频帧序列和所述第二视频帧序列分别输入频帧序列分别输入至参考特征提取模型，获得所述参考特征提取模型输出的第二提取结[0009]根据所述第一损失值和所述第二损失值调整所述待训练特征提取网络的网络参5[0012]将所述待分类视频输入至通过视频特征提取网络的训练方法训练获得的视频特6一损失值和第二损失值调整视频特征提取网络的参数，获得训练好的视频特征提取网络。[0030]图2是本说明书一个实施例提供的一种基于视频特征提取网络的视频分类方法的[0031]图3是本说明书一个实施例提供的一种视频特征提取网络的训练装置的结构示意[0032]图4是本说明书一个实施例提供的一种基于视频特征提取网络的视频分类装置的[0035]在本说明书一个或多个实施例中使用的术语是仅仅出于7[0043]图1示出了根据本说明书一个实施例提供的一种视频特征提取网络的训练方法的[0044]步骤102：获取样本视频，根据所述样本视频获得所述样本视频的第一视频帧序视频帧序列和第二视频帧序列是根据样本视频的视频帧序列通过不同方式的图像数据增频帧序列a1和第二视频帧序列a2以及序列乱8视频帧序列；[0051]基于所处初始视频帧序列和所处乱序视频帧序列生成所述样本视频的第一视频[0059]根据所述初始视频帧序列和所述乱序视频帧序列计算所述样本视频对应的序列9视频帧序列。式计算初始视频帧序列和乱序视频帧序列的不同程度，将计算结果作为序列乱序样本权[0063]步骤104：将所述第一视频帧序列和所述第二视频帧序列分别输入至待训练特征译模型(videotransformer)。将第一视频帧序列和第二视频帧序列分别输入至待训练特之前根据其他样本视频对应第一视频帧序列和第二视频帧序列进行编码获得的比对编码态编码器输出的所述样本视频对应的比对编一视频帧序列和第二视频帧序列输入至动态编码器中，动态编码器会分别输出特征向量，[0090]根据所述第一提取结果和比对编码结果构建所述第一提取结果对应的第一负样[0091]根据所述第二提取结果和比对编码结果构建所述第二提取结果对应的第二负样列提取获得的第三特征向量和根据第二视频帧序列提取获得一视频帧序列a1提取获得的第三特征向量和根据第二视频帧序列a2获得的第四特征向量。[0114]具体地，基于所述序列乱序预测权重和所述序列乱序样[0116]在实际应用中，会将序列乱序预测权重和序列乱序样本权重代入交叉熵损失函[0118]步骤110：根据所述第一损失值和所述第二损失值调整所述待训练特征提取网络络可以理解为视频特征提取网络已经训练至止训练视频特征提取网络，或者当第一损失值和第二损失值均达到对应的预设损失阈值，[0129]根据所述第一损失值调整所述参考特征提取模型的模型参数和所述动态编码器述样本视频获得所述样本视频的第一视频帧序列、第二视频帧序列和序列乱序样本权重，[0133]下述结合附图2，以本说明书提供的基于视频特征提取网络的视频分类方法在视出了本说明书一个实施例提供的一种基于视频特征提取网络的视频分类方法的处理过程[0136]步骤204：将所述待分类视频输入至通过上述任意一项视频特征提取网络的训练[0143]输入模块304，被配置为将所述第一视频帧序列和所述第二视频帧序列分别输入序预测权重和所述序列乱序样本权重计算第[0146]调整模块310，被配置为根据所述第一损失值和所述第二损失值调整所述待训练视频帧序列；[0150]基于所处初始视频帧序列和所处乱序视频帧序列生成所述样本视频的第一视频[0155]根据所述初始视频帧序列和所述乱序视频帧序列计算所述样本视频对应的序列[0164]根据所述第一提取结果和比对编码结果构建所述第一提取结果对应的第一负样[0165]根据所述第二提取结果和比对编码结果构建所述第二提取结果对应的第二负样[0168]所述第一提取结果包括根据第一视频帧序列提取获得的第一特征向量和根据第获得的第三特征向量和根据第二视频帧序列提取获态编码器输出的所述样本视频对应的比对编[0181]根据所述第一损失值调整所述参考特征提取模型的模型参数和所述动态编码器视频的第一视频帧序列和第二视频帧序列分别输入至待训练特征提取网络和参考特征提技术方案属于同一构思，视频特征提取网络的训练装置的技术方案未详细描述的细节内装置实施例，图4示出了本说明书一实施例提供的一种基于视频特征提取网络的视频分类[0187]输入模块404，被配置为将所述待分类视频输入至通过视频特征提取网络的训练多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网[0194]计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计[0195]其中，处理器520执行所述计算机指令时实现所述的视频特征提取网络的训练方[0201]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围[0202]所述计