CN119496947A 视频处理方法及相关设备 （北京字跳网络技术有限公司）

所述待处理视频的图像内容确定所述待处理视帧与对应的所述视频文本描述之间的语义相关2基于所述待处理视频的图像内容确定所述待处将所述待处理视频中所述目标时长内总得分最大的连续视频帧确定为目标视频片段，所述总得分基于所述连续视频帧对应的所述语义相基于所述视频帧的图像内容确定所述视频帧将所述相似度最大的所述帧文本特征对应的所述视频帧文本描述确定为所述待处理对所述视频帧进行特征提取得到图像特征，以及对所述计算所述图像特征与所述视频文本特征之间的语义相关基于至少一个图像质量维度对所述视频帧的图像质量进行评分得到所述视频帧的图将所述视频帧输入图像质量网络得到所述图像质量得分基于所述初始神经网络分别对所述第一训练图像样本和第二训练图像样本进行图像基于所述第一估计得分和所述第二估计得分之间的第一3基于所述损失函数调整所述初始神经网络的权重参数得到所述图像质量7.根据权利要求1的方法，将所述待处理视频中所述目标时长内总得分最大的连续视将所述总得分最大的所述滑动窗口内的连续视频帧确文本描述模块，用于基于所述待处理视频的图像9.一种电子设备，包括存储器、处理器及存储在10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指4[0008]将所述待处理视频中所述目标时长内总得分最大的连续视频帧确定为目标视频[0015]本公开第四方面，提供了一种包含计算机程序的非易失性计算5视频中自动提取图像质量高且与视频内容高度相关的目标视频片段，无需人工剪辑操作，6电子设备中；其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件[0034]图2示出了本公开实施例所提供的示例性电子设备200的硬件结构示意图。如图27备200的架构中也可以仅包含实现本公开实施例方案所必需的组件，而不必包含图中所示[0041]随着视频分享平台的快速发展,视频拍摄与剪辑已经成为视频分享前的重要工户通常希望剪辑出富有创造力的画面和内容组合,但是在实际转换为视频的过程中,反馈[0043]具体地，对于待处理视频video可以确定反映其主要内容的视频文本描述text_video。以及确定该待处理视频video中的视频帧frame与视频文本描述text_video的语义相关性R_frame_video，其能够反映视频帧frame与待处理视频video在视频内容上的相关关。可以基于视频帧frame语义相关性R_fame_video和图像质量Q_frame来对视频中帧8[0048]在一些实施例中，可以将待处理视频帧序列代替所述待处理视[0055]将所述相似度最大的所述帧文本特征对应的所述视频帧文本描述确定为所述待本描述中选出与其他视频帧文本描述相似度最高的视频帧文本描述作为待处理视频的视[0057]通过该图像描述网络可以对待处理视频或待处理视频帧序列中的视频帧进行图输出视频帧Fi对应的帧文本描述text_Fi。对帧文本描述text_Fi基于文本特征网络(可以将输入的文本信息转换为固定长度的文本特征，例如可以将输入的文本texta转换为长度文本特征Feature_text_Fmax所对应的帧文本描述确定为待处理视频或待处理视频帧序列9[0060]在一些实施例中，确定所述视频帧与对应的所述视频文本描述之间的语义相关[0063]具体地，可以基于图文匹配网络确定视频帧与视频文本描述之间的语义相关图像特征网络410可以对视频帧Fi进行特征提取得到图像特征Feature_Fi，文本特征网络420可以对视频文本描述text进行特征提取得到视频文本特征Feature_text。图文匹配网络400还可以计算图像特征Feature_Fi和视频文本特征Feature_text之间的余弦相似度作张图像image_j自对应的文本描述text_j之间的相似程度f1；对角线以外的数据代表了每张图像image_j和与其不匹配的文本之间text_l(l≠为目标视频片段，所述总得分基于所述连续视频帧对应的所述语义相关性和图像质量得[0068]基于至少一个图像质量维度对所述视频帧的图像质量进行评分得到所述视频帧所述至少一个图像质量维度确定的所述训练图像样[0077]基于所述初始神经网络分别对所述第一训练图像样本和第二训练图像样本进行意两张图像,图像质量网络给出的图像质量得分相对高低与真实图像质量得分的相对高低待处理视频输入视频处理模型500中，视频处理模型可以对输入的待处理视频进行视频抽代表性的内容和最具观赏性的画面,而且还能够根据用户指定的目标时长自适应调节(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器[0102]上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因