CN119182920B 基于多模态数据处理的视频内容分析方法、装置及设备 （北京联世传奇网络技术有限公司）

基于多模态数据处理的视频内容分析方法、2S4：利用预设的特征处理算法，将包含视频素材信S632：利用近似最近邻算法，将所述编码特征信息S633：依据所述匹配结果，将与编码特征信息匹配3S642：将压缩图像输入预训练的人脸识别分类模型S645：将所述音频数据输入预训练的语音转获取第一相似度、第二相似度、第三相似度若所述场景类型为引入场景，则利用所述权重修正因子，对所若所述场景类型为产品展示场景，则利用所述权重修正因子，若所述场景类型为用户体验场景，则利用所述权重修正因子，若所述场景类型为问题解决场景，则利用所述权重修正因子，依据所述目标相似度和预设的相似度阈值，将目标相似度大于4转码处理模块，用于对所述原始视频素材进行转码处理，确定盲水印嵌入模块，用于利用预设的特征处理算法，将压缩处理模块，用于对嵌入盲水印信息后的各视频片段进行所述利用预设的特征提取算法，对所述压缩视频数据进行识别和分析，若识别到所述盲水印信息，则获取盲水印信息中嵌入若未识别到所述盲水印信息，则对各帧所述压缩图像进行特处理器执行时实现如权利要求1_6中任一项5等手段进行初步的内容识别。这种方法可以快速识别总结视频画面中所出现的所有信息，[0003]现有中国专利CN112004111A公开了一种全域深度学习的新闻关键目标检测模块利用Facenet模型对关键帧中的目标物体进行识别；上述专利虽然也公67对应的初始权重和所述第三相似度对应的初始权重进行对应的初始权重和所述第三相似度对应的初始权重进行8计算机程序指令被处理器执行时实现如上述实压缩后的视频进行识别和分析，输出与视频内容相关的详细文字信息和目标视频素材信9[0065]图1为本发明实施例1中基于多模态数据处理的视频内容分析方法的整体工作的[0067]图3为本发明实施例1中将包含视频素材信息的盲水印信息嵌入各视频片段中的[0069]图5为本发明实施例1中对压缩视频数据中的各帧压缩图像进行盲水印信息识别诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须在本发明的保护范围之内。[0076]请参见图1，本发明实施例1公开了一种基于多模态数据处理的视频内容分析方还通过优化编码格式和压缩参数来降低存储空间需求，同时确保视频质量不受显著影响，边缘变化的区域。边缘特征变化差值是通过计算相邻帧对应位置的边缘像素值差异得出视频内容相关的文字信息和目标视频素材信息。这一过程首先通过先进的特征提取算法，[0117]具体地，首先，将每一帧压缩图像输入预训练的自监督视觉变换模型(如DINO_编码特征信息与视频素材数据库中预先存储的各视频素材模板的特征模板信息进行比对，结果包括每帧图像与数据库中最相似素材模板的过程涉及将每帧图像通过计算机视觉领域中已训练好的特征提取模型，如卷积神经网络缩格式的视频文件恢复到原始的未压缩状态，通过解码器将视频流中的音频部分提取出语音转录模型或字幕提取技术转换为文字形式，这些文字信息反映了视频片段的核心内第三相似度和第四相似度。这些相似度反映了每个视频片段与场景中相关特征的匹配程似度进行修正处理，修正处理包括权重修正因子与第二相似度相乘得出新的第二相似度，对应的初始权重和所述第三相似度对应的初始权重进行对应的初始权重和所述第三相似度对应的初始权重进行引入场景可能允许较低的阈值，相似度阈值通常是基于用户的期望或广告目标设定的标预设的特征处理算法，将包含视频素材信息的盲水印信息嵌入各视频片段中的各帧图像输出与视频内容相关的文字信息和目标视频素材信息。本装置通过一系列有序的处理步施例5还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机[0186]综上所述，本发明实施例提供了一种基于多模态数据处理的视频内容分析方法、[0187]需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范