CN112270238B 一种视频内容识别方法和相关装置 （腾讯科技（深圳）有限公司）

本申请实施例公开了一种视频内容识别方法和相关装置，对待识别视频内容进行视频分风格向量与第二风格聚类对应的风格向量之间出待识别视频内容中是否包含与待识别视频内2获取所述多个视频片段分别对应的风格向量；所述风格向量对获取的所述风格向量进行相似度聚类，得到第一风格聚类确定所述第一风格聚类对应的风格向量与所述第二风格聚类对应的风格向量之间的根据所述风格相似度确定所述待识别视频内容中是否包含与所述待识别视频内容不视频内容中包含与所述待识别视频内容不相通过第一模型确定所述第一风格聚类对应的风格向量与所述第二风格聚类对应的风确定包括第一样本和第二样本的训练样本对，所述第根据所述第一样本所包括视频片段的风格向量，通过第一初始根据所述第二样本所包括视频片段的风格向量，通过所述第一初始模样本的两个风格聚类的风格向量之间的负样本风格基于增加所述正样本风格相似度和所述负样本风格相似度间的差若所述风格相似度满足相似度阈值，确定所述待识别视频内容中不包含若所述风格相似度不满足相似度阈值，确定所述待识别视频内容中包含根据所述多个视频片段间的片段边界和所述多个视频片段的播获取所述第一视频片段的第一内容特征和所述第二视频片根据所述第一内容特征和所述第二内容特征间的内容相似度，确定3若对应，根据所述片段边界确定所述不相关的内容在所述确定所述第一视频片段对应的第一n阶片段组，和所述第二视频其中，所述第一n阶片段组包括所述第一视频片段和与所述第所述第二n阶片段组包括所述第二视频片段和与所述第二视频片段相邻的n-1个视频确定所述第一n阶片段组的内容特征与所述第二n阶片段组的内容特征间的n阶相似所述根据所述第一内容特征和所述第二内容特征间的内根据所述第一内容特征和所述第二内容特征间的一阶相似度和n阶相似度，确定所述根据所述视频分类样本，通过所述第二初始模型提取所述视频通过分类模型确定所述第二初始模型所提取风格向量对应的视频分根据所述视频分类样本的分类标签和所述视频分类结果对所述第二初始模型进行训根据所述视频分类样本，通过所述第二初始模型提取所述视频通过分类模型确定所述第二初始模型所提取内容特征对应的视频分根据所述视频分类样本的分类标签和所述视频分类结果对所述第二初始模型进行训根据所述视频区间从所述待识别视频内容中去除所述4所述获取单元，用于获取所述多个视频片段分别对应的风格向量；所视频风格维度对视频片段进行特征提取得到所述聚类单元，用于对获取的所述风格向量进行相似度聚类，述第二风格聚类所包括风格向量对应的视频片段具有相似的所述确定单元，用于确定所述第一风格聚类对应的风格向量与所述第所述确定单元，还用于根据所述风格相似度确定所述待识别视频内容体风格统一，则表明所述待识别视频内容中不包含与所述待识别视频内容不相关的内容，确定包括第一样本和第二样本的训练样本对，所述第根据所述第一样本所包括视频片段的风格向量，通过第一初始根据所述第二样本所包括视频片段的风格向量，通过所述第一初始模样本的两个风格聚类的风格向量之间的负样本风格所述训练单元，用于基于增加所述正样本风格相似度和所述负样本风格若所述风格相似度满足相似度阈值，确定所述待识别视频内容中不包含若所述风格相似度不满足相似度阈值，确定所述待识别视频内容中包含风格相似度确定所述待识别视频内容中包含与所述待识别视频内容不相关所述确定单元，还用于根据所述多个视频片段间的片段边界和所述所述获取单元，还用于获取所述第一视频片段的第一内容特征和所根据所述第一内容特征和所述第二内容特征间的内容相似度，确定5若对应，根据所述片段边界确定所述不相关的内容在所述确定所述第一视频片段对应的第一n阶片段组，和所述第二视频其中，所述第一n阶片段组包括所述第一视频片段和与所述第所述第二n阶片段组包括所述第二视频片段和与所述第二视频片段相邻的n-1个视频确定所述第一n阶片段组的内容特征与所述第二n阶片段组的内容特征间的n阶相似所述确定单元，用于根据所述第一内容特征和所述第二内容特征间的一阶相似度和n所述风格向量提取单元，用于根据所述视频分类样本，通过所述第二所述确定单元，还用于通过分类模型确定所述第二初始模型所提所述训练单元，用于根据所述视频分类样本的分类标签和所述所述内容特征提取单元，用于根据所述视频分类样本，通过所述第二所述确定单元，还用于通过分类模型确定所述第二初始模型所提所述训练单元，还用于根据所述视频分类样本的分类标签和所述所述处理器用于根据所述程序代码中的指令执行权利要求1-7任意一项67[0011]确定所述第一风格聚类对应的风格向量与所述第二风格聚类对应的风格向量之[0012]根据所述风格相似度确定所述待识别视频内容中是否包含与所述待识别视频内8不相关内容的视频风格不同的特点，在识别不相关内容时增加了对于视频内容本身的考9[0042]本申请实施例提供的视频内容识别方法是基于人工智能实现的，人工智能产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智器学习/深度学习等方向。例如，可以涉及计算机视觉（ComputerVision）中的图像处理[0045]本申请提供的视频内容识别方法可以应用于具有数据处理能力的视频内容识别以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处[0048]该视频内容识别设备可以具备机器学习能力。机器学习[0049]在本申请实施例提供的视频内容识别方法中采用的模型主要涉及对神经网络的[0052]如图1所示，服务器100对待识别视频内容101进行视频分段，得到多个视频片段的风格向量103，该风格向量103可以理解为从视频风格维度对视频片段102进行特征提取段具有相似的视频风格，第二风格聚类105所包括风格向量对应的视频片段具有相似的视之间的风格相似度106，该风格相似度106标识了第一风格聚类104对应的视频风格与第二能够体现待识别视频内容的整体风格是否统一，从而可以根据风格相似度106确定出待识视频片段所包含视频图像的帧数在此不作任何限定。向量，该风格向量可以理解为从视频风格维度对视频片段102进行特征提取得到的风格特视频内容是否包含了与待识别视频内容不相格与第二风格聚类所包括风格向量对应的视频片段具有的视频风格的相有的视频风格与第二风格聚类所包括风格向量对应的视频片段具有的视频风格的相似程聚类所包括风格向量对应的视频片段具有的视频风格与第二风格聚类所包括风格向量对以利用上述任一方式确定第一风格聚类对应的风格向量和第二风格聚类对应的风格向量，格相似度标识了第一风格聚类所包括风格向量对应的视频片段具有的视频风格与第二风[0084]在实际应用中，可以将上述S204确定的风格相似度与设定的相似度阈值进行比通过第一模型确定所述第一风格聚类对应的风格向量与所述第二风格聚类对应的风格向一样本的两个风格聚类的风格向量之间的正样述第二样本的两个风格聚类的风格向量之间的负样本风格[0101]上述基于包含不相关内容的风格相似度与不包含不相关内容的风格相似度确定[0102]鉴于上述S204用于确定待识别视频内容是否包含不相关内容的相似度阈值是通的相似度阈值，则确定所述待识别视频内容中不包含与所述待识别视频内容不相关的内积神经网络（3DConvolutionalNeuralNetworks,3D-CNN可以根据实际场景设定3D-[0114]S503：通过分类模型确定所述第二初始模型所提取风格向量对应的视频分类结的风格向量作为分类模型的输入，以视频片段对应的视频分类结果作为分类模型的输出。[0119]可以理解的是，利用上述S201-S205提供的视频内容识别方法可以识别出待识别界相邻的视频片段包括第一视频片段702和第二视频片段703，且第一视频片段702的播放内容相似度标识了第一视频片段所包括的内容与第二视频内容所包括的内容之间的相似之间的片段边界为待识别视频内容与不相关内容之间的边界的[0137]根据上述S603可以确定出与不相关内容的边界对应的片段边界，基于该片段边[0138]可以理解的是，在上述相关技术中实现对于待识别视频[0139]而基于上述实施例提供的视频内容识别方法实现对于不相关的内容在待识别视识别视频内容不相关的内容，而该标注数据可以利用前述提供的视频内容识别方法得到，实现了对于视频内容所包含的不相关内容的自动化识别和定位，无需人工进行标注操作，[0142]若将上述S603确定的所述第一内容特征和所述第二内容特征间的内容相似度定段对应的内容特征确定第一n阶片段组的内容特征，根据第二n阶片段组中的n个视频片段阶片段组的内容特征与第二n阶片段组的内容特征间的n阶根据所述第一内容特征和所述第二内容特征间的一阶相似度和n阶相似度实现。在实际应[0154]上述基于一阶相似度和n阶相似度确定片段边界是否与不相关的内容的边界对[0162]S903：通过分类模型确定所述第二初始模型所提取内容特征对应的视频分类结利用第三模型获取上述视频片段的内容特征。然后，通过调用模块二1002，根据模块一[0174]上述通过多个关联的模块实现了对于视频内容中包含不相关的内容的识别和定风格聚类对应的风格向量与所述第二风格聚类对应的风格向量之间的风格相样本的两个风格聚类的风格向量之间的正样本风格第二样本的两个风格聚类的风格向量之间的负待识别视频内容中包含与所述待识别视频内容不[0201]其中，所述第一n阶片段组包括所述第一视频片段和与所述第一视频片段相邻的[0202]所述第二n阶片段组包括所述第二视频片段和与所述第二视频片段相邻的n-1个[0203]确定所述第一n阶片段组的内容特征与所述第二n阶片段组的内容特征间的n阶相[0205]在一种可能的实现方式中，所述多个视频片段的风格向量是根据第二模型确定施例提供的用于视频内容识别的计算机设备因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central[0223]确定所述第一风格聚类对应的风格向量与所述第二风格聚类对应的风格向量之[0224]根据所述风格相似度确定所述待识别视频内容中是否包含与所述待识别视频内法部分。该终端设备可以为包括手机、平板电脑、个人数字助理（PersonalDigital通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（GlobalSystemofMobilecommunication，简称GSM）、通用分组无线服务（General[0231]存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操[0233]显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器（Liquid面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板[0237]处理器1580是手机的控制中心，利用各种接口和线路连通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520述调制解调处理器也可以不集成到处理器15[0241]该手机所包括的处理器1580可以根据所述程序代码中的指令执行上述实施例提机设备执行上述方面的各种可选实现方式中提供的视频内间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。任何熟悉本技术