CN113591530B 一种视频检测方法、装置、电子设备和存储介质 （深圳市雅阅科技有限公司）

道海滨社区宝兴路6号海纳百川总部根据所述目标文本的文本单元和所述字幕文本申请实施例可以基于目标视频片段的音频和字2获取待检测视频中目标视频片段对应的音频信息和字幕文对所述音频信息进行语音识别，得到所述音频信息对应的目标文根据所述目标文本的文本单元和所述字幕文本的文本单元，对所述对待检测视频中的目标视频片段进行视频帧抽取，得到所述目标视3.根据权利要求2所述的方法，其特征在于，所述通过对所述视频帧图像进行特征提对所述视频帧图像进行多个尺度下的下采样和上采样处理，对所述视频帧图像进行多次下采样处理，得到所述视频帧图像对目标尺度的下采样特征图进行多次上采样处理，得到所述视频从各个尺度的上采样融合特征图中确定所述视频帧图像的目标对所述字幕区域进行特征提取，得到所述字幕区域的特征序列，所3根据所述特征序列中前后特征信息，对所述特征序列中各个特征信息进行通过字幕区域识别模型，对所述视频帧图像进行多个尺度下的下采样和上采样处理，通过字幕区域识别模型，对所述目标特征图进行卷积操作，得到所帧图像进行多个尺度下的下采样和上采样处理，得到所述视频帧图像的目标特征图之前，通过预设字幕区域识别模型，对所述样本图像进行多个尺度下的下采样和上采样处基于所述参考字幕区域和所述目标字幕区域，对所述预设字幕区将目标文本单元与所述字幕文本中起始对齐位置起的文本当所述字幕文本中起始对齐位置起的文本单元中存在与目标文本单元匹配的文本单返回执行所述将目标文本单元与所述字幕文本中起始对齐位置起的文本单元进行匹获取单元，用于获取待检测视频中目标视频片段对应的音频信息4对齐单元，用于根据所述目标文本的文本单元和所述字幕文所述抽取子单元，用于对待检测视频中的目标视频片段进行视所述提取子单元，用于通过对所述视频帧图像进行特征提取，确定所述识别子单元，用于对所述字幕区域中的字幕进行识别，得到所述对所述视频帧图像进行多次下采样处理，得到所述视频帧图像对目标尺度的下采样特征图进行多次上采样处理，得到所述视频从各个尺度的上采样融合特征图中确定所述视频帧图像的目标所述音频提取子单元，用于对所述音频信息进行语义提取，得到所所述第一确定子单元，用于基于所述音频语义特征信息，确定所述5所述第二确定子单元，用于基于所述预测概率，从候选文本中确定所通过字幕区域识别模型，对所述视频帧图像进行多个尺度下的下采样和上采样处理，通过字幕区域识别模型，对所述目标特征图进行卷积操作，得到所频帧图像进行多个尺度下的下采样和上采样处理，得到所述视频帧图像的目标特征图之通过预设字幕区域识别模型，对所述样本图像进行多个尺度下的下采样和上采样处基于所述参考字幕区域和所述目标字幕区域，对所述预设字幕区所述匹配子单元，用于将目标文本单元与所述字幕文本中起始对齐所述更新子单元，用于当所述字幕文本中起始对齐位置起的文本单元所述返回子单元，用于返回执行所述将目标文本单元与所述字幕文述处理器用于运行所述存储器内的应用程序，以执行权利要求1至10任一项所述的视频检678[0036]步骤“对所述目标特征图进行卷积操作，得到所述视频帧图像的文本单元热力算机程序被处理器执行时实现本申请实施例提供的视频9终端10可以包括手机、智能电视、平板电脑、笔记本电脑、个人计算机(PC，Personal[0078]本申请实施例提供的视频检测方法涉及人工智能领域中的计算机视觉技术和语[0081]其中，语音技术(SpeechTechnology)的关键技术有自动语音识别技术(ASR，[0084]本申请实施例的视频检测方法可以应用于各种需要对视频进行视频完整性检测经网络(CNN，ConvolutionalNeuralNetworks)、视觉几何组网络(VGGNet，VisualGeometryGroupNetwork)、残差网络(ResNet，ResidualNetwork)和密集连接卷积网络h/16*w/16*512和h/32*w/32*512的下采样特征图，再对h/32*w/32*512的下采样特征图进的百分比超过预设百分比的区域作为候选字符区域，再将得到的候选字符区域进行融合，的百分比超过预设百分比的区域作为候选字间区域，再将得到的候选字间区域进行融合，(Regionheatmap)即上述实施例中的字符热力图(字符高斯热图)，区域热力图中各热力点区域)热度为较低(具体可以为0)。亲和力热力图(Affinityheatmap)即上述实施例中的字与字符中间的间隔热度(即亲和力得分)最高，非字符与字符间隔的热度为较低(具体可以[0129]根据所述特征序列中前后特征信息，对所述特征序列中[0133]其中，BLSTM(Bi-directionalLongShort-TermMemory)为双向长短期记忆网网络组合而成的。LSTM是一种时间循环神经网络，即为循环神经网络(RNN，Recurrent[0134]本实施例可以通过CRNN算法识别字幕文本，将用于图像特征工程的CNN与用于序[0140]可选地，在一些实施例中，也可以通过端到端的OCR(OpticalCharactor[0143]所述对所述目标特征图进行卷积操作，得到所述视频帧[0155]其中，区域重叠程度具体可以用区域交并比表示。交并比(IoU，IntersectionoverUnion)是指两个区域交集与并集的比值,值在[0,1]之间，它可以用来表示两个[0156]其中，该训练过程可以是先计算参考字幕区域和目标字来对音频信息转化为对应的目标文本。具体可以通过神经网络对音频信息进行语音识别，以及对数压缩模块和均方差归一化模块。声学模型是具有门控线性单元的卷积神经网络，可以通过字符串模糊匹配来对目标文本和字幕文本进行文本对齐，本实施例对此不作限将上一步骤字幕文本中匹配子序列acfab的左子序列gdrek与目标文本进行匹配，在允许1对应位置的字符进行匹配，由图可见目标文本的第二个字符a与字幕文本(acaabc)的第二[0176]当所述字幕文本中起始对齐位置起的文本单元中存在与目标文本单元匹配的文[0177]返回执行所述将目标文本单元与所述字幕文本中起始对齐位置起的文本单元进幕文本的起始对齐位置更新为与目标文本首个文本单元匹配的文本单元的相邻文本单元对比，可以得到字幕文本和目标文本的匹配子序列和未匹配子序列(如匹配子序列的左子[0188]本申请的视频检测方法可以应用在UGC(UserGeneratedContent，用户生成内经网络(CNN，ConvolutionalNeuralNetworks)、视觉几何组网络(VGGNet，VisualGeometryGroupNetwork)、残差网络(ResNet，ResidualNetwork)和密集连接卷积网络[0217]根据所述特征序列中前后特征信息，对所述特征序列中可以通过字符串模糊匹配来对目标文本和字幕文本进行文本对齐，本实施例对此不作限对比，可以得到字幕文本和目标文本的匹配子序列和未匹配子序列(如匹配子序列的左子[0259]步骤“对所述目标特征图进行卷积操作，得到所述视频帧图像的文本单元热力[0263]可选的，在本申请的一些实施例中，所述识别单元302可以包括音频提取子单元[0269]可选的，在本申请的一些实施例中，所述对齐单元303可以包括第三确定子单元[0270]所述第三确定子单元3031，用于确定所述目标文本中目标位置上的目标文本单[0282]由上可知，本实施例可以由获取单元301获取待检测视频中目标视频片段对应的[0284]该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上[0285]处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401[0286]存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402得该计算机设备执行上述视频检测方面的各种可选实现方式中