CN118570698B 视频缺陷检测方法和装置、电子设备及存储介质 （北京优酷科技有限公司）

征图及缺陷图，确定视频帧对应的缺陷检测结果，缺陷检测结果用于指示视频帧是否存在缺2根据所述浅层特征图及所述深层特征图，确定所述视频帧对应的缺根据所述浅层特征图、所述深层特征图及所述缺陷图，确定所述视将所述多个图像块输入至转换器模块，得到所述转换器模块中N层转换器单元提取的对所述转换器模块中的第二层转换器单元至第N层转换器单元所输出的第二尺度特征将所述第二融合特征图、所述多个自注意力特征图及所述池化特征图进行通道拼接，基于所述第一浅层特征图的分辨率，对所述深层特征图进行上采基于所述视频帧的原始分辨率，对所述缺陷图进行上采样处理对所述浅层特征图进行特征提取，得到第二深层特征图，并对所述基于所述浅层特征图的分辨率，对所述第一中间特征图进行上采样3分别对所述浅层特征图、所述第一深层特征图及所述缺陷图对所述第二中间特征图、所述第二浅层特征图、所述第三深层特对所述第三拼接特征图进行降维处理，得到缺陷置信度，所述缺在所述缺陷检测结果指示所述视频帧存在缺陷的情况下，根据所述视频中多个视频帧的缺陷检测结果，确定所述视频中连续根据存在缺陷的视频帧的目标缺陷图，对所述存在缺陷的视频8.根据权利要求1至4任一项所述的方法，其其中，所述特征提取器用于提取所述视频帧的浅层特征图对所述多个原始视频样本分别进行随机损坏处理，得到各个根据各个原始视频样本与各自对应的受损视频样本之间的差异其中，所述样本数据集包括所述多个原始视频样本对应的损视频样本中的受损视频帧的掩码图以及每个受损视频样本中的各个视频帧的类别标签，所述类别标签用于指示视频帧是受损视频帧还是未进行损坏处理的原始其中，在所述缺陷检测模型用于检测所述花屏缺陷的情基于预设的损坏模型，对所述多个原始视频样本的4视频帧占原始视频样本的比例，所述损坏位置表征受损视频帧在原始视频样本中的位置，其中，在所述缺陷检测模型用于检测所述重影缺陷的情针对任一原始视频样本，估计原始视频样本中各帧视频帧的运动将原始视频样本中每一候选重影帧与每一候选重影帧相邻的视频视频帧进行帧率转换过程中将原帧率视频不同帧的奇偶行插值到新帧率视频的同一帧所其中，在缺陷检测模型用于检测所述拉丝缺陷的情况下，参照所述拉丝缺陷的产生原理，将拉丝缺陷随机引入各个原始视其中，在所述缺陷检测模型用于检测所述物理缺陷的情获取多张胶片扫描图像，并标记出每张胶片扫描图像中物理缺片扫描图像是通过对具有所述物理损伤的视频胶片进将每张胶片扫描图像分割成指定尺寸的多个像素区域，并基于每通过对多个像素区域内出现的每种物理缺陷的缺陷数量进行最大似然针对任一原始视频样本，基于每种物理缺陷对应的伽马分基于每种物理缺陷的目标缺陷数量，从预设的空间噪声分布中为每种5基于与每种物理缺陷的目标缺陷数量匹配的位置信息及旋转缺陷图确定模块，用于根据所述浅层特征图及所述深层特征图，确将所述多个图像块输入至转换器模块，得到所述转换器模块中N层转换器单元提取的对所述转换器模块中的第二层转换器单元至第N层转换器单元所输出的第二尺度特征述计算机程序指令被处理器执行时实现权利要求1至13中任意一6转换器单元所输出的第二尺度特征图至第N尺度特征图进行融合处理，得到第一融合特征7频样本之间的差异，得到各受损视频样本中的受损视频帧以及受损视频帧对应的掩码图，8述运动区域中物体具有运动状态，并根据原始视频样本中各帧视频帧的运动区域的大小，率转换过程中将原帧率视频不同帧的奇偶行插值到新帧率视频的同一帧所引发的拉丝缺引发的物理缺陷；所述物理缺陷包括由于视频胶片中的物理划痕而引发的线状痕迹，和/9[0026]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的所说明的任何实施例不必解释为优于或好于其它实传输或存储过程中遇到的任何数据损坏都可能引发更明显H.265，但在一些特定应用和早期的视频资料中仍然广泛存在。相对于较新的编码标准来[0049](7)全局缺陷(VideoGlobalArtifacts)：指形成原理与视频前后帧整体重叠有不同帧的奇偶行插值到新帧率视频的同一帧所引发的拉丝缺陷，拉丝缺陷具有水平梳齿[0055](13)转换器(Transformer)：Transformer采用自注意力机制(Self_Attention[0063]图1示出根据本公开一实施例的视频缺陷检测方法的流程图。该方法可以由上述该自适应的采样间隔对视频进行抽帧，例如可以使用FFmpeg工具按照采样间隔进行抽帧，码器作为特征提取器，并可以将特征提取器的第[0072]将多个图像块输入至转换器模块，得到转换器模块中N层转换器单元提取的多尺[0073]对转换器模块中的第二层转换器单元至第N层转换器单元所输出的第二尺度特征用现有的Transformer单元结构，例如采用图2示出的一个Transformer单元结构(即一个TransformerBlock的结构)，其主要包含注意力模块(AttentionBlock)、前馈神经网络转换器模块可以更加敏感于提取视频帧的细节特征，有利于提取出具有更多细节的特征第一尺度特征图作为浅层特征图；再对转换器模块中的第二层转换器单元至第N层转换器单元所输出的第二尺度特征图至第N尺度特征图进行多尺度特征融合处理，例如可以通过器单元至第N层转换器单元所输出的第二尺度特征图至第N尺度特征图进行融合处理，例如，可以通过降维处理和上采样处理先将第二尺度特征图至第N尺度特征图降低到低维度图的大小PxP成正比，例如对于比例R(R＝2,4,8)的窗口注意力会将PxP的特征图扩展为[0115]在实际应用中，还可以基于存在缺陷的视频帧的目标缺明显的代表缺陷帧(例如缺陷严重程度最高的视术人员可以根据实际需求设计缺陷检测报告中所包含的信息，对此本公开实施例不作限是否存在缺陷，尤其是通过引入缺陷图相当于引入注意力机制来更关注存在缺陷的区域，[0118]利用本公开实施例的视频缺陷检测方法，能够支持输入任意分辨率的视频源介3所示，特征提取器中利用多个转换器单元(TransformerBlock1、TransformerBlock2、个上采样层(Upsample)以及快捷连接(Concat)将TransformerBlock2、Transformer到第一融合特征图，再利用MLP层对第一融合特征图进行降维处理，得到第二融合特征图图(F31FQ1的分辨率相同的第一深层特征图FS1，然后将第一浅层特征图FQ1与第一深层特征图FS1进[0123]其中，缺陷分类器中利用叠加的多层TransformerBlocks与MLP对浅层特征图FQ道拼接(Concat)，得到第三拼接特征图[0124]如图3所示，可以采用后处理模块基于目标缺陷图和缺陷置信度确定出缺陷严重选用更加强大的Transformer架构作为特征提取器的骨干网络，这使得模型更加敏感于输[0127]如上所述，也可以采用DeepLabV3+中的编码器作为缺陷检测模型中的特征提取器中使用骨干网络(即深度卷积神经网络模型(DeepConvSpatialPyramidPooling，带有空洞卷积(AtrousConv)的空间金字塔池化)模块基于骨3×3Convrate6代表卷积核大小为3×3、膨胀率为6的空洞卷积块)与图像池化层(Image层特征图FQ与深度特征图FS输出缺陷图与目标缺陷图，这样在引入多尺度信息的同时将浅标签用于指示视频帧是受损视频帧还是未进行损坏处理的原始始视频流进行随机的丢包或乱序等损坏处理，以得到各个原始视频样本对应的受损视频知的，因此可以通过上述步骤S63来根据各个原始视频样本与各自对应的受损视频样本之可以按照运动区域大小进行降序排列再选取排列在前m位的视频帧作为候选重影帧，或者隔行扫描视频帧进行帧率转换时将原帧率视频不同帧放入奇偶行插值到新帧率视频的同频样本之间的差异，得到各受损视频样本中的受损视频帧以及受损视频帧对应的掩码图，[0148]如上所述，视频帧中的缺陷还包括由于视频胶片的物理述胶片扫描图像是通过对具有所述物理损伤的视频胶片进行扫描陷数量进行最大似然估计，拟合出最能代表每种物理缺陷的缺陷数据特征的伽马分布模度噪声分布中独立抽取其位置信息(即以在空间[0158]其中，可以先基于与每种物理缺陷的目标缺陷数量匹配[0159]然后，可以通过上述步骤S63根据各个原始视频样本与各自对应的受损视频样本型进行训练，然后可以利用训练得到的花屏测出的花屏缺陷的缺陷区域的目标缺陷图)及花屏缺陷置信度(即视频帧中存在花屏缺陷在学习过程中逐渐掌握各类缺陷特征，能够对包含缺陷的帧或图像进行像素级的精准识地丰富了训练数据来源，解决了业内老片脏点划痕检测的难题；在模型侧，提出了基于过程中逐渐掌握各类缺陷特征，能够对包含缺陷的帧或图像进行像素级别的分析和识别，定所述视频帧对应的缺陷检测结果，所述缺陷检测结果用于指示所述视频帧是否存在缺转换器单元所输出的第二尺度特征图至第N尺度特征图进行融合处理，得到第一融合特征确定模块用于利用所述缺陷分类器根据所述浅层特征图、所述深层特征图及所述缺陷图，频样本之间的差异，得到各受损视频样本中的受损视频帧以及受损视频帧对应的掩码图，述运动区域中物体具有运动状态，并根据原始视频样本中各帧视频帧的运动区域的大小，率转换过程中将原帧率视频不同帧的奇偶行插值到新帧率视频的同一帧所引发的拉丝缺引发的物理缺陷；所述物理缺陷包括由于视频胶片中的物理划痕而引发的线状痕迹，和/[0192]电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源出接口1958(I/O接口)。电子设备1900可以操作基于存储在存储器1932的操作系统，例如[0195]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形[0196]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功