CN118485659B 一种视频缺陷检测方法、检测模型训练方法及装置 （北京优酷科技有限公司）

个图像块中的缺陷区域及缺陷区域对应的缺陷2针对所述至少一个图像块中的每一图像块，通过训练好的根据所述至少一个图像块中的缺陷区域及缺陷区域对应的缺陷根据所述每一视频帧中的缺陷区域及缺陷区域对应的缺陷类型，根据所述至少一个图像块中每一图像块中的缺陷区域，生成对所述每一视频帧的缺陷程度图及所述每一图像块对应的根据所述每一视频帧中的缺陷区域及缺陷区域对应的缺陷类型，确将该图像块对应的高频子图及低频子图进行拼接处理构建训练样本集；其中，所述训练样本集中包括多个图用于权利要求1_4中任一项所述的方法，用于检测分割视频得到的图像块中缺陷区域及缺3在所述候选视频中提取样本图像，并获取所述样本图像中的根据所述样本图像中的缺陷区域及缺陷区域对应的缺陷类型，确定在所述候选视频为不存在缺陷的视频时，对所述候选视频进所述高频子图用于表征该图像块的纹理信息，所述低频子图用于表征该图像块的结构信将该图像块对应的高频子图及低频子图输入到所述预设模型基于该图像块的缺陷预测结果及该图像块的标签，调整所述预设视频帧缺陷检测模块，用于根据所述至少一个图像块中的缺陷区域视频缺陷检测模块，用于根据所述每一视频帧中的缺陷区域及缺所述视频帧缺陷检测模块，还用于根据所述至少一个图像块中每一图程度；对所述每一视频帧的缺陷程度图及所述每一图像块对应的低频子图进行融合处理，生成所述每一视频帧中的缺陷区域的掩膜，所述低频子图用于表征该图像块的结构信息，4述检测模型应用于权利要求1_4中任一项所述的方法，用于检测分割视频得到的图像块中其中，所述处理器被配置为在执行所述存储器存储的指令时，实意一项所述的方法或实现权利要求5至9中程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法或实现权利要求5至95[0002]影视作品作为娱乐文化的重要组成部分，其视频质量直接影响着观众的观赏体[0007]针对所述至少一个图像块中的每一图像块，通过训练好的检测模型进行目标检训练好的检测模型进行目标检测，确定每一图像块中缺陷区域及缺陷区域对应的缺陷类[0015]将该图像块对应的高频子图及低频子图进行拼接处理后，输入到所述检测模型6每一图像块的标签，所述每一图像块的标签包括每一图像块中是否存在缺陷区域的标签、型用于检测分割视频得到的图像块中缺陷区域及缺陷区域对应的[0024]获取原始数据集；所述原始数据集中包括存在缺陷的视频和/或不存在缺陷的视[0033]针对所述多个图像块中任一图像块，生成该图像块对应的高7多个图像块中各图像块中缺陷区域对应的缺陷类型不完型，所述检测模型用于检测分割视频得到的图像块中缺陷区域及缺陷区域对应的缺陷类由于检测模型基于各图像块中缺陷区域对应的缺陷类型不完全相同的多个图像块训练得8[0050]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的9标检测模型中，其中，轻量化网络EfficientRep中分别提取网络块ERBlock3、网络块[0081]示例性地，可以利用索贝尔算子(Sobel算子)从图像块中提取高频细节信息生成定所述每一视频帧中的缺陷区域及缺陷区域各缺陷类型，通过该视频帧中每一图像块中的对应各缺陷类型的缺陷区域进行融合处理，到视频帧中的非缺陷区域。像块对应的缺陷程度；对所述缺陷程度图及所述每一图像块对应的低频子图进行融合处中各缺陷区域，并可以输出各缺陷区域对应的缺频帧中存在缺陷的图像块中缺陷区域对应的缺陷类型为该预设缺陷类型的概率值作为该中任一像素点的像素值与该像素点在缺陷程度图中的灰度值的乘积作为该像素点在掩膜若连续的多个视频帧均存在色阶缺陷，则该多个视频帧作为一个存在色阶缺陷的视频片以结合该多张视频帧中的缺陷区域及缺陷类型，确定待检测视频中存在缺陷的视频片段，定所述每一视频帧中的缺陷区域及缺陷区域[0107]示例性地，可以将检出存在缺陷的连续的多个视频帧作为一个存在缺陷视频片检测视频中存在多个存在缺陷的视频片段，则对该多个视频片段的缺陷分值进行加权求[0109]本公开实施例中，根据所述每一视频帧中的缺陷区域及缺陷区域对应的缺陷类的拼接图输入到YOLOv6目标检测模型中的轻量化网络EfficientRep中，轻量化网络[0119]例如，可以从视频平台收集具有多种空间分辨率(例如4096x2160、3840x2160、例性地，如果一个图像块与样本图像中缺陷区域重叠部分超过了该图像块的30则将该述检测模型用于检测分割视频得到的图像块中缺陷区域及缺陷区域对应的用索贝尔算子(Sobel算子)从图像块中提取高频细节信息生成高频子图，并运用分段平滑检测模型(包括轻量化网络EfficientRep及颈部网络RepBi标检测模型中进行目标检测，输出每一图像块中的缺陷区域及缺陷区域对应的缺陷类型，[0145]图7示出根据本公开一实施例的一种视频缺陷检测装置的结构示意图，如图7所缺陷区域对应的缺陷类型，确定所述每一视频帧中的缺陷区域及缺陷区域对应的缺陷类陷分值用于表示缺陷区域对视觉效果的影响程度；根据所述每一视频帧对应的缺陷分值，的标签；所述多个图像块中各图像块中缺陷区域对应的缺陷类型不完全相同；训练模块型用于检测分割视频得到的图像块中缺陷区域及缺陷区域对应的原始数据集中包括存在缺陷的视频和/或不存在缺陷的视频；在所述原始数据集中筛选出括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件[0160]电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源出接口1958(I/O接口)。电子设备1900可以操作基于存储在存储器1932的操作系统，例如[0163]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形[0164]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中指令实现流程图和/或框图中的一个或多个方框中规定