CN118015399B 异常图像生成方法、训练样本生成方法及次品检测方法 （腾讯科技（深圳）有限公司）

本申请提供了一种关于次品的异常图像生计算机视觉技术领域。该异常图像生成方法包参数不变的情况下对初始化的嵌入向量进行优无需较多数量的实际异常图像便能够方便地满于优化后嵌入向量中包含根据实际异常图像学2确定优化后嵌入向量，其中，所述优化后嵌入向量将良品的目标图像和所述优化后嵌入向量输入所述图像生成模将初始化的嵌入向量、实际异常图像输入经过预训练的图像生成模其中，所述图像生成模型包括像素空间网络和潜在空间网络将所述实际异常图像输入所述像素空间网络的编码器，以将所述实所述潜在空间网络中的去噪网络基于初始化的嵌入向量，对所述加根据所述初始化的嵌入向量和第j个U_net的第一参数确定第j键向量，根据所述初始化的嵌入向量和所述第j个U_net的第二参数基于所述第j键向量和所述第j值向量，将所述初始化的嵌入向量映射至所述第j个U_3.根据权利要求1或2所述的方法，其特征将实际异常图像及其对应的掩码图像输入经过预训练的图在保持所述图像生成模型的参数不变的情况下，基于所述实3确定高斯分布采样的噪声与所述图像生成模型中去噪网络预根据所述差值与所述实际异常图像中处于所述掩码的边界内侧的6.根据权利要求4或5所述的方法，其特征在于，所将良品的目标图像、所述目标图像对应的边界框和所述优化后7.根据权利要求4或5所述的方法，其特征在将良品的目标图像输入所述图像生成模型，通过所述图像生成通过映射有所述优化后嵌入向量的去噪网络对所述目标图像的加噪特征进行去T步去通过所述图像生成模型中像素空间网络的解码器对T步去噪处理后生成异常特征解码通过权利要求1至7中任意一项所述的方法生成所述正样本图像对应的生成异常图像，其中，所述检测结果包括所述待测对象的类型为良品或所述次品检测模型为根据权利要求8所确定的样本训练得第一生成模块，用于将良品的目标图像和所述优化后嵌入向量输入所述图像生成模4第二生成模块，用于通过权利要求1至7中任意一项所述的方其中，所述检测结果包括所述待测对象的类型为良品或所述次品检测模型为根据权利要求8所确定的样本训练得所述处理器，用于执行所述计算机程序以实现如上述权利要求1至7关于次品的异常图像生成方法，或实现如上述权利要求8所述的次品检测模型的训练样本所述计算机程序使得计算机执行如上述权利要求1至7中任意一项所述的关于次品的5[0002]随着设备制造自动化的升级，工业生产线上良品(正常品6述掩码的边界内侧对应于上述实际异常图像中的异像输入上述图像生成模型，通过上述图像生成模型的加噪网络对上述目标图像进行T步的为不大于T的正整数；通过映射有上述优化后嵌入特征的去噪网络对上述目标图像的加噪78过上述图像生成模型的加噪网络对上述目标图像进行T步的加噪处理，得到上述目标图像映射有上述优化后嵌入特征的去噪网络对上述目标图像的加噪特征进行去T步去噪处理；包括所述待测对象的类型为良品或次品，在所述检测结果为所述待测对象为次品的情况提供的方法所确定的样本训练得到。装有所述芯片的设备执行如上述第一方面及其各实现方式中的关于次品的异常图像生成序使得计算机执行上述第一方面及其各实现方式中的关于次品的异常图像生成方法，或，9令使得计算机执行上述第一方面及其各实现方式中的关于次品的异常图像生成方法，或，[0044]图8为本申请实施例提供的基于优化后嵌入向量确定生成异常图像的流程示意[0045]图9为本申请一实施例提供的基于优化后嵌入向量确定生成异常图像的流程示意[0046]图10为本申请另一实施例提供的基于优化后嵌入向量确定生成异常图像的流程[0047]图11为本申请一实施例提供的根据少量实际异常图像生成次品检测模型的负样[0055]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0057]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革，swin_督的异常检测算法对工业产品进行智能检测。具体地，无监督的异常检测算法通常仅用正常图像的特征来学习正态分布或重构正常特征来进行异常检测，但由于缺乏判别性的表示为了解决无法定位异常区域的问题，相关技术中采用合成的方式来获得异常图像的方式来作为有监督智能检测算法的负样本。例如，论文《Draem:adiscriminativelytrainedreconstructionembeddingforsurfaceanomalydetection》中利用外部纹理数据集来 localization》中随机裁剪图像块并将其粘贴到其他部分以创建异常图像；论文扰动特征图来模拟异常图像的特征。然而，合成的异常图像或特征与现实世界的异常图像或特征存在显著的分布差距，显然通过合成异常图像作为负样本训练的模型的检测性能有待提高。中搭载有预训练的图像生成模型，用户可以通过终端102将实际异常图像输入上述经过预务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限[0069]图2为本申请实施例提供的关于次品的异常图像生成方法P200的流程示意图。其[0071]在示例性的实施例中，图3为本申请实施例提供的确定优化后嵌入向量的流程示[0073]在示例性的实施例中，图4为本申请实施例提供的确定优化后嵌入向量的方法序去噪自编码器的目标是在冻结模型参数的情况下，对嵌入变量优化以学习实[0083]在潜在空间网络中的去噪网络包括T个去噪过程对应的T个U_Net情况下，通过交叉注意力层将嵌入变量映射到第j(小于或等于T的正根据嵌入向量和第j个U_net的第一参数确定第j键向量K；根据嵌入向量和第j个U_素空间网络的自动编码器，IT表示实际异常图像，,fe(")为第j个U_net的中间层特征表l(e-eo(e('),.)⃞(2)[0097]在示例性的实施例中，上述优化后嵌入向量不仅可以基于如图5所示的图像生器的目标是在冻结模型参数的情况下，对嵌入变量优化以学习实际异常图像中反映真实异常的语义特征。在潜在空间网络中的去噪网络包括T个去噪过程对应的T个U_[0103]参考图6，经过映射有嵌入向量的去噪网络对实际异常图像对应的噪声zT进行去t.)l⃞(5)在其他实施例中模型的输入可以多个包括多个实际异常图像及其分别对应的掩码，如第i[0115]在如图7所示的关于确定优化后嵌入向量的实施方式中，通过引入实际异常图像层面上，通过实际异常图像旨在生成与现实世图像)输入图像生成模型50的像素空间网络的编码器ε,以通过编码器ε可以对所输入的图机制增强潜在空间网络中的去噪网络，即实现对条件时序去噪自编码器条件时序去噪自编码器的目标是在优化后嵌入变量的影[0121]在模型50的去噪网络为U_Net情况下，通过交叉注意力层将优化后嵌入变量映示像素空间网络的自动编码器，Inormal表示良品的目标图像，q,(e(Ima))为第h个U_net的得到上述目标图像Inormal对应的生成异常图像iama.[0137]上文对本申请实施例提供的关于次品的异常图像生成方法以及次品检测模型的[0138]图11为本申请一实施例提供的根据少量实际异常图像生成次品检测模型的负样实际异常图像111来确定学习实际异常图像中的次品图像包括所述待测对象的类型为良品或次品，在所述检测结果为所述待测对象为次品的情况在保持上述图像生成模型的参数不变的情况上述初始化的嵌入向量和第j个U_net的第一参数确定第j键向量，j为小于或等于T的正整成模型的参数不变的情况下，基于上述实际异常图像中处于上述掩码的边界内侧的特征，的目标图像、上述目标图像对应的边界框和上述优化后嵌入特征输入上述图像生成模型，通过映射有上述优化后嵌入特征的去噪网络对上述目标图像的加噪特征进行去T步去噪处法的实施例，并且装置中的各个模块的前述和其它操作和/或功能分别为了实现关于次品[0158]图13为本申请实施例提供的次品检测模型的训练样本生成装置1300的结构示意的训练样本生成方法的实施例，并且装置中的各个模块的前述和其它操作和/或功能分别括上述待测对象的类型为良品或次品，在上述检测结果为上述待测对象为次品的情况下，可以执行上述次品检测方法的实施例，并且装置中的各个模块的前述和其它操作和/或功[0165]上文中结合附图从功能模块的角度描述了本申请建筑信息模型的生成实施例的过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field[0172]易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，计算机程序产品包括一个或多个计算机