CN119417827A 一种基于混合注意力机制和类别特征优化的神经网络及缺陷检测方法 （成都数之联科技股份有限公司）

请求不公布姓名请求不公布姓名一种基于混合注意力机制和类别特征优化本发明提供一种基于混合注意力机制和类所述特征提取网络用于特征图构建，所述Transformer网络用于特征图依赖关系构建；所述十字交叉注意力网络用于特征图全局像素点关联；所述特征融合网络用于特征图的特征融2所述特征提取网络用于对原始图像进行浅层特征提取和深层特征提取所述Transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构建，所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像素点所述特征融合网络用于对浅层区域关联图和深层区域关联图进行图所述类别特征优化网络用于对特征融合图进行特征信息平滑处理，以得到特征优化2.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述Transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构对浅层纹理特征图和深层语义特征图进行归利用窗口注意力机制将归一化处理的浅层纹理特征图和深层语义特征图划分为多个3.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特对浅层区域特征图和深层区域特征图中的每个像素点进行行自注意对包含水平上下文信息的浅层区域特征图和深层区域特征图进4.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特5.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特6.一种基于混合注意力机制和类别特征优化的使用权利要求1~5中任一项所述基于混合注意力机制和类别特征优化的神经网络，所述方3将待检测面板的原始图像输入神经网络进行缺陷类型预测，以得到7.根据权利要求6所述的一种基于混合注意力机制和类别特征优化的缺陷检测方法，使用权利要求1~5中任一项所述基于混合注意力机制和类别特征优化的神经网络，所述系原始图像获取单元，所述原始图像获取单元用于获取待检测面神经网络预测单元，所述神经网络预测单元9.一种计算机设备，包括存储器、处理器以及存中任一项所述基于混合注意力机制和类别特征程序，所述计算机程序被处理器执行时实现权利要求6_7中任一项所述基于混合注意力机4征图采用直接相加或相乘的方式进行融合可能会错误的强调一些不属于当前类别的的区实施例提供了一种基于混合注意力机制和类别特征优化所述Transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像所述特征融合网络用于对浅层区域关联图和深层区域关联图进行图像特征融合，5聚合跨窗口信息，解决Transformer网络窗口划分造成的伪影及移动窗口在窗口间的连接[0007]作为本申请一些可选实施方式，所述Transformer网络用于对浅层纹理特征图和对浅层纹理特征图和深层语义特征图进行归利用窗口注意力机制将归一化处理的浅层纹理特征图和深层语义特征图划分为利用通道注意力机制将窗口的位置进行偏移，并且在每个窗口内调整自注意力，对包含水平上下文信息的浅层区域特征图和深层区域特征图进行列自注意力计6将历史面板的原始图像输入神经网络进行二元交叉熵损失计算，以实现模型训模型训练使得神经网络能够对待检测面板的原始图像进行缺陷[0019]在第三方面，本发明提供.一种以及类别特征优化网络的方式对神经网络的结构进行改进，Transformer网络能够充分利7图2是本发明实施例所述基于混合注意力机制和类别特征优化的神经网的结构示这些组件之间的连接通信。用户接口可以包括显示屏（Display）、输入单元比如键盘器（RandomAccessMemory，RAM也可以是稳定的非易失性存储器（Non_Volatile执行本申请实施例提供的基于混合注意力机制和类别特征优化干网络是深度学习技术中一种经典的卷积神经网络架构。VGG16骨干网络由多个卷积层和8第三个卷积块之后形成的特征图，所述深层语义特征图是经过最终的最大池化层的特征[0035]所述Transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构[0037]具体的，所述Transformer网络用于对浅层纹理特征图和深层语义特征图进行依首先对浅层纹理特征图和深层语义特征图进[0038]然后利用窗口注意力机制将归一化处理的浅层纹理特征图和深层语义特征图划[0040]所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像首先对浅层区域特征图和深层区域特征图中的每个像素点进行行自注意力计算，[0043]然后对包含水平上下文信息的浅层区域特征图和深层区域特征图进行列自注意[0044]所述特征融合网络用于对浅层区域关联图和深层区域关[0048]于本发明实施例中，所述类别特征优化网络包括Max_pool和Avg_pool池化操作、9聚合跨窗口信息，解决Transformer网络窗口划分造成的伪影及移动窗口在窗口间的连接通过二元交叉熵损失计算衡量神经网络预测的概率分布与真实训练标签之[0059]综上，本发明采用改进的神经网络对待检测面板的原始一种基于混合注意力机制和类别特征优化的缺陷检测系统，所述系统与所述方法一一对中各单元是与前述实施例中的基于混合注意力机制和类别特征优化的缺陷检测方法中的存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，HyperTextMarkupLanguage）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件法可借助软件加必需的通用硬件平台的方式来实