CN118968183B 一种面向人工智能伦理的欺诈图像识别方法 （中南大学）

一种面向人工智能伦理的欺诈图像识别方法本公开实施例中提供了一种面向人工智能利用残差模块和U_Net网络提取样本欺诈图像的力机制和交叉注意力机制融合深层视觉特征和2步骤4，基于浅层视觉特征，利用视觉状态空间模块提取样本欺诈图像的深层视觉特步骤7，结合融合特征和样本欺诈图像对应的标签训练以U_Net和Mamba模型为基础结3步骤6.3，将全局平均池化向量favg和全局最大池化向量fmax通过一个共享的全连接层4欺诈图像时仍存在诸多局限，传统的Attention机制在捕捉图像全局信息和局部细节时计[0010]步骤5，基于内容描述信息，利用文本状态空间模块提取样本欺诈图像的语义特[0012]步骤7，结合融合特征和样本欺诈图像对应的标签训练以U_Net和Mamba模型为基5[0018]步骤2.1，对每张样本欺[0022]步骤3.2，通过U_Net网络的编码器对初始特征f1进行卷积操作和最大池化下采[0026]步骤4.2，将位置编码后的特征图中fvpos进行归一化,得到归一化的图像特征6avgmax[0042]步骤6.3，将全局平均池化向量f和avgmax诈图像数据集，按照标注体系对欺诈图像数据集中样本欺诈图像和内容描述信息进行标7[0053]图1为本公开实施例提供的一种面向人工智能伦理的欺诈图像识别方法的流程示[0054]图2为本公开实施例提供的一种视觉状态空间模块和文本状态空间模块的框架示方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或[0062]参见图1，为本公开实施例提供的一种面向人工智能伦理的欺诈图像识别方法的8[0079]使用已有的欺诈图像数据对预训练模型进行微调。这一[0092]步骤2.1，对每张样本欺9[0107]步骤3.2，通过U_Net网络的编码器对初始特征f1进行卷积操作和最大池化下采[0109]具体实施时，利用ResNet和U_Net网络提取欺诈图像的浅层视觉特征的过程可以[0112]B.依次经过多个堆叠的残差模块进行特征提取，用于提取图像If的浅层特征其中C0为特征图通道数目。残差模块包含多个卷积层、归一化层和跳跃连[0125]选择纹理描述符:使用方法如灰度共生矩阵(GL[0134]步骤4.2，将位置编码后的特征图中fvpos进行归一化,得到归一化的图像特征视觉状态空间模块提取图像的深层特征的过程中会根据损失函数计算得到的梯度对位置编码参[0145]C.将位置编码后的特征图中fvpo[0146]D.将归一化的图像特征fvnorm输入到SSM状态空间模块中，特征[0160]F.通过多个图像的视觉状态空间模块后，模型将学习到的深层视觉特征进行组[0164]特征提取:使用预训练的卷积神经网络(如VGG、ResNet等)来提取图像的深层特[0168]特征融合方法:可以使用拼[0170]无监督学习:使用自编码器对图[0172]步骤5，基于内容描述信息，利用文本状态空间模块提取样本欺诈图像的语义特pos[0182]B.对编码后的语义特征图f采用了归一化模块,能够有效提升模型稳定性和训pos[0183]C.将归一化的语义特征fnorm输入到SSM状态空间模块中，特征一部分经过线性层[0194]双向网络:使用双向网络如[0202]步骤6.3，将全局平均池化向量favg和全[0205]A.对获取的视觉特征fvision进行全[0209]C.将全局平均池化向量favg和全局最大池化向量fmax通过一个共享的全连接层和[0211]D.对于融合得到的特征向量fcatt将图像嵌入信息传递到文本token上，通过交叉注意力机制进行视觉特征与语义特征的计[0215]特征拼接:将视觉特征和语义特[0218]图嵌入:将视觉特征和语义特[0219]步骤7，结合融合特征和样本欺诈图像对应的标签训练以U_Net和Mamba模型为基别模型对样本欺诈图像识别对应的分类损失小于预设阈值时，则可以确定最佳超参数取[0237]步骤一.获取欺诈图像数据集，按照标[0245]A.对于给定的欺诈图像If,依次经过多个ResNet堆叠的残差模块进行特征提取，[0246]B.通过一系列由卷积操作和最大池化下采样组成的[0254]B.使用子步骤A中下载的模型参posnorm[0256]D.对编码后的语义特征图f采用了归一posnorm[0259]A.对获取的视觉特征fvision进行全[0261]C.将全局平均池化向量favg和全局最大池化向量fmax通过一个共享的全连接层和[0262]D.对于融合得到的特征向量fcatt[0263]步骤七.结合