CN116468941B 一种基于上采样机制和类激活映射的图像分类结果特征可视化方法 （重庆邮电大学）

一种基于上采样机制和类激活映射的图像本发明公开了一种基于上采样机制和类激使用了卷积神经网络的最后一层的激活图和梯21.一种基于上采样机制和类激活映射的图像分类结果特征可视化方法，其特征在于，将所述输入图片输入到图像分类模型，保存模型判别图片中最大类别索引从指定的目标卷积层中提取得到所述特征图对应的特针对指定目标类别索引将所述特征图进行反向传播，并从指将所述特征图集合和梯度矩阵集合上采样到原始输入图片分辨率，将所述权重和所述融合后特征图按通道顺序相乘得2.根据权利要求1所述的基于上采样机制和类激活映射的图像分类结果特征可视化方max片的分辨率都必须小于或者等于ζmax。3.根据权利要求1所述的基于上采样机制和类激活映射的图像分类结果特征可视化方4.根据权利要求1所述的基于上采样机制和类激活映射的图像分类结果特征可视化方将特征图集合上采样插值到原始输入图片分辨率，并按照通道累加，其公式为：将梯度矩阵集合上采样插值到原始输入图片分辨率，并按照通道累加，其公式为：3表示第t次迭代后经过累加后的梯度矩阵集5.根据权利要求4所述的基于上采样机制和类激活映射的图像分类结果特征可视化方6.根据权利要求1所述的基于上采样机制和类激活映射的图像分类结果特征可视化方其中原始输入图片I,eR3**",M/r为第r张掩膜Mr经过归一化处理后的掩膜；⊙是7.根据权利要求1所述的基于上采样机制和类激活映射的图像分类结果特征可视化方将获取的所有扰动图片输入到图像分类模型当中的，得到对应指定类别索引c的概率分数R:(Ir);将高斯模糊后的图片I/0输入到图像分类模型中，得到对应指定类别索引c的概率分数8.根据权利要求1所述的基于上采样机制和类激活映射的图像分类结果特征可视化方将掩膜权重αr和归一化处理后的掩膜M/r线性加权组合，得到初步显著图Sc＝ReLU(∑9.根据权利要求1或8所述的基于上采样机制和类激活映射的图像分类结果特征可视被处理器执行时实现权利要求1至9任一项所述的基于上采样机制和类激活映射的图像分4法就是利用显著图直观的呈现输入图片中每个像素对图像分类神经网络预测结果的贡献5[0017]将所述掩膜权重和归一化处理后的掩膜线性加权组合，并经过归一化得到显著率都必须小于或者等于ζmax。[0022]所述反向传播遵循公式其中，是训练好的图像分类卷积[0024]将特征图集合上采样插值到原始输入图片分辨率，表示第t次迭代后经过累加后的特征图集合；表示第t次迭代后经过累加后的梯度矩阵集6[0032]通过原始输入图片、归一化处理后的掩膜以及高斯模糊后的图片计算扰动图片r_M′r)I,ewo,M′r为第r张掩膜Mr经过归一化处理后的掩膜；[0036]将获取的所有扰动图片输入到图像分类模型当中的，得到对应指定类别索引c的行时实现所述的基于上采样机制和类激活映射的图像分类结果特征可视化方[0047]3、本发明可以用于对图像分类卷积神经网络的预测结果进行特征可视化分析和[0048]图1为基于上采样机制和类激活映射的图像分类结果特征可视化方法的概括流程7[0049]图2为基于上采样机制和类激活映射的图像分类结果特征可视化方法的详细示例[0050]图3为本发明与Grad_CAM，Grad_CAM++，XGrad_CAM，Score_CAM，Group_CAM及[0065]将所述掩膜权重和归一化处理后的掩膜线性加权组合，并经过归一化得到显著8率都必须小于或者等于ζmax。[0073]所述反向传播遵循公式[0075]将特征图集合上采样插值到原始输入图片分辨率，A:表示第t次迭代后经过累加后的特征图集合；表示第t次迭代后经过累加后的梯度矩阵集[0085]通过原始输入图片、归一化处理后的掩膜以及高斯模糊后的图片计算扰动图片r_M′r)9[0087]其中原始输入图片I,eRO,M′r为第r张掩膜Mr经过归一化处理后的掩膜；[0088]将所述扰动图片输入图像分类模型，获得指定类别索引[0089]将获取的所有扰动图片输入到图像分类模型当中的，得到对应指定类别索引c的[0092]将所述掩膜权重和归一化处理后的掩膜线性加权组合，并经过归一化得到显著输出分数R(I),该分数是Softmax层之前的输出，并且如果类别c的对应分数是所有类别[0104](4)将所有梯度矩阵集合和特征图集合上采样到输入图片的分辨率，并将其按通[0109]G=G./t[0110](5)对平均梯度矩阵应用全局平均池化，得到中每个特征图所对应的权重的[0113](6)将权重集合中的每个权重和特征图集合每张特征图按通道顺序对应相[0119](8)将(7)步骤处理后的掩膜进行归一化处理，第r张掩膜Mr经过归一化处理后记_M′r)[0124](11)将(10)中获取的所有扰动图片输入到模型当中的，得到对应类别c的概率分数F(,),将高斯模糊后的图片I′0输入到模型中，也取得得到对应类别c的概率分数以卷积层作为主要网络架构即可。此处以Torchvision中提供的在ImageNet数据集上训练[0135]5、将所有特征图集合和梯度矩阵集合上采样到原始输入图片分辨率之后按照通[0136]6、将梯度矩阵进行全局平均池化，即每一个通道的梯度矩阵取其平均值作为权[0142]从图3可以看出，本发明在测试图片下的可视化效果相较于其他主流的特征可视[0144]本发明属于扰动和类激活映射结