CN114372926B 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法 （华东理工大学）

一种基于图像修复与卷积神经网络的中医本发明公开了一种基于图像修复与卷积神基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修2步骤4、采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并所述基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像2.根据权利要求1所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方3.根据权利要求2所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方遍历舌质图像,提取出舌质占比超过80％的小块,作为建立舌质图像修复模型所需的训练4.根据权利要求2所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方述新的内容感知层CAL是利用卷积计算得到前景补丁与背景补丁的匹配分数，然后应用意力得分进行反卷积来重建具有背景斑块的前35.根据权利要求1所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方4[0003]目前已经有一些学者进行了舌质老嫩特征识别方面的研究，其识别方法主要包纹理融合特征，并基于k近邻分类器(k-NearestNeighbor,KNN)的AdaBoost算法建立舌质内的多项特征进行识别。了舌图像的颜色特征和纹理特征，再基于KNN的AdaBoost算法建立了舌质老嫩分类模型得供一种基于图像修复与卷积神经网络的中医舌质5[0011]步骤4、采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提μk成缺失的斑块，且所述新的内容感知层CAL是利用卷积计算得到前景补丁与背景补丁的匹[0020]该种基于图像修复与卷积神经网络的中医舌质老嫩识别方法通过获取原始舌图6[0022]图1是本发明一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法的流程7[0044]步骤4、采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提[0045]所述的高斯混合模型对舌体分割图像进行舌苔舌质分离的方法是，假设存在d维)Tμk舌苔的存在则会对舌质老嫩的识别造成干扰。因此，本文采用GMM算法实现舌苔舌质的分值(属于不同类别的概率)。通过属于不同类别的概率值大小来判定数据具体属于哪一类，深度学习的图像修复方法已经在修复图像中大量缺失区域这类具有挑战性的任务中取得8GIICA网络针对图像大范围缺损区域的修复有较好的效果，而且利用该网络建立的修复模图像修复模型，进行舌质图像的修复，得到与舌体图像形状大小相同的舌质图像。由于GIICA网络训练需要全为舌质的图像作为数据集来建立舌质图像修复模型，而舌体图像基了感知机制并在深度生成网络中引入了一个新的内容感知层(ContextualAttention色表示最感兴趣区域在其自身上，粉红色表示对应前景区域最感兴趣的背景色块在左下细节纹理得到了较好的还原，有利于排除舌苔区域对于舌质老嫩识别的干扰以及后续舌9维的特征向量，然后将其输入全连接层得到输出，最后由softmax分类器计算各类别的概[0057]卷积神经网络(ConvolutionalNeuralNetworks,CNN)[49]是一类包含卷积计算[0065]全连接层(FullyConnectedLayers,FC[0066]残差网络(ResidualNetwork,ResNet)既借鉴了传统深度学习网络的优点，又引等映射即为图中曲线(ShortConnection,SC)所示的过程，是可以直接跳过2层权重层(层=H(X)-X深的深度学习神经网络成为可能。最常见的深层残差网络主要是ResNet50和ResNet101。ResNet50和ResNet101在ImageNetvalidationdataset上的性能比较如图12所示，ImageNet图像分类大赛采用Top-1错误率或Top-5错误率作为模型性能的评价标准，Top-1=(正确标记与模型输出的最佳标记不同的样型输出的前5个最佳标记中的样本数)/总样本数。图12所示表明在ImageNetvalidation[0070]ResNet101即具有101层网络结构的残差网络，包括100个[0071]ZEROPAD表示对输入的舌质修复图像进行补零，stage1中的CONV表示一层卷积层，BatchNorm表示批量正则化处理，ReLU表示激活函数，MAXPOOL表示最大值池化；尺度的残差块，IDBLOCK×3则表示3个不改变特征尺度的残差块(在IDBLOCK×N中，ID后，将所得的特征向量进行AVGPOOL(平均值池化)，再对多维特征向量进行一维化[0072]所述的采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提全连接层得到输出，最后由softmax分类器计算各类别的概率，得到最终舌质老嫩分类结[0073]本文采用舌质老嫩特征识别测试集的分类准确率(Accuracy,Ac)作为实验评价指keras深度学习环境；硬件配置中CPU为IntelCorei5-10300H，内存为16GB，GPU显卡为NVIDIAGTX1660Ti。为验证本文选用的ResNet101残差网络在舌质老嫩识别方面的有效[0076]由图14可知，采用ResNet101建立的舌质老嫩识别模型与利用ResNet50建立的模质老嫩识别模型采用GIICA舌质图像修复模型得到纹理与颜色变化连续的舌质修复图像，网络中建立舌质老嫩识别模型，测试结果如表图15所示经过GIICA算法修复等预处理后的数据集建立的ResNet101舌质老嫩识别模型，老舌、舌质适中、嫩舌识别准确率分别为[0077]基于KNN的AdaBoost算法的舌质老嫩识别效果进行比较，分类结果如图17所示本网络对舌质图像进行修复，然后利用舌质修复图像建立ResNet101舌质老嫩识别模型相较