CN119339184B 基于深度学习的端到端双流印章自动核验方法 （中国矿业大学）

号基于深度学习的端到端双流印章自动核验本发明涉及一种基于深度学习的端到端双将待检印章图像与上述提取的参考印章图像进分类网络对叠加印章图像进行特征提取分类处理，以在特征提取分类处理后生成印章核验信2获取待核验的印章图像，并基于待核验印章图像的印章名称在将所获取待核验的印章图像加载到预先构建的印章核验模型中，以利所述印章核验模型至少包括印章图像增强网络以及双流对待核验的印章图像核验时，先利用印章图像增强网络进行图所述印章图像增强网络包括依次连接的增强网络输入处理模块、去所述去噪器包括用于对待核验印章图像进行去噪的多级残差密集连接将待检印章图像与上述提取的参考印章图像进行叠加，以生成叠加印章图所述双流主干网络包括用于全局特征局部特征提取的EfficientNetB0模块、用于全对叠加印章图像，通过EfficientNetB0模块提取得到叠加印章局部特征和叠加印章通过主干网络通道拼接器对叠加印章局部特征、叠加印章全局用印章图像增强网络对待核验印章图像进行图像增强处理时，包括图像去噪处理和/或印3块与增强网络输入处理模块的输出端连接，且图像质量增强模块与配准对齐模块适配连所述多级残差密集连接模块包括特征增强基本单元以及密集连接卷特征增强基本单元与密集连接卷积层连接，密集连接卷积所述密集块单元包括第一分支单元、第二分支单元以及用于对第一分支第一分支单元包括密集块以及与所述密集块适配连接的密第一分支单元内密集块的输入经第二分支单元直接加载到对两个相邻的密集块单元，沿所述密集块单元的串接方向上，前一基于去噪后待核验印章图像的图案中心点以及所述去噪后待核验印章图像的中心图基于图案中心点、配置控制点A和配准控制点B，生成去噪后待述EfficientNetB0模块包括依次连接的特征提取第一卷积层、自动倒置残差瓶颈卷积单提取叠加印章图像的叠加印章全局特征和叠加印章局部特征时局提取全连接层处理，并经全局提取全连接层输出叠加印章全局特征和叠加印章局部特4所述自动倒置残差瓶颈卷积单元组包括若干自动倒置残差瓶颈卷积单瓶颈卷积内第一卷积层的输入端、瓶颈卷积加法器的第一加法端相互瓶颈卷积内第一卷积层的输出经批量归一化处理后加载到深度可分深度可分离卷积层的输出经批量归一化处理后加载到压缩激励模块，块的输出端经瓶颈卷积内第二卷积层以及瓶颈卷积Dropout层与瓶颈卷积加法器的第二加瓶颈卷积加法器的输出端作为所在自动倒置残差瓶颈卷积基本单元的取叠加印章图像的全局依赖关系时，叠加印章图像依次经块嵌入器、位置嵌入器、利用位置嵌入器确定每个印章图像块的位置信息，并将所有印章图像块按顺序连接，利用Transformer编码器图像块特征序列进行处理，并经模块层归一化单元生成叠加对任一两个串接的Transformer编码单元，沿所述Transformer编码单元的串接方向多头注意力机制单元的输入端作为所在Transformer编码单元的输入端，多头注意力多头注意力机制单元的输入端、多头注意力机制编码器第一加法器的输出端、多层感知机模块的输5解决方案。[0006]公开号CN117765561A的申请，公开了一种基于Siamese特征提取神经网络的印章6[0010]按照本发明提供的技术方案，一种基于深度学习的端到端双流印章自动核验方述印章图像增强网络包括依次连接的增强网络输入处理模块、去噪器以及配准对齐模块，以利用印章图像增强网络对待核验印章图像依次进行图像去噪处理以及印章矫正配准处[0024]所述多级残差密集连接模块包括特征增强基本单元以及7[0033]基于去噪后待核验印章图像的图案中心点以及所述去噪后待核验印章图像的中[0040]所述双流主干网络包括用于全局特征和局部特征提取的EfficientNetB0模块、[0041]对叠加印章图像，通过EfficientNetB0模块提取得到叠加印章全局特征和叠加[0043]所述EfficientNetB0模块包括依次连接的特征提取第一卷积层、自动倒置残差8励模块的输出端经瓶颈卷积内第二卷积层以及瓶颈卷积Dropout层与瓶颈卷积加法器的第[0055]利用Transformer编码器图像块特征序列进行处理，并经模块层归一化单元生成向上，前一个Transformer编码单元的输出端与后一个Transformer编码单元的输入端连[0059]多头注意力机制单元的输入端作为所在Transformer编码单元的输入端，多头注9述印章图像增强网络包括依次连接的增强网络输入处理模块、去噪器以及配准对齐模块，以利用印章图像增强网络对待核验印章图像依次进行图像去噪处理以及印章矫正配准处[0093]当利用印章图像增强网络对待核验印章图像依次进行图像去噪处理以及印章矫[0096]所述多级残差密集连接模块包括特征增强基本单元以及[0098]图2中示出了印章图像增强网络内增强网络输入处理模块采用卷积层的一种实施密集连接卷积层的输出进行通道拼接，密集连接拼接器的输出端与上采样模块适配连接，以实现多级残差密集连接模块与上采样模块[0102]特征增强基本单元包括若干个依次串接的特征增强基本模块，图2中，基础模块图2中示出了特征增强基本单元包括8个依次串接的特征增强基本模块的一种实施例，当特征增强基本单元内特征增强基本模块的数方向，即为图3中第一个密集块单元指向第三个密集单元的方向，对两个相邻的密集块单[0118]图3中，第三个密集块单元内密集块单元内拼接器的输出端可形成密集块单元组块单元内拼接器Cat4的输出端与模块残差缩放模块β4的输入端连接，密集块MJ1的输入端出端形成特征增强基本模块的输出端，密集块MJ1的输入端形成特征增强基本模块的输入子单元卷积层以及与第一类子单元卷积层适配连接的第一类子单元LReLU层，密集块第二的第一类子单元卷积层，LR3为第一个密集块第一类子单元内的第一类子单元LReLU层，块第一类子单元内的第一类子单元卷积层，LR6为第一个密集块第四类子单元内的第一类元LReLU层LR4与第一类子单元卷积层Conv8连接，第一类子单元LReLU层LR5与第一类子单子单元卷积层Conv6的输入端形成密集块的输入端，第二类子单元卷积层Conv10的输出端上采样卷积层，上采样卷积层可采用卷积核为3×3的卷积层；LRU1即为上采样LeakyReLU像质量增强第一卷积层、图像质量增强LeakyReLU层以及图像质量增强第二卷积层依次连[0130]基于去噪后待核验印章图像的图案中心点以及所述去噪后待核验印章图像的中心区的图案还可以其他形状，下面以五角星图案为例对提取中心区以及配准控制点A与配[0138]由上述说明可知，待核验的印章图像会经增强网络输入处理模块以及去噪器处[0139]在确定印章图案的图案中心点后，计算所述图案中心点与所有轮廓点的欧式距[0142]重复上述从关键轮廓点组内任选两个中心图案关键轮廓[0147]在得到配准控制点B的极坐标角度θB以及配准控制点A的极坐标角度θA后，即可确[0151]所述双流主干网络包括用于全局特征和局部特征提取的EfficientNetB0模块、[0152]对叠加印章图像，通过EfficientNetB0模块提取得到叠加印章全局特征和叠加EfficientNetB0模块提取得到叠加印章图像全局特征和叠加印章局部特征，并通过SVIT行分类识别输出，以在分类识别输出后得到印章核验信息。下面结合图5对本发明的[0156]本发明的一种实施例中，所述EfficientNetB0模块包括依次连接的特征提取第残差瓶颈卷积单元MBC3内包括2个自动倒置残差拼接卷积基本单元，自动倒置残差瓶颈卷积单元MBC4内包括3个自动倒置残差拼接卷积基本单元，自动倒置残差瓶颈卷积单元MBC5动倒置残差拼接卷积基本单元，自动倒置残差瓶颈卷积单元MBC7内包括1个自动倒置残差卷积单元MBC6内包括4个自动倒置残差拼接卷积基本单元，则在自动倒置残差瓶颈卷积单励模块的输出端经瓶颈卷积内第二卷积层以及瓶颈卷积Dropout层与瓶颈卷积加法器的第压缩激励模块输出的特征图通道数进行压缩。瓶颈卷积Dropout层随机将部分特征图的值[0170]对图4中的自动倒置残差瓶颈卷积单元，每个自动倒置残差瓶颈卷积单元内所采用深度可分离卷积层的k×k的卷积层和倍率不同，如图4中，自动倒置残差瓶颈卷积单元MBC1内的k3×3，即表示自动倒置残差瓶颈卷积单元MBC1内深度可分离卷积层采用3×3的卷积层；自动倒置残差瓶颈卷积单元MBC2内的k3×3，即表示自动倒置残差瓶颈卷积单元[0171]本发明的一种实施例中，所述SVIT模块包括依次连接的块嵌入器、位置嵌入器、[0175]利用Transformer编码器图像块特征序列进行处理，并经模块层归一化单元生成[0176]图4中还示出了SVIT模块的一种实施例，图中，SVIT模块包括依次连接的块嵌入的位置信息，并将所有印章图像块按顺序连接，以形成一个图像块特征序列；利用Transformer编码器对图像块特征序列进行处理，并经模块层归一化单元生成叠加印章全[0177]图4中示出了块嵌入器的一种实施例，块嵌入器包括块嵌入卷积层以及重排操作即得到多个印章图像块，同时每个印章图像块通过块嵌入卷积层映射到高维度的特征空向上，前一个Transformer编码单元的输出端与后一个Transformer编码单元的输入端连[0182]多头注意力机制单元的输入端作为所在Transformer编码单元的输入端，多头注[0185]具体实施时，Transformer编码器可包括若干依次串接的Trans[0186]具体地，增加Transformer编码单元的数量，通常会增强SVIT模块的特征表达能编码单元包括多头注意力机制单元、编码器第一加法器、多层感知机模块(Multilayer[0188]图7中示出了多层感知机模块的一种实施例，图中，LN1[0192]图6中的印章图像块的展平，具体是指利用重排操作层将每个印章图像块被展平量形状为四维向量，利用重排操作层将所述四维向量转换为三维向量，以便能满足生成图像块特征序列。[0196]经位置嵌入器生成的图像块特征序列，被送入Transformer编码器中，每个捕捉图像块特征序列中的全局依赖关系，图像块特征序列中的Token通过自注意力机制进[0197]多层感知机模块用于在局部特征空间中对特征进行进一[0200]可以理解的是，当引入高维度映射时，线性变换的权重矩阵维度由m维变为m*γ[0201]分类网络输出模块至少包括分类网络全连接层，图4中还示出了分类网络输出模在纸质文件上加盖上述印章体并扫描得到。对构建得到的印章核验训练数据集可包含739张网络训练印章图像，739张网络训练印章图像可包括噪声印章图像及其对应的干净印章体的数据分布差异显著，可能导致双流图像分类网络在遇到新印章图像时的泛化能力不其余对印章体对应的网络训练印章图像构建双流网络训练第一样本集合和双流网络训练则双流网络训练第一样本集合、双流网络训练第二样本集合内均包括4组印章体的所有网样本集合和双流网络训练第二样本集合内相应的网络训练印章图像输入到双流图像分类[0217]在每个epoch迭代训练中，在双流网络训练第二样本集合内所有的网络训练印章器的预测信息以及第二样本图像对经数据分布适配器的预测信息，可计算当前epoch迭代类网络第一集合训练样本的第二标签值s_label，与形成所述分类网络第一集合训练样本第二标签值s_label以及分类网络第一集合训练样本的第一样本图像对真伪分类输出信息[0223]在计算损失函数VerifiLoss时，下面以计算BCELoss(A_output,A值A_labels，利用pi第一样本图像[0227]由上述说明可知，双流图像分类基础网络内可包括梯度翻转层和数据分布适配征关系。数据分布适配