【基于特征融合的印刷体图像中关键字检索实验探究5100字】

11 1 1 2 3 3 3 5 6于分类的分类器训练，最后输出分类结果54]。传统的用于图像分类特征，是人1.1特征融合原理22源异构数据进行综合处理，从而达到联合决策的目的[55]。在计算机领域中，由于多源数据的结构和含义不同，在数据处理时不能一概而论，必须经过融合算法处理。在图像分类领域，使用特征融合方法解决图像分类问题，就是信息融合的思想。其内容是使用融合算法融合图像的多个特征(颜色、纹理、像素、SURF、HOG等),以便实现更智能的视觉图像领域问题。随着计算机硬件GPU、CPU的发展、软件研究技术的推进，社会发展的越来越多元化，使得计算机处理的融合信息更加多样，如何在大规模分布式计算、并行计算的环境下，通过信息数据融合使得分类器级推进到了特征级和数据级的图像分类问题的解决过程一般包括数据获取、预处理、特征提取、分类器设计与训练和分类决策等步骤，如图1.1所示，信息融合的3个层次恰好可以与这个过程对应。下图分别从三个方面进行特征融合，首先可以在数据上进行融合，其次是在提取特征时，对特征进行融合。最后在设计分类器时，可以对分类其进特征融合保留了必要的、显著的信息，既降低原始数据的冗余性，减少数据噪声，又比分类器决策结果又更充分的数据信息，数据量和数据维度适中，因此在这个层次上进行融合是目前最优的选择。在图像分类领域对特征融合方法的研究包括基于贝叶斯理论的特征融合、基于稀疏表示理论的特征融合算法等[54]。近年来，随着深度学习理论的发展，基331.2.1基于贝叶斯理论的特征融合算法基于贝叶斯理论的特征融合算法是在分类器融合算法的基础上发展起来的像类，记为Ω=(W₁,…W.),未知样本X由N维实数特征组成，记为X=[x₁,x₂,…xn]。根据最小错误率的贝叶斯决策理论，若将样本X分为第j类，则该样本就是在已知样本X条件下后验概率最大的模式类，这个决策过程表示为公式1.1:其中，p(wilx)表示第K类后的后验概率，K∈[1,C]。1.2.2基于稀疏表示理论的特征融合算法即公式1.2的优化问题。其中X是一个稀疏向量，且m远小于n,优化目标X的基于稀疏矩阵表示理论的特征融合算法是对样本提取多特征后建立特征联合稀1.2.3基于深度学习理论的特征融合算法44函数定义为公式1.3:加性融合函数yum=fsum(x“,x'),是对两个特征图对应位置元素的值进行相对应的位置元素较大的一个作为融合结果，即公式1.5所示卷积融合函数ycon=fcon(x“,x),是将级联融合结果与滤波器f进行卷积运算，并且引入偏差值b,从而实现融合特征图的降维处理，表示为公式1.6:并将融合后特征图的通道数变为原始特征图的两倍，如公式1.7所示：55双线新融合函数yi=fbil(x“,x),是对两个特征图对应的位置元素进行外积运算后求和，融合特征图的通道数是原始特征图通道数的平方，表示为1.8所示：1.3基于特征融合的印刷体图像中关键字检索以并行的方式分别提取输入图像的特征[56,再将提取的特征进行融合，该融合的方法是1.2.3节中论述的卷积特征融合的级联特征融合方法。将融合后的特征CBAM和BAM提取特征，再将特征进行级联融合。再输入到GoogLent中，提局部特征局部特征全局特征66CBAM是由一个一维的通道注意力模块Mc∈R××1和一个二维的空间注意BAM则是由通道注意力模块M'c和空间注意力模块M'并行构成。与CBAM注意力模块选择增强还是减弱处于不同空间位置的特征。将特征图像输入BAM式中：M(a)=σ(M'(α)+M(a)),σ是sigmoid函数。1.4实验结果分析与总结在本节中，展示实验结果。本节使用第三章介绍过的15个数据集对该网络模型进行训练。在本节中展示数据集11和数据集12训练模型的模型训练图。下图1.3为数据集11训练该模型的模型训练图。test_losstestacc77图1.4为数据集12训练该网络模型训练图。train__acc特征融合的网络模型在所有的数据集训练中都收敛。从上图可以看出，模型在数据集的训练下，模型在训练集和验证集上的正确率都达到了99%,说明网络模型稳定(用于网络训练、测试的数据集不变)。当训练集包含验证集和测试集时，GoogLenet+CBAM+BAM模型的正确率与GoogLenet+CBAM3和GoogLenet网络的正确率比较。下表1.1为模型在测试集上的正确率。模型一种字体汉字二种字体汉字上表模型在测试集上的正确率都很高，测试集在模型训练时已经被训练过，因此再用模型进行测试时，模型的正确率都很高，也说明训练出来的网络模型是稳定的。其次GoogLenet+CBAM+BAM网络模型在所有字体数据集下，正确率高于GoogLenet网络和Googlenet+CBAM3网络模型。用训练集不包含验证集和测试集的测试集对该网络模型进行测试，其结果如下表1.2所示。模型字体个数一种字体汉字二种字体汉字88在测试集上的正确率比GoogLenet模型高0.5%,比GoogLenet+CBAM3模型高1.4%。当字体为两种字体的数据集时，GoogLenet+CBAM+BAM网络模型在测试集上的正确率比GoogLenet模型高0.25%,比GoogLenet+CBAM3网络模型高0.5%。当字体为三种字体的数据集时，GoogLenet+CBAM+BAM网络模型比GoogLenet模型高1.7%,比GoogLenet+CBAM3模型高0.13%。表1.3是测试集模型一种字体汉字4.1%二种字体汉字23.1%只有一种字体时，GoogLenet+CBAM+BAM网络模型比GoogLenet网络模型高0.9%,比GoogLenet+CBAM3模型高1.4%。在训练集有两种字体时，GoogLenet+CBAM+BAM模型比GoogLenet高13.6%,比GoogLenet+CBAM3模模型高1.9%,比GoogLenet+CBAM3高4.5%。用不同于训练集字体的包图小白体作为测试集测试基于特征融合的网络模型的正确率。其结果如下表1.4所示：模型一种字体汉字二种字体汉字不会提升。用不同于训练集字体的Dengl作型的正确率。其结果如下表1.5所示。99模型字体个数一种字体汉字二种字体汉字99.1%通过上表实验结果可知，测试集为不同于训练集的dengl时，当训练集只有一种字体时，GoogLenet+CBAM+BAM模型比GoogLenet+CBAM3模型高26.6%。在训练集有两种字体时，GoogLenet+CBAM+BAM网络模型比GoogLenet模型高0.6%,比GoogLenet+CBAM3网络模型高0.3%。在训练集有三种字体时，GoogLenet+CBAM+BAM网络模型比GoogLenet模型高2.8%,比GoogLenet+CBAM3模型高0.2%。都高于GoogLenet和GoogLenet+CBAM3。因此将特征融合的印刷体图像中关键取过程中关注的重点是特征较为明显的区域。因此结合以上特点，将CBAM和BAM插入到GoogLenet网络模型的第一层卷积层之前和第七层Inception