【《基于卷积神经网络的印刷体图像中关键字检索实验探究》8100字】

基于卷积神经网络的印刷体图像中关键字检索实验探究目录TOC\o"1-3"\h\u3469基于卷积神经网络的印刷体图像中关键字检索实验探究 1318791.1数据集介绍 143531.1.1图像增强 1156291.1.2数据集的构建 349741.2实验配置和参数设置 5317231.3基于卷积神经网络的印刷体图像中关键字检索 6199701.1.1基于Lenet卷积网络的印刷体图像中关键字检索 625011.1.2基于GoogLenet卷积网络的印刷体图像中关键字检索 95981.1.3基于Resnet101卷积网络的印刷体图像中关键字检索 1139131.4实验分析与总结 141.1数据集介绍本文的研究是基于神经网络的印刷体图像中关键字检索，因此需要数据集进行实验，本文的数据集是根据GB2312-80《信息交换用汉字编码字符集——基本集》国家标准的3765个汉字[53]生成的图像。1.1.1图像增强本文的实验目的是寻找适用于印刷体数据集的最优卷积神经网络模型。因此在实验中设置了不同情况下的数据集。并对所有的数据集都进行了数据增强，其增强的目的是为了增加网络在模型训练过程中的样本数量，从而增强网络模型的泛化能力。图像生成是通过用pygame将txt文件中的汉字生成印刷体图像。本节以包含一个仿宋字体的印刷体汉字为例，展示其数据增强的形式。其原图如下图1.1所示。图1.1仿宋字体汉字‘啊’接下来，在仿宋字体汉字的情况下，对印刷体汉字图像进行增强。高斯噪声，顾名思义是指服从高斯分布（正态分布）的一类噪声，通常因为不良照明和高温引起的传感器噪声，通常在RGB图像中，显现比较明显。本文生成的图像是RGB图像，将通过代码的方式添加噪声。在本文中，添加了三种不同的高斯噪声。首先第一种就是噪声比较明显的，如下图1.2（a）所示；第二种就是噪声适中的，如下图1.2（b）所示；第三种就是噪声不明显的，如下图1.2（c）所示。图1.2（a）噪声明显图1.2（b）噪声适中图1.2（a）噪声较小图像旋转是通过将图像旋转不同的监督生成的图像。图像旋转有多种选择，可以根据实验要求，将图像旋转成不同角度。在本实验中，将图像旋转设置成10,30,60度的角。下图1.3（a）为图像旋转十度角的时的印刷体图像；1.3（b）为图像旋转三十度角时的印刷体图像；1.3（c）为图像旋转六十度角时的印刷体图像。图1.3（a）旋转10度角图1.3（b）旋转30度角图1.3（a）旋转60度角图像扭曲是通过改变图像的横纵坐标，使图像进行扭曲。在本节中通过代码进行3种不同的扭曲印刷体图像。如下图1.4（a）汉字扭曲1；1.4（b）汉字扭曲2；1.4（c）汉字扭曲3。图1.4（a）扭曲1图1.4（b）扭曲2图1.4（c）扭曲3以上三种添加噪声、旋转、扭曲是本文实验的数据增强方式，通过数据增强，本文将一个字体的一个汉字扩展成一个字体的10种不同形式的汉字。1.1.2数据集的构建本文通过准备多个组成形式不同的数据集，训练Lenet、GoogLenet、Resnet101网络，用模型在不同的测试集上进行测试。因此本文的数据集设置为训练集包含验证集和测试集；训练集不包含验证集和测试集；验证集和测试集的字体不同于训练集的字体，本文中生成了3种不同于训练集的字体数据。下面表格1.1为不同数据集的说明。表1.1不同数据集数据集训练集字体训练集验证集和测试集字体验证集测试集1仿宋37650张仿宋7530张1000张2仿宋29120张仿宋7530张1000张3仿宋37650张方正粗黑宋简体7530张1000张4仿宋37650张包图小白体7530张1000张5仿宋37650张Dengl7530张1000张6仿宋、汉仪贤二体75300张仿宋、汉仪贤二体11295张2000张7仿宋、汉仪贤二体62005张仿宋、汉仪贤二体11295张2000张8仿宋、汉仪贤二体75300张方正粗黑宋简体11295张1000张9仿宋、汉仪贤二体75300张包图小白体11295张1000张10仿宋、汉仪贤二体75300张Dengl11295张1000张11仿宋、汉仪贤二体、蒙纳喜宴体112950张仿宋、汉仪贤二体、蒙纳喜宴体15060张3000张12仿宋、汉仪贤二体、蒙纳喜宴体94890张仿宋、汉仪贤二体、蒙纳喜宴体15060张3000张13仿宋、汉仪贤二体、蒙纳喜宴体112950张方正粗黑宋简体15060张1000张14仿宋、汉仪贤二体、蒙纳喜宴体112950张包图小白体15060张1000张15仿宋、汉仪贤二体、蒙纳喜宴体112950张Dengl15060张1000张在上述表格中，左侧数字代表本文用于模型训练的数据集的序号，训练集字体表示生成训练集的字体，训练集表示生成训练集的图像数量，验证集和测试集字体表示生成验证集和测试集图像的字体，验证集表示生成验证集的图像数量，测试集表示生成测试集数据。第六数据集将汉字增加至两个字体的汉字，因此训练集图像数量增加了一倍。第十一数据集将汉字增加至三个字体的汉字。用上述15个数据集的训练集验证集训练Lenet、GoogLenet、Resnet101网络，然后用得到的模型在测试集上进行测试。下图1.5为本文训练集字体图像、验证集字体图像、测试集字体图像，1.5（a）仿宋字体为上表数据集1到5的汉字字体图像，1.5（b）是汉仪贤二体汉字印刷体图像，它和1.5(a)一起生成上表数据集6到10的汉字字体图像，1.5（c）为依次增加的字体，蒙纳喜宴体，它和1.5（a）、1.5(b)共生成数据集11到15的印刷体汉字的字体图像。1.5（d）、1.5（e）、1.5（f）为本文不同于训练集的验证集和测试集字体图像。如上表的3、4、5、8、9、10、13、14、15数据集。图1.5(a)仿宋1.5(b)汉仪贤二体1.5(c)蒙纳喜宴体图1.5(d)方正粗黑宋简体1.5(e)包图小白体1.5(f)Dengl体设置1.5（d）、1.5（e）、1.5（f）的目的，一是为了找到最适于印刷体图像中关键字检索问题的模型。二是当字体汉字没有参与模型训练时，模型对该字体汉字的检索正确率程度与字体有什么联系。1.2实验配置和参数设置本文中所有的实验均是以下的硬件环境下完成的，具体的实验硬件配置如表1.2所示。表1.2硬件配置电脑型号联想ALLSeries台式电脑处理器Intel(R)Core（TM）i3-4160CPU@1.60GHz四核内存8GCUDA10.1版本显卡英伟达本文中的所有实验是以PyCharm2020.2.2为编程环境，采用pytorch版本构建的网络模型，编程语言为Python,Python版本为Python1.7.2，操作系统为Window10Professional。下表1.3为本文训练卷积神经网络的实验参数设置。表1.3网络模型实验参数设置损失函数迭代次数超参数输入图像大小归一化LenetAdam300.0132*32*3[0,1]GoogLenetSGD200.01224*224*3[0,1]Resnet101SGD200.01224*224*3[0,1]GoogLenetCBAMSGD200.01224*224*3[0,1]GoogLenet+CBAM+BAMSGD200.01224*224*3[0,1]1.3基于卷积神经网络的印刷体图像中关键字检索在本节中，我们需要用大量数据集多次训练卷积神经网络模型，通过实验结果得出在印刷体图像分类问题中，那个模型是最适用的。下图1.6为印刷体图像关键字检索的流程图。图1.6卷积神经网络检索关键字印刷体图像流程图1.1.1基于Lenet卷积网络的印刷体图像中关键字检索在第二章节中，对各种神经网络的结构进行详细介绍。因此在本节，利用1.1节介绍的数据集对Lenet进行训练。首先使用数据集1训练Lenet网络，其中训练集有37650张图像，验证集有7530张图像，测试集有1000张图像。其模型训练结果如下图1.7所示。图1.7lenet在数据集1下的模型训练图用数据集1中的1000张图片，对训练所得的模型进行测试，检索的正确率为97.1%。用数据集2训练Lenet网络。其模型训练结果如下图1.8所示。图1.8lenet在数据集2下的模型训练此时，用1000张没有参与模型训练的图像输入模型进行测试。结果模型的正确率为60.9%。我们使用数据集3，数据集4，数据集5，即验证集和测试集来自于不同字体的图像，训练Lenet网络，在以方正粗黑宋简体、包图小白体、Dengl为验证集和测试集时，对1000张测试集的测试的准确率分别为0.5%，0.2%，19.6%。在数据集6以后，除了生成仿宋字体的汉字图像外，还将生成汉仪贤二体汉字图像。首先使用数据集6训练Lenet网络，其模型训练如下图1.所9示。图1.9Lenet在数据集6下模型训练得到模型，用被包含在训练集中的2000张图像对该模型进行测试，测试集的正确率为91.4%。再用数据集7训练Lenet模型，其模型训练如下图1.10所示。图1.10Lenet在数据集7下模型训练得到模型，用不被包含在训练集的2000张图像对该模型进行测试，测试集的正确率为72.25%。再用数据集3、数据集4、数据集5训练Lenet。当测试集为方正粗黑宋简体、包图小白体、dengl时，模型在测试集上的正确率分别为3%，0.1%，29%。在数据集11中，除了生成仿宋字体和汉仪贤二体汉字图像外，还将生成蒙纳喜宴体汉字图像，下图1.11数据集11训练Lenet的网络模型结构图。图1.11Lenet在数据集11下模型训练得到模型之后，用3000张从训练集中抽出的图像进行检索，其正确率为95.9%。数据集12训练Lenet模型。其模型训练图如下图1.12所示。图1.12Lenet在数据集12下模型训练得到模型之后，用3000张从训练集中抽出的图像进行检索，其正确率为92.5%。数据集3训练Lenet模型。当验证集和测试集分别为方正粗黑宋简体、包图小白体、dengl时，得到模型，模型在测试集上的正确率分别为12%，0.18%，61.3%。1.1.2基于GoogLenet卷积网络的印刷体图像中关键字检索本文继续用数据集1训练GoogLenet网络，其模型训练图如下图1.13所示。图1.13GoogLenet在数据集1下的模型训练用数据集1中的1000张图片（该1000张图像跟Lenet测试集为同一个测试集），对训练所得的模型进行测试，检索的正确率为99.9%。接下来，用数据集2训练GoogLenet网络。其模型训训练结果如下图1.14所示。图1.14GoogLenet在数据集2下的模型训练此时，用1000张没有参与模型训练的图像输入模型进行测试。结果模型的正确率为98.5%。用数据集3、数据集4、数据集5训练GoogLenet网络，即验证集和测试集来自于别的字体。其在测试集上的检索正确率分别为1.2%，0.2%，40.4%。接下来，用本节的数据集6训练GoogLenet网络，其模型训练如下图1.15所示。图1.15GoogLenet在数据集6下模型训练图得到模型之后，用2000张从训练集中抽出的图像进行检索，其正确率为99.95%。数据集7训练GoogLenet模型。其模型训练如下图1.16所示。图1.16GoogLenet在数据集7下模型训练图得到模型，用2000张不包含在训练集的图像进行检索，其正确率99.25%。继续用数据集3、数据集4、数据集5训练GoogLenet网络，其验证集和测试集分别为方正粗黑宋简体、包图小白体、dengl时，训练所得的模型在测试集分别为9.5%，0.2%，81.3%。用本节的数据集11训练GoogLene网络，其模型训练如下图1.17所示。图1.17GoogLene在数据集11下模型训练得到模型之后，用3000张从训练集中抽出的图像进行检索，其正确率为99.93%。数据集12训练GoogLenet模型。其模型训练如下图1.18所示。图1.18GoogLene在数据集12下模型训练得到模型之后，用3000张从训练集中抽出的图像进行检索，其正确率为98.36%。当验证集和测试集分别为方正粗黑宋简体、包图小白体、dengl时，得到模型，模型在测试集上的正确率分别为78.8%，1.2%，96.2%。1.1.3基于Resnet101卷积网络的印刷体图像中关键字检索本文用数据集1训练Resnet101网络，其模型训练如下图1.19所示。图1.19Resnet101在数据集1下的模型训练图用数据集1中的1000张图片（该1000张图像跟Lenet测试集为同一个测试集），对训练所得的模型进行测试，检索的正确率为98.9%。用数据集2训练Resnet101网络。其模型训练结果如下图1.20所示。图1.20Resnet101在数据集2下的模型训练此时，用1000张没有参与模型训练的图像输入模型进行测试。结果模型的正确率为86.8%。用数据集3、数据集4、数据集5训练Resnet101网络，通过模型训练得到三种不同的模型，模型在测试集上的正确率分别为1.7%，0.5%，22.8%。用本节的数据集6训练Resne101网络，其模型训练如下图1.21所示。图1.21Resnet101在数据集6下模型训练得到模型之后，用2000张从训练集中抽出的图像进行检索，其正确率为99.55%。用本节的数据集7训练Resne101网络，其模型训练如下图1.22所示。图1.22Resnet101在数据集7下模型训练图得到模型之后，用2000张从训练集中抽出的图像进行检索，其正确率为98.05%。当验证集和测试集分别为方正粗黑宋简体、包图小白体、dengl时，得到模型，模型在测试集上的正确率分别为8.8%，0.2%，79.3%。用本节的数据集11训练Resne101网络，其模型训练如下图1.23所示。图1.23Resnet101在数据集11下模型训练得到模型之后，我们用3000张从训练集中抽出的图像进行检索，其正确率为99.%。数据集12训练GoogLenet模型。其模型训练如下图1.24所示。图1.24Resnet101在数据集12下模型训练得到模型之后，用3000张不包含在训练集的图像进行检索，其正确率为95.7%。紧接着，当验证集和测试集分别为方正粗黑宋简体、包图小白体、dengl时，得到模型，模型在测试集上的正确率分别为68.6%，2.5%，95.8%。1.4实验分析与总结首先，通过观察发现，每一个神经网络在数据集1、数据集2的训练下，模型的收敛速度不同。神经网络在数据集1的情况下，模型的正确率提升的速度比数据集2的要快。下面通过表格的数据进一步分析本章实验。首先，分析每个神经网络在训练集包含验证集和测试集时，模型在测试集上的正确率。如下标1.4所示。表1.4训练集包含验证集和测试集时模型在测试集上的正确率模型字体个数Lenetgooglenetresnet一种字体汉字97.1%99.9%98.9%二种字体汉字91.4%99.95%99.55%三种字体汉字95.9%99.93%99.3%上表展示的是，训练集包含验证集和测试集时，随着汉字字体个数的增加，模型正确率的变化。三种网络模型在三种不同字体数据集下正确率都很高。用于模型测试的测试集已在模型训练阶段被模型学习过，因此模型在该测试集上的正确率会高。在训练模型的过程中，如果训练集和验证集的正确率高，测试集（被训练过的数据）的正确率低，说明这个模型是有问题的。因此用被训练过的数据测试模型，是为了验证模型的好坏，表格中的3个网络模型都是稳定的。且GoogLenet在不同字体的数据集下，模型的正确率都高于Lenet,Resnet101，说明在印刷体图像检索中，GoogLenet网络模型做稳定。表1.5训练集不包含验证集和测试集时模型在测试集上的正确率模型字体个数LenetgooglenetResnet101一种字体汉字60.9%98.5%86.8%二种字体汉字72.25%99.25%98.05%三种字体汉字92.5%98.36%95.7%上表展示的是，训练集不包含验证集和测试集时，随着汉字字体个数的增加，模型正确率的变化。Lenet网络随着数据的增加，模型在测试集上的正确率逐渐提升。随着字体的增加，训练网络的图像也在增加，模型学习的样本增加，模型也就学习的更加完善。GoogLenet网络在字体增加的时候，模型的正确率稳定。Resnet101网络在字体汉字增加的时候，模型的正确率先是提升，再是稳定。在训练集不包含验证集和测试集的数据集中，不论是一种字体的数据集还是两种字体的数据集，三种字体的数据集，GoogLenet的正确率都高于Resnet101和Lenet。分析原因，首先生成的印刷体汉字具有更为复杂和精细的结构，所以使用浅层Lenet网络时，并不能完全提取到其高级语义特征。GoogLenet网络在深度和宽度上都有加深，并且有两个分类辅助器对3765个汉字分类起作用，Inception结构的多尺度卷积融合，可以从不同大小的感受野去提取汉字特征，使提取的特征更具有鲁棒性，模型的泛化能力更强。Resnet101在深度上进行加深，但在具有复杂结构的汉字中，只纵向加深网络模型，则特征提取没有GoogLenet好。续表1.6测试集和验证集是另外一种字体（方正粗黑宋简体）模型字体个数Lenetgooglenetresnet一种字体汉字0.5%1.2%1.7%二种字体汉字3%9.5%8.8%三种字体汉字12%78.8%68.6%表1.6是训练集与验证集测试集的字体不是同一个字体，验证集和测试集是同一个字体，但验证集不包含测试集。当训练集是宋体汉字图像时，用方正粗黑宋简体进行测试，正确率只在百分之几。从字体的颜色和笔画粗细程度、书写等判定两种字体的汉字是否相近，宋体和方正粗黑宋简体的字体不相近，宋体笔画较方正粗体黑要纤细一些，且字体颜色有些差别，书写方式也稍微有些差别。下图1.25(a)为训练集图像，1.25(b)为测试集图像。图1.25(a)宋体‘皑’图1.25(b)方正粗体黑‘皑’当增加汉字字体汉仪贤二体字体时，模型在方正粗黑宋简体的数据集上的正确率提升。汉仪贤二体与方正粗体黑都是笔画较粗，且字体颜色较为相近。在书写方式上有些不同，汉仪贤二体字体书写没有方正粗体黑书写的方正。下图1.26(a)增加的训练集字体汉仪贤二体，1.26(b)为测试集方正粗体黑。图1.26(a)汉仪贤二体‘皑’图1.26(b)方正粗体黑‘皑’当给训练集增加第三种字体蒙纳喜宴体时，模型在测试集上的正确率大幅提升。不论是从字体颜色，或者是笔画粗细还是书写是否方正，测试集都与方正粗体黑极为相似，因此在模型在测试集上的正确率提升很快，且正确率达到百分之70多。下图1.27(a)为增加的训练集蒙纳喜宴体，1.27(b)为测试集方正粗体黑。图1.26(a)蒙纳喜宴体‘皑’图1.26(b)方正粗体黑‘皑’当测试集字体不同于训练字体集时，通过实验结果和分析得出结论。字体从颜色和笔画粗细书写方式等都较为相近时，随着数据的增加，模型在测试集上的正确率提高，模型的适应能力逐渐变强。且GoogLnet网络在该数据集上的正确率整体要高于提高Lenet网络和Resnet网络。表1.7测试集和验证集是另外一种字体（包图小白体）模型字体个数Lenetgooglenetresnet一种字体汉字0.2%0.2%0.5%二种字体汉字0.1%0.2%0.2%三种字体汉字0.18%1.2%2.5%表1.5是训练集与验证集测试集的字体不同，验证集和测试集字体相同，但验证集不包含测试集的数据。当训练集是宋体汉字图像时，用包图小白体进行测试，正确率只在百分之几，宋体和包图小白体的字体不相近，包图小白体是白色框图字体，而宋体是笔画纤细的黑色实心字体。下图1.27(a)为训练集图像，1.27(b)为测试集图像。图1.27(a)宋体‘皑’图1.27(b)包图小白体‘皑’当增加汉字字体汉仪贤二体字体时，模型在包图小白体的数据集上的正确率没有变化。通过下图观察发现，汉仪贤二体笔画较粗，且字体颜色为黑色。包图小白体字体颜色为白色，且为框体字。两者字体差距较大。下图1.28(a)增加的训练集字体汉仪贤二体，1.28(b)为测试集方正粗体黑。图1.28(a)汉仪贤二体‘皑’图1.28(b)包图小白体‘皑’当给训练集增加第三种字体蒙纳喜宴体时，不论是从字体颜色，或者是笔画粗细还是书写，测试集都与包图小白体极为不相似，因此模型在测试集上的正确率提升没有提升，正确率只达到百分之几。蒙纳喜宴体为黑色框图，且笔画为实心。而包图小白体为白色框图，框图不是实心。下图1.29(a)为增加的训练集蒙纳喜宴体，1.29(b)为测试集包图小白体。图1.29(a)蒙纳喜宴体皑图1.29(b)包图小白体皑当测试集字体不同于训练集字体时，通过实验结果和分析得出结论，字体从颜色和笔画粗细等都不相近时，即使增加数据集的数量，模型在测试集上的正确率也不会提高。且颜色的特征在模型提取特征中，起到至关重要的作用。表1.8测试集和验证集是另外一种字体（Dengl）模型字体个数Lenetgooglenetresnet一种字体汉字19.640.4%22.8%二种字体汉字29%81.3%79.3%三种字体汉字61.3%96.2%95.8%表1.5是训练集与验证集测试集的字体不同，验证集和测试集的字体相同，但验证集不包含测试集的数据。当训练集是宋体汉字图像时，用Dengl（汉字字体名称）体进行测试。宋体和Dengl体的字体极为相近，首先自已颜色相近，其次笔画粗细也相近，最后书写方式也相近，因此模型在测试集上的正确率高。下图1.30(a)为训练集图像，1.30(b)为测试集图像。图1.30(a)宋体‘皑’图1.30(b)Dengl体‘皑’当增加汉字字体汉仪贤二体字体时，模型在Dengl体的数据集上的正确率得到很大的提升，汉字字体汉仪贤二体字体与Dengl字体不相近，但是正确率却得到了提升。通过下图观察，汉仪贤二体笔画较粗，且字体颜色为黑色。Dengl体字体颜色为黑色，且笔画较汉仪贤二体较为纤细。两者字体从颜色上差距不大，从笔画粗细上有些差距。下图1.31(a)增加的训练集字体汉仪贤二体，1.31(b)为测试集Dengl。图1.31(a)汉仪贤二体‘皑’图1.31(b)Dengl体‘皑’当给训练集增加第三种字体蒙纳喜宴体时，字体颜色和书写较为相似，但笔画粗细不同。下图1.32(a)为增加的训练集蒙纳喜宴体，1.32(b)为测试集Dengl体。图1.32(a)蒙纳喜宴体皑图1.32(b)Dengl皑当测试集字体不同于训练