【基于文本样本生成与CRNN结合的场景文本识别方法分析11000字】

基于文本样本生成与CRNN结合的场景文本识别方法分析目录TOC\o"1-3"\h\u4469基于文本样本生成与CRNN结合的场景文本识别方法分析 (1.1)前半部分是让网络可以将空间Y中的样本判别为正样本，后半部分是让网络可以将通过生成器转换的空间X中的样本，判别为负样本。整个网络随着训练迭代，不断优化损失，达到纳什均衡[54]。在CycleGAN[55]中，又提出了循环一致性损失，即再考虑一个生成器GYX，与GXY相对应，它学习的是一个从空间Y到X的映射，这两个生成器满足的条件如式(1.2)所示。 (1.2)也即，将空间X中的样本转换至空间Y后，还可以通过生成器转换回空间X，这样的设计，避免了模型在学习的过程中，把所有空间X中的样本，转换为空间Y中的同一个样本。CycleGAN的流程图如图1.5所示。图1.5CycleGAN流程图Fig.1.5CycleGANflowchart循环一致性的损失函数定义为(1.3)所示。 (1.3)同时，引入另一个生成对抗损失函数如式(1.4)所示。 (1.4)因此，最终的损失函数如式(1.5)所示。 (1.5)1.2.2文本方向判别网络自然场景下检测出来的文字行不仅有水平和垂直的文字行，也存在着倾斜的文本行，甚至一些弯曲的文本序列，但是在文字识别的模型输入时，要求的输入是水平或者垂直文字行，所以要在进行识别之前，将文本行进行相应的矫正。可以使用例如空间变换网络(STN)、薄板样条插值(TPS)等方法，对检测到的文本区域图像进行转变形状，归一化识别模块的文本图像输入。本章的文本识别系统设计的输入图片主要针对水平和垂直的文字行，因此从文本中文字方向和阅读方向出发进行分类，可以分为8类，如图1.6所示。图1.6文本方向Fig.1.6Textdirection不同方向的文本图片，因语序不同，无法使用同一个文本识别网络。所以在送入文本识别网络前，需要先判断该文本图片的方向，而后选择合适的文本识别网络进行识别。本文通过初始文本数据生成的方式，生成阅读方向分为横向和竖向两种的两种数据。而后分别旋转90°，180°，270°，加上不旋转的原文本，得到如图1.6所示的8类方向的文本，用于文本方向判断网络的训练。对于如图1.6所示的8种不同的文本方向类别进行分类，该问题属于一个简单的分类问题，因此设计了一个轻量的分类网络，分类个数为8。网络结构如图1.7所示。图1.7文本方向分类网络结构Fig.1.7Textdirectionclassificationnetworkstructure该网络选用了轻量的ResNet-18[56]作为骨干网络，使用在imagenet上的预训练参数作为初始参数。因为文本的尺寸各不相同，横向文本宽高比大于1，而竖向文本宽高比小于1，如果同时resize到同一尺寸如1:1，产生的形变对于分类的结果影响较大。因此在骨干网络后加入了一层GAP[57](全局平均池化)，GAP的加入，使得除了尺寸小至无法正常完成降采样的文本需要做上采样的resize操作以外，其余文本图片均可以以原始尺寸输入，而不用进行任何resize操作，最后连接一个全连接层，通过softmax分类器进行分类。最终在将文本送入文本识别网络之前，根据方向识别网络的分类结果，将文本进行旋转变换至同一文字方向，此时，按照阅读方向分为横向和竖向。如图1.8所示。图1.8旋转变换Fig.1.8Rotationtransformation1.2.3文本识别网络针对文本识别任务，主流的方法主要有两种：一种是基于CTC的方法，典型的代表就是CRNN；另一种是基于Attention的方法，相比于单字符分割模型，机构更加简单，可以减少很多预处理的设计，并且在实际图像模糊难以分割的情况提供了更好的字符序列识别的解决方案。然而基于Attention解码的文本行识别方法需要设计合适的文本行注意力机制，操作过于复杂，相比之下CRNN的网络结构简单，并且只需要序列文本标签就可以进行训练。因此本章文本识别网络结构选取CRNN结构。网络结构如图1.9所示。图1.9CRNN网络结构图[22]Fig.1.9CRNNnetworkstructurediagram[22]网络由三个部分组成，包括卷积层、循环层和转义层。卷积层从输入的文本图片中，提取特征序列，循环层学习场景文本图像的上下文信息并对特征序列中的每一帧进行预测，最后的转义层则根据循环层输出的预测结果，给出最终的文本序列。整个网络由CNN和RNN两部分组成，通过CTC损失指导训练[58]。1.3文本加工与CRNN结合的文本识别网络框架本小节提出了一种基于深度神经网络的文本数据加工和文本识别网络结构，该网络由两个部分组成。第一部分为初始文本加工网络，用于对初始带有词义信息的初始生成文本数据进行进一步加工，引导初始文本数据学习真实样本的各种特点，做到更好的模拟真实场景；第二部分为识别网络，用于对文本进行识别，同时对初始文本加工网络起到监督效果。两个子网络相互辅助训练，当整体框架趋于稳定时，识别网络训练完成。训练采用重构损失、对抗损失和连接时序分类损失，对两个子网络进行反馈，使得生成的加工文本的结果更加真实，识别网络的精度更高。1.3.1文本识别模型设计(1)字符集合考虑到本文要解决的场景是中英场景，所以，本文选择了《通用规范汉字表》[9]作为中文字符集，该集合包含一级字表3500个，二级字表3000个，三级字表1605个，合计8105个汉字。英文字符集则是由大写和小写的英文字母组成，合计52个。数字字符集为0~9，合计10个。其他符号方面，大体可分为以下三类。1）中文标点符号，以中括号、句号、分号、人民币符号、左右双引号等符号为代表，一共18个。因为省略号与英文符号中的句号难以分辨，且常出现使用多个英文句点代替省略号的使用场景，所以并没有加入到中文符号集中。破折号也因为与数学符号中的减号难以分辨，并未加入。2）英文符号，与中文符号选取思路类似，一共19个。3）中英文一致符号，以四则运算符号、“井”号、大括号等符号为代表，一共13个。因为计算CTC损失的需要，因此加入了空格作为“空”字符也即占位符，最终本文模型预测文本所属字符闭合集的个数为8105+52+10+18+19+13+1=8218。(2)文本识别网络结构对应于横向和竖向文本，本文也训练了两个独立的文本识别网络，用于解决这两种不同的场景。以横向识别网络为例，本文采用CRNN的基础结构作为文本识别网络。CNN部分采用ResNet-50作为骨干网络。输入文本图片大小为64*640。经过骨干网络后，得到一个降采样8倍的特征图，大小为8*80，通道数为128。将此特征图以横向为时序展开，也即将特征图转置为80*8*128，将8*128作为按时序展开的每一帧特征，连接两个双向LSTM[10]结构。此处选择双向LSTM的原因是，单向的结构都只能时序上之前的信息来预测时序上之后的输出，但是在文本识别的场景下，预测当前位置的文本信息，可能不仅仅依赖于前文，而是会考虑后文的内容。例如，在“这个虾仁”这一条文本中，第三个字存在形近字组“虾”和“吓”，仅根据前两个字“这个”，LSTM难以根据学习过的语义经验，判断第三个字会出现“虾”和“吓”中的哪一个，但是通过第四个字“仁”，LSTM会更加容易将第三个字预测为“虾”。反之，当文本为“这个吓人”时，结合第四个字“人”，第三个字则更容易被预测为“吓”。Bi-LSTM结构输出为帧数80的特征矩阵，通过一个全连接层和一个Softmax，最终得到每一帧预测为每一种字符的概率，是一个80*8218的概率矩阵。竖向文本识别网络，输入文本图片大小为640*64，经过骨干网络后，得到的是大小为80*8，通道数为128的特征图。与横向文本识别网络的区别在于，将此特征图以竖向为时序展开，虽然转置结果仍然是80*8*128，但是转置的操作需要改变。在得到每一帧预测字符的概率后，选出每一帧概率值最大的字符，作为当前帧的预测值，可以得到一串长度为80的字符序列，称之为预测字符序列。在推理时，对预测字符序列进行CTC解码，将预测的特征序列转换成最终结果。如序列“-h-eee-l—ll-o”（此处用符号“-”代指占位符），合并未被“空”占位符分隔开的相同字符，得到最终的预测结果“hello”。(3)损失函数设ykt为序列在第t位输出为k的概率，也即提取文字序列特征过程中Softmax后概率矩阵中的每一个元素。p(π|x)为给定输入为x，输出路径为π的概率。假设每一位的概率相互独立，则 (1.6)即每一位输出分别对应π的对应位的概率乘积。定义p(l|x)为给定输入为x，输出为l的概率。则 (1.7)即当输入为x时，所有可以映射为l的输出路径π的概率和。如当输入x为“-h-eee-l—ll-o”时，路径“-h-e-l-l-o”和“h-ee-l-ll-o”均可以映射为“hello”。因此，本文使用CTC损失函数训练网络。li为标注字符序列，yi为预测字符序列。损失函数如式(1.8)所示。 (1.8)1.3.2文本数据加工与文本识别结合将1.1小节中生成的初始文本数据所在的空间，定义为X；需要解决的场景中文本所在的空间，定义为Y。本文主要解决的问题方案是将已生成充足的空间X中的初始文本数据，转换到空间Y中，使得文本加工数据更加真实，更加符合场景特征，帮助文本识别网络的训练。在文本数据转换的任务里，DX和DY分别用于判断图片是否是初始生成数据和真实数据，考虑到空间X和Y均为文本，骨干网络所提取的特征，关注点一致，因此，采用共用骨干网络的方式，也即DX和DY使用同一个CNN网络作为特征提取器。网络结构如图1.10所示。图1.10DX和DY共享骨干网络的网络结构Fig.1.10DXandDYsharethenetworkstructureofthebackbonenetwork使用这样的网络进行实验的方式，根据结果发现由GXY和GYX生成的文本图片，风格产生了对应的转换，但是字符出现了不同程度的模糊现象。在原始网络上，尽管有循环一致性损失Lcycle控制转换后的内容尽量保留原图的重要信息，只转换风格，由于本文的数据来源是自然场景下的图像文本信息，所以数据集中包含的字符本体大多是由细小、复杂的线条组成。而图片中大量存在的是图片的背景，即除了字符的部分，因此两次转换后的文本图片GXY(GYX(y))只要保证其图片背景与原图y的背景相似，即满足GXY(GYX(y))≈y的条件。所以Lcycle对于字符风格转换场景来说，并不是一个很强的损失函数。为了解决字符变换后模糊的问题，在传统GAN网络中加入文本识别分支。由此识别分支提供一个对字符清晰度的监督信号，反馈给GXY和GYX，保证在进行风格转换的过程中，字符依然可以被文本识别网络准确识别。考虑到识别网络，采用CRNN结构用于文本识别，其中也包括一个CNN网络，用于基础特征提取。因此将骨干网络ResNet-50作为共享特征提取网络，即CRNN的CNN部分与DX和DY共享参数。网络结构如图1.11所示。图1.11文本数据加工与文本识别结合网络结构Fig.1.11Textdataprocessingandtextrecognitioncombinedwithnetworkstructure根据文本方向的不同，设计两个独立的文本数据加工与文本识别网络，分别针对横向文本和竖向文本，最终得到横向、竖向两个文本识别模型。1.3.3知识蒸馏的模型压缩因为GAN网络的本质还是编码器与解码器，训练的速度相对较慢，所以在训练的前期，文本识别分支的训练也会随文本数据加工部分缓慢进行。这样的训练模式，违背了本文希望文本识别分支可以监督生成器的初衷。因此，为了能够使得文本识别分支尽快发挥作用，可通过采取知识蒸馏的方法，引入了一个大模型，在训练前期指导文本识别网络[59]。蒸馏部分网络如图1.12所示。图1.12知识蒸馏网络结构Fig.1.12Knowledgedistillationnetworkstructure通过将已有的初始文本数据X_real与真实数据Y_real混合，得到的已标注数据集，先训练大模型，该模型与1.3.1所述结构一致，区别在于使用了ResNet-101作为骨干网络。将这样的一个大模型作为Teachermodel，上文所述的文本识别模型分支作为Studentmodel，通过大模型预测输出来辅助小模型训练，本文采取两种方法进行知识蒸馏。(1)将经过双向LSTM和Softmax层得到的概率矩阵作为知识进行蒸馏，计算交叉熵损失如式(1.9)所示。 (1.9)其中，pjT和qjT分别为Studentmodel和Teachermodel的概率矩阵。(2)是将Teachermodel经过CTC解码后的字符序列作为知识进行蒸馏，计算CTC损失如式(1.10)所示。 (1.10)其中，ti为Teachermodel得到的字符序列，yi为Studentmodel得到的字符序列。而根据标注字符序列训练时采用的CTC损失为公式(1.11)所示。 (1.11)因为Teachermodel仍然不是一个完美的网络，虽然可以为Student联合model提供更加丰富的信息，但仍存在很大的进步空间。因此在联合训练时，Teachermodel也同样参与训练，网络参数与Studentmodel同时更新。随着CycleGAN训练的深入，送入Teachermodel的数据更加丰富，Teachermodel也和Studentmodel一起变好。因此，在Teachermodel还存在一个用于更新Teachermodel参数的CTC损失函数如式(1.12)所示。 (1.12)1.3.4完整网络结构及损失函数结合前面的分支网络，基于文本加工与CRNN文本识别网络结构如图1.13所示。该完整网络的损失函数由三部分组成分别为：文本数据加工过程中CycleGAN的损失、基于ResNet-50骨干的文本识别网络的CTC损失、知识蒸馏过程中通过大模型预测输出的softtarget来辅助hardtarget对小模型进行训练的损失、以及联合训练过程中基于ResNet-101骨干网络的Teachermodel参数的CTC损失。因此完整网络的训练损失函数如式(1.13)所示。 (1.13)图1.13基于文本加工与CRNN文本识别网络结构Fig.1.13NetworkstructurebasedontextprocessingandCRNNtextrecognition根据实验结果分析，使用LStudent-crossentropy效果要优于使用LStudent-CTC-soft，由于蒸馏的目的是让Studentmodel获取到除了one-hot矩阵(即hardlabel信息)以外更多信息，例如负标签信息。而当选择使用CTC损失进行知识蒸馏时，反向传播到网络的Softmax层的信息，仍然为一个one-hot矩阵，这违背了进行知识蒸馏的初衷。因此最终选择知识蒸馏方案(1)，也即γ=0。因此该网络最终的损失函数如式(1.14)所示。 (1.14)1.4实验设计1.1.1评价指标在文本识别任务中，算法的评价指标除了可视化的识别效果之外，还包括了定量的指标如：平均编辑距离、字符识别准确率、字符识别召回率以及语境相关的评价方式等。这样才能更细致地区分识别算法性能的优劣。其中平均编辑距离是指两个字符串间由一个字符串转换成另一个字符串所需的最少编辑操作次数，平均编辑距离越小说明识别率越高。平均编辑距离越小说明识别率越高，是主要衡量整篇文章的指标且需要太多的人为设定。由于本课题是主要是对文字检测出来的整个文本行进行识别，因此选取字符识别准确率和字符识别召回率作为最终的评价指标，其中字符识别准确率，即识别对的字符数占总识别出来字符数的比例，可以很好的反应识别错和多识别的情况；字符识别召回率，即识别对的字符数占实际字符数的比例，可以反应识别错和漏识别的情况。因此同时使用字符识别的准确率和召回率可以很好的评价识别算法的性能。准确率(precision)与召回率(recall)的定义的公式如式(1.15)、(1.16)所示。 (1.15) (1.16)1.1.2模型训练细节及过程(1)训练刚开始时，仅有X_real和Y_real送入文本识别网络进行训练，因为此时的X_fake和Y_fake还是由并不成熟的GXY和GYX所生成，对于训练文本识别分支并无帮助。(2)训练过程中，μ设置大于β，因为刚开始更多的希望小模型通过学习大模型的更加丰富的信息，提高自身的精度，而训练到后期，大模型已经通过更加丰富的数据，变得更加可靠，继续保持μ大于β仍然是较优的。(3)训练持续若干代后，当生成的X_fake和Y_fake具有肉眼可辨的字形时，开放训练，此时文本识别网络的输入为X_real、Y_real、X_fake、Y_fake四个分支的文本图片。(4)文本识别网络和辨别器网络参数同时更新，但它们两个各自训练，计算梯度，反向传播到ResNet50、判别头、RNN。生成器网络参数与辨别器网络交替更新。这是因为在训练辨别器时，给图片的标注为正确标注，目的是引导辨别器可以准确分辨图片所属的空间是X还是Y，文本识别网络因与辨别器网络共享骨干网络，所以同时参与参数更新。而在训练生成器网络时，将给图片的标注为反义标注，认为判别器很可靠，文本识别结果很可信，所以作为生成器的监督信号，因此生成器要生成的结果，一定要按照判别器和文本识别网络的结果来。因此当从DY到Y_fake反向传播到GYX时，固定DY的参数，且将Y_fake的标注修改为其反义标注，在DY输出端表现为1即Y_real，此时GYX的优化方向为将Y_fake变换得更像Y_real。另一个分支GXY同理。(5)当需要变换到的场景中的文字，字体更加丰富时，适当减小α，增大β和μ，降低循环一致性损失在训练中的作用，可以使得生成器网络具有更高的自由度，从而学到字体相关的知识。(6)训练结束时，可以得到两个文本识别模型，分别是网络框架中的Studentmodel和Teachermodel。一般来说，Teachermodel的结果会优于Studentmodel，但是耗时较长，可以根据实际使用场景决定模型的选择。本文的实验平台是Ubuntu16.04，配有Intel(R)Core(TM)i7-7700CPU、2个NVIDIAGeForceRTX2080Ti和256Gb内存。模型训练过程以RCTW2017作为原始真实场景的数据为例。RCTW2017按照比例9：1随机分成训练集和测试集。并将RCTW2017的训练集与初始生成文本数据（30W）一同放入网络进行训练，使用Adam优化算法进行优化生成器和判别器的学习率设置为0.001，CRNN网络模块的学习率设置成0.005。裁剪后的图片经过resize得到[64,640,3]的格式，batchsize设置为8，在此基础上总共迭代了200.0k步，在第5个epoch时加工文本数据成型，开放训练将生成的加工文本数据也一同送入识别网络中，并且每个epoch中会生成30W文本加工数据且各不相同，此时通过文本识别loss去更新Gxy的参数时，Gxy的优化方向就是，尽量让网络的生成结果图片中的文字，可以被文本识别网络识别出来。整个网络训练了2天，网络训练过程中损失函数变化曲线如下：图1.14各部分损失函数变化曲线图Fig.1.14Changecurveoflossfunctionoftrainingset图1.15完整网络的损失函数变化曲线图Fig.1.15Thechangecurveofthelossfunctionofeachpart由于生成对抗网络的本质是一个交替训练的过程且本次实验采取一个小批次来分别记录一次准确率的值和损失函数的值，每次取到的样本不一定相同，所以导致曲线波动比较大，属于正常现象。由于识别过程中数据量较大迭代次数较多，每20k步记录一次F1-score性能指标，从模型训练过程中F1-score变化曲线的中可以看出，训练在刚开始的时候识别精度提高比较慢，迭代了若干次之后才开始逐渐上升，这主要由于在刚开始训练的时候生成器生成的文本数据比较模糊也没能很好的学习真实场景的文字的风格，对于识别模型由于开始的时候数据量比较少，好多字符都没有被正确学习到，随着迭代次数的不断增加，可以看出识别精度明显有了提升，在曲线图的最后观察到，随着损失函数曲线降低接近平稳且收敛完毕，F1-score也趋于稳定，模型得到较好的识别精度。图1.16模型训练过程中F1-score变化曲线Fig.1.16F1-scorecurveduringmodeltraining1.5实验结果与分析1.5.1实验结果对比分析 为了验证本文识别网络模型结构在不同数据集上的效果，实验准备阶段收集了部分中文公开数据集包括LSVT2019，RCTW2017，MTWI2018。以这三个数据集作为真实场景文本并且结合初始生成文本去训练网络学习。表1.1收集的中文公开数据集信息Table.1.1ChinesepublicdatasetinformationcollectedLSVT2019RCTW2017MTWI2018有标注图片数3W8K1W文本框数23W4W13W三个数据集的信息如表1.1所示，LSVT2019中的文本集中是自然场景文本，数据集源于百度真实应用场景以街景文本为主[60]；RCTW2017则更加复杂，包括街景、海报、牌匾、室内场景等，该文本集中主要以生活场景文本为主[47]；MTWI数据集来源于阿里云天池杯网络图像的文本识别调整赛，由合成图像、产品描述、网络广告等组成，该文本集主要以产品广告类为主[61]。通过在这三种风格各不相同的数据集上进行对比实验，用于验证本章识别网络的有效性。针对方向识别网络实验部分，生成了8W初始文本数据，每一方向类别1W，用于训练方向识别网络。并在RCTW2017数据集中，根据宽高比挑选横向和竖向文本，之后随即旋转不同角度，组成一个包含2W张图片的测试集。通过表1.2展示的消融实验，可以看出选择亮度对比度模糊度调节+TIA+随机裁剪+颜色分量扰动的数据增强方法，可以使得在验证集上的精度达到最高，方向识别的准确度可达到0.9622。因此选取该方法训练的模型作为后文系统的设计组成部分。表1.2文本方向识别网络关于数据增强的消融实验Table.1.2Textdirectionrecognitionnetworkablationexperimentondataenhancement数据增强准确率无0.9114基础（亮度对比度模糊度调节）0.9232基础+正负15度旋转0.9347基础+TIA[62]0.9566基础+正负15度旋转+TIA0.9488基础+TIA+随机噪声0.9529基础+TIA+随机裁剪0.9615基础+TIA+颜色分量扰动0.9588基础+TIA+随机裁剪+颜色分量扰动0.9622针对文本识别网络部分，选取了上文提到的三个数据集分别作挑选85%用作原始训练集并与初始生成文本一同送入网络进行训练，剩余的15%用作验证集。消融实验对比结果如下。表1.3LSVT2019消融实验Table.1.3LSVT2019ablationexperiment训练数据准确率（%）召回率（%）F1分数原始训练集0.75190.73230.7420原始训练集+初始生成文本（30W）0.74950.74410.7468原始训练集+初始生成文本（30W）+文本加工数据（30W）0.82870.83550.8321表1.4RCTWI2017消融实验Table.1.4RCTWI2017ablationexperiment训练数据准确率（%）召回率（%）F1分数原始训练集0.75170.73560.7436原始训练集+初始生成文本（30W）0.83330.82420.8287原始训练集+初始生成文本（30W）+文本加工数据（30W）0.86840.86870.8686表1.5MTWI2018消融实验Table.1.5MTWI2018ablationexperiment训练数据准确率（%）召回率（%）F1分数原始训练集0.81550.68870.7468原始训练集+初始生成文本（30W）0.88240.74330.8069原始训练集+初始生成文本（30W）+文本加工数据（30W）0.87520.81250.8427通过表1.3~1.5展示的消融实验对比，可以发现，一般情况下当加入初始文本数据后，文本识别模型的准确率和召回率都有所提升，但提升效果在有些数据集不明显，甚至在LSVT2019数据集中准确率还略微有所下降，主要因为初始生成的数据与真实场景文本在纹理背景字体风格方面都存在着差异，因此对于自然场景中特定场景下的文本识别任务训练并没有完全起到积极作用。而通过本章提出的文本数据加工与文本识别网络结合方式来训练出来的识别模型，可以让初始文本不断学习真实场景的文本特征并生成更加符合真实场景的加工文本数据，且在训练过程中不断的送入网络学习，从实验结果表明加入加工文本数据后，相比与只用原始数据集进行训练模型精度显著提高,错误识别与漏识别的文本数量降低。针对知识蒸馏部分选取了数据量最小的RCTW2017进行了知识蒸馏对比实验。实验方法均为原始训练集+初始文本数据（30W）+加工文本数据，训练50个epochs。表1.6RCTW2017知识蒸馏实验Table.1.6RCTW2017knowledgedistillationexperimentResNet-50ResNet-101准确率召回率准确率