CN114495119B 一种复杂场景下的实时不规则文本识别方法 （浙江大学）

US2021232847A1,2021.07.29一种复杂场景下的实时不规则文本识别方法本发明公开了一种复杂场景下的实时不规图像并输入骨干卷积神经网络中进行特征提取局部自注意力模块并行地进行局部文本特征聚2得多个切片局部文本特征并记录各个切片局部文本3)多个切片局部文本特征按照切片局部文本特征的序号分别对应的输入到多个局部4)将多个局部文本特征聚合向量同时输入全局自注意力首先，利用文字检测算法对包含文字的自然复杂场景图像进行述步骤2)中的骨干卷积神经网络主要由卷积降采样模块依次经6层的深度卷积模块、第一局部文本特征并记录各个切片局部文本特征所述切片局部文本特征由多个列向量在宽度维度上拼接而成，每个局后对局部文本查询向量和局部文本键向量进行矩阵点积后进行Softmax操作，获得局部注VVr3Q所述全局自注意力模块将多个局部文本特征聚合向量按照对应的切片局部文本特征out字符解码模块中首先对全局文本特征向量进行线性变本特征向量的特征维度等于文字类别数目，再对线性变换后的全局文本特征向量进行45[0002]光学字符识别(OpticalCharacterRecognition,OCR)是指将图像中的文字转化文本识别方法通过使用额外的矫正网络或者计算量很大的注意力机制来应对这些场景下当前的诸多算法很难同时满足速度和性能都达到工业应用的[0003]目前很多主流的基于分割文本检测算法可以将不规则文本切割出来配合基于矫[0008]2)将预处理后的文本块图像输入骨干卷积神经网络中进行特征提取与特征切片[0009]3)多个切片局部文本特征按照切片局部文本特征的序号分别对应的输入到多个6[0011]5)将全局文本特征向量输入字符解码模块中进行解码后，输出识别的文本字符[0014]所述步骤2)中的骨干卷积神经网络主要由卷积降采样模块依次经6层的深度卷积出多个切片局部文本特征并记录各个切片局部文本特征模块将输入的切片局部文本特征的最中间的列向量复制后线性变换得到局部文本查询向rr7[0024]所述全局自注意力模块将多个局部文本特征聚合向量按照对应的切片局部文本意力机制的权重分布矩阵和全局文本的值向量进行矩阵点积后，获得全局文本特征向量，qgk顾了局部区域的文字特征提取和全局序列的上下文语义提取，有效提升了模型的识别性8[0042]图7是图6中的两张预处理后的文本块图像在各个局部自注意力模块中的局部注[0043]图8是将图7的两个局部注意力机制的权重分布矩阵示意图经过转换和缩放到原的宽高比将调整高度后的原始文本块图像的宽度进行缩放，获得标准文本块图像x∈RH[0049]2)将预处理后的文本块图像输入骨干卷积神经网络中进行特征提取与特征切片觉特征图的宽度的两端均填充宽度和高度均为H′的零向量并记录各个切片局部文本特征的序号；[0052]3)多个切片局部文本特征按照切片局部文本特征的序号分别对应的输入到多个于骨干卷积神经网络输出的切片局部文本特征的个数，也等于视觉特征图中列向量的个9[0054]如图4所示，切片局部文本特征由多个列向量在宽度维度上拼接而成，本实施例V，veRH'W'X1XC,之后对局部文本查询向量和局部文本键向量进行矩阵点积后进行rrKK[0063]如图5所示，全局自注意力模块将多个局部文本特征聚合向量按照对应的切片局重分布矩阵，再对全局注意力机制的权重分布矩阵和全局文本的值向量进行矩阵点积后，gqgk[0070]5)将全局文本特征向量输入字符解码模块中进行解码后，输出识别的文本字符常用的5000个中英文字符以及一个终止字符EOS作为单独的文字类别，用以标记当前字符EOS，则进行切片并终止解码得到最终的文字识别序列。本发明不需要使用复杂自回归解[0074]本方法使用的训练和测试数据集分别来源于文字识别领域公开通用的合成数据其分别输入多个局部自注意力模块中得到对应的多个局[0077]将这些局部文本特征聚合向量在宽度维度上拼接后其特征分布可视化效果分别为图7的(a)和(b)，将该特征图转化和缩放到原图的尺寸并进行归一化和可视化分别可以[0079]将上述全局文本特征向量经过字符解码模块后的输出经过文字字典的映射得到