CN114565751B Ocr识别模型训练方法、ocr识别方法及相关装置 （慧择(成都)网络科技有限公司）

将无标注数据的第一图像样本切分为多个第一征识别模型中的编码器和第二解码器构建任务像样本包含的词片序列对任务处理模型进行训练，得到OCR识别模型。本申请无需大量标注数2将无标注数据的第一图像样本切分为多个第一图像采用所述多个第二图像块和所述第二图像样本包含的词片序列对所述任务处理模型所述利用所述遮挡图像块和所述未遮挡图像块，以重构所述第一图2.根据权利要求1所述的OCR识别模型训练方法，3.根据权利要求1所述的OCR识别模型训练方法图像块和所述第二图像样本包含的词片序列对任务处理模型进行训练，得到的模型作为将所述多个第二图像块输入到所述任务处理模型中，得到所述多基于所述多个第二图像块对应的OCR识别结果和所述第二图像样本包含的词片序列对将所述原始样本和所述处理后的原始样本作为3将所述多个待识别图像块输入所述OCR识别模型中，以得到所述OCR识别模型输出的所述第一切分模块，用于将无标注数据的第一图像样本切分为多个第所述第一训练模块，用于利用所述遮挡图像块和所述未遮挡图像块，以所述第二训练模块，用于采用所述多个第二图像块和所述第二图像样本所述第一训练模块，具体用于：将所述未遮挡图像块输入到所述所述识别模块，用于将所述多个待识别图像块输入所述OCR识别模型中，以得到所述4[0004]但是，标注数据需要耗费大量时间和资源，使得OCR识别模型的训练效率大大降[0011]采用多个第二图像块和第二图像样本包含的词片序列对[0014]将未遮挡图像块的视觉语义信息和遮挡图像块输入到初始特征识别模型包含的5[0018]将多个第二图像块输入到任务处理模型中，得到多个第二图像块对应的OCR识别[0019]基于多个第二图像块对应的OCR识别结果和第二图像样本包含的词片序列对任务[0027]将多个待识别图像块输入OCR识别模型中，以得到OCR识别模型输出的OCR识别结多个第一图像块中随机选取部分第一图像块进行遮挡，得到遮挡图像块和未遮挡图像块，设特征为目标，对预先构建的包含编码器和第一解码器的初始特征识别模型进行预训练，6块，最后采用多个第二图像块和第二图像样本包含的词片序列对任务处理模型进行训练，得到的模型作为OCR识别模型。本申请能够基于大量无标注数据的第一图像样本对预先构样本和第二图像样本包含的词片序列训练任务处理模型，即可得到具备更高识别能力的7[0063]本实施例可采用大量无标注数据的第一图像样本训练初始的特征识别模型，其中，对于每个第一图像样本，本步骤可将该第一图像样本切分为多个固定大小的图像块[0064]考虑到图像具有局部相似性和平移不变性，具有很多冗余信息(即图像的语义密合理的训练方法对初始特征识别模型进行训练，就可以使训练出的编码器(即预训练特征8由N个多头注意力层(Multi-HeadAttention)和前馈神经网络层(FeedForward)组成，这特征识别模型去拟合预设特征，使得特征识别模型能够学习到更好更多的高级语义信息，解码器由N个掩蔽多头注意力层(MaskedMulti-HeadAttention)、多头注意力层(Multi-HeadAttention)和前馈神经网络层(FeedForward)以基于第一图像样本快速、方便地计算出来，因此选择HOG特征作为本实施例中的预设特神经网络特征(即CNN特征)或者其他传统特征，例如，局部二值模式(LocalBinaryPattern，LBP)特征、Haar-like特征(即HAAR特征)、ORB(OrientedFastandRotated[0075]在构建完毕初始特征识别模型后，本步骤即可利用遮挡[0076]步骤S103、基于预训练特征识别模型中的编码器和第二解码器构建任务处理模[0079]上述第二解码器用于基于预训练特征识别模型中的编码9[0088]本申请提供的OCR识别模型训练方法，首先将无标注数据的第一图像样本切分为图像块和第二图像样本包含的词片序列对任务处理模型进行训练，得到的模型作为OCR识[0090]为了使本领域技术人员更加理解本申请实施例中初始的特征识别模型的训练过基于编码器Encoder和第一解码器Decoder-1构建得到，本步骤可将图2b所示的6个未遮挡[0096]仍参见图5所示，本步骤可将未遮挡图像块的视觉语义信息和遮挡图像块按预设[0098]仍参见图5所示，可将重构出的未遮挡图像块和遮挡图像块分别对应的预设特征构出的第一样本图像的预设特征和从第一样本图像提取的预设特征(即该提取的预设特征训练时通过调节遮挡部分的比例，并采用能够输出预设特征的第一解码器来帮助encoder提取精炼的视觉语义信息，从而使得训练出的预训练特征识别模型成为良好的特征提取[0101]为了使本领域技术人员更加理解本申请实施例中初始的OCR识别模型的训练过多个第二图像块对应的OCR识别结果即第二图像[0105]在本步骤中，第二解码器(参见图7所示的Decoder-2)可在OCR识别时替代语言模[0107]B2、基于多个第二图像块对应的OCR识别结果和第二图像样本包含的词片序列对并使用交叉熵损失函数来监督第二解码器的输出，在任务处理模型预测时，第二解码器从输入。[0110]本实施例基于少量有标注数据的第二图像样本和标注数据对任务处理模型进行训练，由于该任务处理模型基于已经训练好的预训练特征识别模型中的编码器构建得到，调预训练的OCR识别模型的参数并重新训练，即可很快地收敛到需要的模型，训练效率更[0126]具体参见图7示出的OCR识别模型的识别过程示意图，将多个待识别图像块输入基于OCR识别模型就能达到与当前主流OCR方法相当或更好[0128]本申请实施例还提供了一种OCR识别模型训练装置，下面对本申请实施例提供的OCR识别模型训练装置进行描述，下文描述的OCR识别模型训练装置与上文描述的OCR识别从多个第一图像块中随机选取部分第一图像块进行遮挡，得到遮挡图像块和未遮挡图像预设特征为目标，对预先构建的包含编码器和第一解码器的初始特征识别模型进行预训[0132]模型构建模块803，用于基于预训练特征识别模型中的编码器和第二解码器构建[0134]第二训练模块805，用于采用多个第二图像块和第二图像样本包含的词片序列对[0135]本申请提供的OCR识别模型训练装置，首先将无标注数据的第一图像样本切分为图像块和第二图像样本包含的词片序列对任务处理模型进行训练，得到的模型作为OCR识[0143]第二训练子模块，用于基于多个第二图像块对应的OCR识别结果和第二图像样本[0144]在一种可能的实现方式中，本申请实施例提供的OCR识别模型训练装置还可以包[0154]处理器1001可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application[0155]存储器1003可能包含高速RAM存储器，也可能还包括非易失性存储器(non-设特征为目标，对预先构建的包含编码器和第一解码器的初始特征识别模型进行预训练，[0159]采用多个第二图像块和第二图像样本包含的词片序列对[0163]处理器1101可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application[0164]存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储器(non-[0168]将多个待识别图像块输入OCR识别模型中，以得到OCR识别模型输出的OCR识别结[0174]对所公开的实施例的上述说明，使本领域专业技术