CN114372477B 文本识别模型的训练方法、文本识别方法及装置 （北京百度网讯科技有限公司）

本公开提供了一种文本识别模型的训练方2对获取到的样本图像的视觉特征进行掩码预测，得到预根据所述预测视觉特征确定所述样本图像的文本的第一根据所述第一损失值和所述第二损失值训练得到文本识别模型，所述预测视觉特征是基于所述第一上下文增强模块对所述样本图像的视觉特征进行所述预测语义特征是基于所述第二上下文增强模块对所述样本文本的语义特征进行所述文本识别模型是根据所述第一损失值和所述第二损根据与所述预测视觉特征对应的预测文本字根据与所述预测视觉特征对应的预测文本字符、以及所述样本图像的标注文本字符，根据与所述预测语义特征对应的预测文本字根据与所述预测语义特征对应的预测文本字符、以及所述样本文本的标注文本字符，37.根据权利要求1-6任一项所述的方法，在对获取到的样本文本的语义特征进行掩码基于预先训练的文本识别模型对所述待识别对象进行文的文本识别模型对所述待识别对象进行文本识别，得到与所述待识别对象对应的文本内采用所述文本识别模型，根据所述待识别图像的视觉特采用所述文本识别模型，根据所述待识别文本的语义特第一预测单元，用于对获取到的样本图像的第二预测单元，用于对获取到的样本文本的语所述预测视觉特征是基于所述第一上下文增强模块对所述样本图像的视觉特征进行4所述预测语义特征是基于所述第二上下文增强模块对所述样本文本的语义特征进行所述文本识别模型是根据所述第一损失值和所述第二损第一确定子单元，用于根据与所述预测视觉特征对应的预测第二解码子单元，用于对所述预测语义特征第二确定子单元，用于根据与所述预测语义特征对应的预测第二计算模块，用于根据与所述预测语义特征对识别单元，用于基于预先训练的文本识别模型5第一识别子单元，用于采用所述文本识别模第二识别子单元，用于采用所述文本识别模型所述存储器存储有可被所述至少一个处理器执行所述至少一个处理器能够执行权利要求8-67[0019]训练单元，用于根据所述第一损失值和所述第二损失值训练得[0022]识别单元，用于基于预先训练的文本识别模型对所述待识别[0031]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特89本识别的多样性和全面性。增强模块的结构可以为循环神经网络（RecurrentNeuralNetwork，RNN）结构或者络可以包括两个上下文增强模块，用于处理视觉特征的上下文增强模块可以为如图4中所示的第一上下文增强模块，用于处理语义特征的上下文增强模块可以为如图4中所示的第[0095]其中，可以在上下文增强模块中引入遮罩式特征预模型（MaskFeatureModelling以通过遮罩式特征预模型输入到特征预测输出的方式让上下文增强模块能够、直至表示样本图像的预测视觉特征，表示预测视觉特征对应的预测文本、直至表示样本文本的预测文本特征，表示预测文本特征对应的预测文本别模型即具有较强的视觉特征维度的推理能力，又具有较强的语义特征维度的推理能力，具也可以为显示装置，如文本识别装置可以在显示装置上输入载入待识别对象功能的界来说不带来额外的计算开销和成本。能够强化OCR识别产品在挑战性较高的业务场景下的视觉上下文能力，同时也共享了样本文本进行遮罩式文本字符/词预测强化语义上下文推识别图像的视觉特征，并将待识别图像的视觉特征输入至文本识别模型的上下文增强模至文本识别模型的图4中所示的文本嵌入模块，由文本嵌入模块对待识别文本进行文本映[0159]第二输入单元703，用于将获取到的样本文本输入至预设基础网络的文本嵌入模[0184]预测视觉特征是基于上下文增强模块对样本图像的视觉特征进行掩码预测得到[0188]文本识别模型是基于第一损失值和第二损失值对基础网络的参数进行调整得到[0191]预测语义特征是基于上下文增强模块对样本文本的语义特征进行掩码预测得到[0195]文本识别模型是基于第一损失值和第二损失值对基础网络的参数进行调整得到通过诸如因特网的计算机网络和/或各种电信网络与其他设备[0220]计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0222]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，