CN115131801B 基于多模态的文档识别方法、装置、设备和存储介质 （腾讯科技（深圳）有限公司）

本申请提供一种基于多模态的文档识别方得到文档识别结果。本申请显著提高识别准确2对所述待识别文档对应的文档图像进行图像分割处理，得到所述待分别对所述文本图像块和所述非文本图像块进行分词对所述文档图像进行所述非文本图像块和所述文本分词的图像特征提分别对所述文本分词的分词位置信息和所述分块位置信息述文本分词的分词位置特征和所述非文本图像块的分对所述多模态融合特征进行实体识别，得到所述待识别文档的文档档识别结果包括所述待识别文档对应的文本分词和非文本图像2.根据权利要求1所述的方法，其特征在于，所述对所述多模态融合特征进行实体识调用目标实体识别网络对所述多模态融合特征进行实体识别，得到所述文档识别结其中，所述目标实体识别网络是基于第一样本文档图像二样本文档图像对应的样本融合特征和文档类别标签对初始识别网络进行特征遮盖预测获取训练数据集和初始识别网络，所述训练数据集包括第二样对所述第二样本文档图像进行特征提取，得到所述第二样本文档图获取所述非文本图像块对应的元素块标识文本，所述元素块对所述文本图像块进行字符识别，得到所述文本图像块对应的文3分别对所述文本行和所述元素块标识文本进行分词处基于所述文本行的位置信息和所述分块位置信息，确定所述文本分词的分词位置信分别获取所述非文本图像块和所述文本分词在所述文档图像中对应的图像区域的特分别对所述非文本图像块对应的特征图和所述文本分词对应的特征图进行特征提取，本分词在所述文档图像中对应的图像区域的基于所述分词位置信息和所述分块位置信息，从所述文档特征图中确本分词在所述文档图像中对应的图像区域的分别获取所述文本分词和所述非文本图像块在所述文档图像对所述文本分词和所述非文本图像块对应的图像区域进行卷积处理，得基于所述分词位置信息和所述分块位置信息，分别进行所述分词特征的特征拼接处对所述待识别文档的文本拼接特征、图像拼接特征和位根据所述文档识别结果，从所述待识别文档对应的文本行中确对所述至少两种实体类别进行分词数统计，得到所述至少两种实将所述文本分词数最多的实体类别作为所述目标文本行的目标实体类4文档数据获取模块：用于获取待识别文档对应的文档图像分词特征提取模块：用于分别对所述文本图像块和所述位置特征映射模块：用于分别对所述文本分词的分词位置行特征映射处理，得到所述文本分词的分词位置特征和所述非文本图像块的分块位置特实体识别模块：用于对所述多模态融合特征进行实体调用目标实体识别网络对所述多模态融合特征进行实体识别，得到所述文档识别结其中，所述目标实体识别网络是基于第一样本文档图像二样本文档图像对应的样本融合特征和文档类别标签对初始识别网络进行特征遮盖预测训练数据获取模块：用于获取训练数据集和初始识别网样本特征提取模块：用于对所述第二样本文档图像进行特征提取，预训练模块：用于以所述目标样本特征作为所述初始识别网络标识文本获取子模块：用于获取所述非文本图像块对应的元块标识文本表征所述非文本图像块的文档元素5字符识别子模块：用于对所述文本图像块进行字符分词处理子模块：用于分别对所述文本行和所述元素块标识文本分词位置确定子模块：用于基于所述文本行的位置信息和分词特征嵌入子模块：用于对所述文本分词进行特征特征图获取子模块：用于分别获取所述非文本图像块和第一卷积处理单元：用于对所述文档图像进行卷积处理，特征图确定单元：用于基于所述分词位置信息和所述分第二卷积处理单元：用于对所述文本分词和所述非文本图特征拼接子模块：用于基于所述分词位置信息和所述分块位置特征融合子模块：用于对所述待识别文档的文本拼接特征、分词数统计模块：用于对所述至少两种实体类别进行分词数实体类别更新模块：用于基于所述目标实体类别，更新所述6载并执行以实现如权利要求1-9中任一项所述的基于多模算机指令被处理器执行时实现如权利要求1-9中任一项所述的基于多模态的文档识别方7知识或规则库等)构建知识库，进而通过匹配输入文本和知识库中对象的相似度来实现文述非文本图像块的第一图像特征和所述文本分词的第述文档识别结果包括所述待识别文档对应的文本分词和非文本图像块的实体类8的图像特征提取，得到所述非文本图像块的第一图像特征和所述文本分词的第二图像特[0021]另一方面提供了一种基于多模态的文档识别设备，所述设备包括处理器和存储述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的基于多模或所述至少一段程序由所述处理器加载并执行以实现如上述的基于多模态的文档识别方至少一段程序由所述处理器加载并执行以实现如上述的基于9[0040]图11是本申请实施例提供的基于多模态的文档识别方法的电子设备的硬件结构[0047]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0049]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0050]自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智本申请实施例提供的方案涉及人工智能的机器学习/深度学习和自然语言处理等技术，具这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接的AI框架和AI基础设施来部署和运维自已专属的云区块链系统，该区块链系统可以是由多个节点通过网络通信的形式连接形成的分布式系图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺或者并行执行(例如并行处理器或者多线程处理的环境)。本申请实施例可应用于各种场别文档中文本对象对应的至少一个文本图像块，非文本对象对应的至少一个非文本图像[0067]一些实施例中，可以通过预设图像指纹算法对非文本图[0068]另一些实施例中，可以预存各种文档元素类别的非文本图像块的元素块标识文可以根据文本行在所属文本图像块中的行数和所属文本图像块的位置信息确定文本行的分词器(tokenizer)对文本行或元素块标识文本进行分词处理和自然语言转换的文本向量息包括其左上顶点的坐标(x1+10,y1+10)和右下顶点的坐标(x2+10,y2+10)。[0081]S2071：分别获取非文本图像块和文本分词在文档图像中对应的图像区域的特征[0082]S2072：分别对非文本图像块对应的特征图和文本分词对应的特征图进行特征提[0095]具体的，基于每一文本分词的分词位置信息和每一非文本图像块的分块位置信第二样本文档图像对应的样本融合特征和文档类别标签对初始识别网络进行特征遮盖预括多种文档元素。第一样本文档图像和第二样本文档图像对应的样本融合特征的获取方[0102]一个实施例中，目标实体识别网络可以为NER网络，NER网络中采用变换器务和文档分类识别任务所采用的损失函数均为交[0113]实际应用中，采用搭载GPU芯片的硬件环境实现上述的预训练和实体识别训练，图9示出了一个实施例提供的文档识别方法的原理流程图。文档识别系统包括对象提取模[0126]分词特征提取模块30：用于分别对文本图像块和非文本图像块进行分词特征提本文档图像对应的样本融合特征和文档类别标签对初始识别网络进行特征遮盖预测和文标实体类别；指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的基于多器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中备800上执行存储介质820中的一系列指令操作。电子设备800还可以包括一个或一个以上[0165]输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(Radio至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的图得该计算机设备执行上述各种可选实现方式中[0173]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬