CN114821622B 文本抽取方法、文本抽取模型训练方法、装置及设备 （北京百度网讯科技有限公司）

US2014089302A1,2014.03.27模态特征包括从待检测图像中提取的一个检测2从所述待检测图像中提取多组多模态特征，其中，每组多模态基于所述视觉编码特征、待抽取属性以及所述多组多所述基于所述视觉编码特征、待抽取属性以及所述多组多将所述视觉编码特征、所述待抽取属性以及所述多组多将所述解码器输出的序列向量输入多层感知网络，得到将属于正确类别的第一文本信息作为与所述待抽取属性将所述待抽取属性以及所述多组多模态特征输入所述解将所述多个融合特征和所述视觉编码特征输入所述解将所述图像特征与预设位置编码特征相加后4.根据权利要求1或2所述的方法，其中，所述从所述待将所述待检测图像输入预设检测模型，得到利用所述多个检测框的位置信息对所述特征利用所述多个检测框的位置信息对所述待检测利用预设识别模型识别每个待检测子图中的文针对每一检测框，将所述检测框的位置信息、所述检测框中的检3获取所述检测子模型从所述样本图像中提取的多将所述视觉编码特征、待抽取属性以及所述多组多模态基于所述输出子模型输出的第二文本信息和所述样本图像中实际需要被抽取的文本所述输出子模型包括解码器和多层感知网络，所述将所将所述解码器输出的序列向量输入所述多层将属于正确类别的第一文本信息作为与所述待抽取属性将所述待抽取属性以及所述多组多模态特征输入所述自注意力层，得到多个融合特将所述多个融合特征和所述视觉编码特征输入所述编解码注将所述图像特征与预设位置编码特征相加后，输入所述8.根据权利要求5或6所述的方法，其中，所述检测将所述样本图像输入所述预设检测模型，得利用所述多个检测框的位置信息对所述特征利用所述多个检测框的位置信息对所述样本图利用所述预设识别模型识别每个样本子图中的4针对每一检测框，将所述检测框的位置信息、所述检测框中的检所述多组多模态特征包括的第一文本信息中，获取与所述待抽取属性匹配的第二文本信将所述视觉编码特征、所述待抽取属性以及所述多组多将所述解码器输出的序列向量输入多层感知网络，得到将属于正确类别的第一文本信息作为与所述待抽取属性将所述待抽取属性以及所述多组多模态特征输入所述解将所述多个融合特征和所述视觉编码特征输入所述解将所述图像特征与预设位置编码特征相加后将所述待检测图像输入预设检测模型，得到利用所述多个检测框的位置信息对所述特征利用所述多个检测框的位置信息对所述待检测利用预设识别模型识别每个待检测子图中的文针对每一检测框，将所述检测框的位置信息、所述检测框中的检5第二获取模块，用于获取所述检测子模型从所述样本图像中提取的多组多模态特征，文本抽取模块，用于将所述视觉编码特征、待抽取将所述解码器输出的序列向量输入所述多层将属于正确类别的第一文本信息作为与所述待抽取属性所述存储器存储有可被所述至少一个处理器执行的6[0011]将所述视觉编码特征、待抽取属性以及所述多组多模态特征输入所述输出子模[0012]基于所述输出子模型输出的与所述待抽取属性匹配的第二文本信息和所述样本7输入所述输出子模型，得到所述输出子模型输出的与所述待抽取属性匹配的第二文本信机程序在被处理器执行时实现上述第一方面或第二方[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特8[0040]图11是用来实现本公开实施例的文本抽取方法或文本抽取模型训练方法的电子9包括的第一文本信息是否与待抽取属性匹配，从而获取与待抽取属性匹配的第二文本信[0067]其中，骨干网络(Backbone)可以是卷积神经网络(ConvolutionalNeural骨干网络也可以是基于Transformer的神经架构中的编码块(TransformerBlock)，后续三层特征提取层均包括标记融合(Token可以进行图像分块和嵌入位置信息的操作，其余层的TokenMerging模块主要起到下层采到视觉特征。然后将视觉特征输入一个Transformer编码器或其他类型编码器中进行编码[0073]如果使用Transformer编码器进行编码操作，则可以先将视觉特征转换为一维向[0074]需要说明的是，上述S1011-S1012可通过预先训练的文本抽取模型包括的视觉编[0085]其中，预设识别模型可以为相关技术中的任一文本识别模型，比如可以为OCR模测特征以及该检测框中的第一文本信息分别进行嵌入(embedding)操作，转换为特征向量[0088]需要说明的是，上述S1021-S1025可通过预先训练的文本抽取模型包括的检测子[0094]在本公开实施例中，多模态特征可以作为Transformer网络中的多模态络同时理解keyquery和多模态特征中第一文本信息(value)，从而理解key-value之间的多模态特征中包括的第一文本信息的之间的关联，同时Transformer解码器的注意力机制网络。MLP网络具体可以输出每组多模态queries的类别，即若MLP输出的一组多模态多模态queries包括的第一文本信息不是[0103]需要说明的是，上述S1031-S1033可通过预先训练的文本抽取模型包括的输出子以基于与待抽取属性匹配的第二文本信息和样本图像中实际需要被抽取的文本信息计算[0118]在本公开另一实施例中，上述视觉编码子模型包括骨干网络和编码器，如图6所[0122]本步骤中对样本图像的图像特征的处理与上述S1012中对待检测图像的图像特征[0123]采用该方法，可以通过视觉编码子模型的骨干网络获取待检测[0130]上述步骤1至步骤5中从样本图像中提取多组多模态特征的方法，与上述图3对应[0132]在本公开另一实施例中，输出子模型包括解码器和多层感知网络，如图7所示，多个融合特征和视觉编码特征输入编解码注意力层，得到编解码注意力层输出的序列向多模态特征中包括的第一文本信息的之间的关联，同时Transformer解码器的注意力机制[0141]以下结合图8所示的文本抽取模型对本公开实施例提供的文本抽取方法进行描述，以待检测图像为火车票为例，如图8所示，可以从待检测图像中提取多组多模态特征queries，多模态特征包括检测框的位置信息Bbox(x，y，w，h)、检测特征(Detection[0143]将待检测图像(Image)输入骨干网络(Backbone)中提取图像特征，将图像特征进行位置嵌入(Positionembed[0145]将视觉编码特征、多模态特征queries和待抽取属性(KeyQuery)输入到[0146]将序列向量输入MLP中得到每一多模态特征中包含的第一文本信息的类别，类别码器自注意力层，将每组多模态特征Queries分别与待抽取属性进行融合，即利用[0158]将待抽取属性以及多组多模态特征输入解码器的自注意力层，得到多个融合特[0171]第二获取模块1002，用于获取检测子模型从样本图像中提取的[0185]将样本图像输入预设检测模型，得到样本图像的特征图和多个检测框的位置信[0187]利用多个检测框的位置信息对样本图像进行剪切，得到每个检测框中的样本子[0192]如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备[0194]计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算或文本抽取模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0196]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在[0199]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务