CN114821255B 多模态特征的融合方法、装置、设备、介质和产品 （北京百度网讯科技有限公司）

像特征进行编码，得到至少一个区域的图像向2将所述图像按照预设规则划分为多个区域，并提取所述多个区域中将所述文本向量、所述至少一个区域的图像向量和所述位置向量对所述至少一个区域的图像特征进行池化处理，得到所述至少一个区对所述至少一个区域的初始图像向量分别进行线根据至少一个区域的位置关系，确定所述至少一个区域对应初始基于至少一个区域线性变换后的初始图像向量、一维位置编基于表征所述序列语义信息的词嵌入，所述序列的一维位置编码，对所述二维位置特征表征的文本框的第一坐标和第二坐标，以及所述将编码后所述第一坐标中的x坐标和所述第二坐标中的x坐标，将编码后所述第一坐标中的y坐标和所述第二坐标中的y坐标，将所述x轴方向的位置向量和所述y轴方向的位置向量，作为所述文3将所述文本向量和所述至少一个区域的图像向在所述第一个编码器中基于所述输入向量中各文本向量以及图像向量之间的相似度，基于所述相似度注意力分数，和所述各文本向量对应的位置向量以将所述第一个编码器的输出作为第二个编码器的输入，直到通过所有编码划分并提取单元，用于将所述图像按照预设规融合单元，用于将所述文本向量、所述至少一个区域的图对所述至少一个区域的图像特征进行池化处理，得到所述至少一个区对所述至少一个区域的初始图像向量分别进行线根据至少一个区域的位置关系，确定所述至少一个区域对应初始基于至少一个区域线性变换后的初始图像向量、一维位置编基于表征所述序列语义信息的词嵌入，所述序列的一维位置编码，4对所述二维位置特征表征的文本框的第一坐标和第二坐标，以及所述将编码后所述第一坐标中的x坐标和所述第二坐标中的x坐标，将编码后所述第一坐标中的y坐标和所述第二坐标中的y坐标，将所述x轴方向的位置向量和所述y轴方向的位置向量，作为所述文将所述文本向量和所述至少一个区域的图像向在所述第一个编码器中基于所述输入向量中各文本向量以及图像向量之间的相似度，基于所述相似度注意力分数，和所述各文本向量对应的位置向量以将所述第一个编码器的输出作为第二个编码器的输入，直到通过所有编码所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被5[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特6进行编码后输入到BERT(BidirectionalEncoderRepresentationfromTransformers)78个区域的图像特征进行编码后融合，相比于将图像作为一个整体提取到的图像特征而言，[0043]使用OCR技术识别图像中的文本后，在本公开中可以采用已有的分词法(例如嵌入(SegmentEmbedding)。因此单个文本[0049]t＝TokenEm[0051]本公开通过对文本进行分词得到多个序列，根据表征各通过卷积神经网络的池化操作，将各个区域的图像特征转化为固定尺寸的初始图像向量。9[0057]本公开为了让图像向量与文本向量的长度一致，增加一个投影层(Project[0063]v＝Proj(VisEmb本框的高度和文本框的宽度。其中第一坐标和第二坐标分别为文本框对角线位置处的坐[0071]本公开采用二维的PositionEmbedding编码第一坐标和第二坐标中的x坐标和y[0082]在Bert模型中包括多个编码器。例如Bert模型中可以包括多个依次连接的编码[0083]图6是根据本公开实施例提供的方法得到融合后的目标向量的流程图；如图6所[0093]上式中Queryi是第i个Token的Query向量，keyj是第j个Token的Key向量，[0099]本公开为不同位置信息的Token，分配不同的注意力，为了区分相似度注意力分i个Token的空间注意力分数，W是第i个和i个Token和第j个Token之间在y轴方向上的空间距离，计算方式为第i个文本向量的y坐标[0108]本公开将第一个编码器的输出经过一个ProjectLayer做线性变换后，使其维度[0110]假设Bert模型共有12层叠加的编码器(AttentionEncoder)。将第一个编码器的[0111]本公开根据各文本向量对应的二维位置向量以及图像向[0112]本公开提供的多模态特征融合方法能够用于在目标向量中提取实体及实体关系取任务需要涉及两个步骤，第一步是先进行命名体识别(NamedEntityRecognition，[0115]针对NER和RE，算法分别学习出不同的序列表示(SequenceRepresentations)和于小明来自北京这个句子可以填充得到图7[0119]可以理解的是，本公开实施例提供的多模态特征的融合其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实[0133]如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信[0135]计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0137]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，