CN113627163B 一种注意力模型、特征提取方法及相关装置 （华为技术有限公司）

本申请实施例公开了一种注意力模型以及第一神经网络层与所述自注意力模块以及所述第一神经网络层用于执行特征变换。基于本方案，能够增加注意力模型所提取的特征的多样2将所述待处理数据输入一个或多个串行连接的自注意力网络，所述第一神经网络层与所述自注意力模块并行连接，且所述第二神经所述第二神经网络层与所述自注意力模块并行连接，且所述第一神经3.根据权利要求1或2所述的方法，其特征在于对所述输入特征与所述权重矩阵的相乘结果5.根据权利要求1或2所述的方法，其特征在于将所述待处理图像输入至图像处理模型中，以通过所述图像处理模3将所述待处理文本输入至自然语言处理模型中，以通过所述自然语所述处理单元，用于将所述待处理数据输入一个或多个所述第一神经网络层与所述自注意力模块并行连接，且所述第二神经所述第二神经网络层与所述自注意力模块并行连接，且所述第一神经4所述处理单元，用于将所述待处理图像输入至图像处理模型中，以通过所述处理单元，用于将所述待处理文本输入至自然语言处理模型中，层与所述自注意力模块并行连接，或者所述第一神经网络层与所述多层感知机并行连接，5[0002]人工智能(artificialintelligence，AI)是利用数字计算机或者数字计算加深而导致特征变得无法区分的现象通常称为特征坍塌入序列的不同位置关联起来以计算同一序列第一全连接层。具体地，所述多层感知机也可以称为全连接神经网络(FullyConnected[0010]所述第一神经网络层与所述自注意力模块以及所述多层感知机中的一个或多个6换后的特征与自注意力模块和/或多层感知机的输出特征相加，以增加自注意力网络中间[0016]在一种可能的实现方式中，所述多个并行的特征提取层分别包括不同的权重矩[0018]在一种可能的实现方式中，所述自注意力模块和/或所述多层感知机还并行有捷7[0025]在一种可能的实现方式中，所述多个并行的特征提取层分别包括不同的权重矩[0027]在一种可能的实现方式中，所述自注意力模块和/或所述多层感知机还并行有捷[0028]在一种可能的实现方式中，所述方法应用于计算机视觉任务或自然语言处理任[0030]在一种可能的实现方式中，所述根据所述图像特征对所[0032]在一种可能的实现方式中，所述根据所述文本特征对所8[0041]在一种可能的实现方式中，所述自注意力模块和/或所述多层感知机还并行有捷9提供给基础平台提供的分布式计算系统中的智能芯片[0073]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、神经网络模型可以用于进行模型推理，具体可以将输入数据输入到目标神经网络模型中，施例涉及的相关术语及神经网络等相关概念像或者卷积特征平面(featuremap)做卷积。卷积层是指卷积神经网络中对输入信号进行[0092]其中，卷积层/池化层120以及神经网络层130组成的结构可以为本申请中所描述[0093]卷积层/池化层120。卷积层：如图2所示卷积层/池化层120可以包括如示例121-重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth取到的多个维度相同的特征图合并形成卷积运算的的权重值形成的各个权重矩阵可以从输入图像中提取信息，从而帮助卷积神经网络100进个卷积神经网络100的前向传播(如图2由110至140的传播为前向传播)完成，反向传播(如少卷积神经网络100的损失及卷积神经网络100通过输出层输出的结果和理想结果之间的[0100]需要说明的是，如图2所示的卷积神经网络100仅作为一层仅仅是对输入向量经过如此简单的操作得到输出向量由于DNN层数多，间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过眼睛聚焦的只有整幅画中的一部分图案，这个时候人类的大脑主要关注在这一小块图案键的作用。[0121]在执行设备120对输入数据进行预处理，或者在执行设备120的计算模块111执行计算等相关的处理(比如进行本申请中神经网络的功能实现)过程中，执行设备120可以调练数据生成相应的目标模型/规则(例如本实施例中的目标神经网络模型)，该相应的目标现实(virtualreality，VR)(industrialcontrol)中的无线电子设备、无人驾驶(selfdriving)中的无线电子设备、下将介绍本申请实施例提供的注意力模型以[0129]本申请实施例所提供的注意力模型以及特征提取特征提取方法可以应用于计算语言处理研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。一般分割(SemanticSegmentation)以及图像生成(ImageGenerati值最大的类别作为图像数据的预测类别。图像识别是最早成功应用深度学习的任务之一，[0133]目标检测是指通过算法自动检测出图像中常见物体的大致位置，通常用边界框[0139]所述多层感知机(MultilayerPerceptron，MLP)与所述[0140]所述第一神经网络层与所述自注意力模块以及所述多层感知机中的一个或多个理数据则为前一个自注意力网络所输出的特征征与自注意力模块的输出特征相加，以增加自注意力网络中间层所输出的特征的多样性，层感知机的输出和第一神经网络层的输出执行相加操作后，得到自注意力网络的输出数所述第一神经网络层并行于自注意力模块以及所述层感知机的输出和第一神经网络层的输出执行相加操作后，得到自注意力网络的输出数自注意力模块的输出和第一神经网络层的输出相加后所得到的结果作为多层感知机和第的自注意力模块和/或所述多层感知机还并行有捷径，所述捷径的输入特征与输出特征相之后所得到的输出实际上还是一个矩阵相乘[0170]示例性地，激活函数例如可以为Sigmoid函数、Tanh函数或ReLU函数等非线性函意力模块处理得到的特征；Ti(Z;O)表示与自注意力模块并行的第i个神经网络层，与自注意力模块并行的神经网络层共有T个，第一神经网络层为与自注意力模块并行的其中[0183]对于权重矩阵中的任意一个子矩阵Cij，子矩阵Cij可以通过循环一个向量中的元详细结构本申请实施例提供的自注意力模块对特[0197]在一个可能的实施例中，所述自注意力模块包括多个并行的特征提取层和融合过softmax激活函数对特征值score进行处理，得到特征值softmax。融合层再对特征值于具体的试验来说明本申请实施例所提供的注意力[0203]在本申请实施例中，基于现有的网络模型以及本申请实注意力模型的图像处理模型能够在计算量和参数量基本不变的情况下，实现更高的准确[0210]在一种可能的实现方式中，所述多个并行的特征提取层分别包括不同的权重矩[0212]在一种可能的实现方式中，所述自注意力模块和/或所述多层感知机还并行有捷[0213]在一种可能的实现方式中，所述方法应用于计算机视觉任务或自然语言处理任[0215]在一种可能的实现方式中，所述根据所述图像特征对所[0217]在一种可能的实现方式中，所述根据所述文本特征对所所述待处理数据输入一个或多个串行连接的自注意力网络，得到所述待处理数据的特征；[0225]在一种可能的实现方式中，所述自注意力模块和/或所述多层感知机还并行有捷数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non-volatilerandom[0233]上述本申请实施例揭示的方法可以应用于处理器1003中，或者由处理器1003实理器或微控制器，还可进一步包括专用集成电路(applicationspecificintegrated只读存储器(read-onlymemory，ROM)或可存储静态信息和指令的其他类型的静态存储设片可以表现为神经网络处理器NPU1100，NPU110矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器存储器获取指令，还用于存储单元访问控制器1105从外部存储器获取输入矩阵A或者权重[0244]DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1106或将权重数据搬运到权重存储器1102中或将输入数据数据搬运到输入存[0246]在一些实现中，向量计算单元1107能将经处理的输出的向量存储到统一存储器