CN114821096B 一种图像处理方法、神经网络的训练方法以及相关设备 （华为技术有限公司）

息；将至少两组图像块的特征信息依次输入LIF信息。实现了通过LIF模块对单个的图像进行特征提取，进而能够实现将LIF模块应用于执行主2将待处理图像输入第一神经网络，通过所述第一神经网络对所述获取所述待处理图像所对应的第一特征信息，所述待处理将至少两组所述图像块的特征信息依次输入泄露-累积-激发LIF模块，得根据所述目标数据，获取所述待处理图像所对应的第二特征将至少两组所述图像块的特征信息依次输入所述LIF模块，当满足所通过第二神经网络对所述待处理图像的特征信息进行特征处理将待处理图像输入第一神经网络，通过所述第一神经网络对所述根据所述待处理图像所对应的预测结果和正确结果，利用获取所述待处理图像所对应的第一特征信息，所述待处理将至少两组所述图像块的特征信息依次输入泄露-累积-激发LIF模块，得根据所述目标数据，获取所述待处理图像所对应的第二特征将至少两组所述图像块的特征信息依次输入所述LIF模块，当满足所3特征提取单元，用于通过所述第一神经网络对所述待处理图获取子单元，用于获取所述待处理图像所对应的第一特征信生成子单元，用于将至少两组所述图像块的特征信息依次输入泄露-累积-激发LIF模所述获取子单元，用于根据所述目标数据，获取所述待处理图像特征处理单元，用于通过第二神经网络对所述待处理图像的特征信息进行特征处理，特征提取单元，用于将待处理图像输入第一神经网络，特征处理单元，用于通过第二神经网络对所述待处理图像的特征信息进行特征处理，训练单元，用于根据所述待处理图像所对应的预测结获取子单元，用于获取所述待处理图像所对应的第一特征信生成子单元，用于将至少两组所述图像块的特征信息依次输入泄露-累积-激发LIF模所述获取子单元，还用于根据所述目标数据，获取所述待处理图像4所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行所述处理器，用于执行所述存储器中的程序，使得所述训练设备执行如5[0002]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控征信息也是待处理图像的特征信息；执行设备将至少两组图像块的特征信息依次输入LIF6列图像块的特征信息，每列图像块的特征信息包括位于同一列的多个图像块的特征信息，和残差Transformer神经网络可以应用于不同的应用场景中，大大扩展了本方案的应用场7的含义以及所带来的有益效果，均可以参阅第一方面以及第一方面的各个可能实现方式，8[0038]图5为本申请实施例提供的图像处理方法中多个图像块的特征信息的一种示意[0039]图6为本申请实施例提供的图像处理方法中第一神经网络中的LIF单元的一个示[0040]图7为本申请实施例提供的图像处理方法中一组图像块的特征信息的一种示意[0041]图8为本申请实施例提供的图像处理方法中一组图像块的特征信息的一种示意[0042]图9为本申请实施例提供的图像处理方法中将至少两组图像块的特征信息依次输9[0043]图10为本申请实施例提供的图像处理方法中将至少两组图像块的特征信息依次采用中央处理器(centralprocessingunit，CPU)、嵌入式神经网络处理器(neural-成电路(applicationspecificintegratedcircuit，ASIC)或现场可编程门阵列(field[0056]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、[0072]需要说明的是，本申请实施例提供的图形处理方法还可以应用于其他应用场景需要先对输入的图像进行特征提取，为了能够将LIF模块应用于单个图像的特征提取过程利用训练数据集合对第一模型/规则201进行迭代训练，得到训练后的第一模型/规则201，行设备230和客户设备可以为分别独立的设备，执行设备230配置有输入/输出(I/O)接口，得到LIF模块生成的目标数据，一组图像块的特征信息包括至少一个图像块的特征信息；卷积神经网络(convolutionalneuralnetwork，CNN)、采用自注意力机制(self-图4为本申请实施例提供的图像处理方法中第一神经网络的一种结构示意图，如图4所示，第一神经网络可以包括分割单元和LIF单元，可选地，第一神经网络还可以包括通道混合(channelmixing)单元和上具体实现过程将会通过如下步骤302至30[0088]第一神经网络中的通道混合单元也用于对图像块的特征信息进行更新。上采样(up-sampling)单元和下采样(down-sampling)单元均用于改变待处理图像的特征信息的[0091]本申请实施例中，执行设备在通过LIF模块对多个图像块的初始的特征信息进行[0095]本申请实施例中，执行设备在获取到待处理图像包括的多个图像块的特征信息特征信息分为至少两组图像块的特征信息，将至少两组图像块的特征信息依次输入LIF模[0096]具体的，执行设备可以将至少两组图像块的特征信息依次输入LIF模块，当满足特征信息和在垂直这个维度上的多个图像块图5中以待处理的特征信息包括16个图像块的特征信息为例，一个图像块的特征信息可以[0101]如图5所示，待处理图像的特征信息可以包括在水平这个方向维度上的多个图像将多个图像块的特征信息划分为至少两组图[0103]针对将至少两组图像块的特征信息依次输入LIF模块的过程。在第一神经网络的6为本申请实施例提供的图像处理方法中第一神经网络中的LIF单元的一个示意图，图6中神经网络层指的是由至少一个部分连接的神经元组成的神经网络层，Transformer神经网[0105]垂直LIF模块获取的每组图像块的特征信息包括至少一行图像块的特征信息，为[0106]水平LIF模块获取的每组图像块的特征信息包括至少一列图像块的特征信息，也即在水平方向上对多个图像块的特征信息进行分组，将得到的至少两组依次输入水平LIF[0107]需要说明的是，第一神经网络中的一个LIF单元可以包括更多或更少的神经网络个图像块的特征信息进行分组，将得到的至少两组图像块的特征信息依次输入垂直LIF模[0109]执行设备每次向垂直LIF模块输入至少一行图像块的特征信息(也即一组图像块[0111]u⃞r=ruf(1-o")+恐r:(1)表当前轮次(也即第t+1轮次)输入LIF上一轮次(也即第t轮次)LIF模块的膜电位，代表当前轮次LIF模块的膜电位。当满足行设备可以将第一行图像的特征信息(也即C2代表的一组图像块的特征信息)输入垂直LIF(也即C4代表的一组图像块的特征信息)输入垂直LIF模块中，从而实现了将四组图像块的分别通过M个并行的垂直LIF模块对输入的数据个图像块的特征信息进列分组，将得到的至少两组图像块的特征信息依次输入水平LIF模[0120]执列设备每次向水平LIF模块输入至少一列图像块的特征信息(也即一组图像块法中将至少两组图像块的特征信息依次输入LIF模块的一种示意图，图10中以一组图像块像块的特征信息)输入水平LIF模块，并将第三列图像块的特征信息(也即F1代表的一组图像块的特征信息)输入水平LIF模块，也即在一个轮次中将2组组图像块的特征信息分别输[0124]在第二轮次中，执行设备将第二列图像块的特征信息(也即E2代表的一组图像块的特征信息)输入水平LIF模块，并将第四列图像块的特征信息(也即F2代表的一组图像块的特征信息)输入水平LIF模块，从而实现了将四组图像块的特征信息输入2个并列的水平将垂直LIF模块或水平LIF模块输出的多个目标数据确定为待处理图像所对应的第二特征[0129]若第一神经网络同时包括垂直LIF模块和水平LIF模块，则执行设备可以将垂直若第一神经网络具体表现为卷积神经网络，则上述其他神经网络层可以为卷积神经网络层；若第一神经网络具体表现为Transformer神经网络，则上述其他神经网络层可以为Transformer神经网络可以应用于不同的应用场景中，大大扩展了本方案的应用场景以及[0132]需要说明的是，上述步骤302至304所描述的步骤是第一神经网络中的一个LIF单[0135]本申请实施例中，执行设备在通过第一神经网络生成待处理图像的特征信息之[0136]待处理图像所对应的预测结果的具体含义取决于目标神经网络所执行的任务的[0148]步骤1101至1105的具体实现方式，可以参阅图3对应实施例中步骤301至305中的81.081.883.383.5[0158]接下来以目标神经网络对图像进行目标检测为例，得到的实验结果通过如下表246.047.645.749.0[0168]请参阅图13，图13为本申请实施例提供的神经网络的训练装置的一种结构示意括图像块的更新后的特征信息，第一特征信息和第二特征信息均为待处理图像的特征信数据。存储器1404的一部分还可以包括非易失性随机存取存储器(non-volatilerandom[0175]上述本申请实施例揭示的方法可以应用于处理器1403中，或者由处理器1403实理器或微控制器，还可进一步包括专用集成电路(applicationspecificintegrated[0178]将待处理图像输入第一神经网络，通过第一神经网络对待处理图像进行特征提两组图像块的特征信息依次输入泄露-累积-激发LIF模块，得到LIF模块生成的目标数据，至图10对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图3至图10对[0184]将待处理图像输入第一神经网络，通过第一神经网络对待处理图像进行特征提计算机执行如前述图11所示实施例描述的方法中训矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器存储器获取指令，还用于存储单元访问控制器1605从外部存储器获取输入矩阵A或者权重[0196]DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1606或将权重数据搬运到权重存储器1602中或将输入数据数据搬运到输入存[0198]在一些实现中，向量计算单元1607能将经处理的输出的向量存储到统一存储器[0201]其中，图3至图11所示的第一神经网络和第二神经网络中各层的运算可以由运算一个或多个用于控制上述第一方面方法的程序执