CN110674936A 一种神经网络处理方法、装置、计算机设备及存储介质 （上海寒武纪信息科技有限公司）

本发明实施例公开了一种神经网络处理方22.根据权利要求1所述的方法，其特征在于，所述获取神经网络模型对应的计算图之根据所述计算图中目标算子对应的并行度、拆分维度第一确定单元，用于在拆分策略集合中确定所述神经网络计算任务的目标拆分策略；拆分单元，用于根据所述目标拆分策略对所述神经网络执行单元，用于将所述子计算任务分配到人工智能处理3所述第一确定子单元，用于分别确定所述拆第四确定单元，用于根据所述目标算子的运算操作类型确定所述目标算子的拆分方4额外硬件资源，即令每个处理器核分别同时执行不同数据在同一个神经网络模型上的计[0007]根据所述目标拆分策略对所述神经网络计算任务进行拆分，得到多个子计算任[0008]将所述子计算任务分配到人工智能处理器中的对应人工智能处理器核上进行处5所述程序指令当被处理器执行时使所述处理器执6[0038]具体来说，所谓数据并行是指把数据划分成若干块分别映像到[0041]在本申请实施例中，模型并行是数据并行之外的另一种神经网络并行计算[0043](3)多核处理器。当前多核处理器采用的最普遍的结构是基于存储共享的多核结7二者都是通过划分卷积算子相关联的张量数据来实现对计算负载的划分。从这个角度来8络映射的计算图结构所表达的深度学习任务具体化成可以在CPU或者人工智能处理器执行[0055]为了便于更好的理解本申请，下面具体阐述本申请所描述的技术方案的研究思9未来对于不同的多核人工智能处理器都有一定的通用性也是的单核激活函数完成每个子任务，而不需要修改或者重新实现一个多核版本的激活函数。单核处理器计算库进行修改，同时也能够实现神经网络模型在多核处理器上的并行执行。算子的输入和输出张量数据随着所述算子被拆分成子算子同样被拆分成相应的子张量数用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列[0066]通用处理器201还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的神经网络处理方法的各个步骤可以通过通用处理器201中的硬件的集成逻辑[0069]通信接口204使用例如但不限于收发器一类的收发装置，来实现计算机设备20与[0070]人工智能处理器205可以作为协处理器挂载到主CPU(HostCPU)上，由主CPU为其[0074]基于图2所示的计算机设备的结构示意图，下面结合图3A所示的本申请实施例提[0079]在计算机设备执行神经网络计算任务时，如果该神经网络计算任务具有多层运型(LongShortTermMemoryNetwork,LSTM)对应的神经网络计算任务可以为语音识别、所述拆分策略集合为所述计算图中目标算子对应户只需要在编译时期指定第一并行度，人工智能运行时库106会自动地将原始的神经网络例子，可以用模型并行技术将VGG16分类网络划分到多个核上，并行地处理同一张输入图特定延时限制下还需要追求高吞吐率的应用场景。并行度包括第一并行度和第二并行度。限于多核处理器架构的核数，在不超过核数上限的前提下，应该保证并行度为2的整数幂来考虑，输出数据也会进行同样的划分)，不妨表示为input0、input1、input2、、函数Relu-最大池化层2-卷积层3-激活函数Relu-最大池化层3-卷积层4-激活函数-最大池N,CN,C,H,WN,C,H,WN,C,H,W化的维度之外的任意一个或几个维度上对softmax算子进行拆分，拆分后将得到若干个可[0124]基于上述确定好的参数，计算机设备可以根据如下计算公式(1)来计算目标算子器上执行拆分策略对应的算子拆分方式下的所有子计算任务的时间来确定拆分策略权重。中的目标算子的计算任务拆分成更小的子计算任务分配到多个核上并行执行来充分利用[0137]进一步需要说明的是，虽然图3A的流程图中的各个步骤按照箭头的指示依次显[0141]第一确定单元602，用于在拆分策略集合中确定所述神经网络计算任务的目标拆[0143]执行单元606，用于在所述M个人工智能处理器核上分别调用所述多个子计算任[0149]在其中一种可能的实现方式中，所述第一确定单元602包括第一确定子单元和第为上述图2所示的计算机设备所用的计算机软件指令，其包含用于执行上述方法实施例所可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形[0162]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一[0168]根据所述目标拆分策略对所述神经网络计算任务进行拆分，得到多个子计算任[0169]将所述子计算任务分配到人工智能处理器中的对应人工智能处理器核上进行处[0173]A3.根据A2所述的方法，所述[0175]A4.根据A1所述的方法[0178]A5.根据A4所述的方法，所述权重[0182]A7.根据A2所述的方法，所述[0183]A8.根据A2所述的方法，所述目标[0194]B4.根据B1所述的装置，所述[0197]B5.根据B4所述的装置，所述权重