CN110689115A 神经网络模型处理方法、装置、计算机设备及存储介质 （上海寒武纪信息科技有限公司）

本申请实施例公开了一种神经网络处理方2根据所述神经网络模型对应的计算图中目标算子，确遍历所述拆分状态集合，确定相邻拆分状态集合之间根据所述目标拆分路径对所述目标算子进行拆分，以遍历所述目标算子的张量数据的所有拆分状态集合，对根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的输入遍历完所述目标算子的所有拆分状态集合后，获得所述分状态集合与所述目标算子的输出张量数据的拆分状态得所有以当前拆分状态为起点的有向边以及所述有向边的终点对应的拆分状态到所述目根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的输遍历完所述目标算子的所有拆分状态集合后，获得所述分状态集合与所述目标算子的输出张量数据的拆分状态在所述目标算子与关联的拆分状态集合之间利用包含所述胶水算子在内的计算图中的目标算子的目标拆分路径对插入的每个胶3在正向遍历阶段，当前算子的输出张量数据被至在反向遍历阶段，当前算子具有至少两个输入张量数据态集合中的拆分状态根据目标算子的运算逻辑和对应输出张量数据的拆分状态集合中的态集合中的拆分状态根据所述目标算子的运算逻辑和对应输入张量数据的拆分状态集合处理单元，用于根据所述目标拆分路径对所述目45额外硬件资源，即令每个处理器核分别同时执行不同数据在同一个神经网络模型上的计6所述程序指令当被处理器执行时使所述处理器执[0033]图6B是本申请实施例提供的一种通过胶水算子调整张量数据的拆分方式的示意7[0037]图6F是本申请实施例提供的另一种插入胶水算子后的神经网络模型的抽象示意[0045]具体来说，所谓数据并行是指把数据划分成若干块分别映像到[0048]在本申请实施例中，模型并行是数据并行之外的另一种神经网络并行计算8[0050]当前多核处理器采用的最普遍的结构是基于存储共享的多核结二者都是通过划分卷积算子相关联的张量数据来实现对计算负载的划分。从这个角度来[0059]以卷积神经网络框架Caffe(ConvolutionalArchitectureforFastFeature的卷积神经网络(Region-CNN，RCNN)、长短期记忆神经网络(LongShort-TermMemory,9导数信息；Layer用于执行计算，可以包括卷积(convolve)、池化(pool)、内积(inner[0063]具体实现中，每个Layer都定义了3种重要的运算，这3种运算为初始化设置列层组成的有向无环计算图，Caffe保留了计算图中所有的中间值以确保前向和反向迭代络映射的计算图结构所表达的深度学习任务具体化成可以在CPU或者人工智能处理器执行[0068]为了便于更好的理解本申请，下面具体阐述本申请所描述的技术方案的研究思未来对于不同的多核人工智能处理器都有一定的通用的单核激活函数完成每个子任务，而不需要修改或者重新实现一个多核版本的激活函数。单核处理器计算库进行修改，同时也能够实现神经网络模型在多核处理器上的并行执行。算子的输入和输出张量数据随着所述算子被拆分成子算子同样被拆分成相应的子张量数用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列[0079]通用处理器201还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的神经网络处理方法的各个步骤可以通过通用处理器201中的硬件的集成逻辑[0082]通信接口204使用例如但不限于收发器一类的收发装置，来实现计算机设备20与[0083]人工智能处理器205可以作为协处理器挂载到主CPU(HostCPU)上，由主CPU为其[0091]在计算机设备执行神经网络计算任务时，如果该神经网络计算任务具有多层运向无环图(DAG，Directedacycli化的维度之外的任意一个或几个维度上对softmax算子进行拆分，拆分后将得到若干个可多个不同算子各自对应的拆分方式确定为拆分个算子中的每个算子均支持的拆分方式的交集确定为拆分1-激活函数Relu-最大池化层1-卷积层2-激活函数Relu-最大池化层2-卷积层3-激活函数Relu-最大池化层3-卷积层4-激活函数-最大池化层4-卷积层5-激活函数-最大池化层5-全这多个算子中的每个算子均支持的拆分方式的交集确定为拆分状态集合等。在实际应用中，一个并行度不是2的整数次幂的任务往往会导致核的调度上产生“碎分的每一个子块的起止点都应该确实是其对应的输入数据在H/W维度上拆分的子块根据卷积算子的卷积核和位移步长计算出来的；卷积算子的输入数据在C维度上的拆分应该和权值数据在C维度上的拆分完全一致，输出数据在C维度上的拆分应该和权值数据在N维度上算子的输入状态，或者使用输入状态根据每个算子的具体逻辑来正向推出算子的输出状个算子的输入张量数据的拆分状态集合中的一种拆分状态向输出张量中的一种拆分状态[0128]在本申请实施例中，经所述拆分路径对应的拆分方式对算子的计算逻辑进行拆[0135]基于上述确定好的参数，计算机设备可以根据如下计算公式(1)来计算每种拆分只要其实现的功能以及达到的技术效果与本申请类似，那么均应当属于本申请的保护范[0143]根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的[0147]根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子理解，目标拆分路径的数量往往需要结合具体的神经网络模型(亦或是目标算子)来确定。[0151]在本申请实施例中，计算机设备可以结合Viterbi算法从图5H中获取目标优化路拆分状态集合中的状态看作是Viterbi算法中的隐含状态，将拆分状态集合之间的有向边5)确定神经网络模型中的输入张量数据的拆分状态集合中的拆分状态到当前算子的输出型的输入张量数据的拆分状态集合到神经网络模型的输出张量数据的拆分状态集合之间[0159]我们把一个包含n个算子的串行神经网络模型描述为一个算子序列(OP0，OP1，经网络模型中每个张量数据确定一个具体的拆分状态，从而可以确定所有算子的拆分方于拆分状态r的输出张量数据，具体的并行计算方式由输入张量数据和输出张量数据的状。[0162]由于整个网络的拆分方案P可以看作是由每个算子的输入张量的状态集合中的一执行该算子所适用的时间ti，因此ti可以看作是由算子的输入张量的状态指向输出张量的只有一种不拆分的保持整个数据块连续完整的状态，这使得神经网络模型的拆分方案P由模型中任一张量数据的任一状态s都有与之对应的由Sroot开始到s的拆分路径权重为ls。由该状态路径指向的下一拆分状态集合中的状态v对应的由Sroot开始到状态v的拆分路径的[0168]在计算机设备依据神经网络模型的有向边正向遍历完成所有拆分状态集合的访问后，可以获得整个神经网络模型的输入张量数据的不拆分状态sroot到神经网络模型的[0169]上述描述一条由不拆分状态sroot到不拆分状态send经过每个拆分状态集合中的拆分路径的权重中选出最小值作为整个神经网络模型的输入张量数据的拆分状态集合到神经网络模型的输出张量数据的拆分状态集合中的每个拆分状态的拆分路径的权重中选出最小值作为整个神经网络模型的输入张量数据的拆分状态集合到神经网络模型的输出张量数据的拆分状态集合之间的目标拆分路整拆分状态集合中的拆分状态，接下来具体介绍在本申请实施例中是如何引入胶水算子，度上进行拆分；而最后一些算子，往往是实现上非常复杂的算子，譬如NMS(Non-maximum[0185]具体来说，胶水算子(Transform)用于将张量数据由按照一种拆分方式得到的若干个子张量数据的状态调整为按照另一种方式拆分得到的若干个子张量数据。如图6B所[0186]在本申请实施例中，胶水算子的语义可以通过神经网络模型中的concat算子和/的维度拼接成一个张量。除了在指定维度外，输入张量的其他维度应该保持一致。通过子将所述第一拆分状态集合中的拆分状态更络中有算子OP按照某一拆分方式进行拆分，则其输入数据Tensor0和输出数据Tensor1分别分状态集合中的状态和输出张量的拆分状态集合中的状态之间的有向边表示该算子本身[0197]根据所述第一拆分状态集合和所述第三拆分状态集合生成所述第二拆分状态集[0199]在本申请实施例中，通过胶水算子来表示调整张量数据的拆间形成了全连接的网状结构。这使得任意一种输入张量数据的拆分状态可以在算子Op0前[0200]需要说明的是，图6E或图6F示出了算子与对应的输入张量数据之间插入胶水算水算子可以实现让神经网络模型对应的计算图中的每个算子可以灵活不受限地选择作用法中自带的拼接算子(Concat)和拆分算子(Split)实现，由于这两个算子每次只能处理一[0209]步骤S4010、在满足所述目标拆分路径中包含的同一胶水算子的输入张量数据的[0210]在本申请实施例中，计算机设备根据拆分路径的权重确定好目标拆分路径计算机设备判断目标拆分路径中包含的同一胶水算子的输入张量数据的状态和输出张量数据的状态相同表示在该位置使用胶水算子并没有对张量数据的拆分状态进行任何调整。的输入张量数据的状态和输出张量数据的状态相同的情况下，移除该胶水算子的实现方使得每个算子的拆分方式兼容了与其直接关联的张量数据的拆分方式，通过这一实现方状态相同的胶水算子，可以在调整拆分状态和引入的额外开销之间寻找一个最佳的平衡解决多分神经网络模型中不同分支拆分方式一致性的问题。位于分支交汇处的算子具有1个以上的输入张量数据，例如对位加法算子(Add)，对位乘法算子(Mult)，拼接算子分状态集合确定输出张量数据的拆分状态集合结束后，两个输入张量数据tensorleft，一起。无论哪种情况，当确定拆分方案P时，在算子A的两个输入张量数据tensorleft，子，回溯过程在tensorleft的拆分状态集合中选中的可能是一个仅在C维度上有拆分的状个拆分状态所表示的加法算子本身的拆分方式是不一致的，因此会导致整个拆分方案P无态集合中都只含有一个拆分状态，这确保回溯过程中在两状态集合中选择的状态的确定[0224]根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的[0228]在本申请实施例中，为了确保回溯过程中在两状态集合中选择以及对目标优化路径中输入张量数据的状态和输出张量数据的状态相同的胶水算子进行删除，可以得到对上述步骤S700-步骤S706描述的方法的变形，可以包括但不限于如下步[0237]根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的[0240]在本申请实施例中，为了确保回溯过程中在两状态集合中选择[0252]根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子[0256]在本申请实施例中，为了确保回溯过程中在两状态集合中选择以及对目标优化路径中输入张量数据的状态和输出张量数据的状态相同的胶水算子进行删除，可以得到对上述步骤S800-步骤S806描述的方法的变形，可以包括但不限于如下步[0264]根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子[0267]在本申请实施例中，为了确保回溯过程中在两状态集合中选择[0273]以自动驾驶应用为例，车辆在自动行驶过程中需要对车载传感器采集到的图像、芯片可以设置在云端服务器上，车辆可以通过3G/4G、WIFI等网络将车载传感器传来的图小批量外部信息的计算负载均衡地分配到多个处理核上。在车辆行驶规定的响应时间内，处理器结构芯片获取外部信息后调出对应的算子拆分路径来对神经网络模型中的算子进[0285]根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的[0289]根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子[0294]利用包含所述胶水算子在内的计算图中的目标算子的目标拆分路径对插入的每[0300]在正向遍历阶段，当前算子的输出张量数据被至少两个算子数据的拆分状态集合中的拆分状态根据所述算子的运算逻辑和对应输出张量数据的拆分数据的拆分状态集合中的拆分状态根据所述算子的运算逻辑和对应输入张量数据的拆分为上述图2所示的计算机设备所用的计算机软件指令，其包含用于执行上述方法实施例所可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形[0311]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一[0319]A2.根据A1所述的方法，所述[0321]根据所述有向边的权重和所述有向边对应的起始拆分状态到所述目标算子的输入张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子的[0323]A3.根据A1所述的方法，所[0325]根据所述有向边的权重和所述有向边的终点对应的拆分状态到所述目标算子的输出张量数据的拆分状态之间的拆分路径的权重确定所述当前拆分状态到所述目标算子[0329]A5.根据A4所述的方法，