CN110490309A 一种用于神经网络的算子融合方法及其相关产品 （北京中科寒武纪科技有限公司）

一种用于神经网络的算子融合方法及其相本公开涉及一种可用于神经网络的算子融所述输出块对应的所述当前算子的输入数据的间的中间数据的数据块尺寸；基于所述拆分尺及所述当前算子与待融合算子之间的中间数据2遍历所述神经网络对应的计算图中的算子，从所述计算基于所述输出块，映射得到与所述输出块对应的所述当前基于所述拆分尺寸、所述当前算子的输入数据的数据块基于所述输出块，映射得到与所述输出块对应的所述当前基于调整后的所述拆分尺寸、所述当前算子的输入可执行指令在被处理器执行时实施如权利要求1-5中选择单元，遍历所述神经网络对应的计算图中的算子，34题更加严重。内部存储和外部存储之间的数据传输延迟占据了程序执行时间中的一大部能力为1GFLOPS(GigaFloating-pointOperationsPerSecond每秒所执行的浮点运算次申请的发明人进一步统计了整个ResNet-18神经网络中每一层的计算能力与内存访问的比络中的1％。因此，内存访问目前是人工智能处理器执行神经网络过程中的一个严重的瓶5块尺寸、以及所述当前算子与待融合算子之间的中间数据的数据块尺寸之和大于一阈值，输入数据的数据块尺寸、以及所述当前算子与待融合算子之间的中间数据的数据块尺寸；[0017]本发明还涉及一种计算机可读存储介质,包括存储于其上的计算机可执行指令，的输入数据的数据块尺寸、以及所述当前算子与待融合算子之间的中间数据的数据块尺6[0030]图3示出了根据本申请一个实施例基于所述输出块映射得到与所述输出块对应的[0035]图8示出了根据本申请进行算子融合后内存访问量与未进行优化时的内存访问量[0036]图9示出了根据本申请进行算子融合后的神经网络加速与未进行优化时的神经网露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，7络映射的计算图结构所表达的深度学习任务具体化成可以在CPU或者人工智能处理器执行8[0046]图1示出了根据本申请一个实施例的算子融合方法100。算子融合方法100可用于[0051]图2示出了待融合层的输出数据OD2，其例如为M*N维的数据。按照预设的拆分尺选择成使得所述待融合层L2的输出数据OD2能够被均匀地拆分成m*n份。但本申请不限于[0054]由于当前层L1和待融合层L2中的每一层所执行的数据变换处理都可以是预先设9据中间数据OD1中的数据块OD1(m,1)的数据块尺寸，并根据所述当前层L1所根据本申请的一个优选实施例，将所述待融合算子的输出数据拆分后的输出块的尺寸(即所述拆分尺寸)，与所述当前算子的输入数据的数据块尺寸以及所述当前算子与待融合算[0062]图4示出了根据本申请一个优选实施例的算子融合方法200。下面参考图4进行详[0070]在实际应用中，以caffe为例所述神经处理网络具有多个处理层，处理层包括[0071]根据本申请的一个实施例，其中所述计算图中的算子之间的510或者它们的组合，其存储可配置处理单元以执行先前描述的过程中的全部或一些的编程指令504。这些指令可以包括例如用于使一个或多个处理器执行如下处理的一个或多个[0083]选择五种典型的神经网络模型来来评估本申请的方法，分别为VGG-19，请进行算子融合的情况下的内存访问量的降低以及执行时间的减器RRAM(ResistiveRandomAccessMemory)、动态随机存取存储器DRAM(DynamicRandom机存取存储器EDRAM(EnhancedDynamicRandomAccessMemory)、高带宽内存HBM(High-[0087]所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形[0091]技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤