CN114418114B 一种算子融合方法、装置、终端设备及存储介质 （深圳云天励飞技术股份有限公司）

道龙岗大道8288号深圳大运软件小镇得到的深度学习模型的结构能更高效利用硬件2获取待处理的深度学习模型的依赖图，其中，所述依赖图包基于预设的各类原子算子对应的算子数组，将所述依赖图中的根据所述依赖图中的原子算子组成的原子算子序列，得到由所述依所述基于预设的各类原子算子对应的算子数从所述算子序列集中筛选出满足目标芯片的硬件特性的算子序列集，将所述依赖图中的算子序列与各个所述第一序若所述依赖图中的算子序列与所述第一序列集相匹配，将所述依确定所述原子算子序列中的尾节点原子算子，其中，所述尾括所述依赖图中的至少一个原子算子，在所述候选原子组中包括至少两个所述原子算子基于各个所述收益值，确定所述候选原子组中的最优原子组3计算所述第一和值减去所述第二成本值的差值，所述第一分组模块，用于基于预设的各类原子算子对应的算子第二分组模块，用于根据所述依赖图中的原子算子组成算子融合模块，用于将每个所述目标原子组中的算子进行融合从所述算子序列集中筛选出满足目标芯片的硬件特性的算子序列集，将所述依赖图中的算子序列与各个所述第一序若所述依赖图中的算子序列与所述第一序列集相匹配，将所述依8.一种终端设备，包括存储器、处理器以及存储在9.一种计算机可读存储介质，所述计算机可读存储介质存456的硬件特性对深度学习模型的影响，可以使得到的算子融合后的深度学习模型的性能最[0044]在本实施例中，电子设备可以从外部存储设备中获取深度学习模型的依赖图7nn.pad",""},{"nn.conv2d",},{"nn.bias_add","nn.batch_norm",""},{"right_8[0062]在本实施例中，得到的深度学习模型的计算图可以搭载在目标芯片上进行运{"nn.pad",""},{"nn.conv2d"},{"nn.bias_add","nn.batch_norm",""},{"right_标芯片的硬件特性的算子序列集作为第一序列9nn.batch_norm"，"nn.relu"，"clip"序列，则将依赖图中的"cast"，"nn.pad"，"得到原子算子序列。查找原子算子序列中的尾节点原子算子，例如，ATOMIC_CONCAT和ATOMIC_TUPLE类型的原子算子均可以作为尾节点原组，根据原子算子组得到各个候选原子组。一个候选原子组可以记为一个原子算子模式[0120]在本实施例中，从大于预设值的收益值对应的候选原子组中确定最优的组合方的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限[0132]对应于上文实施例所述的算子融合方法，图9示出了本申请实施例提供的算子融[0139]利用深度优先搜索算法遍历所述算子数组，得到各类原子算子对应的算子序列[0149]基于所述尾节点原子算子对所述原子算子序列进行切分[0154]基于各个所述第一成本值和所述第二成本值，得到所述第i个候选原子组的收益运行的计算机程序，所述处理器410执行所述计算机程序时实现上述任意各个方法实施例通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器部设备互连(PeripheralComponent，PCI)总线或扩展工业标准体系结构(Extended[0175]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用[0176]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess