CN115099399B 神经网络模型部署方法、装置、电子设备及存储介质 （清华大学）

部署到硬件设备上的原始神经网络模型所对应实施例可实现将各种原始神经网络模型高效统一地转换成能部署到硬件设备上的硬件可执行2获取待部署到硬件设备上的原始神经网络模型所对应将所述原始计算图转换为基于目标算子集构成的中间计算图，根据所述硬件设备对应的硬件约束条件，将所述中间计算图转换基于所述目标计算图，确定硬件可执行文件，所述硬件可执行文利用所述目标算子集中的目标算子，替换所根据所述硬件设备对应的数据存储规则，生成与所述中间计算节点根据所述原始计算图中各个节点之间的数据依赖关系，建立所其中，所述根据所述硬件设备对应的硬件约束条件，将所述在所述硬件约束条件包括所述数据精度需求的情况下，对所在所述硬件约束条件包括所述硬件资源限制的情况下，对所在所述硬件约束条件包括所述目标算子集的完备性需求的情况替换所述原始计算图中的原始计算节点，得到与所述原始计算节点等价的中间计算节点，确定所述原始计算图中能被所述目标算子集中的目标算子等价替换的第一原始计算将能等价替换所述第一原始计算节点的目标算子，作为与所述第一将不能被等价替换的所述第二原始计算节点转换成占位节点，并记3其中，所述中间计算节点包括：与所述第一原始计算针对所述原始计算图中的任一个第一原始计算节点，在所述目标算4.根据权利要求1或2所述的方法，其特征在于，在建立在所述原始计算图中包括用于执行数据重排操作的第三原始计其中，所述数据重排操作包括用于改变数据排布且不产生计算的操其中，在建立所述中间计算节点与所述中间存储节点之根据所述硬件设备对应的算子计算规则，将满足所述算子计算规则其中，所述在所述硬件约束条件包括所述目标算子集的完备对所述中间计算图对应的中间神经网络模型进行知识蒸馏，得根据所述占位节点对应的算子信息，从所述目标算子集中确定4根据所述目标数据精度，对所述中间计算图进行量化，得到具在所述中间计算图的中间计算节点中包含非线性函数，且删除所述中间计算图中的部分中间计算节点和/将所述中间计算图中部分具有分支结构的节点组合，合将所述中间计算图中部分具有分支结构且分支结构的负载不均衡的等价转换模块，用于将所述原始计算图转换为基近似转换模块，用于根据所述硬件设备对应的硬件约束条件，将所替换所述原始计算图中的原始计算节点，得到与所述原始计算节点等价的中间计算节点；5在所述硬件约束条件包括所述数据精度需求的情况下，对所述中间计算图的精度进行转其中，所述处理器被配置为在执行所述存储器存储的指令时，实程序指令被处理器执行时实现权利要求1至9中任意6[0003]而基于目前的深度学习、类脑计算等技术下所创建的神据依赖关系表征所述原始计算图中各个节点之间的关联7据依赖关系表征所述原始计算图中各个节点之定所述原始计算图中不能被所述目标算子集中的目标算子等价替换的第二原始计算节点；算节点等价的计算节点以及所述第二原始计算节点转换成在所述硬件约束条件包括所述数据精度需求的情况下，对所述中间计算图的精度进行转8似等价的轻量化神经网络模型，所述轻量化神经网络模型是基于所述目标算子集构建的，应的算子信息，从所述目标算子集中确定出与所述第二原始计算节点近似等价的目标算节点组合；将所述中间计算图中部分具有分支结构且分支结构的负载不均衡的节点组合，9述数据依赖关系表征所述原始计算图中各个节点之间的关联定所述原始计算图中不能被所述目标算子集中的目标算子等价替换的第二原始计算节点；算节点等价的计算节点以及所述第二原始计算节点转换成将满足所述算子计算规则且存在数据依赖关系的至少两个计算节点融合成单个计算节点，似等价的轻量化神经网络模型，所述轻量化神经网络模型是基于所述目标算子集构建的，应的算子信息，从所述目标算子集中确定出与所述第二原始计算节点近似等价的目标算节点组合；将所述中间计算图中部分具有分支结构且分支结构的负载不均衡的节点组合，的原始计算图，将原始计算图转换为基于硬件设备支持的目标算子集构成的中间计算图，这相当于从一种原始的算子集所定义的原始计算图转换成硬件设备支持的另一种算子集[0033]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的所说明的任何实施例不必解释为优于或好于其它实出了一种神经网络模型部署方法，能够实现将各种基于计算图表示的原始神经网络模型，[0048]图1示出根据本公开实施例的神经网络模型部署方法的流程图。所述神经网络模[0050]在步骤S11中，获取待部署到硬件设备上的原始神经网络模型所对应的原始计算原始神经网络模型例如可以包括但不限于人工神经网络(ArtificialNeuralNetwork，备的类型以及原始神经网络模型的类型等不作限制。的输入数据或计算结点计算得到的输出数据，计算节点和存储节点通过有向边进行连接，有向边表示各个节点之间的数据依赖关系。图2示出根据本公开实施例的一种计算图的示源算子集构成的原始计算图转换为基于目标算子集[0057]图3示出根据本公开实施例的一种神经网络模型部署方法等)，中间计算图和目标计算图的准确率(或其它描述神经网络完成效果的指标)之间的差边和/或增减节点的操作，从而使得目标计算图所需要消耗的硬件资源相小于中间计算图完备性转换后的目标算子集具有支持完全替换原始计[0064]如上所述，神经网络模型的计算图是一种包含神经网络[0067]本公开实施例的神经网络模型部署方法可以应用于神经网络计算图(也即原始计[0068]本公开实施例的神经网络模型部署方法可以应用于神经网络或类脑算法的编程的原始计算图，将原始计算图转换为基于硬件设备支持的目标算子集构成的中间计算图，这相当于从一种原始的算子集所定义的原始计算图转换成硬件设备支持的另一种算子集子转换和图转换等步骤，图4示出根据本公开实施例的一种原始计算图转换为中间计算图个中间计算节点的输出又为另一个中间计算节点的输入，则可以在中间计算图中表示一[0080]如上所述，可能存在目标算子集不能完全等价替换原始计算图中的算子(也即原[0081]确定原始计算图中能被目标算子集中的目标算子等价替[0084]应理解的是，若目标算子集能完全等价替换原始计算图中的算子(也即原始计算么可以在确定出原始计算图中能被目标算子集中的目标算子等价替换的第一原始计算节转换得到的中间计算图中的算子满足计算效率和/或存储择计算效率与存储效率综合最高的目标算子，作为与第一原始计算节点等价的计算节点，置可以将数据重排信息记录于与节点位置对应的有向边上。图6示出根据本公开实施例的[0097]考虑到有些数据重排信息对于硬件设备的数据存储规则来说，可能是冗余无用息来指示一次数据形状的变化，例如融合后的一个数据重排信息可以直接指示由A形状变骤S127的具体执行顺序。本公开实施例对于上述步骤S121至步骤S127的执行顺序不作限以及完备性转换中的至少一种处理。图7示出根据本公开实施例的一种转换中间计算图的目标计算图与中间计算图近似等价的同时，减少目标计算图所需的计算资源和存储资源，储节点5可以是该节点组合中的一个分支，计算节点2和存储节点4可是该节点组合中的另经网络模型进行知识蒸馏，得到基于目标算子集中目标算子构成的轻量化神经网络模型，等价替换的计算节点，即通过由硬件设备中能够支持的一个或多个目标算子(或称子神经网络)来代替中间计算图中的占位节点，不仅可以起到处理中间计算图中的占位节点的作包含非线性函数，且目标数据精度限定非线性函数的输入数据为有限的离散值的情况下，通过计算非线性函数的各个输入数据所对应的输出数据，生成非线性函数对应的查找表，并将查找表存储至与非线性函数的中间计算节点相连的中间存储节点，得到目标计算图。低的目标计算图，也即对中间计算图的结构进行优化后所得到的目标计算图的执行效率，于算子信息可以找到与第二原始计算节点近[0133]获取模块101，用于获取待部署到硬件设备上的原始神经网络模型所对应的原始[0134]等价转换模块102，用于将所述原始计算图转换为基于目标算子集构成的中间计定所述原始计算图中不能被所述目标算子集中的目标算子等价替换的第二原始计算节点；算节点等价的计算节点以及所述第二原始计算节点转换成[0141]在一种可能的实现方式中，在得到所述数据重排信息之后，所述等价转换模块标算子不能等价替换所述中间计算图中全部的原始计算节点；其中，所述近似转换模块似等价的轻量化神经网络模型，所述轻量化神经网络模型是基于所述目标算子集构建的，应的算子信息，从所述目标算子集中确定出与所述第二原始计算节点近似等价的目标算节点组合；将所述中间计算图中部分具有分支结构且分支结构的负载不均衡的节点组合，的原始计算图，将原始计算图转换为基于硬件设备支持的目标算子集构成的中间计算图，这相当于从一种原始的算子集所定义的原始计算图转换成硬件设备支持的另一种算子集[0153]电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如[0156]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形[0157]这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如[0159]这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/处理装置的处理器执行时，产生了实现流