CN113435565B 神经网络模型的处理方法、推理方法及其装置和电子设备 （北京算能科技有限公司）

本申请实施例提供了一种神经网络模型的在至少两类处理器上。采用本申请实施例的方2获取神经网络模型的图模型，所述图模型包括多个节点，所对所述至少两类子模型进行编译，得到至少两类可执行子程序，所根据所述至少两类子模型的拓扑关系以及交互的张量的信息，根据所述多个节点的特性，将所述多个节点划分为两类，将所述多个节点中适合运行在神经网络专用处理器上的节点进行合并将所述多个节点中不适合运行在神经网络专用处理器上的节将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成将所述至少一个第一子模型作为所述两类子模型中的第一类子模计算所述至少一个第一子模型中每个第一子模型的计算量计算所述至少一个第一子模型中每个第一子模型的计算3计算所述至少一个第一子模型中每个第一子模型的计算量其它第一子模型，以及所述至少一个第二子模型划分为所述两类子模型中的第二类子模8.根据权利要求5至7中任一项所述的处理方法，根据所述每个第一子模型中目标节点的数量，9.根据权利要求4至7中任一项所述的处理方法，其特对所述第一类子模型进行编译，形成第一类可执行子程序，所述第一对所述第二类子模型进行编译，形成第二类可执行子程序，所述第二在所述多个节点上设置不同的标记以区分不在所述多个节点中适合运行在神经网络专用处理器上的节将所述多个节点中具有所述第一标记的相邻节点进行合并，形成至将所述多个节点中具有所述第二标记的相邻节点进行合并，以形对所述至少一个第一初始子模型和所述至少一个第二初始子模型进行将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成4若所述第一父节点和所述第一子节点相互之间形成环结构若所述第一父节点和所述第一子节点之间未形成环结构若所述第一父节点、所述第一子节点与其它节点共同形成环结所述至少一个第二初始子模型中的每个第二初始子模型中均未形成环若所述至少一个第一初始子模型中的第一特定初始子模型的输出特定初始子模型和所述第二特定初始子模型作为一个第若所述至少一个第二初始子模型中的第二特定初始子模型的输出特定初始子模型和所述第二初始特定子模型作为一个第若至少一个第一初始子模型中的一个第一初始子模型的输出节若至少一个第二初始子模型中的一个第二初始子模型的输出节其中，所述至少两类可执行子程序用于运行在至少两类处5所述可执行程序为根据所述图模型的拓扑结构，串联所述至少两类其中，所述第一类子模型和所述第二类子模型是对所述多个行合并得到的，所述两类节点中第一类节点为适合在神经网络专用处理器上运行的节点，所述两类节点中第二类节点为不适合在神经网络专用处理器上运所述第二类子模型为对所述第二类节点进行所述第二类子模型包括所述至少一个第一子模型中除所述第一目标子模型外的其它所述第二类子模型包括所述至少一个第一子模型中除所述第一目标子模型外的其它所述第二类子模型包括所述至少一个第一子模型中除所述第一目标子模型和所述第6对所述至少两类子模型进行编译，得到至少两类可执行子程序，所所述第一处理单元还用于：串联所述至少两类可执行子程序，形成所所述第一处理单元还用于执行所述至少两类可执行子程序中一类可执个节点中适合运行在神经网络专用处理器上的节点进行合并，以形成至少一个第一子模将所述多个节点中不适合运行在神经网络专用处理器上的节将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成至少一个第一子模型中每个第一子模型的计算量，将其中计算量最大的第一目标子模型，所述至少一个第一子模型中除所述第一目标子模型和所述第二目标子模型外其它第一子7对所述第二类子模型进行编译，形成第二类可执行子程序，所述第二将所述多个节点中具有所述第一标记的相邻节点进行合并，形成至将所述多个节点中具有所述第二标记的相邻节点进行合并，以形对所述至少一个第一初始子模型和所述至少一个第二初始子模型进行将所述至少一个第一子模型和所述至少一个第二子模型进行划分形成若所述第一父节点和所述第一子节点相互之间形成环结构若所述第一父节点和所述第一子节点之间未形成环结构若所述第一父节点、所述第一子节点与其它节点共同形成环结所述至少一个第二初始子模型中的每个第二初始子模型中均未形成环若所述至少一个第二初始子模型中的第二特定初始子模型的输出特定初始子模型和所述第二特定初始子模型作为一个第8若至少一个第一初始子模型中的一个第一初始子模型的输出节点若至少一个第二初始子模型中的一个第二初始子模型的输出节至少两个处理单元，用于分别执行可执行程序中的至少其中，所述至少两个处理单元为至少两类处理器中的处理所述可执行程序为根据所述图模型的拓扑结构，串联所述至少两类所述至少两个处理单元中的第二处理单元为非神经网络专用述第二处理单元用于执行所述至少两类可执行子程序中的第二类可执行所述第一类子模型和所述第二类子模型是对所述多个节点中两类节点分别进行合并类节点中第二类节点为不适合在神经网络专用处理器所述第二类子模型为对所述第二类节点进行所述第二类子模型包括所述至少一个第一子模型中除计算量最大的第一子模型外的9所述第二类子模型包括所述至少一个第一子模型中除计算量大于预设阈值的第一子所述第二类子模型包括所述至少一个第一子模型中除所述第一目标子模型和所述第所述处理器用于调用所述程序代码，执行权利要求1至17中任一项所述的神经网络模型的行根据权利要求1至17中任一项所述的神经网络模型行根据权利要求18至26中任一项所述的神经网络模型始大力开展神经网络专用处理器，例如神经网络处理器(NeuralnetworkProcessing经网络专用处理器的特性，仅在神经网络专用处理器上运行神经网络模型中的部分运算，[0019]在一种可能的实施方式中，该在该多个节点上设置不同的标记以区分不同的类第二子模型；将该至少一个第一子模型和该至少一个第二子模型进行划分形成两类子模并后的该第一特定子模型和该第二特定子模型作为[0033]在一种可能的实施方式中，该第一类子模型为对该第一类节一个第一子模型中除该第一目标子模型外的其它第一子模型，以及该第二类节点合并后，行第一方面或者第一方面中任一种可能的实施方式中的神经网络模型执行第二方面或者第二方面中任一种可能的实施方式中神经网[0052]图7和图8是根据本申请实施例的一种神经网络模型的图模型经过节点划分以及制，从最基本的单元上模拟人类大脑的运行机制。深度学习分为训练(training)和推断[0065]具体地，硬件层为算法提供了基础计算能力。硬件层涵盖范围除了中央处理器几种芯片外，还可以包括神经网络处理器NPU、张量处理器TPU、深度学习处理器(Deep定及格式。如图1所示，神经网络模型编译器为以底层语言虚拟机(LowLevelVirtual用神经网络专用处理器或者仅仅使用其它单一类型的处理器进行神经网络的运算和处理，[0074]图2示出了一种神经网络模型的处理系统，该神经网络模型的处理系统包括用户具有数据处理功能的设备或服务器。数据处理设备通过交互接口接收来自智能终端的语像帧进行图像识别或者目标检测等等处理，从而得到针对目标检测结果(例如人脸识别等理设备，该用户设备能够直接接收来自用户的输入并直接由用户设备本身的硬件进行处[0080]图2和图3中的处理器可以通过神经网络模型或者其它模型(例如，基于支持向量机的模型)进行数据训练/机器学习/深度学习，并利用数据最终训练或者学习得到的模型图2和图3中的数据处理设备。该处理器可以是中央处理器CPU，微处理器/微控制器一种图模型，其中，图是一种数据结构，它由一组对象(节点)及其关系(边)组成，节点输入张量和输出张量可以定义为常量(constant)，变量(variable)或者占位符在神经网络专用处理器运行两类后，将适合在神经网络专用处理器上运行的节点进行合个第二初始子模型之间的拓扑关系和初始子模型之间交互的节点进行合并。或者先将B节点和C节点进行合并，然后将合并后的BC节点与A节点进行合[0128]S132：对该至少一个第一初始子模型和至少一个第二初二特定初始子模型为第一特定初始子模型的输出节点的子节点所第一特定初始子模型为第二特定初始子模型的输出节点的子节点所在的初模型之间的拓扑关系和子模型之间交互的张[0141]作为一种可能的实施方式，S1331：将上述至少一个第一子模型作为第一类子模[0146]上述步骤S1333和步骤S1334中的预设阈值可以代表第一子模型中目标节点的预进一步在适合在神经网络专用处理器上运行的第一类节点上标记该节点是否为目标节点，第一子模型运行于非神经网络专用处理器或者是神经可以在非神经网络专用处理器上运行的第二类可执行该拓扑关系和相关信息，得到第一类可执行子程序和第二类可执行子程序之间的连接关[0188]S221：神经网络专用处理器执行至少两类可执行子程序中的第一类可执行子程[0198]上文结合图4至图16，详细描述了本申请的神经网络模型的处理方法以及推理方一子模型和至少一个第二子模型进行划分形成两至少一个第二子模型划分为两类子模型中的第第二初始子模型；对至少一个第一初始子模型和至少一个第二初始子模型进行合并判断，子模型；若至少一个第二初始子模型中的一个第二初始子模型的输出节点为非特定节点，处理单元14用于执行至少两类可执行子程序中另一类可执行子程序，以对数据进行推理，[0222]在一种可能的实施方式中，第二处理单元14为神经网络专用处理器上的处理单序是根据神经网络模型的图模型中多个节点的特性，对多个节点进行分类和合并得到的，行子程序；至少两个处理单元中的第二处理单元23为非神经网络专用处理器中的处理单型中除计算量大于预设阈值的第一子模型外的其它第一子模型，以及第二类节点合并后，理器执行时实现本申请中任一方法实施例所述的方法。该程序代码可以是高级语言程序，盘(DigitalVideoDisc，DVD))、或者半导体介质(例如固态硬盘(SolidStateDisk，