CN114356738B 预估执行神经网络模型所需时间的方法及相关产品 （上海寒武纪信息科技有限公司）

请求不公布姓名请求不公布姓名预估执行神经网络模型所需时间的方法及本披露提供一种预估执行神经网络模型所能处理器的硬件参数对所述神经网络模型进行络模型对应的硬件二进制指令获得执行所述神2根据所述神经网络模型和所述人工智能处理器的硬件参数对所述神经网络模型进行根据所述神经网络模型对应的硬件二进制指令获得执行所述神经网络模型所需时间；根据所述神经网络模型的网络信息和所述人工智能处理器的硬件参数对所述神经网络模将所述I/O指令集合中的I/O指令发送至I/O指令队列中，将计算指令集合中的计算指获取每个I/O指令的执行时间以及每个计算指令的执行时间，所根据所述等待时间和所述执行时间获得执行所述神经网络确定所述I/O指令的输入数据尺寸以及权值数据尺寸，所述I/O5.根据权利要求2所述的方法，其特征在于，所述计算指令的执行时间的确定方式包确定所述计算指令的输入数据尺寸以及权值数据尺寸，所述计每个计算指令的计算量除以层频率除以数据类型时间如所述计算指令的输入数据以及权值数据为非稀疏数据如所述计算指令的输入数据以及权值数据为稀疏数据7.一种预估人工智能处理器执行神经网络3处理单元，用于根据所述神经网络模型和所述人工智能处理预估单元，用于根据所述神经网络模型对应的硬件二进制指根据所述神经网络模型的网络信息和所述人工智能处理器的硬件参数对所述神经网4[0007]根据所述神经网络模型和所述人工智能处理器的硬件参数对所述神经网络模型[0008]根据所述神经网络模型对应的硬件二进制指令获得执行所述神经网络模型所需[0015]本申请提供的技术方案进行时间预估，预估拆分以后的神经网络模型的运行时5[0017]图2是本申请提供的一种预估人工智能处理器执行神经网络模型所需时间的方法[0019]图4是本申请提供的一种预估人工智能处理器执行神经网络模型所需时间的装置网络运算单元和存储单元是分别控制的，即可以使得两种部件同时在执行指令，互相神经元缓存单元(NB)。神经网络运算单元包含了向量运算单元(VFU)和矩阵运算单元6[0025]如图2所示，为本申请提供的一种预估人工智能处理器执行神经网络模型所需时[0027]在本实施例中，人工智能处理器的硬件参数包括但不限于当前设备的DDR带宽、实施一系列的目标硬件部分相关的编译优化(partiallytargetindependent[0039]将所述I/O指令集合中的I/O指令发送至I/O指令队列中，将计算指令集合中的计两个主体部分具有I/O和计算两个指令队列，指令会根据指令类别向这两个队列中发送指7将会设置有一个指令最大长度L。在指令队列塞满后如果下一条指令仍为同类别指令则会种带偏移的I/O偏移大小会与运行时间正相关，在本实施例中，所以这类的指令会根据Stride/data_size的值对运行时间乘上一个修正系数rat[0055]如图4所示，为本申请实施例提出的一种预估人工智能处理器执行神经网络模型[0056]参数确定单元401，用于获得所述神经网络模型、所述人工智能处理器的硬件参[0057]处理单元402，用于根据所述神经网络模型和所述人工智能处理器的硬件参数对[0058]预估单元403，用于根据所述神经网络模型对应的硬件二进制指令获得执行所述8可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0063]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行