CN114399019B 神经网络编译方法、系统、计算机设备及存储介质 （南京风兴科技有限公司）

本申请公开了一种神经网络编译方法、系对比结果和硬件可对比文件，加快测试研发速2解析所述标准模型数据和量化数据并进行软件推理运算，获得中间模型结遍历所述模型结构描述信息中的所有层，逐层按照层类型将对应的计遍历所述模型结构描述信息中的所有层，根据所述模型结对应层的计算结果的处理操作代码写入至所述调用代码在所述调用代码文档中写入生成软件对比结果文件和硬件可对比对所述中间模型结构信息和所述中间参数数据进行预处理，获得网络模型配置数据；根据所述网络模型配置数据，结合所述硬件参数，获得针对根据所述网络模型配置数据、所述硬件参数和所述计算循环切块根据所述网络模型配置数据、所述硬件参数和所述计算循环切块2.根据权利要求1所述的一种神经网络编译方法，其特征在于，所述运行所述验证模输入所述待编译神经网络的输入测试数据和所述硬件参数，运行模型解析模块，所述模型解析模块用于解析标准模型数据和量化数据3模型转换模块，所述模型转换模块用于执行以下操作：对所述中间模模型编译模块，所述模型编译模块用于根据所述网络模型配置数据、模型验证模块，所述模型验证模块用于执行以下操作：遍历所述模型结构描述信息中的所有层，逐层按照层类型将对应的计遍历所述模型结构描述信息中的所有层，根据所述模型结对应层的计算结果的处理操作代码写入至所述调用代码在所述调用代码文档中写入生成软件对比结果文件和硬件可对比输入所述待编译神经网络的输入测试数据和所述硬件参数，运行处理器，用于执行所述计算机程序时实现如权利要求1或2所述的神机程序被处理执行时实现如述权利要求1或2所述的神经网络编译方法4具有可重构性强、实施延迟低等特点，被用来作为加速卷积神经网络(Convolutional一个通用的CNN硬件加速器来有效地映射不同的CNN算法变得更加困难。随着CNN模型的规配置信息可以得到不同的CNN模型在硬件加速器上的映射实现。为了验证编译得到的硬件配置文件中配置信息的准确性，现有的方法是通过对CNN硬件加速器的硬件推理结果进行5[0023]在验证模型的调用代码文档中写入生成软件对比结果文件和硬件可对比文件的6[0032]判断模块，判断模块用于判断编译系统当前执行模式的是用户模式还是测试模[0039]在验证模型的调用代码文档中写入生成软件对比结果文件和硬件可对比文件的[0048]本申请第四方面公开了一种计算机可读存储介质，存储计算机程序被处理执行时实现如本申请第一方面公开的神经息和中间参数数据进行预处理得到可以用于硬件编译的网络模型配置数据；结合硬件参7将编译流程与验证过程相结合，通过生成的验证模型提供软件对比结果和硬件可对比文[0052]图2为本申请实施例公开的一种神经网络编译方法中生成验证模型的工作流程示[0053]图3为本申请实施例公开的一种神经网络编译方法中运行验证模型的工作流程示CNN硬件加速器的开发周期长的问题，本申请通过以下实施例提供了一种神经网络编译方8到每层的具体运算软件结果。经过上述操作可以获得中间模型结构信息和中间参数数据。其中硬件的约束条件包括计算资源约束和存[0065]在本实施例中，使用golden验证模型作为神经网络编译方法中的验证模型。将对应层的计算结果的处理操作代码写入至调用代9[0074]在实际应用中，先加载待编译网络的prototxt文档进行读操作，并新建对应的的验证模型函数库中相应操作的计算函数来实现的。层的类型包括但不局限于批归一化、判断是否存在某种类型的层，将对上述类型层计算结果的处理操作代码自动写入至上述中间模型结构信息和中间参数数据转换成可以被硬件编译器识别且适配后续处理的置数据可以直接用于硬件编译处理，其中部分参数也可作为验证模型的输入，用于生成[0093]在实际应用过程中，将获得的每一层的软件对比结果写入到软件对比结果文档进行对比的硬件可对比文件。生成硬件可对比文件的操作主要包括对数据矩阵维度变化、[0101]编译生成的硬件配置文件可以通过改变寄存器配置或者硬件参数来控制硬件加块方案。将对应层的计算结果的处理操作代码写入至调用代两个CNN模型为待编译神经网络模型来说明本实[0121]示例一，以量化数据位宽为16bit的resnet18网络模型为待编译模型来说明模型计算操作的代码，其中计算代码中调用预设的验证模型函数库中的卷积计算函数。在[0122]再打开golden验证模型的调用代码文档(golden_top文档)，根据网络模型的生成软件比对结果文件和硬件可对比文件(包含仿真比对数据文件和上板对比数据文件)理部分得到的网络模型配置数据中的待编译神经网络的输入测试数据和软件推理得到的模块的生成过程及其所执行的功能。首先加载VGG16网络解析后的prototxt文档进行读操[0125]当测试模式开启时，