CN114742225B 一种基于异构平台的神经网络推理加速方法 （中国科学院合肥物质科学研究院）

一种基于异构平台的神经网络推理加速方法本发明的一种基于异构平台的神经网络推理加速方法，包括利用处理器+FPGA的异构平台2在FPGA中设计神经网络加速器，神经网络加速器包括计算模块所述普通卷积模块对卷积进行分块计算，每次只进行固定块大小的深度可分离卷积模块包括深度卷积模块和逐点卷积模块；深度卷全连接模块复用普通卷积部分，通过AXI_Lite总线设置输入的规模为1x池化模块包括最大池化和平均池化，通过配置相应批归一化模块对普通卷积模块和深度可分离卷积模块的输出进行数据所述采用缓存的设置与优化、流水化、数据流优化的方法来加快神缓存的设置与优化，在FPGA中的片上BRAM存储器，分别设置输入缓存:IN[Tn][Tic]所述普通卷积模块对卷积进行分块计算，每次只进行固定块大小的首先采用卷积分块策略，通过分时复用卷积块单元来完成整分块变量通过卷积层的输出特征图尺寸和卷积核的大小来确3在DDR内存中分配出一块物理地址连续的数组空间ARRAY_IMAG将整个加速器以二进制比特流文件的形式加载到根据神经网络模型的结构，分别调用FPGA加速器中的普通卷积的加法树和一个加法器组成，并行地进行Tn个输入特征图像素与Tm*Tn个卷积核权重的乘得所述处理器执行如权利要求1至5中任一项所述4少的同时，不损失网络性能，目前的轻量化的神经网络，如SqueezeNet、MobileNet、构平台的加速能够充分的结合处理器对逻辑的控制以及FPGA对计算密集型任务并行加速，[0005]本发明提出的一种基于异构平台的神经网络推理加速方法，可解决上述技术问5[0014]批归一化模块对普通卷积模块和深度可分离卷积模块的输出进行数据归一化处[0016]缓存的设置与优化，在FPGA中的片上BRAM存储器，分别设置输入缓存:IN[Tn][0017]数据流优化，为采用双缓冲+乒乓操作方法进行任务级数据流的并行优化，即在[0021]应用程序在DDR内存中分配出一块物理地址连续的数组空间ARRAYi，读取神经网6[0025]FPGA加速器完成神经网络的所有层级的推理计算后，将推理结果返回到内存DDR度为[logz(Tn)l的加法树和一个7[0049]图7为本实施例中在SoC上搭建基于异构平台的神经网络前向推理系统的硬件架8[0061]根据具体神经网络各层的规模配置加速器内部的寄存器，通过AXI总线将步骤四训练得到的模型参数传输给加速器，按照具体的网络结构分别调用加速器中不同的模块，[0063]深度可分离卷积部分包括深度卷积(DepthwiseConvolution)和逐点卷积个嵌套的for循环并且需要改变数据读取的顺序和卷积计算的顺序。逐点卷积的计算和普9原来较大的计算过程划分为多个较小的步骤，每个步骤能够独立并行的处理不同的数据，是一种常用的通过面积换取速度的电路优化方式。其吞吐量鉴于串行处理和并行处理之经网络加速器中，处理器的AXI_HP从接口与加速器的AXI_Master主接口相连，处理器的通过AXI4总线进行数据的传输；处理器通过AXI_Lite总线完成对加速器内部寄存器的配[0071]1.3应用程序根据神经网络环顺序，将输出通道和输入通道的循环置于最内层并且对这两个维度进行并行卷积计算，使卷积块中的外部循环不断复用内部的并行计算核心，从而完成整个卷积块单元的计算。其中，并行计算核心包含：Tm个卷积计算引擎PE，而每个PE由Tn个乘法器、一个深度为[logz(Tn)l的加法树和一个加法器组成，并行地[0084]2.1.5批归一化模块对普通卷积模块和深[0090]2.2.1缓存的设置与优化，在FPGA中的片上BRAM存储器，分别设置输入缓存:IN且作为最多只有2个数据端口的BRAM来实现，所以很难在一个周期内完成对一个缓存内多[0097]2.4.1所述应用程序在DDR内存中分配出一块物理地址连续的数组空间ARRAY_尤其是用于搭建轻量化卷积神经网络MobileNetV2的深度可分离卷积算子，其中普通卷积[0107]深度可分离卷积部分包括深度卷积(DepthwiseConvolution)和逐点卷积个嵌套的for循环并且需要改变数据读取的顺序和卷积计算的顺序。逐点卷积的计算和普[0111]图5为本实施例中的数据流优化图，在没有采用数据流优化时读取数据、卷积计[0113]图7为本实施例中在SoC上搭建基于异构平台的神经网络前向推理系统的硬件架[0114]步骤4)模型的训练：在服务器端基于tensorflow2.0深度学习框架，搭建[0115]步骤5)神经网络推理的执行：根据MobileNetV2神经网络各层的配置参数如输入(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM