CN114819051B 用于执行神经网络计算的模拟电路的校准方法及装置 （联发科技（新加坡）私人有限公司）

US2021357737A1,2021.11.18US2022230064A1,2022.07.21用于执行神经网络计算的模拟电路的校准本发明公开一种用于执行神经网络计算的提供校准输入，该神经网络至少包括一个给定重；计算来自该模拟电路的校准输出的统计数2计算来自该模拟电路的校准输出的统计数据，该模在该给定层之后的归一化层确定在神经网络推理期间要执行计算该统计数据以包括该校准输出的标准偏差计算该统计数据以包括深度维度中多个通道中的每一个的7.如权利要求6所述的校准方法，其特征在于，该归一化运算包括深度方向的乘加运接收在该给定层之后的归一化层的配置，其中该归一化层由归一化执行神经网络推理，包括使用该预训练权重的给定层的给将该归一化层的该归一化运算分配给数字电路以在神经网络3数字电路，用于接收该给定层之后的归一化层的配置，其中该归其中神经网络模型包括映像到该模拟电路的第一组层和映像到该数字电路的第二组4层(layer)执行的操作是数值计算，包括但不限于：卷积(convolution)、反卷积(deconvolution)、全连接操作(fully-connectedoperation)、标准化或归一化[0003]神经网络计算是计算密集型的并且经常导致高功耗。因此，边缘装置(edge[0004]有鉴于此，本发明提供一种用于执行神经网络计算的模拟电路的校准方法及装[0005]根据本发明的第一方面，公开一种用于执行神经网络计算的模拟电路的校准方[0010]根据本发明的第二方面，公开一种用于执行神经网络计算的模拟电路的校准方5通过在校准期间使用该预训练权重对校准输入执行张量运算，从该给定层生成校准输出；[0018]图1是说明根据一个实施例可操作(或可运算)以执行神经网络计算的系统的框[0024]图7是图示根据一个实施例的用于校准用于神经网络计算的模拟电路的方法的流6设备在使用或运行中的不同方位。该装置可以以其他方式定向(旋转90度或以其他定向)，本文所使用的术语仅出于描述特定实施例的出现的每个附图中都进行详细描述，并且(ii)一系列附图可能显示单个项目的不同方面，[0032]本发明的实施例提供了一种用于校准模拟电路以提高模拟神经网络计算的准确性的装置和方法。该装置可以包括用于根据深度神经网络(DNN)模型执行神经网络计算的权重和用于执行卷积的参数定义。DNN模型在加载到装置之前进行了预训练(pre-送到DNN并收集每个A层的校准输出的统计信息。校准输入可以是用于DNN训练的训练数据7normalization，BN)层。或者，统计数据可用于定义一组适用于A层输出的乘加运算且对A层的输出应用归一化操作的层。归一化操作是根据A层的校准输出的统计信息确定入的通道尺寸与输出的通道尺寸相同。假设一个卷积层接收M个通道的输入张量并产生N个输入张量的M个通道之间存在一一对应关系，其中每个滤波器与输入张量的一个通道进行有校准的方法。本发明的发明人创造性的提出校准的方案以解决先前技术的问题，而不是忽略该问题。本发明通过实施对模拟电路的校准，从而使得模拟电路在执行神经网络计算的结果更加精确。因此本发明提出的方案避免了因为电路非理想性而降低神经网络计算的[0036]图1是图示根据一个实施例的可操作(可运算)以执行神经网络计算的装置100的框图。装置100包括一个或多个通用和/或专用数字电路110，例如中央处理单元(central(digitalprocessingunit，DSP)、现场可程序设计门阵列(field-programmablegatearray，FPGA)、神经处理单元(neuralprocessingunit，NPU)、算术和逻辑单元元阵列通过产生对应于滤波器权重和输入数据的卷积的输出电压电平(voltagelevel)来机接入存储器(dynamicrandom-accessmemory，DRAM)、静态随机接入存储器(static8[0039]装置100还可以包括用于通过有线和/或无线网络与另一个系统或装置通信的网件。在一个实施例中，数字电路110可以执行存储在存储器130中的指令以执行控制器140[0040]图2是图示根据一个实施例的DNN模型200和硬件电路之间的映像的图。术语“映像”是指将DNN模型中定义的张量操作(或运算)分配给执行操作的硬件电路。在这个例子的滤波器权重存储在可由数字电路110接入(accessible)的存储器装置(例如，图1中的存储器130)中。DNN模型(DNNModel)200可以包括附加层(例如，池化、ReLU(Rectified[0042]图3是说明根据一个实施例的模拟电路120的框图。模拟电路120可以是包括用于拟电路120耦接输入电路350及输出电路360，输入电路350及输出电路360分别缓冲卷积运[0043]图4是说明根据一个实施例的校准过程400的流程图。校准过程400开始于训练步字电路例如是计算机中的CPU等。训练产生卷积的滤波器权重(或过滤器权重)和批量归一9化(或标准化)(例如，β和γ)的参数。数值ε用于避免零除值。卷积和批量归一化(batch以包括校准输出的平均值和/或标准偏差。可以为每个校准输出启动计算统计数据(例如，外(off-chip)硬件或诸如计算机或服务器的其他装置来执行计算。在针对每个A层的步骤操作的非限制性示例。包括在步骤450确定的归一化层的DNN被称为校准的DNN(校准DNN)。(步骤470是推理的步骤)，装置根据校准的DNN执行神经网络推理(根据校准后的DNN进行[0046]归一化层500由应用于从A层510输出的张量(由实线立方体550表示)输出的归一轮廓中的细长立方体表示)转换为A层510输出的张量(由实线立方体550表示)经过归一将经过训练的DNN被加载到装置100(图1)之后，执行校准过程400(图4)以校准映像到模拟[0048]归一化层600由应用于来自A层610的张量(由实线中的每个立方体650表示)输出k,i,j和都是每通道张量(per-channeltensor)。来自A层610的张量(由实线例中，归一化层600将每通道平均值(per-channelmeanvalue)和每通道标准偏差(per-层600可以将每通道平均值和每通道标准偏差中的一个合并(或包含、结合)到归一化操作中。每个通道平均值和每个通道标准偏差是根据A层610在C维度中每个通道的H和W维度的校准输出计算的。此外，归一化层500还结合(或包含)了在训练中学习的深度参数(例如，βk)。如图6所示，归一化操作包括深度乘加(depth-wisemultiply-and-add)操作(或运算)，该操作(或运算)至少包含(或结合)从校准输出的每个通道计算的深度(即每通道)平均值。也即计算统计数据以包括深度维度中多个通道中的每一个的校准输出的深度中的深度方向(或深度维度)乘加运算也称为1x1深度方向(或深度维度)卷积运算(depth-[0049]图7是图示根据一个实施例的用于校准模拟电路以执行神经网络计算的方法700训练神经网络至少包括具有存储在模拟电路中的预训练权重的给定层(givenlayer)(向数据，模拟电路使用预训练的权重(预训练权重)在校准输入上执行给定层的张量操作(或[0051]图8是图示根据一个实施例的用于神经网络计算的模拟电路校准方法800的流程层的校准输出(模拟电路使用存储在模拟电路中的预训练权重对校准输入执行张量运算，归一化层由归一化操作(运算)定义，该操作(运算)包含(或结合)校准输出的统计信息(接地通过电路(专用电路或通用电路，其在一个或多个处理器和编码指令的控制下操作)实