CN113762489B 一种多位宽量化的深度卷积神经网络的获取方法 （北京交通大学）

一种多位宽量化的深度卷积神经网络的获本发明提供了一种多位宽量化的深度卷积过最小-随机-最大位宽协同训练以及自适应标2根据需求设置目标约束，根据所述目标约束对训练好的多位宽感建立权重共享的多位宽感知量化模型，该多位宽感知量化设多位宽感知量化模型的量化配置表示成B={(b",bf),(b",b%),…,(b",b"),…,(b",b)},b",bf分别表示层l的权重和激活的采用最小-随机-最大位宽协同训练方式在每一次训练迭代中，对多进行表示；yi表示对应的真实标签，定义CA={A9,A,…,A⃞,…,AB-1}作为每一轮的类级别的软e是一个N行N列的方阵,Ae中的每一列对应着一个类别的软标签，当一个输入样本述:3所述的根据需求设置目标约束，根据所述目标约束对训练好的多位宽将训练完成后的多位宽感知量化模型看作一个包含很多个子根据满足约束的目标子网络组成需要的多位宽量化的深度卷积神经根据子网络的配置和不同层的比特数设定采用蒙特卡洛采样生成若4减少存储和计算代价，神经网络量化技术是目前流行的用于压缩深度神经网络的一种技[0004]而现有技术中的其他一次量化多场景部署的技术方案也存在比较多的缺陷。其5yi表示对应的真实标签，定义A=A",A',…,Ae,…,AE-'}作为每一轮的类级别的软标签，Ae是e中的yi列,M表示随机子网的[0024]每一轮迭代iteration下都做一次公式3的更新，在每一个轮次epoch结束后对Ae标子网络分别单独作为多位宽量化的深度卷积神经网络中的6三种方法对训练好的多位宽感知量化模型进行混合精度搜索，搜索出满足约束的子网络，[0030]根据子网络的配置和不同层的比特数设定采用蒙特卡洛[0034]图1为本发明实施例提供的一种对深度卷积神经网络进行多位宽量化的方法的处语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该7[0039]本发明实施例提供了一种面向多场景部署(每种应用场景对神经网络计算精度需任意次部署的需求的多位宽感知的量化模型all-in-oncenetwork，极大减少了深度卷积神经网络压缩在时间上和计算上的开支，并在不同平均比特约束下达到较高的模型精度，[0040]在权重共享的前提下，通过最小-随机-最大位宽协同训练实现模型的多位宽感[0041]本发明实施例提供的一种对深度卷积神经网络进行多位宽量化的方法的处理流[0044]all-in-once量化模型支持多样化的量化位宽配置。假设一个模型的量化配置可以表示成同时b",bf"分别表示层l的权重和激活的位宽，给定一个浮点的权重w和激活v,可学习的量化步长集合和zero-point集[0049]多位宽感知量化模型旨在通过剥离模型权重和量化步长构建多位宽场景下权重8模型可以灵活调整为不同位宽场景下的统一量化和混合精[0052]多位宽感知量化模型训练包括最低比特位宽模型、最高比特位宽模型和M个随机代中，对最低比特位宽模型(比如每层固定2比特)和最高比特位宽模型(比如每层固定8比e中的yi列,M表示随机子Hi)三者都是描述同一个对象。[0060]每一轮迭代iteration下都做一次公式3的更新，在每一个轮次epoch结束后对Ae感知准确率预测器、遗传算法三种方法对训练好的多位宽感知量化模型进行混合精度搜络分别单独作为多位宽量化的深度卷积神经9[0067]分别给定权重和激活平均比特约束τw和τa,(BItw,ta)的经验近似为[0069]为了构建上述分布，我们在采样空间中随机采样大量的结构-平均比特数据对SB,(rwra)》来构建采样池。令#(τw=τ0)表示在采样池中平均位宽为τ同时表示数据对(b"=k,tw=0)在采样池出现的总数,则i(b"Ir,)可以如[0071]量化感知准确率预测器Quantization-AwareAccuracyPredictor.[0073]特别地，我们使用蒙特卡罗采样生成结构-精度数据对，可以避免数据集的不平[0075]针对混合精度搜索的遗