CN112446476A 神经网络模型压缩的方法、装置、存储介质和芯片 （华为技术有限公司）

本申请提供了人工智能领域中的一种神经备上传的第一神经网络模型和第一神经网络的选择与第一神经网络模型的训练数据具有相似2服务器获取用户设备上传的第一神经网络模型和所述第一神经网络所述服务器根据所述第一神经网络模型的训练数据和所述服务器存储的未标记数据，所述服务器使用所述PU分类器，从所述服务器存储的未标记数据中选择出扩展数据，所述扩展数据为与所述第一神经网络模型的训练数据具有相似属所述服务器根据所述扩展数据，利用知识蒸馏KD方法训练第所述服务器根据所述第一神经网络的训练数据、所述服务器存储的所述PU分类器是根据第一特征和所述比例信息得到的，所述服务器使用所述PU分类器，从所述服务器存储的未标记数据中选择出扩展数据，所述服务器利用所述第一神经网络模型对所述服务器存储的未标记数据进行特征提数据为用于训练所述第一神经网络模型的训练数7.根据权利要求1-6中任一项所述的方法，其特征在于，所述服务器根据所述扩展数所述服务器将所述扩展数据输入所述第一神经网络模型，以对所述扩展数据进行分3所述KD方法的损失函数为所述多类扩展数据中的各类扩展数据的训练误差与所述各类扩获取模块，用于获取用户设备上传的第一神经根据所述第一神经网络的训练数据和所述服务器存储使用所述PU分类器，从所述服务器存储的未标记据为与所述第一神经网络模型的训练数据具有相根据所述扩展数据，利用知识蒸馏KD方法训练第二神所述处理模块还用于，根据所述第一神经网络的训练数失函数为所述第一神经网络的训练数据和所述服务器存储的未标记数据的训练损失的期所述PU分类器是根据第一特征和所述比例信息得到的，利用所述第一神经网络模型对所述服务器存储的未4练数据为用于训练所述第一神经网络模型的训练数据将所述扩展数据输入所述第一神经网络模型，以对所述的损失函数为所述多类扩展数据中的各类扩展数据的训练误差与所述各类扩展数据的第所述处理模块还用于，最小化所述多个损失函数的最5[0002]人工智能(artificialintelligence，AI)是利用数字计算机或者数字计算[0004]卷积神经网络模型通常会存在大量的冗余参数。为了将CNN网络应用于智能手机训练数据和所述服务器存储的未标记数据，利用正类与未标记PU学习算法得到PU分类器；作为所述KD方法的教师网络模型，所述第二神经网络模型作为所述KD方法的学生网络模6[0013]用户上传的第一神经网络模型的训练数据包括第一神经网络能够处理的多类数用所述第一神经网络模型对所述第一神经网络的训练数据和所述服务器存储的未标记数整之后的多个第三特征融合获得的，所述第一权重调整是基于根据所述比例信息进行的，7[0018]根据未标记数据中的正样本数据在第一神经网络模型能够处理8[0034]图5是本申请另一个实施例提供的一种神经网络模型压缩的方法的示意性流程[0038]图9是本申请又一个实施例提供的一种神经网络模型压缩的方法的示意性流程[0040]图11是本申请一个实施例提供的一种神经网络模型压缩的装置的硬件结构示意请实施例涉及的相关术语及神经网络模型等相关[0044]神经网络模型可以是由神经单元组成的，神经单元可以是指以xs和截距b为输入神经单元的激活函数(activationfunctions)，用于将非线性特性引入神经网络模型中，9第三层的第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的[0050]卷积神经网络模型(convolutionalneuronnetwork，CNN)是一种带有卷积结构个输入的图像或者卷积特征平面(featuremap)做卷积。卷积层是指卷积神经网络模型中据两者之间的差异情况来更新每一层神经网络模型的权重向量(当然，在第一次更新之前何比较预测值和目标值之间的差异”，这便是损失函数(lossfunction)或目标函数重值T供上面的运算通路和直连分支后续的运算程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对概念上理解，把Attention可以理解为从大量信息中有选择地筛选出少量重要信息并聚焦注意力机制可以理解为内部Attention(intraattention)，Attention机制发生在Target的元素Query和Source中的所有元素之间，自注意力机制指的是在Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target＝Source这种特殊情运算量以及资源的消耗都非常多。神经网络模型的知识蒸馏(distillingtheknowledge[0074]下面对训练设备120基于训练数据得到目标模型/规则101进行描述。上述目标模能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图3所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实[0075]预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处[0076]在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行[0078]具体地，经过计算模块111中的目标模型/规则101处理得到的训练后的第二神经网络模型可以通过预处理模块113(也可以再加上预处理模块114的处理)的处理后将处理块111还可以将处理得到的训练后的第二神经网络模型传输到I/O接口，然后再由I/O接口入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库中的神经网络，具体的，本申请实施例提供的神经网络可以是CNN以及深度卷积神经网络[0084]由于CNN是一种非常常见的神经网络，下面结合图2重点对CNN的结构进行详细的图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长[0096]在经过卷积层/池化层220的处理后，卷积神经网络模型200还不足以输出所需要神经网络模型层230中可以包括多层隐含层(如图1所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得完成，反向传播(如图1由240至210方向的传播为反向传播)就会开始更新前面提到的各层的损失函数LKD可以用于衡量教师网络模型和学生网络模型对于训练数据的处理结果的相[0103]其中，n为训练数据的个数，"和"分别为给定输入xi后教师网络模型和学生网[0104]KD算法也可以称为CNN模型压缩与加速算法。通过调整学生网络模型的参数以使[0108]一种获取与原始训练数据的类别分布相同的图像的方式，可以参见《Data-Free[0109]生成式对抗网络(generativeadversarialnetworks，GAN)是一种深度学习模GAN的基本原理如下：以生成图片的GAN为例，假设有两个网络，G(generator)和D[0120]所述第一神经网络模型用于将输入的数据分为N类中的至少一类。所述第一数据[0121]用户上传的第一神经网络模型的训练数据包括第一神经网络能够处理的多类数[0124]与所述第一神经网络模型的训练数据具有相似属性与分布的数据可以称为正类数据或正样本数据。第一神经网络模型可以用于处理正样本数据。第一数据为正样本[0126]服务器获取PU分类器，服务器可以接收用户设备或其他服务器PU分类器的训练也可以由对第一神经网络模型进行[0130]PU学习算法提供了一种半监督学习的方式，服务器能够根据已标记的正样本数[0138]第一特征包括特征提取网络提取的第一数据中每个数据的特征和第二数据中每[0141]第三特征包括特征提取网络提取的第一数据中每个数据的特征和第二数据中每[0143]特征提取网络中的参数较多，对特征提取网络进行参数的调整[0145]也就是说，PU分类器是根据第一特征和第二数据中正样本数据的比例信息得到[0146]可以利用所述第一神经网络模型对所述第三数据进行特征提取，以得到第二特[0158]级联(concatenate)和通道融合(channelfusion)是另一种融合的方式。采用网络利用所述注意力机制用于对所述第一神经网络模型的不同层输出的多个特征进行选数据中的每个数据在所述第一神经网络模型和所述原始神经网络模型的所述损失函数中扩展数据的训练误差与所述各类扩展数据的第二权[0174]根据未标记数据中的正样本数据在第一神经网络模型能够处理[0177]各类扩展数据的第二权重包括对所述各类扩展数据的初始权重进行随机扰动后所述多个损失函数的最大值最小的调整后的原始神经网络模型作为压缩后的第二神经网[0180]图5是本申请实施例提供的一种神经网络模型压缩方法的示意图。以对图像进行[0186]云服务设备将云上数据中的正样本数据输入第一神经网络模型[0188]其中，n为云上数据中的正样本数据的个数，"和"分别云上数据中的正样本数据中第i数据对应的第一神经网络模型和学生网络模型的输出；L.i个数据的训练损失，即"和"之间的交叉熵损失。模型和学生网络模型的输出进行标准化。标准化，就是将输出结果调整在0和1之间。参见《DistillingtheKnowledgeinaNeuralNetwork》(HintonG，VinyalsO，Dean输出除以相同的温度参数，并通过归一化指数函数softmax进行变换，以得到软化的概率，0和1之间的分布情况。[0193]第一神经网络模型对云上数据中的正样本数据进行分类，分叶斯决策论在相关概率已知的情况下利用误判[0205]定义决策函数f和判别式函数F。决策函数f用于表示输入的图像xi与PU分类器的的损失，R;(s)表示传统二分类器将训练数据中负样本数据分类为正样本数据带来的损正样本数据分类为负样本数据的可能性与PU分类器将第一数据中正样本数据分类为负样e;s)可以表示为：p可以是根据PU分类器得到的第一数据中每一个数据的标签带来的损失的和。[0225]R,(f)表示PU分类器将未标记数据中正样本数据分类为正样本数据带来的损失，[0229]根据PU算法的损失函数in(r)对PU分类器的参数进行调整，从而改变决策函数[0230]im(f)表达式中，第一项可以通过决策函数f在已标记数据集L上的分类损失表示，第二项可以通过决策函数f在未标记数据集U上的分类损失以及决策函数f在已标记数项可以表示决策函数f在未标记数据集U上的分类损失。两项之和即为决策函数f在训练样[0235]PU分类器根据第一神经网络模型提取的特征对输入第一神经网络模型的数据进行分类。第一神经网络模型提取的特征可以包括第一神经网络模型的一个或多个层的输[0237]根据PU分类器的输出以及第二数据中正样本数据的比例信息，计算in(f).通过[0240]级联(concatenate)和通道融合(channelfusion)是另一种融合的方式。采用是两个通过机器学习得到的参数矩阵，通过W1、W2进行线性变化。δ例如可以是线性整流单元(rectified[0254]该知识蒸馏的方法可以称为鲁棒的知识蒸馏(robustknowledgedisti练得到的第二神经网络模型对于第二类图像有0.06％的结果与第一神经网络模型的分类[0257]为了解决由于正样本数据在不同的类中的数据不平衡造成的神经网络模型压缩[0271]可以是第一神经网络模型输出的向量，向量中的每一位与一个第一神经网络布",可以确定zi或对应的输入图片所属的类。[0275]可以表示第一神经网络模型对输入图像的分类结果，与输入图像实际属于的[0296]对本申请实施例提供的神经网络模型压缩方法进行验证。在数据集ImageNet、Flicker1M和修改后的国家标准技术研究数据集(modifiednationalinstituteofnt85.8861.9286.0085.33在完整的ImageNet数据集上训练得到的分类结果，KD-500k为使用知识蒸馏方法并在(％)表示在预测的标签向量中取概率最大的1个作为预测结果，若结果和真实标签相同则数据相比于使用原始数据集中的训练数据得到的第二神经网络模型的分类结果的top5准12598.598.798.798.898.998.398.598.598.698.6[0313]图10是本申请实施例提供的一种电子装置的示意性结构图。装置800包括获取模[0314]获取模块801，用于获取用户设备上传的第一神经网络模型和所述第一神经网络