CN110942135B 提供深度神经网络的权重的平衡修剪的系统和方法 （三星电子株式会社）

US2018046915A1,2018.02.15US5297232A,1994.02020.03.31提供深度神经网络的权重的平衡修剪的系一种提供深度神经网络的权重的平衡修剪DNN的权重划分为多个组，在每个组中确定非零等于0的约束使用拉格朗日乘子使DNN的损失函2损失确定器，基于深度神经网络的网络损失减去掩蔽的所述其中，通过损失确定器利用具有所述多个权重组中的非零权重的计数的方差等于0的其中，后处理过程被应用以实现每个权重组具有完全相同数其中，具有相同数量的非零权重的所述多个权重组被分配给所述多个并行处理元件，通过损失确定器利用具有所述多个组中的非零权重的计数的方差等于0的约束使用拉通过反向传播重新训练权重的所述多个组和拉格朗其中，后处理过程被应用以实现每个组具有完全相同数量的非零其中，具有相同数量的非零权重的所述多个组被分配给所述3如果所述多个组中的第一组比所述模式具有更多的非零蔽函数调整为0，直到第一组的非零权重的计数等于重新训练的权重的模式的非零权重的如果所述多个组中的第二组比所述模式具有更少的非零蔽函数调整为1，直到第二组的非零权重的计数等于重新训练的权重的模式的非零权重的4[0001]本申请要求于2018年9月24日提交到美国专利商标局并且被分配序列号62/735,846的美国临时专利申请以及于2018年11月9日提交到美国专利商标局并且被分配序列号络(DNN)的权重的平衡修剪(balancedpruni参数(sparseparameters)方面效率不高，并且平衡神经网络参数的稀疏度以确保并行处[0004]示例实施例提供一种提供深度神经网络(DNN)的权重的平衡修剪的系统，所述系组中的权重；损失确定器可基于DNN的网络损失减去所述多个权重组中的非零权重的计数[0005]示例实施例提供一种提供深度神经网络(DNN)的权重的平衡修剪的方法，所述方法可包括：将DNN的权重划分为多个组；通过权重掩蔽器将掩蔽函数应用于每个组中的权权重的计数的方差；通过损失确定器利用具有每个组中的非零权重的计数的方差等于0的5[0006]在以下部分中，将参照附图中示出的示例性实施例来描述在此公开的主题的方单元的构造或结构细节在所有实施例之间都是相同的或者这样共同引用的部件/模块是实6现在此公开的多个示例实施例中的一些示例实施态机电路和/或存储由可编程电路执行的指令的固件，或者可包括硬连线电路、可编程电[0018]在此公开的主题涉及对深度神经网络(DNN)的权重进行稀疏化的方法和系统。使用在此公开的主题处理的DNN模型的稀疏度(sparsity)针对每个组具有相同数量的非零权每个组具有完全相同数量的非零权重的结果作为最佳平衡处理步骤是训练结束时的用于调整权重使得所有组具有完全相同数量的权重以实现非零权重的最佳平衡(perfectbalance[0020]DNN模型的训练可以是寻求使预测与地面真值具有最小差的一组权重参数的数值7边界101b的变化率。等式(3)中的参数β控制h(w)＝0.5处的两个边界101a和101b之间的宽并且具有小于连续权重值的第一集合103的连续权重值的第三集合105的值1。阈值函数h(w)的第一边界101a在连续权重值的第一集合103与连续权重值的第二集合104间转变时，第一边界101a和第二边界101b中的每个的锐度基于参数α的值(即，阈值函数h[0032]图2是根据在此公开的主题的用于DNN的平衡自修剪的方法20之间的非零权重的计数的方差。在206，训练问题可用公式表示为具有硬约束(hard[0040]可使用拉格朗日乘子、对偶上升法(methodofdualascent)或交替方向乘子法8术来更新参数w和β,然而，可使用梯度上升技术来更新非零权重的数量可具有部分稀疏模式。后处理处理可被应用于选择性地将边缘权重(fringeweight)的遮罩(mask)设置为0或1以实现确该组的最小值非零权重的遮罩将被设置为0，直到该组的非零权重的数量等于所述模式的为使用软掩蔽函数(诸如，等式(5)中的软掩蔽函数)掩蔽权重，所以后处理是可行的。在是被配置为提供平衡自修剪器400的最小化和算术功能的软件、固件和/或硬件的任何组[0050]除了由掩蔽器402和损失确定器403生成的中间值之外，存储器401还可存储将被9法器407的输出被输入到第二乘法器408。第二乘法器408对第二加法器407的输出进行平里，第三加法器409的输出可用作损失L。后处理可利用掩蔽器402来实现确实的稀疏度平