CN119476389A 一种神经网络模型的稀疏、训练方法、处理系统 （阿里巴巴（中国）有限公司）

神经网络模型构建为有向无环图DAG，待稀疏神经网络模型的每一层输入与DAG中的节点对应，稀疏神经网络模型可被稀疏的网络层的稀疏模式与DAG两个节点之间的有向路径对应，有向路径包括多条；通过掩码参数从DAG中确定出目标子图，掩码参数用于在DAG任意两个节点之间选中采用单一稀疏模式导致神经网络模型精度下2层输入与所述DAG中的节点对应，所述待稀疏神经网络模型可被稀疏的网络层的稀疏模式通过掩码参数从所述DAG中确定出目标子图，其中，所述掩码参数用于在根据所述目标子图对应的稀疏结构对所述待稀疏神经网络模型2.根据权利要求1所述的方法，其中，在通过掩码通过可变参数调控所述Gumbel_Softmax函数，直至所述掩码参3.根据权利要求2所述的方法，其中，所述根据根据所述掩码参数从所述DAG任意两个节点之间确定出一条有向路径，得到多条有向4.根据权利要求1所述的方法，其中，所述将待稀疏神经网络模型构建为有向无环图设置所述多个节点分别为包括以下信息的节点：当前节点的上一节点所述稀疏结构所包括的稀疏模式全部不同，或者所述稀疏结构所包获取通过权利要求1_5任一项所述方法确定的稀疏后的通过损失函数确定所述稀疏后的神经网络模型在执行指定任务后若所述损失值在预设范围内，则将所述稀疏后的神经网络模型确若所述损失值不在预设范围内，则训练所述稀疏结构以及按所述稀疏后的神经网络模型执行指定任务的交叉熵损失、所述稀疏后3所述参数存储代价损失的确定方式包括：确定稀疏后的神经网络模型所述计算量代价损失的确定方式包括：确定所述稀疏后的神经网络通过随机梯度下降SGD方式训练所述稀疏结构以及按照所述稀疏结构稀疏后的权重参使用权利要求1_5中任一项所述的方法对待稀疏的神经网络模型进行稀疏，所述训练模块使用权利要求6_10中任一项所述对稀疏后在执行所述计算机程序时实现权利要求1_5中任一项或权利要求6_1算机程序被处理器执行时实现权利要求1_5中任一项或权利要求6_14尚未提出有效地解决方案。的节点对应，所述待稀疏神经网络模型可被稀疏的网络层的稀疏模式与所述DAG两个节点之间的有向路径对应，所述有向路径包括多条；通过掩码参数从所述DAG中确定出目标子5疏神经网络模型的每一层输入与该DAG中的节点对应，该待稀疏神经网络模型可被稀疏的稀疏模式进行稀疏)，而是针对每个网络层的特性通过掩码参数从多种稀疏模式中选择一[0013]上述说明仅是本申请技术方案的概述，为了能够更清楚[0024]为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说6[0027]下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决前述[0028]细粒度结构化稀疏是一种通过对参数规则化裁剪来压缩网络的算法，N:M细粒度提供了一种神经网络模型的稀疏方法，如图2所示为本申请一实施例的神经网络模型的稀络模型的每一层输入与该DAG中的节点对应，该待稀疏神经网络模型可被稀疏的网络层的7该待稀疏神经网络模型的每一层输入与该DAG中的节点对应，该待稀疏神经网络模型可被8[0034]在一种可能的实现方式中，将待稀疏神经网络模型构建为有向无环图DAG包括：经网络模型构建为DAG，减少了训练的代价，进一步为确定全局最优的稀疏结构提供了基[0036]假设一个神经网络模型中可以被稀疏化的层数是N，目前硬件支持的稀疏模式共的被定义为离散变量，不能在反向传播中计算其梯度，因此在本示例中使用Gumbel_Softmax来定义m',如公式(3)所示。9实施例还提供了一种神经网络模型的训练方法，如图4所示为本申请一实施例的神经网络[0048]步骤S402，获取通过上述神经网络模型的稀疏方法确定的稀疏后的神经网络模[0049]步骤S404，通过损失函数确定稀疏后的神经网络模型在执行指定任务后的损失[0053]为了将上述损失值调整到同一个量级，上述神经网[0056]本示例主要是搜索一个混合稀疏结构使得神经网络在精度和计算代价的损失最数，#PARAM(j')表示第i，j层的权重参数量，#PARAM(ef')表示第i，j层计算量，示。C(x)=B(log(x))"(9)[0065]在本示例中采用随机梯度下降(SGD)的方式训练稀疏化参数θ和稀疏权重参数W。对θ的求到如公式(10)所示。θ表示可训练的稀疏化参数θ在训练后的概率大小，ma表示可训练的稀疏化参数θ在一种神经网络模型的稀疏装置。如图5所示为本申请一实施例的神经网络模型的稀疏装置神经网络模型的每一层输入与该DAG中的节点对应，该待稀疏神经网络模型可被稀疏的网[0072]第一获取模块503，用于根据该目标子图对应的稀疏结构对该待稀疏神经网络模一种神经网络模型的训练装置。如图6所示为本申请一实施例的神经网络模型的训练装置[0078]第二获取模块601，用于获取通过上述神经网络模型的稀疏装置确定的稀疏后的过随机梯度下降SGD方式训练该稀疏结构以及按照该稀疏结构稀一种神经网络模型的处理系统。如图7所示为本申请一实施例的神经网络模型的处理系统[0083]稀疏模块701，用于使用上述神经网络模型的稀疏所述的方法对待稀疏的神经网[0084]训练模块702，用于使用上述神经网络模型的训练方法对稀疏后的神经网络模型[0085]本申请实施例各装置、系统中的各模块的功能可以参见通信接口803可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结Interconnect，PCI)总线或扩展工业标准体系结构(ExtendedIndustryStandard路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field易失性存储器可以包括只读存储器(Read_OnlyMemory，ROM)、可编程只读存储器问存储器(DynamicRandomAccessMemory，DRAM)、同步动态随机访问存储器动态随机访问存储器(SynclinkDRAM，SLDRAM)和直接内存总线随机访问存储器(Direct领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特