CN113988266B 基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方法 （南京大学）

基于Top-k的支持复杂网络状况的自适应分本发明公开了基于Top-k的支持复杂网络状署于各分布式节点的自适应梯度压缩算法针对明结合分布式深度神经网络训练中的多维度评2S2，结合之前若干轮数段的训练精准度和梯度通信其中深度决策网络模型的输入为上一轮数中的训练精准度S24，在各个分布式节点中运行基于训练精准度和通信时间增长速度的自适应压缩率S4，在分布式通信过程中各个节点完成针对压2.根据权利要求1所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方3.根据权利要求1所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方4.根据权利要求1所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方N(·)表示归一化函数，μ表示每轮运算的训练准确率，ν表示每轮梯度通信的时间间5.根据权利要求4所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方Accu为每一轮运算的训练精准度，Accumin为一轮运算中可能出现的最小精准度，而3Accumax则表示相应的一轮运算中可能出现的最大精max-Delay)/(Delaymax-Delaymin)；Delaymax表示以任意限定范围内的压缩比率来压缩梯度，运行完成完整的全体数据集所需要的最长训练时间，Delaymin则表示相应的运行完成完整的全体数据集所需要的最短6.根据权利要求1所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方训练精准度的增长速度利用最近的相邻两轮精准度差值的绝对值除以特定轮数内连通信时间的增长速度利用最近的相邻两轮通信时间差值的绝对值除以特定轮数内连通过比较精准度和通信时间的增长速度确定当前情况下精准度和通信时间对压缩率7.根据权利要求1所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方8.根据权利要求1所述的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方在静态网络中，保存完毕上一轮的训练精准度和通信时间并4[0001]本发明属于分布式机器学习技术领域，具体涉及基于Top-k的支持复杂网络状况当分布式神经网络遇到恶劣的网络条件，由于不稳定的网络带宽和训练中部分节点的滞疏化可以通过减少传输梯度的数量来灵活地减少训练时间。Top-k选取梯度的绝对大小前[0005]分布式深度神经网络的通信方法主要可被划分为两种：All-Reduce和ParameterServer方法。All-Reduce主要应用于同步通信，在这之中广泛使用的技术是RingAll-Reduce,通过梯度规约操作，可以使各个分布式节点得到所有节点的梯度聚合后的全局梯[0006]本发明所要解决的技术问题是针对上述现有技术的不足，提供基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方法，减少训练时间的同时保持较高测试精准度，5[0008]基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方法，其特征在于，包[0009]S1,针对复杂网络(含静态网络场景和式节点的自适应梯度压缩算法针对不同的网[0018]S23，针对动态网络场景，各节点收集前若干轮数段的训练精准度和梯度通信时[0019]S24，在各个分布式节点中运行基于训练精准度和通信时间增长速度的自适应压差绝对值除以前若干轮相邻轮数训练精准度之差的绝对值之和来获取相应的比例从而描[0021]上述的步骤S22中，将精准度和通信时间归一化后生成奖励值并作为奖励函数中min和vmax分别表示可接受的最低训练精准度和最大通信时间间隔。6[0026]Accu为每一轮运算的训练精准度，Accumin为一轮运算中[0029]Delaymax表示以任意限定范围内的压缩比率来压缩梯度，运行完成完整的全体数据集所需要的最长训练时间，Delaymin则表示相应的运行完成完整的全体数据集所需要的[0031]训练精准度的增长速度利用最近的相邻两轮精准度差值的绝对值除以特定轮数[0032]通信时间的增长速度利用最近的相邻两轮通信时间差值的绝对值除以特定轮数[0033]通过比较精准度和通信时间的增长速度确定当前情况下精准度和通信时间对压[0035]上述的步骤S1，步骤S4中保存相应的精准度和通信时间以适用于不同的网络环[0038]本发明结合分布式深度神经网络训练中的多维度评估特征进行自适应地调整梯[0039](1)本发明深入的探究压缩率和一系列深度神经网络模型的特征，比如训练精准结合训练精准度和通信时间来进行自适应压[0040](2)本发明提出的自适应分布式梯度压缩算法分别应用于静态网络和动态网络，其中在静态网络中以DQN为基础进行优化，而动态网络中以训练精准度和通信时间的增长[0041](3)本发明提出的自适应分布式梯度压缩算法可以实现训练时间和测试精准度的7[0042]图1是本发明的基于Top-k的支持复杂网络状况的自适应分布式梯度压缩方法的[0054]实施例中，将精准度和通信时间归一化后生成奖励值并作为奖励函数中的一部min和vmax分别表示可接受的最低训练精准度和最大通信时间间隔。[0059]Accu为每一轮运算的训练精准度，Accumin为一轮运算中[0062]Delaymax表示以任意限定范围内的压缩比率来压缩梯度，运行完成完整的全体数据集所需要的最长训练时间，Delaymin则表示相应的运行完成完整的全体数据集所需要的8[0063]S23，针对动态网络场景，各节点收集前若干轮数段的训练精准度和梯度通信时[0064]S24，在各个分布式节点中运行基于训练精准度和通信时间增长速度的自适应压差绝对值除以前若干轮相邻轮数训练精准度之差的绝对值之和来获取相应的比例从而描[0065]通过比较精准度和通信时间的增长速度确定当前情况下精准度和通信时间对压[0067]精准度的增长速度利用最近的相邻两轮精准度差值的绝对值除以特定轮数内连[0068]通信时间的增长速度利用最近的相邻两轮通信时间差值的绝对值除以特定轮数[0069]通过比较精准度和通信时间的增长速度确定当前情况下精准度和通信时间对压[0077]使用CIFAR-10和CIFAR-100数据集中的多目标图像分类，其中CIFAR-10训练数据用CIFAR-10数据集在ResNet-18，VGG-19深度网络模型上运行，CIFAR-100数据集在于静态网络场景的最终测试精准度，表2是本发明和现存梯度压缩算法适用于动态网络场景的最终测试精准度，表3是本发明应用于静态网络场景与现存梯度压缩算法的运行时间9[0090]在完成归一化，将计算得出对应的模型精准度奖励Acc-Reward和通信时间奖励例只设置当前位于第t时刻的情况。提取前w窗口轮数的训练精准度集合和通信时间集合，其中训练集精准度增长速度是利用最近的相邻两轮精准度差值的绝对值除以特定轮数内度增长速度和通信时间增长速度乘以相应的影响系数α,β后，通过比较对应的增长速度快[0094]结合表1，表2可以看出本发明所提出的支持复杂网络自适应梯度压缩算法AdaTopK的精准度表现不及在其余模型中的精准度表现，但依然保持了较少的训练时间。缩算法则要尽可能