CN119443315A 基于迁移学习的跨数据中心存算协同训练加速方法 （湖南科技学院）

基于迁移学习的跨数据中心存算协同训练本发明公开了一种基于迁移学习的跨数据第一数据中心对深度学习模型进行初始训练生源使用情况和任务需求实时调度存储资源和计资源调度策略监控各异构数据中心的资源利用局优化模型参数集应用于各异构数据中心的后2S1、在多个异构数据中心中部署深度学习模型的初S2、在第一数据中心对深度学习模型进行初始训练生S3、在各个异构数据中心基于第一模型参数集进S4、建立异构数据中心的动态权重调整机制，S5、根据参与权重分配不同的计算资源给各异S6、在跨数据中心的环境中建立分布式协同S7、通过智能数据流管理系统优化数据在各异构数S8、通过动态资源调度策略监控各异构数据中2.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其每个异构数据中心DCi具有不同的硬件资源配置HRi和数据数据集特性DSi包括数据集规模Si和数据集结构Ti，其中Ti表示数据集的特征维度和标i+δ13i表示异构数据中心DCi的训练适应度；i为异构数据中心DCi的当前任务优先级，Nik为异构数据中心DCi上第k个计算节3.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其14.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其4j的正则化项；权重矩阵Wj,t和偏置向量bj,t在第t次迭代中的更新规则S34、在异构数据中心DCj上的迁移学习任务达到设定的停止条件后生成本地深度学习5.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其数据集复杂度Cj通过数据维度dj和标签S42、结合异构数据中心DCj的本地深度学习模型参数集θj定义其在模型训练中的参数jS43、基于实时资源利用率Uj、数据集复杂度Cj和526.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其total表示训练任务可用的总计算资源量，Rj表示分配给异构数据中心DCj的计算S54、根据优先函数Φj选择每个数据中心的资源集合Sj中的计算节点以满足当前的训新的动态参与权重Wj和优先函数Φj实时调整资源分配。7.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其S74、在每个异构数据中心内部通过智能数据流管理系统监控数据传输延迟和带宽利S75、在多任务并行处理中为各数据中心的任务队列分配优先级，根据任务优先级函S77、在训练任务执行过程中，实时监控各异构数据中心的资源使用和数据流传输情8.根据权利要求1所述的一种基于迁移学习的跨数据中心存算协同训练加速方法，其6Ej定义为：j为异构数据中心的本地模型在验证集上的准确率；7[0003]现有技术中部分系统尝试采用分布式深度学习架构将训练数据和计算任务分散[0006]本发明的一个目的在于提出一种基于迁移学习的跨数据中心存算协同训练加速8置HRi和数据集特性DSi构建异构数据中i+δ19j的正则化项；本地权重矩阵Wj,t和偏置向量bj,t在第t次迭代中的更新B,ci,sn和为深度学习模型参数的梯度；[0065]S42、结合异构数据中心DCj的本地深度学习模型参数集θj定义其在模依据新的动态参与权重Wj和优先函数Φj实时调整资源分配。[0087]S74、在每个异构数据中心内部通过智能数据流管理系统监控数据传输延迟和带[0096]其中，表示异构数据中心的损失函数从初始到当前的下降量，能指标Ej定义为：[0105](1)本发明通过动态参与权重计算与模型参数加权融合方法，依据各异构数据中[0106](2)本发明对数据在各异构数据中心间的传输路径进行优化，并结合计算资源的[0107](3)本发明根据参与权重和实时负载调整各数据中心的计算资源分配比例，确保同时训练任务执行中的资源争夺现象减少了3[0109]图1为本发明提出的一种基于迁移学习的跨数据中心存算协同训练加速方法的流[0111]参考图1，一种基于迁移学习的跨数据中心存算协同训练加速方法，包括如下步置HRi和数据集特性DSi构建异构数据中i+δ1j的正则化项；本地权重矩阵Wj,t和偏置向量bj,t在第t次迭代中的更新[0169]S42、结合异构数据中心DCj的本地深度学习模型参数集θj定义其在模依据新的动态参与权重Wj和优先函数Φj实时调整资源分配。[0191]S74、在每个异构数据中心内部通过智能数据流管理系统监控数据传输延迟和带[0200]其中，表示异构数据中心的损失函数从初始到当前的下降量，能指标Ej定义为：员使用了两个公开可用的数据集—AmazonReviews和Movielens25M进行实验，两个数据模拟了数据中心分布在不同区域的真实情况并针对资源异构性和数据集特性差异进行了[0210]AmazonReviews：包含来自2018年到2020年的电子商务平台用户评论，共计约[0212]两个数据集按8:2的比例划分为训练集和测试集，分别用于各数据中心的本地训768，训练过程中设置批次大小为128，学习率为0.001，使用89.282.31.52.8训练总时间减少了50