机器学习系统与优化 习题及答案 第五章

解释分布式机器学习的概念。某模型训练集共10000个样本，采用数据并行策略，由4个Worker节点共同训练，假设样本均匀分配（无数据倾斜）。问题：（1）每个Worker负责训练多少个样本？（2）若每个Epoch（遍历全部样本）中，每个Worker需要单独计算5轮局部梯度（即每个样本在Worker本地被使用5次），则单个Worker在1个Epoch内共处理多少个样本？在计算并行模式下，对数据生成方式又怎样的假设，它们各自有哪些特点？请简述分布式机器学习中“数据并行”与“模型并行”的定义，并说明它们各自的适用场景。解释使用MA，ADMM和SSGD算法模型的聚合逻辑。介绍MA算法的工作原理。在分布式机器学习中，ADMM与随机梯度下降（SGD）的分布式版本（如参数服务器+SGD）是两种常见的优化方法。请从以下角度对比两者的差异：优化目标：是否要求目标函数可微/凸？适用场景：分别更适合什么样的分布式任务（如大规模模型、实时更新、强约束问题等）？ADMM的核心思想是什么？为什么它适合解决分布式机器学习中的优化问题？在分布式机器学习中，ADMM通常将全局优化问题分解为多个局部子问题。假设某分布式系统有N个节点，每个节点存储局部数据，目标是最小化全局损失函数minw i=1N在分布式训练中，“同步更新”和“异步更新”是两种常见的参数更新策略：（1）同步更新中，所有Worker必须等待最慢的Worker完成计算后再统一更新参数，这种策略的优缺点是什么？（2）异步更新允许Worker独立更新参数，无需等待其他节点，这种策略可能导致什么问题？在什么场景下更适用？习题51.分布式机器学习是一种通过多台计算机协同工作来训练大规模机器学习模型的技术。其核心思想是将大规模数据集和复杂的计算任务分解为多个子任务，分别分配到集群中的不同计算节点上进行处理，最后通过协调机制将各节点的计算结果汇总，完成全局模型的训练。2.（1）样本均匀分配时，每个Worker的样本数=总样本数÷Worker数量=10000÷4=2500个。（2）单个Worker在1个Epoch内处理的样本数=本地样本数×局部训练轮数=2500×5=12500个。3.在线数据生成和离线数据生成。在线数据生成假设每个工作节点访问的数据是按照真实分布即时生成的。这种假设对理解计算并行算法的理论性质有帮助。离线数据生成则假设数据按照真实分布事先生成了一个离线数据集，之后每个工作节点再从该数据集中按照均匀分布重复采样以获取训练所需的数据。在实际应用中，训练数据通常是事先离线生成的，因此离线数据生成更符合现实场景。计算并行模式通过共享内存的方式，避免了数据划分和通信开销，能够高效利用多线程资源，适合处理数据和模型规模较小的场景。4.数据并行：每个Worker持有完整模型，训练不同数据子集，通过同步参数保持一致（如梯度平均），适用于数据量大、模型较小的场景（如CNN图像分类）。模型并行：将模型拆分到不同Worker（如按层拆分），每个Worker计算部分模型输出，适用于模型过大（单设备存不下）的场景（如超大规模语言模型）。5.算法模型聚合的逻辑模型平均（MA）wADMMw同步随机梯度下降法（SSGD）w6.在MA算法中，各工作节点基于本地数据对本地模型进行多轮独立迭代更新，直到本地模型收敛或达到预设的迭代轮数阈值。随后，各节点将本地模型参数发送至中心节点进行聚合，计算全局模型的均值，并以此均值作为新的全局模型继续训练。这一过程减少了通信开销，提高了训练效率。7.（1）优化目标：ADMM适用于凸/非凸问题，对目标函数光滑性要求低；SGD更依赖目标函数可微性。（2）适用场景：ADMM适合带复杂约束（如正则化、隐私约束）的任务；SGD适合大规模数据、需快速迭代的场景（如深度学习）。8.ADMM核心思想：通过引入辅助变量和拉格朗日乘子，将全局优化问题分解为可并行求解的局部子问题，各节点独立求解局部子问题后，通过协调变量和乘子更新实现全局一致性。适合分布式场景的原因：无需集中所有数据，各节点仅需交换少量协调变量（而非原始数据），且局部子问题可并行计算，适配数据分散存储、节点算力异构的特点。9.全局问题等价于minw1,w2,w10.（1）同步更新优点