大语言模型通识微课课件：什么是分布式处理

大语言模型通识微课

什么是分布式处理大语言模型的模型参数量和所需训练数据量的规模持续急速增长，更大的模型可以进一步提升效果，同时也展现出解决多种不同类型任务等能力。但是，训练巨大的模型必然需要底层基础软件和芯片支撑。这时，单个机器有限的资源已无法满足训练要求，GPU在过去几年中增长在10倍数量级，显然跟不上模型10000倍的规模增长。硬件不够，软件来凑。深度学习框架的分布式训练技术强势地支撑起了模型的快速增长。分布式训练系统被设计来解决海量计算和内存资源需求问题，其中涉及集群架构、并行策略、模型架构、内存优化、计算优化等技术。微课7.1什么是分布式处理为满足大数据处理需求，将一组计算机组织到一起形成集群，利用集群来处理大数据的工程实践逐渐成为主流，这种使用集群进行计算的方式被称为分布式计算，当前几乎所有的大数据系统都是在集群进行分布式计算的。分布式计算概念背后的思想十分朴素，即分而治之，它是将一个原始问题分解为子问题，多个子问题分别在多台机器上求解，借助必要的数据交换和合并策略，将子结果汇总即可求出最终结果。

图7-1分而治之的算法思想7.1.1分而治之分布式计算有很多成熟的方案，其中比较有名的有消息传递接口（MPI）和MapReduce。MPI是一个老牌的分布式计算框架，主要解决节点间的数据通信问题。在前MapReduce时代，MPI是分布式计算的业界标准，现在依然广泛运行在全球各大超级计算中心、大学、政府和军队下属研究机构中，许多物理、生物、化学、能源、航空航天等基础学科的大规模分布式计算都依赖MPI。7.1.1消息传递接口MPI图7-2展示了MPI架构在4台服务器上进行并行计算。在实际的代码开发过程中，用户需要自行设计分治算法，将复杂问题切分为子问题，手动调用MPI库，将数据发送给指定的进程。

图7-2MPI并行计算示意图7.1.1消息传递接口MPI为了解决分布式计算学习和使用成本高的问题，研究人员提出了更简单易用的MapReduce编程模型。MapReduce编程模型只需要程序员定义两个操作：map（映射）和reduce（减少）。比起MPI，MapReduce编程模型将更多的中间过程做了封装，程序员只需要将原始问题转化为更高层次的API，至于原始问题如何切分为更小的子问题、中间数据如何传输和交换、如何将计算伸缩扩展到多个节点等一系列细节问题可以交给大数据框架来解决。因此，MapReduce相对来说学习门槛更低，使用更方便，编程开发速度更快。7.1.2MapReduce数据与数据流。在现代通信技术中，数据的容量大且产生速度快。从时间维度上讲，数据源源不断地产生，形成一个无界的数据流（见图7-4）。

图7-4有界与无界数据流7.1.3批处理和流处理例如每时每刻的运动数据都会累积到手机传感器上，金融交易随时随地发生着，传感器会持续监控并生成数据。数据流中的某段有界数据流可以组成一个数据集。我们通常所说的对某份数据进行分析，指的是对某个数据集进行分析。随着数据的产生速度越来越快，数据源越来越多，人们对时效性的重视程度越来越高，如何处理数据流成了大家更为关注的问题。7.1.3批处理和流处理批处理。这是对一批数据进行处理。批量计算比比皆是，最简单的批量计算例子有：微信运动把用户好友一天所走的步数统计一遍，生成排序结果后推送给用户；银行信用卡中心每月账单日有一个批量任务，把一个月的消费总额统计一次，生成用户月度账单；国家统计局每季度对经济数据做一次统计，公布季度GDP增速。可见，批量任务是对一段时间的数据聚合后进行处理。对于数据量庞大的应用，一段时间内积累的数据总量非常大，计算非常耗时。批量计算应用最为广泛的是数据仓库的ETL（提取-转换-加载）数据转化。7.1.3批处理和流处理流处理。数据其实是以流方式持续不断地产生着，流处理就是对数据流进行分析和处理，时间对流处理获取实时数据价值越发重要。例如电商大促销中管理者要以秒级的响应时间查看实时销售业绩、库存信息以及与竞品的对比结果，以争取更多的决策时间；股票交易要以毫秒级的速度来对新信息做出响应；风险控制要对每一份欺诈交易迅速做出处理，以减少不必要的损失；网络运营商要以极快速度发现网络和数据中心的故障等等。以上这些场景，一旦出现故障，造成服务延迟，损失都难以估量，因此，响应速度越快，越能减少损失，增加收入。7.1.3批处理和流处理分布式处理和并行处理是为了提高并行处理速度采用的两种不同的体系架构。并行处理是利用多个功能部件或多个处理机同时工作来提高系统性能或可靠性的计算机系统，这种系统至少包含指令级或指令级以上的并行。分布式处理则是将不同地点的，具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来，在控制系统的统一管理控制下，协调地完成大规模信息处理任务的计算机系统。并行处理系统与分布式处理系统有密切的关系，随着通信技术的发展，两者的界限越来越模糊。广义上说，分布式处理也可以认为是一种并行处理形式。7.1.4分布式处理和并行处理分布式处理系统包含硬件、控制系统、接口、数据、应用程序和人等六个要素。控制系统中包含了分布式操作系统，分布式数据库以及通信协议等。分布式计算环境是在具有多地址空间的多计算机系统上进行计算和信息处理的软件环境。而分布式软件系统是支持分布式处理的软件系统，它包括分布式操作系统，分布式程序设计语言及其