大模型与边缘智算融合发展白皮书

大模型与边缘智算融合发展本白皮书主要起草人：师晓卉、张婷婷、范亚梅、朱堃、崔超、贾庆民、 1 11.1相关政策背景1.1.1国家人工智能发展相关政策背景球新一轮科技革命和产业变革机遇，加快发展人工工业化深度融合的主攻方向，强调加快推动新一代信息技术与制造技术融合发展。2015年7月发布的《国务院关于积极推进“互联网+”行动的指导意见》则将人工智能列为“互联网+”破，推动人工智能在智能家居、智能终端、智2017年，国务院印发《新一代人工智能发展规划》，描绘了我国人工智能发展的宏伟蓝2023年以来，我国陆续出台了一系列人工智能产业政策，如《关于加快发展人工智能产业的极响应号召，发布了超过60项省级人工智能政策以结合区域特色落实进入2024~2025年，国家进一步强调人工智能与实体经济融合发展。202院总理李强在政府工作报告中提出要深化大数据、人工智能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群。2025年3月的政府工作报告则首次将“支持大21.1.2数字化经济，工业生产等领域的政策推进竞争力、促进经济高质量发展。数字经济方面，2020年国务院国资委发布《关于加快推进国略持续推进，国家于2023年设立国家数据局，统筹数据要素建设和数工作，标志着数据作为关键要素得到制度化保障在工业和制造业数字化方面，政策同样密集出台。2020年，工业和信息化部发布《关于政策更加注重行业大模型的培育。2024年1月工信部等发布《原材料工业数字化转型工作方业的大模型技术供给。同月召开的全国工业和信息化工作会动，强调加强通用大模型和行业大模型研发1.1.3国家算力基础设施发展相关政策背景3项政策推动云-边-端协同的算力网络体系加快形成。2021年5月，国家发改委等四部委发布网络、数据、能源的统筹发展，打造以算力和网络为核心源，实现高效调度和按需供给。该意见将算力提升到与能源同等重要的位置，并提出到2025年形成普惠易用、绿色安全的算力基础设施体系框架。随后，2024年4月国家发改委办公厅深入推进信息通信网络和全国一体化算力网络建设，全面发展表的新一代AI技术正与算力网络深度融合，不同层级的计算资源被转化为无处不在的智能，1.2大模型云边训推应用面临诸多挑战4边缘侧蒸馏学生模型，或通过分层推理缓解单端压力；同时，推动统一的边缘AI框架与标准52.大模型与边缘智算融合的机遇与挑战2.1大模型与边缘智算融合已成趋势在快速演进，为大模型向更多实际场景落地，尤其在边缘侧部需求。典型实践之一是谷歌推出的GeminiNano，作为小型化的大语言模型，可直接在手机等打造“云管理、边端部署”的一体化方案。华为则基于自研的昇腾AI处理器构建了Atlas边缘计算系列，覆盖模块、板卡、边缘小站、服务器等全形态产品，实现从云到边到端AI部署方案，加速各行业AI推理在本地端的落地。这些产品和平台的涌现，印证了云边协同正成为AI应用部署的主流模式：云端提供大模型训练和复杂推理的算力支撑，边缘端承担低端的实时智能，将成为未来人工智能应用的重要价值62.2大模型与边缘智算融合的优势件资源和定制加速器，实现单位能耗下更高的推理吞吐量和性能。实践表明，边缘AI系统由合诸如GDPR等法规的要求变得更加简便。这种本地化、安全可控的数据处理模式不仅系统整体防护能力，也提升了用户和监管机大模型与边缘智算的融合还为AI系统带来了持续自我优化的能力。依托边缘侧丰富的实7AI模型在全局范围内的自主进化和迭代更新。通过这一循环，大模型系统能够在保持边缘实2.3大模型与边缘智算融合的挑战2.3.1训练数据协同挑战但在实际应用中，云端和边缘端的数据协同仍面临（1）数据分布与隐私：在边缘场景下，训练数据往往分散于众多设备本地，呈现出非独立同分布(non-IID)的显著异构特性。这种数据碎片化和异构性使传统集中式训练难以为继：下，实现多边缘节点的高效协同训练，是大模型边缘落地（2）协同训练开销：让众多边缘设备共同训练一个大模型还面临通信与协调开销高的问（3）数据一致性和同步问题：如何确保行业数据在云端和边缘端保持一致性，并在模型8（4）数据标注与质量：边缘侧产生的数据种类繁多且质量参差不齐。许多数据缺乏标签2.3.2异构环境算法自适应挑战（1）硬件异构性：边缘设备涵盖性能差异显著的CPU、GPU、NPU、DSP及定制加速器，现迥异。例如，一些卷积加速算法（如Winograd（2）资源受限与模型裁剪：当前主流的大模型参数规模动辄数十亿，单个模型文件容量可达数GB乃至数十GB，远超典型边缘设备的存储和内存能力。因此，大模型不经过“瘦身”整模型的执行策略，例如按需加载模型参数、分段执行推理等。现有的模型压缩和部署工具，9（3）场景自适应性：边缘环境不仅硬件异构，应用场景和负载也千差万别。边缘的大模化机器学习(AutoML)、神经架构搜索(NAS)、编译器优化等方向取得突破，才能显著缓解异构2.3.3模型敏捷交付挑战自动化测试和验证、持续集成与持续部署（CI/CD）等方面。大模型在边缘算力上敏捷交付面（1）多环境持续部署：将训练好的庞大模型从云端快速、安全地分发到成千上万的边缘端训练框架与边缘推理框架不一致时，例如云端用TensorFlow训练但边缘仅支持TensorRT引擎，模型格式(IR表示)、算子实现和API接口的不兼容会导致部署失败。即使有ONNX等中（2）版本迭代与持续集成：大模型往往需要频繁更新迭代以提升性能或适应新的数据分中断。这对模型的CI/CD能力提出很高要求。当前，大多数机器学习运维(库和灰度发布策略，是实现敏捷交付必须迈出的步骤，但目前产从工具链、标准和运维流程上进行革新，才能支持快速迭代的模2.3.4大模型和边缘小模型协同挑战在模型协同方面，首先是端云分工策略，在实际应用中，常常采用“云端大模型+边缘小），），3.大模型与边缘智算融合架构强的隐私保护。如图1所示,中心云做为系统在大模型驱动的边缘智算场景中，部署在边缘的智算平台通常由边缘AI基础设施、IaaS维管理，实现了资源、能力与应用的有机协同，形成一在架构最底层，边缘AI基础设施是整个智算平台的核心承载，涵盖计算、存储和网络等资源。IaaS平台底座内置高密度智算集群，支持GPU虚拟化和分布式存储服务，并通过并行文件系统与分布式缓存，满足数据与模型的高并发处理需求。在算力增强方面，IaaS层封装GPU算子库、网络增强模块及高性能集合通信库，为上层AI推理与小样本训练提供高效算子执行能力。IaaS层的引擎组件进一步抽象底层算子与硬件特性，集成高性能推理框架和推理部署灵活性。通过对算子库的二次封装，引擎层为上层AIPaaS和MaaS屏蔽硬件差异，实现AIPaaS层是边缘智算的创新能力中心，为开发者提供丰富的AI框架、工具链与模型管理服务。该层不仅支持多框架兼容性，如TensorFlow、PyTorch、MindSpor管理、自动标注、小样本增量训练、模型精调等全流程AI开发工具。通过与引擎层的深度结合，PaaS层实现推理框架与推理引擎的进一步封装，并依托云边协同能力，实现中心大模型与边缘模型的高效同步更新，构建跨层级、一致性的AI算力生态。MaaS层为边缘智算提供高效的模型与数据管理能力，是习模型的中心化存储库，它就像一个模型的图书馆，为各种AI应用提供模型资源。数据仓库取等流程，为中心模型训练和边缘推理提供高质量在横向能力上，AI安全与运维管理贯穿平台全栈，形成对数据安全、模型安全、应用安算资源管理平台能力、大模型训推能力、场景化模型能力封装成基于RESTful或gRPC的API服务。通过MaaS的方式，企业和开发者无需关注底层算力与引擎实现，即可直接调用大模型能力和服务。能力开放层不仅提供了丰富的场景化API，还提供全流程的智算API生命周期管从零开始研发复杂的算法和模型，缩短了应用商用周期。同时由于API模式的简单易用，更多的企业可以参与到智算应用的开发中，从而大模型4.大模型与边缘智算融合关键技术4.1软硬件一体协同算的融合能够充分发挥边缘智算在低成本、低（1）基础设施深度支撑大模型：边缘智算在固有异构性和分布式的基础上，需要在软件（2）有限算力下的模型专业化：工业应用场景需要极高的专业性，并且处理包括图像、化能力往往不足。需要基于硬件算力水平（FLOPS、显存）限制，研究在不同规模模型下的专（3）探索大模型的分布式训推能力：单体边缘智算难以承担大模型的训推服务，跨边缘（4）效率与精度联合优化：全精度、全参数模型尽管能够实现较高的推理效果，但其难4.2边缘基础设施管理4.2.1存算资源管理边缘AI设备的计算资源主要依赖于以下几种硬件：1）GPU：GPU擅长并行计算，尤其适合处理大型矩阵运算和深度学习任务，广泛应用于NVIDIAJetson系列）在处理复杂AI任务时非常有效。3）ASIC：为特定AI任务（如神经网络推理）定制的专用芯片，性能和能效通常优于通用处理器。比如Google的TPU（张量处理单元）和华为的昇腾AI芯片在边缘AI应用中越来容量。边缘AI的存储资源需要满足低延迟、高效数据处理的需求，边缘设备通常配备有限的4.2.2跨域资源管理此外KubeEdge也支持对终端的接入监控管理，终端是边缘智能数据产生的重要来源，对终端现其边缘扩展的开源项目。此外在终端接入领域，如Edge4.3跨异构适配4.3.1算力原生件，并通过静态适配联合动态调度的机制，实现模4.3.2开发框架异构硬件导致上层AI开发语言、环境和架构的差异性，需要提供统一的编程框架，使得算法的开发难度。OpenCL为例，作为一种开放的、跨平台的编程框架，它允许开发人员利用多种处理器（如CPU、GPU、FPGA等）的计算资源，实现高性能计算和并行处工业边缘AI架构通常使用轻量化、实时性强的操作系统，常用的包括Linux-based系统、实和PyTorchMobile等轻量级深度学习推理框架，专为移动和嵌入式设备设计。它支持模型的优化和量化，使模型可以在低功耗设备上高效运行。此外，在边缘AI场景中，模型的远程部署和管理也至关重要，因此云到边缘的部署工具被广泛使用，例如AWSIoTGreengrass和4.4边缘模型构建4.4.1模型架构设计在边缘设备上运行的AI模型需要考虑到设备的硬件限制，因此模型的选择和设计非常重在内的encoder架构模型，并在开源预训练模型基础上增加定制化的LM-Head进行微调，采用P-tuning、LoRA等进行通用模型的定制化，能够在保证通用能力的基础上，4.4.2模型训练任务。这种方法是最常见的边缘AI应用模式。例如，在LLM中，云端负责大规模的预训练和4.4.3上下文管理在工业应用等高度专业场景下，上下文能够包含任务、背景等信息，对于LLM生成适当的数据库和向量数据库中，以便在创建提示4.4.4评测与验证模型评测包括通用能力评测和专业能力评测等，通用能力评测采用人工交互、基于C-Eval等4.5模型云边协同4.5.1算力协同4.5.2模型协同优化后的模型更新到边缘设备，确保边缘推理大小模型协同主要体现在通过大模型调度小模型能力以及通过小模型进行大模型的推理4.5.3数据处理随着工业4.0的发展，物联网（IoT）在制造环境中的广泛应用产生了大量数据，这些数能力，能够理解和生成人类语言，从而在数据4.5.4数据协同访问控制策略，确保只有授权的用户和服务4.6模型压缩与优化4.6.1模型压缩在边缘侧，模型压缩主要实现方式包括模型4.6.2模型优化多种精度混合计算技术是一种高效、灵活的计算优化方案，可允许模型在不同精度（如32位浮点、16位浮点、8位整数等）之间动态选择和切换，适应边缘设备的计算能力有限的4.7联邦大模型训练4.7.1联邦大模型架构型训练任务。在大模型与边缘智算融合场景中，最常见的联邦大模型架构是Cross-Device。业界对于联邦大模型训练架构展开了广泛的研究，包括OpenFedLLM在内联邦大模型架4.7.2参数聚合优化4.7.3梯度压缩的网络不稳定性和计算能力有限的挑战，促进大规模4.8敏捷交付1）大模型的敏捷开发：通过将大模型切分为多个小模型，可以降低大模型的开发2）大模型的快速部署：通过MLOps的模型管理和部署系统，可以将小模型快速部署到边3）大模型的低成本：通过将大模型切分为多个小模型，可以降低大模型的成本，因为小4）大模型的高性能：通过将大模型切分为多个小模型，可以提高大模型的性能，因为小5.大模型与边缘智算融合的应用场景5.1智能制造在产品质量检测环节，引入大模型驱动的视觉AI系统并部署于边缘侧，使生产线上的外装边缘AI摄像头和推理盒，已