智算运维发展研究报告

C0NTENTS 01我国智算服务发展概述 1 1 3 4 02智算运维服务的挑战与需求 6 62.2智算运维的需求 9 03智算运维的能力构建 3.2智能化运维平台 3.3组织与人才体系 3.4运维知识持续沉淀 04智算运维质量评价指标体系建设 4.2指标模型构建 05智算运维未来的发展趋势 趋势—:智算服务正成为综合算力发展的关键要素 趋势二:—体化智算运维将成为主流 趋势三:液冷技术助力智算行业绿色低碳发展 趋势四:算力资源—体化调度将成为趋势 趋势五:数据安全重要性日益凸显 06智算运维最佳实践 20 206.2科大讯飞智算运维最佳实践 2501近年来,新—代人工智能快速发展,智算需求快速增长,智算基础设施和智算服务的发展质量已成为影响国家竞争力的关键因素之—。习近平总书记强调,要加快新型基础设施建设,加强战略布局,加快建设高速泛在、天地—体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施,打通经济社会发展的信息“大动脉”。各部委和地方政府出台多份鼓励政策,支持智算经济高速发展。2023年10月,工业和信息化部等六部门发布《智算基础设施高质量发展行动计划》,计划提到“以构建现代化基础设施体系为目标,面向经济社会发展和国家重大战略需求,稳步提升算力综合供给能力,着力强化运力高效承载,不断完善存力灵活保障,持续增强算力赋能成效,全面推动算力绿色安全发展,为数字经济高质量发展注入新动能。2024年5月,国家发改委、国家数据局、财政部、自然资源部联合印发《关于深化智慧城市发展推进城市全域数字化转型的指导意见》,意见指出“统筹推进城市算力网建设,实现城市算力需求与国家枢纽节点算力资源高效供需匹配,有效降低算力使用成本”。截至2024年12月,我国智算行业政策汇总信息如下(部分):11智算运维发展研究报告(2024)表—我国智算行业政策汇总信息发布时间发布单位政策文件重点内容解读2024.5国家发改委国家数据局财政部自然资源部《关于深化智慧城市发展推进城市全域数字化转型的指导意见》统筹推进城市算力网建设，实现城市算力需求与国家枢纽节点算力资源高效供需匹配，有效降低算力使用成本。2024.1工业和信息化部教育部科技部交通运输部文化和旅游部国务院国资委中国科学院《关于推动未来产业创新发展的实施意见》推动下一代移动通信、卫星互联网、量子信息等技术产业化应用，加快量子、光子等计算技术创新突破，加速类脑智能、群体智能、大模型等深度赋能。2023.12国家发展改革委国家数据局中央网信办工业和信息化部国家能源局《关于深入实施“东数西算”工程加快构建全国一体化智算网的实施意见》以算力高质量发展赋能经济高质量发展为主线，充分发挥全国一体化算力网络国家枢纽节点（以下简称“国家枢纽节点”）引领带动作用，协同推进“东数西算”工程，形成跨地域、跨部门协同发展合力，统筹通用算力、智能算力、超级算力协同计算，东中西地区及大中小城市协同布局，算力、数据、算法协同应用，算力和绿色电力协同建设，算力发展和安全协同保障，构建联网调度、普惠易用、绿色安全的全国一体化算力网，助力网络强国、数字中国建设，打造中国式现代化的数字基座。2023.12国家发展改革委国家数据局《数字经济促进共同富裕实施方案》深入实施“东数西算”工程，加快推动全国一体化算力网建设。以8个国家算力枢纽、10个国家数据中心集群为抓手，立体化实施“东数西算”工程，深化算网融合，强化网络支撑，推进算力互联互通，引导数据要素跨区域流通融合。2023.10工业和信息化部中央网络安全和信息化委员会办公室教育部国家卫生健康委中国人民银行国务院国资委《算力基础设施高质量发展行动计划》到2025年，计算力方面，算力规范超过300EFLOPS，智能算力占比达到35%，东西部算力平稳协调发展。运载力方面，国家枢纽节点数据中心集群间基本实现不高于理论时延1.5倍的直连网络传输，重点应用场所光传送网（OTN）覆盖率达到80%，骨干网、城域网全面IPV6，SRV6等创新技术使用占比达到40%。2022.10国务院办公厅《关于印发全国一体化政务大数据体系建设指南的通知》合理利用全国一体化大数据中心协同创新体系，完善政务大数据版图管理措施，融合建设全国一体化政务大数据体系主节点与灾备设22智算运维发展研究报告(2024)1.2智算服务的技术和理念智算服务是—种通过整合计算资源(如GPU/NPU)、存储资源、网络资源,并结合人工智能算法、模型等,为用户提供的用于处理复杂智能计算任务的服务。例如,在深度学习领域,企业或科研机构可以运用智算服务,快速进行大规模的数据训练和模型推理,就像—智算服务整体架构如图—简图所示,涉及了从基础设施层到Al模型应用层等多个层面。旨在通过各层级服务的组合,实现整体智算中心运行效率的提高、维护成本的优化,同时增强系统的扩展性和灵活性。当前,智算服务已经迈过概念期,在互联网、运营商、政府、金融等各行业得到了充分应用,未来还将得到进—步推广。Al开发平台AI应用AI模型AI平台AI基础硬件Al框架图—智算服务架构图33智算运维发展研究报告(2024)尽管智算服务为用户提供了强大的计算支持,但其稳定性和持续性输出离不开智算运维的有效支撑。智算运维则专注于智算基础设施及业务场景的维护和管理,通过对各层智算资源提供故障检测、性能调优等专业的维护和管理服务,确保智算集群的长稳运行,进而实现智算运维的保障,—方面需要通过实施高可用架构、全链路监控、精细化管控、智能化运维等技术手段,优化lT技术架构,实时监测智算训练任务状态,及时发现潜在问题,快速重提恢复故障,保障智算集群的持续高效运行。另—方面,需要强化智算训练业务部门与运维部门之间的紧密协作,实现数据拉通、流程贯通、信息畅通,有效提升智算训练任务的整体效率和质量,促进运维管理的高效化、智能化和协同化。1.3智算服务的意义随着人工智能、大数据等技术的不断发展,大模型加速向垂直行业和领域渗透,智算市场将继续保持高增长态势。据工信部等六部门联合印发的《算力基础设施高质量发展行动计划》发展目标,我国2023-2025年算力规模复合增长率预计达到18.5%,2024年新增算力规模将接近40EFIoPs,算力核心产业规模有望突破2.4万亿元。智算服务已成为数字经济增长、带动数字产业化发展、助推产业数智化转型升级的新引擎,全球技术战略竞争中的新高全球各国智算规模与经济发展水平密切相关,经济发展水平越高,智算规模越大。据中国信息通信研究院发布的《中国算力发展指数白皮书(2023)》,算力每投入1元,将带动3~4元的经济产出。由智算带来的数字化智能技术不仅为制造、交通、零售等多个行业带来产业产值增长,还带来了生产效率提升、商业模式创新、用户体验优化等延伸性效益,对经在数字经济大环境下,智算运维基于业务价值出发,可大幅提升模型算力利用率、任务算力使用率、任务算力可用度、集群算力可用度以及任务有效训练时间,从多个维度发挥智算运维价值。智算运维可保障模型训练任务长期稳定,利用数智化思维重塑服务保障职能。此外,智算运维还可针对影响智算训练时长的节点进行分解,量化评估节点的有效性及运作44智算运维发展研究报告(2024)质量,再以量化指标及工作流程机制驱动智算服务组织能力提升、流程协同机制及工具完善,持续提升智算业务算力可用度。当前智算业务对于运维的要求不仅是训练任务不中断,还要求能够在业务部门发现问题前更早地识别并解决问题,加强业务系统的训练作业、性能管理,提升服务响应效率。智算运维不但要自下而上地解决基础设施的运维保障能力,还要从大模型训练任务视角出发,即从训练任务入手,将提升智算可持续训练时长作为首要任务,“自上而下”地对AI应用、AI模型及AI基础软件、基础硬件等资源,实现端到端的穿透,保障智算业务的用户粘性和整体55022.1智算运维的挑战随着智算服务不断深入,智算场景下的运维服务也面临着多方面的变化,如技术层面的自动化与智能化,服务流程层面的流程重构,资源管理层面的资源池化管理以及资源动态调度等。多样化的智能场景也需要多元化的算力,以AIGC(ArtificiaIInteIIigenceGeneratedContent,生成式人工智能)为代表的人工智能应用、大模型训练等新应用、新需求的快速崛起都对运维保障提出了更高要求。因此,智算运维面临着算力使用效率、故障管理难度、资源监控精度、资源需求匹配难度、全局可观测性和运维沉没成本等多方面的挑战。企业亟需通过健全智算运维体系、规范智算运维指标、建立跨部门协作机制等方式,进—步保障智(一)算力利用率低从模型层面来看,算力利用率(MFU,ModeIFL0PsUtiIization)是指模型训练过程中每秒实际消耗的算力(FL0Ps)与机器理论算力之间的比值,是衡量该训练任务对计算资源的使用效率。在AI训练过程中,由于各训练步骤之间需要强同步,任何硬件故障都可能导致同步失败,进而使训练任务失败,同时受限于芯片架构、内存和I/0(Input/0utput)访问瓶颈等因素,导致模型的算力利用率较低。从集群层面来看,集群线性加速比(CIusterLinearscaIingorLinearspeedup)指出,随着集群规模的扩大,集群的计算能力和支持的参数规模不断增大,但由于受到节点间通信能力、并行训练框架、算法调优等因素影响,无法直接带来集群有效算力的线性提升。66智算运维发展研究报告(2024)因此,对于智算集群使用者和稳定性看护者而言,需要系统性地制定优化措施和运维服务能力,提升模型算力利用率及集群算力可用度,从而保障集群的稳定运行和高效输出。(二)故障管理难度大相对于通算场景,智算集群存在单链路无冗余、低时延高带宽、瞬时负载激增等特点,存在单节点故障引发全局故障的问题。同时,万卡甚至万卡以上的更大集群由数千台/上万台智算服务器、交换机、存储设备以及数万根甚至十万根以上的光纤构成,训练任务涉及千万颗元器件满负荷高速运转,基于固有的元器件硬件失效率和海量的器件规模带来硬件故障频发;并且智算集群故障类型极其复杂,定界定位较困难,且故障发生后训练恢复的过程慢,检查点(Checkpoint,CKPT)加载时间长、故障处置过程耗时,导致整体故障管理难度大。故障定位方面,—是智算系统架构复杂,包含众多的硬件如高性能服务器、存储设备,软件包括操作系统、深度学习框架等诸多组件。故障发生时,很难迅速判断是硬件还是软件引发的问题。二是大模型训练任务流量模型复杂、通信链路长,故障类型包含训练卡顿、Loss训飞(损失函数的值突然变大,导致模型无法正常收敛)等诸多种类,—个故障可能是由某个数据节点异常、计算过程中的参数错误或者网络传输中断等多种因素导致。这些因素相互交织,且故障可能会在系统内传播,使得运维人员很难精准地定位故障的源头。故障处置方面,以光模块为例,智算场景对于光模块的洁净度要求高,在运维过程中,需使用端面检测仪等设备对光模块进行洁净度检查,若检测结果不符合标准,需通过专用清洁笔进行脏污清理,整个处置过程不仅耗时、耗力,而且要求极为精细、小心。(三)监控精度不足在智算场景中,对网络流量的精度要求也极为严格。传统网络设备流量监控以SNMP协议为主,通常只能精确到秒级,而在大模型训练过程中,计算与通信两阶段交替进行,任何细微的波动都可能影响模型的表现。例如在深度学习中,如果模型损失值突然在毫秒内急剧上升,可能会导致梯度爆炸等问题,此时,必须迅速捕捉到流量的微小波动,并做出及时的调整,否则将错失调整机会,导致模型训练失败或效果不佳。如果做不到流量波形变化以毫秒为单位来统计,就会导致监控结果失真和错位,进而影响问题的准确诊断和快速响应。此77智算运维发展研究报告(2024)外,光模块在长期运行过程中,性能会逐步衰退进入亚健康状态,并且其故障特征多种多样,这些因素共同加剧了网络设备流量监测的复杂性,进—步影响了Al集群的训练效率和任(四)资源需求匹配复杂智算资源与上层业务的匹配也面临着挑战。—方面,智算集群通常包含多种复杂的计算资源,如NPU、GPU等高性能计算单元,它们在处理不同类型的任务时具有不同的性能要求和资源需求。然而,由于不同智算任务之间对计算、存储、带宽等资源的需求差异巨大,资源与任务的精准匹配变得异常困难。在任务调度过程中,往往难以做到资源的最优配置,导致大量资源的分配不合理。另—方面,企业在智算资源的配置和管理上缺乏长远的规划和合理的资源使用模式,这使得资源的配置往往呈现过度配置的现象。尤其是在面对大规模、高复杂度的计算任务时,企业倾向于预留更多的资源来应对潜在的需求峰值,但这种超前配置往往无法灵活响应实际需求,导致了大量资源处于空闲或低负载状态。(五)全局可观测性不足由于智算系统本身的复杂性,它不仅涉及大量的硬件组件(如NPU、GPU、存储设备等)、软件组件(如操作系统、深度学习框架等),还有庞大的网络架构,这些组成部分彼此交织、协同工作,形成—个高度复杂的生态系统。在这种复杂环境下,传统的观测工具和手段往往无法全面覆盖系统中的所有组件和数据流,从而导致全局可观测性缺失,对问题的定位和修复变得异常困难。例如,数据在多个节点间流动,若某—节点性能下降,由于缺乏足够的全局可观测性,很难快速判断是硬件故障、软件冲突还是网络延迟导致的,从而造成故障修复延迟,影响整个智算集群的高效运行。(六)运维沉没成本高昂大模型的参数从百亿到千亿再到万亿,带动大模型算力的整体需求快速增长,伴随着千卡、万卡、十万卡的超大规模智算集群出现,模型能力从长序列,M0E、向多模态演进,将来带动持续的算力需求投资。但是,随着集群规模越大,硬件设备的问题密度大,—个关88智算运维发展研究报告(2024)键器件的失效,如光模块、光链路、NPU卡等,都会造成训练任务中断,庞大的数据集和高性能的计算资源损失,导致付出高昂的沉没成本。如何提高运维效率、提升集群效益是关注2.2智算运维的需求(一)智算经济亟需体系化的智算服务及运维能力支撑数字经济时代,企业不断提升智算软硬件投入,以强化自身的智算业务能力,中国企业智算支出水平大幅度上升。企业对智算设备的高额投入,带来了丰富的面向智算资源的运维需求。同时,在智算数字经济运营的需求下,智算软件的增加也创造了丰富的应用运维需求,企业可结合自身的业务和信息架构状况设置个性化的智算运维体系。从智算业务发展需求来看,完善智算运维体系建设,已成为推动企业智算大模型业务持续发展的必由之路。随着大数据、人工智能等技术的广泛应用,用户对智算资源的需求和长期稳定保障的要求不断攀升。为适应基础架构和智算业务形式的不断演变,企业亟需建立系统化的智算运维体系,以有效引导和支撑运维工作,提升智算运维能力,确保智算中心在高效能和稳定性方面始终处于最佳状态,满足智算业务高速发展的战略需求。(二)智算运维指标亟需系统化标准化的统一管理在数字经济时代大背景下,企业对于智算服务依赖性日益增强,以智算服务所产生的数据为基础进行经营决策已成为常态。通过对智算服务数据指标的深入分析,企业能够精准洞察商业场景,并实现决策落地。因此,迫切需要—套系统化、标准化的智算运维指标管理体系,以高效提升智算训练任务的持续性,并为业务决策提供有力支撑。智算运维指标体系的建设将围绕智算运维的关键能力要素强化与智算业务战略目标—致性,实时洞察智算业务运营状态,激发智算业务增长潜能,有效规避潜在风险,保持智算训练业务竞争优势。(三)智算运维需要训练作业保障和基础设施保障紧密协同智算服务部门的价值不再限于面向设备的运维服务,而是能够透过智算运行数据,洞察99智算运维发展研究报告(2024)企业智算业务拓展和内部管理存在的不足,帮助改善智算训练质量和业务管理水平,实现智算服务技术与训练业务的融合。智算运维的保障需要基础设施运维部门与大模型业务部门协力共建,确保双方的—致性,通过共同制定业务计划,促进技术与业务的紧密合作。定期组织跨技术与业务的部门会议,分享业务进展、技术动态和市场需求,确保双方信息畅通,鼓励基础设施运维服务人员和智算训练业务人员互相参与对方的工作,以便更好地了解双方的需求和挑战。建立跨职能项目团队,将运维服务人员和大模型业务人员组合在—起,共同解决智算训练问题和推动业务创新,从而实现企业智算运维部门与业务部门可以更好地融合并03智算经济亟需体系化的运维支撑,随着大模型技术的快速发展,各行业已经进入了数字化和智能化转型的关键时期,智算正在成为推动经济发展的核心驱动力,也是推动区域产业转型升级的新质生产力。然而,智算运维的复杂性远远超过传统通算运维,当前智算领域的运维仍相对处于起步阶段,缺乏标准化和体系化的指导,导致企业在智算运维过程中,往往依赖单点技术或自身经验进行“盲目实践”,大大增加了智算运维的不确定性和不可预测性。因此,智算运维亟需建立—套体系化的指导方案,通过规范化、标准化的服务流程和评估体系来保证服务的高可用性和高可靠性。结合传统运维经验和智算领域新特性来看,智算运维重点关注标准化运维流程、智能化运维平台、组织与人才体系、运维知识持续沉淀四个3.1标准化运维流程—是制定跨行业适配的标准化智算运维流程。针对不同行业对智算服务的需求和特点,制定适配各行业的差异化标准,包括但不限于事件管理、问题管理、变更管理、故障管理等关键领域。这—标准化流程将帮助运维团队在面对复杂多变的智算环境时,遵循统—的运维管理规范,减少操作误差和人为失误。二是加大跨部门协作的机制建设和流程拉通。智算运维涉及技术、产品、开发、运维等多个部门的协作,因此建立—个跨部门协作机制至关重要。通过加强不同部门之间的沟通和信息共享,打通各环节之间的流程,使得在发生故障或变更时,各部门能够高效协作、迅速响应。例如,当Al模型训练出现性能瓶颈时,运维团队需要与开发团队和Al算法团队密切配合,协同解决问题。同时,跨部门流程透明化,使得每个部门的职责和任务清晰明确,减少智算运维发展研究报告(2024)信息壁垒,提升响应效率和问题解决的速度。三是推动运维流程的自动化,利用自动化部署、监控、故障检测和自修复技术,减少人工干预,降低人为错误的风险。自动化的引入能够显著提高运维效率,减少重复性劳动,使运维团队能够专注于更复杂的技术问题和战略性任务。同时,自动化监控和报警机制有助于及时发现系统异常,并通过自动化修复流程迅速恢复服务,提升系统的可靠性和业务连续性。最终,通过建立标准化和自动化相结合的智算运维流程,可以提升智算服务的响应速度和整体效能,满足业务高效、稳定、可持续发展的需求。3.2智能化运维平台—是构建集中化、智能化、异构化的智算运维平台。智算服务通常跨越多个计算平台和环境,涵盖云计算、大数据、人工智能等不同计算场景,因此,平台化的运维工具必须具备高度适应性,能够支持多种计算平台的资源调度,实现高效性与灵活性的统—。在此基础上,亦可集成第三方厂商运维工具,如故障诊断、日志分析、监控平台等,进而提供更精确二是平台需要具备高效、稳定地管理大量计算任务、调度分布式资源的能力。智能调度系统应支持基于任务优先级、资源预测、跨平台调度等多维度调度策略,能够精准地对不同的计算任务进行调度,避免资源浪费。平台还需具备异步CKPT(检查点)和断点续训的能力,保证长时间训练任务的连续性和稳定性。三是加大故障自愈系统设计,实现自动化修复监测到的系统故障和预警,减少人工干预并实现“无感”运维。这—自愈能力应结合Al+智算运维模式,通过智能算法和机器学习模型分析系统性能、告警日志等,自动发现潜在故障并提前预警。在故障发生时,系统能够自动诊断、修复并切换到备用资源,极大减少服务中断时间和人工干预需求。同时,Al技术还可以在修复过程中提供数据支持,优化运维策略和决策,确保系统的高可用性。3.3组织与人才体系—是确保各部门在工作中有清晰的协作流程和沟通机制,每个部门要有明确的目标,并与其他部门共享信息、资源和进展,做到信息流通、透明化,减少因信息不对称导致的沟通障碍,进而确保大模型训练与运维的每个环节都能顺利衔接。智算运维发展研究报告(2024)二是推动组织文化的转型,智算运维的转型不仅是技术上的挑战,也是组织文化上的挑战。企业需要倡导—种跨部门协作、创新驱动和持续学习的文化。首先,跨部门协作的文化将打破信息孤岛,推动各部门之间的无缝协作,确保不同职能团队在共同的目标下高效协同。其次,创新驱动的文化要求各个团队不断进行技术探索和业务创新,在挑战中寻求突破,提升智算运维的智能化水平。三是跨学科的培训和人才储备,首先,要加强传统运维人员在硬件管理、网络运维等基础技术方面的深度培训,以确保基础设施的稳定性和可靠性。与此同时,随着智算技术的不断发展,运维人员还需要扩展知识领域,学习分布式存储、网络虚拟化、AI算力调度、ROCE/IB组网、NPU/GPU设备等技术栈。其次,企业应注重跨学科人才的储备,建立技术人才和业务人员之间的互通机制,确保数据科学家、运维工程师和技术专家之间能够有效沟通,共同应对运维中的各种挑战。3.4运维知识持续沉淀—是构建智算运维知识库,系统地总结智算集群在运行过程中常见的故障场景,如资源调度瓶颈、性能下降、任务中断等,并将解决方案和经验进行归纳和总结。同时,应积极参与业内知识共享与共建,和行业内其他企业、技术供应商、学术机构共同协作,推动智算运二是形成适合智算运维场景的最佳实践,基于总结出的运维经验和技术积累,转化为清晰的操作规范和流程,包括资源管理、任务调度优化、系统故障排查等各个方面。通过建立标准化的最佳实践,确保运维人员在面对复杂任务时能够依照标准流程操作,从而提升集群三是持续迭代运维技术栈、模型算法等,以应对智算运维日益复杂的需求。随着硬件、软件和应用场景的快速发展,智算运维所需的技术栈也在不断更新和升级。因此,需定期收录最新的技术发展、行业趋势和技术实践,确保团队在解决问题时能够依托最新的技术方案和最佳实践。此外,运维团队还应通过行业合作和外部资源的引入,不断增强技术栈的泛化性和创新性,使运维知识库具备更广泛的适应能力,能够支持不同技术环境下的运维需求。[ROCE(RDMAOverCOnvergedEthernet):是—种允许在以太网上实现远程内存直接访问的网络协议][IB(InfiniBand):是—个用于高性能计算的计算机网络通信标准]044.1指标设计原则智算运维质量评价指标能反映出智算场景系统及资源的可用性、优化服务水平、提高资源保障能力等,需要具备可度量、可采集、可理解、可消费等特征,从而确保指标具有实际可度量:指标必须是可量化的数据,结合运维经验配置合理的阈值进行有效管控。可采集:指标数据源能通过各种技术手段从相关系统进行采集,并以确定的计算方式得可理解:指标无任何歧义,能明确测量系统或活动的具体性质,指标的名称、计算公式和单位等应简单易懂,避免使用过于专业或晦涩难懂的术语。可消费:指标在实际应用中具有确定的消费场景(即:产生价值),能够被相关人员 (如分析师、决策者、执行人员等)轻松理解、使用并据此做出决策或采取行动。例如:评价指标集中的连续性黄金指标能有效地衡量训练任务的健康态势,更好地辅助运维服务人员4.2指标模型构建建模是通过构建数学模型、逻辑框架或其他结构化表示方法,来量化和描述智算运维质量评价指标的过程。智算运维质量评价指标是—个涵盖多个环节和维度的复杂体系,纵向包括系统的安全性、可用性等方面,横向则涉及智算技术全栈的多个对象层级,如AI智算平台智算运维发展研究报告(2024)层、AI基础软件层、算力基础设施层、机房基础设施层等,每层指标之间相互关联、环环相扣,形成复杂的依赖关系。因此,对智算运维质量评价指标进行分类、分层、分级设计至关重要。这样能够确保每个关键环节和维度都有相应的质量指标进行衡量,从而实现对智算运(一)指标分类分类设计是将智算运维质量评价指标根据不同的特性进行分组,从而更精确地反映智算运维的各个关键方面,有助于快速定位问题,减少盲目性,提高解决问题的效率。在智算运维场景中,智算运维质量指标可分为3大类:可用性、响应性和保障性,每类反映了智算集可用性:用于描述智算系统在大模型训练、推理业务过程中,能够保持服务不中断或快速恢复服务,以满足用户或业务需求的能力。响应性:用于描述智算服务提供方在接收到用户请求或系统故障后,能够及时、有效地保障性:用于描述智算服务提供方在服务过程中,确保所需资源(包括人力、备件、规范和技术等)完备且及时供给的能力,从而保障智算系统的稳定运行。(二)指标分层分层设计是依据智算技术栈层级,将指标划分为不同的层次,确保每个层级都能够得到有效监控和优化,有助于从整体到局部逐步细化运维目标,使不同层级的资源和服务能够得到精确的管理与调优。智算运维质量指标横向上可分为机房基础设施层、算力基础设施层、AI基础软件层、AI智算平台层、AI业务应用层,纵向上包括运维服务和安全服务。机房基础设施层:用于表征数据中心的电力供应、冷却系统、物理安全的指标,是确保智算集群物理安全和稳定运行的基本保障。如供电算力基础设施层:用于表征所提供的计算、存储、网络等基础设施的指标,如参数面网智算运维发展研究报告(2024)AI基础软件层:用于表征模型加速库、AI计算框架等基础软件的指标,如集群软件故障AI智算平台层:用于表征智算平台资源调度能力、断点续训能力、资源利用情况的指标,如集群算力利用率、任务调度成功率等。AI业务应用层:用于表征训练任务算力使用效率、性能的指标,如模型算力利用率、模运维服务:用于表征运维支撑能力、支撑效率的指标,如运维SLA达标率、平均服务响安全服务:用于表征智算系统的安全性指标,如入侵检测率、漏洞修复率等。(三)指标分级分级设计是在分层设计的基础上,对每个层次和类别的指标进—步细化,按照系统运行的重要性、复杂性和对业务影响的程度,将指标划分为不同的优先级,有助于运维工作更加精细化、高效化,确保系统各层次的关键指标得到及时响应和优化。上述智算运维质量评价关键指标:用于表征智算运维整体质量、效益/损失、支撑管理层决策的指标,能够直接反映智算训练业务核心状况,具有高度的敏感性和影响力,对于决策和综合评价具有重要的意义,是评价大模型训练业务服务质量最不可或缺的核心要素。例如:在智算系统中,基于大模型训练业务,可通过模型算力利用率(MFU)、有效训练时长、长稳训练时长、任务最短恢复时长、集群算力可用度等关键指标,能够全面评估智算运维质量。标准指标:用于支撑大模型训练任务时长、集群算力可用度等关键指标的达成,通常是需要重点关注、对业务影响大的指标,通过持续监测标准指标,可以实时掌握集群整体的运行态势,及时发现潜在问题,优化决策并最终提升整体成效。例如:集群软件故障率、集群软件故障次数等,都是衡量集群运行状态的指标。基本指标:用于表征智算资源日常运维监控、服务支撑能力的指标,主要反映了系统或安全服务的保障能力,例如:风冷/液冷系统可用性、机房环境达标率、平均服务响应时间等。都是保证服务质量稳定性和连续性的基础指标。虽然它们在评价中的权重较低,但对确智算运维发展研究报告(2024)(四)指标模型通过对智算运维指标的分类、分层、分级设计,构建智算运维指标体系,确保每个层级、每个关键环节都有相应的衡量指标,从而实现对智算运维体系的全面评估。在此基础上,通过效益、效果、效能、效率四个维度深入分析,构建智算运维质量评价模型,该模型旨在适应智算场景下的运维需求,确保智算运维的有序开展,为智算运维的持续优化和整体发展提供—定的度量参考。同时,该模型也具备—定的灵活性和弹性,可根据业务实际需求进行调整和优化,确保其长期适用不同的智算业务场景。业务监控业务预测业务预警业务协调业务调业务监控业务预测业务预警业务协调业务调时间(MTTR)时间(MTBF)运维SLA……AIAI业务应用层模型算力利用率(MFU)…AI智算平台层……AI基础软件层……风冷/液冷…效效效图二智算运维质量评价指标体系模型05趋势一:智算服务正成为综合算力发展的关键要素随着智算中心的不断发展,服务力正成为综合算力新质生产力发展的关键要素,并贯穿智算中心的各个环节。随着算力需求的多样化和复杂化,传统的建设服务模式已难以满足当前市场的需求。智算服务将通过整合信息计算力、网络运载力、数据存储力,覆盖从基础设施建设到行业智能应用的全过程,实现智算服务的规划建设—体化、运维保障智能化、模型训练高效化,有效提高智算服务效率。未来,服务力将以系统工程为核心理念,贯穿算力中心的每—环节,推动计算力、运载力、存储力、服务力共存的算力产业体系,促进区域经济均衡与协调发展,共同构筑—个高效、智能、协同的新型生产力体系,促进综合算力新质生趋势二:一体化智算运维将成为主流智能算力将促进IDC(互联网数据中心)和云服务升级,以数据为中心、云计算为基础的—体化智算运维正成为主流。它通过实现通算算力、智算算力、存储数据、网络拓扑、模型算法的高效资源调度和协同,推动运维服务向自动化和智能化的全面升级。这使得智算运维全流程操作在同—服务环境中得以实现,从而提高灵活性和运维效率,促进智算中心服务智算运维发展研究报告(2024)趋势三:液冷技术助力智算行业绿色低碳发展为实现更低的PUE,智算中心亟需加快节能降碳技术改造,液冷技术可有效助力智算行业绿色低碳发展。液冷技术不仅提升了散热效率,还优化了电能和水资源的使用效率,单位算力密度更高,可以满足芯片持续TDP(高散热设计功耗)运行,可最大限度利用机房面积。这可以更好地满足高性能计算、人工智能计算、云数据中心多样化算力需求,支持算力快速部署和按需灵活扩容,为数据中心的可持续发展和能效优化提供了关键技术支持。趋势四:算力资源一体化调度将成为趋势随着多模态大模型的发展和算力技术的不断进步,算力资源的—体化调度正成为行业发展的新趋势。政府、运营商、云服务商等作为主要的运营主体,正在构建和试点运营算力—体化调度平台和算力互联互通平台,旨在实现算力、网络、云计算资源的融合调度与—体化发展,从而解决算力资源分散、供需匹配失衡和使用成本高等问题。此外,围绕枢纽节点的算力生态聚集效应进—步加强,区域级、城市级的公共算力服务平台将初步显现,并可能形趋势五:数据安全重要性日益凸显在数字化时代,数据洪流的挑战日益严峻,数据安全的重要性也随之凸显。随着《网络安全法》《数据安全法》和《个人信息保护法》等—系列法律法规的相继出台,政府和企业在数据安全治理方面的工作变得更加规范化和常态化,对数据安全的重视程度也在不断提升。在智能计算运维(智算运维)的场景中,数据安全保障面临着更加复杂的挑战。在数据采集阶段,我们需要制定严格的敏感数据处理流程,确保个人信息和敏感数据得到妥善保护,防止数据泄露和滥用。在模型训练和内容生成环节,建立全面的安全评测机制显得尤为关键,这不仅有助于识别潜在的安全漏洞,还能有效预防恶意注入攻击等安全威胁。为了应对这些挑战,不仅需要制定数据加密、访问控制、安全审计、应急响应计划等多维度的安全策略,还需要法律、管理和教育等多方面的协同配合,以构建—个全面、立体的数据安全防066.1中国移动智算运维最佳实践为深入贯彻落实国家发改委《关于促进数字经济创新发展的若干意见》及《“十四五”数字经济发展规划》对新型基础设施建设的政策要求,中国移动积极响应国家数字化转型战略,并锚定“世界—流信息服务科技创新公司”发展定位,着力推进智算新型基础设施的建设和运维管理。为确保智算资源的高效利用、服务质量的持续提升以及智能化运维的落地实施,公司结合自身实际,构建了独具特色的智算运维评价指标体系,旨在通过标准化、智能化、自动化的手段,提升整体运维服务质量,保障智算业务的稳定运行,推动数字经济和智(一)智算运维流程设计及实现中国移动网络事业部深入了解并分析智算训练、推理等业务场景,牵头省公司、专业公司、华为智算团队等展开充分调研交流,并结合现网成熟运维体系流程,初步完成对智算运维七大核心流程和S0P梳理,扩展流程及细则设计共识,并纳入集团运维体系进行统—运维(1)事件管理流程:将事件管理从“纯故障”视角扩展至涵盖投诉、日志、告警、故障四个维度组成的“综合事件”视角,全面提升对事件的监控、响应和处理能力;组建集省专协同运维团队,制定跨部门协作机制,对所有事件进行统—的事件级别评估,确定优先级,及时响应处理各类事件,提升服务稳定性。2020智算运维发展研究报告(2024)(2)问题管理流程:针对智算运维过程中反复出现的问题进行深入根因分析,并制定有效的解决方案,建立问题闭环管理机制,对已解决问题进行验证和回顾,确保问题根因得到彻底消除,进而降低问题的重复发生率。(3)变更管理流程:以“智算安全”为首要目标,建立变更操作全链路保障体系。变更前进行全面的风险评估,确保变更操作不会影响智算业务的安全性和可用性,变更中实施严格的监控和审批机制,严格把控变更操作质量,确保变更按计划实施,变更后及时对智算业务进行确认,避免因变更引发服务中断等事件。(4)运维保障流程:在运维保障中引入集群健康检查、智能监控、预警机制等能力,及时发现潜在风险点,提前进行预防和处理,有效降低智算集群故障发生率,提升集群稳定(5)验收流程管理:在智算验收过程中,加强对建设质量的审查,全面检查集群可运维性,包括但不限于可扩展性、可维护性、可监控性等关键要素,确保智算基础设施在交付(6)告警管理流程:以告警治理和压缩为目标,通过数据分析和机器学习等技术,减少噪音告警,优化告警阈值,提高告警的准确性和处理效率;建立告警处理机制,确保快速(7)调度管理流程:建立多级调度机制,确保在智算故障发生时,通过高效调度跨部门、跨区域团队,快速响应和处理故障,大幅减少故障响应和恢复时间,提高集群可用性和(二)智算运维指标体系定义中国移动以保障上层训练业务的高稳定性和高效率性为目标,确保智算集群MFU(模型算力利用率)、MTTR(断点续训时长)、长稳训练时长等黄金指标在同规模集群中国内领先、国际—流。并结合上述七大核心运维流程,构建三横三纵智算运维指标体系,研究明确80个智算运维质量指标(含黄金指标),支撑实现算、网、存、业的全生命周期运维监控。2222智算运维发展研究报告(2024)智算运维发展研究报告(2024)算力集群稳定运行,提升有效训练时长(共18项)(共19项)(共27项)横向指标………………(共6项)…纵向指标(共5项)…(共2项)(共2项)图三中国移动智算运维指标体系智算运维发展研究报告(2024)(1)基础设施层构建全链路监控体系,实时监控GPU/NPU、光模块等硬件性能指标,重点关注集合通信带宽、存储读/写时延、网络丟包率等关键指标,有效分析慢节点慢网络,(2)Al智算平台层建立高可用容灾架构。做好训推任务热备功能开发和优化,优化故障隔离、资源重调度策略,推动实现千台智算集群分钟级热备主机切换;持续优化断点续训能力,最大支持分钟级checkpoint保存频率,支撑千/万卡训练任务快速恢复。(3)智算业务层完善用户反馈机制和个性化服务,以用户训练/推理任务为目标,重点关注任务训练时长、任务中断次数、首token时延等关键指标,高效、稳定地支撑复杂的训推任务,满足用户对智算运维的高标准要求。(4)运维质量方面的核心在于快速响应和高效处理各类故障,制定高效运维SLA标准,实现故障响应时限缩短至10分钟,关键指标主要包括故障处理及时率、硬件更换及时率等,(5)运行质量方面重点关注设备和服务稳定性,关键指标主要包括设备故障率、计算/存储/网络设备可用率等,反映了设备的健康状态及集群的稳定性,高质量的运行状态保障了(6)服务质量方面则侧重于用户体验和用户满意度,尤其是对服务响应速度和问题解决效果的评估。投诉处理满意度是衡量服务质量的核心指标,通过快速响应和有效解决用户问题,可以提升用户满意度。(三)智算运维体系构建基于上述七大智算运维管理流程分析和智算运维指标定义,中国移动网络事业部牵头打准,—系列技能提升机制”的“五个—”卓越智算运维体系,构建“训练中断少,故障恢复(1)一支高水平协同团队2323智算运维发展研究报告(2024)建立—支具备深厚技术背景、运维经验丰富且高度协同的集省专智算运维团队,确保智算运维能高效响应、快速解决各类技术难题,保障智算平台的平稳运行。(2)一套标准化规范制度制定—套完整、标准化、可执行的运维流程与规范,包括但不限于事件管理、故障处理、变更管理、性能监控、告警响应、故障恢复、备件管理等方面的标准化流程,确保各项运维工作有章可循,有序推进,保证运维质量的—致性和高效性。(3)一体化运维服务平台建设—个集监控、调度、故障响应、资源管理、自动告警等功能于—体的智能化运维平台,通过平台,运维人员可以实时查看系统健康状况、设备运行状态、任务进度等关键数据,支持故障快速定位与解决方案推荐,运维团队能够更加精准地监控智算资源,提前预警潜在故障,并通过自动化的调度和恢复机制,快速响应并解决问题。(4)一套高水平质量标准建立严格的质量标准,包括但不限于服务响应时间、故障恢复时长、设备可用性、任务调度效率等多个维度,确保智算运维在各个环节中都能达到高水平的质量要求,保障智算平(5)一系列技能提升机制建立持续的员工技能提升机制,提高运维团队的技术水平和运维能力,推动团队内部技术分享和知识沉淀,形成良好的技术文化,确保团队具备最新的技术能力和解决方案,快速(四)智算运维应用成效目前中国移动打造的“五个—”卓越智算运维体系已常态化支撑九天大模型训练推理任务,智算集群整体运行平稳,硬件、网络类故障定位耗时从小时级降至10分钟,实现国产化万卡资源池模型训练算力利用率(MFU)约50%,任务重提恢复时长(MTTR)小于302424智算运维发展研究报告(2024)6.2科大讯飞智算运维最佳实践(一)需求驱动2023年10月,科大讯飞发布了支持万亿浮点参数的基于全国产算力的星火大模型,真智算业务作为—个新的场景出现后,目前在业界还缺乏—个统—的度量标准,如何衡量算力的软硬件稳定性、集群效率、效果等问题是普遍的—个痛点诉求。讯飞基础设施团队认为,集群的长稳训练需要—套完整的方法论来指导,需要通过梳理影响集群长稳的关键因素,并通过持续不断的优化,配套流程、工具和系统,才能持续地提升集群的MFU。(二)解决思路为了确保集群训练的长时稳定,科大讯飞联合华为攻关团队,从