迈向智能世界白皮书2024-计算-华为

迈向智能世界白皮书2024加速原生创新，共赢数智未来01010011构建万物互联的智能世界l趋势—:Al成为对行业影响最大的技术，算力是Al发展关键驱动力2ScalingLaw延续，智算集群突破算力瓶颈，支撑大模型发展操作系统面向Al演进，使能异构算力融合，赋能Al高效运行ARM逐步成为数字基础设施算力主流选择Al成为对行业影响最大的技术，算力是Al发展关键驱动力3▶趋势—:Al成为对行业影响最大的技术，算力是AI发展关键驱动力人工智能走深向实，技术进步正推动各行各业智能化的不断深化·Al进入大模型时代，模型规模、序列长度、多模态等快速发展，同时，AIAgent,RAG、SFT、COT等技术大幅改善AI幻觉、逻辑错误等问题，LM的准确度已达91%以上，基本达到企业使用标准。·大模型推理应用爆发增长，从2023年6月到2024年6月，全球AIAPP用户数从1.35亿增长到2.33亿。Al的使用费用也在大幅下降，一年时间内推理市场价格平均降低10倍以上，逐步满足企业落地的经济性。·各行业的A应用目前主要集中在产品开发、营销、业务运营等三个环节，企业最少一个业务功能采用A的比例从2023年的55%大幅增大到2024年的72%。Garner的是对其行业影响最大的技术。技术和经济性的提升，推动了Al加速走向行业LLM准确度大幅提升，基本满足企业需求Al使用费用快速降低，满足企业落地经济性RAG、SFT、Alagents、思维链等技术全球AI用户数已上升至2.3亿Sources:GenerativeAICommercializationWhitePaper,TenTrendsinAIGCApAl技术进步推动各行各业智能化的不断深化全行业医疗保健与制药制造人力资源营销产品开发业务运营风险管理供应链管理战略和财务4▶趋势—:Al成为对行业影响最大的技术，算力是AI发展关键驱动力Al技术提升及应用普及，驱动训练&推理算力的增长与演进·AI大模型从LM到MOE、多模态，并与强化学习结合，进一步提升逻辑任务能力。同时，伴随着合成数据、超长序列及模态混合等技术的演进，模型能力将由传统的数据驱动转变为算力驱动，对算力提出更高要求，需要突破大带宽高效互联、计算融合与并行、高负荷稳定运行等能力，来提升有效算力，持续满足未来训练算力需求。·推理应用也从记忆生成走向了思考、理解。OpenAlo1基于思维链COT、Token级别奖励强化学习等新技术，让A展现了“理科生”的逻辑推理能力，而新技术中更多的token处理也带来了更多的计算和内存需求，提升了模型的推理算力需求。需要通过算力的弹性扩容满足模型规模的演进，通过计算、内存均衡技术提升有效吞吐，降低每token的推理成本，促进推理应用的更广泛普及。人工智能技术及能力跃迁式发展，对训练及推理提出更高挑战5大模型技术从LLM到LLM+强化学习驱动算力需求指数级增长，有效算力需要持续提升训练所需算力有效算力Baichuan、ChatGLM...大模型能力从记忆生成走向思考理解抬升模型推理成本，落地经济性面临挑战本本OpenAIo1.:思维链CoTSora、GPT-40...Token/句子级别奖励、DLRM、DIEN..昇腾打造开放领先的AI基础软硬件平台，成为中国智能化升级的可靠算力底座，走向原生驱动2模型开发场景2模型开发场景昇腾原生开发一套开发体系一套开发体系，三种开发场景多路径使能大模型创新一套开发体系，三种开发场景多路径使能大模型创新6ScalingLaw延续，智算集群突破算力瓶颈，支撑大模型发展7延续，智算集群突破算力瓶颈，支撑大模型发展大模型走向十万亿参数，智算集群跨域协同，支撑模型高效长稳训练当前领先的主流大模型参数已经突破万亿，正向10万亿参数迈进。大模型能力上限尚未触及，ScalingLaw依然有效。模型参数的指数级提升，对算力、网络和存储的需求也成指数级提升。相比2018年发布的GPT1使用的算力，超万亿参数大模型的算力规模从PFLOPS级提升干倍至EFLOPS级；节点内卡间互联的网络转变为超节点间的超高速网络互联；存储也从服务器硬盘中的TB级存储提升千倍，使用多级高并发的PB级存储。大模型训练特征是单一任务高并行高同步、计算&通信密集、长期满负荷运行，以服务器堆叠的方式来已无法满足需求，智算集群将整集群作为一台计算机来定义与设计，通过算网协同、算存协同等跨域协同技术，满足算力规模增长需求；同时通过高可靠的器件和系统工程设计，以及统一的运管平台，实现集群复杂系统的长稳工作，以及故障的及时恢复。大模型走向十万亿参数，带来计算/网络/存储新需求智算集群以通过算存网等跨域协同，突破算力瓶颈亿级参数十万亿参数亿级参数整集群作为一台计算机来定义与设计整集群作为一台计算机来定义与设计PF级平台单服务器节点内卡间互联TBPF级平台单服务器节点内卡间互联TB级存取服务器硬盘算力需求网络需求Al集群网络存储PB集群：由算、存、网、光、管构成的整体系统，协同工作实现负载亲和8▶趋势二：ScalingLaw延续，智算集群基于超节点设计，通过系统工程能力，可突破ScaleUp物理节点计算瓶颈，让成百上千个NPU以TB级带宽超高速互联、内存统一编址，就像一个节点一样高效工作。在超节点基础之上，针对大模型训练的负载特征，自上而下设计AI原生的智算集群，通过算、网、存等跨域技术协同(如NSLB负载均衡，NDS直通计算，MRP多层联动防护),进一步提升ScaleOut的集群计算效率和可靠性。通过高可靠性系统工程设计，如负载感知的精准液冷、网络设备亚毫秒级故障感知、集群级可靠性仿真预测等，平均无故障运行时长从几小时提升到几天，大幅提升训练效率，让大模型训练变的更快、更简单。ScaleUp:超节点架构突破计算瓶颈ScaleOut:跨域协同提升集群计算效率持续构筑更高效、更可靠的智算集群传统节点架构可司超节点架构9延续，智算集群突破算力瓶颈，支撑大模型发展集群级统一运管平台，定义集群管理平台标准，实现集群复杂系统的长稳运行集群能否长稳运行，不仅依赖高质量硬件和先进的架构，也与设备运维管理关系密切。集群级的统一运管平台可改变当前运维管理多域分治、互不相通的不足，重新定义大规模集群运维管理的标准，完成跨域故障快速定位恢复，实现集群复杂系统的长稳运行。分钟定位。可快速对接自有运维系统。，及时感知亚健康模块，提前预防核心器件失效，让集群告别慢节点慢网络，可长时间稳定运行。立体维优：算、网、存跨域全栈管理After全域统管首个集群级全域统管单域分管全量纳管：亿级器件集群复杂度管理主动预防：故障提前预测+亚健康感知事前预防事前预防操作系统面向Al演进，使能异构算力融合，赋能Al高效运行▶趋势三：操作系统面向Al演进，使能异构算力融合，赋能Al高效运行·AlforOS:A赋能操作系统更智能。操作系统通过基础A大模型，基于大量操作系统自身代码和数据，训练出操作系统自身的助手模型，实现代码辅助生成、问题智能分析、系统辅助运维等功能，让操作系统更智能。·OSforAl:操作系统使能A/更高效。操作系统通过异构资源统一管理和调度，实现CPU和XPU的深度融合，以更全局、更均衡和更精细化的视角统筹内存和算力，充分挖掘空闲资源，提升有效利用率，进而提升Al训练和推理性能。·面向智能加速、数智融合的趋势，openEuler面向A演进，致力于打造成为数智基础设施最佳开源操作系统。南向使能异构算力融合，提升算力使用效率；北向助力更稳定的模型训练和更高的推理性能。操作系统面向Al持续创新openEuler:面向数智基础设施的开源操作系统大模型训练+大模型推理使能训练推理高效运行使能训练推理高效运行通算智算异构融合边缘计算嵌入式边缘计算00智算服务器通算服务器智算服务器▶趋势三：操作系统面向Al演进，使能异构算力融合，赋能Al高效运行openEuler持续创新，使能通算智算异构算力融合，赋能Al高效运行·使能异构算力融合：伴随超节点和集群架构的兴起，操作系统在资源管理和调度上的能力变得尤为重要。openEuler协同互联总线，实现内核统一抽象、统一编址和语义直接访问，通过低时延调度器实现跨节点资源的微秒级访问，结合异构资源池化能力，实现业务负载与资源的动态配比，使能计算系统从局部最优到全局实时最优。·赋能A高效运行：面向Ai训练，openEuler通过镜像数据块级别的按需加载，大幅缩短任务冷启动时间；通过升级的设备健康监测算法，提前发现亚健康节点。面向AI基于互联总线的openEulerOS内核创新集群资源动态调整超节点鲲鹏昇腾协同使能异构算力融合赋能Al高效运行动态内存碎片整理原生接口支持多级缓存池容器冷启动在线检测+健康度分析故障检测精度▶趋势三：操作系统面向Al演进，使能异构算力融合，赋能Al高效运行·openEuler开源5年，实现了跨越式发展。根据IDC报告，2023年中国新增市场份额占比36.8%,排名第一。并在技术创新、行业应用、产业生态建立了完善的发展体系，形成了正循环。社区汇聚了从处理器、操作系统、数据库、行业应用等全产业链超过1800家企业成员，社区开源贡献者超过20,000位，为社区发展不断努力。·openEuler-直致力于打造国际化的开源协作平台，汇聚全球开源力量，为世界开源贡献中国智慧。在技术生态方面，openEuler始终坚持UpstreamFirst原则，与国际主流基金会深度合作，已支持了全球98%的主流开源软件；更进一步，欧拉已经作为持续集成的操作系统，进入云原生、大数据、存储、数据库、HPC等开源社区，实现了上游欧拉原生支持，开箱即用。累计部署850万+套，中国服务器OS市场份额第一联接全球主流开源基金会，全球98%的主流开源软件原生支持1800+社区企业全球镜像覆盖国家和地区海外开发者全球下载量ARM算力从端侧延伸至服务器市场，中国市场ARM系服务器占比超过15%·随着自动驾驶，云游戏等应用兴起，数据中心侧，传统单一架构难以满足要求，端-边-云协同成为趋势，ARM算力是从最初的端侧起步，目前在端侧拥有95%以上绝对优势。随着多样性算力发展，ARM进入算力更高的服务器领域，基于协同趋势表现出显著的优势，当前在云/数据中心场景已逐步成为主流。·ARM在服务器市场的总算力占比稳步提升，ARM服务器市场份额不断提升，截止2024年Q2,中国市场ARM系服务器(以鲲鹏为主)占比已经超过15%。ARM架构服务器已逐步成为通用计算领域新的选择，助力各行各业数字化转型。ARM在端侧已经占据超过90%份额ARM在云/数据中心逐步成为主流中国市场ARM系服务器出货量占比超15%以鲲鹏为代表的ARM路线，生态逐步完善，全面服务各行业核心场景·鲲鹏计算产业从2019年发展至今，聚焦基础软硬件根技术创新，坚定“硬件开放、软件开源、使能伙伴、发展人才”的战略，已基本构建覆盖从基础硬件、基础软件、行业应用，以及开发套件和工具链的完整产业生态。·目前，在全球鲲鹏计算产业伙伴的共同努力下，已发展5500+合作伙伴，共推出16500+鲲鹏联合解决方案，并已经构筑了完整的基础软硬件生态和人才发展体系，发展了320万+鲲鹏开发者，并在政府、金融、运营商、电力、能源、教育、医疗等各个行业实现了大规模的商用落地。全面服务各行业核心场景鲲鹏基础软硬件平台生态共建，合作共赢全面服务各行业核心场景鲲鹏基础软硬件平台生态共建，合作共赢极致性能，极简开发硬件践行伙伴优先，使能商业成功openEuler2023年中国新增服务器OS市场份额36.8%成为核心技术路线国计民生行业国计民生行业鲲鹏从“迁移适配”走向“原生开发”,2025年将超过1000+伙伴实现鲲鹏原生应用开发·鲲鹏从“迁移适配”走向“原生开发”,通过原生开发，提高客户与伙伴多技术路线开发效率，提升应用性能。·在企业原有CVCD流水线中，通过组件化封装的鲲鹏Devkit、Boostkit、openEuler的各类原生开发工具(鲲鹏场景化SDK、毕异编译器、调优诊断工具等),实现“一次编码，多路线适配”,即一次开发即可上线ARM、x86等不同平台版本软件，让客户和伙伴不再维护多平台开发团队，版本迭代效率提升30%。鲲鹏WAAS可动态感知业务负载，自动调参，自动调用最优加速库，典型场景业务性能提升10%-30%。·截至2024年9月，已有200多家头部伙伴实现鲲