半导体行业深度：AI加速器协同高速通信技术加速AI创新发展

正文目录AI础施设速定AI展的础 3AI模发：练理的链解析 4训练计集渗稳步升，AI计加需求行 5网络化升算性能，Infiniband与RoCE方案及 8RoCE网方普，或动DPU12以太升，动性能太交机求行 14NVMe术进储性革推数中升级 18投资议 19风险示 20图表目录图1工能-训端 4图2工能-推端 4图3类能础施系视图 5图4全大型数化趋势 6图5大型练要数估公式 7图6算计模型 8图7AI务内结华为Atlas800） 9图8工能务集群 9图9Meta-太网Roce决方案 图10Meta-NvidiaInfiniBand网解方案 图11球InfiniBand规模 12图12InfiniBand市主参与及品 12图13DPU在据心算侧分式储域应用 13图14球DPU市规模 13图15国DPU市规（亿） 13图16换三网设图示 14图17球太交机场规模 15图18AI端络高以太交机透上行 15图19中以网换备市规及速 16图202023年球太交换市竞格局 16图212023YQ1国以交换市竞格局 16图22球太交芯市场模 17图23球用VS用比 17图24国用太交芯片 18图25国用太各用场市规占比 18图26内用太交芯片争局 18图27NVME场模美元） 19图28NVME动PCIE口出上行 19表1AI型础施及简介 4表2中加计市品构成 8表3AI务集中信分及介 10表4三种RDMA络比 表5换简介 14表6高度400GE利用户化络提效率 15表7以网换片占比算 17AIAI发展的基础2024年3+2024年第一次工业革命以蒸汽机的发明和应用为标志，开启了人类大机第二次工业革命以电力的发明和应用为标志，开启了电气时代。第三次工业革命以信息技术的兴起为标志，开启了信息时代。互2023ChatGPT着AIAIChatGPTAIAIAIAIAI类别定位简介信息基础设施类别定位简介信息基础设施新型基础设施的核心包含通信网络基础设施、新技术基础设施、算力基础设施。融合基础设施传统基础设施转型升级的重要支撑新一代信息基础设施在各行业深度融合的产物。创新基础设施支撑科学研究、技术开发、产品研制等具有公共属性的基础设施重大科技基础设施、科教基础设施、产业技术创新基础设施等。资料来源：中国信通院、华为，AI业界通常根据AI/(Inference)图1人智-训端 图2人智-推端 资料来源：NEURALSERVERS、 资料来源：NEURALSERVERS、数据准备：收集和训练所需的数据，包括图像、文本、语音等多种类型。模型构建：选择合适的模型架构和算法，并设置模型参数。AIAIAI我们根据人工智能技术发展中的两个重要环节结合中国信通院发布的《星河AIAI图3资料来源：中国信通院、上行训练端，AI大模型的参数将持续增多，预计AI算力平台将会从过去依赖单一计算机的算力逐渐演变为依赖计算集群，目前OpenAI、Meta、字节跳动等多家AI大模型厂商都在建设大规模的GPU卡集群。图4全球大模型参数量变化趋势资料来源：iResearch、根据NvidiaGPUGPUGPU为17503000GPUGPU50%GPU卡数为1038卡；根据NvidiaGTC1.88000个HopperGPU工作约3Gemini1.5Pro1.5pro多个数据中心的4096个TPUv42023AI450预计2027AI400072.7%。图5大模型训练需要的卡数估算公式大模型训练需要的卡数=

8×模型参数量×样本数预期的训练时长×GPU卡的峰值算力×GPU卡的利用率资料来源：华为&中国信通院、GU只是IAI、ASICNPUGPUASICGPUGPU智AIGU80；IDC20257262个GPU，未来18GPU、ASIC和FPGAGPU90%左右，IDC显示2021年至2023H1GPU和非GPUIDC预计20239182027年将达到3421.％。假设2023GPU的市场份额为90%，则2023GPU表2中国加速计算市场产品构成2021年2022年2023H12023E2027E中国加速器市场规模(亿美元）53.9673191134GPU加速器市场份额占比88.40%89%92%90%-GPU加速器市场规模年同比增速72.54%25%-37.3%-非GPU加速器市场份额占比11.60%11%8%10%-非GPU加速器市场规模年同比增速43.80%17.9%8%23.5%-资料来源：IDC、与RoCE方案普及GPU集群中GPU（图6算力计算模型算力=f（通用算力，高性能算力，存储能力，网络能力）资料来源：华为&中国信通院、AIGPUGPU每个GPU负责处理模型的一部分，并将其传递给下一阶段的GPUGPUAIAI、PaLM等。数据并行、流水线并行和混合并行都需要通过跨服务器通信来进行信息传输，降低信息传输的时间及损耗是业界关注的重点。根据中国移动披露的数据显示大模型训练需要在不同的GPUGPU如内CPUGPUPCIE5.0/6.0NVLINKHCCSRDMARDMAInfiniband（Nvidia）、RoCE(RDMAoverConvergedEthernet)、。图7AI服务内结构华为Atlas800） 图8人智服务集群 资料来源：OFEEK、 资料来源：华为官网、机器内通信名称简介QPI/UPI链路机器内通信名称简介QPI/UPI链路Intel,例如多核CPUCPUPCIE用于CPU与GPU之间的通信，以及其他设备与CPUNVLINKNVLink提供了直接的点对点连接，具有比传统的PCIe总线更高的传输速度和更低的延迟。主要用于连接多个GPU之间或连接GPU与其他设备（如CPU、内存等）之间的通信DMA(DirectMemoryAccess)允许设备直接访问内存，无需CPU参与。提供在外设和存储器之间或者存储器和存储器之间的高速数据传输。MPI并行计算的应用程序接口（API），常在超级计算机、电脑集群等非共享内存环境程序设计。HCCS华为研发的Cache一致性总线HCCS，可以实现CPU和CPU之间的高速互联，通信速率高达每秒30GT，是业界主流CPU互联速率的2倍多。机器间通信（跨服务器通信）TCP/IPTCP/IP提供了点对点链接的机制，将资料应该如何封装、寻址、传输、路由以及在目的地如何接收，都加以标准化RDMARDMACPURDMA适配器将数据直接传输到系统缓冲区来使用零复制网络。-InfiniBand一种高性能网络技术，专为低延迟和高带宽数据通信而设计。它通常用于数据中心和高性能计算(HPC)环境，特别是需要在服务器之间进行快速可靠通信的应用程序，如机器学习训练、高性能计算、云计算。一种高性能网络技术，专为低延迟和高带宽数据通信而设计。它通常用于数据中心和高性能计算(HPC)环境，特别是需要在服务器之间进行快速可靠通信的应用程序。-iWARP基于TCP的RDMA网络，通过标准TCP/IP基础设施实现类似RDMA的数据传输性能，从而减少延迟并提高效率。具备较好的兼容性，但性能不及InfiniBand。-Roce可通过标准以太网实现RDMA（远程直接内存访问）功能。它本质上将RDMA“封装”在以太网之上，允许应用程序利用RDMA的优势来实现更快的数据传输，而无需像Infiniband这样的专用硬件。与传统的TCP/IP相比，RoCE降低了数据传输延迟，适合需要快速通信的应用，例如大规模机器学习训练。资料来源：维基百科、CDSN、华为，GPUInifiniBandRoCEMetaGPUAristaArista7800RoCENvidia的Quantum2InfiniBandInfinibandInfiniBand网卡、InfiniBandInfiniBandInfiniBandtoEthernetDellInfinibandNVIDIAQuantum-2QM97004RoCERoCEIDC2022年AI75%的收入，目前IB图9Meta-以太网Roce决方案 图10Meta-NvidiaInfiniBand网络决案 资料来源：Meta、 资料来源：Meta、表4三种RDMA网络对比InfiniBandiWARPRoCE性能最好稍差（受TCP影响）与InfiniBand相当成本高中低稳定性好差较好交换机IB交换机以太网交换机以太网交换机资料来源：华为、Nvidia目前是infinibandInfiniBandInfiniBandInfiniband2024QuantumInfiniBand5MaximizeMarketResearch统2021年全球InfiniBand66.62029年增长至983.740%。公司产品简介Nvidia是InfiniBand技术的主要供应商之一，提供各种InfiniBand适配器、交换机和其他相关产品Intel提供各种InfiniBand网络产品和解决方案思科知名的网络设备制造商，也提供InfiniBand交换机和其他相关产品HewlettPackardEnterprise一家大型IT公司，提供各种InfiniBand公司产品简介Nvidia是InfiniBand技术的主要供应商之一，提供各种InfiniBand适配器、交换机和其他相关产品Intel提供各种InfiniBand网络产品和解决方案思科知名的网络设备制造商，也提供InfiniBand交换机和其他相关产品HewlettPackardEnterprise一家大型IT公司，提供各种InfiniBand网络解决方案和产品，包括适配器、交换机和服务器等。40%40%02021Y 2029E资料来源：MAXIMIZMarketResearch、 资料来源：百度、2.2.1RoCE网络方案普及，或带动DPU崛起RoCERDMARoCE有RoCEv1和RoCEv2RoCEv2IP解决了RoCEv1RoCEv2IBRoCEv2网络具有硬件无关性，即其可以在不同厂商的以太网适配器和交换机上实现网RoCEv2RoCEv2的InfiniBandNvidiaIntelBroadcom速率最高已达400Gbps；目前25Gbps和100GbpsDPU在RDMA是DPUCPUDPUCPU算DPU--在网络侧为存储系统提供高效拥塞控制机制和增强的负载均衡能力，降低长DPU10图13DPU在数据中心计算侧和分布式存储领域的应用资料来源：中兴通讯、DPUCPU和GPUDell’OroSmartNIC623%20261638.67%DPU2020DPU3.92025565.9亿元，年均复合增速约为170%。图14全球DPU市规模 图15中国DPU市规（亿） 6000

市场规模（亿美元）2020Y 2021E 2022E 2023E 2024E 2025E

0

2020Y 2021E 2022E 2023E 2024E 2025E资料来源：赛迪顾问、 资料来源：赛迪顾问、DPUASICFPGA或SoCAlliedMarketresearch的和SOCDPUIntelAMDMarvell、BroadcomAmazonMicrosoft在DPU、以太网升级，带动高性能以太网交换机需求上行RoCEv2RDMARoCERDMA名称简介接入层交换机主要包括40G、100G机需要具备较高的性能以及丰富的接口形态；汇聚层交换机汇聚层交换机是多台接入层交换机的汇聚点，作用是将接入节点统一出口，同时也进行转发及选路。汇聚层交换机需处理来自接入层设备的所有通信量，并提供到核心层的上行链路，因此需要具备高转发性。核心层交换机图16名称简介接入层交换机主要包括40G、100G机需要具备较高的性能以及丰富的接口形态；汇聚层交换机汇聚层交换机是多台接入层交换机的汇聚点，作用是将接入节点统一出口，同时也进行转发及选路。汇聚层交换机需处理来自接入层设备的所有通信量，并提供到核心层的上行链路，因此需要具备高转发性。核心层交换机资料来源：腾讯云开发者社区、 资料来源：赛迪顾问、5G10G网络架构的数据中心面临着来自应用和数据的巨大网络压力，传统数据中心亟需解决（1）数据中心之间海量数据高速迁移（2）数据中心间带宽瓶颈10G/40G向25G/100G速率为25G/100G100T400GE机需要5K100GE技术减少75%100GE技术，则需要20K个接口，相对于25GE技术减少75%；同样服务器与接入层交换机互联的端口速率若采用100GE技术，则相对于25GE技术减少75%。表6高密度400GE有利于用户简化网络，提升效率服务器与TOR（接入层）互联Tor与汇聚交换机互联汇聚交换机与核心交换机互联端口速率端口数端口速率端口数端口速率端口数10G200K10G200K40G50K25G80K25G80K100G20K100G20K100G20K400G5K资料来源：华为、IDC202320.1%，达到442约3175）200/400GbE2023入的AIDell'Oro预测2024800GbE400GbE2027年，400Gbps/800Gbps40%2025数交换机端口将达到800Gbps，到2027年将达到1600Gbps。图17全以太交机场规模 图18AI端络中以太交换渗率上行 资料来源：IDC、 资料来源：Dell'Oro、中国市场的以太网交换设备市场规模处于快速增长中。根据华经产业研究院的统计数据显示，2022年我国以太网交换设备的市场规模约为449.3亿元，同比增长12.97%；预计2025年我国以太网交换设备的市场规模将达到574.2亿元，2020-2025年年均复合增长率为10.8%。图19中国以太网交换设备市场规模及增速0

市场规模（亿元） 同比增

20%15%10%5%0%资料来源：华经产业研究院、盛科通信招股说明书、IDC2023计为77.8%202343.7%22.2%AristaNetworks20232023，其中，91.4%9.4%10.6%HPE的9.40237.6H6.3%202341.5%图202023年球以交换市场争局 图212023YQ1国内网交机市竞格局中兴通讯3.50%思科7%锐捷网络,14.90%

其他,9.20%

H3C,34.50%华为,30.90%资料来源：IDC、 资料来源：IDC、太网交换芯片也是决定以太网交换机性能的核心部件之一。根据盛科通信的招股说明书信息分析可知，以太网交换芯片占以太网交换机的成本比例为4%左右。表7以太网交换芯片成本占比估算以太网交换芯片单价（元/颗）以太网交换机单价（元/台）占比2020Y763.5412485.546.12%2021Y354.210436.073.39%2022Y386.639873.543.92%资料来源：盛科通信招股说明书、2016年为318.5亿元，到2020年达到368.03.6%。预计到2025年，全球以太网交换芯片市场规模将达到434.0亿元，年均复合增长率为3.4%。商用市场占比逐年提升。图22全以太交芯市场模 图23全商用VS用比 80%60%40%20%商用占比 自用占比资料来源：盛科通信招股说明书、灼识咨询、 资料来源：盛科通信招股说明书、灼识咨询、中国市场云计算的快速渗透、AI和机器学习的兴起、5G商用、6等通信技术的升级以及企业信息化建设的深入推动着国内以太网交换芯片市2016年为54.1202090.013.6%2025171.4513.8%。02020518%9.8%。图24中商用太交芯片