




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
表1:不同传输技术使用情况对比 6表2:各个版本的PCIe传输速度表 7表3:PCIe迭代升级的同时插损预算不断提升、信号传输距离不断缩短 8表4:选用低损PCB的方案会带来较大的成本增加 8表5:Retimer基本工作流程 8表6:CXL技术优势 12表7:不同版本NVLink传输速度 17表8:以太网五大应用具体内容 19一、AI需求推动运力持续增长,互联方案重要性显著提升AI相关应用的快速发展正推动“算力”和“存力”需求快速增长,系统需要更高、更强的AI大模型业务场景下,模型参数需要需求正推动运力持续提升。图1:英特尔至强6性能核处理器着重强调了运力相关内容资料来源:Intel,AI计算集群的互联通信能力由内到外可分为三大层级:1)Die-to-Die(裸片间)互联:发生在芯片封装内,实现芯片内部不同功能模块间的数据交换;2)Chip-to-Chip(片间)互联:(机间)互联:在服务器外部的通信,实现服务器-交换机、交换机-交换机之间的数据传输,并层层叠加形成数据中心集群的组网架构。图2:数据中心各层级互联通信资料来源:CMC资本,数据中心性能提升方式主要有两种:1)cl-p(向上/垂直扩展:通过增加单个系统的资源(如芯片算力、存力)以提升性能,即让一个单一的系统变得更加强大;英伟达通过集成36GB200xDGXGB200横向/水平扩展DGXSuperPOD8DGXGB200系统,并通过不断的拓展来实现数万颗GB200芯片的聚集。图3:Scale-upVSScale-out资料来源:CMC资本,PCIeCPUGPUGB的数据传输GPUGPUDirectNVLinkRDMA等技术被大量应用。NVLinkPCIe带宽和传输瓶颈的问题,但是在较低速的连接需求中,PCIe依然是一种适合的解决方案。GPUDirect、RDMAInfiniBand通常在分布式系统GPUCXL1:不同传输技术使用情况对比互联类型 互联方案 技术拓展(实现) 功能描述 优势互联类型 互联方案 技术拓展(实现) 功能描述 优势单GPU卡
PCle 无 高速串行点对点双通道高带宽传CXL CXLmemory 支持多种平台的新型高速互联技GPUDirectStorage GPUGPU
强高CPU问GPUDirect
GPUDirectP2PGPUDirect
GPU不需要数据暂存GPUDirect技术和RDMA技术结合,允许GPU直接访RDMA的数据
无需CPU的参与而直接进行数据访问直接在GPU和RDMA网络设备进行数据传输和通信,显著降低了延迟多GPU卡
NVSwitch 无 实现了单服务器8个GPU的全连接 扩展了NVLink在GPU连接数量上的限NVLink 无 连接多个GPU之间或GPU与其他设备 解决了PCle相对较低的传输带宽问题RDMA
InfiniBand(IB)
RDMA问和数据传输
通过原生RDMA支持来快速访问内存和进行高效的数据传输实现RDMA功能来访问远程主机中的数RoCE 标准以太网上实现的RDMA据iWAPP 基于TPC/IP协议的RDMA实现 实现RDMA功能来高速访问数据资料来源:《GPU数据库实现技术发展演进》(刘鹏等人),二、互联技术加速迭代,刺激运力芯片需求1、PCIeRetimer芯片PCIe2003互连技术发展3-4年翻倍增长,并保持良好的向后兼容特性。PCIe协议已由PCIe4.0PCIe5.016GT/s32GT/sPCIe6.0,传输速率将进64GT/s。表2:各个版本的PCIe传输速度表带宽PCIe版本 时间 传输速(GT/s)单通道(MB/s)双通道(GB/s)四通道(GB/s)八通道(GB/s)(GB/s)120032.5250.00.501.0002.0004.000220075.5500.01.002.0004.0008.000320108.0984.61.973.9387.87715.7544201716.01969.03.947.87715.75431.5085201932.03938.07.8815.75431.50863.0156202164.07877.015.7530.25060.500121.000资料来源:《GPU数据库实现技术发展演进》(刘鹏等人),PCIeCPUGPUPCIePCIePC机、服务器、存储系图4:GrandTetonAI服务器中广泛应用PCIe进行CPU、GPU之间的高速互连资料来源:前沿技术,PCIePCIe3.0时代22dBPCIe4.028dB,PCIe5.036dB。MB trace lengthEnhancedFR4 TotallossMB trace lengthEnhancedFR4 Totallossbudget CPUPKGlossbudget EPPKGlossbudget PCB+ConnlossbudgetpossibleGen-322dB(8Gbps)3.5dB22dB(8Gbps)3.5dB2dB17dB17~35inGen-428dB(16Gbps)5dB3dB20dB8inGen-536dB9dB4dB23dB4in资料来源:AsteraLabs,PCIePCIe信号传输距离是业界面临的重要问题。一PCB,但价格高昂,仅是主板就可能会带来较大的成本增加,且并不能有效覆盖多连接器应用场景。表4:选用低损PCB的方案会带来较大的成本增加UpgradeOption1UpgradeOption2UpgradeOption3PCBMaterialMegtron-4Megtron-6Megtron-7AdditionalPCBCost10~20美元100~175美元180~325美元(relativetoMegtron-2)TracelengthPossible(Gen-4)11in16in20inTracelengthPossible(Gen-5)5in7in10inRetimerPCIeRetimer芯片采用模拟信号和数字PCIe信号的完整性,增加高速信号的有效传输距离。工作流程 具体内容表5:Retimer基本工作流程工作流程 具体内容信号检测 Retimer会对接收到的信号进行检测,评估信号的质量和完整性。信号处理 Retimer会对信号进行处理,包括去除噪声、补偿信号失真等操作,确保信号的清晰度信号再生 Retimer会根据需要重新生成信号,然后将其发送到下一个节点。透明传输 Retimer的操作在整个过程中,对于用户来说是透明的,不会影响数据的完整性和一致性。资料来源:电科星拓,PCIeRetimerPCIePCIeRetimerPCIePCIe协RetimerPCIeCXL模式,更受用户青睐。PCIe4.016GT/sPCIe5.0芯片PCIe5.0时代,PCIeRetimer芯片已成为行业主流解决方案。图5:澜起科技的Retimer芯片典型应用场景资料来源:澜起科技,AIC卡:AICAI加速、网络加速RetimerRetimer的作用更为明显,能显著降低误码率,提高系统可靠性。图6:服务器AIC卡中Retimer具体应用资料来源:电科星拓,Retimer图7:高性能服务器主板中Retimer具体应用资料来源:电科星拓,GPUGPUCPU之间的高速数据传输更GPU图8:GPU服务器中Retimer具体应用资料来源:电科星拓,AIAIRetimer8块GPU的主流I816颗CeRimrCeRimrGPU需求量的增加而持续扩大。图9:AsteraLabs的AI服务器基板解决方案中8颗GPU配备了8颗Retimer芯片资料来源:AsteraLabs,合见工软是国内首家可为数字大芯片设计提供“EDA+IP+系统级”联合解决方案的供应商,IPIPD2DIP解决方案等,包括:针对芯UCIeUniVistaUCIeIPMemory接口UniVistaHBM3/EIPUniVistaDDR5IPUniVistaLPDDR5IPUniVistaRDMAIP;面向网络接口,推出以太网、灵活以太网、InterlakenUniVistaEthernetControllerIPPCIeGen5完整解决方案等。合见工软股东包括澜起科技、卓胜微、韦豪创芯(韦尔股份旗下、联发科、华勤技术等大厂。图10:合见工软高性能IP产品总览资料来源:合见工软,2、CXLMXC芯片CXL(ComputeExpressCXLDRAM模块可能是未来人工智能时代中最具前景的内存解决方案之一。优势 具体内容表6:CXL技术优势优势 具体内容更快的数据传输速度 CXL技术可以实现高达25GB/s的数据传输速度,比目前常用的PCIe4.0技术还要快。更低的延迟更高的能效更强的可扩展性
CXL技术可以将CPU、GPU、FPGA等计算设备与内存直接连接,避免了传统的I/O总线带来的时延,从而实现更低的延迟,提高了计算效率。CXL持内存虚拟化,可以根据应用负载动态分配内存资源,进一步提高了系统能效。CXL展性,为未来的应用需求做好准备。资料来源:电科星拓,2019CXL技术从公司内部转移到行业联盟并首次公开讨论该技术,CXL技CXL的生态已AMDCXLCXL2028150亿美元。图11:华为、英伟达、AMD、英特尔、三星、谷歌等大厂均已加入CXL联盟资料来源:OCPGlobalSummit,在处理器互联方面,CXL技术可以实现不同厂商的处理器之间的互联,提高系统的整体性20231010%CPUCXL标准2027CPUCXLCXL市场的发展。图12:CXL技术典型应用资料来源:OCPGlobalSummit,MemoryExpanderControllerCXLJEDECDDR4DDR5CXL2.0PCIe5.0CPUCXL协议的设备提供高CPUCXL(TCO。MXCAIC扩展卡、背板及EDSFF内图13:MXC芯片主要应用于内存扩展及内存池化领域资料来源:澜起科技,MXC芯片目前的产品应用形态主要有两种:EDSFF模组、AIC(AddInCard)连接标准DDR5/4内存模组。图14:MXC芯片目前主要的两种产品应用形态之一:EDSFF模组资料来源:澜起科技,图15:MXC芯片目前主要的两种产品应用形态之一:AIC(AddInCard)连接标准DDR5/4内存模组资料来源:澜起科技,3、MRCD/MDB芯片AICPUCPU正是基于这种应用需求而生。RDM(1)使用的是常规的DRM2与现有DDR5的带宽。英特尔至强6性能核处理器全新引入速率高达8800MT/sMRDIMMDDR5(40T/sI%-3%。图16:英特尔至强6性能核处理器全新引入速率高达8800MT/s的MRDIMM资料来源:Intel,MRCD、MDBMRDIMM的核心逻辑器件。MRDIMM工作原DRAMDRAM(RDIMM只能访问一个阵列用来缓冲来自内存控制器的地址、命令、时钟、控制信号。图17:MRDIMM内存工作原理资料来源:HARDWAREUPGRADE,MRDIMM1MRCD10MDB芯片。随着企业对高性能内存的需求日益增加,MRDIMM技术通过提高内存带宽和降低延迟,能够显著提升数据中心的整体DDR5标准,便于在现有系统中进行升级和部署,使其成为未来数据中心内MRDIMMMDB)芯片需求大幅增长。图18:每个MRDIMM模组需要搭配1颗MRCD芯片及10颗MDB芯片资料来源:澜起科技,4、NVLink传输NVLinkGPUPCIe相比,GPU系统提供更快速的替代方案。NVLinkNVIDIA显卡。能够实现显存和性能扩展,从而最大限度的满足工作的负载要求。NVLinkGPUGPUCPU之间实现高速的连接带宽。NVLink3层组成,分别是:物理层、数据链路层和传输层。表7:不同版本NVLink传输速度连接方式时间传输速率(Gb/s)实现架构NVLink1.02016160PascalNVLink2.02019300VoltaNVLink3.02020600AmpereNVLink4.02022900HopperNVLink5.020241800Blackwell资料来源:英伟达,《GPU数据库实现技术发展演进》(刘鹏等人),DGXH100GPU18900GB/s4NVSwitch芯片上,每个NVSwitch4-5OSFPOSFP8100Gbps/800Gbps,最终实现高速数据传输。图19:英伟达DGXH100服务器架构资料来源:《RevolutionizingAIServers:UnravelingtheInnovationsinInterfaceInterconnectionChipTechnology》,5、以太网Ethernet,是一种有线局域网通讯协议,应用于不同设备之间的通信传输。自197340图20:以太网五大应用资料来源:EthernetAlliance,表8:以太网五大应用具体内容序号 应用领域 具体内容序号 应用领域 具体内容企业应用数据中心
近年来电信运营商一直在推动高速以太网解决方案。路由器连接、EPON、光传输网络(OTN)设备的客户端光5G距离发展。EthermetAlliance202015和互操作性,可为同时提供数据和电力传输,极大程度上降低车辆的成本和重量。157000/IEEE802.3cg10Mb/s201010GbE25GbE50GbE100、200400GbE资料来源:裕太微,10G以上多采用光纤。光纤具有传导损图21:以太网技术发展路线图资料来源:EthernetAlliance,图22:以太网几乎覆盖所有层级的网络需求资料来源:Intel,以太网交换设备为用于网络信息交换的网络设备,是实现各种类型网络终端互联互通的关CPUPHYPCB/CPU为最核心部件。以太网交换芯片为用于交换处理大量数据及报文转发性集合组成,在协同工作的同时保持极高的数据处理能力,因此其架构实现具有复杂性。CPU是用来管理登录、协议交互的控制的通用
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年长沙道路运输从业资格证考试题和答案
- 元宵节文案:诗意优雅和元宵有关的古诗词文案
- 2025年西藏货运从业资格证模拟
- 会计基础题库题库(1560道)
- 2025年新疆年货运资格证考试答题
- 二零二五年度农产品电商平台数据安全保密合同
- 2024-2025学年九年级科学下册第2章生物与环境第1节生物与环境的相互关系教案新版浙教版
- 2024-2025学年四年级语文下册第五组18花的勇气教案新人教版
- 2024-2025学年高中历史专题二古代中国的科学技术与文化第1课中国古代的科学技术成就课后课时作业人民版必修3
- 2024-2025学年三年级语文下册第七单元22我们奇妙的世界教案新人教版
- 2024智慧城市城市交通基础设施智能监测技术要求
- 2024年湖南环境生物职业技术学院单招职业适应性测试题库及参考答案
- 专题06 压强计算(压强与浮力结合题)-上海市2024年中考复习资料汇编(培优专用)【解析版】
- 湖北省崇阳县浪口温泉地热田地热资源开发利用与生态复绿方案
- 《工程建设标准强制性条文电力工程部分2023年版》
- CJT252-2011 城镇排水水质水量在线监测系统技术要求
- 2024年执业医师考试-医师定期考核(人文医学)笔试参考题库含答案
- 【心理学与个人成长课程论文3500字】
- JJG 1138-2017煤矿用非色散红外甲烷传感器
- 2024年极兔速递有限公司招聘笔试参考题库附带答案详解
- 中医中药在罕见病中的应用
评论
0/150
提交评论