罗森伯格：面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书2024

白皮书:面向A白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer 3 3 3 4 5 5 6 7 7 7 8 8 8 9 9 9 9 4.2.1罗森伯格液冷解决方案——灵活安装的配线架 4.2.3罗森伯格液冷解决方案——即插即拔防水连接器 白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer限。同时，国内人工智能领域也迎来了新的焦点——Kimi，这款的上下文窗口技术，将国产AI大模型“卷”出了新高度。业界普遍预测，2024年将成为AI大模IDC的数据显示，全球企业对生成式人工智能（下文简称：“AIGC”）解决方案的投资热情不断亿美元。这一趋势不仅凸显了AIGC技术的商业潜力，也预示着AI将引领一个创新与增长的新时代。在这样的背景下，AIGC的未来增长需要坚实的支撑——而AI网络架构正是这一增长的“骨AI网络架构的重要性在AIGC应用的发展中显得尤为突出。在AIGC工具方面，厂商正通过深度技术投资，挖掘大量数据并提升算力，使得这些工具从基础应用转变为强大的生产力工具。而在AI社交领域，大模型的发展重点在于融合AI技术与用户互动，创造富有情感和温度的互动体验，旨在重塑用户体验并探索新的商业模式。其中，自主研发能力和丰富的训练数据成为了打造有竞争力产品的关键。我们不难发现，这两个赛道的发展都依赖高效、可靠的网络架构，以支持AI大规模训练集白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer传统的云数据中心网络架构较为成熟，但存在着诸多痛点，导致其无法完美适配AI网络架构需求。实际上，传统的云数据中心网络的设计基于对外提供服务的流量模型，以南北向流量为主导，云内部东西向流量作辅。承载智算业务时，传统云计算这些问题共同影响了智算业务的高效运行，需要通过构建新的网络架构白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书RosenbererAI智算网络采用Fat-Tree（胖树）架构，有效解决了传统云数据网络面临的挑战。这种架构通过1:1的无收敛配置，确保了网络的高性能和无阻塞传输。其次，为了降低时延，网络设计将8台交换机构成一个资源池，池内节点单跳通信，而跨集群通信则通过汇聚交换机，最多实现三跳传此外，网络采用RDMA技术，绕过操作系统内核群内部单跳可达场景的时延，相比TCP/IP网络白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书RosenbererAI服务器之所以更倾向于使用GPU而非CPU，原因在于GP能。GPU拥有大量并行处理核心，能够同步执行众多计算线程，特别适合进行深度学习等AI算法中涉及的大规模矩阵和向量运算，这些运算对于AI模型的训练和推理过程应用中的大数据量时更为高效，进一步提升了整体的计算效率。因此，GPU不仅能够缩短AI模型白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer在深入探究AI智算网络的领域时，我们发现市场中主要存在两大主流架构：InfiniBand和RoCEv2。这两种网络架构在性能、成本、通用性等多个关键维度上展现出各自的优势，相互竞争。我们将细致分析这两种架构的技术特性、它们在AI智算网络中的应用场景，以及各自的优势潜在应用价值和未来的发展方向，以期为行业提供深刻的洞察和2.1InfiniBand网络架构署在一台接入子网的服务器上，充当网络的确保网络内设备的唯一性和准确性。SM的核心职责包括维护网络的路由信息和计算更新交换芯片2.1.1InfiniBand网络流控机制InfiniBand网络基于信用令牌（credit）机制，在每条链路都配备了一个预置缓冲区。发送端仅在确认接收端有足够的缓冲区后，才会启动数据发送，并且发送的数据量都不可超过接收端当前可用的预置缓冲区的最大容量。当接收端接收完报文，会释放缓冲区，并向发送端通报当前可用的白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer2.1.2InfiniBand网络特点：链路级流控与自适应路由InfiniBand网络依靠链路级的流控机制，防止发送过量数据，从而避免了缓冲区溢出或是数据丢包的问题。同时InfiniBand网络的自适应路由技术可根据每个数据包的具体情况进行动态路由选择，在超大规模的网络环境中实现了网络资源的实时优化和最佳MemoryAccess远程内存直接访问）的集群网络通信协议。该协议有两个主要版本：RoCEv1和白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer利用带宽并增强了网络的可伸缩性。这种方法显著降低了网络延迟并提升了吞吐量，整体上提高了网络性能。RoCE方案的另一个显著优势是它能够无缝地融入现有的以太网基础设施，这意味着企业无需额外投资于新设备或进行设备更换，就能实现性能的飞跃。这种成本效益高的网络升级络凭借其高级技术，如高效的转发性能、快速的故障恢复时间和增强的扩展性，以及运维效率而RoCEv2网络则以其强大的通用性和较低的成本受到青睐，不仅适用于构建高性能RDMA网络，还能无缝兼容现有的以太网基础设施，这使得RoCEv2在广泛性和适用性方面具有明显优势，能够满足不同规模和需求的网络应用。这两种架构各自的特性和优势，为AI智算中心的网络设计提3AI智算网络800G/1.6T主流传输足够高，以支持高速数据处理。其次，根据服务器与交换机之间的距离，选择适当的连接技术也至关重要。此外，成本效益分析是决策过程中不可或缺的一部分，需要在网络性能和预算之间找到恰当的平衡点。信号的稳定性和抗干扰能力也是保障网络可靠性的关键，而网络的扩展性和升级能力则确保了网络能够适应未来的技术发展和变革。综合这些要素，可以设计出一个高效的AI白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer短距离传输环境，但受多模光纤色散和VCSEL带宽限制，其应用范围相对单模方案有限。相比之降低了成本。对于跨机房或跨楼层的连接，则仍然依赖于光模块。鉴于单模方案在稳定性和传输距自2019年起，罗森伯格便与互联网领先厂商建立了深入合作关系，并在国内率先成功进行了400G高速光纤系统的测试。至今，罗森伯格已经为多家互联网企业项目提供了800G产品，并致力于推动新型产品的研发，以满足市场对更高速、更高效、更创在传输标准的实际应用中，环境因素与实际传输带宽对光纤性能的实际表现有着显著影响。用中，当最大有效模式带宽（EMB）达到4700MHz.km时，会出现波长偏移的现象，即波长从850nm偏移到860nm。此外，当传输针对这一挑战，罗森伯格研发了OM4+特种光纤，并与行业内知名厂商合作进行了多次对比实验白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书RosenbererEBO技术的核心优势在于其能够通过两个精确匹配的透镜系统，分别位于光纤的两端，实现光纤信号的有效扩束和聚焦。当信号从一端发射并通过透镜扩束成平行光线后，接收端的透镜会将其重新聚焦回光纤，从而显著提高了光纤传输的效率和系统的整体稳定性。这一技术的应用，不仅的解决方案。该方案利用全内反射（TIR）镜技术将光纤信号扩束成平行光，配合AR涂层，最大白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer模光纤的插损控制在0.3dB以下。此外，即使在多次插拔操作后，插损的浮动值也能保持不超过0.1dB。这一结果凸显了MPO解决方案的卓越长期稳定性和耐用性，为高速通信网络提供了一个此款新型连接器凭借其简洁而创新的设计，在反复插拔使用中能够保持性能的稳定性。同时，该连接器的设计巧妙避免了光纤端面的直接接触，从而最大限度地减少了端接过程中可能出现的碎裂、划痕和损坏风险，确保了光纤传输的卓越性能。此外，该连接器对环境中的振动和灰尘具有极高的抗干扰能力，具备出色的可靠性，适合在环境多变的条件下使用，为AI智算中心网络的稳白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer随着AI模型规模的持续扩大，园区级跨机房模块的DCI超大芯数单模主干线缆成为了满足AI智算中心对高芯数光缆需求的典型部署案例。AI技术的高速发展使得传统的192芯大芯数光缆已无法满足智算中心的网络需求，市场对能够传输上千芯光纤的高密度光缆的需求日益迫切。国际上成熟的解决方案主要由蜘蛛网丝带（SpiderWebRibbon,SWR）和缠绕管线缆的光纤传输，在光纤接入时，通过剥离外护套并分离每组SWR光纤，可以迅速建立高密度的光纤传输系统。在安全性方面，在小动物啃咬通信线缆导致的电气事故频发，其中，老鼠啃咬事件约占60%，因此，室外线缆的外护套还需采取防鼠措施，如施加金属罩进行机械保护、在线缆表面涂上防鼠剂涂料，或使用表面硬度更高的塑料材料，以确保通信安全和可靠性。白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer基于对上述解决方案的深刻理解和支持，罗森伯格结合SWR和WTC技术理念，并融入了自主研发的预连接技术，为AI智算中心网络架构中的DCI超大芯数单模主干线缆提供了一种高效的部署方案。该方案免除了现场熔接的需要，极大提高了光缆的安装和管理效率，并简化了整个部署流程。并且，通过利用EBO扩束技术，罗森伯格实现了盲配解决方案，既有效预防了端接过程中的连接问题，又使得单根光缆支持上千芯的预端接应用，显著提高了光此外，罗森伯格在防鼠咬解决方案方面进行了创新性的改进，在护套内融入了一种特殊的化学材料。这种材料不仅赋予了线缆持久的防鼠咬性能，而且与线缆护套的原始材质实现了良好的兼容性，确保了线缆的整体性能不受影响。该化学材料在施工和使用过程中不会产生有害或刺激性的气味，从而在保障户外使用环境下线缆的耐用性和可靠性的同时，也提升了施工人员的操作舒适白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer4AI智算网络降耗增效解决方案随着光模块技术向400G及更高速率迈进，面临的挑战不单是提升数据传输速度，还包括应对由接近30W，随着速率的每一次迭代，功耗也相应攀升。在满载状态下，一个交换机可能搭载多达数十个光模块，48个光模块的总功耗可达1440W，而光模块通常占整机功耗的40%以上，导致整个智算中心的能耗可能超过3000W。这种能耗的显著增长对智算中心的运营成本构成了重大压白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer4.1创新光模块LPO与其他光模块的技术差异），续时间线性均衡（CTLE）与均衡（EQ）功能，实现了低功耗、低成本和低延时的目标。这种设计设计简化。虽然在通信距离和性能集成度方面可能不及CPO，但它为短距离应用提供了一种经济高效的解决方案。LPO技术处于标准化的初步阶段，为了未来的发展，LPO需要克服这些技术障碍，以便在多供应商环境中的保障互联互通性，在更广泛的应用场景中实现规模化生4.2应对AI数据中心高能耗高热量的问题——液冷解决方案在追求降低网络系统能源功耗的过程中，液冷技术已成为市场上广泛认可的高效解决方案。液冷技术利用液体的高导热性能，其导热能力是空气的25倍，能够以远高于空气的效率带走热量，大约是同体积空气的3000倍。这一特性使得液冷技术尤其适用于高功率密度数据中心的冷却需求，即然而，冷却液的腐蚀性以及压强差导致的逆流问题，对液冷系统的安全性提出了挑战。针对这些问题，罗森伯格提供了全面的液冷解决方案，旨在最大化提升冷却效率，同时确保数据传输过程的安白皮书:面向AI智算数据中心网络架构与连接技术的发展路线展望白皮书Rosenberer4.2.1罗森伯格液冷解决方案——灵活安装的配线架罗森伯格自主研发的液冷线缆专用配线槽设计灵活，可方便地安装在液冷柜的内部或机体侧面。在应用过程中，通过快速打开每根线缆中间的避免了对浸没在冷却液中的有源光缆（AOC）两端收发器进行插拔操作，从而减少了这一创新方法不仅提高了液冷系统的可靠性，而且显著提升了液冷产品4.2.2罗森伯格液冷解决方案——半浸没式RJ45跳线罗森伯格针对半浸没式液冷中存在的压强差问题，研发了专用的液冷RJ45跳线，以应对冷却液逆流的挑战。跳线采用创新的防漏结构设计，有效防止了冷却液在跳线中间和两端连接器内部的逆在性能测试方面，液冷RJ45跳线在浸泡冷却液前后的表现对比显示，单体与信道的串扰