2026开放解构超节点（ODS）系统架构技术白皮书（1.0版）

(1.0版本)1前言 5术语 7第1章超节点技术发展面临的挑战 91.1硬件架构异构化和系统封闭性 91.2厂商锁定风险和客户采购决策复杂性 91.3数据中心适配与系统成本挑战 101.4模型扩展与业务适配灵活性 111.5交付与运维便利性不足 12第2章开放解构超节点设计理念 第3章开放解构超节点系统架构 3.1基础开放解构超节点系统架构 153.1.1硬件系统架构总体介绍 153.1.2Scale-up网络互连拓扑 163.1.364卡风冷基础开放解构超节点产品示例 173.2级联开放解构超节点整体架构 203.2.1架构总体介绍 203.2.2Scale-up网络互联拓扑 24第4章计算节点 2624.1XPU/GPU选型要求 264.2风冷型计算节点设计参考 274.2.1计算节点架构 274.2.2计算节点机箱布局 284.2.3GPUBaseboard参考设计 304.2.4CPU主板 314.2.5PCIeSwitch板 334.2.6DC-SCMBMC卡 354.2.7高速硬盘背板 364.2.8计算节点power设计要求 374.2.9SI设计要求 384.2.10计算节点散热设计要求 444.3液冷型计算节点设计参考 47第5章交换节点 495.1交换芯片选型 495.2风冷型交换机参考设计 505.2.1基本规格 505.2.2结构与布局 515.2.3功能框图 535.2.4SI设计 5635.2.5散热设计 595.3液冷型交换机参考设计 595.3.1基本规格 595.3.2结构与布局 605.3.3功能框图 635.3.4SI设计 655.3.5散热设计 65第6章Scale-up互联方案 676.1AEC铜互联方案 676.2光互联方案 696.2.1FRO 696.2.2LPO 706.2.3LRO 716.2.4CPO 72第7章软件栈参考架构 74第8章机柜尺寸要求 778.1风冷机柜 778.1.1风冷计算机柜参考设计 778.2液冷机柜 788.2.1CDU要求 7848.2.2Manifold要求 79第9章机柜供电要求 809.1计算机柜 809.2交换机柜 81第10章布线要求 8210.1AEC铜缆 8210.2光纤布线 83第11章散热要求 84 8411.1.1风冷计算机柜 8411.1.2液冷计算机柜 85 8611.2.1风冷交换机柜 8611.2.2液冷交换机柜 86第12章机柜的统一管理 885前言混合专家模型（MoE）已成为当前基于Transformer架构大语言模型的主流技术路径。该架构依托稀疏激活核心机制，在实现模型参数量级跃升的同时，可维持优异的计算效率，凭借相对有限的算力代价实现显著的性能增益。然而，这一架构优势也对AI基础设施提出了全新的系统性诉求——MoE模型运行依赖的专家并行等通信范式，对节点间互联带宽与延迟表现出极强的敏感性。随着模型规模从千亿级向万亿乃至十万亿参数量级演进，专家并行的通信范围已突破单一服务器物理边界，亟需构建规模更大、带宽更这一刚性需求直接驱动超节点技术的兴起与演进。其核心目标是借助超高速互联技术，将成百上千颗GPU整合为逻辑统一的“超级GPU”，实现近似单机级别的协同计算效能。在此背景下，超节点技术正加速演进为支撑下一代万亿乃至十万亿参数级MoE大模型训练与推理任务的核心基础设施基石。当前，超节点技术已成为行业焦点，主流芯片厂商、服务器供应商及云服务商纷纷推出专属解决方案。但产业界普遍面临硬件架构异构化、互联协议私有化、软件生态碎片化等痛点，导致用户技术选型时面临显著的采购决策风险与长期厂商锁定风险。这种碎片化态势不仅推高总体拥有成本（TCO),还制约跨平台兼容性与产业链协同效率，阻碍超节点技术市场的健康可持续发展。对此，行业亟需在硬件架构、互联协议及软件框架等层面建立开放统一的技术标准，构建具备互操作性与可持续演进能力的超节点技术体系,为全球人工智能基础设施的健康可持续发展筑牢根基。6需要说明的是，本技术白皮书1.0版本主要聚焦于定义开放解构的超节点硬件系统技术架构，暂不涉及互联协议的具体定义。7术语ODS开放解构超节点OpenDisaggregatedSuperPoDODCC开放数据中心委员会OpenDataCenterCommitteBMC基板管理控制器BaseboardManagementControllerCPU中央处理器CentralProcessingUnitGPU图形处理单元GraphicsProcessingUnitXPU一种泛指各类专用加速处理器的术语eXtendedProcessingNIC网卡NetworkInterfaceCardIDC互联网数据中心InternetDataCenterConvergedEthernetPFC基于优先级的流量控制PriorityFlowControlECN显式拥塞通知ExplicitCongestionNotificationOAM开放式加速器模块OCPAcceleratorModuleOCS光电路交换机OpticalCircuitSwitchOEO光电转换Optical-Electrical-OpticalFEXT远端串扰Far-EndCrosstalkNEXT近端串扰Near-EndCrosstalk8AECAOCFROLPOLROCPOOEELSQSFPOSFPConsoleUSBVGA有源电子电缆ActiveElectricalCable直连电缆DirectAttachCopperCable有源光缆ActiveOpticalCable全重定时光模块FullRetimerOptics线性可插拔光模块LinearPluggableOptics线性接收光模块LinearReceiveOptics共封装光学技术Co-PackagedOptics硅光引擎OpticalEngine外部激光光源ExternalLaserSourcePluggablePluggable控制串口管理网口通用串行总线UniversalSerialBus视频图形阵列端口VideoGraphicsArrayForm-factorForm-factor9第1章超节点技术发展面临的挑战当前，超节点在硬件架构维度呈现出鲜明的多元化发展特征，例如，英伟达现有GB200/GB300NVL72整机柜超节点产品采用电缆托盘（CableTray）架构，而其下一代RubinNVL576整机柜超节点转向中背板设计；与此同时，业界还涌现出以AMDHelios为代表的双宽机柜超节点，以及浸没液冷超节点等差异化技术路线。这种硬件架构的异构化趋势，使得设备在机柜规格、供电接口及散热方案等基础设施层面，与数据中心标准规范存在显著兼容性冲突，大幅抬高了系统部署与集成的综合成本。在协议层面，主流超节点普遍依托私有互联技术，例如NVLink、InfinityFabric等专有协议。此类协议虽能在单系统内实现极致的通信性能,但技术封闭性的固有缺陷，不仅导致跨厂商设备之间难以建立有效的互操作机制，更引发多厂商异构算力组网场景下技术标准不统一的问题，显著增加了运维侧的配置适配、故障排查与版本迭代难度，进而对统一资源调度与管理平台的构建形成结构性障碍。超节点的全栈式定制化设计模式，使得用户一旦完成技术选型，便会在硬件采购、软件适配、运维服务及技术演进等全生命周期环节形成对单一供应商的深度依赖。这种强绑定的厂商锁定效应，不仅直接削弱用户在合作中的议价主动权，更会因供应商的商业策略调整、技术路线封闭甚至生态布局此外，不同厂商的技术路线存在显著差异，用户在技术选型阶段需对性能指标、扩展能力、生态兼容性等核心维度展开全面研判。在缺乏统一行业标准与技术移植机制的产业环境下，任何选型决策都将面临因架构快速迭代、厂商生态更迭而产生的投资保护风险，进而大幅提升采购决策的复杂性与不确定性。模组的安装布局，浸没式液冷则需全面重构机柜的同时，超节点系统的计算节点、交换节点、电缆托盘及机柜用高度定制化设计。这种非标准化架构虽然有助于实现系统级性能最优化，但也带来了较高的研发投入、硬件BOM成本与后期维护成本。从散热维护来看，液冷系统需定期检测冷却液纯度、管路密封性，冷板需及时清理流道结垢，浸没式液冷还需管控冷媒损耗与相变循环效率，这些运维工作不仅专遍面临在性能提升、散热效率与系统可扩展性之间寻求平衡的挑战，如何在保持高性能密度的同时实现模块化与标准化设计，将成为超节点技术规模化落地的关键方向。整机柜超节点在性能密度和互连带宽方面具备显著优势，对支撑大规模模型训练及满足ScalingLaw提出的计算与通信需求具有重要意义。然而，该架构在模型规模适配与业务需求灵活性方面存在明显局限。当前主流整机柜超节点通常采用64或72个GPU的固定互连规模，在面对不同模型大小与多样化市场需求时，容易出现两种极端情况：对于中小模型或推理型业件资源过剩，降低系统利用率；在支持更高ExpertParallelism（EP）的超大规模模型训练时，单机柜架构在空间、功率及冷却限制下，往往无法满足更大的HBD扩展需求，需要依赖多机柜级联实现扩展，从而增加系统复杂度与部署难度。因此，业界亟需探索一种“开放解构超节点（OpenDisaggregatedSuperPod,ODS）”架构，通过模块化、可组合化的设计理念，根据实际业务与模型需求灵活组建不同规模的GPU集群，实现按需配置的HBD拓扑结构。这一方向不仅有助于提升系统的资源利用率与投资效率，也为数据中心在采购规划、能耗分配与部署优化方面提供了更高的灵活度与可持续发展空间。当前整机柜超节点的设计普遍侧重性能优化，对交付便捷性与运维灵活性考量不足，导致实际部署与运营过程中面临诸多痛点。在交付环节，采用CableTray架构的整机柜超节点（如英伟达GB200NVL72）因电缆托盘与计算节点预集成，形成高度一体化的大型设备，不仅体积庞大、重量超标,还对运输链路提出严苛要求，需专用重型运输车辆及定制化固定方案，避免运输过程中精密电缆与接口受损；现场交付时，还可能面临机房入口尺寸、通道宽度不足等问题，需临时改造机房结构，严重延误交付周期。在运维环节，问题更为突出。一方面，CableTray架构的超节点采用集成化电缆组件（CableCartridge当单根电缆出现故障时，无法单独拆卸更换，需停机后整体更换整个电缆组件，导致故障修复时间大幅延长，严重影响业务连续性；另一方面，采用浸没液冷的整机柜超节点，虽能满足超高功率密度散热需求，但运维难度显著提升——设备出现部件故障时，需先排空液冷罐中的冷媒，将整机从液冷tank中取出后才能进行维修，不仅操作流程复杂、耗时久，还需专业团队管控冷媒回收与加注，避免漏液与环境风险。此外，超节点的定制化硬件设计导致备品备件通用性差，需从原厂商单独采购，不仅采购周期长、成本高，还进,运维人员需掌握液冷系统、专有互连协议等多领域技术，对运维团队的专业能力提出极高要求，而行业内此类复合型人才普遍短缺，进一步推高了运维成本。第2章开放解构超节点设计理念为应对上述挑战，我们提出以“开放解构”为核心理念的新型超节点架构，旨在通过标准化、模块化的设计思路，推动构建健技术生态体系。开放解构超节点（OpenDisaggregatedSuperPoD，ODS）的核心设计原则包括以下5个方面：同时最大化统一Scale-up与Scale-out技术栈，消除异构组网的协议壁垒，通过通用铜缆或光纤接口实现计算与交换节点的高效互联支持从几十卡到上千卡的平滑弹性扩展，可无系统架构原生兼容风冷与液冷两种散热方案，●遵循“铜缆优先”原则，在满足超节点规模和互联距离的前提下，优先采用成本更低、能效更优、可靠性更高的铜缆互联方案；交换跳数，降低端到端通信延迟；●最大限度减少光电转换（OEO）环节显著降低系统功耗与传输延迟。第3章开放解构超节点系统架构开放解构超节点（OpenDisaggregatedSuperPoD,ODS）系统架构支持两种差异化部署形态：其一为采用单级交换架构的基础开放解构超节点,其二为采用两级交换架构的级联开放解构超节点，分别适配不同规模的超节点部署需求。基础ODS以独立的计算节点为基本构建单元，通过标准化的高速互连接口与交换节点进行连接，从而实现硬件系统架构的完全解构。基础ODS允许计算节点与交换节点在物理空间上灵活布局。计算节点可分布于多个标准机柜内，通过结构化布线与交换柜内交换节点互联，从而显著提升机柜布局、供电与散热设计的灵活度。基础ODS的规模主要受限于交换机的端口密度和线缆最大通信距离两个因素，交换机可以选择51.2T（128*400G）交换机或102.4T(128*800G）交换机，采用7米800GAEC可以支持5个标准机柜互联（注：中间一个交换柜，两侧各两个计算柜可以在一级交换的组网架构下，最大支持256卡（液冷）和128卡（风冷）规模。64卡风图3-1基础开放解构超节点的Scale-up网络采用一级交换全对等互连结构：所有计算节点中的GPU通过标准线缆连接到高基数高性能交换机，实现GPU之间全对等互联，形成一个高带宽域（HBD,HighBandwidthDomain以满足MoE大模型训练和推理场景对高带宽、低延迟通信的以64卡风冷基础开放解构超节点为例，互联拓扑（图3-2每个GPU的通过4个800GAEC线缆连接到4个交换机。如果采用800GAEC一分二线缆（一侧800GOSFP，另外一侧2*400GQSFP112），则每个800GAEC对应的两个400G接口连接到同一台交换机。图3-2以一个由64卡Gaudi3GPU组成的基础ODS为例（图3-3）：图3-3具备独立的供电与散热能力（风冷计算节点的详细规格说明见第四章）。每个GPU提供24个200GRoCE接口。为满足全带宽通信需求，集群设计采用6台51.2T交换机实现互联。交换机的具体数量与带宽配置，取决于GPU的互连需求与系统拓扑设在典型部署中，可选择6台51.2T以太网交换机，每800GOSFP接口；或采用128个400GQSFP112接口的交换机型号，以提升端口密度与兼容性；推荐的交换机型号与端口配置详见第五章。在机柜布局方面，计算节点可对称分布在交换柜两侧：左右两侧各包含8个计算节点（共32GPU中间机柜为交换柜，部署上述6台交换机，通过结构化布线与计算节点这种布局不仅优化了信号完整性与线缆长度，同时便于风冷/液冷混合部署与数据中心机电系统的灵活扩展。基于Gaudi3的64卡超节点Scale-up网络互联拓扑（图3-4）：图3-41)交换机选型与链路配置在使用128×400G交换机的情况下，需要通过800G到400G分支连接线（一分二）将GPU接口连接到交换机端口，以保证每条链路的带宽与互连完整性。每个GPU的同编号端口应统一连接到同一交换机上，这样可以在通信协议层面实现拓扑简化与统一管理，便于调度和负载均衡。2)拓扑设计原则全对等互连可确保GPU间通信延迟最小化，适用于需要高并行度和大规模HBD的模型训练任务。采用标准化接口（如QSFP/OSFP）和分支线缆设计，使系统在不同GPU数量和不同交换机配置下均可灵活适配。统一端口连接策略不仅降低了布线复杂度，也便于系统调试和后期维护对于未来扩展到更大规模的HBD，可通过增加交换机或计算节点模块的方式，保持一级全互连结构，同时保证互连性能和系统可管理性。3.2级联开放解构超节点整体架构级联开放解构超节点以多套基础开放解构超节点为核心算力单元，通过引入第二级互联层，实现多套基础超节点单元的级联，从而快速扩容超节点在第二级互联设备选型上，除采用电交换机之外（与第一级交换机一样)外，强烈推荐采用OCS（光电路交换机）替代。OCS设备依托光电路调度特性，可省去数据传输中的频繁光电/电光转换环节，借此进一步降低传级联开放解构超节点配套的Scale-up网络互联架构采用“光电混合的高效互联”体系，具体层级设计如下：(1)第一级交换：支撑基础开放解构超节点全对等互联与级联预留第一级交换的核心作用的是实现基础开放解构超节点范围内GPU/XPU之间的高效互联，并为级联预留一半端口资源，具体设计如下：所有计算节点直接接入第一级交换机，实现全对等互联；同时，第一级交换机需预留50%端口资源，专门用于后续与第二级互联设备的级联扩展。以64卡基础开放解构超节点（风冷）为例，交换柜内的第一级交换机配置有两种方案：●方案一：部署8台51.2T高性能交换机（128*400G对应构建8个Scale-up网络平面，每个GPU/XPU通过单链路400G的方式接）；图3-5●方案二：部署4台102.4T高性能交换机（128*800G对应构建4个Scale-up网络平面，每个GPU/XPU通过单链路800G的方式分别接入这4个网络平面（图3-6）。图3-6以128卡基础开放解构超节点（风冷）为例，交换柜内的第一级交换机配置采用如下方案：部署8台102.4T高性能交换机（128*800G对应构建8个Scale-up网络平面，每个GPU/XPU通过单链路400G方式接入这8图3-7(2)第二级交换：实现多套基础超节点级联第二级交换实现“基础开放解构超节点级联”，通过第一级交换机与第二级互联设备的高带宽链路，实现多套基础开放解构超节点的级联，具体设计与规模适配如下：●互联方式：第一级交换机与第二级互联设备通过光纤连接。第二级交换设备可以采用交换机（与第一级交换机相同型号）或光路交换机（OCS基于开放解构超节点的第5条设计原则，即最大限度减少●超节点规模：超节点的最大级联规模由第二级互联设备的类型和规格当第一级、第二级交换均采用51.2T的交换机（128*400G端口）时,最大可支持8192卡超节点集群；当第一级交换采用51.2T交换机、第二级交换替换为OCS（256*256）时，最大支持1024卡超节点集群（图3-8）。图3-8当第一级、第二级交换均采用102.4T交换机（128*800G端口）时，最大可支持16384卡超节点集群；当第一级交换采用102.4T交换机、第二级交换机替换为OCS（256*256）时，最大支持2048卡超节点集群。以64卡风冷基础开放解构超节点为构建单元，第二级采用交换机的级联开放解构超节点的Scale-up互联拓扑如下（图3-9）：图3-9以64卡风冷基础开放解构超节点为构建单元，第二级采用OCS的级联开放解构超节点Scale-up互联拓扑如下（图3-10）：图3-10第4章计算节点开放解构超节点（ODS）架构在设计上开放支持多种互连协议，为了保证系统的开放性与生态延续性，建议优先采用以太网互连方案。基于以太网的设计能够充分利用现有交换机、线缆及管理工具的成熟生态，同时兼顾高性能计算需求。为满足大规模深度学习训练中高带宽、低延迟的GPU互连需求，每个GPU的网络接口带宽建议≥3.2Tbps。芯片SerDes能力需满足开放互连拓扑中的信号完整性（SI）指标，保证多节点互连时的可靠传输。每个GPU需具备连接至CPU的PCIeGen5x16接口能力。在多机多卡场景下，GPU互连接口应建议支持以下功能，以提升通信性能并降低软件干预：GPU接口应建议支持RDMA功能，为计算引擎提GPU接口建议支持将集体通信操作（如All-Reduce、Broadcast）卸载至硬件，以减少CPU负载并提高端口带宽利用率。硬件卸载可解决发送方交会流冲突，确保数据仅发送一次至接收方，同时避免多余内存拷贝。GPU接口应建议支持无损网络机制，如基于优先级的流量控制（PFC）或基于时效的拥塞管理（ECN/RTT-basedCongestionControl以防止丢包导致性能下降。4.2风冷型计算节点设计参考本章节描述风冷型4U计算节点（图4-1）的设计规范，涵盖架构、机GPUScale-up网络设计。图4-1本章节描述的计算节点采用4U风冷设计，支持4个加速器模块，面向主流OAM形态的高性能计算需求。参考设构建，系统由GPUBaseboard、PCIeSwitch板、CPU主板和电源分配板（PDB）等关键部件组成，形成完整的计算节点架构（图4-2）。图4-2为兼顾风冷型计算节点的通用性与可维护性，本设计采用GPU与CPU系统一体化布局方案。整机基于4U机箱结构，在机箱前部进风口位置布置4块高功耗GPUOAM模块，以实现最优的气流组织和散热效果，同时便于高速网络连接的布线与管理。CPU主板位于机箱尾部区域，便于管理网口、I/O接口及其他系统连接器的布置与接入。整机各功能单元均采用模块化设计，包括GPUBaseboard、CPU主板、PCIeSwitch板及电源分配模块等，模块间通过线缆实现互联，既提升了系统装配灵活性，也方便后期维护与升级。机箱的整体布局（图4-3）图4-3图4-44.2.3GPUBaseboarGPUBaseboard的板框图（图4-5）。以IntelGaudi3为例，Baseboard搭载4个GPUOAM模块，每个OAM模块支持24条200Gbps以太网接口。为满足业界标准互联要求，这些接口通过6个OSFP接口对外呈现，实现单板共24个OSFP端口的高速网络连接能力。图4-5GPUBaseboard4个GPU的PCIe信号通过MCIOcable连接到PCIeSW板的PCIeSwitch下行接口。板上的54V和12V电源来自PDB板，54V转3.3V的powermodule主要用于给24个OSFPmodule供电。Sideband信号连接器用于CPU主板对于GPU板上电时序和GPU的管理，板上CPLD主要用于上电时序控制和对GPU信号控制。GPUbaseboard外形（图4-6）尺寸如下（表4-1）长424mm宽360mm板厚3.6mmTOP限高2.1mm表4-1图4-6CPU主板框图（图4-7）。本参考设计采用单路IntelBHS-AP平台88条PCIeGen5lane对外接口。主板集成CPLD用于上电控制和状态监控，并配备标准OCPDC-SCM连接器，外接DC-SCM卡实现BMC管理功能。图4-7单路CPU主板外形尺寸如下：CPU主板外形（图4-8）尺寸如下（表4-2）长355mm宽210mm板厚2.51TOP限高2.1mm图4-8PCIeSwitch板框图（图4-9单板集成2个BroadcomPEX89104Switch：➢2个x16CEMslot，用于Scale-OutN➢2个x16接口连接GPUBaseboard图4-9PCIeSwitch板外形（图4-10）尺寸如下：长285mm宽250mm板厚2.63mmTOP限高2.1mm表4-3图4-10BMC卡框图（图4-11采用AST2600BMC芯片，通过Gen-Z4C+连接器与主板连接。接口符合OCPDC-SCM2.0标准，板上集成EROT芯片提供加密功能。BMC卡用于计算节点管理，对外接口包括：●管理GE口●USB2.0、USB3.0、USB-C接口图4-11BMC板外形（图4-12）尺寸如下（表4-3120.4mm90mm1.57mm11.5mm1.8mm表4-3图4-12高速硬盘背板支持4个U.2硬盘，PCIe信号由两片PCIeSwitch板通过MCIO线缆连接。板上CPLD负责电源控制、硬盘在位检测及指示灯控制，同时提供VPP接口给主板（图4-13）。图4-13高速硬盘背板外形尺寸如下（表4-4163mm39.3mm2mmN/AN/A表4-4PDB两路输出54V和12V,提供节点内各个子系统的供电需求，powerbudgettable如下，可用于选择合适的PSU。ComponentGaudi3OAM4Power900WTotalPower3600W1800W800WPCIESW1150W150W160W60WGPUNIC445W180WSSD420W80W54VFAN895W760W12VFAN839W312WMiscs110W10WVRloss+PDNlossTotal1150W1850W6102W表4-5互联方案建议优先选择AEC，800GOSFPAEC典型的功耗为10W54V设计有额外的安规要求，请参照“OpenAcceleratorInfrastructure(OAI)-UniversalBaseboard(UBB)BaseSpecificationr2.0v0.5”。本节针对112GSerdes的互连，提出计算节点的信号完整性设计要求(1)Serdes拓扑与损耗预算计算节点的Serdes拓扑（图4-14由GPU的OAM模块，连接OAM与UBB的板到板连接器，UBB互连，OSFP连接器，以及OSFP模块构成。图4-14为了满足AEC、AOC、LPO等各种有源铜缆或光纤的应用场景，基于OIF-CEI5.2协议标准与IEEEstd802.3ck协议标准整个拓扑的损耗预算可以分配如下：表4-6计算节点管脚至管脚插入损耗分配预算3.0板到板连接器1.0UBB互连结构8.0OSFP连接器2.0OSFP模块2.016.0表4-6此处为信号的波特率，对于PAM4信号，数值为信号传输速率除以2，/2等于PAM4信号的奈奎斯特频率。插入损耗是一个快速评估指标，如果计算节点的总插入损耗超过要求，则提示设计有较大风险。(2)计算节点的Serdes通道性能评估OAM与UBB上的走线与互连结构设计，以及计算节点中各个连接器的性能会直接关系的到计算节点Serdes的性能与工作稳定性。在设计前期需要对OAM和UBB上走线与互连结构进行建模，结合连接器模型通过模型级联搭建计算节点Serdes链路模型，通过多个参数对整个互连链路的性能进行评估。计算节点管脚至管脚随频率变化的差分插入损耗是最基本的要求，不同于上一小节快速估算中只考虑单点频率的插入损耗，具体性能评估中需要考虑全频率范围内的差分插入损耗，其要求可以由以下公式描述：除此之外还推荐通过以下参数对互连链路进行多角度评估表4-7计算节点互连链路具体评估参数FOMILDERL≥3.0dB≤0.25dB≥10dB表4-7COM、FOMILD与ERL的具体计算定义可参见IEEEStd802.3Annex93A。COM（ChannelOperatingMargin）通过计算计算信道的信噪比裕量来评估链路性能，主要评估链路的信号完整性、噪声容限和误码率过评估插入损耗相对于理想平滑曲线的偏差来衡量链路性能，量化了实际插入损耗与拟合曲线之间的差异。FOMILD主要评估链路的频率响应平坦度和阻抗连续性，确保信道在工作频带内具有平滑的传输特性，避免因阻抗不匹配或结构不连续导致的信号反射和失真。ERL（EffectiveReturnLoss）参数通过评估链路的有效回波损耗来衡量阻抗匹配性能，量化了信号在传输过程中因阻抗不连续而产生的反射损耗。ERL主要评估链路的阻抗匹配质量和反射特性，确保传输线路具有良好的阻抗连续性，最小化信号反射对传输质量的影响。在满足通道的设计要求基础上，对于作为Host侧的GPUOAM与UBB以及作为Module侧的OSFP模块应满足标准IEEEStd802.3Annex120.G与OIF-CEI5.2112GVSRPAM4中对于Host与Module的所有输入与输出要求。在IEEE802.3ck规范与OIF-CEI规范中，推荐的PCB特征差分阻抗为100欧姆。同时，要求发送器和接收器封装传输线的特征阻抗在87.5欧姆至92.5欧姆范围内，标称值为90欧姆。而在OCPOAM基础规范中，OAM板到板连接器支持高达56GbpsNRZ或112GbpsPAM4的比特率，标称阻抗为90欧姆±5%容差。这使其既兼容典型的85欧姆接口（如PCIeGen5/6也兼容其他基于100欧姆的高速接口。与此同时，OSFP连接器供应商通常将差分阻抗设计为100欧姆或92.5欧姆。显然，整个信道缺乏标准化的特征差分阻抗。在实际PCB设计中，为了兼顾各段阻抗匹配与发送器、接收器封装的90欧姆阻抗实现完美匹配，可以将PCB走线保持在在90~93欧姆范围内选择PCB走线的统一值，制造偏差为±10%。整个112GSERDES信道阻抗可按如下方式控制：。对于Serdes板到板连接器，OAM基础规范要求标称阻抗为90欧姆±5%。UBB与OAMPCB板差分端接特征主走线阻抗微带线为90欧姆或93欧姆90~93欧姆±15%，带状线为90欧姆或93欧姆90~93欧姆±10%。尽管列出了微带线规格，但由于其高损耗、高串扰和较差的制特性，不建议在表面层进行Serdes布线。PCB无源信道中的主要不连续性包括芯片的BGA扇出区域、层间转换结构、连接器及其扇入扇出区域。此外，串扰是一个重要问题，其中远端串扰（FEXT）发生在同向传输的信号之间，近端串扰（NEXT）发生在反向传输的信号之间。建议对每个区域分别进行三维全波场求解器分析。利用提取的S参数模型，检查回波损耗和TDR曲线以控制反射。相邻通道串扰的功率和(PowerSum）可根据信号传输方向进行计算。基于经验，各区域的目标参数如下，供参考：●回波损耗≥-15dB●标称阻抗为90欧姆或93欧姆，TDR曲线范围±10欧姆●远端串扰功率和≥-50dB●近端串扰功率和≥-60dB这些经验目标并非强制性要求，仅作为优化物理几何结构的目标。在某些频率下的少数违规情况并不一定表明设计失败。整体的互连链路评估建议依据前一小节所述的参数。然而，各区域的优化质量将直接影响整体互连链路参数。对于Serdes112GPAM4设计，差分结构的对内正负信号匹配是设计中需要注意的一个细节。在计算节点的拓扑中，连接器设计可对差分对内匹配做优化设计，PCB换层结构也可通过结构设计保证差分对内对称，在此情况下差分对内延时差的主要的两个来源，一是PCB走线带来的延时差，二是玻纤效应导致的差分对内延时差。在PCB走线中，对内长度不匹配不可避免，导致对内延时差。当前广泛使用的解决方案是通过调整较短信号的长度来补偿，确保正负信号的PCB走线长度相等。然而，即使正负信号的PCB走线长度相同，它们之间仍可能存在电气延时差。当补偿正负信号走线长度差超过100mil时，即使补偿后正负信号长度相等，其电气时延差仍然可能超过3ps。对于正负信号走线长度差较大的差分对在设计时建议计算其电气延时，通过电气延时来指导长度补偿，而非直接进行简单的等长度补偿。另一个影响差分对时延差的因素是PCB的玻纤效应。在条件允许的情况下可以采用整体旋转PCB设计方法缓解玻纤效应。如果无法采用整体旋转PCB设计方法，在PCB设计中则需要使用10度的角度走线的方法避免走线与玻璃纤维编织方向平行或成固定角度。无法采用角度走线的水平、垂直或45度走线，建议将其在所有PCB上各段长度的方和根值控制在500mil以下。这款4UAI服务器集成了多颗高热设计功耗（TDP）的其中包括IntelGaudi3OAM加速器、I芯片，DDR5内存以及800GbpsOSFP模块等。这些组件在赋予系统优异计算能力的同时也会在运行过程中会产生大量热量。为了确保系统可靠性、性能和使用寿命，维持关键部件运行在最佳工作温度范围至关重要。不足的热管理方案可能导致器件热降频、处理效率下降，甚至硬件负载中，由于持续的高功耗运行是常态，热设计能力将直接影响系统的吞吐量和模型训练时间。因此，必须为整机设计专门的高效散热解决方案，以保障硬件安全并支持服务器在高负载下持续运行于最佳性能。为此款高密度4UAI服务器设计高效的散热系统面临诸多挑战：配备四颗OAM形态加速器，每个最大热设计功耗达900W；●一颗高核心数的IntelXEONGNR-AP处理器，TDP达500W；●二十四颗800GbpsOSFP模块，每颗AEC和AOC模组的功耗分别最高可达10W和16W；为满足系统的散热需求，整机系统配置了八颗80×56mm的高性能系统风扇以提供充足气流，用来满足加速器，CPU和内存模组等的散热需求。同时，800GbpsOSFP的模组空冷散热一直是业界最大散热挑战之一，该系统中，两层OSFP模组位于系统的前窗，这更增加了散热挑战。因此，系统另配了八颗40×28mm风扇专门用于OSFP模块的散热。针对CPU、交换芯片及DC电源模块，设计了专用的风道和散热器；OAM加速器则采用其自带的OAM形态散热器进行冷却。该4UAI服务器的热设计方案，包括系统风扇及为各关键部件专门开发的散热器（图4-15）。图4-15用于IntelGNR-AP处理器的2UEVAC散热器以及用于IntelGaudi图4-16为了满足4U系统所需的整体气流量，同时为了确保OSFP模块有足够的气流通过散热，必须进行精细的气流控制。由于OSFP模块以堆叠方式布置，散热难度较高，因此在热设计上尤为具有挑战性。为此，系统采用风扇对OSFP模块进行定向冷却图4-17）以确保其在高密度部署下仍能维持稳定的热性能。图4-174.3液冷型计算节点设计参考1)节点散热方案：整体方案为风液混合，主要芯片采用液冷散热2)设计流量：不超过10LPM3)进液温度：二次侧进液温度不低于40℃,进回液温差不大于15℃4)冷板连接方式：CPU冷板和GPU冷板并联排布内部设置manifold进行分流和汇流，冷却液经过manifold均分为5路流向CPU和GPU支路，之后流经冷板内部流道带走热量汇流至manifold流出。（2）手插方案：单台服务器采用3进3上设置manifold均分为5路流向CPU和GPU支路，之后再汇流至6)漏液检测：单节点具备漏液报警功能，漏液绳缠绕在冷板接头、管路等可能的漏液点位，一旦发生漏液，可立马引起漏液告警，机器关机且系统日志提示，可快速定位漏液问题。7)部件选型参考：快接头盲插快接头盲插快接头史陶比尔快接头快接头史陶比尔EPDMEPDM橡胶软管橡胶软管Parker漏液检测绳漏液检测绳漏液检测绳拓自达界面材料导热硅脂相变材料道康宁TC5888霍尼韦尔有关液冷计算节点的详细设计参考将在后续版本中提供。第5章交换节点为了满足大规模Scale-up集群计算的性能要求:●交换机须支持51.2T或更高的转发带宽，网络架构设计需要尽量缩减网络层数●交换机建议支持短报文（64字节）的线速转发，来满足原生内存语义的传输需求●交换机须支持400G或更高的端口速率，并且建议支持112G或更高的SerDes速率。交换机建议具备接入DAC/AEC铜缆以及FRO/LPO/LRO光模块的能力●交换机须支持Cut-Through或类似功能来降低时延，建议交换机网络中的总时延小于1us●交换机建议支持链路层重传（LLR）功能，来提升报文的错误重传效率●交换机须支持灵活选取报文中的字段，并基于对应字段在多路径中实现负载分担●交换机须支持包喷洒功能，并建议具有FARE（全自适应路由以太网)协议中定义的基于权重的包喷洒的能力●交换机须支持PFC功能，建议支持CBFC功能●交换机须支持链路故障时业务的快速倒换功能为了满足大规模Scale-up集群计算的运维要求：●交换机须支持LLDP等协议用于连接关系绘制，便于运维进行链路故障管理●交换机建议支持租户隔离功能，便于集群的灵活业务切割5.2风冷型交换机参考设计业务接口管理接口业务接口管理接口51.2Tb51.2Tbps，支持演进至102T带宽容量51.2T：51.2T：形态1：128x400GQSFP112；102.4T：形态1：128x800GOSFP/QSFP-DD；11xRJ45Console1xRJ45MGMT1xUSB2.0最大供电支持最大供电支持6000W+支持19inch支持19inch标准机柜，适配机柜深度≥1米散热风道推荐前后风道设计表5-1本章节以51.2T（128x400G）交换机介绍参考设计。(1)面板布局1)业务接口，形态为128个100G/200G/400G端口，封装为QSFP112。面板空间建议预留可演进升级至128*800G(OSFP/QSFP-2)管理接口，配置3个低速管理接口，依次为MGMTRJ45、USB2.0或以上、ConsoleRJ45，考虑业务需求可以预留2个10G以上速率的管理端口；3)考虑到现场运维的便利性，在设备两侧设计有把手（图5-1）。图5-1后面板布局推荐如下（图5-2）：配置可依据系统散热需求确定；图5-2(2)内部布局图5-3交换机内部整体布局（图5-3包含如下组件：承载交换芯片，面板光口连接器采用belly-to-belly设计，总共支持64个QSFP112接口；交换芯片剩余的Serdes引到面板光口连接器，根据端口密度可灵活选择设32个QSFP112接口；3)BaseBoard4)作为连接管理平面的转接板，承载CPU口板和BMC模块，用于管理交换芯片和整机风扇、电源的信号转接。CPU扣板5)推荐采用ODCCOCM标准的CPU扣卡；FanBoard支持风扇热插拔接口，提供BMC管理风扇模块的通道。(1)MACBoard交换芯片总带宽为51.2Tbps，支持512个112GPAM4Serdes，扇出128个400G端口；交换芯片的PCIE管理信号通过板间高速连接器和CPU相连。面板光模块的信息，推荐采用逻辑器件定期读取，CPU通过PCIE接口连接逻辑器件（图5-4）。图5-4在MAC板上方和下方各放置一个IOQSFP112连接器，连接交换芯片的高速Serdes（图5-5）。图5-5(3)BaseBoard主要承载CPU板、BMC板和SSD，管理交换芯片、风扇和电源模块（图5-6）。图5-6(4)CPU扣板参考《ODCC-2022-03001S3IP-OCM硬件规范》提供金手指连接器和风扇模块对接。使用低速连接器和Base板相连，由BMC管理风扇（图5-7）。图5-7面板侧接口形态为128个400G端口，根据具体的业务部署要求，面板端口的通道指标需满足8（图5-8）：图5-8IEEE802.3100GBase-CR1规格（图5-9）：图5-9OIFCEI-112G-LINEAR-PAM4规格（图5-10）：图5-10图5-115.3液冷型交换机参考设计交换容量51.2Tbps，支持演进至102T带宽容量业务接口51.2T：形态1：128x400GQSFP112；102.4T：形态1：128x800GOSFP/QSFP-DD；管理接口1xRJ45Console1xRJ45MGMT1xUSB2.0功耗最大供电支持6000W+电源51.2T：1600WPSU，支持2+2冗余102.4T：3000WPSU，支持2+2冗余快接头UQD06orUQD08结构尺寸支持19inch标准机柜，适配机柜深度≥1米温度工作环境温度：5℃~40℃存储环境温度：-40℃~70℃供液温度：5℃~40℃表5-1本章节以51.2T（128x400G）交换机介绍参考设计。(1)面板布局1)业务接口，形态为128个100G/200G/400G端口，封装为QSFP112。面板空间建议预留可演进升级至128*800G(OSFP/QSFP-2)管理接口，配置3个低速管理接口，依次为MGMTRJ45、USB2.0或以上、ConsoleRJ45，考虑业务需求可以预留2个10G以上速率的管理端口；3)考虑到现场运维的便利性，在设备两侧设计有把手（图5-12）。图5-12后面板布局推荐如下（图5-13）：4)预留支持8个可插拔的风扇模块槽位，其中2个风扇槽位用于设置液冷散热的进/出水管空间；量配置可依据系统散热需求确定；图5-13(2)内部布局图5-14交换机内部整体布局（图5-14包含如下组件：承载交换芯片，面板光口连接器采用belly-to-belly设计，总共支持64个QSFP112接口；同时在MAC板左侧或右侧布局管理接口；扩展高速接口。通过连接器或者高速overpas线缆接到MAC板，将交换芯片剩余的Serdes引到面板光口连接器，根据端口密度可灵活选择设32个QSFP112接口；3)BaseBoard4)作为连接管理平面的转接板，承载CPU口板和BMC模块，用于管理交换芯片和整机风扇、电源的信号转接。CPU扣板5)推荐采用ODCCOCM标准的CPU扣卡；FanBoard支持风扇热插拔接口，提供BMC管理风扇模块的通道。(1)MACBoard交换芯片总带宽为51.2Tbps，支持512个112GPAM4Serdes，扇出128个400G端口；交换芯片的PCIE管理信号通过板间高速连接器和CPU相连。面板光模块的信息，推荐采用逻辑器件定期读取，CPU通过PCIE接口连接逻辑器件（图5-15）。图5-15在MAC板上方和下方各放置一个IOQSFP112连接器，连接交换芯片的高速Serdes（图5-16）。图5-16(3)BaseBoard主要承载CPU板、BMC板和SSD，管理交换芯片、风扇和电源模块（图5-17）。图5-17参考《ODCC-2022-03001S3IP-OCM硬件规范》提供金手指连接器和风扇模块对接。使用低速连接器和Base板相连，由BMC管理风扇（图5-18）。图5-18与风冷设计相同。交换芯片和光模块采用液冷散热，其他部件使用风冷散热。散热输入条件：●冷却液：去离子水或者PG25●流量：1.2~2LPM/KW●进液温度40℃,整体可以满足51.2T交换节点液冷散热需求，液冷散热功耗包含：1)64个400G光模块，12W/个，光模块冷板设计参考可参照ODCC报告：《面向800G/1.6T的液冷关键技术-光模块液冷发展报告》2)交换芯片，功耗>1000W；整机液冷部分图示（图5-19图5-19风道为前进后出，建议风扇支持N+1冗余。由于需要功耗较低，可根据散热情况调整风扇性能和数量。第6章Scale-up互联方案针对Scale-up互联，计算节点与交换节点互联优先采用AEC铜缆，在满足跨多机柜互联距离需求的同时，最大化发挥铜互联相对前向纠错（FEC）等单元的有源铜缆。AEC具备如下技术优势：●传输距离长：相较于DAC，112GbpsSerDes速率最大传输距离可以达到7米，不仅可以用于机柜内，还可以应用于跨机柜互联；●布线方便：AEC电缆由于集成了重定时等功能，线缆可以做的更细，典型的线径32AWG，相对于DAC节省了大约75%的布线空间和50%左右的重量，同时，由于应用了更细的线径，弯折半径也可以做的更低，典型值34mm@32AWG，极大的降低了铜缆的布线施工难度；●可靠性高：AEC内置的电芯片铜缆互联，相较于AOC来说，避免了光层器件如激光器、调制器、驱动器等在温度波动时的性能下降或者失效带来的链路闪断问题，网络可靠性提高100倍以上（注：现有AEC产品的运行MTBF已达数十亿小时）；●功耗及成本低：AEC由于不使用光学相关器件，在成本、功耗上相比于AOC可降低50%左右。图6-1关键技术规格建议和要求如下：●遵循OSFP/QSFP112MSA标准封装●电缆形态800GOSFP-2x400GQ112或800GOSFP-800GOSFP●建议线径32-26AWG，弯曲半径低于34mm●支持800G标准以太网速率●支持CMIS管理和监控协议●支持标准的3.3V电源供电●建议单端功耗低于10w●建议典型纠前误码率低于1E-8，纠后误码率低于1E-15●建议双向延时低于50ns●支持电口热插拔●I2C管理接口，建议支持模块在线升级功能●符合RoHS2.0标准建议双侧有源设计，单侧设计易导致链路裕量不足等问题。典型的AEC原理图（图6-2双端AECOSFP封装均内置Retimer。图6-26.2光互联方案FRO内含双向DSP的光收发器模块。FRO的技术优势在于：•传输距离长：可满足几十米甚至数公里的传输距离的应用；•布线方便：光纤重量大大的减轻，减少布线空间当然，FRO也存在如下的缺陷：•功耗和成本高：功耗和成本大约是AEC的2倍。•可靠性低：由于FRO存在更多的芯片和光学结构组件，与AEC相比故障率高出近百倍。•产品寿命短：由于数据中心广泛使用的光模块通常采用非气密性光学设计，导致光模块的产品使用寿命相对AEC较短。LPO是一种取消DSP并采用线性模拟技术直接驱动光电器件的光模块解决方案。LPO相对FRO，具有如下技术优势：•功耗更低：由于移除了DSP功能，功耗降低明显，以800G光模块为例，FRO方案功耗约16W，而LPO方案功耗在8W以内，基本可以减少一半以上的功耗；•传输延迟更低：由于采用高精度线性模拟电路直接调制激光器，减少了光模块内部的信号处理层级以及处理时间，相对FRO，信号传输延迟减少几十纳秒；•成本更低：由于移除了DSP功能，光模块成本可节约20%～30%。但是，目前LPO在实际部署还存在一定的限制：•对设备信号处理要求高：由于光模块取消DSP之后传输信号处理能力有所下降，系统端的信号处理能力，比如SerDes的信号补偿能力，需要相应增强。另外，光模块内部的模拟光电芯片的信号输出能力也需增强，以保证信号传输的可靠性。•系统整体成本高：LPO全线性设计需要应用高规格、高功耗的驱动器/跨阻放大器（Driver/TIA在子器件的选择上具有极大的限制，这也制约了系统整体成本的优化空间；•设备调参负担重：由于信号链路的插损对于BER的影响更加明显，针对交换机的不同端口，可能要求采用不同的参数配置，以获得最优的BER结果。LRO，是介于FRO和LPO之间的一种极具应用潜力的光模块技术，其只在从电输入侧到光线路输出侧的发送方向保留用于信号重定时及信号均衡的DSP模块，接收方向采用线性方式，无DSP。LRO相较于FRO、LPO的优势如下：•LRO由于仅具有单侧DSP，相较于具有双向DSP的FRO来说，成本和功耗有20%~40%的下降空间；•LRO模块HRX/LTX侧的信号与FRO遵循相同的IEEE及OIF标准规范，对互联设备的SerDes信号质量没有更苛刻要求，与设备的适配性相对LPO更好；•LRO模块可以使用多种类型的调制方式和激光器类型，可以支持多模、单模，而LPO很难支持多模。多模LRO相对单模LPO成本上有较明显优势。此外，LRO和单模LPO的高速率光模块功耗水平非常的接近(注：据国内某龙头企业的公开测试数据，针对800G（8x112GSerDes）光模块，LRO每比特功耗12.5pj/bit,仅略高于LPO的11pj/bit•LRO具备数字诊断功能，保留了DSP模块系统运维的便利性；图6-3共封装光学技术将传统的外部光电转换器件如可插拔光模块(Transceivermodule）变为硅光引擎（OpticalEngine,OE）与逻辑芯片(ASICDie）集成于同一基板（Substrate凭借高度集成的光电协同设计，成为突破传统光互联方案瓶颈的关键技术（图6-3）。CPO的核心优势如下：•功耗低：光模块移除DSP并与ASIC更紧密集成，相对FRO光模块，能耗可约20pJ/bit降至5-8pJ/bit，每400G的功耗可以从8W降至3W左右；•延迟低：光引擎靠近ASIC芯片，有助于在无需重信号的情况下保持从100Gbps/通道到400Gbps/通道高速信号的良好信号完整性。因为不再需要额外的DSP去纠正信号的传输损耗，单端的延迟可以减少约100ns；•端口密度大：CPO的边缘带宽相较于光模块有多倍的提升，相对可插拔光模块而言，端口密度提升4～6倍。端口密度提升对于设计级联超节点而言非常关键；•可靠性高:CPO设备采用外部激光光源（ExternalLaserSource,ELS)可以实现更高效的激光器冷却，进而延长使用寿命。同时，因为CPO本身去除了激光器（相对可插拔光模块）CPO由硅光子芯片和BiCMOS/CMOS芯片组成，硅光子芯片采用与CMOS相同的制作工艺，其可靠性可以趋近CMOS芯片。在不断迭代的过程中，CPO的故障率预测应逐渐趋向ASIC芯片的极低故障率,使得在CPO封装以及和ASIC芯片共封装好后还能保持芯片级别的可靠性。但是，目前CPO还处于前期研发阶段，重点放在3.2T及更高速率，行业标准和产业链还需要时间建立，预计至少2027~2028才能实现商业落综合FRO、LPO、LRO、CPO各自优劣势，四种光互联方案会在一定时间内会共存，除了技术本身，也取决于客户的关注点。•1.6T及以下速率，对于性能优先的客户，FRO、LRO会更受青睐。•1.6T及以下速率，对于成本、功耗具有更高要求的客户，LPO会成为首选。且随着100G-DR-LPOMSA的发布，针对LPO的使用有了统一的行业标准，调参负担也变小了。•3.2T及以上速率，CPO将可能成为Scale-up光互联首选，这已经成为行业共识，且国内头部云厂商已启动相应项目的研发及标准的制定。第7章软件栈参考架构软件栈采用分层解耦设计，从上层AI工作负载到底层硬件资源，逐层层级结构解析等级协议）），支持模型量化以优化性能与成本2)推理与服务框架层关键能力：分布式推理支持：跨节点并行推理Prefill-Decode解耦：分离预填充与解码阶段，优化资源调度与延迟KVCache管理：高效缓存与管理注意力机制中的键值对，减少重复计算3)AI框架与工具链层代表框架：PyTorch模型量化工具包集体通信库（CCL支持多节点间高效通信（如AllReduce、Broadcast）4)核心计算与通信层5)驱动与运行时层用户态驱动/运行时环境：提供高性能、低开销的API访问硬件资源操作系统支持：兼容主流Linux发行版6)固件与网络栈Firmware：控制硬件行为，支持动态调度与资源管理NICStack：网络接口控制器协议栈，支持高带宽、低延迟通信7)硬件层存储功能网络交换设备：高带宽Scale-up以太网交换机：节点内部高速互联第三方外部以太网交换机：节点间通信与集群构建关键优势总结●高性能推理：支持分布式推理、KVCache优化、预填充-解码分离●软硬件协同优化：从框架到芯片全栈优化，最大化性能与能效●可扩展性强：支持Scale-up与Scale-Out，适配边缘到数据●开放兼容：支持PyTorch等主流框架，兼容标准网络协议与第三方设备图7-1第8章机柜尺寸要求开放解构超节点硬件系统采用标准化、模块化设计，机柜体系主要分为计算机柜和交换机柜，遵循相同的技术要求。机柜应满足高密度需求，支持多节点灵活组装与智能管理。本章节描述了开放解构超节点计算机柜的基本构成，机架机械结构尺寸、供电、散热的实现方法；并对机柜内部的结构、散热、供电规范等提供了标准化的参考。1)高度：2200（推荐）~2500mm底部到顶部，不含脚轮高度；2)宽度：600mm；3)深度：1200/1400（推荐）/1500mm；4)机柜节距定义为1RU=44.45mm（推荐）/1AU=45.45mm；5)机柜内所有部件除跨柜线缆之外均不得突出到机柜范围之外；6)为方便跳线管理，建议机柜深度支持留出150-300mm的线缆敷设空间；7)机柜两侧的垂直理线通道或水平理线器的背板上，应具有合适的开口,以方便跳线在机柜间的走线；过线线孔边缘应作钝化处理，过线孔位置应具有线缆固定装置；8)机柜进出线及内部布线不应影响气流组织和冷却效果，设备正面板平面应配置必要的密封组件，使冷风全部进入设备正面进风口而不泄漏。密封组件包括安装立柱两侧和顶部、底部密封挡板，以及设备间的盲板；9)机柜前后门立柱需要有具体U数标示，U数从下往上进行标示。8.2液冷机柜在风冷机柜要求基础之上，需要满足如下要求：机柜可支持集中式CDU（机柜式）或分布式CDU（机架式）两种配置1)机柜包含进液和出液两根Manifold，接口位于机柜底部，支持机房下走管设计，支持防喷溅设计，支持机柜间漏液检测；2)液冷机柜具备排水功能，排水管通过机柜下方排水接口与机房排水管路连接；3)柜内供水管道带有蓝色标识，回水管道带有红色标识；4)机柜支持积液盘设计5)机柜可支持液冷门、分布式CDU等器件安装CDU要求如下：1)具备主动防凝露功能；2)供液温度控制精度可达到±1℃；液冷源的流量控制精度可达0.5L/Min；3)支持水质取样自动补液功能；4)具备支持RS485和以太网通讯，Modbus/TCP/IP通讯功能；5)一次侧&二次侧进出接口采用快插接头或快卸卡盘，方便操作和维护;6)多级告警机制，具备运行日志导出功能(包含水质，CDU实际运行状态)；用变频调速；9)工作介质：去离子水或乙二醇。1)均流性：实际流量与设计流量的偏差小于10%;2)流阻：供液流量131LPM/Min时，流阻小于32kpa（不含软管3)固定：Manifold液冷接头可支持盲插设计。第9章机柜供电要求支持垂直与水平PDU，PDU承载每相≤63A（或按实际功率配置建议每机柜冗余供电A/B路。PDU安装空间（左/右侧竖式或后侧竖式）,并标注进线位置（顶部/底部）。技术指标说明输入制式技术指标说明输入制式最大供电容量供电结构冗余设计监控功能三相五线制AC380V±10%，50Hz63A输入，输出规格可定制接地电阻≤