2023裸金属服务器技术规范

裸金属服务器技术规范20231II前言随着云数据中心的不断发展，裸金属智能网卡逐步成为支撑基础设施层虚拟化，存储、安全等业务的关键解决方案。不同于传统网卡、HBAGPUPCIe络、存储卸载芯片外还会包含轻量级处理器芯片（或集成在其他芯片内的处理器内核）及带外管理芯片，该部件可看作在服务器整机内部的另一个小型服务器。裸金属智能网卡的引入对传统通用服务器设备提出了定制化要求，定制主要体现在硬件供电改造、散热改为了解决裸金属智能网卡部件与服务器整机的适配问题，国内外头部云厂商采用了硬件全定制方案。对于传统政企客户，随着各家业务云化不断深入，裸金属场景需求逐步显现。为了保证数据中心非定制服务器设备对各厂家裸金属智能网卡部件的硬件兼容性，减少集成适配工作量，本文重点围绕因引入裸金属智能网卡导致的服务器硬件定制点进行标准定义，及早引导产业针对性进行服务器设计，突破新技术规模应用瓶颈，拉动产业以标准、统一、开放的目录版权明 I编写组 II前言 IV一、范围 1二、规范性引用文件 1三、术语、定义和缩语 2四、总体要求 3五、裸属务技范 3（一）PCIe备位构及号范 4（二）位电辅电规范 6（三）热范 7（四）助带号范 8六、裸金属服务器硬术方案建议 10（一）金卡裸服务带纳方建（optional） 10（二）金服器Host-BIOS、Host-BMC方议（optional） 13（三）金服器机方建（optional） 14（四）冷案议（optional） 16七、编制历史 17PAGEPAGE18一、范围本规范适用于数据中心通用服务器产品，主要使用对象为服务器厂商。本规范对引入裸金属智能网卡后服务器设备需要的定制点进行技术要求，用于指导裸金属场景下服务器整机设计。主要内容包括：PCIe设备结构及槽位信号规范、槽位供电及辅助供电规范、散热规范、辅助边带信号规范、裸金属卡与裸金属服务器带外纳管方案建议Host-BIOSHost-BMC除非特殊说明，本规范中所指的“Host”均为服务器主板部件，例如Host-BMC指服务器主板内的BMC设备。除非特殊说明，本规范中所指的“裸金属卡”均为裸金属智能网卡部件，例如DPU、IPU、CIPU等。二、规范性引用文件下列文件中的条款通过本规范的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范，然而，鼓励根据本规范达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，表1规范性引用文件序号标准编号标准名称发布单位1NAPCIExpressCardElectromechanicalSpecificationRevision4.0PCI-SIG三、术语、定义和缩略语下列术语、定义和缩略语适用于本规范：表2术语、定义和缩略语缩略语英文全称中文含义ACAlternatingCurrent交流电ACPIAdvancedConfigurationandPowerManagementInterface高级配置和电源管理接口BIOSBasicInputOutputSystem基本输入输出系统BMCBaseboardManagementController基板管理控制器CPLDComplexProgrammableLogicDevice复杂可编程逻辑器件CPUCentralProcessingUnit中央处理器HBAHostbusadapter主机总线适配器IOInput/Output输入/输出IPInternetProtocol网络互联协议IPMIIntelligentPlatformManagementInterface智能平台管理接口OSOperatingSystem操作系统PCIePeripheralComponentInterconnectExpress外设高速互联标准PSUPowerSupplyUnit电源模块RBTRMIIBasedTransportRMII传输协议S5SoftOff主板软掉电状态，部分器件如BMC、CPLD仍然工作UARTUniversalAsynchronousReceiverandTransmitter通用异步收发器USBUniversalSerialBus通用串行总线四、总体要求裸金属卡为了承载裸金属场景下多样性业务卸载需求，其设备内除网络芯片外还会包含轻量级CPU芯片（或集成在其他芯片内的处理器内核）及带外管理模块，此时裸金属卡可看作在服务器内部的GPUPCIe为了保证服务器设备对各厂家裸金属卡部件的兼容性，减少整PCIe号、槽位供电及辅助供电、散热、辅助边带信号等方面进行定义，并对裸金属卡与裸金属服务器带外纳管、裸金属服务器Host-BIOSHost-BMC五、裸金属服务器技术规范（一）PCIe设备槽位结构及信号规范本节定义了服务器整机可支持裸金属卡的最大规格，对卡结构外形的最大限制做详细要求，避免异形卡及全长卡，减少结构适配工作量，同时减小力学可靠性风险。具体要求如下：PCIe可酌情扩展PCIePCIe3/4PCIe123图1PCIe设备参考尺寸（长）2PCIe（高）3PCIe（宽）支持x16PCIeLanesCPUPCIePCIe4.0PCIe3.0支持与主板BMCSMBUS5）（optional）建议裸金属卡所在槽位的100MHz时钟在主板S5（2022需求，建议厂家根据是否适配此类部件来决定是否由主机提供一路S5状态的时钟。同时希望行业能够向裸金属卡与服务器彼此独立的技术方案发展，逐步缩减卡对整机的定制项）6）（optional）裸金属卡为解决卡自身散热需求会倾向采用较重材质的散热片设计，建议整机结构设计预留支持卡扣或卡尾方案，设计兼容半长、3/4长卡。部件卡扣参考设计如图4所示。图4PCIe设备卡扣参考设计（二）槽位供电及辅助供电规范为满足裸金属场景云平台管理需求，整机需要支持裸金属卡在S5BMC、CPLD1）裸金属卡所在的PCIe槽位具备主板S5状态下独立供电能力2）PCIeP3V3P12V_StandbyP3V3_StandbyPCIe75W12V12.5A金手指+辅助供电总功耗不小于225W裸金属卡辅助供电电轨须在主板S5主板上辅助供电连接器与配套线缆接头须物理防呆，且易于安装拆卸，须避免维护过程中出现与其他结构件干涉导致难以操作、6）（optional）主板上辅助供电连接器建议朝向统一7）（optional）建议厂家根据需求及方案综合评估是否提供总功耗不小于300W的供电能力8）（optional）BIOSBMCPCIe（S5）（S5（三）散热规范由于裸金属卡设备在主板S5状态下启动，整机也需要具备在S5状态下对裸金属卡进行针对性散热的能力。具体要求如下：整机支持在主板S5BMCS5S0FPGA、SOC、ASIC、光模块、内存模组等，在主板S5S03）（optional）S5N（N）4）（optional）S5S0（四）辅助边带信号规范PCIe1)辅助边带信号定义如表3所示求表3裸金属卡辅助边带信号定义信号名称信号方向（基于主板侧）信号电平信号描述必要性RBT_REF_CLKOutput3.3VRBT参考时钟，典型频率50MHz±50ppm必选RBT_CRS_DVInput3.3VRBT控制信号必选RBT_RXD0RBT_RXD1Input3.3VRBT数据接收信号必选RBT_TX_ENOutput3.3VRBT控制信号必选RBT_TXD0RBT_TXD1Output3.3VRBT数据发送信号必选SMBCLKOutput,OD3.3VSMBusPICeSMBusSMBus接需求optionalSMBDATInput/Output,OD3.3VSMBusPICeSMBusSMBus接需求optionalUART_TXOutput3.3VBMCSOLoptionalUART_RXInput3.3VBMCSOLoptionalRSVD_IO0RSVD3.3V预留信号optionalRSVD_IO1RSVD3.3V预留信号optionalRSVD_IO2RSVD3.3V预留信号optionalRSVD_IO3RSVD3.3V预留信号optionalGNDNA3.3V地信号必选2)（optional）RSVD_IOGPIOCPLD括但不限于裸金属卡在位、裸金属卡心跳信号、裸金属卡BootComplete3)（optional）NC-SIoverRBT5DPUHost-BMC图5NC-SIoverRBT典型应用场景示意图六、裸金属服务器硬件技术方案建议（一）裸金属卡与裸金属服务器带外纳管方案建议（optional）服在实际现网环境中，为实现裸金属卡与裸金属服务器的带外纳管,同时满足卡与服务器硬件解耦需求，建议以卡的带外管理模型为基础，形成硬件方案建议如下：从终端客户带外管理运维角度，裸金属卡作为服务器内的“第二套小系统”，其带外管理模型同时具备网卡属性及主机属性。基于以上设备特征，设备带外管理模型需包含三类关键信息，即资产信息、状态信息、控制信息。PCIeBDF状态信息包括：部件关键温度信息、功耗信息、健康状态信息、告警信息等控制信息包括：部件重启及上下电、启动方式配置、卡内固件刷新等裸金属卡自身硬件方案的复杂性使得带外纳管需求数量大幅增Host-BMC定制开发工作，限制产品规模部署。为了解决部件带外管理信息激增问题，同时兼顾卡与服务器的硬件解耦，建议裸金属卡内集成带外管理模块终结自身管理需求，实现卡内带外信息由带外管理模块统一汇总、统一管理、统一传递，避免对Host-BMC直接暴露大量SensorBMC裸金属卡与裸金属服务器带外纳管方案如图6所示。裸金属卡121PCIeSMBUSHost-BMCHost-BMC直出以太网口传递至客户硬件管理平台。通道2：由裸金属卡内带外管理模块直出的以太网口进行带外管理信息传递。图6裸金属卡与裸金属服务器带外纳管方案示意图（二）裸金属服务器Host-BIOS、Host-BMC方案建议（optional）Host-BIOSHost-BMCHost-BIOS、Host-BMC在弹性裸金属应用场景下，客户将获得物理机的操作权限，一Host-BMCHost-BIOSHost-BMCHost-BMC修改Host-BMCIPSDRsensor修改I2C设备寄存器值，导致物理服务器无法开机工作，必Host-BMCHost-BIOSHost-BIOS通过HotkeyBIOSSetupHost-BIOS设置。Virtio+PCIeSwitchPCIeVirtio器Host-BIOSVirtioPCIeRootPort要为后端switch与virtio设备分配足够的资源，并为每个downstreamswitchp-memory&np-memory分配足够空间，例如2M；设备数量要求：支持裸金属卡对应的PCIeRootPort32Bus16net+16blk；NVMeNVMenamespaceHost-BIOS（三）裸金属服务器开关机方案建议（optional）裸金属服务器的开关机流程因裸金属卡的引入相较于传统服务器出现了较大变化。本节针对裸金属服务器的开关机流程进行针对性分析并给出方案建议。基础设施管理平台与裸金属服务器连接如图7所示。裸金属服务器的开关机控制建议由硬件管理平台通过带外管理网络对接Host-BMC制。图7基础设施管理平台与裸金属服务器连接示意图在开关机流程设计时，首先需要关注到裸金属卡是在服务器内运行的“第二套小系统”，裸金属卡本身存在独立上下电场景，同PCIeSlaveHost-CPUHost-CPUPCIeSlaveCPUPCIeS0HostPCIe设备丢失；需要基础设施管理平台对裸金属卡与裸金属服务器上下电进基于以上设计原则，形成裸金属服务器开关机方案建议如图8所示。DPU卡带外管理模块通过与Host-BMC互，确认主板为S5DPU卡带外管理模块通过与Host-BMC互，确认主板为S5状态后，发起DPU卡关机流程，若不满足关机条件则返回原因DPUS5DPU卡启动完成，进入S0主板进入S51.主板内PCH、BMC、CPLD等器件上电并完成初始化DPU卡开机策略（2种模式）主板默认将卡供电开启主板进入S51.DPU卡带外管理模块收到管理系统发送的开机指令后，使DPU卡进入启动流程，卡完成启动2.DPU卡管理模块启动1.DPU卡带外管理后，自动完成DPU卡全模块、CPLD上电并卡启动完成初始化2.DPU卡进入S5

主板开机策略：管理系统在确认DPU进入S0后，可告知Host-BMC开机

主板关机策略：管理系统告知Host-BMC关机主板关机进入S5主板开机进入S0DPU卡关机策略：主板关机进入S5主板开机进入S0图8裸金属服务器开关机方案建议需要注