天蝎整机柜服务器技术规范25

天蝎项目整机柜服务器解决方案天蝎整机柜服务器技术规范 2.5天蝎项目组2014/8/29 天蝎整机柜服务器技术规范 2.5文档版本修订记录“天蝎技术规格2.5”修订记录版本修订人时间变更内容简述阿里巴巴、百度、腾讯、中国电信、英特尔draft2012.12.30汇总原始需求阿里巴巴、百度、腾讯、中国电信、英特尔和vendor讨论需求与部分实现Rev 0.3Rev 0.52013.06.282013.11.08阿里巴巴、百度、腾讯、中国电信、英特尔完善各模块定义，及硬件相关的技术细节阿里巴巴、百度、腾讯、修订各模块定义，及完善技术要求细节，统一术语描述。Rev 0.9Rev 1.0中国电信、中国移动、英 2014.08.19特尔开放数据中心决策委员2014.08.29审批发布会2 / 75 天蝎整机柜服务器技术规范 2.5目录目录 .3前言 .5第一章1.1概述 .51.2术语说明 .6第二章机柜系统（Rack Subsystem）.72.1尺寸规格 .72.2功能分区 .72.3后部规格 .102.4顶部规格 .112.5底部规格 .132.6承重设计 .172.7并柜设计 .172.8接地方式 .182.9 Busbar及结构位置 .192.10电源框机构设计 .212.11 RMC机构设计.262.12风扇机构设计 .282.13机柜背板机构设计 .292.14服务器节点机构设计 .292.14.1节点托盘背板机构 .292.14.2服务器定位及机柜背板定位设计.322.14.3服务器止位设计 .352.14.4服务器固定孔设计 .37第三章网络系统（Network Subsystem） .39供电系统（Power Subsystem） .39第四章4.1电源框(Power Shelf).394.2电源模块（PSU）.414.3主铜排（Busbar） .454.4节点连接器（Clip） .47第五章散热系统（Cooling Subsystem） .475.1散热区域（Cooling Zone） .475.2风扇模组（Fan Tray） .485.3风扇盒（Fan Cage）.485.4风扇（Fan）.485.5风扇背板（Fan Board） .505.6控制策略 .51第六章机柜管理系统（RMC Subsystem）.536.1系统组成 .536.2系统拓扑图 .533 / 75 天蝎整机柜服务器技术规范 2.56.3管理系统功能 .546.3.1节点监控 .546.3.2电源监控 .556.3.3风扇监控 .556.3.4通讯接口 .566.3.5 CLI命令规范.566.3.6 IPMI命令规范.566.4 RMC单元.566.4.1尺寸 .566.4.2硬件配置 .576.4.3散热 .576.4.4连接电源框接口 .576.4.5 PIN功能定义.586.5机柜背板（RBP）.626.6服务器托盘背板（TBP） .646.7节点信号转接板（NSTB）.656.8电源框背板（PBP） .65第七章服务器节点（Server Node） .677.1服务器托盘（Server Tray）尺寸.677.2主板（Mother Board）尺寸.677.3托盘背板（TBP） .687.4节点供电需求 .687.5面板规格 .697.6指示灯功能定义 .69第八章环境及机房要求 .708.1工作环境 .708.2存储环境 .708.3机房要求 .70第九章电磁辐射 .71附录 .72附录 1服务器节点配置参考.72附录 2 RMC软件 CLI命令规范.75附录 3 RMC支持的 IPMI命令规范 .75附录 4整机柜管理框架指南.754 / 75 天蝎整机柜服务器技术规范 2.5第一章前言1.1 概述天蝎 2.5整机柜服务器解决方案，是在天蝎 1.0技术规范基础上的演进版本。仍然采用模块化设计方案，分为机柜子系统、网络子系统、供电子系统、服务器节点子系统、集中散热子系统、集中管理子系统共六大部分组成。主要改进点：1.定义了 2100mm、2300mm两种规格的机柜；2.重新定义了机柜的内部尺寸，统一为 538mm内框；3.重新定义了每 U的高度为 46.5mm；4.增强了机柜背板功能，并可实现热插拔维护；5.服务器节点与机柜系统解耦，可实现服务器节点混插互换；6.明确定义了风扇的尺寸，统一为 140*38规格；7.增加了机柜顶部扩展功能；机柜子系统采用了当前流行标准机架的外形尺寸，高度为 2100mm和 2300mm两种规格、宽度 600mm、深度 1200mm。机柜实际可用空间分别为 42U和 46U ，分为上、中、下三部分，最上面 19U（或 23U）、最下面 20U为服务器和交换机空间，可部署 1U1、1U2、1U3形态的服务器节点，或 TOR网络交换机，且在机柜顶部预留扩展功能，实现交换机外置机柜顶部，对交换机数量进行扩展。中间 3U空间用于部署 PSU和 RMC单元。集中电源子系统占 3U空间，采用模块化设计方案。最多可容纳 10个 PSU模块，可提供双路输入冗余，实现 N+N或 N+1模块冗余，单路支持 712KVA的供电容量。电源支持 220VAC、380VAC、240VDC、336VDC等多种输入规格， PSU集中输出至12VDC铜排，机柜内铜排设计可分为上下两段，每段设计容纳最大电流为 600安培。服务器节点、风扇通过 12VDC Busbar直接取电。5 / 75 天蝎整机柜服务器技术规范 2.5集中散热子系统，采用了风扇墙共享设计，由 RMC或机柜背板（RBP）实现独立风扇控制。以 Cooling Zone为单位独立设计，采用了 N+1冗余设计，可以实现独立维护，并对节点透明。1.2 术语说明RMC：PBP：RBP：NSTB：Rack Management Controller，机柜管理单元；Power Back Plane，电源框背板；Rack Back Plane，机柜背板；Node Signal Transfer Board，节点信号转换板，位于 Server Tray里面，用于连接 Tray Back Plane和 Rack Back Plane；Tray Back Plane，服务器托盘背板；TBP：Cooling Zone ：共享散热区域；Fan Tray：Fan Cage：Fan：风扇模组；风扇盒，含支架和风扇；单体风扇；FB：Fan Board，风扇背板；Mother Board，服务器主板；服务器节点；MB：Node：Server：PSU：同 Node，服务器节点；Power Supply Unit，电源模块，又称电源模组；Power Shelf ：电源框；Rack：Busbar：SU：机架框体；12VDC主铜排，又称母排；Scorpio Rack Unit，文中简称 U，机柜高度单位，1SU=46.5mm；Real-Time Clock，实时时钟芯片RTC：6 / 75 天蝎整机柜服务器技术规范 2.5第二章机柜系统（Rack Subsystem）2.1 尺寸规格天蝎 2.5机柜分 2种规格，2100mm高度和 2300mm高度。其主要差别在于 2100mm高度的可用空间为 42U、2300mm高度的可用空间为 46U。其他参数见下表，括号内为允许的制造公差范围。表格 1 Rack尺寸规格项目规格 1描述规格 2描述2300mm（2mm）46U高度（含滚轮）2100mm（2mm）有效使用空间（U）42U深（长）度外框宽度1U高度1200mm（2mm）600mm(+0mm,-3mm)46.5mm内框宽度538mm（0，+2mm）最小节点调节高度 1U2.2 功能分区（1 ）水平分区柜内水平空间分为三部分：前部、中部、后部。前部空间：含理线及立柱空间，占 150mm中部空间：节点托盘的空间，占 850mm后部空间：含静压腔和风扇窗空间，占 200mm图示如下：7 / 75 天蝎整机柜服务器技术规范 2.5图表 1 机柜水平布局（2 ）垂直分区机柜垂直方向分为下、中、上 3个区间：Node Zone 1、Power Zone、Node Zone2U编号定义：从机柜的底部自下往上顺序为 1U42U或 1U46U各分区尺寸定义如下：表格 2 机柜垂直分区尺寸定义规格1规格2机柜下部空间：20U（Node zone1） 机柜下部空间：20U（Node zone1）20U x 46.5mm=930mm20U x 46.5mm=930mm机柜中部空间：3U（Power Zone）3U x 46.5mm=139.5mm机柜中部空间：3U（Power Zone）3U x 46.5mm=139.5mm机柜上部空间：19U（Node zone2） 机柜上部空间：23U（Node zone2）19U x 46.5mm=883.5mm 23U x 46.5mm=1069.5mmNode Zone1可用于部署服务器节点和交换机，要求交换机可以部署在任意 U位置；Node Zone2可用于部署服务器节点和交换机，要求交换机可以部署在任意 U位置；Power Zone用于部署 PSU和 RMC；3. RMC位置8 / 75 天蝎整机柜服务器技术规范 2.5RMC在机柜内和 Power Shelf共享空间，位于 Power Shelf内部，前视图左侧4.布局概览布局中安装交换机位置，要求设计 21inch-19inch转换支架，用于部署 19 inch商用交换机。21inch-19inch转换支架以 1U为单位设计，可以安装在 Node Zone1和 Node Zone2的任意 U位置，以满足交换机安装在不同位置的需求。机柜分区概览参考下图示意：Node Zone2Node Zone2Power ZoneNode Zone1Power ZoneNode Zone1图表 2 机柜垂直分区示意图机柜顶部预留扩展柜功能，在交换机数量及节点数量无法满足要求时，可通过在机柜顶部增加一结构框体，用于安装固定交换机，实现交换机数量扩展功能，具体如下图所示。图中仅为示意，满足 19”交换机安装，增加的机柜顶部交换机固定架后，机柜总9 / 75 天蝎整机柜服务器技术规范 2.5高度不超过 2500mm，可按照增加的交换机数量进行灵活设计，其机柜顶部交换机固定架可作为附件，按需发货。图表 3 机柜顶部扩展示意图2.3 后部规格机柜后部规格要考虑风扇窗、机柜背板、Busbar位置和固定。1.风扇窗表格 3 风扇窗规格需求项目描述风扇窗形态风扇窗固定位置高度 4U，可覆盖 4U或者 4U以上空间散热需求可按照 1U（46.5mm）为单位进行固定，可以以 1U为最小单位调整上下位置风扇窗固定方式风扇窗把手前后抽拔，固定方式不限，要求能采用免工具方式维修符合人体工程学，便于双手拆卸和安装10 / 75 天蝎整机柜服务器技术规范 2.52.机柜背板表格 4 机柜后部背板规格项目描述机柜背板固定方式机柜背板的位置厂商自定义，要求固定螺丝不可脱落固定在机柜后视图右侧，可以根据实际需求以 1U为单位上下调整机柜背板运维方式支持热插拔2.4 顶部规格机柜顶部要求预留光纤、电缆走线孔、接地线螺孔、并柜螺孔。（1）线缆开孔机柜前侧：在机柜顶部距前表面 60mm处，左右各预留一个面积4000mm开孔；（光纤、铜缆前走线开孔)机柜中后侧：在机柜顶部中间距前表面 950mm处有一个面积4000mm开孔；（交换机后部走线预留开孔）机柜后侧：在机柜顶部距后表面 60mm处左右各预留一个面积4000mm开孔；（强电 220V AC或 HVDC输入线缆走线开孔）开孔要求：要有毛刷或橡胶进行封堵，且不影响走线；图表 4机柜顶部开孔位置图11 / 75 天蝎整机柜服务器技术规范 2.5（2）接地孔机柜顶部前、后梁处分别预留有 2个，共 4个 M6的螺纹粗牙孔为接地孔，机柜要求整体导通，且旁边粘贴接地标签。图表 5 机柜顶部接地孔位置图（3）并柜孔在机柜顶部四个角各 1个，共 4个 M8螺纹粗牙孔供机柜并柜，距机柜边尺寸为 30mm，具体位置参见下图：图表 6 机柜顶部并柜孔位置图（4）辅助孔在机柜顶部的前、后横梁设计 3个 M6粗牙螺孔，可用于冷热通道天窗所需的固定12 / 75 天蝎整机柜服务器技术规范 2.5用途。位置尺寸见下图（单位 mm）：图表 7 机柜顶部辅助开孔位置图2.5 底部规格包括滚轮、支撑柱、接地孔的定义描述。表格 5 机柜底部规格项目描述移动方式滚轮规格滚轮运输，滚轮大小能保证在 10度以下斜坡上方便移动整机柜共 4颗滚轮在机柜底部的四个角；4颗滚轮均为万向轮；单颗滚轮动载、静载均要求600kgf；滚轮、支撑柱位滚轮、支撑柱与机房地面接触面范围，见下图置范围及底部滚轮及支撑柱尺寸范围：（单位：mm）限高13 / 75 天蝎整机柜服务器技术规范 2.5机柜底部限高范围：（单位：mm）14 / 75 天蝎整机柜服务器技术规范 2.5机柜底部固定机柜底部需预留 8个腰型孔，相关尺寸如下图。其作用为固定机柜与方式机房底座，其示意图如下图所示：（单位：mm）开孔细部尺寸如下：15 / 75 天蝎整机柜服务器技术规范 2.5机柜前后底梁前后面均需预留 2个共 4个 M8螺孔，相关尺寸如下图所示。（单位：mm）支撑脚规格整机柜共 4颗支撑脚在机柜底部的四个角；支撑脚与地面支撑部分的外圆切面，距离机柜各端面大于 5mm；4颗支撑脚螺纹为M12；单颗支撑脚静载均要求500kgf；接地孔机柜底部前、后梁处分别各预留有 1个 M6的螺纹粗牙孔为接地孔，机柜整体导通，且旁边粘贴接地标签，如下图所示：底部接地点（示意位置，机柜前后位置一致）16 / 75 天蝎整机柜服务器技术规范 2.52.6 承重设计2100mm机柜满配情况下，重量最高可达到 1200Kg，要求机柜立柱支撑强度1200Kg；2300mm机柜满配情况下，重量最高可达到 1500Kg，要求机柜立柱支撑强度1500Kg；满配情况下机柜变形不超出章节 2.1尺寸规格定义的机柜尺寸公差范围。2.7 并柜设计相邻机柜有可能采用以下 3种方式并柜：前面立柱、后面立柱、机柜顶部。（1）前面立柱2100mm高度机柜在机柜立柱距地面 600mm、1500mm高度位置，且在距机柜侧边15mm处，单边立柱各有 2个 M8粗牙螺纹孔，供机柜并柜；如下图所示：图表 8 2100mm机柜并柜孔尺寸图17 / 75 天蝎整机柜服务器技术规范 2.52300mm高度机柜在立柱距地面 600mm、1500mm、2000mm高度位置，且在距机柜侧边 15mm处，单边立柱各有 3个 M8粗牙螺纹孔，供机柜并柜；如下图所示：图表 9 2300mm机柜并柜孔尺寸图（2）后面立柱后立柱并柜孔位与前立柱一致；（3）顶部要求预留 4个并柜 M8粗牙螺孔，参见章节 2.4顶部规格并柜孔描述。2.8 接地方式参见机柜顶部（章节 2.4顶部规格）、底部（章节 2.5底部规格）的接地孔部分。18 / 75 天蝎整机柜服务器技术规范 2.52.9 Busbar及结构位置（1）服务器通过 Tray背板上的 Clip从主 Busbar取电；（2）电源框后部 12V DC输出与系统 Busbar连接，给整机柜全部服务器提供 12V DC电源；（3）机柜 Busbar可设计为上下两根，也可设计为单根。要求 Busbar可贯穿整体机柜：2100mm高度机柜，Busbar高度需要覆盖至 1U20U、24U42U；2300mm高度机柜，Busbar高度需要覆盖至 1U20U、24U46U。（4）Busbar尺寸和位置如下图所示，Power Shelf的输出连接机柜主 Busbar的铜排或线缆、以及服务器托盘背板的 Clip设计，要参照 Busbar尺寸和位置进行。图表 10 机柜与电源框 Busbar位置主视图19 / 75 天蝎整机柜服务器技术规范 2.5图表 11 机柜与电源框 Busbar位置剖面图图表 12 机柜与电源框 Busbar位置尺寸细节图 B 机柜基准面定义：基准面 A为底部第一台服务器放置导轨底面基准面；基准面 B为服务器前表面，距机柜前面 150mm；20 / 75 天蝎整机柜服务器技术规范 2.5基准面 C为机柜内宽 538mm左基准面。2.10 电源框机构设计电源框（Power Shelf），也称为电源模组。在整机柜第 21U23U位置为放置电源框的空间，截取机柜 21U23U如下图所示。电源框可依照 19”或 21机柜标准进行设计。若按照 19设计，后端固定需要依照如下图所示尺寸进行相应匹配设计。图表 13 电源框结构示意图如下图为电源框前端固定孔位相关尺寸定义： (匹配 19”电源框体)高度135.4mm。图表 14 电源框前端固定孔尺寸图21 / 75 天蝎整机柜服务器技术规范 2.5图表 15 电源框前端固定孔尺寸细节图 A 如下图为电源框后端固定孔位相关尺寸定义：图表 16 电源框后端固定孔尺寸图22 / 75 天蝎整机柜服务器技术规范 2.5图表 17 电源框后端固定孔尺寸细节图 B 如下图为电源框深度尺寸定义及电源框后部与系统 Busbar相连接的位置尺寸定义：图表 18 电源框深度尺寸定义与机柜 Busbar连接位置尺寸图23 / 75 天蝎整机柜服务器技术规范 2.5图表 19 电源框与机柜 Busbar连接位置尺寸细节图 C 如下图为电源框 Busbar与机柜 Busbar相连接的螺丝孔锁紧扭力：45kgf.cm位置尺寸定义如下：图表 20 电源框与机柜 Busbar连接螺丝孔位置图24 / 75 天蝎整机柜服务器技术规范 2.5剖面 A-A：图表 21 电源框与机柜 Busbar连接螺丝孔剖面图细节图 D：图表 22 电源框与机柜连接螺丝孔尺寸细节图 D 25 / 75 天蝎整机柜服务器技术规范 2.5Power Zone基准面定义：基准面 A为电源模组（Power Shelf）底部平面。基准面 B为服务器前表面，距机柜前面 150mm。基准面 C为标准 19”机柜内宽 450mm左边平面。2.11 RMC机构设计机柜管理单元（RMC）放置在电源框中，固定在电源框的前视图左侧，如下图所示：相关尺寸需要参考下图所示方式进行电源模组的匹配设计。图表 23 机柜中 RM位置示意图图表 24 RMC外形示意图图表 25 RMC结构尺寸图 1 26 / 75 天蝎整机柜服务器技术规范 2.5图表 26 RMC结构尺寸细节图 A 图表 27 RMC结构尺寸图 2 27 / 75 天蝎整机柜服务器技术规范 2.52.12 风扇机构设计（1）机柜风扇模组以（Fan Tray）4U为一单元；（2） Fan Tray固定在机柜后部；（3） Fan Tray可热插拔维护；（4）且可以 1U为单位上下调节位置；（5）每组风扇模组含 3个 140mm x 38风扇盒和风扇背板（FB）；（6）风扇背板（FB）从机柜中 Busbar取电供风扇运转；（7）风扇盒（Fan Cage）可热插拔维护；（8）风扇模组不仅可覆盖 4U节点空间进行散热，也可覆盖更多 U节点进行散热：当仅覆盖 4U节点空间进行散热，如果相邻 4U空间内的节点形态和功率密度相同，则 4U空间之间无需特殊隔离，否则需要隔离 4U散热空间时，可增加隔板进行隔离；可以 1U为最小单位调整风扇模组安装位置，以实现覆盖更多 U节点进行散热为共享散热空间进行散热；详细可参考下图示意设计：图表 28 风扇机构示意图28 / 75 天蝎整机柜服务器技术规范 2.52.13 机柜背板机构设计（1）机柜背板（Rack Back Plane）放置在机柜后部右侧，紧挨风扇模组，覆盖 4U节点；（2）机柜背板通过 PCIE X1连接器与服务器托盘背板连接；（3）机柜背板通过 6pin连接器与机柜管理模块(RMC)连接。（4 ）机柜背板通过靠线缆方式与风扇模组互通。（5 ）机柜背板可进行整体或分体设计，要求和服务器节点无缝对接，并支持热插拔维护。（6）机柜背板机构设计可配合服务器实际部署位置，以 1U为单位进行上下调整位置；机柜背板位置参考下图示意。图表 29 机柜背板位置示意图2.14 服务器节点机构设计2.