开放数据中心委员会-伯努利融合型机柜技术白皮书

11版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位I编写组随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中采用分层解耦设计，各层级主要聚焦在各自的层级进行相关技术探索和优化。从过往的经验来看，这种分层设计在促进产业链做大、做精、做细等方面做出了很大贡献，但是因为产业分工、投入等的方面的差异，导致各层级之间的技术能力无法同时提高或者对齐，从而表现出明显的“木桶效应”。对应层级的技术短板在更强调基础设施硬件综合能力的需求下变的更为OCP为代表的行业组织，几乎同时对机柜技术展开技术探索，以天蝎、方升和OpenRack为代表，在机柜的结构设计、空间设计、标准化等方面获得了显著的成果，积累了非常有价值的经验。但是相比服务器层级和机房层级的投入和成果，作为连接服务器和机房的机柜技术探索仍然偏少。比如：服务器可以通过上盖开孔提高系统散热能力，机房冷热通道温差的扩大可以降低能耗，但是因为机柜设计的原因，冷热通道的温差扩大和上盖开孔可能会导致热风回流伯努利融合型机柜技术白皮书为了解决分层设计带来的机柜技术短板问题，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，机柜将承担更多的系统功能需求，不仅具备结构承载能力，还将承担散热能力提升、能效优化等多方面的系统需求。从本项目的实践结果来看，架构改动小、实际收益大，体现了跨层级系统化设计思想对于当下基础设施领域优化的指导意义，ODCC设施组内相关单位和专家的大力支持，同时对支持本项目落地的广州南盾通讯设备有限公司、普洛斯普瑞数据科技（上海）有限公司、德州欧瑞电子通信设备制造有限公司等单位和专家，在此一由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各伯努利融合型机柜技术白皮书 V伯努利融合型机柜技术白皮书 伯努利融合型机柜技术白皮书伯努利融合型机柜技术白皮书本白皮书主要介绍伯努利融合型机柜架构设计思想和参考设计并对参考设计方案中的各种尺寸、设计建议、安装要求等进行明确OpenUnit,1OU=48mm，OCP（Open随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中以分层解耦设计为主，各层级主要聚焦在各自的层级进行相关技术探索和优化，其中服务器层级和机房层级的投入和成果更多，而作为连接服务器和机房的机柜技术探索则1伯努利融合型机柜技术白皮书相对较少，机柜技术领域在当下已经成为基础设施硬件的短板，呈为了解决基础设施分层设计带来的机柜技术短板，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，充分吸收现有机柜标准的设计经验，对现有机柜架构进行优化设计，提供一款基于伯努利散热架构（机柜前端开放+后端封闭的散热架构）的融合型机柜参考设计，该机柜具备40KW+的单柜散热能力，25℃+的冷热通道支持能力，兼容前后出线，兼容通用服务器和云服务器部署，兼容风冷和冷板式液冷混合部署，兼容标准机柜和整机柜出货，兼容CRPS和集中供电等特点。可以有效解决的当前机柜技术面临的兼容性和能效问题，是一款非伯努利融合型机柜采用热端封闭+冷端开放的创新散热架构，相比业界现有的机柜架构，在提升机柜系统散热能力和能效方面优势），2设计，又强化机柜在基础设施中对能效提升的作用，型机柜的参考设计，并对该机柜的所有设计进行开源是，该参考设计主要为架构层面的要求，工程人员可（1）热端封闭：机柜后方孔条与后立柱之间实现结构封堵；后方孔条与服务器之间通过泡棉实现热端封堵；服务器上下间隙通过3伯努利融合型机柜技术白皮书（2）冷端开放：机柜的前方孔条与前立柱之间的间隙打开；服4伯努利融合型机柜技术白皮书伯努利融合型通用机柜参考设计高度2500mm，配置支撑柱，不配置脚轮。该机柜高度保持机柜架构保持一致的基础上，可以根据伯努利融合机柜架构本身可以兼容不同的U高设计标准，原则上兼容业界常用的4种U高标准，包含RU/AU/SU/OU。本文的机柜参考设计采用SU标准，可安装服务器空间为52SU，兼容RU/AU标56伯努利融合型机柜技术白皮书（3）机柜前后方孔条距离720mm，允许公差+2mm/-2mm，此尺寸也可以根据实际需要进行调整，如果兼容更小深度的服务器，建议通过移动前方孔条的方式实现，后方孔条和后立柱不建议移动，（7）L型支架安装面距离可根据实际使用需求做定制设计，参考设计方案为了兼容通用服务器，该尺寸建议为350mm，允许公差（8）PDU固定支架端面距离机柜后端面125mm，允许公差为0mm/+2mm，此空间内专为PDU预留，可以支持PDU前后出线和左右机柜内部空间定义如下图所示，机柜后方孔条不得占用，不能7伯努利融合型机柜技术白皮书（三）机柜标识机柜方孔条机柜U数从下至上标识，从1开始。是否喷涂漆面不做严格约束，可以根据实际使用环境和需求决定，如果方孔条不做漆面喷涂，可以直接用镀锌表面处理，同时相关切口需要做好防腐处理。后侧方孔条粘贴封堵泡棉的位置要求不做喷涂，以保证粘（四）脚轮与支柱机柜本身兼容配置脚轮和不配置脚轮设计，如果配置脚轮，脚动，需要可以通过20mm宽的窄缝隙。通用机柜轮，但是配置调平支架，要求脚杯底座可旋转，在调平时对地面无8伯努利融合型机柜技术白皮书（五）机柜承载能力定义机柜可承载服务器最大重量1.2T（带轮动载要求），机柜最大（六）机柜并柜定义机柜支持单柜部署以及并柜部署，参考设计的机柜上并柜孔定顶部穿线孔在49U下U线向上开1个，穿线开孔机柜左右对称，机柜前后均预留并柜横向穿线开孔，自带毛刷封堵。机柜上中下分布有3个并柜锁固孔，机柜前后均配置。相关尺寸和位置示意图参考9（七）机柜布线定义与约束机柜兼容前后出线，机柜前后同时保留理线板，前出线理线板设计深度100mm，左右两侧安装，后理线板设计深度≥140mm，左右部两开孔70*100mm，方孔角需要处理为圆形，配置毛刷，机柜后端底部开2个下线孔，用于下走线和液冷管路预留，每个开孔（八）设备供电定义与机柜接地PDU安装与机柜后部，支持2条全高PDU同时安装，或者4条半高PDU同时安装，PDU的安装方式比较灵活，可以支持PDU出线端面朝向机柜后面，也可以支持PDU出线端面朝向机柜侧面；PDU兼容国标和IEC标准，可以根据业务需求自行定制，PDU和对应的固定支架做好适配设计即可。参考设计中PDU的参考尺寸如下图所机柜后部顶部和底部均部署有接地铜柱，尽量靠近机柜后部，PDU安装支架通过螺丝固定后理线板两侧，全高和半高PDU均可以固定，固定支架同时具备电源线理线架的功能，PDU固定支架在配置冷板兼容场景下，建议为无孔设计，起到液电隔离的作用，纯风冷场景下，可以根据成本和减重做适当简化处理。为了保持兼此时PDU只支持左右各配置1条全高或者2条半高，PDU可用深度空间为125mm，电源线在PDU固定支架上专设的理线孔处做固定，较长的电源线则靠支架内侧捆扎，尽量远离弱电绑线区域。需要确保电源线走线整洁，不影响服务器的运维和使用。这种出线方式为伯努利融合型机柜推荐的参考设计，可以支持950mm+深度尺寸此安装方案为常规方案，可通过更换PDU固定支架实现，此时PDU支持两侧部署或者单侧2条部署，电源线通过后理线区域理线（十）服务器安装支架机柜支持多种安装支架，抽拉滑轨，伸缩式L型滑轨和固定式L型支架，对于以上三种安装方式下，取支撑架的地面与机箱的最低点，保持与方升架构一致，要求其距离机柜标准U节线距离固定式L型支架，通过侧面打螺钉与机柜固定，通过支架底部托架拖住服务器。L型支架安装面距离不做严格约束，可以根据各伯努利融合型机柜技术白皮书自的实际情况进行定制，本参考设计中的推荐L型支架安装面距离（十一）交换机专用封堵框设计因为伯努利融合机柜采用热端封闭方案，所以对于深度尺寸较小的MOR和TOR，建议额外增加交换机专用封堵框用于实现热端封闭，封堵框需要保证交换机顺利拔插，运维方便，同时不影响交换（2）内部净高度为46mm，公差0mm/+（3）含后部挂耳宽度477mm,公差+1mm/-1mm;不含后部挂耳宽度伯努利融合型机柜技术白皮书交换机封堵机框安装方式为从机柜后端向前安装，机框的L型卡扣与机柜的固定式L型支架实现滑动卡接限位，机框在后方孔条处配置有锁固挂耳，用于机框固定。对于封堵机框设计的几个注意（1）L型卡扣的位置与机柜L型支架的尺寸相关，需要根据实（2）后端上盖需要可拆卸，便于交换机维护；（3）交换机内部尽量光滑，如有必要推荐覆膜，尽量减少对交（4）为保证封堵框和交换机的适配，交换机封堵框高度尺寸可（十二）热端封堵毛刷板设计为了在机柜热端封堵条件下支持交换机后出线场景，所以交换伯努利融合型机柜技术白皮书（十三）热端封堵盲板设计按照伯努利散热架构要求，机柜的热端封堵方案在机柜后方孔封堵盲板推荐采用塑胶材质，通过卡条的形式实现严格的热端气流（十四）机柜热端封堵泡棉设计按照伯努利散热架构要求，机柜的热端封堵方案在机柜后方孔），（2）胶面要求使用：3M468，0.1mm的胶面，粘性需要满足10（3）封堵位置为后方孔条内侧，同时避让后方孔条开孔，方孔伯努利融合型机柜技术白皮书（4）左右后方孔条各粘贴1PCS，高度保持与后方孔条等高，封堵泡棉的具体尺寸主要取决于适配的服务器宽度尺寸，同时（十五）服务器上下间隙封堵设计本机柜采用的U高标准为SU，所以在部署服务器的时候，服务器上下之间存在间隙，此间隙原则上均建议做封堵，1RU的OEM服务器如果间隙较小，可以根据机房和服务器的实际情况决定。封堵材料仍然推荐YU356材质的泡棉，OEM可以通过额外增加封堵条，ODM机器建议直接在服务器上盖后方孔条对应位置进行泡棉粘贴实），（2）胶面要求使用：3M468，0.1mm的胶面，粘性需要满足10伯努利融合型机柜技术白皮书（3）结构支撑件：钣金或者塑胶均可。（4）泡棉根据封堵间隙的大小，有几种规格，ODM自研服务器推荐直接在服务器上盖贴附，高度参考为C，宽度与服务器等宽，深度10mm即可；OEM服务器可以采用额外的挡风条设计。相关参考BCDEF14238242（十六）冷板式液冷兼容设计伯努利融合型机柜兼容冷板式液冷方案，分水器的位置配置灵活，可以根据自身服务器的配置需求进行灵活调整，服务器深度尺寸低于850mm，可以采用目前业界常见的电液分离的部署方案，服务器深度大于850mm以上，如果要支持前出线和风液兼容设计，建伯努利融合型机柜技术白皮书参考设计中，冷热分水