数据中心的高压直流之路

数据中心的高压直流之路 1 引言 传统的数据中心大都通过 UPS 来实现掉电保护 通常所有 IT 负载都要经过 UPS 来供电 假定实际运行 UPS 的平均效率为 90 虽然目前 UPS 最高效率是可以达到 95 以上 但我们 知道 UPS 的效率和负载率有关 如左下图所示 随着负载率的提升 效率才会变高 那么正常 情况 20 40 负载率下很难会达到最高效率点 根据在运行 UPS 的实际测试数据 绝大多数 情况下的效率不高于 90 那么每 100 度电 经过 UPS 这个环节就白白损耗掉 10 不仅如 此 我们还需要考虑 UPS 散发出来的热量需要额外的空调带走 按数据中心典型 PUE 为 1 8 来 算 那么 UPS 环节带来的总能耗达 18 很不节能 a UPS 效率和负载率的关系 b 传统机房的能耗分布 我们还知道 UPS 设备的拓扑结构比较复杂 因此其单机可靠性一直不是很高 为了解决单 点故障问题 通常会引入 2N 甚至 2 N 1 的冗余配置 那么这种情况下 虽然一定程度上 提升了整个系统的可靠性 但带来的问题其实不少 首先 投资成本双倍增加 而且占用了很 多机房的宝贵空间 并增加了运维的复杂度 其次 同前面解释过的一样 UPS 系统的负载率 在 2N 情况下会比较低 此时 UPS 的效率也很低 额外增加了不少电费开销并浪费了很多宝贵 的能源 最后 单机 UPS 的容量可能不够大 那么往往会采用并机模式 同样由于 UPS 自身 结构的复杂性 且并机要求幅度 频率 相位等同 加上并机板自身也为单故障点 并机风险 较大 很多实际发生的案例表明在市电电网正常情况下 但因 UPS 自身故障引起机房掉电情况 UPS 是大容量危险设备 其内部电容等元件寿命只有五年 因此电容击穿 漏液短路等危险也 时有发生 轻则造成系统宕机 重则导致机房着火 而且出了事故 第一时间现场无法处理 严重依赖厂商响应速度 综上所述 传统的 UPS 供电方案 可靠性也不是很高 或者说为了达 到较高可靠性 需要把系统做得很复杂 且投资很大 这里再补充一点关于模块化 UPS 的看法 虽然模块化 UPS 部分解决了分期投资以及可调 负载率从而效率更高等问题 但同样存在多模块设计并机复杂引起的可靠性问题仍没很好解决 而且由于电池挂接在逆变器之前 也无法实现轻载下的节能休眠等功能 因此不是很好的解决 办法 c UPS 配电的复杂性 d UPS 故障引发机房燃烧事故 2 高压直流技术初探 笔者作为国内较早从事高压直流产品开发 并进行后续应用研究的同行 在这里和大家一 起探讨发掘 以便让此技术得到更好应用 本文主要分析比较 240V 高压直流解决方案的一些 特点 上图是高压直流的简单拓扑结构 很直观得展现了 240V 高压直流的一些特点 1 减少变 化级数 整体效率更高 2 电池直挂在输出母线上 相当于提供另外一路备份 可靠性更高 3 兼容现有绝大多数 IT 设备的高频开关电源 用电设备几乎不用任何更改 推广非常容易 4 拓扑非常简单 可靠性提高 5 高压直流系统为模块化热插拔设计 运维非常方便 关于 240V 高压直流兼容现有绝大多数 IT 设备的高频开关电源可行性分析 可参考拙作 交流电源的高压直流直供可行性分析 一文 鉴于此 该技术的推广门槛非常低 用电设备 基本不用任何改造 经过简单测试验证后即可投入应用 国内已有多个数据中心跑在 240V 高 压直流供电环境下 一直工作稳定可靠 因此也从理论和实际都证明了该方案可行 而且由于 电池直挂母线 可作为很大的一个滤波池 滤除电网串过来的毛刺以及其它供电支路谐波的影 响 给用电设备提供一个很好的供电电源 电信行业几万台设备 及多年的应用数据表明 采 用 240V 高压直流给 IT 设备供电 电源的可靠性不仅没有降低 而且还提升一倍以上 3 高压直流技术的一些优点 1 高压直流系统的模块化设计 如下图 高压直流系统采用模块化设计 可大容量并机集 中式供电也可小容量一体柜分布式供电 供电方式非常灵活 采用分布式供电的高压直流系统 可以直接放置在列头柜位置 无须配套的独立电力室 大大节省机房空间 而且分布式供电故 障影响面小 只影响一小区域 不像 UPS 出故障则影响一大片区域的供电 高压直流系统不仅 供电设备可以分期建设 而且设备内部还可随着 IT 设备上架量不断增加 逐步按需配置模块个 数 而且直流并机没有频率和相位相同的需求 因此并机非常简单可靠 同样系统扩容也非常 容易 模块化设计的另外一个重大好处是运维得到了大大解放 而且不再依赖于 UPS 厂家的支持 如果发现了故障模块 需要做的只是热插拔更换故障模块 像换块服务器硬盘一样简单 一线 的现场人员即可处理 非常便捷 我们知道 48V 的通信电源系统非常成熟可靠 而且大家有丰 富的运营经验 那么 240V 高压直流技术的运营几乎借鉴了 48V 系统的原理 也非常便捷可靠 2 关于高压直流系统的高效率 前面的分析 我们知道高压直流系统不再采用 2N 配置 如果要求高可靠性 完全也可以实现 2N 而采用的是系统内部模块的 N 1 配置 且可以根 据实际负载情况配置合适的整流模块个数 得到较高的负载率 从而有很高的系统效率 不仅如此 由于高压直流系统自身具备的节能休眠功能 可以根据实时负载需求开启合适 的工作模块个数 保证在全负载范围和机房全生命周期都可实现高效率 而不像传统的 UPS 方 案在机房建成初期设备上架率较低时候效率很差 高压直流系统的一个非常明显的优点是不但自身可实现成熟的电池管理 而且还有智能休 眠节能功能 其原因仍是电池直挂母线 由于电池直挂母线 那么瞬时的负载冲击可以通过电 池放电来做缓冲 休眠退出过程中电池放电 然后设备退出休眠后再正常带载 因此不会拉垮 系统 而传统的模块化 UPS 方案若启动休眠 由于电池挂接在逆变环节之前 则可能无法及时 退出休眠导致整个系统宕机掉电 空载下高压直流系统启动节能休眠后功耗很低只有几百瓦 日耗电 6 度 而传统的 UPS 空 载日耗电 160 度 低载下节能非常明显 并且最新的高压直流系统休眠控制策略还具有同步老 化以及定时唤醒功能 保证整个系统的各个整流模块同步老化 并提高系统的可靠性 下表为国内某运营商的实际运行数据 我们可以看到节能和节省投资非常明显 3 关于高压直流系统的可靠性 前面我们已经知道高压直流系统内是 N 1 的配置方式 那么即便坏了一个整流模块 对系统的可靠性几乎没有影响 而且电池作为另外一个备份单元 也可给运维人员提供充足的割接改造等腾挪时间 下图比较了传统 UPS 单机和 240V 高压直流拓扑结构 从结构上看 高压直流系统和传统 48V 通信电源系统差异很少 只是电压更高些 整体结构非常清爽 非常简单 即便整流环节 出了故障 还有电池直挂母线继续保障系统供电 反观 UPS 方案 由于涉及静态旁路 整流环 节 逆变环节 以及输出静态开关 甚至输出升压变压器等 越复杂的系统 出故障的概率就 要增加 因此整体可靠性较 240V 高压直流方案要低很多 4 关于高压直流的安全性 很多同行一听到高压直流 都觉得非常恐怖 似乎高压则安全 性差 直流则无法脱开 那么是否是这样呢 我们下面来分析这个问题 高压直流系统和传统的 UPS 方案不一样 采用的是正负极输出浮地方式 不像 48V 通信电 源系统采用正极接地方式 也不像传统 UPS 采用中线接地方式 由于整流模块内部输出安规电 容的原因 实际高压直流系统正负极到大地的电压都是 135V 左右 240V 的高压直流系统额定 电压为 240V 但默认电压为 270V 好比 48V 电源系统的默认电压为 54V 一样 两者是 5 倍的 关系 根据人体正常电阻约为 6300 ohms 左右 那么误碰到其中一极的 135V 直流估算下来 的电流不足以对人体造成伤害的 况且通常我们还穿鞋等 因此实际即便误碰到任何一根母排 人体是几乎没有感觉的 非专业人士勿试 也强烈不建议模仿 如下图单手触摸母排照片所 示 如果正负母排的任何一级接地了 虽不会造成系统掉电 而传统 UPS 方案 任何一相火线 输出接地 则会导致设备掉电 此时若误碰到另外一极 则 270V 直流可能会让操作人员有 触电感觉 但根据理论估算 同样不会对人体有较大伤害 再次强烈不建议拿自己安全做测试 实际设计中为了避免此意外发生 通常要求高压直流系统配置绝缘监测仪 以便出现系统绝 缘问题时候提早预防并定位故障点 反观传统的 UPS 系统 从下面的表格可以知道其实人体对交流的耐受能力远远低于直流 其可能原因是人体心脏的心跳频率和交流 50Hz 或者 60Hz 的工频较为接近 那么交流触电时候 更容易引起心室震颤 共振原理 待考证 导致生命危险 因此 240V 高压直流其实挺安全 4 高压直流供电方案研究 1 单机供电方案 从前面的分析上看 我们知道高压直流系统的单机可靠性要远高于 UPS 单机的可靠性 因 为高压直流设备内部的 N 1 的模块化设计 以及有电池直挂母线作为备份 虽然可以有较高的 可靠性 但毕竟是单路系统 那么可以采取下图的双路供电配电结构 采用来自同一电源系统 的 A B 路给双电源服务器供电 虽然是假双路供电 但任何一路跳闸 另外一路仍可保证设 备不掉电 这种结构的一个不足是单电源设备的可靠性还不是非常高 2 双系统双路供电配电结构 对于一些要求超高可靠性的系统 可以采用双系统双路供电配电结构来供电 这种配置方 式下可靠性非常高 不仅实现了 2 N 1 配置 还有两路电池直接挂在母线上 达到了运营商 骨干网的可靠性等级 这种方式可靠性问题是解决了 但不足之处是投资成本会加大 其实很 多情况下 业务的可靠性无需这么高 因此是否有新的拓扑结构来实现低成本且高可靠呢 3 一路市电一路高压直流方案 我们这里创新性得提出如下的一路市电加一路 240V 高压直流的供电方案 既可以实现低 成本 还能实现高可靠 非常值得推广 当然这个拓扑涉及三个问题 一个是市电直接给设备 供电 是否会造成设备损坏或者掉电 第二个是直接将 240V 高压直流给设备供电 设备是否 支持 第三个是市电直接给设备供电 以及高压直流的引入是否会引起谐波问题 关于第一个问题 我们知道身边就有无以计数的电子设备等跑在市电电网下 正常情况下 极少出现问题 那么对于性能以及可靠性要求更高的 IT 设备电源 也是基本没问题的 况且对 于双电源设备 即便市电供电的这个电源因电网原因出现异常 270V 供电的另外一个电源仍能 保证系统可靠工作不掉电 当然为了保证整体系统的可靠性 市电直供输入的防雷接地等工作 要做好 那么第二个问题 其实前面已经介绍过了 普通 IT 设备的电源绝大多数都是支持 240V 高压直流的 同样可参考拙作 交流电源的高压直流直供可行性分析 除了极少数电 源内部增加了频率检测等机制 完全可以通过升级软件屏蔽此功能等办法来解决 那么在前 期在设备上架前做好高压直流适应性测试即可 当然少量的单电源设备可以从高压直流支路取 电 仍可实现较高可靠性 第三个关于谐波的问题 我们知道传统的 UPS 采用的是晶闸管不控 整流技术 不管是 6 脉冲还是 12 脉冲 单靠 UPS 设备是无法达到很低的电流谐波的 那么高 的谐波电流不仅影响运行可靠性 造成能源浪费的同时还可能被电网公司罚钱 而高压直流技 术则没有此问题 原因是高压直流设备采用成熟的功率因数校正技术 功率因数很高且谐波很 小基本可以达到 A 类机房的要求 无须再配置额外的谐波治理设备 同样现在的 IT 设备采用 的高频开关电源 且谐波也很小 因此市电直供部分也无须谐波治理 配电结构非常简单 继续分析这个拓扑结构的可靠性 从前面的 UPS 单机可靠性以及高压直流单机可靠性数据 来比较这种拓扑结构和 2N 配置的 UPS 市电可靠性按 99 86 来算 目前大多数数据中心所在 城市的电网可靠性基本都可达到此值 根据计算可以得到如下可靠性 2N UPS 可靠性 1 1 0 99999 1 0 99999 10 个 9 一路市电一路高压直流可靠性 1 1 0 9986 1 0 9999999 10 个 9 我们发现一路市电一路高压直流方案的可靠性和 2N 的 UPS 配置差别不大 基本是一个量 级的 那么鉴于此这种方式可以省去一路 UPS 的投资 而且省去那一路的 UPS 带来的电费也 相应可以省掉 意味着可以带来 capex 和 opex 的大大节省 下面我们再来好好算这笔帐 假定一个大型数据中心有 10 万台服务器 每台服务器按 200W 功耗计算 在相同的可靠性 下计算 先来算 capex 传统 2N UPS 方案 按单机 800KVA 的 UPS 来算 若按 400KVA 系统算 会省钱更多 每台含电池 120W 算 需要投资 120W 2 10 万 0 2KW 800KVA 0 9 0 8 8330W 一路市电一路高压直流方案 按单机 140KW 的高压直流系统 每台含电池 30W 需要投 资 30W 1 10W 0 2KW 140KW 0 85 5042W 节约投资 3288W 这里暂且还没考虑 2N UPS 方案下需要低配 旁路 隔离变压器 谐波 治理 STS 等等配电环节的额外投资 因此总体算下来 capex 方面可以减少投资 5000W 以上 而且这里计算的高压直流价格偏高 随着高压直流技术的成熟 未来价格有很大的下降空