苏州工业园区TierIV标准数据中心供配电系统设计.docx

苏州工业园区 tieriv 标准数据中心供配电系统设计傅卫东 / 张 渊（苏州工业园区设计研究院, 江苏 苏州 215021）power supply and distribution system design for tier iv data center of suzhou industrial parkfu weidong / zhang yuan摘 要 对数据中心的tieriv 标准作了简单的介绍，并结合具体设计对苏州工业园区的综合数据中心供配电系统进行了分析和介绍 了项目的实施情况。关键词 tieriv 标准 数据中心 20kv 中压配电 设计 供配电 系统abstractthe paper brieflly introduced the tier iv standard for data centers, and in combination with the project of suzhou industrial park, it made a analysis on the power supply and distribution system for data centers. the implementation of thisproject was introduced as well.keywords tier iv standard, data center, 20kv mid-voltage distribution, design, power supply and distribution system房设计规范内的最高标准的a 级机房标准，而且在某些方面要求更加严格。 数据中心等级认证级别越高，标志着数据中心成熟度越高，能够提供的服务也就越安全稳定，当然单 位面积的造价也就越昂贵。正是由于tieriv 级别在基 础设施建造上的高要求和高成本投入，全世界能够成 功通过该级别标准的企业不足10 家。在这一点上苏州 工业园区综合数据中心实现了我国数据中心的一个 新突破。作为建设方聘请的顾问公司和机房区的承包 方，某国际知名it 企业的全球服务部全程参与了该项 目，而作为项目的设计方笔者所在的苏州工业园区设 计院完成了除机房以外的所有区域包括变电所、发电 机房的设计。在此仅将设计中的一些体会写下来供大 家参考。2 tieriv 标准的电气供电一般要求tier 认 证 的 数 据 中 心 要 求 具 有 容 错 结 构，系 统设计需要避免出现单点故障，所有电力系统，包括 备用电源都是全冗余的。允许对重要负荷进行有计划（不会中断系统）的操作。容错功能需要至少能经受住 一次最重要的意外事故（操作失误、设备故障、外电 源中断、维护和检修等）而不会中断电子信息系统的 运行，能提供99.995% 的可用性。具体来说对于电气系 统的要求一般有以下几项 ：1）市电接入两路主供2）变压器容量配置 2n，即全冗余3）备用柴油发电机配置不低于n +14）发电机燃料储量 不小于 96h5）电气系统允许并行检修6）单位面积供电密度不小于 1.5kw/m27）ups 系统容量配置 2n，即全冗余8）独立双电源路径至pdu1 项目及建设标准简介近日位于苏州工业园区独墅湖畔的苏州工业园 区综合数据中心正式投入运营，成为工业园区重要的 公共技术服务平台，填补了工业园区数据中心增值业 务的空白。该数据中心建筑面积约4.2 万m2，分两期进 行建设。第一期建筑面积1.8 万m2，其中机房区域1.08 万m2，设 施 配 套 区 域7200 m2，最 大 可 配 置 标 准 机 柜1694 个。难能可贵的是该综合数据中心投运之前已经顺 利通过由国际正常运行时间协会(the uptime institute, ui) 组织的关于数据中心的设计等级认证，据报道该 中 心 是 亚 洲 首 个 获 得tieriv 级 别 设 计 等 级 认 证 证 书 的数据中心。tier 标 准 指 的 是ansi/tia-942-2005 数 据 中 心用远程通信基础设施标准，该标准是世界上第一 部较为全面地以数据中心为对象的技术标准。标准中 以数据中心基础设施的“可用性(availability)”和“安 全性(security)”为主要指标，将数据中心由高到低分 为以下4 个等级，分别为tieriv，iii，ii，i。其中的tieriv标 准 相 当 于 国 内 的gb50174-2008 电 子 信 息 系 统 机智能建筑电气技术419）空调设备供电2n，即全冗余10）冷水主机配置不低于n +111）精密空调末端配电不低于 n+112）自动化配电集中监视系统以上要求的后6 项属于机房区域的工作范围，一 般由专业公司来完成，这里仅重点介绍一般需要由设计院完成的前6 项。关，一 旦 停 止 工 作 将 因 机 房 内1500 多 台 服 务 器 机 柜的巨大散热导致机房温度迅速上升，并很快即会超过 服务器的临界工作温度从而间接导致系统中断运行。 所以it 公司也要求配置ups 供电，其负荷为643kw。 为 了 降 低 启 动 电 流，这 部 分 负 荷 里 所 有 风 机 及 水 泵 均 采 用 变 频 或 软 启 动，同 样 考 虑 到80% 的 负 载 率 及0.8 的功率因数，按照2n 原则需要为该部分负荷配置21000kva ups。ups 电池供电时间均按照15min 考 虑。其他负荷包括机房区域照明及机房以外的办公区 空调、照明、风机、防排烟设备及消防水泵等设备，该部分负荷容量约为1600kw。3数据中心供电设计方案3.1 负荷分析及 ups 配置情况按 照 机 房 区 设 计 方it 公 司 提 出 的 要 求，一 期 工 程 中 安 装 的 网 络 机 柜 及 服 务 器 机 柜 总 用 电 量 为6314kw，考 虑 到80% 的 负 载 率 及0.8 的 功 率 因 数，it 公司选择的为机柜服务的ups 的实际需要容量为10000kva，ups 按 照2n 的 原 则 配 置，即 总 配 置 容 量 为20000kva。为 机 房 区 服 务 的 冷 冻 机、冷 冻 水 循 环 泵、冷却塔、冷却水循环泵、机房空调箱、机房精密空 调等设备的总负荷为2385kw，其中冷冻水循环泵、机房空调箱、机房精密空调设备由于与机房温度密切相变压器配置考 虑 到ups 的 性 价 比，it 公 司 最 终 选 择 了500kva/ 台的ups 来搭建整个ups 供电系统，为机柜 区服务的20000kva ups 按照2000kva 一组分成了10 组，10 组 里 又 按 照100% 冗 余 原 则 分 为a、b 两 路，每 路 五 组 共10000kva。因 为 在 选 择ups 时 已 经 考 虑 了 负载率，因此在选择变压器时容量不再放大，每组ups3.242足tieriv 标准里的发电机96h 运行的要求。3.5 20kv 市电接入设计按照tieriv 标准要求应从两个独立的电网变电 所的专用输出回路上分别引入一路市电电源，以专线 方式沿不同的敷设路由引接至数据中心。每一路市电 电源的供电容量应能满足全部负荷的需求，即应为全 冗余，并且两路市电应同时供电运行。本项目一期安 装了14 台变压器，两路市电每路需要连接7 台变压器， 安装容量14500kva。当然由于在变压器的配置上已经 采用了2n 的形式，故高压侧不再需要联络。14500kva 的 变 压 器 装 机 容 量 已 经 超 过 了 常 规10kv 系统单路供电的上限，对于这样的供电容量在 国 内 绝 大 多 数 地 区 是 需 要 以35kv 及 以 上 电 压 供 电 的，大 多 数 情 况 下 均 需 要 建 造 一 所35kv 或110kv 降 压站。然而幸运的是本项目建设地点正好位于苏州工 业园区的核心区内，而该园区自1994 年开始开发建设 以来一直采用20kv 中压系统进行供电。对于20kv 系 统而言，单路专线供电的上限为16000kva，14500kva 正好处于单路供电的上限以下，因此两路20kv 专线 即轻松地解决了供电的问题。不过为了满足从两个独 立的电网变电所引来专用输出回路的要求，虽然数百 米之外的一座供电局110kv 降压站内两段不同20kv 母线上可以分别提供一路20kv 专线，但是经过权衡 最终还是只从该降压站引来了一路20kv 专线，另一 路20kv 专线则是多花了数百万投资由数公里之外的 另一座220kv 降压站里引来的。至于数据中心的二期 供电问题，存在两种可能，一是极有可能在工业园区 政府的大力支持下，二期再由供电局的两个不同的降 压站引来两路 20kv 专线，但前提是每路容量不超过16000kva。二 是 一 旦 二 期 的 专 线 容 量 超 过 单 路 供 电上 限，在 二 期 再 建 设 数 据 中 心 专 用 的110kv/20kv 降 压站，由降压站的20kv 母线上分别向一期二期的变 电所供电。即使是按照最坏的打算最后仍然避免不了110kv 降压站的建设，但是毕竟是为数据中心的建设 方赢得了宝贵的经营时间和极大地节约了初期的建 设 投 资, 这 也 从 一 个 侧 面 体 现 了 苏 州 工 业 园 区20kv中压配电系统的优越性。由1 台2000kva 的变压器供电，为机柜区服务的变压器总共为102000kva。接下来是为数据中心服务的 辅助设备供电，经过计算2n 或2（n+1）配置的冷冻机、 冷 却 塔、冷 却 水 泵 每 组 运 行 负 荷 为1780kw，每 组 由1 台2000kva 变压器供电。2n 或2（n+1）配置的冷冻水 循环泵、机房空调箱、机房精密空调设备再加上其他 负荷每组由1 台2500kva 的变压器供电。这样我们得 到了总的变压器安装功率为102000kva+22000k va+22500kva=29000kva，14 台 变 压 器 和ups 机 组一样分成100% 冗余的a、b 两路，每路7 台，安装容量为14500kva。发电机选择及配置按照本文第二节里提到的tieriv 标准里对发电 机配置的要求是不低于n+1，事实上经数据中心建设 方的要求，最后是按照2n 的标准来进行设计和土建 预留的。发电机和变压器一一对应，一样分成了100% 冗余的a、b 两路，每路7 台。由于发电机需要100% 地 承担相对应的变压器的荷载，因此每台按照常用功率2000kva( 备 用 功 率2000kw) 来 选 择。只 不 过 项 目 初 期考虑到造价的因素，只配了a 路的7 台发电机，b 路 的7 台发电机电源配出屏本期才安装到位，通过联络 母线与a 路相应发电机组联络，并从本路的发电机电 源配出屏向b 路负荷供电。将来需要时可以在最短的 时间内迅速安装b 路的7 台发电机组。因为建筑空间 的限制，发电机房只能布置在地下一层，考虑到发电 机组散热时需要的巨大风量不可能通过自然进风来 解决，故采用发电机散热器远置的方案。散热器均安 装在四层屋面上，通过闭路的冷却水管路来进行循环 散热，而地下室发电机房内进风量仅需要考虑发电机 燃烧时的新风量及少量的机组辐射热即可。3.4 发电机储油量计算及室外油罐配置查阅各大柴油机厂家提供的资料，2000kw 备用 功率的柴油发电机每小时的耗油量约为500l，a 路7 台备用发电机48h 的耗油量总和约16.8 万l，因此需要 在室外为a 路发电机建造180m3 的地下储油罐。b 路7 台备用发电机同样需要180m3 的地下储油罐，并且与 a 路发电机的油罐埋地距离保持15m 以上的安全距 离。因为每路发电机的室外油罐均能满足100% 的负荷运行48h 的要求，故两个室外油罐的总储量可以满3.3供电设计具体分析数据中心整体供电的系统框架图如图1 所示。4智能建筑电气技术431#、2#，（2# 发电机暂不安装）。变压器间设低压联络，发电机间也设低压联络，发电机和对应的变压器间通 过自动切换开关连接。为了消除单点电气故障，满足 tier iv 标准中电气系统允许并行检修的要求，采取了 以下的措施 ：1）为了在两台变压器同时带电的情况 下检修和测试联络母线，在变压器联络母线的两端均 需要安装断路器，而不像常规设计那样仅在联络母线 的一端设断路器，而发电机的联络母线因为发电机平 时不带电故仅在一端设断路器即可。2）发电机和变压 器之间的ats 需要采用带旁路维修功能的自动切换 开关，该类切换开关除了满足当市电断电时自动切换 至柴油发电机供电的功能外，还可以做到在自动切换 开关处于抽出状态维修及维护时, 仍然可以通过内置 的旁路隔离开关的手动选择来实现正常供电及发电 机供电的功能，从而使ats 维护时不间断供电成为可 能。3）ups 需要设计维修旁路，并且主回路、旁路应由不同母线专用供电。因此设计中选用了两条母线同时从 图1 中 可 以 看 到，所 有 电 气 设 备 按 照100% 冗余 的 原 则 分 为 互 相 对 称 的a、b 两 路，其 中t1 t10是为服务器机柜ups 服务的变压器，每台变压器容量2000kva，各带2000kva 的ups。t11、t12 是为数据中 心服务的冷冻水循环泵、机房空调箱、机房精密空调 设备及其他辅助用房及建筑物消防负荷服务的变压 器，每 台 容 量2500kva 。t13、t14 是 为 数 据 中 心 服 务 的冷冻机、冷却塔、冷却水泵供电的变压器，每台容量2000kva。发电机组目前是先装备了a 路的7 台，其中1#、3#、5#、7#、9# 发电机为服务器机柜ups 服务，11#、13# 发电机为数据中心配套及消防负荷服务，并且需 要并列运行。下面以t1、t2 变压器为例，对系统的设计进行具 体分析。从 图2 我 们 可 以 看 到t1、t2 变 压 器 分 属 不 同 的 设 备 组 别a、b，互 为 备 用，各 带 一 组4500kva 的ups，ups 同时也互为备用。t1、t2 一一对应发电机组智能建筑电气技术45供电至ups 并联机组前后的两段母线上，以满足旁路开关合上后可以不停电进行检修及维护ups 机组的 要求。最后结合变电所的平面布置，简述对土建设计上 的要求。从图3 可以看到a、b 两路高低压设备需要严格 分开，中间必须设防火墙及防火门隔开，变电所设在 地面1 层，以成品架空地板向上抬高了1m。发电机设 在地下1 层，由发电机引至ats 的母线及a、b 两路变 压器间的联络母线均在1m 的架空地板下敷设，而引 至ups 机组的母线及旁路母线均从柜顶出线，从而有 效地减少了管线的交叉。由于使用了大量的ups，尽管 各大ups 厂家均声称可以将波形畸变率thd% 控制 在5% 以内，考虑到将来一旦谐波超标会带来严重影 响，故仍在变电所里预留了有源动态滤波装置的安装 位置，一旦实测波形畸变率不能满足系统正常运行的 要求，可以有补救的余地。在整个建筑物里设备机房 及管井的设置上，也依然按照a、b 两路完全分开的原 则设置各自独立的ups 间、电池间、ups 配电竖井、强 电井、电信接入室、网络管井，甚至是各自独立的水管井、气体消防管井、楼层新风管井直接浇注密封，根据ga537-2005“ 母线干线系统（母线槽）阻燃防火耐火性能的试验方法”测试，在温度达 到1000时，可继续供电约60min，同时因为绝缘材料 里不含卤素，即使燃烧也不会发出有毒、有害的气体。 因 此 本 工 程 的2500m 母 线 全 部 采 用 了 该 型 母 线。除 了解决了防火的问题，在母线安装完毕以后时值苏州 六月份的黄梅天。还发现了一个意想不到的好处，因 为该型母线是完全密闭的浇注母线，防护等级达到了 ip68，因此可以丝毫不担心黄梅天地下室里正常通风 系统尚未运行时的潮气，哪怕是母线表面上已经有密 密麻麻的一层结露，也绝不用担心母线的绝缘性能受 到影响。数据中心里其他重要设备的配电干线电缆大部 分采用了矿物绝缘电缆，总的安装长度超过了3 万m。 矿物绝缘电缆的防火能力是目前电缆里最高级别的， 大量地在干线系统上的使用给予了整个电力传输系 统以极高的可靠性。不过这里需要指出的是上述两种 母线和电缆的敷设难度要较常规的母线和电缆大得 多，施工前需要有足够的思想准备。6 小结该 数 据 中 心 项 目 于2008 年6 月 完 成 设 计，2010 年8 月 正 式 投 入 运 营。一 期 工 程 仅1.8 万m2 的 建 筑 面 积造价即达到了4.5 亿，这还是在一半发电机组和部