数据中心建设与管理

1、,PPT讲解：马欢 PPT制作：何海洋 材料收集：苏德军,数据中心的建设和管理,探讨一： 数据中心建设与管理中存在的问题,CPU热量 100W,高密度的服务器安装,更高的存储容量,需要更多的电能,需要灵活的配电和供电方案,更大的热负荷(需要更大制冷量),TCO拥有总成本(总体更经济的方案）,7x24业务运行需求,业务咨询,数据中心用户/管理者,数据中心机房的设计，缺乏灵活性： 一旦配电系统开始运行后，就没有任何变动的可能。这意味着如果要扩容，需要付出巨大的努力。同时，在维护维修时影响系统可用性；还投入了非常高的初期投资！,问题1: 供电系统的 灵活性问题,问题2: 布线随意，缺乏规范有序管理。

2、,强弱电线缆管理问题： 1、通常缺少规划，强弱电线缆交差。 2、走线随意，乱拉乱接。 3、忽视安全问题。 4、标签信息不明确、不准确。,问题3:数据中心的散热！,目前设备散热问题已经日益成为数据中心设计的最主要限制因素。 气流难以像电流一样被约束。冷热空气的混合、对流、短路等，均会造成气流组织偏离设计值，从而使部分机柜得不到足够的风量，而同时又有一部分冷风没有被利用。这种情况将降低空调机的工作效率，浪费电能。,由于未解决的制冷和供电问题意味着，有时候很多机柜只安装一半设备。这种小型化安装的方案，给数据中心带来了更高的固定运行成本（场地，机柜，电能）。 这样的数据中心将需要安装更多的服务器机柜，

3、更高的计算性能将带来同比例更高固定成本。,问题4: 数据中心空间需求问题！,您会将这些服务器装在一个机柜中吗?, 12 kW（37台1U PC服务器）, 18 kW(5台7U 刀片服务器),是否会是以下的方案?,3.6 kW / 机柜,4 kW / 机柜,80%机柜空间空置 ? 扩大数据中心 ? 浪费的空间如何处理?,问题5： 安全管理问题！,目前各种安全有关的领域，比如空调、电源、机柜安全，通常是分开考虑的。 安全管理若集成在一个远程管理系统中统一监管，这样将减少拥有总成本。电源、空调、机柜安全必须考虑在一个主动的安全系统中。,安装基础设施占 %/ 机房的容量,服务年限,缺乏模块化，集约化的

4、IT基础设施投资方案带来超规模的投资。结果带来更高的初期投资资，更高的电能和租金的固定成本。 模块化结构，集约化提供了根据实际需求的初期投投资和运行成本！,超规模的投资,安装满足实际需求的IT基础设施！,目前基础设施投资和满足实际需求的基础设施投资的比较,问题6： 超规模投资，浪费成本！,探讨二： 新一代数据中心的设计理念,一、数据中心整体布局方面,1）性能面积比 运算量/面积 服务器台数/面积 随着IT设备的小型化，机房面积将越来越小 高密度、虚拟化数据中心,一、数据中心整体布局方面,2）性能能耗比 高效率UPS供电 围护结构的绝热处理 “冷库式”机房与“冰箱式”机房，让能源充分有效的利用,

5、一、数据中心整体布局方面,3）“机柜就是机房”的思路 “IT微环境”或“模块化机柜”设计 “选址-布局-设备摆放-机柜摆放”的设计逻辑将被完全逆转 机柜内部的设计将被更加重视,一、数据中心整体布局方面,4）“一体化机房”或“整体机房”的概念 系统化设计、预生产、组件式的机房构建模式 灵活性、扩展性 质量控制：工厂与现场,二、数据中心供配电方面,1）由备用供电系统向不停电供电系统发展 柴油发电机将起到更重要的作用 机房供配电系统将在UPS基础上进一步提升 UPS供配电系统的标准化、模块化将被普遍采用,二、数据中心供配电方面,2）机柜级供配电的管理将受到重视 目前供配电系统中“端-端”路径中最薄弱

6、的一环 机柜PDU的监测管理 机柜能耗管理,二、数据中心供配电方面,3）直流供电系统有可能提出并行研究 IT设备抗干扰能力在下降 交流供电系统中的谐波问题、地线噪声 直流供电系统可能成为一种被迫的选择,三、温湿度控制方面,1）冷媒的变化 目前从冷源到IT设备普遍采用的冷媒是空气，但是空气的能量传输率非常低 机房内大量空间被用作气流组织的通道，而且难以控制 势必将采用冷冻水或其他新型冷媒,三、温湿度控制方面,2）冷却系统布局的变化 由整个机房作为制冷系统的模式向机柜作为制冷系统的模式变化 “冰箱式”机房是机柜或者机柜群模式的表现 甚至会朝“机柜U”级和“服务器”级制冷系统的方向发展,三、温湿度控

7、制方面,3）节能环保型技术将得到开发和应用 在冬季，利用室外空气作为冷源的热交换设备 与楼宇空调系统共用的制冷设备，提高利用率 热回收系统,四、机房安全监控管理方面,1）IT设备的操控向集中化发展 KVM 基于IP、跨平台、远程集中管理模式 基于身份认证、分组管理,四、机房安全监控管理方面,2）机房基础设备的监控管理将向网络化、标准化发展 各机房基础设备厂商使用各自通信协议和监管平台的局面将被彻底改变，串口将被网口取代，所有设备通过网络进行实时监控与管理,四、机房安全监控管理方面,3）机房基础设备的监控管理与设备管理的一体化 实现数据中心业务应用、数据存储、服务器、网络、基础设施的集中管控 机

8、房设备的控制功能将进一步加强，如根据服务器的数量 或负载情况，自动调节机柜组的制冷系统风量；视频或照明的移动监测,四、机房安全监控管理方面,4）管理终端的变化 机房设备的管理的终端，将由本地操作，到通过IP网络电脑终端操作，发展为移动PDA，实现无时无地不在监管机房设备与环境。,探讨三： 数据中心的日常运维管理,一、数据中心的作用与特点,1、数据中心的作用基础资源整合： 高标准的数据机房、畅通的网络是保证应用稳定运行的基础。统一建立一个机房，避免机房建设的重复投资。 设备集中管理，统一调配，能够充分发挥各个设备的作用。 运行维护人员的人力资源整合,一、数据中心的作用与特点,2、数据中心的作用系

9、统稳定运行的保障： 保证系统能够安全、稳定、高效地运行。 建立一个全面的、动态的安全防范，综合利用各种安全技术，制定相应的管理制度和管理规范以保证数据中心的安全，保证关键数据、关键应用的安全以及关键业务部门的安全，实现业务网络及其应用系统的安全高效运行 搭建合理的服务器运行体系架构，调整应用的布局 对各应用及应用软件的优化，提高系统运行的效率,一、数据中心的作用与特点,3、数据中心的作用数据与信息安全的保障： 设置合理的数据库模式，便于管理，同时易于各系统之间的数据共享和交换。 要保证数据的安全，使数据不会因意外的灾难而损毁，要做好数据备份与恢复工作。 进行安全审计，能够对用户的行为进行记录，

10、并能够进行事后分析。,一、数据中心的作用与特点,4、数据中心的建设与管理的内容 1）、机房基础实施 2）、网络线路实施 3）、服务器体系结构 4）、数据存储与备份 5）、安全防护与加固 6）、队伍建设与制度规范,机房基础实施建设,防尘、防静电的环境 可靠的电力保证 适宜的温度和湿度 消防系统 门禁与监控 布线 参考的标准：接下页,机房基础实施建设（续）,参考的标准： 电子计算机机房设计规范（GB50174-93） 计算站场地技术要求（GB2887-89） 计算站场地安全技术（GB9361-88） 计算机机房用活动地板的技术要求（GB6650-86） 电子计算机机房施工及验收规范（SJ/T300

11、03） 电气装置安装工程接地装置施工及验收规范（GB50169-92）； 中国工程建设标准化协会标准建筑与建筑群综合布线系统工程设计规范CECS72：95,网络线路实施建设,冗余的网络设计，保证网络的畅通无阻 加强网络监控，及时发现问题 关键部门设置专线，保证数据传输的完整性,服务器体系架构建设,数据中心的服务器系统必须从整体上规划，根据应用的需求合理布局，切忌一个应用系统一套服务器系统，这样很不利于资源的优化配置，既不好管理，又不能实现资源的共享。 服务器架构尽量采用目前比较流行的体系架构。 服务器系统高可用性，根据应用的需求而定。 服务器系统的扩展性要考虑应用的发展需求。 开发、测试、正式

12、运行三条线要分开，不要在运行环境开发、测试程序。,数据存储与备份建设,备份系统与要求的恢复时间紧密相关，无论多么先进的备份系统，一定要有针对各种情况的恢复步骤，已备不时之需 设备的备份 热备份、冷备份 数据的备份 文件数据 数据库数据 容灾系统,安全防护与加固建设,网络安全：防攻击、防窃密、防监听 合理架设防火墙、入侵检测等设备 主机安全：物理安全、防入侵 要定期清理用户、修改密码、安装补丁程序、停止不必要的服务等 应用安全：防伪造、防攻击、防篡改 数据安全：防止数据丢失、破坏 数据备份、容灾应急 终端安全：防病毒、安全知识培训 安全审计：事后追查的有效手段 入侵监测 成立紧急问题相应小组,队

13、伍与制度建设,无论多么先进的设备和技术，如果没有人进行管理，都是不能很好的发挥作用的。因此数据中心在建设初期就必须考虑队伍建设问题。 在队伍建设中，要注意建立整个团队的服务意识。只有优良的服务，才能使所有的应用更好的发挥作用。服务不仅仅是态度，更重要的是要有雄厚的技术做后盾。因此应建立一支有层次的队伍。 其次，还要有规范的制度来约束和规范日常的运维管理行为。,二、数据中心的运维管理概述,1、数据中心运维管理的意义 提高可靠性：降低故障率 提高可用性：减少宕机时间 提高安全性：减少灾害发生 提高经济性：增长设备寿命,二、数据中心的运维管理概述,2、数据中心运维管理的本质 人员技能的提高：技术培训

14、、经验交流 制度的建立、执行：运维制度建立、运维制度执行、管理机制 机房管理制度 机房出入登记制度 机房值班巡视制度 机房系统设备运维制度 安全保密制度,二、数据中心的运维管理概述,3、数据中心运维管理的手段 环境监控 设备监控 网络监控 应用监控,三、数据中心的运维管理-危机管理,1、危机管理的定义 史蒂文.芬克的危机管理：组织对所有危机发生因素的预测、分析、化解、防范等而采取的行动 罗伯特.希斯的危机管理：管理者考虑如何减少危机情境的发生、如何做好危机管理的准备、如何规划以及如何培训员工应对危机局面、如何从危机中快速恢复,三、数据中心的运维管理-危机管理,2、危机管理的PPRR模式 Pre

15、vention(预防)：观念、意识、流程 Preparation(准备)：人力、物力资源 Response(响应)：应急预案，消除危机的短期影响 Recovery(恢复)：总结经验，消除危机带来的中长期影响,三、数据中心的运维管理-危机管理,3、应急预案 对机房各类设备的功能、指标、结构心中有数 事前“马后炮”：针对机房供配电、消防、空调、漏水、网络、安全等分别制定应急预案。 “一旦发生XX事故，值班管理人员应该在XX分钟内采取以下措施：一、XX；二、XX”,三、数据中心的运维管理-危机管理,3、应急预案 第一步、列出机房存在的危机或风险 火灾、空调故障、漏水、供配电、温湿度 第二步、分析排除

16、不存在的风险 第三步、将各种可能风险列举在应急预案中 第四步、横向分类与纵向分级 横向分类：灾难风险（火灾）、中断风险（停电、宕机）、安全隐患风险（温度过高、接地不良）。 纵向分级：按各类风险（事件）危害程度排序，建立风险管理优秀级和报警。,三、数据中心的运维管理-危机管理,3、应急预案 第五步、针对各类风险事件，制定应急处理措施 准备工具、备品备件 制定事件预警、报告流程,四、数据中心的运维管理-制度管理,实现目标： 保证机房电力系统、UPS系统、空调新风、消防系统、防雷接地系统等相关设备稳定运行 保证机房内各类设备和通信线路正常、稳定、高效运行 保证机房各类运行故障问题及时规范得到解决 管

17、理手段： 建立完善的规章制度，落实执行 划分合理的角色，明确职责 建立通畅的反馈机制，形成良性循环,四、数据中心的运维管理-制度管理,重点内容： 管理机构：岗位设置、人员配置、授权与审批、沟通与合作、审核与检查 管理制度：制定与发布、评审与修订 人员管理：人员录用、技能培训、绩效考核、外来人员的管理 建设管理：需求分析、方案设计、产品采购、项目实施、工程验收 运维管理：环境管理、资产管理、设备管理、介质管理、监控管理、密码安全管理、安全事件管理、应急预案管理,四、数据中心的运维管理-制度管理,1、管理机构 岗位设置：设立专门的管理部门、负责人；设立岗位、定义职责、分工和技能要求 人员配置：按岗

18、位和工作负荷，配置机房环境管理、系统管理、网络管理、安全管理人员；AB角 授权与审批：明确审批事项、规范的审批程序； 沟通与合作：内部定期交流学习；加强与外围单位的交流合作；加强与供应商、服务商的交流合作； 审核与检查：规范检查内容、频率和指标性能，发现异常及时采取必要的应对措施，定期分析统计,四、数据中心的运维管理-制度管理,2、管理制度：指导数据中心规范化运行管理，包括目标、范围、方针、原则和责任等。 制定与发布：组织相关人员制定管理制度，统一格式规范，对初稿进行讨论修改后，经主管人员确认后发布。 评审与修订：定期对管理制度进行过评审、修订和完善，满足实际运行管理要求。,四、数据中心的运维

19、管理-制度管理,3、人员管理 人员招录：根据运行管理需要，招录具备岗位所需技术技能人员，对招录人员说明其角色和职责。 技能培训：对新进人员进行上岗培训、定期开展内部交流和专业技能更新培训，保证满足实际工作需要。 绩效考核：定期对在岗人员进行技能考核和业绩考核，根据考核结果，加强教育谈话，必要时调整岗位。 外来人员管理：外来人员进入机房需要经申请，领导批准，由专人全程陪同和监督，并记录备案。,四、数据中心的运维管理-制度管理,4、建设管理： 需求分析 方案设计 产品采购 项目实施 工程验收,四、数据中心的运维管理-制度管理,5、运维管理： 环境管理：机房供配电、空调、温湿度、人员出入 资产管理：

20、资产登记、分类、保管和使用 设备管理：服务器、存储、网络线路的操作和维护 介质管理：标识、保存、使用、管理和销毁 监控管理：性能、健康、日志、策略 安全事件管理：消防、供电、漏水等基础设施故障、网络中断、恶意攻击 应急预案管理：运用危机管理，根据可能风险，分类制定相关应急预案，并定期检查和演练。,探讨四： 数据中心信息安全运维体系的建设,一、信息安全运维体系的发展阶段,信息系统运行维护占信息系统生命周期70% - 80%，信息安全运维体系的建设已经越来越被广大用户重视。 尤其是随着信息系统建设工作从大规模建设阶段逐步转型到“建设和运维”并举的发展阶段，政府或企业运维人员需要管理越来越庞大的IT

21、系统这样的情况下，信息安全运维体系建设已经被提到了一个空前的高度上。,一、信息安全运维体系的发展阶段,对于政府或企业的信息安全运维服务管理的发展，通常可以分为五个阶段：混乱、被动、主动、服务和价值阶段。 混乱阶段：没有建立综合网管中心，没有用户通知机制； 被动阶段：开始关注事件的发生和解决，关注信息资产，拥有了统一的运维控制台、故障记录和备份机制；,一、信息安全运维体系的发展阶段,主动阶段：建立了信息系统安全运行的定义，并将系统性能，问题管理、可用性管理、自动化与工作调度作为重点； 服务阶段：已经可以支持任务计划和服务级别管理； 价值阶段：实现性能、安全和核心应用的紧密结合，体现信息系统运维服

22、务价值之所在。,一、信息安全运维体系的发展阶段,目前，大多数政府部门或企业的信息安全运维体系的服务水平处在一个被动的阶段。 这一阶段主要表现在信息技术和设备的应用越来越多，但运维人员在信息系统出现故障或安全事件的时候却茫然不知所措。究其原因，是该组织未建成完整的信息安全运维体系。,一、信息安全运维体系的发展阶段,通常安全运维包含两层含义： 一是指在运维过程中对网络或系统发生病毒或黑客攻击等安全事件进行定位、防护、排除等运维动作，保障系统不受内、外界侵害。 二是对运维过程中发生的基础环境、网络、安全、主机、中间件、数据库乃至核心应用系统发生的影响其正常运行的事件（包含关联事件）通称为安全事件，而

23、围绕安全事件、运维人员和信息资产，依据具体流程而展开监控、告警、响应、评估等运行维护活动，称为安全运维服务。,一、信息安全运维体系的发展阶段,被动的信息安全运维服务，存在以下弊端： 出现故障纵有众多单一的厂商管理工具，但无法迅速定位安全事件，忙于“救火”，却又不知火因何而“着”。时时处于被动服务之中，无法提供量化的服务质量标准。 政府或企业的信息系统管理仍在依靠各自的“业务骨干”支撑，缺少相应的流程和知识积累，过多依赖于人。 对安全事件缺少关联性分析和评估分析，并且没有对安全事件定义明确的处理流程，更多的是依靠个人的经验和责任心，缺少必要的审核和工具的支撑。,二、信息安全运维体系的建立步骤,根

24、据各单位自身情况，结合信息安全保障体系建设中运维体系建设的要求，遵循ITIL（最佳实践指导）、ISO/IEC 27000系列服务标准、等级保护和分级保护制度 ，建立一整套信息安全运维服务管理体系。 第一步：建立安全运维监控中心 第二步：建立安全运维告警中心 第三步：建立安全运维事件响应中心 第四步：建立安全运维审核评估中心 第五步：以信息资产管理为核心,二、信息安全运维体系的第一步,第一步：建立安全运维监控中心 实现对信息系统运行动态的快速掌握，以及运行维护管理过程中的事前预警、事发时快速定位。其主要包括： 集中监控：采用开放的、遵循国际标准的、可扩展的架构，整合各类监控管理工具的监控信息，实现对信息资产的集中监视、查看和管理的智能化、可视化监控系统。 监控的主要内容包括：基础环境、网络、通信、安全、主机、中间件、数据库和核心应用系统等。,二、信息安全运维体系的第一步,综合展现：合理规划与布控，整合来自各种不同的监控管理工具和信