深圳市建筑工务署硬件平台技术方案

1、深圳市建筑工务署硬件平台技术方案深圳市建筑工务署硬件平台技术方案深圳市斯维尔科技有限公司2015年9月目 录一、 建设背景- 4 -1.1. 建设背景- 4 -1.2. 深圳建筑工务署概况- 5 -1.2.1. 简介和职责- 5 -1.2.2. 组织架构- 5 -二、 需求分析- 8 -2.1. 应用系统分析- 8 -2.2. 网络现状分析- 10 -2.3. 流量访问分析- 11 -2.4. 带宽分析- 11 -2.5. BIM应用平台存储和配置分析- 12 -三、 方案规划与设计- 16 -3.1. 建设目标- 16 -3.2. 总体设计思路及原则- 17 -3.3. 系统总体架构- 19

2、 -3.3.1. 超算中心架构- 20 -3.3.2. 工务署网络架构- 22 -3.3.3. 总体物理架构设计- 23 -3.4. 超算中心网络安全解决方案- 25 -3.4.1. 超算中心在云计算中的部署方案- 25 -3.4.2. 超级计算组网方案的高安全设计- 26 -3.4.3. 超级计算组网方案的高可靠设计- 26 -3.5. 网络QoS设计- 27 -3.5.1. QoS设计原则- 27 -3.5.2. QoS服务模型选择- 27 -3.5.3. QoS规划- 28 -3.5.4. QoS部署- 30 -3.6. 关键技术支撑- 32 -3.6.1. 网络虚拟化技术- 32 -3

3、.6.2. 分布式大缓存与流量调度技术- 33 -3.6.3. FCOE- 33 -3.6.4. 虚拟机(VM)部署与迁移- 35 -3.7. 国家超级计算机中心介绍- 37 -3.7.1. 机房建筑结构- 37 -3.7.2. 电力保障- 38 -3.7.3. 制冷系统- 38 -3.7.4. 消防安全- 39 -3.7.5. 地理位置- 39 -3.8. 超算中心管理- 40 -3.8.1. 超算中心管理设计原则- 40 -3.8.2. 运营管理- 40 -3.8.3. 运营及维护管理系统配置- 41 -3.8.4. 安全防范- 43 -3.8.5. 网络架构- 43 -3.8.6. 机房

4、布线- 44 -3.9. 产品报价清单- 44 -一、 建设背景1.1. 建设背景深圳市建筑工务署（以下简称“工务署”）是市政府直属正局级行政管理类事业单位，主要负责市政府投资建设工程项目（水务和交通工程项目除外）的资金管理、前期审批事项报批、招投标管理、预决算和投资控制管理，政府公共房屋本体结构性维修工程的监督管理，对部分适合的建设项目组织实施代建制，目前工务署信息化建设主要有：BIM应用平台、OA系统、档案系统、品牌库、门户网站和项目管理系统。由于工务署业务对信息化的程度越来越高，数据集中、业务7*24小时高可靠支撑对数据中心的要求越来越高。经综合考虑，拟工务署数据中心托管于深圳国家超级计

5、算机中心（以下简称“超算中心”），托管于超算中心的工务署数据中心将成为深圳建工工务署的的数据主中心，承载所有业务系统。各大工务署所属的工地通过互联网接入超算中心的工务署数据中心，工务署总部通过10M的专线接入超算中心。数据中心的发展可分为四个层面：u 数据中心基础网络整合：根据业务需求，基于开放标准的IP协议，完成对工务署现有异构业务系统、网络资源和IT资源的整合，解决如何建设数据中心的问题。u 数据中心应用智能：基于TCP/IP的开放架构，保证各种新业务和应用在数据中心的基础体系架构上平滑部署和升级，满足用户的多变需求，保证数据中心的持续服务和业务连续性。各种应用的安全、优化与集成可以无缝的

6、部署在数据中心之上。u 数据中心虚拟化：传统的应用孤岛式的数据中心模型扩展性差，核心资源的分配与业务应用发展出现不匹配，使得资源利用不均匀，导致运行成本提高、现有投资无法达到最优化的利用、新业务部署难度增大、现有业务持续性得不到保证、安全面临威胁。虚拟化通过构建共享的资源池，实现对网络资源、计算计算和存储资源的几种管理、规划和控制，简化管理维护、提高设备资源利用率、优化业务流程部署、降低维护成本。u 数据中心资源智能：通过智能化管理平台实现对资源的智能化管理，资源智能分配调度，构建高度智能、自动化数据中心。1.2. 深圳建筑工务署概况1.2.1. 简介和职责深圳市建筑工务署（以下简称“工务署”

7、）是市政府直属正局级行政管理类事业单位，主要负责市政府投资建设工程项目（水务和交通工程项目除外）的资金管理、前期审批事项报批、招投标管理、预决算和投资控制管理，政府公共房屋本体结构性维修工程的监督管理，对部分适合的建设项目组织实施代建制。工务署地址：深圳市福田区上步路1023号市府二办。1.2.2. 组织架构工务署内设机构有办公室、纪检监察室（党办）、人力资源处、计划财务处、招标采购处、项目策划处、信息化与工程技术处、工程督导处，直属机构有署工程管理中心、土地投资开发中心、市住宅工程管理站。(一) 办公室主要职责l 负责会务、文秘、收发、文字材料，署机关文书档案和工程档案管理工作，信访、调研、

8、宣传和法律事务工作，署机关接待、后勤工作。(二) 纪检监察室（党办）主要职责l 负责思想政治、党风廉政建设、纪检监察、机关作风、党群工作；负责署督查、督办和社会监督员等工作；承办机关党委党风廉政建设主体责任的相关具体工作。(三) 人力资源处主要职责l 负责工务署公务员管理以及直属单位领导班子建设，负责机构编制和人力资源规划、招聘与配置、培训与开发、绩效管理、薪酬福利管理；负责外事管理、退休人员管理和人事档案管理工作；负责指导直属单位开展人事工作。(四) 计划财务处主要职责l 负责会同有关部门编制政府投资项目中长期建设规划和年度计划；负责计划统计工作；负责投标企业的资信和保函工作；负责工程建设资

9、金管理及工程款支付工作；负责竣工决算和资产移交工作；负责部门预算编制、财务管理和内部审计工作；负责合同管理工作。(五) 招标采购处主要职责l 负责招标文件和合同范本的编制和审定工作；负责招标采购政策的制订工作；负责组织项目的工程类、货物类和服务类招标工作。(六) 项目策划处主要职责l 负责项目前期策划综合管理和业务指导；负责组织开展项目可行性研究批复（含）之前的前期工作；负责设计质量和设计标准管理；负责代建工程项目管理工作。(七) 信息化与工程技术处主要职责l 负责工程技术和标准的编制和发布工作；负责“四新”技术推广工作；负责组织解决工程技术问题和重大施工技术方案评审工作；负责材料设备品牌库管

10、理工作；负责技术委员会日常工作；负责专业技术组的日常管理工作；负责认可专业人员管理工作。(八) 工程督导处主要职责l 负责工程质量、安全、文明施工和绿色施工的管理工作；负责工程质量、安全、文明施工管理考核工作；负责工程竣工预验收；负责履约评价管理工作；负责工程保修和维修管理工作；负责安全领导小组办公室的日常工作。(九) 署工程管理中心主要职责l 主要负责政府投资建设工程项目的具体组织实施工作。(十) 土地投资开发中心主要职责l 负责土地开发、市政工程、城市基础设施建设和旧城、旧村改造工程。(十一) 市住宅工程管理站主要职责l 负责经济适用房和政策性住房建设工程。二、 需求分析二、2.1. 应用

11、系统分析深圳建筑工务署目前的应用系统主要包括BIM应用平台、OA系统、档案系统、品牌库、门户网站和项目管理系统等六类。在六类应用系统中，不同的子类应用在流量特征、规模和用户访问类型上存在较大的差别，这些将会影响到网络及安全的方案设计，下面将进行进一步的分析：1. BIM应用平台流量特征分析：应用类服务器业务负载繁忙特征比较多样化，要保证24小时不间断，流量相对较稳定BIM应用平台对网络的质量要求高，服务质量（QoS）要充分考虑。规模分析：从服务器的数量上统计,工务署和各大工地都需要运用到BIM运用平台，BIM应用会产生大量的数据、音视频和图片文字等，BIM服务器较多且带宽要足够大，服务质量（Q

12、oS）要充分考虑用户访问分析：BIM 应用平台的访问用户多样，可以为工务署，而大多为各大工地，为建筑建模而用。2. OA系统流量特征分析：办公应用类服务器业务负载繁忙特征比较单一，繁忙时段集中在工作日的8小时内，流量相对较稳定。视频对网络的质量要求最高，服务质量（QoS）要充分考虑。规模分析： 总体来看，OA服务器的数量最多，其次为视频。用户访问分析：办公应用的访问用户单一，均为工务署内部用户。3. 档案系统流量特征分析：档案系统服务器业务负载繁忙特征比较单一，繁忙时段集中在工作日的8小时内。部分服务器（如防病毒）的流量特征取决于网络管理员的策略。规模分析：物理服务器数量不会很多，未来可能会部

13、署很多的虚拟服务器，因此此类服务器对网络的扩展要求要对相低，在此不再做进一步的规模分析。用户访问分析：办公应用的访问用户单一，均为工务署内部用户。4. 品牌库流量特征分析：服务器业务负载繁忙特征多样，繁忙时段不定。管理品牌库内部服务器（如防病毒）的流量特征取决于网络管理员的策略，而通过外部互联网访问品牌库的流量较大。规模分析：物理服务器数量不会很多，未来可能会部署很多的虚拟服务器，因此此类服务器对网络的扩展要求要对相低，在此不再做进一步的规模分析。用户访问分析：应用的访问多样化，除工务署内部人员，品牌库访客用户居多。5. 门户网站流量特征分析：门户网站服务器业务负载繁忙特征多样化，繁忙时段不定

14、需7X24小时不间断。流量来自互联网访客或办事人员。规模分析：物理服务器数量尽量满足所承受的流量， 用户访问分析：门户网站的访问用户多样。6. 项目管理系统流量特征分析：项目管理服务器业务负载繁忙特征比较单一，繁忙时段集中在工作日的8小时内。部分服务器（如防病毒）的流量特征取决于网络管理员的策略。规模分析：物理服务器数量不会很多，未来可能会部署很多的虚拟服务器，因此此类服务器对网络的扩展要求要对相低，在此不再做进一步的规模分析。用户访问分析：办公应用的访问用户单一，均为工务署内部用户。分析总结：1. 生产应用类服务器的数量最多，而且此类服务器未来随深圳建筑工务署业务的发展，规模会越来越大，工地

15、会越来越多；因此生产应用类服务器的接入要充分考虑可扩展性；2. 生产应用类服务器的用户访问类型最复杂，因此要充分考虑安全访问策略的设计；3. 生产应用类服务器的流量特征最复杂，流量最大，而且突发性最强，因此要充分考虑网络的缓冲能力；4. 办公应用类业务中，OA、视频和BIM应用平台对网络的传输质量最为敏感，方案设计要给予充分的QoS和带宽保证。5. 六类应用系统中，所有业务均为7*24小时运行，因此在网络的设计中要保证高可靠，设备和链路均采用冗余设计，对于应用类关键业务，要保证设备和链路故障恢复时间在毫秒（ms）级，避免设备和链路故障导致业务服务中断。2.2. 网络现状分析工务署现有机房网络拓

16、扑图如下：序号设备名称设备型号规格数量单位备注1防火墙华为USG50001台单机运行2审计设备深信服SG53001台单机运行3核心交换设备华为77031台单机运行4网络入侵检测系统华为NIP设备1台已下架（设备已停产）2.3. 流量访问分析深圳建筑工务署数据中心建设完成后，工务署的数据访问流量分析：1. 对于深圳建筑工务署内部员工通过工务署专线网络接入到超算中心访问业务系统，实现对业务系统的直接访问。2. 工务署所属的各大工地各部署本地服务器通过互联网访问工务署超算中心的应用系统服务器。3. 深圳建筑工务署目前的应用系统主要包括BIM应用平台、OA系统、档案系统、品牌库、门户网站和项目管理系统

17、等六类，其中BIM应用平台数据量大、访问类型多样化和需要高质量的网络带宽来保证保证业务的正常运行。2.4. 带宽分析工务署数据中心内部的服务器接入及局域网络均采用典型的“千兆接入、万兆到汇聚”方式，部分服务器（如FCoE服务器等）直接采用万兆接入，链路带宽不会成为瓶颈，保证网络的收敛比即可，在此不做带宽分析。带宽分析主要考虑数据中心的网络出口，对于数据中心而言，网络出口有以下四个：1. 工务署专线出口：与超算中心通过专线互连，满足工务署内所有员工对业务系统的访问。考虑到可靠性，采用双链路（不同运营商）；2. Internet出口：满足工务署所属工地及公众业务系统通过互联网对外提供服务。考虑到可

18、靠性，采用双链路（不同运营商）；根据工务署现有业务系统的用户数量分析，对超算中心网络出口带宽估算如下：业务系统工务署专线出口Internet出口BIM应用平台内部专线10M100M档案系统OA系统品牌库门户网站项目管理系统基础支撑类合计10Mbps100Mbps按照上述数据的初步估算，对超算中心网络出口链路选择建议如下：1. 工务署专线出口带宽为10Mbps，满足带宽需求的同时实现链路冗余；2. 互联网出口带宽为100Mbps，建议采用两条千兆链路出口（两个运营商）。2.5. BIM应用平台存储和配置分析在各种建筑景观模型创作设计过程中,模型的创建、复制、缩放、移位、旋转以及渲染、保存, 无不

19、体现服务器对正在编辑的建筑模型进行各种操作,只有摸清图形服务器操作过程中CPU浮点运算、GPU图形处理、硬盘读写性能,以及通过网络的存储服务器的容量以及硬盘和网口的IO数据传输，并通过每一个方面的表现，才能了解整机机器的性能和瓶颈。Rebit软件处理过程与服务器硬件要求BIM信息系统随着应用的深入,对精度和复杂度越来越大, 建筑模型文件容量从10MB2GB. 首选服务器的内存和CPU是第一要素, 其次是GPU图形性能,还有操作过程中,不被看到的对整个软件性能有很大影响的虚拟内存,以及硬盘IO速度。模型文件的调入内存和保存到硬盘过程模型文件打开过程从硬盘读取,然后通过CPU把模型文件数据解压方式

20、把三维图形文件数据放到内存中供编辑, 这个过程中:多核CPU往往只有一个核在承担解压缩的工作(读取)和压缩格式数据写到到硬盘里(保存)；建筑模型从硬盘里读取到内存,如果内存太小，建筑模型部分数据只能在虚拟内存，编辑过程迟钝甚至无法编辑,通常模型文件的占用内存大小是模型文件的20倍。建筑模型编辑过程模型文件读取到内存后,就是设计者对模型文件的编辑人机互动过程, 不断的对模型修改和移动、变换等操作以及通过显示器即时显现出最新模型样式, 图形处理器(GPU)承担设计者对模型文件的操作后结果的每一个过程的显示, 这体现了GPU对图形数据与图形显示的直感的图形显示速度(涉及GPU性能和模型容量大小的支持

21、), 这个过程中:CPU交互设计过程中的承担更多关联运算,另外在模型的三维图像生成需要渲染,REVIT支持多CPU多核架构的计算渲染,所以随着模型的复杂度,对CPU的频率要求越高、核数越多越好. CPU推荐以intel的服务器规格为主，主流规格有4核Xeon E3、4核/6核Xeon 5600系列，这些产品代表当今最先进的CPU处理器架构。CPU和内存关系,通常是1:4。硬盘，硬盘的重要性经常被客户忽视，大多数使用者认为硬盘就是用于数据存储而以，这里我们不完全苟同，很多用于处理复杂模型的高端图形服务器，在编辑过程移动、缩放非常迟钝，重要原因是虚拟内存在数据编辑过程，数据交换明显太慢迟滞，严重影

22、响正常的编辑操作，所以我们要充分了解硬盘的读写性能，这对高端应用非常重要。如果是非常大的复杂模型,由于数据量大,从硬盘读取和虚拟内存的数据交换时间长短显得非常重要,推荐考虑阵列方式提升,虽然ssd性能目前很强,但一个专业服务器,硬盘必须是企业级(服务器级),SSD目前只有intel有SSD企业级规格,X25-E 64MB,价格太高,读写性能还停留在270、250MB/s，容量又太小，性能还满足不了要求。笔记本级SSD寿命太短，通常企业级是笔记本级的10倍以上，目前硬盘8块SAS 15K+最新SAS2-RAID，RAID5下读写性能1400、900MB/s，如果内存足够大，可以通过虚拟硬盘的方式

23、，把虚拟内存设置到虚拟硬盘上，性能提升非常大，当然具体还要看软件是否支持。显示方案模型越来越大，设计过程图形显示分辨率越高越好，单个显示通常分辨率是1920*1080，专业图显2560*1600，通过多屏拼接2X1，3X1，2X2,提供更高的显示方式，当然这里面分辨率高了，GPU处理数据项也自然就大，要求也就更好。建筑模型分类与服务器配置由于不同大小模型文件, 对图形服务器的性能要求有很大的不同, 为此, 根据对模型大小规模进行分类, 不同类型的容量和计算性能和其他方面的要求。模型规模与服务器配置归类表vde中国BIM门户 - ChinaBIM.com三、 方案规划与设计三、3.1. 建设目标

24、工务署数据中心未来将深圳建筑工务署承载所有应用系统。数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。依托云计算技术，对业务系统实行统一规划和建设。所有资源整合后在逻辑上以单一整体的形式呈现，并可按需进行动态扩展和配置。按照分阶段可升级的标准要求，为深圳建筑工务署提供应用支撑基础平台服务和数据存储、容灾、交换等服务，实现基础软硬件资源的统一管理、按需分配、综合利用，提高应用的兼容性和可用性，加速业务系统的部署，提升硬件资源的利用率，降低工务署系统建设成本和日常运行维护成本，降低能源消耗。深圳建筑工务署网络系统建设应达成以下目标：u 高可用：网络作

25、为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。u 高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。u 高安全：严格按照国家关于信息安全的规定和要求，规划和部署中心机房的业务系统和灾备系统；采用防火墙、安全服务器、系统备份还原系统、业务数据备份系统、容灾系统来防止内外部的网络安全威协和数据丢失窃取威胁等；监视网络病毒的活动，防止病毒和木马的破坏。安全产品必须通过国家安全机构认证，确保系统和数据的安全。u 先进性：超算中心将长期支撑工务署的业务发展，而网络又是

26、数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台35年内不会被淘汰，从而实现投资的保护。u 易扩展：工务署的业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此超算中心平台必须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来35年的业务发展。对于网络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。u 易管理：超算中心是IT技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对

27、运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此超算中心需要提供完善的运维管理平台，对数据中心IT资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。选择基于国际标准和开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证热力集团在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，

28、并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。3.2. 总体设计思路及原则将利用云计算相关技术，结合超算中心建设的目标和需求，以战略支持型信息化建设为导向，以支持保障信息化业务发展为建设思路，构造一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投资省、高安全可靠的全局性基于云平台数据资源中心。通过对底层服务器硬件及存储资源实现虚拟化聚合部署，配合以超算管理平台，实现云计算中基础架构即服务（IaaS）部分，同时该IaaS平台也为以后计算中心提供更高层次的云计算服务，如PaaS，SaaS服务提供了良好的基础平台，且具

29、有很高的自适应性和扩展空间。云计算服务区总体逻辑架构如下：部分包括采用了服务器、存储系统和虚拟化软件构建的超算中心服务基础架构。该基础架构具备良好的性能、可用性和可靠性。通过部署虚拟化软件、服务器、存储设备网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的数据中心，形成统一的云计算信息系统平台。在数据中心，所有资源整合后在逻辑上以单一整体的形式呈现，这些资源根据需要进行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强数据中心的可管理性，提高应用的兼容性和可用性，加速应用的部署，提升硬件资源的利用率，降低能源消耗。云计算服务数据安全保护：通过部署超算中心安全解决方案

30、，可以帮助用户建立起一个既能充分利用云计算优势，同时又不牺牲安全性、控制力和遵从性的环境，其为虚拟数据中心和云计算环境提供了支持虚拟化的保护，使用户可以加强应用程序和数据安全，提高可见性和控制力，以及加快整个超算中心的遵从性举措。云计算服务运维管理体系：为整个云计算平台搭建一套长期运维管理的体系，为云计算平台的长期有效运行提供保障。云计算运维管理体系包括组织管理模式、制度规范体系、技术支撑体系等多个层面的内容，采用云计算技术手段和云计算管理制度结合的方式保障工务署的平稳运行。超算中心为工务署业务网络、日常办公与下属工地及合作单位提供数据访问、数据存储和日常办公等服务，以及各业务的安全隔离控制。

31、超算中心基础网络是业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证数据中心网络的高可用、易扩展、易管理，超算中心网络架构需按照结构化、模块化和扁平化的原则设计。3.3. 系统总体架构结合上述的业务分区，按照结构化、模块化、扁平化的设计原则，实现高可用、易扩展、易管理的建设目标。网络整体拓扑如下图所示：整体网络拓扑采用扁平化两层组网架构，从数据中心核心区直接到服务器接入，省去了中间的汇聚层，工务署网络通过专线直接接入到超算中心的数据中心上，这种扁平化的网络结构有以下优点：u 简化网络拓扑，降低网络运维的难度；u 服务器区容易构建大二层网络，更适合未来的虚拟机大量部署及迁移；u

32、服务器接入交换机未来的扩展可直接在现有的堆叠虚拟组添加成员交换机，扩展方便。3.3.1. 超算中心架构通过部署虚拟化软件、服务器、存储设备、网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的工务署数据中心，形成统一的云计算信息系统平台。在数据中心，所有资源整合后在逻辑上以单一整体的形式呈现，这些资源根据需要进行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强数据中心的可管理性，提高应用的兼容性和可用性，加速应用的部署，提升硬件资源的利用率，降低能源消耗。虚拟化是云计算的基础，在数据中心，通过虚拟化技术将物理服务器进行虚拟化，具体为CPU虚拟化、内存虚拟化、设备I/

33、O虚拟化等，实现在单一物理服务器上运行多个虚拟服务器（虚拟机），把应用程序对底层的系统和硬件的依赖抽象出来，从而解除应用与操作系统和硬件的耦合关系，使得物理设备的差异性与兼容性与上层应用透明，不同的虚拟机之间相互隔离、互不影响，可以运行不同的操作系统，并提供不同的应用服务。服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中如图所示：在单台服务器虚拟化基础上，通过虚拟化管理中心（vCenter）将多台服务器、存储硬件基础资源进行整合，构建硬件（CPU、内存、I/O）资源池，实现数据中心整体硬件资源的按需分配。虚拟化结构如图所示：将服务器物理资源抽象成逻辑资源，让一台服务器

34、变成几台甚至上百台相互隔离的虚拟服务器，或者让几台服务器变成一台服务器来用，我们不再受限于物理上的界限而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力，从而构建出工务署云计算中心系统平台的基础。虚拟化拓扑的结构针对上面的拓扑图，详细说明如下：整体架构可以分为三层，最底层为存储网络层，中间层为虚拟化系统，最上层为虚拟服务器层；其中，下面的两层为资源提供方，最上层为资源用户；而中间层的虚拟化系统又起到了资源分配调度的作用。部署虚拟化系统之后的整体架构和传统架构下是没很大区别的，利用共享存储实现数据集

35、中和共享，结合管理中心实现应用系统的统一管理；虚拟化集群的形成，直接为应用系统提供了高可用和负载均衡的功能，集中的数据存储为本地灾备及异地灾备提供了扩展空间。3.3.2. 工务署网络架构u 功能描述工务署网络为本地办公数据和作业提供服务，现工务署网络承载各大系统应用信息点约300个，通过部署一台核心交换机接入汇聚交换机的二层架构部署，在核心交换机挂审计设备，审计和控制员工外发数据内容，防止公司资料泄密；减少员工因互联网活动所带来的法律责任风险；优化使用 IT 资源，包括带宽和计算机资源；各业务单位进行隔离，由于工务署网络承载着大量数据和应用系统，在本地部署存储系统，对各大应用数据进行本地存储；

36、考虑到本地数据的安全性，在工务署互联网和专线出口部署防火墙；n 安全可靠的集中化管理；n 双机部署，提供高可靠的冗余备份能力；n 基于深度应用识别的访问控制；n 灵活高效的带宽管理功能；n 深度内容安全（可选UTMPlus®软件包提供病毒过滤，入侵防御，内容过滤，上网行为管理和应用流量整形等功能）。u 拓扑设计u 设计要点二层组网的扩展性和密度已经能够很好的满足企业数据中心服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比三层架构，二层架构可以大大简化网络的运维与管理。3.3.3. 总体物理架构设计u

37、拓扑设计u 设计要点1. 超算中心机房楼按照国际T3+标准建设，为平台提供大数据服务器托管服务，保障数据的安全。同时借助成熟的超算云计算服务应对平台应用访问的弹性需求，在安全网络防护内对外提供方互联网访问服务。2. 为提高应用访问的高可靠性，建立同城热灾备系统，抵御平台单点故障，也可使得不同业务访问压力分流。与主数据中心之间通过专线实现数据实时同步对接。3. 通过超算中心云平台，确保稳定的网络访问以及安全弹性的云计算资源供应。4. 工务署与超算之间通过专线互联，以确保点对点网络访问保障。5. 工地单位借助本地二级缓存，通过互联网与超算中心对接。3.4. 超算中心网络安全解决方案3.4.1. 超

38、算中心在云计算中的部署方案深圳超级计算机中心作为云计算的一种业务对深圳建筑工务署提供稳定安全可靠的服务。从这个角度来看，超算中心可以作为云计算数据中心的一个部分。但是超级计算与云计算仍有较大区别，因此需要看作是特殊的云计算服务。超级计算作为“聚合”业务，是一种特殊的服务器集群应用。这种应用要求服务器自成系统，具体表现在：l 集群系统不能出现异构现象；l 集群内部的通信服务质量要求非常高，因此不能与其他业务共享业务通道；l 集群系统的安全级别很高，从接入区开始一直到超算区，要求与其他系统保持物理或逻辑隔离；l 集群节点的计算性能要求较高，一般不会出现虚拟机。因此，集群内部的通信流量并不会很大。综

39、合各种需求，可以将超级计算中心和云计算数据中心的网络进行融合，进而对外提供统一的解决方案。将超级计算服务作为云计算一个独立的区，保证超级计算端到端的安全隔离，并在超级计算区内实现统一交换架构。该方案重点强调性能、安全、可靠和易用性设计。3.4.2. 超级计算组网方案的高安全设计安全设计方案可以分为安全分区规划以及端到端的安全部署两部分。如图2所示。在超算中心网络中，存在不同业务种类的设备且易受攻击程度不同。根据这些业务种类和设备情况可制定不同的安全策略和信任模型，将超算网络划分成不同区域，区域之间实现逻辑隔离，重点保证高性能计算区域（HPC)的数据安全和流量服务。针对不同级别、不同业务的用户实

40、施端到端的安全部署，从接入终端一直到超算中心最终的服务器，都能一直保持逻辑隔离的状态。通过端到端的安全隔离进一步加强超算中心核心业务的数据中心安全性和服务质量。3.4.3. 超级计算组网方案的高可靠设计 采用网络虚拟化技术将实现高可靠性要求，可实现分布式设备管理、分布式路由和跨设备链路聚合，部署虚拟化除了提高超算中心网络的可用性，减少单点故障影响，同时无需再考虑MSTP、VRRP等协议，解决了传统设备和链路只能工作在主/备模式和利用率低于50的性能瓶颈。因此，通过部署网络虚拟化技术，可以有效地将超算业务的网络可靠性提高一个级数，极大的保证用户业务的连续性。同时，超算中心网络的性能将以倍数级别灵

41、活扩展，增强可靠性，简化配置，降低投入和维护成本。3.5. 网络QoS设计3.5.1. QoS设计原则工务署网络整网QoS设计遵循以下的原则：u 正常情况下QOS是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要QOS机制。当带宽利用率达到60可考虑扩容；u 网络设备的容量不能成为瓶颈；u 网络/链路故障或网络拥塞情况下QOS策略生效；u 任何时候都优先保证实时业务。3.5.2. QoS服务模型选择为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进行QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS功能，目前有以下三种Q

42、oS服务模型：1. Best-Effort service尽力服务2. Integrated service（Intserv）综合服务3. Differentiated service（Diffserv）区分服务u Best-Effort service：尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。u Integrated service：Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是

43、通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。u Differentiated service：Diffserv即区别服务模型，它可以满足不同的QoS需求。与Integrated service不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位（IP

44、Precedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则。对于工务署广域网的QoS，我们建议采用Diffserv方式进行部署。3.5.3. QoS规划CC

45、ITT最初给出定义：QoS是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。工务署网络中主要包括数据、音视频两种业务应用。而数据又分BIM建筑建模关键业务和其他业务，因此需要对现有业务系统进行分类，才能更好地保障业务的开展。u 业务分类和标记针对工务署的要求，对其主要的流量进行划分和标记，具体如下：业务类型业务特征IP PrecedenceIP DSCP802.1p网络控制协议（hello、SLA）适用于网络维护与管理报文的可靠传输，要求低丢包率756（CS7）7视频、音频和图片等对时延、抖动较

46、敏感；带宽需求高；需要可预计的时延和丢包率534(AF41)5OA适合重要数据业务,低丢包、高优先级324(AF31)3目录同步和策略下发适合普通数据业务，低丢包、19(AF11)1邮件系统及Internet应用尽力而为（Best effort）转发000u 流量监管和整形在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形，对于工务署广域网络SDH来说，出口带宽是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。u 队列管理在Diffserv体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。局域网主要基于以太网的组网方式，以

47、太网实现的QoS功能主要是能够支持那些对延时和抖动要求较高的业务流。目前业界在以太网络交换机实现的Qos队列管理技术主要采用严格优先级SP（Strict-Priority）队列调度算法、加权轮循WRR（Weighted Round Robin）调度算法。SP队列调度算法，是针对关键业务型应用设计的。关键业务有一重要的特点，即在拥塞发生时要求优先获得服务以减小响应的延迟。WRR队列调度算法在队列之间进行轮流调度，保证每个队列都得到一定的服务时间。在实际应用中，SP队列调度算法与WRR调度算法可以同时应用一个端口上，既保证关键业务的延时与抖动，同时又保证各业务具有一定的带宽保证。广域网一般采用路由

48、器组网，目前路由器主要支持的队列管理技术包括PQ、CQ、WFQ、CBQ/LLQ，由于PQ、CQ、WFQ的种种问题，目前通常采用CBQ/LLQ做为骨干层的队列管理机制。CBWFQLLQ，有一个低时延队列 - LLQ，用来支撑EF类业务，被绝对优先发送（优先级低于RTP实时队列）；另外有63个BQ，用来支撑AF类业务，可以保证每一个队列的带宽及可控的时延；还有一个FIFO/WFQ，对应BE业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE以上）启用CBQLLQ特性系统资源存在一定的开销。另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理

49、技术。如果接入带宽>=2M，则需采用骨干层一样的调度技术，即CBQ/LLQ。如果接入带宽<2M，则需要考虑采用链路有效机制。可采用LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用LFI以后，数据报文（非RTP实时队列和LLQ中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。另外还可以采用CRTP（IP /UDP/ RTP报文头压缩）技术，以提高链路的利用率。u 拥塞避免建议采用WRED加权丢弃技术，实现拥塞避免。WRED(Weighted early random detection)提供了对拥塞的控制，它

50、不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据IP header中的IP Precedence有选择地早期丢弃一些级别较低的TCP连接的包，保证关键数据的传送，并避免当缓冲满溢时丢弃大量的数据包。主要特点：一、WRED利用活动队列管理，解决尾部删除的缺点；二、WRED主要在TCP为主的IP网络中使用，因为UDP通信流不像TCP一样具有对分组删除具有响应能力；三、WRED把非IP通信流看成优先级为0，最低优先级，因此，非IP通信流放在一个丢弃桶中，比IP通信更容易删除，这在大多数重要通信流（非）IP通信流时可能遇到问题，但是这现象在DCN网络中通常不会出现。3.5.4.

51、 QoS部署对与工务署数据中心的整体QoS部署，我们建议根据不同层次进行部署，涉及局域网设备和广域网设备，来实现对工务署关键业务的保障。如上图所示，将网络的各个层次启用QoS，保障关键业务流的快速转发。对于工务署需要保障的业务BIM应用平台和OA业务，其优先级是不同的，根据实施经验，下面对其做详细的QoS设计：1. BIM平台流量站点实现方法：在站点的出口路由器上配置QoS策略，首先启用ACL识别应用流，打上优先级DSCP标记AF41；再启用CBQ（基于类的队列），将其引入CBQ的紧急队列，由CBQ进行队列调度，抢占足够带宽，优先转发紧急队列中的报文，直到发送完后才发送其他类对应的队列的报文。

52、数据中心实现方法：BIM应用数据通过交换机直接连入路由器，在路由器上启用ACL识别应用流，打上优先级DSCP标记AF41；并启用CBWFQ和PQ，将应用流放入到PQ的高优先队列中，优先转发，直到发送完后才发送其他类对应的队列的报文。2. OA办公流量OA系统是工务署的最基本的关键业务，OA服务器部署在数据中心，各站点分布多个OA服务器访问数据中心的OA服务器。由于中间的网络设备连接很多，要做到端到端的QoS，需要在不同的设备上启用QoS。在局域网高带宽和多厂家设备混合组网的情况（如防火墙采用国产设备），一般在数据中心内部局域网内不启用QoS，以下将介绍两种方式：第一种方式：端到端的QoS站点实

53、现方法：在站点的ERP服务器接入交换机上启用QoS，通过ACL识别ERP流量（如：源地址+目的地址），打上DSCP优先级AF31，并启用SP（严格优先级），将其优先发送，经核心交换机、防火墙至路由器，所经各设备同时启用QoS，保障其优先转发；再通过路由器启用CBQ（基于类的队列），将ERP流量放入到中优先级队列，抢占低优先级队列的带宽，发送报文。数据中心实现方法：在数据中心OA服务器接入交换机启用QoS，通过ACL识别OA流量（如：源地址+目的地址），打上DSCP优先级AF31，并启用SP（严格优先级），将其优先发送，经核心交换机、防火墙至路由器，所经各设备同时启用QoS，保障其优先转发；再通

54、过路由器启用CBWFQ（基于类的加权）+PQ，将ERP流量放入到中优先级队列，抢占低优先级队列的带宽，发送报文。第二种方式：广域网路由器启用QoS站点实现方法：在站点的路由器上配置QoS策略，首先启用ACL识别OA流（如：源地址+目的地址），打上优先级DSCP标记AF31；再启用CBQ（基于类的队列），将其引入CBQ的中优先级队列，由CBQ进行队列调度，抢占低优先级的带宽，优先转发报文。数据中心实现方法：在出口路由器上启用ACL识别OA流（如：源地址+目的地址），打上优先级DSCP标记AF31；并启用CBWFQ和PQ，将OA放入到PQ的中优先队列中，优先转发。为简化网络部署，工务署的QoS建议

55、采用第二种方法！3.6. 关键技术支撑3.6.1. 网络虚拟化技术网络虚拟化技术是当前云计算数据中心领域的关注焦点，采用虚拟化来优化IT架构、提升IT系统运行效率是当前数据中心云计算技术发展的方向。对于服务器或应用的虚拟化架构，IT行业相对比较熟悉：在服务器上采用虚拟化软件运行多台虚拟机(VM-VirtualMachine），以提升物理资源利用效率，可视为1:N的虚拟化；另一方面，将多台物理服务器整合起来，对外提供更为强大的处理性能(如负载均衡集群)，可视为N:1的虚拟化。对于基础网络来说，虚拟化技术也有相同的体现：在一套物理网络上采用VPN或VRF技术划分出多个相互隔离的逻辑网络，是1:N的

56、虚拟化；将多个物理网络设备整合成一台逻辑设备，简化网络架构，是N:1虚拟化。网络虚拟化技术属于N:1整合型虚拟化技术范畴。3.6.2. 分布式大缓存与流量调度技术 网络带宽已经跨过了10M/100M/1000M，当前的10G、N*10G的高速带宽正成为网络建设的基本规格。随着>8*10G性能的需求日趋强烈，超高速网络(40/100G平台)技术已经开始在当前的数据中心部署使用。云计算网络的性能要求超过常规应用数据中心，这样的要求使得网络平台构建上性能的考虑区别于传统的认识，深入认识云的底层特质。网络的交换容量和网络浪涌的吸收容量即是云计算(或大型数据中心)网络的性能关注点要同时关注的两方面

57、。云计算是前所未有的性能密集型IT业务模式已经是不争的事实，云计算的发展将直接依托于超高速网络，并依赖于超高速交换技术实现服务交付。然而超高速交换本身还不足以解决所有问题，围绕超高速网络环境下的多种关键技术还有待于无缝集成。3.6.3. FCOE数据中心网络接入层是将服务器连接到网络的第一层基础设施，这里最常见的网络类型是用于局域网（LAN）连接的以太网，以及用于存储网络（SAN）连接的FC网络。为支持不同类型网络，服务器需要为每种网络配置单独的接口卡，即以太网卡（NIC）和光纤通道主机总线适配器(FC HBA)。多种类型的接口卡和网络设备削弱了业务灵活性，增加了数据中心网络管理复杂性、增加了设备成本、增加了电