数据中心网络及安全方案规划与设计

1、数据中心网络及安全方案规划与设计数据中心网络建设目标XX数据中心未来将XX集团承载所有生产环境系统。数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。网络建设应达成以下目标：高可用网络作为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。网络层的高可用至少包括高可靠、高安全和先进性三个方面：高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。高安全：网络基础设计的安全性，涉及到XX业务的核心数据安全。应按照端到端访问安

2、全、网络L2-L7层安全两个维度对安全体系进行设计规划，从局部安全、全局安全到智能安全，将安全理念渗透到整个数据中心网络中。先进性：数据中心将长期支撑XX集团的业务发展，而网络又是数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台510年内不会被淘汰，从而实现投资的保护。易扩展一一XX集团的业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此数据中心网络平台必须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来510年的业务发展。对于网

3、络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。易管理一一数据中心是IT技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此数据中心需要提供完善的运维管理平台，对数据中心IT资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。1.2.总体设计思路及原则数据中心为XX集团业务网络、日常办公与外联单位提供数据访问、OA和视频等服务，以及各业务的安全隔离控制。数据中心并不是孤立存在的，而是与大连中心、网

4、络汇聚中心外联单位网络等网络区域相辅相成，数据中心基础网络是业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证数据中心网络的高可用、易扩展、易管理，数据中心网络架构需按照结构化、模块化和扁平化的原则设计：结构化结构化的网络设计便于上层协议的部署和网络的管理，提高网络的收敛速度，实现高可靠。数据中心网络结构化设计体现在适当的冗余性和网络的对称性两个方面。如下图所示：冗余的引入可以消除设备和链路的单点故障，但是过度的冗余同样会使网络过于复杂，不便于运行和维护，因此一般采用双节点双归属的架构设计网络结构的对称，可以使得网络设备的配置简化、拓扑直观，有助于协议设计分析。在数据中心网络设

5、计时，由于引入了冗余和对称的设计，这必将引入网络的环路，可通过如下建设思路消除环路影响：1启用STP和VRRP协议传统解决方案，标准的协议，设备要求较低。但此种部署方案网络的协议部署复杂，收敛慢，链路带宽利用率低，运维管理工作量大。本方案设计不采用此方法。2IRF网络设备N:1虚拟化技术通过H3CIRF技术对同一层面的设备进行横向整合，将两台或多台设备虚拟为一台设务，统一转发、统一管理，并实现跨设备的链路捆绑。因此不会引入环路，无需部署STP和VRRP等协议，简化网络协议的部署，大大缩短设备和链传MSTP+VRRP曙方式用F网路N:谨拟化部署路收敛时间（毫秒级），链路负载分担方式工作，利用率大

6、大提升。IRFOSPF：1八匚一；宀；IRFIRF在本方案的设计中，将采用端到端的IRF部署，满足网络高可靠的同时，简化网络运维管理。模块化构建数据中心基础网络时，应采用模块化的设计方法，将数据中心划分为不同的功能区域，用于实现不同的功能或部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性、和高可用性。数据中心中的服务器将会根据服务器上的应用的用户访问特性和应用的功能不同部署在不同的区域中。如下图所示：网络接入区互联网接入7广城网接入11外联单位接入APP卜DB采用知:L去现访回控制”分区丄对于仅部署SecBladeFW插卡的业务区（如百货、KTV、ERP/财务、开发测试、支撑管理、外

7、联网区），区域内的安绑。两块SecBladeFW插卡逻辑上相当于插在同一台交换机上。全部署逻辑拓扑如下图所示:接入交换机双机部署IRF虚拟化，并实现跨设备链路捆每台接入交换机逻辑上均可以看成一台L2交换机与一台L3交换机的叠加，服务器网关部署在交换机上。SecBlade通过内部的10GE接口与交换机互连，并创建多个L3接口进行引流，让所有流经服务器的流量均经过FW过滤。两块FW插卡通过带外状态同步线（心跳线）进行状态同步，FW插卡之间通过OSPF动态路由实现热备或负载分担（ECMP）。153SecBladeFW+IPS+LB组合部署对于XX数据中心的院线应用区、互联网应用区，需要涉及到FW+I

8、PS+LB的组合部署，FW插卡的基本特性3.5.2章节已做描述，下面先介绍IPS和LB插卡的基本组网：SecBladeIPS基本组网设计SecBladeIPS插卡为数据中心内部提供了更坚固的安全保护机制。通过IPS的深度检测功能可以有效保护内部服务器避免受到病毒、蠕虫、程序漏洞和DDOS等来自应用层的安全威胁。IPS插卡通过OAA（开放的应用架构）技术与宿主交换机配合使用。可以通过传统的流量重定向方式将需要IPS处理的业务流重定向到IPS插卡上处理，也可以通过OAA方式在IPS的Web页面上配置重定向策略，这两种方式都可以实现相同的功能。由于不同交换机设备对OAA的支持程度不同。我们推荐在本方

9、案中采用重定向策略引流。由于IPS插卡在整个网络中属于2层透明转发设备，不会对报文进行任何修改，整个网络从连通性上看加入IPS后不会产生任何变化影响。因此建议实施的时候将其放在最后进行上线配置，即其他设备都调试OK,流量转发与HA设计都以正常实现情况下再进行IPS的部署实施。SecBladeIPS组网结构流量图SecBladeIPS不会对报文进行任何修改，对于上IPS处理的报文，非OAA方式只能通过VLAN区分流量是属于外部域还是内部域。所以在组网设计中需注意非OAA方式重定向到IPS插卡的业务流上下行流量需为不同VLAN。由于IPS插卡不具有双机热备功能，通过组网设计，部分环境可以做到IPS

10、故障的切换，部分环境中当IPS故障后，重定向功能失效，业务流将不能继续受到IPS的安全保护，流量在短暂中断后仍然可以保证连续性。SecBladeLB板卡设计部署LB插卡具备两大主要功能，服务器负载均衡和链路负载均衡，分别应用于数据中心服务器区和Internet出口区域。服务器负载均衡为数据中心服务器区性能的扩展和资源利用的优化提供完美的解决方案。链路负载均衡非常有效的部署在数据中心多出口的组网环境中，可以同时对多条广域网链路优化资源利用。LB插卡的工作方式与防火墙的类似，仍然作为一个独立的设备运行。通过传统的三层方式与交换机或下游设备相连。可以通过静态路由和缺省路由实现三层互通，也可以通过OS

11、PF这样的路由协议提供动态的路由机制。LLBSecBladeLB在数据中心出口的部署如图所示，在数据中心出口区域，LB插卡可以与宿主交换机连接三层连接关系，也可以直接和下游设备如防火墙等建立三层连接关系。这取决于用户的实际需求，前一种方式可以提供更灵活的路由控制策略，而后一种方式可以简化组网的复杂结构（例如：如果经LLB下行的流量都要通过防火墙的安全保护，那么可以将防火墙直接作为LLB的下一跳设备）。需要注意的是，在双机热备的组网环境中，两块LLB的出口配置必须相同，这样才能保证业务切换后能正常运行。如图所示，在数据中心服务器区，LB提供了服务器的负载均衡能力。我们可以将LB插卡作为服务器的网

12、关设备，这样所有的服务器流量都需经过LB设备。也可以将服务器网关放置在交换机上，LB设备通过路由方式访问服务器群，这样的部署方式可以灵活控制LB对服务器的访问。组合部署在数据中心服务器区IPS+FW+SLB的部署主要有以下四种方式:绢网一组网二组网三组网四JlRFIRFIPS如果需要保护所有流量可以部署在前端，如果仅需要保护部分关键区域的业务可以放置在FW后面。SLB可以作为服务器网关设备部署，如果服务器间还需要更严格的防护策略可以将防火墙部署在SLB下端作为服务器的隔离设备。通过IRF堆叠技术还可以进一步简化组网结构，提高管理维护和配置成本，是目前的流行部署方式。本方案的推荐采用组网四方案，

13、组网逻辑拓扑如下图所示:mFWPSLB00*00一VLAN111J0VL4N15151.10VLAN121210VLAN1J33.1.10VLAN2055.S0鼻取机热备心就役在本案例组网设计中，接入交换机和安全插卡都为双机部署，使用OSPF动态路由协议。交换机通过IRF方式增强可靠性和管理性，FW插卡与上游设备建立三层连接关系，提供安全保护功能。SLB插卡与接入交换机建立三层连接关系,同时对下做为服务器网关设备提供服务器负载均衡功能。QOS设计QoS设计原则XX集团网络整网QoS设计遵循以下的原则：正常情况下QOS是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要QOS机制。当

14、带宽利用率达到60可考虑扩容；网络设备的容量不能成为瓶颈；网络/链路故障或网络拥塞情况下QOS策略生效；任何时候都优先保证实时业务。QoS服务模型选择为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进行QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS功能，目前有以下三种QoS服务模型：1.Best-Effortservice尽力服务Integratedservice(Intserv)综合服务Differentiatedservice(Diffserv)区分服务Best-Effortservice：尽力服务是最简单的服务模型。应用程序

15、可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。Integratedservice：Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令(signal)来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。Differentiatedservice：

16、Diffserv即区别服务模型，它可以满足不同的QoS需求。与Integratedservice不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位(IPPrecedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性

17、能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则。对于XX集团广域网的QoS，我们建议采用Diffserv方式进行部署。1.6.3.QoS规戈ICCITT最初给出定义：QoS是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。XX集团网络中主要包括数据、视频两种业务应用。而数据又分ERP关键业务和其他业务，因此需要对现有业务系统进行分类，才能更好地保障业

18、务的开展。业务分类和标记针对XX集团的要求，对其主要的流量进行划分和标记，具体如下：业务类型业务特征IPPrecedeneeIPDSCP8021p网络控制协议适用于网络维护与管理报文的可靠传输，要756(CS77(hello、SLA)求低丢包率)视频会议对时延、抖动较敏感；带宽需求高;需要可预计的时延和丢包率534(AF41)5ERP适合重要数据业务，低丢包、高优先级324(AF31)3目录同步和策略下发适合普通数据业务，低丢包、19(AF11)1邮件糸统及Internet应用尽力而为(Besteffort)转发000流量监管和整形在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形

19、，对于XX集团广域网络SDH来说，出口带宽是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。队列管理在Diffserv体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。局域网主要基于以太网的组网方式，以太网实现的QoS功能主要是能够支持那些对延时和抖动要求较高的业务流。目前业界在以太网络交换机实现的Qos队列管理技术主要采用严格优先级SP(Strict-Priority)队列调度算法、加权轮循WRR(WeightedRoundRobin)调度算法。SP队列调度算法，是针对关键业务型应用设计的。关键业务有一重要的特点，即在拥塞发生时要求

20、优先获得服务以减小响应的延迟。WRR队列调度算法在队列之间进行轮流调度，保证每个队列都得到一定的服务时间。在实际应用中，SP队列调度算法与WRR调度算法可以同时应用一个端口上，既保证关键业务的延时与抖动，同时又保证各业务具有一定的带宽保证。广域网一般采用路由器组网，目前路由器主要支持的队列管理技术包括PQ、CQ、WFQ、CBQ/LLQ,由于PQ、CQ、WFQ的种种问题，目前通常采用CBQ/LLQ做为骨干层的队列管理机制。CBWFQLLQ，有一个低时延队列-LLQ，用来支撑EF类业务，被绝对优先发送（优先级低于RTP实时队列）；另外有63个BQ，用来支撑AF类业务，可以保证每一个队列的带宽及可控

21、的时延；还有一个FIFO/WFQ，对应BE业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE以上）启用CBQLLQ特性系统资源存在一定的开销。另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理技术。如果接入带宽=2M，则需采用骨干层一样的调度技术，即CBQ/LLQ。如果接入带宽2M，则需要考虑采用链路有效机制。可采用LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用LFI以后，数据报文（非RTP实时队列和LLQ中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。

22、另外还可以采用CRTP（IP/UDP/RTP报文头压缩）技术，以提高链路的利用率。拥塞避免建议采用WRED加权丢弃技术，实现拥塞避免。WRED（Weightedearlyrandomdetection）提供了对拥塞的控制，它不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据IPheader中的IPPrecedence有选择地早期丢弃一些级别较低的TCP连接的包，保证关键数据的传送，并避免当缓冲满溢时丢弃大量的数据包。主要特点：一、WRED利用活动队列管理，解决尾部删除的缺点；二、WRED主要在TCP为主的IP网络中使用，因为UDP通信流不像TCP一样具有对分组删除具有响应

23、能力；三、WRED把非IP通信流看成优先级为0，最低优先级,因此，非IP通信流放在一个丢弃桶中，比IP通信更容易删除，这在大多数重要通信流（非）IP通信流时可能遇到问题,但是这现象在DCN网络中通常不会出现。1.6.4.QoS部署对与XX集团的整体QoS部署，我们建议根据不同层次进行部署，涉及局域网设备和广域网设备，来实现对集团关键业务的保障。岀口曲器3GTSDSCPCPWFQPQWRED猿巧显按机SDHNetworkME廊坊数据中心GTSDSCPCPQSVMjif+S5期1S过IRF恂iK丸二民构建无差异虚拟机接入网络，部署VLANACL，同时将防火墙策略上移，保证虚拟机在本区域内迁移时，网

24、络和安全策略无差异，如下图所示：fit于vL.aNTACL.逝耙寸闻叽twq?時口iMC网络管理平台对VMotion的感知。H3CiMC网络管理平台针对VMwarevCenter做了API接口，vCenter获得VMotion事件后，会通知iMC平台，iMC平台可将网络设备上针对VM下发的策略迁移到网络中其它设备或端口上，实现网络策略随VM迁移而动。如下图所示:虚揪主饥数据中心管理数据中心管理设计原则人、设备、流程的管理是IT的主要传统任务，数据中心运维管理建设的重点在于利用好现有资源，整合信息及其系统，实现科技的整体规划和标准管理。同时，借助于科技网络化的管理工具，可以达到提高运维日常工作效

25、率和管理效率的双重功效。数据中心运维管理建设需要遵循的基本原则如下：集中性原则系统规划、设计和建设要以管理系统集中、数据集中、处理集中为原则，统一规划、统一标准、统一设备、统一开发与应用。先进性和成熟性原则用科学的方法（如ITIL）及工具进行系统规划和设计，避免盲目性和随意性；选择技术先进、具有一定代表水平并且成熟的技术方法和产品来建设数据中心管理系统。安全、保密性原则从设备安全、网络安全、数据安全等多角度考虑管理系统的安全性和保密性，采用多种手段对安全性和保密性进行控制来确保企业业务经营信息的安全。急用先行、稳步实施原则数据中心管理系统是一个庞大复杂的系统工程，在系统建设过程中，应遵循急用先

26、行的原则，优先建设急需的系统，同时要考虑到信息化建设的全局，逐步完成系统建设。网络管理（1）设备管理数据中心设备主要包括服务器、路由器、交换机、安全（FW、IPS）等基础设施，建议按照统一管理的原则，由一套管理平台来对数据中心的全局资源进行监控，出现故障或告擎后能够快速找到故障点。这一个全局的平台需要监控机柜、网络安全设备、服务器及虚拟机资源的状态，如下图所示：数据中心疔区显示脈务器猊虚拟机狀杰兒示机房机柜状态區示对于服务器内运行的数据库、中间件，也需要在这个全局的平台上了解其运行状态，如下图所示:.J对服务器的状态监控在部署时应注意避免在服务器上安全客户端软件，以防信息的泄漏。（2）拓扑管理

27、数据中心拓扑管理不仅可以自动发现网络物理拓扑结构，还需要提供分区拓扑、机房拓扑、机架拓扑、设备面板、用户拓扑等功能，可将全网设备根据不同的管理区域、楼层、机房、机架、面板、用户等进行划分，建立资源、业务与用户的统一拓扑视图，方便管理员从各个维度对数据中心的各种资源进行管理。（3）配置管理1）资源化的配置和软件管理配置模板库维护网络设备配置模板文件、用户常用的配置模板片段两种资源；配置模板文件可部署为设备的启动配置或者运行配置；配置模板片断可部署为设备的运行配置，也可通过启用“下发命令后将设备运行配置保存为启动配置”选项部署为启动配置，并且配置内容可以带有参数，在部署时根据设备的差异设置不同的值

28、。2）集中化的设备配置和软件信息展示提供全网设备的配置文件、软件版本信息集中式展示，包括设备的当前软件版本、最新可用于升级的软件版本、最近备份时间、是否已加入自动备份计划等信息；可提供管理员对设备的集中操作包括设备配置部署、设备配置备份与恢复、设备软件升级与恢复、设备空间管理、设备软件基线化管理功能，极大的方便了管理员直观的掌握当前网络的配置和软件版本。3）基线化的设备配置变更审计通过配置备份历史和软件升级历史的管理，实现基线化的设备配置变更审计功能，使配置文件管理和软件升级管理具有了可回溯性。提供设备运行配置和启动配置的基线化版本管理，将每个设备相关的配置文件划分为三种版本：基线、普通、草稿

29、。便于管理员识别、管理。并可快速恢复至基线配置。提供设备软件基线化版本管理，每个设备可以指定一个基线版本，提供基线审计及快速恢复至基线版本功能。4）自动化的建立可追溯的网络配置通过启动自动备份功能，帮助管理员周期性自动地完成设备配置的历史备份，自动建立起可追溯的网络配置。用户可以针对不同的设备设置不同的备份周期和备份时间点，支持按天、周、月周期备份。支持网络运行设备的配置变化检查，一旦配置发生变化，立刻以告警方式通知管理员关注。（4）安全管理1）智能分析与联动对来自于网络、安全、操作系统、数据库、存储等设施的安全信息与事件进行分析，关联和聚类常见的安全问题，过滤重复信息，发现隐藏的安全问题，使

30、管理员能够轻松了解突发事件的起因、发生位置、被攻击设备和端口，并能根据预先制定的策略做出快速的响应，保障网络安全。2）日志管理采用主动收集、被动接收等多种方式，提供有价值的集中化日志管理，并对不同类型格式的日志进行归一化处理。同时，采用高聚合压缩技术对海量事件进行存储，并可通过自动压缩、加密和保存日志文件到DAS、NAS或SAN等外部存储系统，避免重要安全事件的丢失。2）完善的报告提供设备、主机、应用系统、漏洞、网络流量、主机资产、法规遵从（如SOX、HIPAA、GLBA、FISMA等法案和条例）七大类报告，基本覆盖了所有安全相关的信息，并支持以PDF、HTML、WORD、TXT等多种格式输出

31、；同时可通过Web界面进行定制报告，定制内容包括数据的时间范围、数据的来源设备、生成周期、输出类型等。网络监控（1）流量监控数据中心是各种流量的汇聚点，流量状态复杂，为了更好的掌握数据中心的实际运行状况，为后续的升级及扩容提供数据支撑。需要在数据中心部署网络流量分析系统。从多个角度对网络流量进行分析，并生成报表，包括基于接口的总体流量趋势报表、应用带宽占用趋势报表、节点（包括源、目的IP）流量报表、会话流量报表共四大类报表。基于报文内容对应用进行识别和分类，可针对百兆链路提供对常见P2P应用的网络占用带宽趋势图和流量趋势图及应用的详细信息列表等报表，实现对此类应用流量的监控。通过流量原始日志对特定节点、协议、端口、时间范围内的流量趋势、来源、目