双活或多活_数据中心网络建设方案.doc

.数据中心网络建设方案目 录第一章 数据中心现状分析4第二章 数据中心网络技术分析42.1 路由与交换42.2 EOR 与TOR52.3网络虚拟化52.3.1 网络多虚一技术52.3.2网络一虚多技术72.4 VM互访技术（VEPA）72.5 虚拟机迁移网络技术11第三章 方案设计133.1网络总体规划133.2省级数据中心网络设计153.3市级数据中心网络设计163.4区县级数据中心网络设计173.5省、市、区/县数据中心互联设计183.5.1省、市数据中心互联183.5.2市、区/县数据中心互联193.5.3数据中心安全解决方案19第四章 方案的新技术特点214.1量身定制的数据中心网络平台214.1.1最先进的万兆以太网技术214.1.2硬件全线速处理技术224.1.3 Extreme Direct Attach技术244.1.5 帮助虚机无缝迁移的XNV技术294.1.5环保节能的网络建设334.2 最稳定可靠的网络平台344.2.1 独有的模块化操作系统设计344.2.2超强的QOS服务质量保证354.3先进的网络安全设计374.3.1 设备安全特性384.3.2用户的安全接入394.3.3智能化的安全防御措施404.3.4常用安全策略建议41附录 方案产品资料451.核心交换机BD 8800452.SummitX670系列产品493.三层千兆交换机Summit X460614.核心路由器MP7500695.汇聚路由器MP7200756.接入路由器MP3840817.接入路由器MP2824858.MSG4000综合安全网关90第一章 数据中心现状分析云计算数据中心相比较传统数据中心对网络的要求有以下变化：1、Server-Server流量成为主流，而且要求二层流量为主。2、站点内部物理服务器和虚拟机数量增大，导致二层拓扑变大。3、扩容、灾备和VM迁移要求数据中心多站点间大二层互通。4、数据中心多站点的选路问题受大二层互通影响更加复杂。5、iSCSI/FCoE是数据中心以网络为核心演进的需求，也是不可或缺的一部分。第二章 数据中心网络技术分析2.1 路由与交换数据中心网络方面，关注的重点是数据中心内部服务器前后端网络，对于广泛意义上的数据中心，如园区网、广域网和接入网等内容，不做过多扩散。数据中心的网络以交换以太网为主，只有传统意义的汇聚层往上才是IP的天下。数据中心的以太网络会逐步扩大，IP转发的层次也会被越推越高。数据中心网络从设计伊始，主要着眼点就是转发性能，因此基于CPU/NP转发的路由器自然会被基于ASIC转发的三层交换机所淘汰。传统的Ethernet交换技术中，只有MAC一张表要维护，地址学习靠广播，没有什么太复杂的网络变化需要关注，所以速率可以很快。而在IP路由转发时，路由表、FIB表、ARP表一个都不能少，效率自然也低了很多。云计算数据中心对转发带宽的需求更是永无止境，因此会以部署核心-接入二层网络结构为主。层次越多，故障点越多、延迟越高、转发瓶颈也会越多。目前在一些ISP（InternetService Provider）的二层结构大型数据中心里，由于传统的STP需要阻塞链路浪费带宽，而新的二层多路径L2MP技术还不够成熟，因此会采用全三层IP转发来暂时作为过渡技术，如接入层与核心层之间跑OSPF动态路由协议的方式。这样做的缺点显而易见，组网复杂，路由计算繁多，以后势必会被Ethernet L2MP技术所取代。新的二层多路径技术，不管是TRILL还是SPB都引入了二层ISIS控制平面协议来作为转发路径计算依据，这样虽然可以避免当前以太网单路径转发和广播环路的问题，但毕竟是增加了控制平面拓扑选路计算的工作，能否使其依然如以往Ethernet般高效还有待观察。MPLS就是一个的前车之鉴，本想着帮IP提高转发效率，没想到却在VPN路由隔离方面获得真正应用。2.2 EOR 与TOR数据中心网络设备就是交换机，而交换机就分为机箱式与机架式两种。当前云计算以大量X86架构服务器替代小型机和大型机，导致单独机架Rack上的服务器数量增多。受工程布线的困扰，在大型数据中心内EOR（End Of Row）结构已经逐步被TOR（Top Of Rack）结构所取代。机架式交换机作为数据中心服务器第一接入设备的地位变得愈发不可动摇。而为了确保大量机架式设备的接入，汇聚和核心层次的设备首要解决的问题就是高密度接口数量，由此机箱式交换机也就占据了数据中心转发核心的位置。综合来说，一般情况下数据中心以大型机箱式设备为核心，机架式设备为各个机柜的接入2.3网络虚拟化云计算就是计算虚拟化，而存储虚拟化已经在SAN上实现得很好了，剩下网络虚拟化了。云计算环境中，所有的服务资源都成为了一个对外的虚拟资源，那么网络不管是从路径提供还是管理维护的角度来说，都得跟着把一堆的机框盒子进行多虚一统一规划。而云计算一虚多的时候，物理服务器都变成了很多的VM，网络层面则需要对一虚多对通路建立和管理更精细化。2.3.1 网络多虚一技术网络多虚一技术。最早的网络多虚一技术代表是交换机集群Cluster技术，多以盒式小交换机为主，较为古老，当前数据中心里面已经很少见了。而新的技术则主要分为两个方向，控制平面虚拟化与数据平面虚拟化。控制平面虚拟化顾名思义，控制平面虚拟化是将所有设备的控制平面合而为一，只有一个主体去处理整个虚拟交换机的协议处理，表项同步等工作。从结构上来说，控制平面虚拟化又可以分为纵向与横向虚拟化两种方向。纵向虚拟化指不同层次设备之间通过虚拟化合多为一，相当于将下游交换机设备作为上游设备的接口扩展而存在，虚拟化后的交换机控制平面和转发平面都在上游设备上，下游设备只有一些简单的同步处理特性，报文转发也都需要上送到上游设备进行。可以理解为集中式转发的虚拟交换机横向虚拟化多是将同一层次上的同类型交换机设备虚拟合一，控制平面工作如纵向一般，都由一个主体去完成，但转发平面上所有的机框和盒子都可以对流量进行本地转发和处理，是典型分布式转发结构的虚拟交换机。控制平面虚拟化从一定意义上来说是真正的虚拟交换机，能够同时解决统一管理与接口扩展的需求。但是有一个很严重的问题制约了其技术的发展。服务器多虚一技术目前无法做到所有资源的灵活虚拟调配，而只能基于主机级别当多机运行时，协调者的角色（等同于框式交换机的主控板控制平面）对同一应用来说，只能主备，无法做到负载均衡。网络设备虚拟化也同样如此，以框式设备举例，不管以后能够支持多少台设备虚拟合一，只要不能解决上述问题，从控制平面处理整个虚拟交换机运行的物理控制节点主控板都只能有一块为主，其他都是备份角色（类似于服务器多虚一中的HA Cluster结构）。总而言之，虚拟交换机支持的物理节点规模永远会受限于此控制节点的处理能力。数据平面虚拟化数据平面的虚拟化，目前主要是TRILL和SPB，他们都是用L2 ISIS作为控制协议在所有设备上进行拓扑路径计算，转发的时候会对原始报文进行外层封装，以不同的目的Tag在TRILL/SPB区域内部进行转发。对外界来说，可以认为TRILL/SPB区域网络就是一个大的虚拟交换机，Ethernet报文从入口进去后，完整的从出口吐出来，内部的转发过程对外是不可见且无意义的。这种数据平面虚拟化多合一已经是广泛意义上的多虚一了，此方式在二层Ethernet转发时可以有效的扩展规模范围，作为网络节点的N虚一来说，控制平面虚拟化目前N还在个位到十位数上晃悠，数据平面虚拟化的N已经可以轻松达到百位的范畴。但其缺点也很明显，引入了控制协议报文处理，增加了网络的复杂度，同时由于转发时对数据报文多了外层头的封包解包动作，降低了Ethernet的转发效率。从数据中心当前发展来看，规模扩充是首位的，带宽增长也是不可动摇的，因此在网络多虚一方面，控制平面多虚一的各种技术除非能够突破控制层多机协调工作的技术枷锁，否则只有在中小型数据中心里面应用，后期真正的大型云计算数据中心势必是属于TRILL/SPB此类数据平面多虚一技术的天地。2.3.2网络一虚多技术网络一虚多技术，已经根源久远，从Ethernet的VLAN到IP的VPN都是已经成熟技术，FC里面则有对应的VSAN技术。此类技术特点就是给转发报文里面多插入一个Tag，供不同设备统一进行识别，然后对报文进行分类转发。代表如只能手工配置的VLAN ID和可以自协商的MPLS Label。传统技术都是基于转发层面的，虽然在管理上也可以根据VPN进行区分，但是CPU/转发芯片/内存这些基础部件都是只能共享的。目前最新的一虚多技术是类似Extreme Networks在交换机系统中实现的Virtual Router，和VM一样可以建立多个虚拟交换机并将物理资源独立分配，目前的实现是最多可建立64个VR，其中有一个用做管理。2.4 VM互访技术（VEPA）随着虚拟化技术的成熟和x86 CPU性能的发展，越来越多的数据中心开始向虚拟化转型。虚拟化架构能够在以下几方面对传统数据中心进行优化：提高物理服务器CPU利用率；提高数据中心能耗效率；提高数据中心高可用性；加快业务的部署速度正是由于这些不可替代的优点，虚拟化技术正成为数据中心未来发展的方向。然而一个问题的解决，往往伴随着另一些问题的诞生，数据网络便是其中之一。随着越来越多的服务器被改造成虚拟化平台，数据中心内部的物理网口越来越少，以往十台数据库系统就需要十个以太网口，而现在，这十个系统可能是驻留在一台物理服务器内的十个虚拟机，共享一条上联网线。这种模式显然是不合适的，多个虚拟机收发的数据全部挤在一个出口上，单个操作系统和网络端口之间不再是一一对应的关系，从网管人员的角度来说，原来针对端口的策略都无法部署，增加了管理的复杂程度。其次，目前的主流虚拟平台上，都没有独立网管界面，一旦出现问题网管人员与服务器维护人员又要陷入无止尽的扯皮中。当初虚拟化技术推行的一大障碍就是责任界定不清晰，现在这个问题再次阻碍了虚拟化的进一步普及。接入层的概念不再仅仅针对物理端口，而是延伸到服务器内部，为不同虚拟机之间的流量交换提供服务，将虚拟机同网络端口重新关联起来。 做为X86平台虚拟化的领导厂商，VMWare早已经在其vsphere平台内置了虚拟交换机vswitch，甚至更进一步，实现了分布式虚拟交互机VDS（vnetwork distributed switch），为一个数据中心内提供一个统一的网络接入平台，当虚拟机发生vmotion时，所有端口上的策略都将随着虚拟机移动。虚拟以太网端口汇聚器（VEPA）是最新IEEE 802.1Qbg标准化工作的一个组成部分，其设计目标是降低与高度虚拟化部署有关的复杂性。如果我们研究一下使用虚拟交换机的传统方法就会发现，它与VEPA方法存在很大的不同，VEPA使用户可以深入了解虚拟化及联网中的各项部署挑战和需要考虑的因素。当您的物理主机上的监视程序上有多台虚拟机（每台虚拟机都包含一套操作系统和多种应用）时，这些虚拟机在相互通信和与外部世界通信时都要使用虚拟交换机。事实上，虚拟交换机是一种第2层交换机，通常以软件的形式在监视程序内运行。每种监视程序通常都有一个内建的虚拟交换机。不同的监视程序所含的虚拟交换机在能力方面也是千差万别的。当虚拟交换机从联网领域转移到服务器领域时，就有必要针对虚拟环境对传统的基于网络的工具和解决方案进行重新测试、重新定性和重新部署。从某些方面来说，这种变化会对虚拟化的快速扩展和普及造成阻碍。例如，传统的网络和服务器运营团队是截然分开的，每个团队都有自己的流程、工具和控制范围。由于虚拟交换机的原因，联网进入了服务器的范畴，因此像供应虚拟机这样的简单任务也需要这些团队之间开展额外的协调工作，从而确保虚拟交换机的配置与物理网络配置保持一致。由于缺乏网络中虚拟机之间流量的可视性，因此涉及到虚拟机之间通信的故障查找和监视也变成了一项极具挑战性的工作。而且随着虚拟机数量的增长，单个服务器中的虚拟机目前已经达到8至12台，并且会在不久的将来达到32至64台，因此，保护虚拟机彼此不受干扰，以及不受外界威胁的侵害都变成了一项需要认真考虑的问题。从防火墙到IDS/IPS，基于网络的传统设备和工具都需要针对这些高度虚拟化的环境重新开发、重新认证和重新部署，从而确保虚拟机之间通过虚拟交换机的通信能够满足法规一致性和安全方面的要求。由于在虚拟交换机方面缺乏标准，因此会增加涉及不同监视技术的培训、互用性和管理开销，进入使这些挑战变得更加复杂。事实上，物理服务器正在变成一种全面的网络环境，拥有自身的互用性、部署、认证和测试要求。有趣的是，这种趋势与虚拟化最基本的优势之一是背道而驰的，即虚拟化能够将服务器中过剩的容量以更高的效率来运行各类应用。目前，这种“服务器中的网络”很有可能演变成这些过剩容量的消费方，将CPU和内存资源吞噬殆尽。VEPA的方法为应用这些挑战，各方已经提出了多种不同的解决方案，其中就包括VEPA。VEPA是一种虚拟交换机替代产品；它不仅进入了标准化进程，而且成为业界众多厂商的一致选择。事实上，VEPA会将服务器上虚拟机生成的所有流量转移到外部的网络交换机上。外部网络交换机接下来会为同一台物理服务器上的虚拟机和基础设施的其它部分提供连接。实现这一功能的方法是将一种新型转发模式融入物理交换机中，使流量能够从来时的端口“原路返回”，从而简化同一服务器上虚拟机之间的通信。“原路返回”模式（或称“反射中继”）可以在需要时将包的单一副本反向发送至同一台服务器上的目的地或目标虚拟机。对于广播或组播流量，VEPA能够以本地方式向服务器上的虚拟机提供包复制能力。传统上，多数网络交换机都不支持这种“原路返回”模式行为，因为它可能会在非虚拟世界中造成环路和广播风暴。然而，许多网络厂商都开始支持这种行为，目的就是解决虚拟机交换的问题，而且使用简单的软件或固件升级即可实现。IEEE的802.1Qbg工作组还努力将这种行为变成了标准。VEPA能够以软件的方式，作为监视程序中的瘦层在服务器中实施，也可以作为网卡中的硬件来实施，在后一种情况下还可以与SR-IOV等PCIe I/O虚拟化技术结合使用。其中一个典型的例子就是Linux KVM监视程序中提供的基于软件的VEPA实施。事实上，VEPA将交换功能移出了服务器，并且将其放回物理网络中，而且让外部网络交换机能够看到所有的虚拟机流量。通过将虚拟机交换移回物理网络，基于VEPA的方法使现有的网络工具和流程可以在虚拟化和非虚拟化环境以及监视程序技术中以相同的方式自由使用。防火墙和IDS/IPS等基于网络的设备，以及访问控制列表（ACL）、服务质量（QoS）和端口监视等成熟的网络交换机功能都可以直接用于虚拟机流量和虚拟机之间的交换，因此减少和消除了对虚拟网络设备重新进行昂贵的质量判定、测试和部署的需求。此外，VEPA将网络管理控制层重新交给了网络管理员，为所有与虚拟机相关联网功能的供应、监视和故障查找提供了一个单一控制点。将网络功能从服务器卸载至网络交换机能够带来诸多的优势，例如释放服务器资源并将其用于更多的应用，同时还可在虚拟和非虚拟服务器之间提供线速交换；从1Gbps至10Gbps，甚至可以达到40Gbps和更高的100Gbps。因此，基于VEPA的方法有助于扩大虚拟化部署，降低复杂性和成本，并且加快虚拟化的普及。尽管基于VEPA的方法能够带来许多好处，但在某些环境下，虚拟机间流量的交换最好还是留在服务器内部。例如，在有些环境下物理服务器要承担虚拟机的巨大负荷，而且这些虚拟机之间的通信非常频繁，因此为了将延迟降至最低程度，最好的方法是将虚拟机之间的流量留在服务器内部。在此类场景中，可能的方法之一是绕过基于监视程序的软件虚拟交换机，利用新型网卡提供的交换硬件能力，即SR-IOV等基于入向I/O虚拟化的能力。同样，在使用这种方法时，也需要权衡考虑完全使用“服务器中的网络”模型时的安全和成本问题。随着服务器虚拟化的广泛普及，服务器内和服务器间虚拟机交换流量的复杂性都在不断提高。基于VEPA的虚拟机间流量交换方法能够为基于虚拟交换机的传统方法提供一种非常有趣且极具吸引力的替代方案。为了向网络和服务器基础设施提供支持VEPA的能力，此类技术的标准化工作正在紧锣密鼓地进行当中。2.5 虚拟机迁移网络技术虚拟服务器能够大幅度提升服务器计算资源利用率，但是仍然只发挥了虚拟化优势的很小一部分。虚拟化向网络的延伸使虚拟机能够在应用程序运行的同时实现在物理服务器之间的漂移，并按需提供容量，无需增加昂贵且未尽其用的平台。更重要的是，动态虚拟机的创建和移动让管理员能够迅速响应新的请求，从而提高用户的生产效率和客户满意度。但是目前传统的网络设备并不能满足这种动态迁移的需求，这成为虚拟化进程中的瓶颈，而解决这一瓶颈就意味着虚拟化时代的真正到来。将虚拟化优势延伸至网络，如何动态并经济有效地分配资源，来满足高峰和低谷时的业务需求显得至关重要。通常在一个工作日中，对计算资源的需求会从最小量开始增长。虚拟机可以立刻迁移至其它新启动的服务器上去，以满足需求。在工作日结束时，对计算资源的需求会降低，那时虚拟机可以迁回原来的服务器，并关闭不需要的服务器资源，以简化管理并降低供电成本。在这个过程中，网络的虚拟化至关重要，网络可以使得虚拟机的动态迁移成为可能，还可以保证在任何情况下对于应用的保护，甚至可以使得用户感觉不到虚拟资源的扩展或缩小。日常的虚拟机迁移只是虚拟机漂移技术的一种实践应用。当服务器离线进行维护或发生故障时，虚拟机也可进行漂移以支持业务的连续性。为了利用这些优势，在硬件平台间漂移虚拟机相关的网络配置虽并不复杂，但却至关重要且非常耗时。此外，当虚拟机在数据中心内漂移时，与每台虚拟机相关的网络层策略必须随之漂移。这些策略控制着安全、服务质量(QoS)等因素，并因用户和应用的具体情况而异。因此，为每个业务应用维持相适应的网络策略对于业务运营而言至关重要。虚拟机从一台物理服务器漂移至另一台之前，与之相关的网络端口配置以及安全策略必须针对目标服务器进行正确的设置，以满足安全需求。如果数据中心存在大量的服务器和虚拟机迁移，那么手动配置会消耗大量的时间和资源。利用网络虚拟化的解决方案可使虚拟机迁移相关的网络管理任务实现自动化，且无需大量的管理人员。针对虚拟机漂移的自动化网络管理实现虚拟机漂移的网络自动化最关键的，就是构建一个包含智能软件的网络交换机，来对单个虚拟机进行配置。传统的网络交换机是通过一个物理端口来与它连接的服务器进行通信的。而包含智能软件的交换机，则能够实现对单个虚拟机的感知，以及对每个虚拟机进行网络配置，从而将单个虚拟机属性扩展到整个网络。当虚拟机在整个网络迁移时，交换机能够追踪这种迁移，并确保网络设置与虚拟机一起实现迁移。虚拟机感知的一个重要方面是能够与多种架构相兼容。被称为虚拟机监控器(VMM)是虚拟化软件的重要组成之一，它能够使多种操作系统在单一主机平台中运行。目前可支持Citrix、微软、VMwareXen，Oracle等虚拟化平台。由于数据中心通常运行不同的虚拟化架构，因此，具备兼容多个虚拟化架构的能力至关重要。研究和开发部门或许更青睐某一款架构，因为它使用户能够更好地管理服务器;而数据管理员为了其他用户也许会统一使用另一款来自指定厂商的虚拟化架构。或者，数据中心管理员因为价格或其他因素也许会选择逐步迁移至其它厂商的架构，从而创建一个临时的混合型环境。而网络是承载这些架构的基础，网络的虚拟化同样也需要对于混合环境提供很好的兼容性。基于交换机的虚拟化产品也包含的有价值的特性： 跟踪虚拟机的迁移，无需变更以太网数据包，最大限度提高资源利用率。 内置于交换机的智能软件可以缓解网络管理员的负担 该架构能够方便用户在虚拟层中配置网络设定，从而提高生产效率。 同时支持多种虚拟化架构，最大限度提高灵活性。管理平台界面简化管理。针对虚拟化网络的解决方案已成为现实。Extreme Networks公司的XNV技术，能够搜索虚拟机并使性能和安全设置与虚拟端口(而非物理端口)相联系。使用管理员拥有粒度标准来监测每台虚拟机及其相关的虚拟端口。XNV还可监测虚拟机的创建和迁移，并确保网络设置随着虚拟机迁移。这些功能都有助于降低由网络配置错误引起的应用宕机风险，以及将敏感应用暴露给未受权用户的安全风险。综上所述，数据中心的虚拟化，即“网络感知”和开放性，是新的数据中心的必备能力，只有这样，用户才能优化资源利用率，降低手动维护安全策略所造成的人工错误，因为虚拟化提高了数据中心的可用性，并降低了总体拥有成本。第三章 方案设计3.1网络总体规划数据中心网络的建设，需要考虑到以下的一些因素：系统的先进程度、系统的稳定性、可扩展性、系统的维护成本、应用系统和网络系统的配合度、与外界互连网络的连通、建设成本的可接受程度。网络整体设计采用国际通行的TCPIP协议，并达到以下目标：1）系统可靠性和稳定性作为高性能园区网络，系统的高可靠性和稳定性是网络应用环境正常运行的首要条件。在保证系统可靠性的基础上，还要进一步提高系统的可用性。我们可以从以下几个方面来提供保证。 网络设备、主机系统具有很高的平均无故障时间，并且在业界有广泛的用户基础； 关键网络设备冗余工作，其关键部件可实现在线更换（热拔插），故障的恢复时间在秒级间隔内完成； 网络在设备、拓扑以及线路等方面均应具有较高的可靠性，以保证每周7*24小时，每年365*24小时的正常工作。2）开放性和标准化为了保证在网络时保证不同设备的互通性，所以网络系统在设计时必须采用开放技术、支持国际标准协议，具有良好的互连互通性，保证支持同一厂家的不同系列的产品以及与不同厂商的不同网络设备无缝连接和互操作的能力。3）具有高处理能力、可扩展性现支持各种高速网络（快速以太网、千兆以太网、万兆以太网等技术），提高对数据包的转发能力和速度，提供足够的网络带宽。支持各种协议并存，可灵活地构成不同系统，并可方便地从拓扑的角度和设备的角度扩展，方便升级以满足将来业务增长的需要。在网络设计时，为了适应用户快速增长的需要，首先要满足现有规模网络用户和应用的需求，同时考虑未来业务发展、规模的扩大，应该设计关键网络设备具备扩展能力以及网络实施新应用的能力。灵活扩充性：灵活的端口扩充能力，模块扩充能力，满足网络规模的扩充。支持新应用的能力：产品具有支持新应用的技术准备，能够符合实际要求的，方便快捷地实施新应用。4）系统的先进、成熟、实用性及可管理和可维护性当今世界，通信技术和计算机技术的发展日新月异，网络设计既要适应新技术发展的潮流，保证系统的先进性，也要兼顾技术的成熟性、实用性，选择最合适的设备和技术，降低由于新技术和新产品不成熟因素给用户带来的风险。在系统设计中，选择先进的系统管理软件是必不可少的。我们在这里采用我们通过这个统一的管理平台的控制，监控主机系统、网络系统、应用系统状态，简化管理工作，提高了主机系统和网络系统的利用效率。提供先进而完善的网络管理工具，监控网络故障，优化网络性能，实现一体化的网络管理。网络管理基于SNMP，支持RMON和RMON2。5）系统安全性和保密性现在我们网络内接入的用户对网络的好奇心，促使会攻击我们内部网络，我们制订统一的安全策略，整体考虑网络平台的安全性，能够提供不同方式不同级别的安全策略，保证网络重要用户和数据服务器的安全性。所以说安全性是网络运行的生命线。合理的网络安全控制，可以使应用环境中的信息资源得到有效的保护。网络可以阻止任何非法的操作；网络设备可进行基于协议、基于MAC地址、基于IP地址的包过滤控制功能，不同的业务，划分到不同的虚网中。6）保护用户现有投资及效益性在保证网络整体性能的前提下，网络设计充分保护用户投资及效益性，利用现有的网络设备或做必要的升级，在原设备的基础上，进行网络建设，避免用户投资的重复浪费，在满足用户需求和未来发展的趋势情况下，采用性价比高的设备，构筑经济可靠的网络平台，使新系统更有效地承担繁重的任务，能支持将来系统的维护和平滑升级。所采用的设备应是当今业界的主流产品，采用主流技术、标准协议，具有良好的互操作性，减少设备互连的问题，网络维护的费用，使用户的投资得到有效保护。3.2省级数据中心网络设计对于省级数据中心，一般规划为大约五百台高性能服务器，在这种模式下，可以规划2-3层网络连接模式（下图为3层）如上图所示，一般情况下，大型数据中心采用2-3层网络结构，以3层结构为例，采用2台高性能Extreme Networks BD8800核心交换机，提供48个四万兆（40G接口），通过40G通道下联到汇聚层Summit X670系列交换机。每台Extreme Networks Summit X670交换机提供48-60个万兆万兆接口，并提供四万兆接口上联，万兆下联Summit X460交换机，通过X460交换机使用千兆连接所有服务器。但是对于新型的大型数据中心，万兆网络连接已经成为主流，所以一般使用万兆连接服务器，则直接将网络简化为如下2层：万兆以太网技术目前已成为建设大中型数据中心网络的主流技术。为实现数据网络平台的功能，并考虑网络在性能、容量、扩展性、先进性和服务质量等方面的要求，经过对交换以太网、快速以太网、千兆以太网、万兆以太网不同网络架构在VLAN（虚拟局域网）技术、第三层或多层交换技术、QoS、ACL等方面的性能表现及成本分析，确定将高密度端口的万兆以太网交换机作为整个信息网络的接入设备。通过将万兆以太网、千兆以太网、VLAN技术、三层路由交换、局域网中的QoS、ACL技术与投资经济性实现完美的有机结合，建立一个具有成熟的先进技术，同时又可简便维护和安全使用的网络。在省级网络设计中，我们最终推荐核心到接入交换机40G连接，接入到服务器10G连接。3.3市级数据中心网络设计 市级数据中心一般采用小于100台服务器，根据省级网络的建设设计，我们同样使用万兆进行连接，这里采用一台Summit X670系列交换机。每台Extreme Networks Summit X670交换机提供64个万兆万兆接口，或者采用X670交换机堆叠，提供112个万兆端口，如下图所示：3.4区县级数据中心网络设计区县级数据中心，一般采用普通企业级服务器，不进行大规模数据集中，所以一般只适用千兆进行接入，所以采用两台千兆交换机Extreme Networks Summit X460进行互联，通过冗余备份设置，千兆连接内部所有服务器。3.5省、市、区/县数据中心互联设计对于大多数行业客户如医疗、教育或政府等，其数据中心不只为本地市提供数据交换和处理，同时各级数据中心之间还需要进行数据的远程交换和共享，从而充分发挥多级数据中心架构的优势，使各级数据中心协同工作、远程交换、数据共享和统一管理。因此省、市、区/县数据中心的互联也势在必行。3.5.1省、市数据中心互联省数据中心由于数据量较大，需要同时汇聚地市一级数据中心，因此在省数据中心推荐配置两台MP7508作为核心汇聚路由器，并互为备份。MP7508汇聚路由器通过1000M光接口连接省数据中心核心交换机BD8800，再通过1000M MSTP或155M SDH/ATM网络分别连接各个地市数据中心上联路由器MP7204，地市上联路由器MP7204通过1000M光接口连接其核心交换机X670。由于MP7508和MP7204路由器的高性能，从而实现省、市数据中心的高速互联，其软/硬件高可靠性设计以及每个节点采用双机备份的方式，实现了数据传输的高可靠性和稳定性；另外我们可采用MPLS等安全技术，进一步保证数据传输的安全性。3.5.2市、区/县数据中心互联根据不同的行业和应用,市数据中心与区/县数据中心之间数据流量不同，在数据流量较大的应用中，市数据中心采用MP7204中心汇聚路由器通过100M或1000M MSTP线路连接各个区/县数据中心MP3840汇聚路由器；对于数据流量较小的行业或应用，市数据中心MP7204可采用155M SDH线路，采用2M复用的方式连接各个区/县数据中心MP2824，区/县数据中心可根据实际带宽需求采用2M或N*2M链路捆绑方式接入市数据中心。同样为了提高互联的可靠性，地市汇聚路由器和区/县上联路由器均采用双机双线路冗余备份方式，确保数据传输的高可靠性。3.5.3数据中心安全解决方案虽然数据中心处于一个相对安全的私有网络环境，不同级别的数据中心也可通过运营商专有线路进行互联互通，其内部数据中心和传输线路上有一定的安全保障。同时为提高数据中心的开放度和利用率，以及远程管理等，其势必要与外部网络或internet进行数据的互联互通，为外部或互联网用户提供数据业务和管理。因此在数据中心的边界需要充分考虑其接入和互联互通的安全性，需要有效的的边界隔离，可以实现对非法访问的阻断；其二是有效的身份识别与访问控制功能，可以实现对源地址的定位、识别和控制；其三是建立有效的对抗攻击能力，实现对异常流量、恶意代码、有目标的渗透等情况的鉴别和防护；其四是建立深度应用识别与攻击检测，对应用数据包进行深度检测，防范欺骗；其五是可以实现业务间隔离与带宽资源控制，保障重要业务访问；其六是保护数据传输安全，防止数据被窃听和篡改；同时，还必须具有高可靠性的安全设备来防止由于高并发访问量、系统故障等突发情况而带来的访问不便。此外，由于边界是数据中心正常运行的重要节点，部署安全产品必须具有便于管理的特点，这就要求设备能够适应不同的网络环境，配置尽量简单方便，特征库能够自动升级，可以提供丰富的访问审计功能，能够对流量进行有效监控，能够提供丰富的攻击统计，使数据中心系统管理员能够充分掌握数据中心的安全态势，为不断地优化安全策略提供依据。因此我们建议采用综合的安全网关作为数据中心边界接入和隔离，为其提供用户安全接入、抗攻击、入侵检测、防病毒、高性能VPN、带宽管理等综合安全解决方案，避免了采用多厂家多型号的安全产品而带来的管理和维护上的安全风险。以下为数据中心安全解决方案：在省、市、区/县数据中心边界，我们采用MSG4000综合安全网关作为外部移动用户、远程管理以及第三方平台等用户和平台的接入。MSG4000作为一款综合安全产品，可根据用户需求提供从100M到10G不同性能需求，省、市、区/县数据中心可根据实际需要选用不同性能层次的MSG4000；同时MSG4000在功能上可为客户提供安全防护、病毒过滤、入侵检测、应用识别、流量管理、WEB访问控制、上网行为管理以及IPSEC/SSL VPN等功能，满足客户整个安全防护的需求，从而避免了由于设备数量、种类较多带来的维护和管理上的不安全因素。第四章 方案的新技术特点4.1量身定制的数据中心网络平台4.1.1最先进的万兆以太网技术Extreme公司作为以太网技术的先驱，一直致力于生产严格遵循业界标准的以及可与其他厂商兼容的产品，Extreme Networks是由100家国际知名网络公司组成的千兆以太网联盟和万兆以太网联盟的领导者。Extreme交换机的10GB以太网模块在世界上第一个实现单跳网络传输1 TB数据流量。Extreme公司一直走在10GB以太网交换技术开发的前沿，公司的发起人及首席技术官Steve Haddock现任IEEE 802.3ae任务小组副主席，该小组已经为10-GB以太网开发了行业标准。Extreme Networks的Tony Lee自2000年3月起，在两年任期内担任万兆以太网联盟主席，另一名Extreme Networks技术专家Ameet Dhillon目前则担任万兆以太网联盟理事。Extreme交换机的扩充能力和高端交换性能标志着基于标准的高性能以太网技术的重大进步。万兆以太网市场的全球市场占有率：Extreme在万兆网络应用从初期就一直保持着市场领先地位4.1.2硬件全线速处理技术网络业务的不断增多，各种应用的流行，对网络也提出了新的要求，传统的以太网交换机由于基于共享的设计理念，对于音频、视频以及数据的各种业务的传输是无法识别区分的，对于多媒体业务的开展需要更智能的设备来支撑。高速的网络数据传输应用已经不是一个高级网络唯一的重要指标。网络的发展方向是支持线速无阻塞地传输各种多媒体等高级应用，在开启各种网络应用和功能的情况下，保证网络畅通。这也是Extreme公司的强大技术优势所在。Extreme的智能网方案采用先进的组播技术和Qos保证机制，实现全线速的高质量的业务运行。核心设备的大密度的高速端口使得网络设备具有大容量的交换处理能力，以避免拥塞和延迟。Extreme采用无阻塞交换结构，基于先进路由交换机制，能够提供线速处理能力。以此为基础，通过合理的网络设计实现高性能的网络。Extreme的全线三层产品交换产品均可实现满载情况下的二层线速帧交换和三层线速包转发。应该强调的是，实际运行的网络需要配置很多控制功能，如 QoS处理、ACL、策略路由等，此时需要交换机耗费更多的资源以实现相应的网络控制处理功能。Extreme产品能够保证性能和功能的一致实现，即在打开诸多控制处理功能的前提下，依然保证数据包的真正线速处理和转发。Extreme的共享内存式的交换背板结构大大提高了组播转发的效率，节省了交换矩阵的带宽。其他网络厂家的交换机支持的组播、ACL、Qos等都是基于软件技术和CPU运算的，由于占用大量处理器和内存资源，经常会导致丢失数据包，在性能上能上都达不到无丢包的限速传输，不得不以添加昂贵的内存条为代价。 Extreme主推的真正的线速网络是性能和功能的全面线速，包括线速路由、线速ACL、线速Qos、线速组播，Extreme的网络设备的Qos、组播、ACL都是通过专门的集成芯片来完成，不占运行用系统资源，这也是目前业界唯一能够同时实现四种线速的全线速核心交换设备。国防大学在新网络未来要承载各种多媒体为基础的新应用，影像方面需要应用到组播、Qos技术都会在本方案的设计中得到卓越的性能表现，优异的全线速网络设计能够为科研和业务的效率提高作出巨大的贡献。组播结构传统的组播结构可以看到在传统组播结构上，要实现组播组的发送需要组播发送端通过传统的交换矩阵多次发送，这样造成了组播数据在整个转发过程中速度慢，同时对端口带宽占用资源过大、占用时间过长，容易造成端口拥塞。4.1.3 Extreme Direct Attach技术今天的虚拟机管理程序利用一个内部的“虚拟交换机”为在一个服务器内部的虚拟机（VM）之间以及它们与外部网路之间提供网络连接。这个虚拟交换机给数据中心网络增加了第四个层级。今天的许多刀片服务器利用一个内部的“刀片交换机”来汇聚刀片服务器机箱内的每个物理服务器的数据流量。这些交换机给网络增加了第五个层级。虚拟交换机和刀片交换机的组合把交换层级从3层提高到5五层，显著提高了网络延迟并增加了数据中心内的网络元素，这也增加了数据中心管理的复杂性。Extreme Networks的Direct Attached技术消除了虚拟交换机层，简化网络并提高网络性能。Extreme Networks的BlackDiamond8800交换机中的8900系列交换模块通过利用高密度板卡和布线系统，消除刀片交换机并使数据中心得到简化，从而使数据中心的层级数量从5层简化为3层。今天的数据中心网络可以通过结构化分“层”定义。通常情况下，有一个“网络核心”，它是所有数据中心设备的中心连接点。这是数据中心网络的“第一层级”。这个核心可能是一个交换机，或者更通常是由冗余交换机组成的集群来连接所有设备：网络设备、安全设备和服务器。而网络的“第二层级”是汇聚交换机，它连接接入交换机和核心。这层常用于大型数据中心，一般没有必要用在中型数据中心。“第三层级”的交换机，通常被称为接入层交换机，它直接连接服务器。这些接入交换机通常被称为“架顶式交换机”或“行末式交换机”。这种无论是两个或三个层级的模式是已经被多年使用，且广为熟悉的。目前数据中心有两个重要的趋势，它们正在改变数据中心网络的实现方式，一个在物理方面，而另一个在虚拟化方面。这些趋势给数据中心网络增加了额外的层级。趋势一：虚拟化在过去几年的数据中心最重要的发展趋势是虚拟化的应用。虚拟化是一种技术，使一台物理服务器允许安装多个虚拟服务器/虚拟机。这样可以提高服务器利用率和有助于服务器的整合，对于灾难恢复和容量管理等有诸多好处。虚拟化在企业数据中心和主机托管数据中心中非常流行。而由于高性能计算集群或大型互联网消费网站的自身性质，虚拟化不太可能应用在这些领域。虚拟交换机虚拟化引入了“虚拟交换机”的概念。在非虚拟化数据中心，每个服务器运行一个操作系统，该操作系统管理的物理网络连接到与其它用户和服务器。在虚拟化环境中，有多个虚拟机运行在物理服务器上。这些虚拟机必须共享一个物理网络连接，并且需要互相通信。这给虚拟交换机或“vSwitch的”概念带来了用武之地。虚拟交换机是一个运行在服务器上的模拟2层网络设备的软件。虚拟交换机的功能是使一个服务器内的虚拟机可以互相通讯并且可以与外界通讯。虚拟交换机仿造了二/三层交换机的一部分功能以实现上述通讯功能。虚拟机运行在虚拟化管理软件中，所以它不是通用的。目前VMware、Microsoft和Citrix在自己的虚拟化管理软件中都含有虚拟交换机。另外其它一些网络厂商也推出了额外收费的虚拟交换机，例如Cisco的Nexus 1000。一个需要注意的关键点是每个物理服务器都需要一个虚拟交换机。例如一个有40台服务器的机柜需要40个虚拟交换机，一个有16个刀片的刀片服务器需要16个虚拟交换机。网络中虚拟交换机的数量与网络中运行虚拟化的服务器的数量是一一对应的。这些虚拟机每一台都需要管理和配置。虚拟交换机的优点：虚拟交换机是由虚拟化管理软件厂商发明的，用于虚拟机与网络间进行通讯。直到现在，虚拟交换机还是虚拟机之间，虚拟机与其它服务器和用户之间通讯的唯一手段。虚拟交换机带来的问题：安全性：虚拟交换机的主要功能是满足同一服务器内部的虚拟机之间的通讯。因为虚拟交换机存在于服务器内部，虚拟机和虚拟机之间的数据流量对于外界网络是不可见的。这样一些由非法虚拟机引发的安全问题很难被发现。网络与系统管理软件的可见性：同样由于虚拟机和虚拟机之间的数据流量对于外界网络是不可见的，对于虚拟机和虚拟机之间的流量的管理和监控非常困难。传统的基于端口镜像的网络工具无法在这样的环境中使用。性能的不可预见性：虚拟交换机使用软件而非线速的交换机硬件来进行数据的转发。虚拟交换机的转发性能，以至于服务器的网络性能都取决于CPU的可用资源，而该资源又取决于虚拟机上的应用程序。这与服务器的优化是矛盾的：当服务器通过虚拟化增加利用率时，服务器的网络性能实际会下降，这与使用虚拟化优化服务器的设想是相违背的。额外的网络层级：虚拟交换机为传统的网络增加了第四个层级。这样增加了网络的跳数从而增加了端到端的网络延迟。虚拟交换机与服务器一一对应引起的扩展性问题：每个服务器都需要一个虚拟交换机，整个数据中心的网络设备数量大大增加。一个有40个服务器的机柜需要40个虚拟交换机，而只要一台网络交换机。这样大大增加了数据中心内需要管理和配置的网络元素，增加了数据中心的运维成本。管理的复杂性：每一个虚拟化管理软件厂家都有一个和自己软件配合的虚拟交换机。在一个使用多种虚拟化软件的数据中心，需要对多种虚拟机管理进行人员培训和制定管理流程，增加了数据中心管理成本。问责的冲突：到底由哪个部门来管理虚拟交换机呢？是因为虚拟交换机运行在服务器内部而由服务器部门负责呢？还是因为它是网络元素而由网络部门负责呢？这些问题会带来潜在的冲突，增加管理和实施解决方案的复杂度。趋势二：刀片服务器刀片服务器为机架内容纳高密度服务器提供了解决方案。一个刀片服务器机箱可以容纳16个服务器，一个标准机柜可以容纳3个或4个刀片服务器机箱。这样一个机柜可以容纳48或64个高密度服务器，并且可以简化管理。刀片服务器带来的挑战是它在一个机柜内制造了很高的布线密度，使为每台服务器提供布线成为挑战。正是这个原因，各个刀片服务器的厂商都制造一种插入刀片服务器机箱的“刀片交换机”。刀片交换机的优点：刀片交换机的主要优点是简化了布线。刀片交换机连接所有的服务器，并上连到网络的第三个层级。如果没有刀片交换机，每个服务器需要一个以太网连接到第三级网络，这样每个刀片服务器机箱就需要16根跳线。有了刀片交换机跳线数量减少为1到8根。刀片交换机的问题：刀片交换机给网络带来高复用比，这样可能造成网络拥塞并限制服务器的性能。一个典型的刀片交换机包含24个以上的端口或连接。其中16个端口用来连接服务器，另外8个端口用来连接接入层网络设备。这样造成2:1复用，使网络最高性能减少50。从物理网络的角度看，刀片交换机给网络增加了“第五层级”。如我们前面讨论的，每个网络层级都因为转发时延带来端到端的延迟。这个额外的层级增加了网络元素的数量，从而增加了成本，包括刀片交换机本身的成本和配置管理刀片交换机的时间成本。因为刀片交换机是一个根据刀片服务器机箱定做的产品，它与数据中心汇聚和接入层级的独立交换机相比通常具有不同的功能和管理结构。这带来的管理的复杂性，因为网络管理员需要学习和管理不同的交换机系统和管理软件。刀片交换机同样带来组织管理上的问题。它是应该由管理核心/汇聚/接入交换机的网络部门管理？还是因为它在服务器内部而由服务器部门管理？这个职责的混淆会在配置不兼容以及涉及多个部门在数据中心排错时带来问题。虚拟化和刀片服务器趋势的叠加效果是把网络层级从3层增加到5层。当虚拟交换机引入时增加了1层，刀片交换机引入时又增加了1层。由于显著地增加了网络复用比以及端到端的延时，5层网络的性能低于3层网络。另外这样还需要更多电力和冷却能力并大大增加管理成本。Direct Attach减少网络层级什么是Extreme Networks的Direct Attach？Direct Attach是Extreme N