XXXXX数据中心建设改造方案

XXXXX数据中心建设改造方案Aprintedcopyofthisdocumentisconsidereduncontrolled文档信息文档编写: 魏航审阅记录审阅机构姓名职务发布历史版本号发布日期发布人发布状态备注0.32011-06-02魏航DraftInitialversion新一代数据中心的架构趋势传统数据中心架构的问题传统的IT架构始终有一个80/20困境，即80％的精力成本在建设和维护，20％的精力成本在使用和优化。长久以来企业把IT建设的精力过多的放在IT基础设施本身，而不是IT所能提供的根本价值（即企业的应用和服务）。换句话说，IT实际上应当是一种工具和资源，就如同水、电、能源等等这些企业生产所需的工具和资源一样，但企业使用的使用水、电从来不过多介入到取水、发电这些具体工作中去，而企业使用的IT资源整相反，形成建设和使用的倒挂。业界从互联网云计算的概念得到启发，开辟了崭新的数据中心架构模式，以解决长期困扰的业务发展与基础资源的矛盾和瓶颈问题。即如果能够把IT的资源当成用水用电一样、并且以一种可量化其“质”和“量”的标准服务的方式交付给资源的使用者，就能从根本上解决问题。这种使用IT资源的方式最早形成在互联网应用的交付过程中，互联网应用的使用者往往不关心IT资源的具体存在形态（象云一样无时不在、无所不在），而只需要对互联网应用的账号赋予可度量的成本，即可按该账号所赋予的使用量、使用规则和质量来使用互联网服务。对于这种IT服务的使用方式，我们就可以把更多的精力放在如何使用好它们，而不必浪费精力于IT资源本身。这就是最原本的云计算含意。云计算的重大意义在于解决了传统IT中的建设和使用倒挂的80/20困境。但或出于安全、或出于制度，人们发现大部分行业并不可能把所有的行业应用以互联网作为“云端”，需要把基于互联网云计算的模式移植到企业专有网络中，这就是“专有云”（或称私有云，PrivateCloud）。专有云失去了互联网资源的规模效应，是否还能继承云计算应用优势呢？实际上云计算概念的引入，已经重新定义了传统专网中获取资源的模式，即使没有互联网的资源规模效应前提，也可以从根本上扭转刚才提及的80/20资源应用的矛盾。我们先研究传统IT架构是怎么导致80％精力耗费在资源的建设和维护的。具体而言存在如下问题：维护管理难，灵活性差：在传统构架中业务与底层资源的关系是呈竖井方式（Silo），网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。资源利用率低：传统架构竖井方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本。服务策略不一致：传统竖井架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，导致人们用于建设和使用上的精力和成本出现了倒挂。本次数据中心建设必须从根本上改变传统思路，利用专有云计算提供的崭新的体系结构思路来构造新的数据中心IT基础架构，下面详细阐述。新一代数据中心的架构趋势面向云计算的数据中心架构XXXXX数据中心改造的目标是构建一个可持续发展的、新一代的面向云计算的数据中心架构。将数据中心的IT资源池化，通过智能的业务调度机制、以可计量的方式按需、保质的取用资源，满足业务需求的同时屏蔽底层的复杂性，使用户可以把更多精力投入到IT资源的优化应用上去。如下图所示：IT应用、服务器计算、I/O网络、存储等资源的虚拟和池化、按需调用IT资源，实际上就是云计算的“架构即服务”（IaaS）模式。这种架构下的数据中心相比之前的竖井化的传统数据中心有如下明显优势：随需而动的业务灵活性：上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。方便随业务的调整和变迁而灵活供给所需资源，而基础架构保持稳定不变。高效资源优化复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。一方面总硬件资源占用量降低了，另一方面每个业务得到的服务反而更有充分的资源保证了。全局策略一致性：统一的智能化调度屏蔽了具体设备个体的策略复杂性，能够最大程度的在设备层面以上建立统一、一致的服务体验。根据上层业务对服务要求的不同，可定义调用的条件和方式，从而方便的对不同业务提供相适应的策略和合规性约束，这样整个IT将可以达到理想的服务规则和策略的一致性。高效节能、绿色环保：集约化的资源部署、智能优化的资源调度以及按需增长的业务灵活性将提供最为经济、高效、节能、绿色环保的数据中心体系。这样在专有云计算的架构下，我们构建的数据中心就有希望走出80/20的模式，从IT资源建设上节省下的时间、精力和成本可以转换为对IT资源更好的利用，从而有效的推动企业的生产力发展。绿色数据中心当前的能源日趋紧张，能源的价格也飞扬直上，如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。传统的片面追求设备本身的低功耗是较为初级的绿色数据中心设计，须知功能架构不变，设备功耗越低、产出也越低，为满足应用压力，又不得不投入更多设备，反而造成总体效率低、难于维护管理。新一代的绿色数据中心应当是从架构上实现绿色环保的数据中心，依靠架构可以比单纯设备级的方式取得更佳的节约效果。面向云计算的数据中心架构是当今最佳的绿色数据中心架构模式，主要有如下原因：资源池调用资源方式实现最大化的错峰复用，实际投入的硬件设备可以大幅度减少；云计算的以业务为导向、按业务需求量精确调用资源的方式，可以最大化的优化资源的利用率，节约能源；资源池组织资源的方式，实现了资源供给随业务增长而同步增长，无须浪费能源支撑未来才可能用到的资源。总之，打破传统架构，以新的云数据中心架构实现资源调用，才是最佳的数据中心实现绿色环保设计的模式。灾备数据中心架构相对于传统的两地三中心的灾备模式，新一代的数据中心是面向云服务的架构。最终理想的云数据中心下的灾备模式不限于三中心的固有模式，IT资源也不受制于固有的主中心、同城中心、异地中心等固有角色责任。该架构下企业把分布在各地的IT资源看成云，用户可透明的使用IT服务而无须关心服务的具体实现位置，服务不仅具备跨地域的健壮性，还应当具备调用的透明性和服务体验的一致性。这就对网络提出了进一步的挑战。具体而言新一代数据中心的灾备网络应具备：企业的云服务应可以跨灾备中心自由调度硬件资源，这需要灾备中心之间的网络平台提供更丰富和透明的传输服务，屏蔽地域上的分隔；灾备中心之间与应用内容相配合，提供更高传输服务质量和更高的带宽利用效率；以标准网络服务的模式提供多数据中心之间的业务虚拟化和连续性，使用户可透明的使用不同物理位置的云资源，具备服务质量的一致性体验。新一代数据中心的技术要求面向云的数据中心架构体现的是一种资源调度的全新方式，资源调用方式是面向云服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中的智能业务调度机制是关键的实现环节。智能业务调度机制是由网络智能化进一步发展而实现的，要形成云计算要求的智能化资源调度，就需要达成以下目标：整合化：云计算智能资源调度的前提是“资源是可见的”，即上层业务所需IT资源能够被尽可能多的整合到系统中，可不改变基础架构形态的方式实现对资源的访问；虚拟化：被充分整合的资源如果能被以其存在的物理位置、物理状态无关的方式所灵活调用，多用可多取，少用可少取，不用不取，用后释放，那么这些整合的资源就形成了以上架构中的资源池，这一过程称为资源的虚拟化，或称“池化”。自动化：在IT资源的整合化、虚拟化基础之上，业务对底层资源的使用便可以有条件被智能系统自动的动态调用，也就是管理员将策略传递给智能系统，智能系统最优化的计算和配置资源，自动完成相关物理资源的调度，最经济、最有效的完成服务提供的任务，有限的资源可以最大化的提供服务，而管理员的工作负担、管理差错和漏洞降为最低，这是最理想化的资源调用模式，也是最终形成专有云计算关键性步骤。以上是构造面向云计算数据中心的技术趋向，虽然以上技术特性相互有较强的先后依存关系，但在实际数据中心建设过程中以上技术特性将可分别演进，并相互配合以达成云计算的目标。以下将针对XXXXX的数据中心要求，给出以上个技术趋向所代表的典型技术。整合化如前所述，要形成云计算的资源池，必须使上层业务所需的IT资源在系统中是“可见的”，如同打印机从并口相连变成网络相连，打印资源被更多的使用者“可见”，从而打印功能被充分复用；磁盘从直接连接（DAS）成为SAN连接，磁盘存储资源也被更多的主机“可见”，从而存储资源得到充分利用。这种资源共享化过程，就是资源的整合化。资源整合有需要经历两个步骤：IT资源的网络化：如同上面打印机和磁盘的例子，如果想让资源端和资源使用端相互可见，则采用公共的接口互连是最直接的办法，而最为普遍的公共连接接口就是网络。在数据中心设计中，应尽可能的将IT智能资源网络化，以达到通过网络的资源调用的“可见性”。IT资源的集中化：即使资源是网络化的，但如果资源物理部署过于分散，或资源完全存在于无法相连通且不兼容的网络中，则也将导致资源的“竖井化”，无法成为整合资源，更无法被虚拟化和智能化的调用。IT资源的网络化和集中化对数据中心的设计提出的新的要求，传统数据中心设计中有如下技术阻碍：传统数据中心网络本身存在不同的网络类型和协议，割裂了资源的共享：传统数据中心经常共存三种不同协议的网络高性能计算网络（InfiniBand或其他专有技术）；存储交换网络（FiberChannel）；数据应用网络（Ethernet）。服务器所需的资源虽然网络化，但并没有集中化，仍分散在不同的网络环境中，传输资源无法统一调度和充分复用。并且多种且不兼容的网络技术给数据中心带来繁冗的布线、复杂的维护和过高的功耗。整合化对网络的服务品质要求极高，传统技术无法达到：资源整合在网络中，对网络的传输品质提出更高要求，比如将存储传输融合到现有数据中心网络，就需要更高带宽、更低延迟和极低的丢弃率，这在传统数据中心网络上是无法实现的。传统数据中心智能服务分散部署，形成天然“资源竖井”：传统数据中心设计受制于智能服务设备（比如防火墙、负载均衡、NAT等等）的性能而不得不设置多个分散的设备为不同区域的用户服务，这些分散的设备为智能服务资源共享设置了天然的竖井，使得资源虽然网络可达、但无法集中调度和高效复用。新一代面向云的数据中心需要如下技术解决传统数据中心的如上设计问题：一体化交换技术如前所述，在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络（FiberChannelSAN），便于实现CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的InfiniBand技术），以及传统的数据以太网技术，这天然造成存储资源、计算资源和数据应用资源的资源竖井。为解决这一问题，Cisco在2006年提出了在数据中心将这三种网络协议统一在以太网上的设想，并积极推动相关技术的标准化和产品化，包括推动2008年的IEEEDataCenterBridging（DCB）和2010年的ANSIINCITST11的FiberChannelOverEthernet（FCoE）等关键技术的标准化，确立了数据中心的三网合一的“一体化交换”（UnifiedFabric）技术。由于一体化交换完全兼容传统以太网，并提供更佳的服务品质和资源整合能力，因此一体化交换已经成为新一代数据中心部署的基本网络技术，仅Cisco一家厂商在全球已部署一体化交换端口700万个（截至2011年2月），各厂家都将其列为高端数据中心的主流传输技术。一体化交换如下所示：传统网络统一交换一体化交换技术将这三种网络实现在统一的传输平台上，即使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。XXXXX业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用FCoE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是FiberChannelOverEthernet技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见FCoE的相关WebSites。(/fcoe)本次数据中心建设将对I/O整合程度较高的部分直接实施FCoE，而对其他部分服务器端口提供FCoE-Ready的基础设施准备，并将在以后阶段逐步完成基于FCoE技术的双网融合改造。高品质以太网技术为保证一体化交换的实现，统一交换必须提供高品质的传输能力，区别于传统以太网技术，必须能够实现：（一）高性能、低延迟在新一代的数据中心设计中，服务器的连接带宽要传输存储、内存同步和数据等多个业务，而且后面要提到的虚拟化技术还需要服务器的计算向高密度小型服务器资源整合为一个大的计算资源池的方向发展，数据中心网络正成为连接各个服务器的CPU、内存等资源的公共通道，成为“云计算机”的内部总线。因此万兆以太网技术将成为服务器接入的主流带宽，而正在发展中的40G/100G以太网也将在不久的将来成为服务器的接入选择之一。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，本期我们需要服务器的接入设备具备全面的万兆接入能力，并保证一定密度的交换能力，只有这样才能维持该设备5年的生命周期。另外存储网络和内存复制等计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，统一交换设备必须提供比传统以太网设备低几个数量级的端口间转发延迟，从数百纳秒（ns）到几个微秒（us）的级别，这都是传统以太网技术无法实现的性能指标要求。（二）不丢帧的以太网传统以太网的无连接、无保障的BestEffort传输行为使得在传输中丢帧是很常见的现象，而这在存储的远程读写操作、高性能计算的进程通信、远程访存等是绝不允许的，这也是存储网络、高性能计算网络寻求非以太网技术解决的主要原因。随着硬件技术的高速发展，特别是思科、博科等同时掌握高端以太网交换和存储交换技术的大型网络厂商的研发，使得统一交换技术得以在以太网协议上实现只能在SAN和InifiniBand网络上才能获得的服务品质。由于高性能计算和存储传输都需要极为苛刻的延迟可预测性，传统网络中采用的200ms的大Buffer来改善丢包率的做法在数据中心是不现实的。统一交换技术采用了类似SANSwitch的精细控制流量和智能Buffer技术来保证关键业务的无丢弃。举例统一交换的典型无丢弃技术：基于优先级类别的流控(PriorityFlowControl)通过基于IEEE802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制带宽管理IEEE802.1Qaz标准定义基于IEEE802.1p流量类别的带宽管理以及这些流量的优先级别定义拥塞管理IEEE802.1Qau标准定义如何管理网络中的拥塞(BCN/QCN)基于优先级类别的流控在DCB的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCB的数据平台。带宽管理在以太网络中提供类似于类似帧中继(FrameRelay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。以上无丢弃技术都被定义在IEEEDCB协议族中。智能服务部署集中化技术各类网络智能服务，比如安全访问控制、安全检测、协议分析、应用优化和负载均衡等等是理所当然的IT资源的重要组成部分，因此资源整合也包括将这些网络智能服务无缝集成在基础设施内以便于虚拟化调度。根据XXXXX具体需求，本期建设应当考虑的须集成在基础架构内的智能服务包括：应用服务优化和负载均衡硬件化访问控制（防火墙）实时入侵监测（IDS/IPS）网络流量统计网络协议分析CPU抗攻击保护远程无人值守管理（Lights-outManagement）服务嵌入式事件管理EEM服务如前所述，传统设计中由于担心智能服务设施的性能而不得不化整为零、分散部署，这将导致这些服务资源的利用将被竖井化，如下图所示是以防火墙为例的资源竖井，在接入层部署防火墙，虽然可以提高总防火墙吞吐容量，但资源却被割裂在每个细小的竖井中，不仅服务器部署缺乏灵活性，而且不同竖井内的资源无法跨区复用，当一个区域繁忙时，其他空闲的区域的防火墙资源无法被借用，造成部署浪费。如此多分散的防火墙也会造成管理上的复杂性。资源竖井随着硬件能力的提高，现在已经有能力在数据中心做出数十G能力的防火墙，使得分散的防火墙部署可以集中化。集中化部署的最大优势是便于资源的集中调度和忙闲复用，而且通过虚拟化技术分配给不同区域用户使用，便于统一管理。当需要增强性能时，只需在中心增加防火墙部署，不用触及各区域架构，而整体都会得到性能的提升，形成真正的资源池。不仅各区域用户使用可通过错峰提高性能，而且统一管理和策略一致性也能方便实现，并且在投入成本上也更便宜。如下图所示。资源池化当前XXXXX现有系统已经部分采用这一的智能化集中部署的方式，在本期改造中我们可以进一步加强资源池的总资源量，后面详细设计中会有详尽阐述。虚拟化虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是云计算架构中IT资源池形成的关键环节。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率、保证全局服务策略一致性的关键，同时也是为未来自动化资源调用和配置打下基础。在云计算架构的数据中心设计中，与IT资源相关的各个环节都应当有合理的虚拟化设计，这包括：应用/数据资源的虚拟化：典型产品和技术包括SOA，虚拟存储、VSAN、NPIV/NPV等等；主机计算（操作系统平台）虚拟化：典型产品和技术包括VMware，MSHyper-V，Citrix，……等等网络虚拟化：包括虚拟网络（MPLSVPN、VLAN），虚拟网络设备（虚拟交换机、虚拟路由器等），虚拟网络智能服务（虚拟防火墙，虚拟负载均衡等等）从新一代数据中心网络设计角度需考虑如下虚拟化技术：网络设备虚拟化技术除了需要充分利用传统的虚拟网络技术（如VPN、VLAN等）对网络作虚拟化以外，网络设备自身的虚拟化则是新一代数据中心的虚拟化热点技术。设备虚拟化技术可将多个设备虚拟化为单台逻辑设备（所谓多合一），也包括可将单台设备虚拟化为多个独立管理的逻辑设备（所谓一分多）。灵活的设备虚拟化将网络的转发资源和物理单元解耦，使网络彻底成为可自由配置的IT资源。如图为设备二合一的虚拟化（也称“虚拟交换系统”），该技术有如下优势：单一管理界面：虽然有多台物理设备，但管理界面完全为单台设备管理方式，管理和维护工作量成倍减轻；性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低。冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在虚拟交换系统下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丢失。而对于大交换容量的设备也可通过一分多的虚拟化而实现将其分配给不同部门独立使用，这样不仅避免购买多个物理设备、节约成本，而且各虚拟设备可错峰复用、提高设备利用率，用时提取、用后资源退回，快速部署和撤除设备而无须变更网络架构，形成交换转发资源池。要实现真正的转发资源池化，则一分多的虚拟化技术须区别于传统的虚拟网络的一分多技术。主要不同在于一台物理的交换机被划分的多个虚拟子交换机必须拥有独立的配置管理界面，独立而完整的全套协议进程（包括独立的生成树、路由、SNMP、VRRP等协议进程），而且还必须具备部分的独立硬件资源分配，比如内存、TCAM、硬件转发表等等。如下图所示（每个VDC就是一个虚拟子交换机）：多合一和一分多的虚拟化相配合，实现了更加灵活的、与物理设备无关的跨平台网络资源分配和调度能力，将网络转发资源真正池化，成为云计算架构中的IT 资源池的重要组成部分，为管理和运营自动化创造奠定基础。网络智能服务虚拟化技术面向云计算的数据中心在智能服务集中化部署的基础上，应能够将其服务虚拟化为多个独立的逻辑设备，无论使用者在网络的什么位置，都可得到属于自己的在服务资源，这样智能服务无须部署到接入层、也可为不同用户组提供对应的服务。实现在XXXXX数据中心网络中的智能服务应包括防火墙、IDS、负载均衡、协议分析等等，它们都应当可被虚拟化。如同对一分多设备虚拟化的要求一样，智能服务设备的每个虚拟子设备也应当具备独立的配置管理界面、独立的资源界定、甚至独立的协议进程。整合以及设备虚拟化的基础之上，云数据中心要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL加速、……网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。云数据中心网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，比如虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSLVPN网络……等等，从而实现网络智能服务的虚拟化。利用网络技术实现融合的虚拟化随着虚拟化技术作为数据中心的热点，越来越多的厂商在自己的优势产品中提供大量的虚拟化手段，但宏观看各类虚拟化技术从不同角度、面对不同IT资源形成了相互没有关联、孤立设计的解决方案，这些孤岛式的虚拟化技术在系统中叠加，不仅没有带来优势，反而带来管理、扩展性和功能等方面的缺陷。比较明显的例子就是已在数据中心广泛使用的服务器虚拟化技术和其他虚拟化技术的矛盾：网络不知虚机的存在，导致如下问题：虚拟动态的在线迁移（比如VMware的VMotion）使大量服务器经常变换接入的物理端口，而其网络策略（ACL、QoS、端口镜像等）无法以一种可扩展的方式为每个虚机设定；虚机的接入交换机往往是一个虚拟化软件平台里的软交换机，功能简单，耗费主机资源高，不能针对虚机进行高级网络策略设定；网络的物理接口往往对应大量虚机，无法分辨不同虚机的个性策略。虚机是一分多的虚拟化解决方案，而用户有多合一虚拟化虚机需求：广泛使用的VMware、Hyper-V、Patition等都是一分多的虚机模式，用户需要高性能处理和跨地域的灾备业务时需要多合一的虚机来完成任务。虚机迁移带来网络的二层可扩展性问题：虚机迁移需要二层环境，而传统的二层环境是不可扩展的（比如生成树问题、负载均衡问题、故障切换问题等等）。虚机受网络制约无法跨地域迁移：虚机迁移需要低延迟、高吞吐的二层环境，这制约了虚机的迁移范围，特别对于主备数据中心往往是在三层广域网上实现连接的，虚机无法通过有效迁移充分利用底层资源。针对以上问题，需要借助网络虚拟化技术来改善或提高服务器虚拟化能力，实现网络和服务器融合的虚拟化解决方案。在本次设计中，需要考虑以下先进的融合虚拟化技术：数据中心网络需具备虚机感知能力：能够在网络上以虚机为单位标定网络智能策略，并随虚机的迁移而迁移；将虚机的接入交换机从原来的软交换机变为硬件交换机，提高交换性能、降低虚机所在主机的额外开销；IEEE802.1Qbh和Qbg是两个并行的虚机感知网络的解决方案，但Qbg没有得到VMware的支持，仅有IEEE802.1Qbh拥有从虚拟化软件、网卡到物理接入交换机的全面商用化支持，因此将作为本次数据中心设计的首选技术要求。选取具备多机负载均衡能力的网络：使用具备虚拟化能力的负载均衡设备提供多合一的虚机能力，并在管理上和一分多的虚机方式统一。这既可以实现多合一的高性能处理，又能够实现跨地域的虚拟化，实现灾备业务的统一服务质量体验。数据中心采用具备高可扩展能力的大二层技术：主流的大二层扩展性技术有虚拟交换机的跨机箱端口捆绑，在拓扑中不出现环路，不采用生成树完成链路备份和负载均衡；使用二层多路径技术（Layer2MultiPath，L2MP），在二层环境实现和三层路由网络一样的可扩展性，主流有IETFTRILL；使用交换设备虚拟化技术，从接入层到核心虚拟化为单一设备，没有冗余环接的网络存在，需要厂商特定的技术和产品支持。网络设计应支持跨三层广域网的二层环境，以解除虚机迁移的地域限制：传统通过二层VPN技术（如MPLSL2VPN技术）对底层网络要求较高（比如必须支持二层VPN的高端路由器等），配置管理复杂，一些特定厂商技术支持专用于灾备数据中心二层互连的简单二层通道，建议作为优选方案。自动化自动化是云计算架构中实现按需、按质、定量供给IT资源满足上层业务需求的关键一步，自动化的本质是按业务需求对IT资源池中的资源实现自动、优化的调度。理想的自动化情境中，业务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。如下图所示：业务部署自动化需要有非常成熟的IT资源池和智能化调度机制，首先IT资源池需要如前所述的资源整合化、虚拟化发展到一定程度，即IT资源已经实现了高度整合和虚拟化；其次智能化调度机制必须依托于一个复杂性较低、稳定性较好的资源池平台，这就需要高度整合和虚拟化的资源必须实现在一个精简化的、无厂商互操作障碍的架构中，以降低调用的复杂度。具体业务自动化所必须的条件如下：一个高度精简整合化的资源池平台，使资源调度复杂性能降至最低IT资源高度整合、虚拟化架构极度精简和优化融合多厂商、平滑互操作一套自动化调度管理系统与IT管理流程、业务流程相融合的跨平台智能管理软件，可根据业务定义进行最终的资源调度和分配XXXXX数据中心技术要求总结根据XXXXX本次数据中心改造的原则和需求，应当采用面向云计算的架构对现有数据中心进行升级和改造，将架构即服务（IaaS）作为本次专有云计算的基础服务，为将来平台即服务（PaaS）和软件即服务（SaaS）等上层云服务奠定基础。XXXXX的本次数据中心改造的技术要求具有三个维度：IT资源的整合化、虚拟化和自动化，具体应包括如下关键技术环节：整合化：解决IT资源的网络化和集中化。一体化交换技术：用一体化交换网络（UnifiedFabric）解决传统数据中心网络本身存在不同的网络类型和协议，割裂了资源的共享的问题；高品质以太网技术：使用高品质以太网技术（DataCenterBridging）解决整合化对网络的高服务品质要求；智能服务集中化部署技术：使用集中化部署技术解决智能服务部署分散化导致的“天然资源竖井”问题；虚拟化：在应用/数据、主机、网络等IT资源充分虚拟化的基础上要特别重视实现如下关键的虚拟化：网络设备虚拟化：改进传统网络虚拟化技术，使用多合一、一分多的网络设备虚拟化技术形成更适于云计算资源调度要求的转发资源池；智能服务虚拟化：使网络中的智能服务和转发平面一起完成虚拟化，包括虚拟防火墙、虚拟负载均衡、虚拟IDS等等；融合的虚拟化：利用网络技术，融合和发展主机的虚拟化，包括：虚机感知网络：已成熟商业化的IEEE802.1Qbh的虚拟感知网络；虚拟负载均衡：使用可虚拟化的负载均衡实现多合一的主机虚拟化；大二层技术：利用可扩展的大二层技术延展虚机的调度范围，包括跨机箱的端口捆绑技术、二层多路径技术（L2MP）、设备多合一虚拟化技术等等；跨地域二层延展技术：使用跨地域的二层延展技术实现跨地域的虚机部署。自动化：与业务流程融合的智能IT资源调度，实现业务部署的自动化，必须具有：一个高度精简整合化的资源池平台：使资源调度复杂性能降至最低一套自动化调度管理系统：完成业务流程、IT流程和最终资源的实际调配。XXXXX数据中心局域网络设计XXXXX数据中心建设原则随着中国国际电子商务中心业务的日益扩大，为了充分满足当前和未来的业务需求，中国国际电子商务中心计划对现有的网络进行合理规划与升级，以此更好的满足日益扩大的业务需求，更好的发挥中国国际电子商务中心在国民经济中的重要作用。本次外经贸专用网项目拟在原有外经贸专用网基础上统一规划、统一实施，改造升级和扩容现有北京亦庄主中心、东单同城备份中心和广州异地备份中心（另期考虑）三个网络中心。设计及实施应充分遵循以下原则：采用新一代的云计算标准建设新一代数据中心使用成熟的、商用化的云计算技术改造现有数据中心，建立一套稳定和可持续发展的云计算数据中心架构，并在此架构上规划未来5年的业务部署，以满足业务长期持续的扩展能力，在运营和使用中收获长期效益。构建新一代的绿色数据中心注重节能、环保和资源利旧，在设计上应站在较高的高度，利用云计算架构实现新一代的绿色数据中心。构建面向云服务的高可靠性整个网络系统必须有很高的安全性、可靠性和一定程度的冗余。要面向下一代的云计算灾备系统架构进行数据中心设计。网络的预见性和架构通用性随着未来用户应用规模的不断扩大，设计必须具备一定的预见性和架构通用性，对于可预见的发展趋势，网络架构必须从当前设计中给予充分考虑，并提供无须进行大的架构改变而能适应未来5年网络升级的稳定、通用的架构，最大限度保护投资，获得总拥有成本优势。总体网络结构XXXXX数据中心局域网络将采用层次化、模块化的设计。层次化结构的优势采用层次化结构有如下好处：节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。符合运维管理的基本准则：在运维管理中，对不同的变更有严格的系统影响评估，给予不同的变更流程。比如对核心系统的任何配置变更应经过多级严格审查、制定严格回退预案、经过专家和专门厂商技术人员的审批、并应在非生产时间完成，而对边缘设备的变更则由于其影响较小，则会用比较简易的流程完成。如果没有层次划分，那么任何变更都将被看出对核心系统有直接影响的行为，企业IT维护管理的灵活性和可用性将大为降低。标准的网络分层结构层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、QoS分类将也是这一层的基本功能。XXXXX改造后网络结构XXXXX数据中心提供数据服务和灾备的局域网网络，现有结构如下：改造后结构如下：上图中“核心交换区”是全网的核心层，来连接数据中心、网络运维中心、办公区、广域网骨干接入区、外联网接入区等几个模块。几个模块内部采用扁平化的设计原则，直接采用接入层路由器或交换机完成本模块的互连，但数据中心是一个非常庞大的区域模块，结合XXXXX的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。另外从前面提到的运维管理准则来看，位于不同层次的设备变更会引起不同运维管理要求，比如核心层的变更、汇聚层的变更和接入层的变更都有不同的停机容忍度和变更管理流程，为避免任何变更都成为最影响关键生产业务的变化，我们应当在数据中心内实现完整的层次化设计，即数据中心应有完整的核心层、汇聚层和接入层，允许在接入层更为频繁的变化，比如扩容、迁移，允许在汇聚层完成智能业务的升级、区域的划分，但核心层架构需要保持最大限度的稳定，一般性的业务变更不应当影响核心层的结构变化。。核心层与汇聚层设计网络转发资源的池化如前所述，全网必须有清晰的核心、汇聚和接入的层次化结构，因此核心、汇聚接入应当有相对独立的管理界面、控制平面和数据平面。我们可以用分立的设备实现，但建议采用高端大容量的核心设备，提供15T以上的单机扩展交换容量，提供物理机虚拟为多个虚拟机的功能，虚拟机完全如同实际的物理机一样拥有独立的配置界面、独立的控制平面和数据转发平面，完全的故障隔离和单独维护和重启能力。如下图所示：这样用一对高端大容量交换机虚拟化的实现冗余的核心层、冗余的汇聚层设备，有如下优势：转发资源完全虚拟化、池化，按需增加和削减虚机，无须改变物理和布线结构；虚机可实现错峰复用，每个虚机峰值性能可达置整机总性能，比传统使用中低端设备独立部署获得高几倍的性能；物理设备资源使用效率充分发挥；总设备投入成本从4台变为两台，电力成本、管理成本也同时降低；虚机管理平面、控制平面、数据平面仍各自独立，保持层次结构，不影响运维层次隔离性。因此对物理核心和汇聚设备有如下性能和功能的要求：需使用性能在4T以上的交换机构成，性能可扩展至15T；需支持一分多的虚拟交换机独立的管理、控制和数据平面每虚机具备可根据用户名账号区分的独立配置界面可单独重启、进行差错隔离对下连设备提供跨机箱的端口捆绑功能，即对端只要支持IEEE802.3ad，即可与核心层两个物理机箱相连，且跨机箱实现端口捆绑；具备独立的带外管理接口，该管理代理独立于交换机的系统软硬件，实现Lights-outManagement虚拟交换机之间仍使用万兆方式互连，建议采用4万兆捆绑、交叉，以三层路由方式互连。智能服务资源的池化汇聚层要提供数据中心网络的智能服务，包括：应用服务优化和负载均衡全7层、基于上下文的访问控制（防火墙）实时入侵监测（IDS/IPS）网络流量统计网络协议分析NAT/GRE等智能封装和转发CPU抗攻击保护嵌入式事件管理EEM服务以上作为基本的网络服务资源都应当整合在数据中心网络内，为了使将来的管理更为简便，组织架构和应用的变迁不至于导致网络基础架构的频繁变化，使虚拟化和自动化更为简易的实现，智能服务应当整合在网络架构内，并以虚拟化的方式提供给所需的业务部门。具体应当设计为：部署的物理位置要集中在汇聚层：智能设备资源应当整合到网络架构内，即智能服务部署的位置应当被所有需要的业务单位“可见”，而不应只被部分单位可见，否则则成为前述的“资源竖井”。比如：某接入层交换机串接的防火墙不可被其他接入层所利用，就属于“资源竖井”。因此智能设备资源应集中设置于汇聚层。智能服务应内置于设备或旁路接入到汇聚层：智能服务功能应当内置于汇聚层设备内，或者以旁路方式接入汇聚层，而不应当串接在各网络层次之间冗余网状的链路上。否则不仅网络结构变化影响智能服务，而且智能服务几乎无法扩展。旁路接入方式必须开放和标准：旁路方式接入的智能服务，必须能够“双臂”连接到两个汇聚层设备上，而且可实现链路捆绑。为了实现开放性的智能服务接入，跨汇聚设备的双链路捆绑必须遵循标准的IEEE802.3ad。智能服务功能必须支持虚拟化：智能服务必须能够虚拟化的提供给每个需要的业务部门，比如每个业务部门可得到自己的虚拟防火墙、虚拟负载均衡、虚拟IDS等。该虚拟智能服务设备要求与前面虚拟交换机VDC相同，即：独立的管理、控制和数据平面每虚机具备可根据用户名账号区分的独立配置界面可单独重启、进行差错隔离基于以上，建议充分利旧现有的Catalyst6500交换机，内置现有和本次扩展各类服务模块，以双臂旁路接入的方式连接到汇聚层，双臂旁路采用几条万兆进行捆绑，可根据6500内置服务模块吞吐性能决定，保证没有网络传输上的瓶颈。使用利旧的6500有如下优势：最大化的利旧和投资保护；当前的6500运行稳定，性能充裕（720Gbps，远高于当前业界的智能服务性能），在未来也不会成为性能瓶颈；智能服务模块集中放置，便于一体化管理；双6500可虚拟化为单机箱，简化网络连接和设备管理；6500内置模块均提供业界领先的虚拟化功能，可实现硬件的集中资源部署，分布到各使用单位的虚拟化智能服务，如下图所示：整合的机箱实现整合的资源服务，整合的资源服务通过虚拟化给不同的业务部门或单位，每个单位使用相应的防火墙或负载均衡时，具备独立的策略、独立的资源要求、独立的管理界面，完全不用关心是通过那个物理盒子来实现的。当业务调整、组织变迁，各种变更都不会导致硬件的复杂调整，只需软件上进行资源的重新虚拟化划分即可，管理非常简单。与服务模块有关的详细设计将在后面智能服务的详细设计中加以阐明。核心/汇聚层设计总结核心和汇聚层设计要点如下：层次化设计：应实现核心层和汇聚层的层次化设计；虚拟交换机池：可利用交换机的虚拟化特性实现核心层和汇聚层的层次化，减少设备数量，提供设备资源利用率；智能服务整合化：数据中心的智能服务应整合到汇聚层；智能服务开放接入：数据中心的智能服务应可以开放性的从汇聚层接入，包括支持多厂商，跨汇聚交换机端口捆绑以IEEE802.3ad为标准，支持智能服务旁路接入等等；智能服务虚拟化：智能服务可被虚拟化到接入层的不同逻辑分组内，具备逻辑独立性（虚拟化）；智能服务设备利旧：智能服务可考虑使用既有的6500机箱承载多种服务模块，实现利旧和投资保护；接入层设计以太网接入新一代数据中心的服务器接入已迈入了万兆接入时代，主要有以下原因：资源整合、统一交换的需要：传统的数据中心存储资源、计算资源和数据应用资源分别处于三种分立的网络中，造成天然的资源竖井，不利于资源整合化。而统一交换的网络则通过FCoE等技术实现了三网整合。三网整合需要更高的带宽和网络吞吐能力，10GE接口是服务器资源整合的起点配置。10GE网卡节约布线、提高性能、性价比高：即使当前不采用FCoE技术，也可以通过10GE接口得到节约布线、提高性能、减少接入设备等优势，而10GE网卡的价格也大幅下降，是当前最具性价比的服务器接入方式。众多服务器采用万兆接入，需要高密度万兆网络接入能力，而传统万兆都采用光纤接入方式，有如下问题：功耗高：当密度非常大的时候，功耗将导致运行成本的增加收发器价格高：当密度非常大的时候，将占的总投资成本的1/2以上理线困难：最小弯折半径受限，布线难度大当服务器密度高时布线管理、变更跳线非常困难为了解决传统万兆光纤问题，一种新型的10GBaseCU1细铜缆万兆标准成为服务器甚至交换机互连的主流万兆物理层标准，其有如下优势：低功耗：只相当于光纤的十分之一低成本：收发器更加便宜，价格只相当于十到二十分之一易于理线：细同轴缆，几乎可作任意弯折（光纤做不到），易于理线机柜内或同列内的短布线更易于管理CU1细铜缆万兆唯一缺点是布线距离限制（最长10米），解决方案是采用形如下图的柜顶交换机替代传统的机房集中式交换机，使用柜顶方式交换机还有如下优势：短布线易于管理：服务器接线在柜内或邻柜完成，易于线路排错和管理；模块化接入结构：经过柜顶交换机连接的服务器连同机柜已经形成一个完整的接入模块，若干模块可形成一个接入群组“POD”，这种接入方式易于升级、扩展，便于排错管理；一个接入层区块（POD）柜顶交换机应选取按数据中心专业设备设计的交换机，1～2RU的高度，能够提供可热插拔的冗余风扇组和冗余电源系统，后风扇组进风、前端口面板出风的前后通风散热设计。接入层大量的柜顶交换机不应当给管理上带来负担，与传统柜顶交换机不同，新一代数据中心要求的柜顶交换机应当能够集群化为一个逻辑的交换机，只需要一个管理地址、一个配置管理界面即可，这样一个POD内看起来只有一对冗余的交换机，如下图所示：柜顶交换机的集群化分为传统堆叠式，交换矩阵扩展式两种。交换矩阵扩展方式是更新先进的技术，相对传统堆叠式交换机有如下优势：性能高：传统堆叠方式多采用菊链级连方式互连，而级连带宽不超过10GE，很容易产生瓶颈；而交换矩阵扩展方式则采用高速的星型链路将各柜顶交换机汇聚到一个中心交换矩阵上，将交换矩阵连接线卡的结构实现在多交换机的集群内，是性能最高的交换机集群方式。可靠性高：交换矩阵扩展方式只有中心接入交换机运行复杂的操作系统，其他交换机结构似插槽式机箱中的线卡，没有复杂的操作系统，整个集群象一个交换机那样是一个整体；而传统堆叠方式则每个交换机都是独立的交换机级连而成，任何一个个体的软件故障都将波及整个堆叠系统；功耗低：交换矩阵扩展方式除中心交换机外其他交换机皆为线卡工作方式，软件简单，耗电量低；而传统堆叠方式则每个交换机都运行完整操作系统，需要较多电力支持；易于管理：交换矩阵扩展方式除中心交换机外其他交换机都无须Console端口，如同机箱交换机的线卡一样即插即用，配置都在中心接入交换机上完成，体验和使用单一交换机一致；传统堆叠方式则是多个独立交换机的复杂整合，需要较复杂的配置完成集群功能。因此推荐采用具有中心接入交换机的交换矩阵扩展方式的集群实现POD内的接入。如图，接入层的所有交换机都置于柜顶，其中中心接入交换机置于列中柜，其他接入层交换机放两边。中心接入交换机对POD外上连到数据中心汇聚层，对POD内一方面连接其他接入交换机，另一方面也可以在本地实现高性能服务器的直接接入。POD对外上连的万兆链路数量和其在下连的总端口数量呈一定的过载比，需根据具体业务类型选择，详见后面服务质量设计章节。一对中心接入交换机和互连的若干接入层交换机构成一个接入区块（POD），可以是一排机柜，也可以是若干排机柜。每个POD内部可以较多的使用铜缆连接高密度的万兆，也模块化的实现了更为清晰的大规模服务器连接，比如每个模块结构清晰，模块内线路都是短距的，可以很方便进行线路诊断；在扩容时可以很方面的以模块为单位实现平级扩容，而不影响原有模块。如果当前服务器的I/O密度还无法做到很高，也可以考虑仅部分机柜配置柜顶交换机，周边机柜的服务器连接到相邻机柜，形如下图每4机柜配置一对柜顶接入交换机：如图，如果柜顶交换机100/1000M电口密度不低于48端口，10GE密度不低于32端口，则千兆电口接入服务器每机柜最多可至10台，万兆接入服务器每机柜最多可至8台。对于少量千兆光端口接入的服务器，由于10GE端口普遍支持千兆光模块，因此也可以暂时从万兆端口以千兆光模块接入，以后升级无须变更网络架构。接入交换机需对服务器提供跨交换机的接入端口捆绑能力，如下图所示，这样支持IEEE802.3ad技术的服务器可以在两台接入交换机上实现多链路捆绑的冗余和负载均衡。因此用铜缆替代光纤，用短距跳线替代长距连接，用柜顶交换机替代集中式列头柜交换机，用交换矩阵扩展式集群实现接入层模块化的接入，是高带宽高端口密度服务器接入的必然发展趋势。存储网接入服务器接入存储网有两种接入方式：FiberChannel：服务器采用传统的HBA卡通过FiberChannel（FC）接入SAN网络FCoE：新一代数据中心的统一交换架构下，服务器采用以太网和FC整合的I/O卡——CNA（ConvergedNetworkAdapter）接入FCoE交换机。采用FCoE接入方式是新一代数据中心整合化所必须的技术，已逐渐成为代表正确发展方向的主流存储接入技术，后面章节有与传统接入方式的详细案例对比，其优势不再赘述。更重要的是，FCoE交换机兼容传统FiberChannel的接入方式，也即传统的服务器可以把FCoE交换机作为普通SAN交换机、用传统的FC接口实现接入，与传统SAN接入没有区别。为达到这种新旧技术并存的存储网接入模式，FCoE交换机除提供完整的FCoE功能以外，还必须能够达到如下要求：支持FC接口：FCoE交换机提供连接网络的（EPort）、连接终端的（FPort）的FiberChannel接口，并支持NPV/NPIV；支持SAN交换功能：FCoE交换机提供完整的SAN交换机功能，并兼容主流的主机和存储厂商产品，至少加入官方的EMC、IBM、HDS、NetApp对SAN交换机的产品兼容性列表；支持端口灵活分配：FCoE交换机提供灵活的端口设置，能够将任意一个物理接口设置为普通10GE、FCoE10GE、FC1/2/4/8G来使用。无论传统FC的服务器还是使用CNAFCoE的服务器，在接入交换机接入后，由该POD的中心交换机分别上连到以太网汇聚/核心交换机和SAN存储网汇核心交换机，FCoE链路在中心接入交换机处终结。其中上连到SAN核心交换机（XXXXX当前使用MDS9500系列）应分为FabricA和B两个平面，各自使用多个8G链路捆绑，实现冗余和负载均衡。这需要上连FC端口必须兼容已有的MDS导向器，且支持标准的基于IEEE802.3ad的端口捆绑协议。传统服务器和FCoE服务器共存的解决方案，不仅解决了新旧技术的过度问题，而且减少了接入交换机类型、数量和复杂性，整合了网络资源，提高了数据中心的资源部署效率，降低了功耗，部署连接图如下所示：接入层设计总结接入层设计要点如下：万兆接入和传统接入共存的架构：采用适于高密度万兆的服务器接入架构，即1～2RU柜顶接入交换机分布式接入，但提供丰富的端口选择：100/1000M，千兆光口，万兆光/电口；柜顶交换机集群：柜顶交换机支持多台虚拟化为1台的集群虚拟化技术，以简化管理，以采用交换矩阵扩展技术为优选方式；服务器跨交换机端口捆绑：服务器端可对两台接入交换机实现跨交换机的端口捆绑，并使用标准的IEEE802.3ad协议；FCoE和传统SAN接入并存架构：采用适于先进的FCoE技术的服务器接入架构，即所有万兆端口提供FCoE能力，但提供与传统FC接入并存的部署设计，即FCoE交换机同时提供传统FCSAN接入功能。FCoE和SAN功能都要有存储厂商的认证；端口灵活性：提供较大比例的接入物理端口可在千兆光口、万兆光/电口、FCoE端口、FC1/2/4/8G端口之间灵活转换；部署灵活性：柜顶交换机部署密度、POD上连端口数量、用于上连和下连的FC端口类型和数量可根据业务需求灵活调配，模块化扩展和升级；SAN互连的兼容性：上连的FC端口应完全兼容XXXXX已有的MDS存储交换机，并可实现多个8GFC的端口捆绑技术。网络虚拟化和逻辑设计新一代数据中心网络的逻辑架构是建立在融合的虚拟化架构基础上的，传统的逻辑设计，包括VLAN规划、路由和地址结构等，都应服务于新的融合的虚拟化架构。如前所述，新一代数据中心所需要的虚拟化是“融合的虚拟化”而非“孤岛式虚拟化”，如同网络是资源整合的核心，同样网络也是虚拟化融合的核心。本节将详细描述应提供怎样的数据中心逻辑设计，以解决孤岛式的虚拟化、实现融合的虚拟化架构。包括如下内容：具备虚机感知网络的设计：解决网络对服务器虚拟化实现的阻碍，包括接入层网络、服务器网卡和虚机Hypervisor平台的设计；数据中心大二层结构设计：解决网络对虚机迁移、FCoE技术实现的阻碍，包括如何设计一个可扩展的大二层结构；数据中心内逻辑结构设计：在以上网络虚拟化设计的基础上，可以对虚机标记、VLAN、VSAN、地址结构、路由结构的进行全面设计；灾备数据中心间逻辑结构：解决了虚机迁移、应用集群化的地理范围制约问题，包括跨广域网的二层扩展技术的设计；虚机感知网络的设计在网络虚拟化、数据/应用虚拟化、计算虚拟化三大数据中心资源虚拟化技术中，计算的虚拟化技术处于重要的位置。计算虚拟化的代表技术包括服务器虚拟化、虚机（虚拟服务器）动态在线迁移等。其中虚机在线迁移技术可使服务器不中断业务的在线迁移，从而通过虚机在硬件平台的动态分布而达到高效利用服务器硬件资源目的。但该技术的使用中经常遇到如下问题：虚拟动态的在线迁移（比如VMware的VMotion）使大量服务器经常变换接入的物理端口，而其网络策略（ACL、QoS、端口镜像等）无法以一种可扩展的方式为每个虚机设定；虚机的接入交换机往往是一个虚拟化软件平台里的软交换机，功能简单，消耗大量服务器资源，性能低，不能针对虚机进行高级网络策略设定；网络的物理接口往往对应大量虚机，无法分辨不同虚机的个性策略。为解决上述问题，新一代数据中心的接入层必须具备虚机感知能力。业界成熟的有两类解决办法：虚机系统内交换机的改进最直接的方式是改进虚机系统平台内的软交换机。Cisco与VMware联合推出了一款内置于VMwarevSphere系统内的分布式交换机Nexus1000v，替代VMware原有的vSwitch和分布式交换机。该交换机使得在一个Cluster内的主机上的所有虚机可以看成连接在单一的一台智能化交换机上，如下图所示，它可实现：无论虚机如何迁移，配置在1000v交换机上的所有网络策略（ACL、QoS、端口镜像等）都随虚机迁移而自动跟随；1000v交换机具备所有CiscoNexus交换机的智能性，包括丰富的ACL、QoS、端口镜像、Netflow等功能；网络管理员可针对每一个虚机或虚机端口组在1000v交换机上单独设定其独有的策略，与网络管理员在传统交换机上为真实服务器设定策略的命令行命令完全一致；策略设定后会自动在VMware内形成虚机端口组（PortGroup），也不影响VMware管理员原有使用习惯。标准的硬件化虚机感知协议由于对VMware内已有的软交换机的改进仍然没有解决软交换机消性能低、耗大量服务器资源的问题，而且为了使协议更具备开放性和扩展性，IEEE推出了两个虚机感知网络的标准协议：IEEE802.1Qbh（Hardware-basedVN-link）和802.1Qbg（VEPA）。其中当前成熟的商用产品是IEEE802.1Qbh，而802.1Qbg由于得不到主流的虚机系统厂商、特别是缺乏VMware的支持（802.1Qbh是VMware等厂商提交），因此还无法商用。无论是IEEE802.1Qbh还是802.1Qbg都必须具备三个环节的支持：虚机平台（比如VMware），服务器网卡，接入交换机。目前只有IEEE802.1Qbh在三个环节上都有成熟的商用化产品，其实现原理如下图所示：左图是使用Nexus1000v的虚机感知网络，右图为IEEE802.1Qbh，即硬件化VN-link，它在网卡和交换机端口上分别为每个虚机虚拟化出虚拟网卡（vNIC）和虚拟交换机端口（vEth），将针对每个虚机的网络策略写在vEth或vNIC上，这些策略都将跟着虚机的迁移而自动跟随，而且由于vEth和vNIC都是硬件完成，因此虚机的I/O通信拥有极高的性能、并且不额外占用宿主物理服务器的主机资源。虚机感知网络的设计总结根据数据中心设计的预见性和架构通用性原则，网络架构必须考虑到未来的主流趋势。虚拟机的应用和业务整合是数据中心不可逆转的趋势，因此网络设计必须考虑到对虚机的感知。而对虚机感知的网络技术的选型来看，应从产业链成熟性和已有市场地位来判断技术的可能主流方向，保证网络架构能够无须进行大的结构改变而能适应未来5年网络升级和扩展。鉴于XXXXX的虚机应用和业务整合集中在x86平台上，应以该平台绝对主流的VMware虚拟化平台作为其他技术选型的主要依照，因此最优的解决方案应当是保证在网络设施上优先支持IEEE802.1Qbh，而且能够不改变网络硬件架构可扩展支持IEEE802.1Qbg为补充。数据中心大二层结构设计新一代数据中心内部的网络逻辑结构的特点是“大二层结构”。所谓“大二层”是指所有VLAN都可以延展到所有汇聚层、接入层交换机的VLAN结构，这与传统数据中心VLAN往往终结在接入层交换机的做法不同。如下图所示：大二层网络结构的需求是由如下原因决定的：服务器虚拟化的要求：包括VMware在内的所有主流服务器虚拟化技术都能够实现不同程度的虚机在线迁移，而虚机迁移前后其MAC/IP地址等不变，决定了其迁移的源和目的应在同一个VLAN，因此VLAN可扩展的范围决定了虚拟化的程度和灵活性；网络业务整合的需要：新一代数据中心网络的要比传统网络更高的业务承载能力，包括FCoE、高性能计算（HPC）、各种集群化应用（比如OracleRAC等）等都需要纯二层网络来提供其业务所需的低延迟、高吞吐、MAC层直接交换的网络环境；智能业务整合、集中部署的需求：为面向范围更广的接入层提供智能服务资源池，智能服务被要求集中化部署，这就需要有智能服务要求的VLAN都能延展到智能服务设施所在的汇聚层。因此，大二层结构是新一代数据中心内部逻辑设计的准则，但二层网络的扩展造成传统二层技术在链路冗余能力、负载均衡能力、可扩展性和网络稳定性上面诸多问题，下面讨论如何构造一个可扩展的大二层网络。跨机箱的端口捆绑由于传统二层网络依靠生成树（或生成树的改进协议，如快速生成树、MSTP等）来实现冗余链路的负载均衡和故障切换，不仅设计复杂、建设维护管理难度大，而且链路负载不均、故障收敛慢且稳定性差。一种摒弃生成树的设计就是跨机箱实现以太网端口捆绑，如下图所示：这样设计之后，向任何一对冗余的物理机箱的连接都可看成是连向一个逻辑设备，多条冗余的链路可被捆绑为一条逻辑链路，逻辑链路内各物理链路可负载均衡和高效能故障切换。进行跨机箱的端口捆绑要注意如下设计：双活故障逃生：跨机箱端口捆绑机制的潜在风险是一旦核心机箱间通信故障或软件Bug，则会造成控制平面双活，对不同跨机箱端口捆绑机制，双活造成的影响不同，对于控制平面合并类型的机制，双活会造成所有端口停止转发的崩溃性后果；而对于双机箱控制平面独立的机制，则双活只会造成配置同步的暂时中断，不影响当前的数据转发。因此核心主干和POD中心接入交换机都应当选择双控制平面独立的机制。对外端口捆绑协议兼容性：跨机箱的端口捆绑，捆绑协议本身应采用开放的IEEE802.3ad，这样使被上连的设备感觉不到正在上连双设备，而是感觉与一个设备进行多链路捆绑连接一样。这样的设计可提供更开放的互连扩展性。跨机箱数量：跨机箱端口捆绑一般是在两个机箱实现，当对超过两个的多机箱进行端口捆绑时，由于双活甚至多活的几率大增、多机箱间的协议和配置同步难度加大，系统会变得非常不稳定，不适于在数据中心核心主干使用。如果要通过两个以上的机箱的平行扩展提高主干的容量，应采用其他高扩展性技术，比如下一节将要提及的二层多路径（Layer2Multi-Path，L2MP）。二层多路径（L2MP）二层多路径（L2MP）技术是将网络层路由技术的高扩展性、冗余性、负载均衡能力和策略性等优势移植到以太网MAC层实现的技术，好比是为链路层提供了与网络层一样的高级路由能力。由于L2MP技术基于已经成熟的路由协议技术，具备更强的拓扑适应性、更简单的设置和管理（几乎即插即用）、更开放架构（IETFTRILL标准化），因此正在成为跨机箱捆绑机制的替代技术。以下比较跨机箱的端口捆绑技术（VirtualPortChannel，VPC）和二层多路径技术（L2MP）。二层多路径技术已有基于标准版工作（IETFTRILL）的成熟商用产品，标准升级无须硬件变更，只需软件升级。交换机虚拟集群技术部分高端数据中心厂商已经推出了数据中心核心/汇聚交换机与柜顶接入交换机虚拟化集群的技术，通过这种集群技术，所有柜顶交换机完全成为核心/汇聚交换机的远端板卡，整体将被看成一个完整的、高端口密度的交换机。由于核心/汇聚交换机与柜顶交换机之间采用专有的交换矩阵扩展技术，与在同一机箱内交换矩阵和线卡之间关系一样，无须生成树、端口捆绑或其他多路径技术，整个数据中心工作起来象一个交换机一样，因此不失为一种精简架构的大二层解决方案。但这种解决方案也有其一些问题：接入层平面化：所有接入完全平面化，没有层次化过载比设计，因而除非整个数据中心POD内和POD之间的交换吞吐量基本没有差异，否则就会导致有的部分效率低、有的部分性能不足的问题；专有技术扩展受限：交换矩阵扩展是专有技术，在POD内使用不会影响扩展性，而全数据中心用一种专有技术，其扩展性和扩展规模将受限；存储网络方案无平滑过度：不仅数据部分平面化，而且存储的设计也随之平面化，现有的矩阵扩展技术还不能解决在柜顶端提供传统SAN接入交换的技术，必须采用FCoEMulti-hop或者另起单独的存储网络来实现存储互连。如果全数据中心都采用这种技术，则存储的设计将只能在最新的FCoEMulti-hop和最传统的单独SAN网络之间选择，没有二者共存、平滑过度的选择。因此DC-in-a-Box的模式虽然美好，但存在实际部署的问题，因此它可用来在局部POD内部署，或解决数据中心少数规模限度可预测、需极度精简化的POD部署需求。大二层设计技术选型总结根据以上分析，各类解决方案都有其适用的范围和独特优势，一个大型的数据中心不可能只使用一种方法完成大二层部署，因此建议遵循如下的技术选型原则：在核心/汇聚到个接入层设备之间采用L2MP：由于L2MP具备极强的扩展性和拓扑适应性，管理又相对简单、即插即用，路由协议为基础的冗余和负载均衡方法是经过考验的稳定方式，因此是用于网络主干技术的最佳选择；边缘采用跨机箱端口捆绑：由于服务器端、外接智能服务设备（防火墙、负载均衡设备等）大部分支持标准化的IEEE802.3ad端口捆绑，因此对这些设备的接入适于使用跨机箱端口捆绑技术；在POD内使用交换机集群：交换机集群技术缺乏层次化、技术专有性强，不适于全数据中心部署，但其精简化为单一管理节点的方式对层次化要求单一的POD内部署则具备极大的优势，因此在POD内进行集群化部署（实际上在前面接入层设计时已经按交换机集群化进行POD内设计了，详见接入层设计章节）。该技术也可对需极度精简化、又不需层次化设计的多个POD进行部署，将这些POD的所有交换机集群为单一逻辑交换机。大二层设计技术选型如下图所示：数据中心内部逻辑设计在以上设计的基础上，可以进一步对VLAN、VSAN、地址结构、虚机标记、路由结构等进行设计。VLAN设计大二层结构中，所有POD的服务器端口都应当可以被指定到相应VLAN内，各个VLAN可贯穿至汇聚层。VLAN在汇聚层如何终结，则与VLAN与防火墙、负载均衡等智能服务的关系相关：VLAN与智能服务边界严格匹配：以防火墙举例而言就是VLAN与防火墙安全域完全一致，这样VLAN的网关可直接设置在防火墙对应端口上，所有VLAN都贯穿汇聚层交换机而终结至智能服务设备。VLAN间的通信必须经过防火墙，安全控制严格，但安全域划分不灵活，因为可能存在一个安全域内包含多个VLAN的需求，而同安全级别的VLAN之间的通信也都放在防火墙上显然会加重防火墙负担。VLAN终结至汇聚层交换机：VLAN按安全域要求分组，然后每组VLAN终结至汇聚交换机的对应VRF上，不同VRF的外网端口再通过VLANTrunk或物理端口连接对应的智能服务。这种方式的优点是VLAN结构更加通用，智能服务边界可在VLAN上、也可在一组VLAN上，VLAN组内的路由直接在汇聚交换机上完成，不经过智能服务设备，提高吞吐效率。但要求汇聚层设备支持VRF和基于硬件的VRF三层路由能力。这是本项目的推荐方案。VLAN具体的划分方式仍可沿用XXXXX以前的划分模式。VLAN终结在汇聚交换机、VRF实现VLAN间路由，VRF对应智能服务的虚拟化设备的示意图如下所示：智能服务的详细设计请见专门章节。VSAN设计对于采用传统FC连接接入交换机的FC端口的方式，可按存储网络的规划在接入交换机上进行VSAN划分。对于采用FCoE连接接入交换机的方式，则FCoE端口具有双重属性，以太网的VLAN和存储网的VSAN。由于FCoE帧是以太网帧，因此每一个VSAN同时也必须有VLAN属性，FCoE交换机的VSAN唯一的对应一个VLAN，即VSAN/VLAN一一对应关系。每个VSAN所对应的VLAN的使用有两种选择：VSAN所对应VLAN也同时用于普通数据的传送：这种用法节约VLAN数量，但由于VSAN和VLAN是一一对应的，如果多个需要传送普通用户数据的VLAN要共用同一个VSAN（这种比较普遍），则无法实现；VSAN所对应的VLAN和普通数据VLAN分开规划：如果需要普通数据VLAN策略规划不受VSAN规划制约，比如一个数据VLAN内的服务器分属不同VSAN、或多个数据VLAN的服务器要共用一个VSAN，则应单独为VSAN设置VLAN，该VLAN专用于传送存储数据，不用于普通数据。在另外单独划分用于普通数据的VLAN。在连接服务器时，FCoE端口上需要启动VLANTrunking，同时中继用于普通数据的VLAN和VSAN对应的用于存储的VLAN。一般数据中心VSAN的规划数量远少于VLAN数量，因此增加的VLAN数量不明显，不会有太大管理上的负担。从规划灵活性、可扩展性、差错隔离能力等角度考虑，推荐采用后者实施VSAN规划。地址结构和路由如采用以上推荐的VLAN规划，则VLAN可以不受智能服务边界（比如安全域）、VSAN等规划的制约，具有较强的灵活性，因此本次数据中心架构改造仍可最大限度沿用原有的VLAN规划，从而地址结构保持不变。VLAN终结于汇聚层的VRF，VLAN间路由在VRF上完成。VRF之间的互通需要经过智能服务，然后回到汇聚层的全局路由转发机制上，后者与核心层采用路由方式。这个结构基本与XXXXX现有路由结构一致：VLAN经过VRF汇聚，经过防火墙模块回到6500全局路由。因此所有路由方式先期也保持一致，即VLAN之间的VRF、智能服务（虚拟防火墙等）都用静态和默认路由，汇聚层的全局路由转发机制与核心层的路由转发机制之间实现动态路由协议OSPF。以后可将智能服务改为透明模式，直接在VRF和全局路由机制之间建立动态路由协议，这会对此部分的逻辑设计产生较大影响，建议长期规划、逐步实施。汇聚层详细的路由规划详见智能服务设计章节。虚机标记传统逻辑结构设计不会涉及虚机的编址，而本次着眼于下一代数据中心网络的规划，网络首先要具备虚机感知。虚机标识业界存在两种方式：VN-Tag：是IEEE802.1Qbh中规定的帧标记，是不与现有任何帧标记和编址方式冲突的独立标记方式；VLAN-ID：借用既有的VLANID对虚机发出