区域SE培训-EDC架构设计

大型企业数据中心EDC架构设计日期：三月25行业解决方案柏海涛杭州华三通信技术有限公司培训的目标1、求助：行业化的云计算数据中心方案2、知识传递：企业架构、基础设施、案例对比3、思路：需求导入到量化设计目录企业架构与EDC架构演进案例：客户需求导入网络方案设计与云计算演进方案传统方案外延数据中心建设项目的定位业务层

业务规划、流程重组IT应用／信息层

核心应用、数据标准IT基础设施层

服务器、存储、网络、安全、容灾、IT管理数据中心场地基础设施层

风、火、水、电、场地运营企业架构与云计算的关系基于TOGAFADM的云计算规划方法项目网络架构ConsultingServiceScope企业架构网络架构规划方法论业务架构IT架构应用架构数据架构基础设施架构技术最佳实践行业发展趋势技术发展趋势网络架构规划架构落地实施参考模型数据中心广域网园区网框架模型：采用国际大型机构普遍采用的ToGAFV9模型企业架构：推导适应业务发展的IT能力，支持客户IT规划、落实满足未来业务发展战略的数据中心网络架构，建设水平到达同业先进通过调研分析，输入行业发展与技术趋势，设定IT能力的目标架构和基线架构，制定演进路标与解决方案选择，完成架构规划设计举例：灾备方案设计在客户建设流程中的位置交付流程特点确定项目范围成立项目组明确汇报机制客户现网调研应用系统调研数据架构调研客户需求调研输出差距分析文档客户需求文档技术可行性评估前沿技术方案输出网络蓝图规划高阶设计HLD割接与系统上线计划启动设计实施运维优化低阶设计LLD方案验证实施工艺配置模板售前方案设计设备采购传统项目分工界面蓝图规划：五年数据中心网络建设路标重要性紧迫度新灾备中心新三中心互联DC资源池与网络优化现有三中心互联扩容和优化新灾备中心基础设施规划分行DC灾备分行DC结构和功能优化核心节点业务路由器部署（服务中心、海外、新型外联等）核心网分布式业务路由器部署承载网DC网络接入网应用交付系统管理系统智能DNS生产DNS服务器负载均衡基础设施化基本DNS（管理与OA）广域网应用优化）精品网点网络分行内外联平台化网点上联灾备网点接入扁平化3G接入Internet内部VPN数据中心事件管理系统广域网应用分布分析系统承载网策略部署工具接入网策略部署工具接入网QoS检测与分析系统承载网QoS检测与分析系统新一代核心业务系统X86集群ApacheLinuxX86集群Weblogic/TuexdoX86集群NoSQLP1外部客户渠道X86集群ApacheLinuxX86集群Weblogic/TuexdoX86集群NoSQLP2内部客户渠道X86集群ApacheLinuxP5外联集成前置X86集群Weblogic/Tuexdo小型机集群交易型数据库P10管理分析X86集群WeblogicX86集群NoSQLP3客户服务整合小型机集群交易型数据库X86集群Weblogic/TuexdoX86集群CP4应用集成X86集群NoSQLX86集群Weblogic/TuexdoX86集群CP5外联集成X86集群NoSQLX86集群Weblogic一体机TeraDataP9数据集成X86集群分析型数据库/HadoopX86集群WeblogicoX86集群NoSQLP12在线交易小型机集群交易型数据库P6主机产品服务主机集群CICS+DB2X86集群Tuexdo/CP7C产品服务小型机集群交易型数据库X86集群Weblogic/JavaP8J2EE产品服务小型机集群交易型数据库数据路由层数据复制层渠道整合层客户服务整合层应用集成层外联集成层数据集成层产品服务层P11事务控制管理分析层核心区服务区控制区数据中心机房基础设施机房设计特点：1、机房采用模块化设计，可满足不同业务需求，便于灵活扩展；2、模块按不同用电密度划分，根据机房使用功能，设置不同的用电密度；3、机电系统标准化、冗余配置，便于末端灵活配置；4、各系统主干到位、末端预留，便于后期IT设备的快速部署和灵活调整。数据中心规模三因素：SPC面积

Space电量

Power制冷量

Cooling数据中心规模腾讯VSCCB数据中心机房层高“得房率”多级模块化与服务器虚拟化ServerMoRIDA/AggPower机房采用模块化设计，满足不同业务需求，灵活扩展；模块按不同用电密度划分，根据机房使用功能，设置不同的用电密度x86服务器小机比例达到1:1（之前1:3）；同一机房部署单型号服务器，全部实现虚拟化；5#6#7#“模块化的数据中心”扁平化模块分区计算存储IT资源池扁平化的分区模型IT应用网络武汉数据中心以网络资源标准化为中心，构建基础资源标准化的扁平化的分区模型，以此实现IT基础架构与新一代核心系统的松耦合。在未来业务的部署过程中，扁平化的分区模型可以实现建行业务的灵活扩展，资源的动态部署，满足建行业务的快速上线，从而实现一种网络架构适用所有业务。每机房部署单一类型服务器虚拟化：VM大二层灵活迁移（云就绪）大型EDC由于模块较多，采用四层网络架构;业务系统快速上线要求海量VM能够在多个层面实现灵活迁移核心区L2核心L3核心………目录16企业架构与EDC架构演进案例：客户需求导入网络方案设计与云计算演进方案传统方案外延总体建设目标17提供高可用的网络通信服务，稳定可靠地支持业务2.满足主备双中心的网络服务，满足应用和数据复制和备份的通信要求网络系统具备有弹性的，资源灵活分配的，可扩展的特性

，使其能够依动态响应变化，快速满足业务和应用在一定范围内变化的新的需求，配合业务的快速成长或变革提供稳定可靠的网络环境保证业务高可用及业务连续性弹性、灵活、可扩展的网络快速响应业务需求标准化网络设计，协议和资源规划网络设备兼备技术先进性和产品成熟性高效安全的网络运行管理,保障网络稳定运行安全的网络环境有效的网络风险控制XX集团新一代数据中心建设目标通过前期调研，结合集团现有实际情况，新一代数据中心建设目标可以概况为四个方面网络建设和投资的重点，与业务的关键程度和优先级一致网络资源共享,绿色节能在可视的资源监控基础上，实现网络资源的合理分配和预测主动为业务提供服务创新充分考虑利旧和复用成本有效，适度领先与业务目标紧密结合业务单元典型系统服务器/存储数据中心网络广域网接入集团LDAP/ESB人财物ERP视频会议开发测试共计800-1000台150T服务器/资金互联网MPLSVPNIPSECVPN置地会员系统X86ESXi仅服务器区未来统一整合MPLSVPN燃气客服CRM工程/物资原有50台，CRM新增14个机柜内网服务器DMZMPLSVPNIPSECVPN水泥GPS物流11刀片/7台小机30台X86外联/内联/生产/开发测试/基础设施MSTP专线MPLSVPN电力数据采集X86ESXi未托管在集团MSTP

专线IPSECVPN华创/万家门店业务，未来扩展电商未来部署刀片万家办公区没有业务分区MPLSVPNIPSECVPN银行账务/网银500个刀片/FCSAN/NAS核心/核心前置/外联/下联/网银/办公/开发测试/ECC双生产/单办公三线接入集团和利润中心IT系统现状分析现状情况：当前应用系统分为集团公用生产系统、集团公用办公系统、各利润中心业务系统三大类。办公系统和生产系统界限逐渐不明显。应用架构多为W-A-D三层架构，三层纵向FW隔离访问，但横向没有访问控制发展方向：运维管理系统，考虑部署企业控制中心，未来会和ITIL系统集成提高整体运维管理的操作规范性及效率。开发测试系统将建立数据脱敏系统在提高IT架构的安全性的同时提升开发测试到生产的高效迁移。网络建设需求：当前集团数据中心内部网络架构基本清晰明确，各功能区有明确定义，例如服务器区、DMZ区、资金区和下联区等，但考虑到现有分区不能覆盖到各利润中心业务部署的所有要求，以及集团业务互联网化的要求，需要分区再做优化调整。VDI业务部署对网络分区和访问控制策略的影响。计划再建设独立的两张网：IP数据备份网用来隔离大流量对生产业务的冲击，带外管理网减少管理失效风险。GSLB部署优化广域网及互联网的访问路径，部署WAN加速优化访问性能利润中心整合后，应用系统间的横向访问控制需要考虑。利润中心整合后，互联网出口和广域网出口能根据业务类型部署QoS。业务系统业务系统现状、发展和网络需求现状情况：集团内部1000台左右服务器，利润中心托管服务器1000台左右规模。数据库应用部署在小机上，部分小机部署虚拟化，整合比为2：1。部分利润中心署了Oracle一体机和备份一体机。发展方向：X86服务器虚拟化比例在50%以上，后续会逐渐增加。X86服务器会逐步采用虚拟化的HA/Vmotion等高级特性，提高系统的可靠性。X86服务器的扩展性依赖专用负载均衡设备实现业务负载分担和高可用。未来会部署桌面虚拟化，提高安全性，减少管理成本。网络建设需求：当前X86服务器采用千兆网卡，随着虚拟化比例的提高和流量的增加，需要扩展为万兆接入网络。万兆端口的成本下降及一体机和IPSAN的部署需要万兆接入网络。大规模虚拟化的要求带来的东西向流量明显增加的要求，实现服务器接入位置的解耦合。底层基础架构需具备虚拟化的感知能力，虚机迁移后的网络及安全策略保持能力及部署虚拟化安全相关技术。在云计算数据中心中，需要实现网络资源池、动态按需分配及设备的自动化部署。当前两个小机上RAC之间的心跳检测网络与生产网共用一台交换机，需要部署单独的心跳检测交换机实现物理隔离。服务器/存储资源服务器资源现状、发展和网络需求现状情况：集团存储有NAS和SAN两种：NAS存放非结构化数据和部分实时数据利润中心有IPSAN和FCSAN本地存储备份采用磁带和虚拟带库，存储远程复制使用FCIP，有些利润中心没有实施的灾备中心发展方向：新数据中心规划使用存储虚拟化技术。为整合服务器接入链路，可能采用FCOE统一接入。网络建设需求：数据库的备份同时支持LAN备份、LAN-Free备份和Server-Free备份，需要SAN网络和IP网络同时规划备份网络。集团和利润中心网络整合后，涉及FCSAN/IPSAN/NAS多种存储类型共存，FC/FCOE/IP等多种链路共存存储资源存储资源现状、发展和网络需求现状情况：业务连续性能力参差不齐，有的利润中心没有灾备中心，有的正在规划。每个利润中心的核心业务系统属于高优先级保证业务，业务高峰期业务可用性要求很高。部分业务部署LB设备实现业务高可用。网络建设需求：主备中心的建设模式，同城中心实现关键业务应用级灾备，其他业务数据级灾备。所有利润中心的灾备系统统一规划，统一部署。需要考虑网络设备、LB和FW的联动配合实现业务切换的影响最小化。业务连续性业务连续性现状及网络需求现状情况：集团层面已开始单独开展安全咨询及部署SIEM安全管理系统。网络管理已部署SolarWinds实现监控，缺少独立的带外管理系统和批量配置管理工具。业务的等保定级在2-3级，未来资金和电力业务可能升级为4级目前的安全控制策略及流量路径复杂，运维复杂度高。网络建设需求：优化区域划分，明确区域间隔离原则，加强互联网的出入口的边界防护建设独立的带外管理网，除现有网络监控平台外，还需部署统一的网络管理和控制系统，实现可视化管理利润中心网络整合后，能够对各利润中心的网络及业务系统进行统一管理。和云计算管理平台紧密集成，实现以应用为中心的快速灵活的业务部署。加强网络诊断机制建立，能定量评估各业务系统和利润中心对网络资源的占用安全及管理安全和管理现状及网络需求目录24企业架构与EDC架构演进案例：客户需求导入网络方案设计与云计算演进方案传统方案外延XX云计算中心需求模型业务需求设计需求技术选择需求应对措施公共云平台：支撑集团业务快速发展，支撑多种IT应用，多租户业务混合支撑集中管控：实现各利润中心IT环境平滑迁入，解决IT分散与管理难题，提高效率与降低TCO云计算诉求：高可用、安全可控、应用快速部署与灵活迁移，虚拟化资源池：提供平台支撑，资源共享；支持物理机向虚机转换，计算、网络、存储、安全资源按不同粒度定义、分配调度与快速回收；多业务承载：承载多种业务，主机托管业务安全，隔离及访问控制资源灵活性：业务资源任意部署，业务、资源与物理位置无关自动化运维：业务可编排，计算、存储、网络资源联动，动态分配与回收业务分区与网络解耦：物理分区标准化采用标准PoD模块—将网络需求控制最低并最大化利用风火水电；业务部署逻辑分区基于全局资源池，业务网关、应用、虚拟机、物理机实现解耦；物理网络SwitchFabric：物理网络做到横向扩展，物理机可在机房任意位置部署且可任意归属租户使用；逻辑网络大二层Overlay：多租户资源跨物理机房灵活扩展，应用、虚拟机与物理机三层解耦，实现最大化多租户资源共享；软件定义网络与安全：引入软件定义网络技术，采用Controller控制方案对网络管理实现编排；服务器接入需求（主机硬件视角）：物理服务器接入—端口速率、数量存储以太融合存储网络物理架构设计（基础设施与环境视角）：接入层—汇聚层—核心层布线标准、收敛比新型业务分区架构(业务应用视角）：逻辑分区与物理分区、多租户接入需求，模块化机房分配虚拟机接入与二层网络（云业务编排视角）：虚拟机识别、迁移、跨区扩展Overlay网络网关设计与安全设计（安全控制视角):网关部署设计新型安全访问模型云计算网络设计思路Topic1-1：

服务器接入形态选择：千兆vs万兆针对XX集团云计算的建议： 1、集团云的高性能服务器的生产网口采用万兆以太；2、管理网及低性能服务器可沿用现有架构服务器接入速率标准交换机接入速率标准:10GE->40GE1、目前x86CPU间QPI通信25.6GB/s，服务器虚拟化环境下，千兆网络接入已不能支撑，服务器万兆接入正在成为标准配置；2、基于保护投资的目的，万兆无缝兼容千兆，可保障未来5-10年的网络与布线系统投资；Topic1-2：

服务器接入的端口数量模型特点：生产业务通过双网卡捆绑方式接入两台生产接入交换机（具体包括网卡容错、负载均衡与交换机容错等模式），提高服务器接入层可靠性。带外管理接口接入带外接入交换机，用于服务器初始化配置、宕机故障定位与修复物理X86服务器接入交换机接入交换机带外接入交换机模型1：物理X86服务器当前，XX客户的服务器管理没有带外接入生产业务流量VM管理流量虚拟化X86服务器vSwitchPGPGPGPGPG生产接入交换机生产接入交换机带外接入交换机vnicvnicvnicvnicvmknicvmnic1vmnic2模型特点：服务器被虚拟化后，虚拟机与物理机复用物理网卡VM间的流量通过内部软交换机vSwitch做一次交换，VM的生成、迁移流量对生产流量容易形成冲击带外管理接口接入带外接入交换机，用于服务器初始化配置、宕机故障定位与修复模型2：虚拟化X86服务器Topic1-2：

服务器接入的端口数量生产业务流量VM管理流量Vmotion流量vSwitchPGPGPGPGvSwitchPGPG生产交换机生产交换机带外交换机vnicvnicvnicvnicvmknicvmknicvmnic1vmnic2vmnic3vmnic4VM交换机VM交换机模型特点：云计算环境下，虚拟机需要实现集中管控，自动化编排，需要对Hypervisor与虚拟机规划独立网络通道；物理机、Hypervisor与虚拟机分别通过不同的网络进行访问；生产网建议采用10GE双网卡；虚拟机管理与虚拟机迁移等流量通过虚机管理网接入（GE），为保证可靠性均采用双网卡；模型3：云环境X86服务器Topic1-2：

服务器接入的端口数量模型3A特点：采用模型3，物理网络有三张：生产网、虚机管理网、带外管理网，需要5台物理交换机；为合理控制成本，降低管理的设备数量，将虚机管理网与带外管理网进行融合，可减少两台交换机；Topic1-2：服务器接入的端口数量模型3A：云环境优化模型生产业务流量VM管理流量Vmotion流量vSwitchPGPGPGPGvSwitchPGPG生产交换机生产交换机带外交换机vnicvnicvnicvnicvmknicvmknicvmnic1vmnic2vmnic3vmnic4机房模块2机房模块3机房模块1操作中心支持间电信间进线间ER主配线区MDA中间配线区IDA中间配线区IDA水平配线区HDA设备配线区EDA设备配线区EDA设备配线区EDA设备配线区EDA水平配线区HDA水平配线区HDA水平配线区HDA运营商接入主干布线主干布线主干布线主干布线水平布线水平布线新一代数据中心机房中间配线区IDA水平配线区HDA设备配线区EDA设备配线区EDA水平配线区HDA主干布线主干布线水平布线Topic2-1：国际标准：TIA-942-A与布线X86服务器/小型机/NAS/FC存储接入模型分析布线层级网络层次网络设备X86服务器NAS存储小型机FCSANMDA核心√IDA汇聚√HDAMOR√√*

√√EDATOR√√√*TIA-942-A定义的结构化布线模型有4个层次：EDA（即服务器机柜）、HDA（即通常所说的列头柜或列中柜）、IDA（可用于摆放网络汇聚层交换机）、MDA（网络核心交换机、出口路由器）；网络设备部署的位置与布线层次融合，利于数据中心的扩展性、运维便捷性，降低故障风险与排查难度核心交换机汇聚交换机柜顶列中列中列中柜顶柜顶机房模块主配线区MDA中间配线区IDA水平配线区HDA设备配线区EDA设备配线区EDA水平配线区HDA主干布线主干布线水平布线分析：如严格基于TIA-942标准，按照XX新一代数据中心的设计，采用MoR（列中柜接入）是一种自然方案；优势：列中柜部署交换机，层次架构清晰：可以实现一级收敛，降低布线成本；同时对故障域进行隔离，便于维护，后续带宽扩容较为容易；劣势：增加一层网络设备，设备成本有所增加，运维的管理对象较多；纵向虚拟化技术可以简化管理维护；XX新一代数据中心为多机房模块架构每模块内机柜数量约190个，呈行列分布布线层次为四层三级，每机房部署模块汇聚交换机；列中柜为优化选择Topic2-3：网络层次划分与布线层级的关系制约机房服务器部署密度的主要问题是电力而不是机架的物理空间；低密度电源区不太可能部署4U高度以上的高计算密度服务器和刀片服务器（按照供电能力只能部署不多于两台服务器），因此部署8台以下的2U高度的机架式服务器会成为标准配置；高密度电源区会部署高计算密度服务器和刀片服务器，但数量在5~8台以下（因服务器功率与高度而异）；典型服务器部署与供电能力关系为什么在国内数据中心刀片部署偏少？某省政务云数据中心机柜设计TORTORServer存储ServerServerServerServerServerServerServerServerServerServerServerServer存储ServerServerServerServerServerServerServerServer存储基于了解到的集团新一代的机房单机柜供电能力：每机柜的x86服务器密度在8-10台左右，需采用ToR接入；单台服务器的端口数：建议4-5个；分成2x生产端口，2x虚拟机接入与迁移，1x带外管理基于单机柜的端口接入密度需求，基于一定的富余量，可选择对应ToR型号；基于一定的收敛比（1:4、1:8），可确定ToR的上行带宽与光纤数量，进而确定整体网络的端口与设备数量；ServerServerServerServerServerServerServerServerServerServerServerServerServerServerTORTOR存储存储存储TORTORServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServer多组机柜共用ToRToR交换机置于单台机柜内缺点：风险与故障点集中多组机柜共用ToRToR交换机分开部署单机柜故障仅影响网络带宽多组机柜共用ToRToR交换机分开部署存储可采用就近部署，避免存储数据流量影响业务流量带宽Topic2-2：ToR接入模型与设备摆放数据中心核心核心NetworkCore汇聚汇聚ServiceZone1服务服务汇聚汇聚ServiceZone2服务服务汇聚汇聚PoDServiceZone3服务服务PoDPoDPoDPoDPoD接入接入接入接入接入接入接入接入接入接入接入接入物理资源与逻辑资源1:1映射传统数据中心通常将物理资源与逻辑资源进行1:1映射。一个PoD服务于一个ServiceZone。即几个/几列机柜服务于一个业务区域。业务区域扩能力弱，现有资源利用率低。一个PoD内出现多种异构平台，不利于数据中心标准化。某一类业务快速发展时，现有其他业务区域的闲置物理资源无法得到充分的利用，需要购买、部署新的基础设施，导致业务上线、业务需求响应速度慢。传统数据中心网络存在的问题Topic3-1：数据中心物理分区与逻辑分区汇聚汇聚汇聚汇聚汇聚汇聚汇聚汇聚核心核心EoREoREoREoREoREoREoREoREoREoREoREoREoREoREoREoR服务服务服务服务服务服务服务服务ComputerRoom业务1业务2业务3业务4二层域二层域二层域二层域特点：机房刚启用的时候，通常都是这种模式优势：适合业务混合部署（小型数据中心常常如此）劣势：随着分区扩大，逐渐变成一个分区跨多个机房，不利于资源共享，与云计算思想违背云计算要求应用部署与服务器物理位置无关传统模型：一机房多逻辑分区业务4区业务3区业务2区业务1区PoDPoDPoDPoDPoDPoDPoD核心核心核心核心汇聚汇聚汇聚汇聚汇聚汇聚汇聚汇聚服务服务服务服务服务服务服务服务接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入网络机房/MDAPoD∙∙∙∙∙∙∙∙∙∙∙∙服务器机房1服务器机房N•••业务1业务2业务3业务4业务1业务2业务3业务4特点：接入交换机归属到固定的汇聚交换机下的分区方式，接入交换机与汇聚交换机紧耦合，接入交换机下的服务器不能跨汇聚共享计算资源；弊端：随着分区扩大，逐渐变成一个分区跨多个机房，不利于资源共享，与云计算思想违背；后续业务快速扩张，业务跨机房部署则需要增加跨机房的布线连接，破坏原有规划，造成业务中断；服务器无法任意位置接入，造成基础设施能力浪费；传统架构部署的弊端数据中心核心核心NetworkCore汇聚汇聚ServiceZone1服务服务汇聚汇聚ServiceZone2服务服务汇聚汇聚PoDServiceZone3服务服务PoDPoDPoDPoDPoD接入接入接入接入接入接入接入接入接入接入接入接入物理资源与逻辑资源1:N映射基于资源池的数据中心打破物理资源与逻辑资源1:1的映射关系。一个PoD可以服务于多个ServiceZone。最理想的目标即实现“任意服务器，部署于任意机架，为任意业务提供服务”业务区域与基础设施的松耦合。将底层计算资源进行池化，为上层多种服务提供大容量的计算能力。共享模式平滑扩展能力强。物理共享资源上下层解耦和Topic3-2：数据中心分区设计思路：逻辑分区业务4区业务3区业务2区业务1区PoDPoDPoDPoDPoDPoDPoD核心核心核心核心汇聚汇聚汇聚汇聚汇聚汇聚汇聚汇聚服务服务服务服务服务服务服务服务接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入网络机房/MDAPoD∙∙∙∙∙∙∙∙∙∙∙∙服务器机房1服务器机房N•••核心核心核心核心计算资源池新建数据中心方案架构特点：增加一个二层核心，实现多个机房列/机房模块的互联互通，分区真正成为逻辑分区；优势：实现了全局资源池的物理连通，分区可以任意动态扩展，服务器共享率高，网关层网络设备（汇聚交换机）的要求降低；缺点：运维难度稍有增加；分区模型：SwitchFabric架构新一代数据中心网络架构选择因素实现方式需要为每个业务区域配置专属的EoR接入交换机，通过多组EoR实现多业务支撑。建立二层核心将业务区域汇聚及EoR接入二层拉通。每列机柜部署一组EoR箱式设备。运维管理复杂度随着服务器容量的增长，盒式EoR接入交换机管理节点过多，运维复杂度高。箱式EoR接入交换机管理节点数量少，运维复杂度低。设备端口利用率EoR设备会出现端口利用率低的情况。EoR设备端口利用率高。对于计算虚拟化支撑二层网络范围受限，虚拟机迁移二层流量与业务三层互访流量混存。二层网络范围不受限，二层流量与三层流量分离，流量模型更加清晰。成本因素传统方案新一代方案推荐采用网络架构对比特点：网关上移，柜顶交换机直连汇聚，省略MoR层的交换机；实现机房模块内的较大二层网络，将三层网关与二层汇集互联，实现逻辑分区与物理分区的桥接优势：实现物理网络的二层资源池，服务器可部署在任意物理位置，实现灵活接入；降低MoR的设备成本，降低网关的设备档次；劣势：布线成本略高；基于SwitchFabric的网络与布线架构设计推荐采用关注点1：二层Leaf节点的MAC地址容量关注点2：二/三层Leaf节点的ARP容量业务4区业务3区业务2区业务1区PoDPoDPoDPoDPoDPoDPoD核心核心核心核心汇聚汇聚汇聚汇聚汇聚汇聚汇聚汇聚服务服务服务服务服务服务服务服务接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入PoD∙∙∙∙∙∙∙∙∙∙∙∙核心核心核心核心汇聚VMVMVMVM数据中心内大二层需求大二层技术选择网络租户规模IRFVxLAN服务器数量规模4K10KTRILL对比项VxLANTrillL2/L3L2OverL3（更易维护）L2OverL2转发层面普通IP转发Trill域内专用芯片转发控制层面Openflow（与未来SDN灵活对接）扩展IS-IS转发路径物理网络路由相关最大16隔离域数量16M4K多租户（业务）隔离是（灵活创建虚拟网络）否虚拟机管理建立虚拟网络连接直接对接虚拟机与物理服务器对接，不区分虚拟机云网融合是（考虑物理网络与虚拟网络统一管理）否（纯物理网络方案，为考虑虚拟网络）Trill是纯物理网络大二层技术，VxLAN统一考虑了物理网络和虚拟化网络的维护管理，能够更灵活对接。VxLAN通过网络连接虚拟化可灵活实现多租户（业务）的隔离VxLAN通过集中控制器能够根据资源情况实时动态调整网络资源适配虚拟机资源的变化推荐采用关键技术分析－大二层技术网络大二层的技术术选择：1）TRILL/SPB；2）VxLAN。考虑到集团网络规模、迁移需求以及网络技术的成熟度，建议部署策略：第一步：先采用传统较成熟的网络设备多虚一虚拟化技术，作为云计算网络的承载主体；第二步：逐步向VxLAN网络过渡，并最终构建一套匹配云计算平台的虚拟化大二层网络。大二层网络区域关键技术分析－多模块扩展全局资源池的需求：随着业务增长机房模块分期启用，具备整个数据中心作为一个统一的全局资源池的能力计算灵活性与物理位置无关性：通过新技术（如VxLAN）物理机与虚拟机跨机房的平滑弹性扩展，要求服务器物理位置与应用系统不是解耦合，虚拟机可以在二层平台内任意的迁移，从而满足云计算对于网络的要求。管理上的考虑：从管理的角度而言，建议将资源池内的虚拟机迁移活动限制在同一机房内。二楼机房三楼机房四楼机房大二层技术路线分析STP利用STP消除L2环路网络设备虚拟化N:1虚拟化技术简化拓扑TRILL/SPBMACRoute实现L2多路径L2域最大16个设备VMVMVMVMVMVMTrillL2域VMVMVMVMVMVM最大4个设备L2域VMVMVMVMVMVM最大2个设备STP网络设备虚拟化TRILL/SPBVxLAN定位传统设计交换机利用BPDU技术，需要相对复杂的设计实现新一代交换机设计利用H3CIRFN:1虚拟化技术实现，组网简单、应用成熟下一代交换机设计利用TRILL技术实现大规模二层网络，扩展能力强L2oIP数据封装，不关心承载网络是L2或L3活动路径12~4（最大支持4*IRF）16无限制L2域带宽Tbps级别10*Tbps级别100*Tbps级别无限制隔离域数量4KVLAN4KVLAN4KVLAN16MVxLANIDLayer2扩展能力L2域理论上无限制VMVMVMVMVMVMVxLANOverlay(VxLAN)HostOverlay实现L2互通Overlay网络过渡方案ServervDeviceAgentVMVMServervDeviceAgentVMVML3ServervDeviceAgentVMVML3L3ServervDeviceAgentVMVMServervDeviceAgentVMVMNetworkOverlayHostOverlayHybridOverlay网络Overlay：组网:路由器或交换机作为Overlay网络的边缘设备和网关设备特点:纯粹由硬件设备实现Overlay功能,转发性能强主机Overlay：组网:虚拟设备（vDevice）作为Overlay网络的边缘设备和网关设备特点:纯粹由服务器实现Overlay功能,但是对于服务器性能消耗严重混合Overlay：组网:虚拟设备作为Overlay网络的边缘设备，物理设备作为Overlay网络的网关设备特点:融合两种Overlay方案的优点,可以实现低性能服务器与高性能服务器混网数据中心网络逻辑示意图目录53企业架构与EDC架构演进案例：客户需求导入网络方案设计与云计算演进方案传统方案外延核心交换区架构设计54核心交换区作为整个数据中心的交换总线，负责承担联通各个区域的功能。核心交换的设计考虑高性能、高冗余，与各分区间的松耦合关系。核心交换区使用独立的CLOS架构核心交换机，单机独立运行，架构清晰，故障能有效隔离，运维松耦合，且端口资源充足，扩展能力高，性能得以保证。对于未来的数据中心的扩展比较容易进行。核心交换区架构设计55核心交换区由两台核心交换机组成。按每个逻辑分区提供8万兆端口（实际投入4端口，预留4端口），整个数据中心提供10~12个逻辑分区；每个利润中心4万兆端口，7家利润中心计算，核心交换需要提供108~124个万兆端口才能满足接入能力。可用性当单台设备的可用性固定时，并行设备数量越多，可用性越高；新数据中心核心交换机与每个分区汇聚交换机以及现有数据中心核心交换机互联。每个分区汇聚交换机与其他汇聚交换机之间，以及数据中心之间有多条等价转发路径。单台交换机的维护、宕机均不会对网络造成中断影响。可维护性采用两台设备，对单台设备维护时，网络容量下降50%。云计算资源池架构设计为了满足云计算的部署和迁移，以及迁移后业务融合的需求，在新一代数据中心云计算资源池进行大二层的部署，用以承载全集团的计算资源。大二层网络部署方案：网络机房主MDA部署两台独立的高性能交换机，构成“大二层网络核心”，POD内的TOR交换机直接接入到大二层网络核心设备。考虑到利旧和迁移的需要，增加利旧区的设计作为过渡形态，以便于后续网络向标准化演进过程中，无须进行结构性调整。云计算资源池架构设计云计算资源池是数据中心服务器接入的主要区域，设计按安全级别划分业务汇聚，以现有的业务分类举例，划分为生产业务，测试业务，公共资源业务，运行管理业务等业务汇聚层区域。为了增强平台服务区网络的接入能力，降低二层环路的风险，云计算资源池的L2核心和TOR接入交换机采用网络设备N:1虚拟化技术。云计算资源池以POD做为最小服务业务提供单元以及网络建设单元，接入L2核心设备，可实现云计算资源池内的二层灵活部署。原则上，POD提供物理网络、物理服务器、物理存储接入服务，POD不区分特定的业务区域，同一业务的服务器可以在不同的POD部署和扩展。云计算资源池的综合布线数量和接入设备类型可根据POD接入服务器类型进行选择，如千兆机架式服务器接入、万兆机架式服务器接入，POD采用TOR模式部署。安全区视角下的整体架构关键技术分析－虚拟化技术网络N：1虚拟化技术的引进可以为云计算网络带来以下优势：冗余可靠：虚拟交换系统形成虚拟单逻辑设备、物理多主控引擎的跨设备冗余环境，在N：1虚拟化技术下都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是主控引擎，冗余切换比传统方式生成树STP技术更加迅捷平滑，能够保持上层业务的稳定运行。具体体现在：消除了网络中的二层环路，提高了可用链路带宽，增加了网络的可用性；收敛速度快；主交换机切换不影响防火墙及负载均衡。性能提升：N：1虚拟化交换机与其它交换机可以通过跨物理机框的双千兆或双万兆以太网捆绑技术，远比依靠生成树STP的负载均衡更均匀可靠，实际可用带宽也可以成倍提升。单一的管理界面：管理界面完全为单台设备管理方式，简化了管理界面。关键技术分析－防火墙挂接防火墙串联架构方案：数据中心核心交换机双机独立运行，不使用网络设备N:1虚拟化技术；防火墙串联在分区边界和核心层之间；核心