湖南联通DCN网络方案v1

湖南联通DCN网络规划方案大纲EDC网络规划IT承载网网络规划EDC网络规划规划思路规划方案云计算、大数据等带来业务挑战业务挑战大数据智能决策业务应用产品创新跨界多元竞争业务量爆发增长网络架构资源弹性和高效性多元应用适应性部署的敏捷性云计算大数据Dev-Ops业务挑战，网络先行传统设计的问题资源弹性和高效性多元应用适应性部署的敏捷性CloudComputingBigDataDev-Ops传统以硬件为中心的设计只重视个体性能而忽视网络架构造成资源竖井，个体性能浪费传统虚机厂商的SDN只重视软件虚拟化而忽视硬件性能造成应用适用性和体验下降传统网络厂商的SDN只重视网络管理而忽视应用策略造成应用部署困难、周期长新一代数据中心技术总结：

扬长避短，兼容并蓄资源弹性和高效性多元应用适应性部署的敏捷性CloudComputingBigDataDev-Ops软硬结合的Overlay技术应用策略控制器技术下一代Fabric技术继承硬件性能新增弹性延展和高效继承软件虚拟化的灵活性新增应用性能、适应性和可视化继承网络的管理新增应用策略的敏捷业务部署ACI是什么：三个核心技术，三个核心组件以应用为中心的网络基础设施(ACI)是适用于下一代数据中心的创新架构采用了以下三个技术，解决了传统设计思路的顽疾下一代Fabric技术软硬结合的Overlay技术应用策略控制技术在结构上ACI由以下三部分组成：下一代交换矩阵（NG

Fabric）高可用：规避广播风暴和单播泛洪开放：兼容多厂家Hypervisor，OpFlex支持多网络厂商应用策略控制器（APIC）可扩展：策略集中管理，分布执行，规避控制器瓶颈问题高可用：控制器不参与数据转发应用网络配置文件（AppNetworkProfile）易管理：组策略抽象出的应用网络配置文件，便于网络部门和应用部门使用共同语言沟通灵活：组策略解耦低层网络资源（IP、VLAN），便于上线、迁移和扩容123123EDC演进路线网络策略网络策略网络策略应用策略产品：高性能N9k控制器：VTS/NSONGFabric：EnhancedVxLAN产品：高性能N9k控制器：APICNGFabric：ACI(EnhancedVxLAN)产品：高性能N9k控制器：APICNGFabric：ACI(EnhancedVxLAN)传统网络高性能SDNACISDNACISDN硬件升级软件升级应用梳理*CY2016Q2EDC网络规划规划思路规划方案湖南联通EDC建设目标灵活拓扑横向扩展高可用性动态接入AutomationCloudFabricScale-Out计算整合虚拟化存储整合虚拟化网络整合虚拟化网络自动化业务自动化NGFabric按照面向云计算、大数据和应用自动化的目标，分步实施，在现阶段需要重点考虑的是建设能满足后期演进的NGFabric边界网络接入域网络防护AntiDDOS核心交换域L2安全跨域访问控制业务数据域L2安全负载均衡应用层保护虚拟机安全数据加密和保护网络资源管理维护域带外管理系统安全运维中心安全服务域防火墙/IPS远程VPN准入控制堡垒主机/VDI威胁防御流量可视化………FWLBIPS/IDSVPN用户接入域安全管控网络准入IT承载网462513存储设备VVVVVVVV有虚拟化需求的服务器实体服务器湖南联通EDC网络规划目标拓扑图核心交换域L2安全；负载均衡；流量可视化；虚拟IDS/IPS；虚机主机防火墙/虚机数据交换区；应用层保护；漏洞扫描；防病毒；安全审计和加固；数据保护和加密业务数据域

安全服务域用户安全隔离及防护服务；虚拟共享防火墙；虚机数据交换区；VPN接入；IDS/IPS；堡垒主机/VDI；防病毒；安全审计系统；流量可视化带外管理系统；安全运维中心

网络接入域VRF/VLAN映射；负载均衡；L2安全管理维护域边界屏蔽；VRF/VLAN映射；Anti-DDoS根据不同的需要划分为互联网接入域、核心交换域、业务数据域、用户接入域、安全服务域和维护域6个不同的区域，不同的EDC机房根据需要可能存在不同的功能区域用户接入域安全管控网络准入Wifi接入控制EDC网络规划VLAN组1传统核心与汇聚层形成资源竖井L3L2VLAN组2VLAN组3OracleRAC、HACMP等的集群化并行处理要求二层延展VMware、Hyper-V等虚拟环境需要自由灵活的虚机调度范围同部门服务器跨区延展（跨区的VLAN延展）FCoE等存储融合以及大数据应用需要低延迟、高吞吐、纯二层交换环境技术关键点一：如何解决大二层结构的扩展性问题

两种大二层扩展性设计传统的多合一虚拟化（跨机箱端口捆绑）二层多路径（Layer2Multi-Path）扩展性核心横向扩展数量、距离有限（典型2～4，距离越远、数量越多“脑裂”风险越大，特别是环形级连的多机箱）横向扩展能力强，可跨DC部署（核心多达16个设备，256路并发）可靠性主干横向扩容时需断网集群化、紧耦合，需要多机箱高度协调、严格同步，稳定性降低平滑扩容，不影响现网各节点独立智能、松耦合机制，一个机箱故障不影响其他成员性能负载均衡不考虑最短路径，可能存在高延迟和错序路径，不适合存储数据端到端的最短路径优先算法，保证最低延迟和最佳路径，适合包括存储数据在内的各种业务管理性严格的对称拓扑，严格的镜像配置要求，管理复杂任意拓扑，配置简单，即插即用，特别适于核心层的横向扩展（Scale-out）存储融合能力无法产生SAN所需双独立Fabric平面，在骨干做LAN/SAN融合困难大天生各节点具备独立控制平面，适合构建双网平面，易于LAN/SAN融合当前实现Cisco

VSS，H3CIRF，HWCSS…IETFTRILL(FabricPath),CiscoNGFabricScale-Out技术关键点一：WAN/Core边缘终结所有的主机二层协议：包括MAC学习,ARP,IGMP,LLDP,DHCP……内部严格的故障隔离：Fabric内没有生成树、ARP广播、未知单播洪泛等等，象传统的路由网络一样可扩展VLANAnywhere：任何服务器可在任意VLAN，VLAN可延展到全网GatewayAnywhere：任意位置都可做任意VLAN路由，同一VLAN网关一致RoutingAnywhere：无论VLAN内还是VLAN之间都以类似三层路由的方式通信NGFabric：

象三层路由网络一样的扩展和隔离性，实现统一的二层/三层转发GWIP:GWMAC:0011:2222:3333IS-IS：维护拓扑iBGP：通告主机路由FabricPath：数据平面转发新协议来自成熟技术灵活拓扑横向扩展高可用性动态接入带来优势技术关键点一：动态、可横向扩展的拓扑NGFabric提供灵活的拓扑推荐的拓扑形态——节点小型化、分布扁平化（“胖POD”）动态平滑横向扩展：PayasYouGrow节点分布式、小型化：更细颗粒度的扩展高可用、高性能、低延迟简化管理技术关键点一：适于各类数据中心规模，按需增长2,3043:1Ports48ToRs16uplinksperToR50Switches2Spines4,6083:1Ports96ToRs16uplinksperToR100Switches4Spines9,2164:1Ports192ToRs12uplinksperToR198Switches6Spines9,2163:1Ports192ToRs16uplinksperToR198Switches8Spines18,4324:1Ports384ToRs12uplinksperToR396Switches12Spines18,4323:1Ports384ToRs16uplinksperToR4400Switches16Spines当前可扩展规模32Spine768Leaf1,000,000Server技术关键点一：核心与汇聚推荐采用40G互连

为10GE接入提供更佳的过载比，为存储、计算融合提供保障，可利旧传统的双芯多模光纤传统40G新型40G50%端口成本76%布线成本技术关键点二：MPO接口，需改造机房线路采用LC接口，可直接将现有10GE端口升级为40GE端口用户根据业务要求形成不同的VLAN（VLAN

ID只需本地有效）Fabric内通过Segment／VXLANID和VRF等技术实现云计算租户化（打破VLANID限制）防火墙、负载均衡、IDS等网络智能设备实现整合和虚拟化多租户隔离NGFabric

Segment容器24bitSegmentID技术关键点三：ManagementNetwork

LANASANAIBM:AIXSANB

LANBManagementNetworkHP:UNIXSANASANB

LANA

LANBManagementNetworkSUN:SOLARISSANASANB

LANA

LANB服务器接入方式处在变革时代统一的X86平台：资源整合，消除竖井Scale-Up向Scale-Out转变高性能、高可靠、平滑扩展、低价格有利于未来虚拟化和大数据要求资源池方式的分布式x86服务器架构竖井方式的传统小机架构SANBSANALANBLANAMgmtManagementNetwork

LANASANAIBM:AIXSANB

LANBManagementNetworkHP:UNIXSANASANB

LANA

LANBManagementNetworkSUN:SOLARISSANASANB

LANA

LANB技术关键点四：AdministrationFCSANBFCSANAVMNet1VMNet2VMNet3VMotionVMNet1BackupVMNet2BackupVMNet3BackupVMotionBackup接入层优化：统一交换（UnifiedFabric）

统一交换实现资源整合TwoServerLOMEthernetPortsTwo1GQuad-PortNICsTwo4GSinglePortHBAs虚拟化要求下的传统服务器EthernetLinkFCoETrafficOtherNetworkingTraffic低延迟、无丢包，具备各类业务的绝对服务质量保证ServerNICVMNet1BackupVMNet2BackupVMNet3BackupVMotionBackup新一代DC的UnifiedFabricFCSANBFCSANAVMNet1VMNet2VMNet3VMotionTwo10GSinglePortConvergedNetworkAdapters(CNA)ManagementIntegrated（UCSonly）技术关键点四：接入层优化，提高业务效率

传统商用外挂式缓存顾此失彼市场其他设备（使用Broadcom）CiscoNexus6000CiscoNexus7000大数据：多打一业务经常发生，需较大的Buffer其他业务（如虚机、集群、FCoE等）：则对延迟极为敏感过度强调Buffer容量，比如外挂大Buffer，会极大的恶化延迟技术关键点四：BufferbeingusedduringshufflephaseBufferbeingusedduringoutputreplication在HadoopTeraSort测试下CiscoNexus使用高速的片内Buffer应对大数据绰绰有余Bufferbeingusedinaggregationswitch(Nexusinthistest)此时上连交换机则几乎无Buffer开销（浪涌完全被接入层吸收）低延迟，提高业务效率

要在不同位置精细的设计Buffer容量Cisco接入层使用片内Buffer，具有业界最大的片内容量和响应速度，容量和延迟兼顾汇聚或核心交换机则无大量Buffer开销，实现更低延迟交换技术关键点四：接入层优化，提高业务效率

提供精细的QoS调整，进一步改善总体延迟Read/UpdateLatencyComparisonofNon-QoSvs.QoSPolicy~45%forReadImprovement未使用QoS策略使用QoS策略技术关键点四：接入层优化，提高业务效率

提升为10GE接入，降低Buffer占用，大幅改善延迟响应Hadoop的MapReduce测试中交换机Buffer开销（Buffer低说明避免拥塞的同时保证低延迟性）技术关键点四：Scale-OutCloud接入层的实现：设备物理布局

柜顶接入（ToR）方式：提高I/O密度，降低布线距离，模块化，易管理、易扩容Nexus2000Nexus5/6/7/9000去往核心和SAN网络或传统存储Nexus2000Nexus5/6/7/9000技术关键点五：接入层的实现：设备物理布局

管理上的效果：Nexus2000作为Nexus5/6/7/9000的“远程虚拟板卡”，看起来象一个大机箱设备去往核心和SAN网络或传统存储Nexus5000#showinterfacebrief<省略>--------------------------------------------------------------------------------EthernetVLANTypeModeStatusReason SpeedPortInterfaceCh#--------------------------------------------------------------------------------Eth100/1/11ethaccessupnone1000(D)--Eth100/1/21ethaccessdownLinknotconnected1000(D)--Eth100/1/31ethaccessupnone1000(D)--<省略>Nexus5000#showenvironmentfex100<省略>TemperatureFex100:-------------------------------------------------------------------------Module Sensor MajorThresh MinorThres CurTemp Status (Celsius) (Celsius) (Celsius)-------------------------------------------------------------------------1 Outlet-1 57 45 33 ok1 Die-1 95 85 45 ok<省略>技术关键点五：接入层的实现：设备物理布局

性能上是否会因为分为两层