【方案】新一代企业数据中心网络架构设计方案

©2012CiscoSystems,Inc.Allrights

reserved.Cisco

ConfidentialUnifiedDCby

Weihang1新一代企业数据中心网络架构设计方案UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 2议题§

新一代数据中心的发展趋势§

新一代数据中心的网络架构§

新一代数据中心路线与实践“互联网+”给企业数据中心网络架构带来挑战大数据智能决策企业业务产品创新跨界多元竞争业务量爆发增长资源弹性和高效性多元应用适应性部署的敏捷性UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 4现有企业数据中心所普遍采用的架构§§2009年工行使用Nexus

7000/5000/2000建立的银行经典模式——“工行架构模型”成为几乎所有企业的参照模式：Extranet接入1Extranet接入2安全控制安全控制安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1安全控制前置2安全控制安全控制办公业务安全控制网管1网管2安全控制广域网区核心骨干网分行2分行1主网银备网银安全控制安全控制InternetInternet高速交换核心安全控制灾备中心安全控制………UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 5现有金融数据中心所普遍采用的架构§§2009年工行使用Nexus

7000/5000/2000建立的银行经典模式——“工行架构模型”成为几乎所有金融企业的参照模式：Extranet接入1Extranet接入2安全控制安全控制安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1安全控制前置2安全控制安全控制办公业务安全控制网管1网管2安全控制广域网区核心骨干网分行2分行1主网银备网银安全控制安全控制InternetInternet高速交换核心安全控制灾备中心安全控制………Extranet接入1Extr接入2安全控制安全控制anet安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1控制安全前置2安全控制安全控制办公业务安全控制网管1网管2安全控制广域网区核心骨分行分行1主网银备网银安全控制安全控制InternetInternet高速交换核心安全控制安全控制……传统硬件为中心架构的问题：片面提高硬件性能却忽视资源灵活性和效率应用系统及服务服务器的基础架构存储的基础架构网络基础架构干网通讯的应用2

基础设施灾备中心(电力,

冷却,布线,

及物理安全)现有的基础架构相互难以配合的服务不一致的安全策略相互矛盾的优化方案不一致的业务永续/容灾计划资源利用率低物理资源无法复用重复人力物力投入缺乏灵活性僵化隔离的基础架构任何变动牵涉复杂效率

15〜～25％--

Gartner电力、制冷

40％

--

IDC部署新业务平均8周

--

CIO

Survey传统虚拟化软件厂商的问题：重视资源融合虚拟化却忽视应用体验（质量和管理）ÒNo

SQLMPP

DatabasesHadoop79%Source:Gartner

/id=2210316Multi-HypervisorPhysicalMachineUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 8传统自动化和SDN控制器网络的问题：只关注网络自身的自动化，却忽视应用策略的沟通应用人员应⽤用分层应⽤用逻辑关系应⽤用服务质量应⽤用安全要求基础架构团队TopologySubnet/VLANRouterProtocolL4-7

Servs§

两个团队，两个语言应⽤用需求到基础架构部署周期⻓长，变更慢基础架构对应⽤用需求不可⻅见，⽆无法优化和可视化?多元应用适应性部署的敏捷性传统虚拟平台厂商传统网络硬件厂商企业数据中心的发展趋势以传应统用为方中案心无的法基础解架决构基：础App架lic构ati的on

新Cen挑tri战c

Infrastructure业务自动化部署的敏捷性ComputeComputeStorageStorageServicesServicesL2,L3传统自动化/控制器厂商Programmable Automation优化应多元应用适应资源融合资源的弹性高效ComputeComputeStorageStorageServices

ServicesSpineSwitchesL2,L3LeafSwitchesNG

Fabric资源弹性和高效性打破资源竖井•按需弹性扩展零接触自动化配置基企于业应业用务产策品略创管新控用为多元应用优化跨界•

多应元竞用争健康状态可大视数据智能决策自业由务灵爆活发组增网长UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 10议题§

新一代数据中心的发展趋势§

新一代数据中心的网络架构§

新一代数据中心路线与实践如何构建以应用为中心的基础架构资源的弹性高效ComputeComputeStorageStorageServices

ServicesSpineSwitchesL2,L3LeafSwitchesNG

Fabric资源融合打破资源竖井自由灵活组网按需弹性扩展UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 121接2安全控制Extranet接入安全控制Extranet入安全控制安全控制Extranet1Extranet2主机安全控制生产 前置3安全控制前置1安全控制前置2安全控制安全控制办公域区广网心骨干网核分行2备网银安全控制安全控制InternetInternet灾备中心安全控制高速换核网管1 网管2传统数据中心的业务分区竖井VLAN

1~10L3L2安全控制主网银VLAN

11~20VLAN

21~30分行1§

传统的分区式网络架构导致资源竖井限制了OracleRAC、HACMP等的集群化并行处理限制了VMware、Hyper-V等虚拟环境需要自由灵活的虚机调度范围限制了同部门服务器跨区延展（跨区的VLAN延展）限制了FCoE等存储融合所需的低延迟、高吞吐、纯二层交换环境§

传统的分区扩展的方案导致严重问题生产业务 环路业务A B不稳定无安负全控载制均衡不能横向扩展脑裂业务安全控制 安全控制 安全控制路三层由问题广播洪泛，导致不可交扩展、差心错率高、不稳定UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 13NG

Fabric形成动态可横向扩展的资源融合架构环路不稳定无负载均衡脑裂不能横向扩展三层路由问题播广洪泛，导致不可扩展、差高、错率 不稳定NG

Fabric§

NG

Fabric借助全新的Overlay技术，消除传统扩展弊病增强型的TRILL（FabricPath/DFA）增强型的VXLAN（VXLAN/EVPN，ACIFabric）§

解放了网络分区的形态，节点小型化、分布扁平化（“胖POD”）动态平滑横向扩展：Pay

asYou

Grow节点分布式、小型化：更细颗粒度的扩展高可用、高性能、低延迟简化管理UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 141接2安全控制Extranet接入安全控制Extranet入安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1安全控制前置2安全控制安全控制办公业务安全控制域区广网心骨干网核分行2备网银安全控制安全控制InternetInternet灾备中心安全控制高速心交换核安全控制网管1 网管2安全控制传统数据中心的业务分区竖井VLAN

1~10L3L2安全控制主网银VLAN

11~20VLAN

21~30分行1§

传统的分区式网络架构导致资源竖井限制了OracleRAC、HACMP等的集群化并行处理限制了VMware、Hyper-V等虚拟环境需要自由灵活的虚机调度范围限制了同部门服务器跨区延展（跨区的VLAN延展）限制了FCoE等存储融合所需的低延迟、高吞吐、纯二层交换环境§

传统的分区扩展的方案导致严重问题UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 15传统设计为何做不到真正的资源融合传统生成树传统VXLAN传统VXLAN，传统二层多路径（TRILL…）环路不稳定无负载均衡根本无法扩展不能横向扩展不稳定脑裂组播洪泛难于管理传统跨机箱捆绑单播洪泛，二层广播VXLAN/VLAN网关设计困难，难于维护16WAN/Core§

边缘终结所有的主机二层协议：包括MAC学习,

ARP,

IGMP,

LLDP,

DHCP……§

内部严格的故障隔离：Fabric内没有生成树、ARP广播、未知单播洪泛等等，象传统的路由网络一样可扩展§

VLAN

Anywhere：任何服务器可在任意VLAN，VLAN可延展到全网§

Gateway

Anywhere：任意位置都可做任意VLAN路由，同一VLAN网关一致§

Routing

Anywhere：无论VLAN内还是VLAN之间都以类似三层路由的方式通信©2014Ciscoand/oritsaffiliates.Allrights

reserved.需要全新一代的Fabric技术：NG FabricGWIP:GWMAC:0011:2222:3333增强型的VXLAN高可用性动态接入象三层路由网络一样的扩展和隔离性，实现统一的二层/三层转发CiscoNGFabric 带来优势灵活拓扑增强型的TRILL横向扩展UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 17NG

Fabric形成动态可横向扩展的资源融合架构§

NG

Fabric借助全新的Overlay技术，消除传统扩展弊病增强型的TRILL（FabricPath/DFA）增强型的VXLAN（VXLAN/EVPN，ACIFabric）§

解放了网络分区的形态，节点小型化、分布扁平化（“胖POD”）动态平滑横向扩展：Pay

asYou

Grow节点分布式、小型化：更细颗粒度的扩展高可用、高性能、低延迟简化管理环路不稳定无负载均衡不能横向扩展脑裂网关问题播广洪泛，导致不可扩展、差高、错率 不稳定NG

Fabric18适于各类数据中心规模，按需增长2

Spines4

Spines6

Spines8

Spines12

Spines16

Spines2,3043:1

Ports4,6083:1

Ports9,2164:1

Ports9,2163:1

Ports18,4324:1

Ports18,4323:1

Ports48

ToRs96

ToRs192

ToRs192

ToRs384

ToRs384

ToRs16uplinksper

ToR16uplinksper

ToR12uplinksper

ToR16uplinksper

ToR12uplinksper

ToR16uplinksper

ToR50

Switches100

Switches198

Switches198

Switches396

Switches4400

Switches当前可扩展规模32Spine768

Leaf1,000,000

Server©2014Ciscoand/oritsaffiliates.Allrights

reserved.传统数据中心资源整合的瓶颈数据网络、高性能计算网络、存储网络各相独立LANSAN

BSAN

AGatewayData

CenterSANHighPerformanceComputingHPCData

CenterLANAccessLayerServerServerSSeServerevrverer

r

SSeServerevrverer

rSSeServerevrverer

rSSeServerevrverer

rSSeServerevrverer

rSSeServerevrverer

rSSeServerevrverer

rFCFCEthernetEthernetSSerevrevrerSeSrveerrverSSerevSreverervrerSeSrveerrverSSerevSreverervrerSeSrveerrverSSerevSreverervrerSeSrveerrverSSerevSreverervrerSeSrveerrverSSerevSreverervrerSeSrveerrverSSerevSreverervrerSeSrveerrverSSerevSreverervrerOpticalCablesMDS

9500Catalyst6500SFS7000Cat4900MDS9200§

耗费大量功率§

线路结构复杂，难于管理、扩展§

资源没有整合，无法实现复用统一交换实现计算、存储的资源整合Unified

Fabric——统一交换平台HPC、LAN、SAN合一10GEDCE/

FCoEccessAayer

ServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerL

ServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerServerEthernetCopper10GE40GE100GEDCE/FCoE..

.N.ex.us

.5000Nexus

7000SAN

B§

绿色数据中心§

易于管理维护升级§

最大程度的资源整合，为虚拟化、自动化打下基础UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 21计算资源和存储资源的自由融合§

DynamicFCoE（FCoEoverNGFabric）在NG

Fabric上冗余且负载均衡的传播FC存储数据存储接⼊入灵活：⽀支持FC、FCoE、iSCSI……A/B双独⽴立转发平⾯面，冗余且差错隔离主流存储⼚厂商兼容性认证FCoEFibreChannelMultiprotocolServerSAN

“A”SAN

“A”SAN

“B”SAN

“B”©2013Ciscoand/oritsaffiliates.Allrights

reserved.22NG Fabric消除云之间的资源竖井Nexus1000v/

AVS实现虚机感知的以太网络传统WANNG

Fabric提供二层的扩展性，扩大物理机/虚机调度灵活性NG

Fabric和LISP技术实现跨地域的计算资源调度实现跨地域无处不在的虚拟化云计算VMNGFabricNGFabricLISPONTGVFabricUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 23NG Fabric消除云之间的资源竖井（混合云）用户私有云1（主）用户私有云2（备/双活）公有云服务提供商将二层网络以及相应的网络策略延展到其他云，使用二层加密通道按需自动将VM按目标云网络环境进行格式转换和驱动安装3.

在另一个云环境下生成新的VM，并且继承企业原有的安全策略4.

按需收回VM5.按需自动将VM的格式和驱动转换回私有云内原有的格式和驱动6.提供给用户在多个云之间灵活的选择，形成多云混合7.自动进行VM格式转换和驱动适配KeyValuePropsofICFfor

Business1.2.3.4.计算负载弹性延展到不同的云，且保持企业策略全局一致自动进行VM格式和驱动转换，提高灵活性按需收回计算量，高效经济提供多云选择，实现Build

Once

RunAnywhere如何构建以应用为中心的基础架构多元应用适应应用优化为多元应用优化应用健康状态可视©2014Ciscoand/oritsaffiliates.Allrights

reserved.25对各类平台和应用提供网络优化具备Overlay虚拟化技术，但充分利用硬件能力改善应用体验PhysicalMachine79%HYPERVISORSource:Gartner

/id=2210316HYPERVISOR HYPERVISORNo

SQLMPP

DatabasesHadoop基于网络硬件的Overlay技术提供虚拟网络的灵活性保持硬件网络的高性能Multi-HypervisorNGFabric

to

deny

TCP

445

to

deny

TCP

445

to

deny

TCP

445……todenyTCP

445……

to

permit

TCP

8080

to

permit

TCP

8080topermitTCP

8080……topermitTCP

8080deny

allDBEPGWEBEPGWebEPGtoApp

EPG:denyTCP

445permitTCP

8080deny

allFabric智能……+

L4-7服务自动串接(多厂商、多平台、分布式、负载均衡)APPEPGUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 26兼容金融应用和大数据应用的网络架构FWLBFWFWLBFWACI的金融应用加大数据网络架构LB LBNG

FabricNG

Fabric传统OTT的大数据网络架构Layer

3FWLBFWLB传统金融应用的网络架构Layer

3FW FWLB LBLayer

2Layer

2UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 27应用趋势：向小型化分布式计算发展存储资源计算资源不仅大数据计算，而且传统事务型应用也开始小型化、分布式处理，例如：VMware

vSAN,

SAP

ERP

on

HANA，……UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 281009080706050403020100性能和可靠性指数MainframeSC

/网络更多的参与到计算过程中FT/

RI南北 à 东西Enterprisex86

platformsOTT’sHyperscale网络流量模型的根本改变UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 29分布式应用的服务质量要求Map

1Map

2Map

NMap

3Reducer1Reducer Reducer Reducer 2 3 NHDFSShuffleOutputReplicationHbaseRegionServerHbaseRegionServerClientClientReadReadReadUpdateKeepaliveHeartbeatReadMajorCompactionMajorCompactionNameNodeJobTrackerZooKeeper低延迟零丢包高吞吐量低丢包率UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 30NG

Fabric如何解决大缓存与低延迟的矛盾40G低过载设计 + 独特的硬件转发技术0100020003000400050009000800070006000Latency

(us)TimeREAD

-­‐AverageLatency(us)QoS

-­‐READ

-­‐AverageLatency

(us)HadoopHbase

Read/Update不同硬件转发技术下的延迟对比11325374961738597109121133145157169181193205217229241253265277289301313325337349361373385397409421433445457469481493505517529541553565577589601613625637649661673685697709721733745757769781793Cell

Usage1GBuffer

Used10GBuffer

UsedHadoopTerasort

MapReduce不同过载比下的延迟对比10G上连的6:1过载的延迟情况40G上连1:1无过载的延迟情况普通硬件转发的读写延迟Cisco优化的硬件转发的读写延迟大吞吐低丢包VS.低延迟零丢包©2014Ciscoand/oritsaffiliates.Allrights

reserved.31充分利用硬件能力改善服务质量40G

BIDI技术改善东西流量带宽传统40G新型40G端口 布线成本 成本75% 75%©2014Ciscoand/oritsaffiliates.Allrights

reserved.32充分利用硬件能力改善分布式应用性能动态负载均衡技术改善东西流量效率NG

FabricTraditionalNetwork100 150 200 250 300Time(s)CaseStudy–BigData

AnalyticsBasedoncommonnetworkloadandlinkfailure

scenarios动态拥塞管理

90% 60% 60%NG

Fabric硬件转发技术动态负载均衡动态流优先30%reductioninapplicationcompletion

timeNetwork

Utilization应用的可视化：传统网络虚拟化技术遮蔽了应用的可视化Ò应用的可视化：传统网络的虚拟化遮蔽了应用的可视化Ò应用的可视化：硬件辅助精确测量流量基于应用的遥测（Application

Based

Telemetry）输入监控目标比如：某应用的WebServer到App

Server将收发两端的计数器联系在一起反馈结果PacketsReceivedonLeaf#5sentfromLeaf

#1Path1 2066Path2 2963Path3 2866Path4 2506PacketssentfromLeaf

#1toLeaf

#5Path1 2068Path2 2963Path3 2869Path4 2506DifferencePath

12Path

20Path

33Path

40PayloadIPLeaf地址应用标识M硬件设置标记应用的可视化：硬件辅助精确测量延迟基于应用的遥测（Application

Based

Telemetry）MatrixofLatencyMeasurementsbetweenalliLeavesistrackedateachLeafIEEE1588timesyncbetweennodesinthe

FabricExternalClockSourceontheSpine(SpineisBoundary

Clock)LeafnodesoperateasPTP

slavesExternalClockSource(PulsePerSecond-PPS)oneachSupervisor

intheSpine

ChassisBoundaryClockPTP

TimeSync应用的可视化：NG

Fabric虚拟化技术可对正在运行的应用进行遥测（Telemetry）HYPERVISORHYPERVISORHYPERVISORApplicationDelivery

ControllerFirewallHEALTH

SCORE96%LATENCY

5 Microsecond(s)DROP

COUNT

25

Packets

DroppedVISIBILITY7 VMs3 PhysicaliVTEPeVXLANIPPayloadFlagsPolicyGroupVNID应用标识和测量标识应用的可视化：基于应用的健康分值的进行自动化资源调整VMsPhysicalApplicationDelivery

ControllerFirewallCisco

Confidential38Microsecond(s)HEALTH

SCORE5926%LATENCY150DROP

COUNT

32550

Packets

DroppedVISIBILITY168应用的可视化：应用级故障定位和云租户视角管理应用的可视化：从应用到虚拟网，再到底层故障的层层关联，实现故障分析可视化Ò如何构建以应用为中心的基础架构部署的敏捷性业务自动化零接触自动化配置基于应用策略管控ComputeComputeStorageStorageServicesServicesL2,L3ProgrammableAutomationUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 42传统网络自动化的问题：应用与基础架构脱节：基础架构无法对应用优化和快速部署基础架构团队TopologySubnet/VLANRouterProtocolL4-7

Servs§

应用需求与基础架构配置完全脱节基础架构难以确定⾃自⼰己转发的数据属于哪个应⽤用，也就⽆无法对应⽤用实现优化和可视化应⽤用难以被快速部署到基础架构上，需要复杂的架构分析与映射应用人员应⽤用分层?SLAQoS应S⽤用ec逻u辑ri关ty系应L⽤用oa安d全要求Balancing应⽤用服务质量APPLICATIONNETWORK

PROFILE©2014Ciscoand/oritsaffiliates.Allrights

reserved.43Application Network Profile实现“应用策略驱动的SDN”通过控制器APIC（Application

Policy

Infrastructure

Controller）ADCAPPDBF/WADCHYPERVISORHYPERVISORHYPERVISOR连接策略WEB组由……构只能访问APP组只能被OUTSIDE组访问成 • WEB访问APP必须通过ACLACL策略为……QOS策略WEB到APP带宽最低保证1G流量优先级为1丢弃优先级为0……L4-7服务WEB到APP需要经过负载均衡负载均衡策略为……WEBSLAQoSSecurityLoadBala安nc全in策g

略APPLICATIONNETWORK

PROFILE用“合同”（CAoPInCtract）连接起来©2014Ciscoand/oritsaffiliates.Allrights

reserved.44“应用策略驱动的SDN”（ACI）帮助构建新的合作化运维体系APICCLOUDAPPLICATIONCOMPUTESTORAGESECURITY

NETWORKARCHITECTDESIGNCOMPUTEServiceRequestSTORAGESECURITYNETWORKApplicationAvailableTIMEF/WALD/BCWEBALD/BC APP DBExtensibleScripting

ModelNETWORK

AUTOMATIONL4..L7SERVICE

AUTOMATIONANDSTITCHINGITTEAMS

COLLABORATIONAPICAPPLICATIONCOMPUTENETWORKCLOUDSTORAGESECURITY©2014Ciscoand/oritsaffiliates.Allrights

reserved.45完全开源、开放、公开透明的多厂商架构APICOpenRESTAPIsSupportIntegrationWithAny

SoftwareOpFlex:OpenFabricAttachedDeviceAPISupportsIntegrationwithAnyNetworkDeviceAutomationEnterpriseMonitoringSystemsManagementOrchestrationFrameworksOVMHypervisorManagementApplications北向南向Openflow,3rdparty

switches,…UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 46议题§

新一代数据中心的发展趋势§

新一代数据中心的网络架构§

新一代数据中心路线与实践UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 47起点：标准的企业数据中心网络架构§

分区按合规化要求标准化设计（瘦POD）§

防火墙分布式下放到各分区§

采用数据中心专用网络设备构建（符合IEEEDCB/CEE要求，如CiscoNexus系列数据中心以太网交换机）Extranet接入1Extranet接入2安全控制安全控制安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1安全控制前置2安全控制安全控制办公业务安全控制网管1网管2安全控制广域网区核心骨干网分行2分行1主网银备网银安全控制安全控制InternetInternet高速交换核心安全控制灾备中心安全控制……UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 48标准案例：Nexus

7/5/2已成为银行DC的标配DCCoreNexus

7000DistributionNexus

7000端到端的DataCenter

3.0成功案例Cisco

DataCenter设计咨询服务六个月的客户现场验证测试-在2010年6月采购了10xN7018,

18xN7010,56xN5020,182xN2248同时部署了Cisco

Data

Center

ServiceNode解决方案思科DC3.0管理和运维最佳实践分享为向统一交换迁移和引入思科UCS/MDS产品创造销售机会ICBC现有结构（行内部代号DC2.0）客户需求§§§§

在2010年底前完成上海新主用数据中心的建设，支持新业务系统的按时上线,要求最高等级的可用性，稳定性和安全性简化数据中心管理和布线新数据中心需与工商银行现有网络管理系统和控制中心操作流程兼容客户收益§在上海新主用数据中心中采用了经过充分验证并能满足ICBC未来10年发展需求的新一代数据中心体系架构§

平滑的操作迁移§通过部署思科数据中心VDC/VPC和FabricExtender技术，降低管理复杂性和数据中心综合布线成本世界第一大银行将在其上海新一代主用数据中心中部署思科解决方案和Nexus端到端网络基础架构UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 49各大银行正在逐步从“工行模式”向新一代数据中心升级§

国内最早使用Nexus

7000的银行§

数据中心主体基本采用Nexus

7/5/2架构，上海中心有计划尝试基于N7/5/2的NG

Fabric§

数据中心采用Nexus

7/5/2架构（南湖核心和汇聚采用Nexus

7000，边缘是各个厂商设备）§

稻香湖准备采用NG

FabricDC技术§

数据中心已基本完成向Nexus

7/5/2架构的过度§

黑山扈新开机房将会尝试采用N7/5/2的NG

Fabric§

数据中心全面采用Nexus7/5/2架构§

国内第一家生产数据中心采用NG

Fabric技术的大型银行（Cisco

FabricPath/DFA）其他已经或正准备向NGFabric过度的N7/5/2金融企业：…©2014Ciscoand/oritsaffiliates.Allrights

reserved.50新一代数据中心：“以网络为中心”和“以应用为中心”APIC以应用策略为中心以网络策略为中心只实施NG

Fabric，保持现有IT运维体制适于兼容现有产品、应用部署方式传统Nexus

9500,9300,7700,7000,6000,5000,4000,3000,2000,1000,…外连兼容各厂商网络Nexus

9500,9300,2000,1000,…外连兼容其他Nexus及各厂商网络资源融合应用优化业务自动化资源融合应用优化业务自动化使用新产品，IT运维体制的革新适于要求敏捷应用开发的创新云业务部分产品软件升级F/WALD/BCWEB ALD/BC APPDBNG

FabricDCNMVTS

/

NSOAPIC起点时间创新应用为中心基础架构传统的长周期演进实现NG

Fabric，优化网管真正实现ACI网络为中心基础架构方式1：升级换代“稳扎稳打、步步为营”起点时间创新方式2：滚动迭代复制全网全网规模ACI局部规模ACI网络策略的ACI对创新技术的局部迭代演进“小步快跑、快速迭代”使用网络策略的ACI保持IT运维不变局部试点应用梳理后转为应用策略IT运维革新到应用为中心UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 53NG

Fabric案例1：民生第一个把物理架构从“工行模式”转向NGFabric的银行安全控制 安全控制Extranet Extranet接入1 接入2安全控制 安全控制Extranet1 Extranet2主机 生产 生产 前置1 前置2 前置3业务 业务A B安全控制 安全控制 安全控制 安全控制 安全控制 安全控制核心骨干网广域网区分行1 分行2 灾备中心安全控制 安全控制主网银 备网银安全控制 安全控制Internet Internet高速交换核心办公 网管1 网管2业务安全控制 安全控制 安全控制安全控制安全控制Extranet1Extranet2外联网区主机安全控制生产区网管办公区广域网区分行2分行1安全控制安全控制InternetInternet互联网区高速交换核心多中心生产业务A生产业务B安全控制安全控制安全控制安全控制安全控制 安全控制安全控制 安全控制 安全控制前置1前置2前置3办公网管1承载网安全控制广域模块主网银备网银Extranet接入1Extranet接入2网管2安全控制 安全控制 安全控制§

限在定更在大固的定物的理物区理域区内域可内灵活，难部以署灵、灵活扩活容扩，容业，增务灵加业活务性差适应性和敏捷性§

消资源除竖资井源，竖资井源，提利高用率资源低利用率§

可业容务一易致保性持差全局业务一致性UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 54内部广域网区核心后台区内网应用区内网隔离区中间业务、村镇区手机银行区互联网…广域网办公后台区网络管理区互联网区…交换核心1交换核心2案例1：民生798的工行模式架构（瘦POD）UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 55内部广域网区内部广域网区外联网区网管办公区外网应用区内网应用区核心后台区内网应用区内网隔离区中间业务、村镇区案例1：⻢马坡从瘦POD到胖POD，并试点NG

Fabric互联网…广域网…交换核心1交换核心2NG

Fabric互联网区 手机银行区 办公后台区 网络管理区NGFabric NGFabricNG

FabricUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 56NG

Fabric案例2：直接部署NG

Fabric（中信建投同城生产数据中心）FabricPath/DFAUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 57NG

Fabric案例3：直接部署NG

Fabric（交总行新一代综合业务系统）…SPINESPINESPINESPINELEAF

LEAFLEAF

LEAFLEAF

LEAFBoard

LEAF

Board

LEAFGW GWLEAF

LEAFLEAF

LEAFLEAF

LEAFSecuritySecuritySW

SWSecurity

SecurityCSWCSWCSW

CSW核心网A平面核心网B平面DC

核心FabricPath/DFAUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 58NGFabric案例4：直接部署NG

Fabric©2014Ciscoand/oritsaffiliates.Allrights

reserved.59第二代Nexus

9500©2014Ciscoand/oritsaffiliates.Allrights

reserved.60新的Nexus

9300和92009396

SFP+(48x10+12x40G)9396Copper

(48x10+12x40G)93128Copper

(96x10+8x40G)ModularUplink|

2HCY‘13AvailableUplinks12p40G

QSFP+6p40G

QSFP+6p40GQSFP+

E4p100G

CFP293120Copper

(96x10+6x40G)9372(E)SFP+

(48x10+6x40G)9332QSFP+

(32x40G)9372(E)Copper

(48x10+6x40G)9272QQSFP(72p

40G)9236CQSFP(36p

100G)NEW:Nexus9200/9300

(NX-OS)更大Buffer，支持Netflow9288Copper(48p10G+4p100G/6p

40G92160SFP+(48p10/25G+4p

100G/6pNetflow*Netflow*Cisco

Confidential61Nexus

9500：NG

Fabric的理想SpinePRICEPOWER

EFFICIENCYNEXUS

9000PORT

DENSITY PROGRAMMABILITYPERFORMANCEPERRICFEORMANCEICNODSUTSTRYLEADINGPRICE

/LSITNREUCCATRUDRBEANDWITHf1o.9r21GTbtopsper

slot1/0100GGTreadyand10Gto

40GmigrationPOROORWTGERDRAEEMNFSMFIAITCYBIEILNITCY

2JSS0T%AOTNEH/OIXGFMHTELHREAAPRI

T3LB6iAnCuPKxoPrCLt

Ao4Nn0EtaGFiniRgeErNEfonr

-bcDulEosSctIokGimNngerDaepnpssity

15%greater

powerandcooling

efficiencyMERCHANT+ASIC

APPROACHInnovationinCisco

ASICsUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 62Nexus

9300：NG

Fabric的理想LeafNexus®

9396PQ960G

Bandwidth48-port1/10GbSFP+

and12-port40Gb

QSFP+2

RUNexus9396TX960G48-port1/10GBaseT&12-port40Gb

QSFP+2RUNexus

93128TX1,280G

Bandwidth96-port1/10G-Tand

8-port40Gb

QSFP+3RUUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 63NG

Fabric案例：直接部署NG

Fabric（兴业银行大数据POD）Teradata数据仓库一体机调度服务器N9504N9504应用服务器配置监控服务器N台PC备份服务器，每台2块双口万兆电口网卡IP备份存储，4块双口万兆电口网卡直连FC存储N个一体机节点服务器，每台一块双口万兆光口板卡，一块双口千兆电口网卡小型机服务器，每台两块双口万兆光口板卡，一块双口千兆电口网卡FC存储千兆电口万兆光口万兆电口N9k/VXLAN©2014Ciscoand/oritsaffiliates.Allrights

reserved.64ACI案例1：国内第一个生产数据中心直接采用ACI的用户LeafNexus

939640G

xAPIC控APICAPIC带外管理网Spine（Nexus9508）Spine（Nexus

9508）nx2 ECMPLeaf Leaf Border

LeafNexus9396 Nexus

939610G10G 10G制器RS LVS LVS InternetAPICUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 65ACI案例1：“汽⻋车之家”思科AS提供的应用梳理服务互联网PC用户 互联网移动终端 内部用户DNS,80 DNS,80 DNS,80PC-­‐VIP M-­‐VIP API-­‐VIP负载均衡设备（LVS

FullNAT）IP,80PC M API缓存设备（SCS及Squid）IP,80负载均衡设备LVSDR未命中缓存 未命中缓存IP,80 IP,80 IP,80M物理服务器 PC物理服务器IP,8080 图例负载均衡设备LVS

DR

共享资源独有资源IP,1433

IP,8080

IP,445和139数据库缓存 搜索服务器 图片服务器 访问者Redis/Rabbitmg IP,80数据库服务器UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 66ACI案例2：国外汽⻋车制造业案例SAPBWonSAP

HANASAPBWonSAP

HANAApplication

ModelsInfrastructure

ModelsPoliciesSAPBWonSAP

HANADeployedonCisco

ACISAPBWonSAP

HANAService

LevelTopologyDeploymentSecurityPerformanceGovernance OtherUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 67ACI案例2：国外汽⻋车制造业案例SAPBWonSAP

HANAWANFirewallLBtoEPG

2Connectto

EPGConnecttoEPG

2High

PriorityAPPLICATION

PROFILESecurityGovernanceService

LevelScalabilityPerformance

AvailabilityADCF/WADCEWPEGB1EAPPGP2EDPGB3UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 68N5KN5KN2KN2KN5KN5KN2KN2KN7KN7K…N5KN5KN2KN2KN5KN5KN2KN2KN7KN7K…corecoreAPICACI案例3：金融企业的ACI迭代演进用ACI，但使用“网络为中心的策略”以滚动迭代的方式向最终的应用策略为中心的基础架构演进UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 69ACI案例3：光大银行的云计算区使用ACIS102S101L201Nexus

9508Nexus

9396L202BL203BL204管理网段/2440G10G1Gq

两台N9508为Spine；q

四台N9396为Leaf，其中两台为Border-Leaf；q

三台APIC配置为Cluster，均是Active状态；q

为光大“三朵云”计划里最先上线的一朵云UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 70ACI案例4：ACI开始大规模用于金融企业生产中心（以广发银行农本中心开放分区为例：支撑柜面、POS收单、ATM等20多项生产业务）LeafSpine存储层SANMDS

9500FC/FCoE/IP

Storage计算层…Nexus

9500Nexus

7700全网核心其他分区/WAN…dVSwitch/N1000vVirtual

MachineUnified

ComputingAPICSAN/iSCSI/…Nexus

9300ServiceBorder

LeafNexus

9300Compute

LeafUnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 71ACI案例4：广发银行农本中心ACI实现模式以滚动迭代的方式向最终的应用策略为中心的基础架构演进NG

FabricAPICAPPF/WALD/BCWEB ALD/BCDB网络策略的ACI阶段使用ACI构建NG

Fabric使用现网1:1映射到ACI

NG

Fabric获得ACI绝大部分收益，包括服务器灵活摆放弹性扩容、稳定可靠性大二层、应用高性能高服务质量、虚机网络统一管理、上层到底层关联分析可视化、策略化运维管理、自动化运维管理、兼顾开源与商用化优势等等只损失以上收益中与应用感知相关部分，比如关联分析是Overlay/Underlay而非应用/Underlay应用策略的ACI试点（切片）在以上ACI中构造特定“网络租户切片”在租户切片上试点特定应用的应用策略控制服务挑选历史负担轻、要求敏捷性高的互联网+应用未来逐步平滑过度现有应用，比如：优先迁移有应用架构重构需求的应用共用同一个Fabric，可以同时共存且通过核心层三层互连，平滑迁移UnifiedDCby

Weihang ©2012CiscoSystems,

Inc.

Allrightsreserved. CiscoConfidential 72ACI案例5：工行的DC3.0演进计划（规划已确定，当前试点中）数据中心局域网按照内网、外网和托管应用搭建三个交换矩阵组（Fabric-I、Fabric