下一代数据中心技术交流

1、下一代数据中心技术交流融合创新，引领未来数据中心面临的瓶颈和挑战软件架构计算和存储应用程序多数据中心及多ISPs客户端安全用户商业信息快速 稳定安全Agenda 分布式软件架构简介 分布式计算和存储设计 构建高速便捷的资源共享通路 多数据中心设计 环境演示及设备特性介绍商用分布式计算的起源：Google搜索每一次搜索（2006年数据）200+ CPU200TB以上数据1010 CPU周期0.1秒内响应Map/Reduce：互联网经济的技术基石处理海量数据（1TB）上百/上千个CPU 实现并行处理容错设计简洁地实现以上目的Google Earth uses 70.5 TB: 70 TB for

2、the raw imagery and 500 GB for the index data.分而治之Divide and Conquer Google MapReduce架构设计师Jeffrey DeanMap/Reduce算法简介mapping和reducing函数接收数值（键，值）对mapper可能把一个输入map为0个，1个或100个输出reducer可能计算超过一个的输入列表并生成一个或多个不同的输出“实践是检验真理的唯一标准”实践证明，Map/Reduce是出色的分布式计算模型Google宣布，其对分布于1000台计算机上的1TB数据进行排序仅仅需要68s对4000台计算机上的1PB

3、数据进行排序处理仅需要6小时2分钟在08年1月份，Google MapReduce平均每天的数据处理量是20PB，相当于美国国会图书馆当年5月份存档网络数据的240倍Map/Reduce处理流程源文件：GFSMap处理结果：本地存储Reduce处理结果：GFS计算：本地CPU处理Agenda 分布式软件架构简介 分布式计算和存储设计 构建高速便捷的资源共享通路 多数据中心设计 环境演示及设备特性介绍新旧数据中心的架构对比 传统中心 (Yahoo, Altavista)服务器，交换, SAN, NAS云中心(Google, Amazon)分布式设计，通用硬件, Map/Reduce旧数据中心典型

4、架构Fabric-Base Compuing（FBC）矩阵式计算系统融合了计算和存储 通过底层软件架构，建立了一个:单一系统横向扩展按需扩展的FBC矩阵式计算和存储架构真正融合应用服务器和存储服务器真正的融合极大地降低TCO 内置企业级数据管理 FBC 矩阵计算平台矩阵计算和存储架构的实现 - Nutanix存储就在主机里，简单，高效，灵活!Nutanix平台外貌前后高密度的虚拟化配件 简化集群存储 8x 400GB SSDs16x 1TB HDDs4x 虚拟存储控制器 * 以 NX-3450 为例计算4x 独立服务器计算节点 8x 英特尔 CPUs (64 核)最高 1TB 内存Dual 1

5、0Gbit Ethernet 2U空间，4个节点4 独立计算存储节点资源线性增长而非物理替换! NDFSPooled resourcesNDFS单节点：Compute: 16 CoresStorage: Flash: 400/800GB SSD; HDD: 4TB Controller: Nutanix controller VM不再需要物理机框的替换! 按需增长！Nutanix 矩阵式计算和存储平台提升空间及电力利用率传统架构Servers + Storage + Network = 42U电力消耗 = 6,800W每U最大VDI用户数 = 2.5Nutanix架构2 Complete Bl

6、ocks + Network = 5U电力消耗 = 2000W每U最大VDI用户数 = 16040% - 60% Cost Savings分布式架构与传统架构费用对比简化管理单一设备可靠性设计：数据冗余 GDDGIEABC虚机虚机虚拟户管理系统路坦力控制器虚机虚拟户管理系统路坦力控制器虚机 虚拟户管理系统路坦力控制器虚机DFHBACDEFGHI虚机ABC数据数据数据可靠性设计：虚机系统的高可用GDIE虚拟户管理系统路坦力控制器虚机 虚拟户管理系统路坦力控制器虚机 DFHBACDGABC虚拟户管理系统路坦力控制器虚机 虚机ABC数据虚机DEF数据虚机GHI数据虚机ABC数据AC可大规模横向扩展

7、弹性便于迁移分布式软件架构设计分布式计算和存储架构单节点计算和存储的融合通用硬件，容错设计新一代数据中心架构 Agenda 分布式软件架构简介 分布式计算和存储设计 构建高速便捷的资源共享通路 多数据中心设计 环境演示及设备特性介绍Fabric Connect自我组网, 自我识别, 自我管理的新一代云网络平台矩阵网络 Fabric ConnetServer AccessDistribution (optional)Campus CoreData Center Core EdgeServers 矩阵网络技术将网络配置时间减少了第三方认证 恢复时间25times1s DASAPayloadVLAN

8、 IDI-SID = 24 Bit Service IDInstance Service IdentifiersCustomerVLANsDASAPayloadCustomerwithNo VLAN Tagsor骨干网络传输层网络即服务（Network As A Service） -由IEEE 802.1aq(SPB) 标准协议定义ISISISISISISISISISISISISISISISISISISISISISISUnified ManagementDASAPayloadC-VIDB-DAB-SAB-VID802.1ahProvider BackboneBridgesI-SID用户网络数据

9、骨干网络不再以IP/MAC作为标识符，而是以Service ID来标识 矩阵网络二层互联说明ISISISISISISISISISISISISISISISISISISISISISIS网络管理员Vlan 20Vlan 20Assign VLAN20 I-SID 100Assign VLAN20 I-SID 100Virtual Service Network I-SID 100100100100100100100任意拓扑任意节点间,安全便捷的开通二层通道ISISISISISISISISISISISISISISISISISISISISISIS 矩阵网络 传统路由互联网络管理员Assign VRF-2

10、 IPVPN I-SID 200VRF2VRF2Virtual Service Network I-SID 200Vlan / IP net1Vlan / IP net2Vlan / IP net3Vlan / IP net4ISTData Center Core数据中心传统机架间互联方式在机架间，快速共享计算和存储资源闪电般的vMotion迁移速度; 数据无需经过核心设备矩阵网络下多个机架间的背板直联柜顶交换机的背板端口互联 可扩展支持到数百个机柜构建高效灵活的资源共享通道Row ARow BRow CRow D每个柜顶交换机提供4个方向的矩阵互联，单一矩阵端口带宽高达160G，矩阵总带宽随

11、规模而不断增长Row ERow F在机架间，快速共享计算和存储资源矩阵网络：按需“连接”的数据中心网络架构1、低成本，在任意的柜顶间提供高达640Gbps的高速、低延时通道2、柜顶交换机按需连接到核心交换机上3、将传统数据中心的二维连接，更新为新型数据中心所需的立体结构数据中心矩阵网络（Fabric Connect）特性1. 简洁：业务的变更或部署在边界设备上完成，零配置核心3. 弹性：任意设备或者链路的故障网络将在200ms内自愈4. 健壮：网络拓扑由设备自主维护人为操作失误不会影响网络正常运转ISISISISISISISISISISISISISISISISISISISISISISUnifi

12、ed Management2. 高效：超高速的背板直接，支持多路径负载均衡Virtual Service NetworkX网络安全 : 多业务的便捷隔离，符合PCI规范矩阵网络支撑各业务的安全、高效隔离传统网络极度复杂很难扩容容易出错静态模型矩阵网络良好可扩展性业务灵捷部署易于排查动态模型符合PCI规范 (Payment Card Industry)新一代数据中心整体架构小结网络10GE标准化 按需“连接”的创新设计 高速低时延的共享通道 计算更多比例的服务器已被虚拟化 更快，更多内核的读写服务器（SSD存储） 共享计算和存储资源 扩充使用横向扩展设计 快速部署 按使用量增加 Agenda 分

13、布式软件架构简介 分布式计算和存储设计 构建高速便捷的资源共享通路 多数据中心设计 环境演示及设备特性介绍数据中心面临的瓶颈和挑战软件架构计算和存储客户端安全Map/Reduce用户商业信息应用程序多数据中心及多ISPs快速 稳定安全矩阵式计算/存储节点矩阵式网络架构客户端网络应用负载均衡后台服务器群15263748应用负载均衡 解决应用的性能瓶颈客户端网络应用负载均衡后台服务器群15374826234651应用的高可用保障: Immediate Purchasing pages: Personal Information pagesWithout SSL加速 With SSL加速2048位S

14、SL加密 保障客户端的安全性客户需求：以SSL为基础的电子商务不断普及SSL处理对服务期的资源消耗巨大，造成响应延迟增大单独的SSL处理设备增加运营成本SSL加速解决方案的特点：高性能的SSL加速设备支持透明模式和代理模式与负载均衡和Web加速技术紧密集成集中的证书管理中文证书完善的支持业务优势：大幅提高电子商务应用的用户体验降低数据中心的运营维护成本应用服务器群Inside Clients全局负载均衡器GSLB电信DNS服务器电信电信二数据中心多ISP链路的管理 有效解决电信、网通互访慢问题!电信DNS服务器应用级双活数据中心模型一- 分应用主备模型双生产中心均需要完成生产业务通过数据复制技

15、术将数据复制到对方通过业务模块或用户的方式将业务分配到不同的中心平时主要的处理能力均分配给生产应用系统使用出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用生产数据中心1 生产数据中心1 生产数据中心2生产数据中心2应用B备份系统应用A应用A备份系统应用B应用A访问应用B访问Clients应用级双活数据中心模型二- 主主模型业务或用户分配到每个生产数据中心每个生产中心都有自己的应用集群对外服务跨双生产中心建立共用数据库通过数据复制技术将数据镜像到对方出现灾难时，正常的生产数据中心根据需要接管所有基于指定应用的请求所有的中心、主机和存储设备均处于生产状态和实现负荷分担生产数据中心1 生产

16、数据中心1 生产数据中心2生产数据中心2应用B应用A应用A应用BClients应用A访问应用B访问应用A访问应用B访问应用级双活数据中心模型三- 动态主主模型双生产中心均需要完成生产业务通过数据复制技术将数据复制到对方通过业务模块或用户的方式将业务分配到不同的中心平时主要的处理能力均分配给生产应用系统使用出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用生产数据中心1 生产数据中心1 生产数据中心2生产数据中心2应用B应用A应用A应用BClients应用A访问应用B访问应用A访问应用B访问在架构层面，多个数据中心通过内部私有网络互联，统一对外提供服务。在多个数据中心内，应用在每个数据中

17、心都是处于活动状态两个数据中心间Web、App及DB层次上由矩阵网络分别提供二层通道GSLB + DNS Web TierApp TierDB Tier(Active) Web TierApp TierDB Tier(Standby)External NetworksISP 1ISP 2ISP 2ISP 1 Primary Data CenterSecondary Data CenterL2 Extensionsor Dark Fiber动态数据中心应用优化和安全ClientsL2 Extensionsor Dark FiberGSLB + DNS双活数据中心整体架构建议-业务持续性保证双活数

18、据中心的内部私有网络架构基于矩阵网络的双活业务中心内部私有网络网络现状网络层次复杂整体性能低下主备中心切换过程缓慢的矩阵网络扁平化的网络（逻辑上单层网络）性能大幅提升双活架构，两业务中心可同时提供服务亚秒级的双中心切换 双活数据中心到三中心拓扑的升级1.平滑升级：新增数据中心可平滑接入接入，升级过程中不影响用户2. 弹性互联：任何链路或设备故障，网络平台均能在1s内自愈3.智能高效：数据由最优的链路和设备完成转发；三地网关设备均处于并发处理状态互联网/内网业务多中心并行运行将客户端请求发送到最佳的数据中心通过一组GSLB来对外提供服务GSLB监控服务的状态，并通知同组内的其他所有GSLB设备，

19、对于每一个DNS请求返回最佳结果好的策略选择和配置方式可以最大幅度提高客户体验GSLB 探测本地资源GSLB之间共享本地资源状态和Local DNS网络距离信息客户端运营商Local DNSGSLB + DNS Web TierApp Tier Web TierApp Tier互联网ISP 1ISP 2ISP 2ISP 1 Primary Data CenterSecondary Data CenterClientsGSLB + DNS突发情况的业务流量处理在出现故障或者服务能力无法支撑的情况下使用另外一个数据中心资源当本地资源出现故障时使用另外一个数据中心资源例如，一个服务器存储阵列出现故障

20、的时候，导致多个虚拟服务器同时无法使用避免本地的服务能力无法支撑的场景设置服务器的并发连接数限制设置优先级组，当本地资源不足时自动启用另外一个站点资源如果彻底的由于资源响应问题无法服务（或者同时故障），可以在应用负载均衡上直接返回错误页面App TierDB Tier Web TierApp TierDB Tier Web TierExternal NetworksISP 1ISP 2ISP 2ISP 1 Primary Data CenterSecondary Data CenterL2 Extensionsor Dark FiberClients“对不起，系统忙，请您稍后再试”如果一个数据

21、中心的资源不足或者故障，使用另外一个数据中心资源xx数据中心瓶颈和挑战的解决之道软件架构计算和存储客户端安全Map/Reduce用户商业信息应用程序多数据中心及多ISPs快速 稳定安全矩阵式计算/存储节点矩阵式网络架构应用负载均衡全局负载均衡链路负载均衡高性能SSL加速某公司数据中心规划部分建议五大机构：A. 集团有限公司：主数据中心，多ISP接入B. A子公司：双活备用数据中心，多ISP或单ISP接入C. B子公司：数据灾备中心或暂不设数据中心D. C/D子公司：内网接入或者互联网接入，启用SSL加速集团公司及A公司网络架构集团公司主用数据中心矩阵式计算和存储服务器柜顶交换机核心交换机核心交

22、换机矩阵网络10/40G链路千兆链路内网防火墙内网防火墙矩阵式计算和存储服务器柜顶交换机应用负载均衡 SSL加速应用负载均衡 SSL加速全局/链路负载均衡电信一电信二A/B等子公司外网防火墙全局/链路负载均衡外网防火墙App 1 集团数据整体架构集团公司主数据中心刀片服务器A子公司双活数据中心 C/D子公司SMLTSMLTApp 1App 1App 1App 1App 1App 1App 1水平堆叠Horizontal StackSMLTSMLT802.1qB子公司内部互联网L2 VSNL3/VSNMid 80s19982009网络产品拥有30多年的历史 已经为市场提供了1个亿的用户语音线路和

23、1个亿的数据端口1994SynOpticsBay NetworksEnd of RowVertical Stack resiliency交换机堆叠核心双机双活技术Virtual Services FabricEnterprise VirtualizationFabric Connect *Network Cloud2-4台虚拟成1台提供网络的弹性索契奥运会矩阵网络承载的业务系统比赛场馆数据中心(备份)数据中心(主要)奥运村媒体中心庆典中心IPTV 服务比赛网络服务统一通讯服务组委会服务无线WiFi 服务透明媒体专用网络服务安全管理成立日期: 2003年公司总部: Palo Alto, Cali

24、fornia2010年6月29日在 NASDAQ 上市公司定位：新能源、高科技汽车生产供应商员工总数: 6,000+目前在全球37个国家销售销售与服务网点: 目前全球超过125+ 个网点, 更多网点在快速发展中.Tesla 在中国:销售店: 目前在中国有 2 个销售店服务中心: 目前在中国有2个服务中心业务发展: 2年内计划扩充到 19 个销售/服务中心客户背景 - Tesla Motors挑战与项目需求IP网络上海DC北京DCPSTN主数据中心UC/CC应用中继接入备份数据中心UC/CC应用中继接入GWSBCE1接入A类节点：22个海外DC:2个SIP中继接入无中继入B类节点：15个SBCE

25、1接入E1接入挑战需要快速构建通信网络提供服务需要提供高效的运维管理以应对客户本地IT支持力量薄弱的现状需要节约一次性设备投资需求统一通信及呼叫中心一体化系统2个集中的数据中心 ，2个海外中继接入中心，37个分布节点应用集中部署，集中控制管理1850个UC用户，50个CC坐席UC应用：移动应用/BYOD，统一消息CC应用：ACD，报表，录音，多媒体，SFDC集成全网灾备，核心应用高可用可以快速部署、快速上线维护管理简便、高效按需及按服务付费而非一次性采购数据中心基础架构 Collaboration POD ( Main + ESS POD)数据网络交换机： VSP 7024XLS & 4850

26、GTSUC/CC应用服务器硬件存储设备：EMC VNX5300VMWare虚拟化环境：vCenter & vSphere数据库软件 POD 监控管理套件UC产品 Aura Session ManagerCommunication Manager G450/G430网关 Mobility UC 软件包 One-X CES移动通信应用 Aura Messaging 统一消息系统 SBC 安全接入网关 9621G IP电话/B189 IP会议电话CC产品 Elite ACD软件 Elite Multi-Channel多媒体呼叫中心软件 CMS报表软件 WFO录音软件 的解决方案 产品部分数据中心 C

27、ollaboration Pod硬件配置Main POD * 17024 XLS * 2, 4085GTS * 2L2690 服务器 * 2G450 * 1EMC VNX 5300PDU: Primary - 20A * 3Backup 20A * 3ESS POD * 17024 XLS * 2, 4085GTS * 2L2690 服务器 * 2G450 * 1EMC VNX 5300PDU: Primary - 20A * 3Backup 20A * 3组件描述数据机架H*W*D: 80 x 24 x 51 (inches )最大配置: 2000 lbs, 12 KW语音网关 Gatewa

28、y 450320 x DSP，2E1数据网络交换机VSP 7024-XLS TOR交换机32 x 10Gbps SFP+ 端口VSP 4850GTS 千兆汇聚交换机48 1000BASE-T 端口 + 2 SFP+ uplink 端口服务器Intel Xeon E5-2690 2.9 GHz, Dual Socket; 128 GB of RAM, 2x320 GB SAS HDD RAID1虚拟化环境管理软件VMware vCenter Server, vSphere ESXi 5.1, POD管理软件套件EMC Unisphere Manager软件存储EMC VNX 5300 Stora

29、ge Array9TB SAS drives 15L rpm in 3 RAID 5 (4+1) groupsAgenda 分布式软件架构简介 分布式计算和存储设计 构建高速便捷的资源共享通路 多数据中心设计 环境演示及设备特性介绍系统容量堆叠模块化ERS 8800ERS 4000 & VSP 4KVSP 900010/100, 10/100/1000, GE, 10GE, POE/POE+10/100/1000, GE, 10GE, 720Gbps/2Tbps 40GE/100GE ready 27Tbps 数据产品型号一览系统扩展性VSP 700010/100/1000, 10GE, 40

30、GEVSP 8200High density GE 10GE, 40GE从桌面交换机 ERS4000 至 数据中心 核心交换机 VSP9000 全面支持矩阵网络协议VSP 9000产品对比VSP 9012VSP 9010机箱槽位引擎槽位2，业务槽位10（横插）引擎槽位2，业务槽位8（竖插）物理尺寸H61.91cm*W44.5cm*D82.55cm (14U)H91.5cm*W43.66cm*D85.78cm (21U)额定功耗额定满配 16.3kw 220VAC额定满配 21.8kw 220VAC组网规模10001000单设备表项MAC(128000), IP-FIB(500000) ARP(

31、64000)MAC(128000), IP-FIB(500000) ARP(64000)设备性能27Tbps27Tbps板卡接口类型9048GB/9048GT 千兆48口光/电9024XL/9048XL 万兆24/48口光9048GB/9048GT 千兆48口光/电9024XL/9048XL 万兆24/48口光第三方光模块支持支持Custom-Vlan40004000L2标签处理原始帧 Mac-in-Mac封装802.1q帧 Mac-in-Mac封装原始帧 Mac-in-Mac封装802.1q帧 Mac-in-Mac封装ERS 8800产品对比ERS 8010COERS 8010 ERS 80

32、06ERS 8003机箱槽位引擎槽位2，业务槽位8引擎槽位2，业务槽位8引擎槽位2，业务槽位4引擎槽位1，业务槽位2物理尺寸H88.9cm*W48.26*D60.2(20U)H58.2cm*W44.5*D50.5(13U)H40.1cm*W44.5*D50.5 (9U)H31.1cm*W48.3*D53.3 (7U)额定功耗额定满配4386W 220VAC额定满配4386W 220VAC额定满配4386W 220VAC额定满配2924W 220VAC组网规模1000100010001000单设备表项MAC(64000) IP-FIB(250000) ARP(32000)设备性能2.88Tbps

33、板卡接口类型8848GBRS/8848GTRS 千兆48口光/电8812XL 万兆12口光 8834XG 千兆24口光+千兆8口电+万兆2口光第三方光模块支持支持支持支持Custom-Vlan2000200020002000L2标签处理 原始帧 Mac-in-Mac封装 / 802.1q帧 Mac-in-Mac封装VSP 8000产品对比VSP 8284接口80口10G光，4口40G光物理尺寸2U额定功耗额定满配1600W 220VAC组网规模500单设备表项MAC(224000) IP-FIB(16000) ARP(32000)设备性能2.56Tbps第三方光模块支持Custom-Vlan8

34、00L2标签处理 原始帧 Mac-in-Mac封装 / 802.1q帧 Mac-in-Mac封装VSP 7000产品对比VSP 7024XLSVSP 7024XT接口24口10G光口 + 8口10G光/电口 + 4口共640G背板互联24口10G电口 + 8口10G光/电口 + 4口共640G背板互联物理尺寸H4.37cm*W43.82cm*D60cm (1U)H4.37cm*W43.82cm*D60cm (1U)额定功耗额定满配 900W 220VAC额定满配 900W 220VAC组网规模500500单设备表项MAC(131071) IP-FIB(4096) ARP(4096)MAC(13

35、1071) IP-FIB(4096) ARP(4096)设备性能1.28Tbps1.28Tbps第三方光模块支持支持Custom-Vlan800800L2标签处理原始帧 Mac-in-Mac封装 802.1q帧 Mac-in-Mac封装原始帧 Mac-in-Mac封装 802.1q帧 Mac-in-Mac封装VSP 4000产品对比VSP 4850GTSVSP 4850GTS-PWR+VSP 4450GSX接口48口千兆电口，2口千兆复用光口，2口万兆光口48口千兆电口(POE+)，2口千兆复用光口，2口万兆光口36口千兆光口，12口千兆电口(POE+)，2口万兆光口物理尺寸H4.45cm*W44.1cm*D43.68cmH4.45cm*W44.1cm*D43.68cmH4.45cm*W44.1cm*D43.68cm额定功耗额定满配600W 220VAC额定满配2000W 220VAC额定满配2000W 220VAC组网规模100010001000单设备表项MAC(32000)IP-FIB(16000) ARP(6000)MAC(32000)IP-FIB(16000) ARP(6000)MAC(32000)IP-FIB(16000) ARP(6000)设备性能184Gbps184Gbps184Gbps第三方光模块支持支持支持Custom-Vl