超融合数据中心IT基础架构方案

1、超融合数据中心IT基础架构方案汇报议程实践+革新数据中心架构发展趋势超融合数据中心方案建议成功案例数据中心SDN应用场景分享数据中心发展趋势-面向未来的数据中心演进数据网、存储网络融合虚拟化大二层网络双活数据中心建设数据大集中数据网、存储网络隔离多中心建设超融合与虚拟化云计算大集中云计算DC资源池虚拟化分布式计算智能化、自动化管理DCCampusLABDCCampusLABDCCampusLAB数据中心发展多年来我们一直围绕关注解决哪些方面?性能和容量架构复杂性弹性扩展虚拟化容灾和恢复绿色节能数据中心发展过程中我们忽略了那些地方或者还有哪些需要去建设和思考？超融合网络架构服务安全资源池云计算大

2、数据如何构建超融合与虚拟化相结合的数据中心矩阵Hyper Converged Data Center Fabric 超融合数据中心方案建议什么是超融合数据中心矩阵-融合了什么？物理机箱虚拟化、服务器虚拟化、FC存储、IP存储、FCOE、虚拟机感知为什么需要超融合数据中心矩阵？满足性能、弹性扩展、安全性、云计算、大数据、简化管理、节约成本超融合数据中心矩阵能给我们带来哪些好处？传统数据中心架构与超融合数据中心矩阵对比核心层汇聚层接入层SAN服务器刀片服务器VMware 虚拟机大型存储设备FC通道连接SAN网IP存储NAS、iSCSI传统的分层网络架构1、网络层次结构复杂，链路效率利用率低；2、管

3、理设备多、杂(独立管理和监控对于LAN和SAN设备)；3、不具备自动QOS对于以太网和IP存储流量；4、VM虚拟机流量无感知和联动动作；5、服务器之间的东西流量无任何优化；6、组网结构不灵活、互联链路繁多(NICHBA)。大型存储设备FC通道-4/8/16GBIP存储NAS、iSCSI以太网服务器以太网服务器存储服务器以太网链路10GBFC光纤通道16GBFCOE链路10GB核心层接入层超融合数据中心矩阵1、简化网络架构，提高链路利用率(ISL Trunking Frame)；2、所有链路转发流量基于帧模式，L1/L2/L3多路径转发；3、自动QOS识别以太网流量、IP存储流量、FC存储流量；

4、4、VM虚拟机流量自动感知，交换机端口配置和MAC随虚拟机迁移；5、服务器之间的东西流量一跳即达，超低网络延迟；6、VCS实现物理机箱虚拟机从而实现基于单个IP地址进行矩阵管理；7、节约链路资源，FCOE网卡；8、基于TRiLL技术，零配置、自动化部署，支持任意拓扑结构互联。传统数据中心与超融合数据中心构建成本案例假设某客户有100台服务器和两套不同厂商存储部件与数量预估传统数据中心超融合数据中心以太网交换机核心+接入6台6台FC-SAN交换机2台0台管理设备数量3台以太网矩阵+FC交换机1台以太网和FC交换机融合管理设备品牌2以太网交换机品牌FC-SAN交换机厂商1单台服务布线成本4根链路两

5、根链路IP SwitchIP SwitchIP SwitchIP Switch ServerIP SwitchFC SwitchLANSAN1G IP8G FCNICHBAVMVMVMVM现有网络架构的缺点虚拟化 每个服务器需要更多的带宽 分离的网络 更多的网络需要管理最后 更多的电缆，网卡，交换机NICNICNICHBAHBAHBA传统数据中心架构一个具体的问题探讨 ServerIP SwitchIP SwitchIP SwitchIP SwitchIP SwitchFC SwitchLANSAN1G IP8G FC超融合矩阵的好处管理统一管理，减少线缆减少构架的投资 减少50%构架投资 减

6、少电力的消耗铜缆Twinax = 便宜的万兆 1/10光纤10G的价格 1/10光纤10G的电力消耗减少管理设备的数量 IP+SAN一家厂商提供技术支持 VCS组网解决集中管理一台设备超融合数据中心矩阵VCSCNAVMVMVMVMNICNICNICNICHBAHBAHBAHBA10G IP + FC (FCoE)Twinax SFP+现有网络架构的缺点虚拟化 每个服务器需要更多的带宽 分离的网络 更多的网络需要管理最后 更多的电缆，网卡，交换机超融合数据中心架构解决方法一超融合数据中心架构解决方法二 已有服务器IP SwitchIP SwitchIP SwitchIP SwitchIP Swi

7、tchFC SwitchLANSAN1G IP10GIP8G FC16G FC超融合矩阵的好处管理统一管理，减少线缆减少构架的投资 减少50%构架投资 减少电力的消耗铜缆Twinax = 便宜的万兆 1/10光纤10G的价格 1/10光纤10G的电力消耗减少管理设备的数量 IP+SAN一家厂商提供技术支持 VCS组网解决集中管理一台设备投资保护现有的服务器不改变接入方式新增服务器采用FCOE方式接入超融合数据中心矩阵VCSVMVMVMVMNICNICNICNICHBAHBAHBAHBA10G IP + FC (FCoE)Twinax SFP+ 新增服务器CNAVMVMVMVMVDX6740Ad

8、d FCOE LicenseVDX6740Add FCOE LicenseVDX6740Add FCOE LicenseVDX6740Add FCOE License5M multimodefiberSFP+10GSFP+10GSFP+10GSFP+10GSFP+10GSFP+10GSFP+10GSFP+10G1.5KMSingle-mode fiber5M multimodefiberServerFC-PORE-8GHBAFC-PORE-8GHBAFC-PORE-8GHBAFC-PORE-8GHBAStorage-2ServerNIC-10GNIC-10GFCOE10GFCOE10GStor

9、age-1FC-PORE-8GHBAFC-PORE-8GHBADATACENTER-1DATACENTER-21.5KMSingle-mode fiber小规模-跨数据中心超融合网络矩阵基础架构示意图融合:FC/FCOE/NIC/IP-STORAGE 10G-SFP+-单模10G-SFP+-多模1G/10G-SFP+-多模10G-SFP+-多模-FCOE4/8/16G FC光纤通道机架服务器FCOEVM_1(负载均衡器)VM_2VM_3VM_4(虚拟路由器)VM_5VM_6VM_7(负载均衡器)VM_8VM_9虚拟交换机-虚拟机管理平台机架服务器NIC+HBA刀片服务器FC存储设备IP存储设备

10、VDX6740VDX6740VDX6740VDX6740机架服务器FCOEVM_1(负载均衡器)VM_2VM_3VM_4(虚拟路由器)VM_5VM_6VM_7(负载均衡器)VM_8VM_9虚拟交换机-虚拟机管理平台机架服务器NIC+HBA刀片服务器FC存储设备IP存储设备VDX6740VDX6740VDX6740VDX6740中小型规模-跨数据中心超融合网络矩阵基础架构示意图融合:FC/FCOE/NIC/IP-STORAGE 12KM距离-裸光纤技术融合:FC/FCOE/NIC/IP-STORAGE两个数据中心形成一个矩阵虚拟化部署路由+防火墙、负载均衡存储同步复制数据接入层接入层VDX674

11、0VDX6940-36QVDX6940-36Q国外厂商服务器国产厂商服务器超融合数据中心矩阵接入平台融合企业数据中心内部的以太网和FC-SAN网络VDX6740国内外主流存储厂商虚拟化厂商FC/IP存储设备FC通道-4/8/16GB以太网通道-10GB堡垒机刀片服务器应用负载均衡器核心层接入层接入层FC/IP存储设备FC通道-4/8/16GB以太网通道-10GB堡垒机刀片服务器应用负载均衡器核心层接入层接入层二层透传二层透传VDX6740VDX6740VDX8770VDX8770中大型规模-跨数据中心超融合网络矩阵基础架构示意图融合:FC/FCOE/NIC/IP-STORAGE FC存储设备I

12、P存储设备FC存储设备IP存储设备存储同步复制数据超融合数据中心矩阵VCS 跨数据中心二层透传-VFE基于VXLAN技术不需要中间链路组播支持、不需要借助外置控制器超融合数据中心矩阵VCS 针对IP存储自动化QOS来自SAN技术的基因All the nodes in the fabric will auto prioritize NAS Storage traffic over other traffic types (NFS, SMB/CIFS)Eliminates complexity of manual QoS setting for each switchAbility to moni

13、tor IP Storage traffic through ACL CountersFunctionality:Specify the IP Address of the NAS Head All the traffic destined to and originated from NAS Head will be prioritized in the FabricSingle command configurationCompute RacksStorage RacksiSCSIFCoENASLossless Priority: FCoE, iSCSI TrafficMedium Pri

14、ority: NAS Traffic Other Priorities: Best Effort TrafficBrocade and VMwarePOINTS OF INTEGRATION 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 19NSX IntegrationvRealize IntegrationSummary & FuturesvCenter IntegrationvCenter IntegrationSIMPLIFIED PROVISIONING AND OPERATIONS 2015 BROCADE COMMUNICATIONS SYS

15、TEMS, INC. 20vCenterAssetsProfileHostVLANVMQoSVswitchDVswitchPoint the Fabric to vCenter(s)vCenter asset info propagated to FabricVLANs created in vCenter are automatically created on all Fabric switchesVLANS provisioned only on edge ports as required by hosts/VMsSupport for vMotion with automatic n

16、etwork configuration for VLAN on new switch port and removal of VLAN from old switch portVMware NSX IntegrationVXLAN OVERLAY 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 21VTEPNSXHW VTEPInternetVXLANVXLAN GatewayBrocade IP Analytics PackMaximize virtual network availability with physical network analyt

17、ics 2015 BROCADE COMMUNICATIONS SYSTEMS, INC. 22VMwarevRealizeOperationsVMwareSubscriber AnalyticsApplication AnalyticsNetwork AnalyticsDevice Smartphone AnalyticsSDN EnginePort HealthSwitch Status PolicyFRU HealthSecurity ViolationsSwitch ResourceTraffic PerformanceVMwarevCloud Automation CentervSp

18、hereNetwork Virtualization and Security (NSX)Intelligent Network OperationsDelivers comprehensive IP analytics to support cloud environmentsUnified Virtual & Physical NetworkingProvides deeper insights and visibility into the network for better application and VM performanceSimplified Policy Automat

19、ionPre-defined topologies, queries and alerts simplify monitoring and health, risk and efficiency metrics add context to analyticsBrocade VDX6740-48交换机，添加FCOE许可华为存储-配置支持FCOE网卡曙光刀片服务器配置4GB FC网卡两台windows服务器一台windows7虚拟机硬盘挂载到华为存储一台windows7虚拟机硬盘挂载到本地存储FC接口互联4G速率以太网接口互联10G速率FOCE从windows7服务器往华为存储写入/读取数据速率

20、大概在161M/S超融合数据中心矩阵VCS 满足FC&FCOE&IP存储&以太网互联互通超融合数据中心矩阵VCS 满足FC&FCOE&IP存储&以太网互联互通超融合数据中心矩阵VCS 典型TOP-RACK交换机竞争分析CISCO 5548、5596交换机支持FC光纤通道接口需要单独配置板卡和软件激活许可无论H3C还是CSICO在FC接口支持上均落后博科VDX交换机，因为他们的FC接口目前只支持8GB，博科交换机可以支持16GB更重要的是博科在SAN网络的经验要领先与所有厂商。Cisco Nexus 5600 Platform 10-Gbps Switches Data Sheet整机最大支持2

21、4个FC接口只能是最后24个口，博科支持32个并且是任意接口http:/c/en/us/products/collateral/switches/nexus-5000-series-switches/datasheet-c78-730760.html超融合数据中心矩阵VCS 典型TOP-RACK交换机竞争分析超融合数据中心矩阵VCS 典型部署模式三层部署-无生成树大二层部署-无生成树多矩阵部署IP CLOS 部署(无Fabric)超融合数据中心矩阵VCS 产品组合可扩展性 叶子 树干1G/10G/10GBase-T Optimized w/ 40G uplinks VDX 6740 系列VDX

22、 6940 系列VDX 8770 系列10G/40G Optimized w/ 100G uplinks 10G/10GBase-T/40G/100G optimized modular system VDX 6940-72Q VDX 6940-36QVDX 6940-144SVDX 6740VDX 6740TVDX 6740T-1G双电源负载均衡；一个FCOE许可激活32个FC接口，支持多路径转发，支持4/8/16G FC接口，支持自动QOS识别技术；具备4个40G以太网上联接口。后面板8 Flex Ports(FC/FCoE/Ethernet)48X10GbE SFP+(FCOE/Ethe

23、rnet)8 Flex Ports(FC/FCoE/Ethernet)16Flex Ports(FC/FCoE/Ethernet)4X40GbE QSFP+1 RUTrunk Group 1Trunk Group 2Trunk Group 3Trunk Group 4Trunk Group 3ATrunk Group 4ATrunk Groups超融合数据中心矩阵VCS 典型TOP-RACK交换机前面板超融合数据中心矩阵VCS VDX6740交换机-低延迟-高性能-超融合超融合数据中心矩阵VCS 模块化核心交换机板卡 48x10G SFP+ 48x1G SFP/SFP-Cu (fiber/cu

24、)High Performance Line Rate 12x40G QSFP+ 48x10G Copper RJ-45 High Density 27x40G QSFP+High Performance 6x100G CFP21G10G40G100GLeaf DeploymentLeaf / Spine DeploymentSpine / Core Deployment2x100G CFP2 with POD Licensing超融合矩阵架构优势分析-为什么需要超融合数据中心？建设目标-超融合数据中心1.当前传统数据中心组网架构问题总结现有SAN设备不支持长距离连接；现有网络结构复杂(IP以

25、太网和SAN网络分离架构)；现有网络架构组网综合布线成本较高且复杂；现有网络架构冗余度和可靠性不高；现有网络架构中互联链路利用率过低；现有网络架构中环路风险较大。2.新一代超融合数据中心架构目标全面提升网络架构融合性(FC/FCOE/IP存储/传统以太网)；全面提升网络架构冗余度和可靠性；全面提升网络性能和转发能力满足当前及未来业务扩展的需要；全面简化网络架构体系，减少管理设备数量同时减轻运维管理压力；全面简化网络综合布线结构，节约成本；全面整合以太网和SAN网络分离的架构；全面满足未来40G和100G互联带宽的扩展需要；全面融合虚拟化(VMWARE)环境的虚拟机管理；全面提高网络链路利用率同

26、时消除网络环路。成功案例同行业案例介绍中国高校985-211代表性客户典型客户案例-南京某高校超融合数据中心典型客户案例-武汉某高校超融合数据中心典型客户案例-苏州某高校超融合数据中心校园网出口视频、专线、设备管理业务流量教育网资源徐汇校区奉贤校区L3L3骨干路由器-1骨干路由器-2骨干路由器-1骨干路由器-2业务边界路由器防火墙/NAT汇聚交换机汇聚交换机园区网数据中心交换机二层透传/FCOE服务器/存储接入L2三层网关终结业务边界路由器数据中心交换机二层透传/FCOE服务器/存储接入SDN控制器典型客户案例-上海某高校超融合数据中心数据中心SDN应用场景有哪些？数据中心SDN软件定义网络应

27、用场景分享趋势与需求：围绕着数据中心的发展，当前还有哪些地方需要提高和巩固加强？数据中心安全云服务互联网出口安全资源池大数据分析用户数据筛选网络可视化用户行为分析数据中心安全云服务互联网出口安全资源池问题应接不暇！邮件安全防APT攻击网络扫描器Cloud Service网络防病毒DDoS ProtectionSecurity CloudInternet数据中心/互联网出口安全服务设备多台设备串接，可靠性？故障排查复杂，谁来做？流量经过多次转发，大延迟？Vendor 1Vendor 2Vendor 3Vendor 4Internet ConnectionMalware IntelligenceD

28、NS AlertEndpoint AlertAV AlertSMTP AlertAV AlertWeb AlertWeb AlertSMTP AlertDNS AlertAV AlertDNS AlertWeb AlertEndpoint Alert应急响应变慢设备故障后，更换困难新产品、新功能测试困难有限的可视化程度多用户、多权限、安全管理性能叠加困难，往往面临性能瓶颈内网或VM之间交互流量难以处理当前高校数据中心及园区网安全建设问题应接不暇防火墙负载均衡IPS/IDSWAF漏洞扫描防火墙行为管理防病毒DMZ服务器区域园区网有线/无线用户DNS AlertEndpoint AlertAV A

29、lertSMTP AlertAV AlertWeb AlertWeb AlertSMTP AlertDNS AlertAV AlertDNS AlertWeb AlertEndpoint Alert交换机交换机设备故障链路故障延迟过高性能瓶颈当前高校数据中心及园区网安全建设问题表现防火墙-1负载均衡IPS/IDSWAF漏洞扫描防火墙-2行为管理防病毒如何利用SDN解决方案构建安全资源池提供安全云服务互联网园区网对外发布业务序号服务链名称服务对象构建安全服务链组合-针对不同用户和服务内容1教职工/学生上网服务老师学生行为管理IPS/IDS防火墙-1防病毒2对外发布服务DMZ服务器IPS/IDS防

30、火墙-1负载均衡漏洞扫描WAF3数据中心服务内部数据中心IPS/IDS防火墙-1负载均衡漏洞方面防火墙-2通过SDN网络进行应用流量分流；特定流量送给特定的服务设备进行处理；独特效果：高可靠性随时切换高性能多数流量经过一次处理，低延迟性能叠加处理性能无缝扩展故障排查准确定位，便利处理功能验证随时测试新产品和新功能设备故障后在线更换，割接流量设备联动联动与探测健康检查更好的流量可视化功能基于用户和端口的权限管理真正实现内网的安全流量处理e.g., OpenFlow APISDN控制器安全服务供应商ADCFWIPS防火墙负载均衡IPS/IDS流控管理漏洞扫描SDN智能设备传统模式葫芦串安全服务资源

31、池用户发起/接受如何利用SDN解决方案构建安全资源池提供安全云服务SDN解决方案安全服务链管理-如何实现简单、高效、智能的安全资源池，提供便捷的网络安全SDN-APP(安全服务链管理系统)统一视图监控安全资源池SDN-APP(安全服务链管理系统)创建和管理安全资源SDN-APP(安全服务链管理系统)建立安全服务链SDN-APP(安全服务链管理系统)创建安全服务策略第一步第二步第三步网络可视化用户行为分析当前园区网用户行为不可控带来的挑战和表现总结功能过于集中BASE设备减负用户行为不可控用户恶意攻击行为痛点表现解决方案痛点主要表现：1、BASE设备CPU高2、用户DHCP获取失败3、用户Rad

32、ius认证失败4、带宽管理问题5、流量可视化分析问题6、BASE冗余问题7、BASE设备端口成本昂贵8、配置管理复杂性痛点主要表现：1、用户行为不可控2、用户流量分析不完善3、设备功能未发挥(汇聚)4、上行链路冗余问题5、网络故障定位时间过长痛点主要表现：1、用户恶意网络攻击；2、用户行为分析与控制；博科提供智能可视化园区网有线无线统一解决方案-网络流量可视化网络流量可视化-基于SDN-Brocade Visibility Manager解决方案博科提供智能可视化园区网有线无线统一解决方案-网络流量可视化应用流量排名博科提供智能可视化园区网有线无线统一解决方案-网络流量可视化DHCP攻击防护A

33、RP攻击防护会话分析DNS攻击防护博科提供智能可视化园区网有线无线统一解决方案-网络流量可视化网络流量可视化-基于SDN-Brocade Visibility Manager解决方案用户终结一卡通用户终结一卡通汇聚交换机汇聚交换机汇聚交换机汇聚交换机内层防火墙内层防火墙外层防火墙外层防火墙DMZ交换机DMZ交换机接入交换机接入交换机接入交换机接入交换机SDN应用流控分析管理平台流量清洗平台SDN控制器流表与拓扑管理北向API接口OPENFLOW业务流量镜像南向接口Brocade SDN控制器南向接口OPENFLOW方式流表下发ICX SDN智能交换机MGT-IP：9/25telnet:admi

34、n/passwordMGT-IP：6/25http:/MGT-IP:9001admim/adminBrocade 流量分析平台MGT-IP：7/25https:/MGT-IP:8089Administrator/password第三方流量可视化平台MGT-IP：8/25https:/MGT-IP:8089Administrator/password北向接口REST API-流表下发申请北向接口REST API-流表下发申请通过SFLOW采集数据发送到博科流量分析平台通过流量镜像采集数据发送到流量可视化平台园区网络互联网/园区网控制器北向接口REST API访问路径6:8181/restconf

35、/modules防火墙A防火墙B前端探针博科提供智能可视化园区网有线无线统一解决方案-流量可视化网络流量可视化-基于SDN-Brocade Visibility Manager解决方案大数据分析用户数据筛选与清洗核心交换机核心交换机TOR-RACK交换机TOR-RACK交换机TOR-RACK交换机TOR-RACK交换机内层防火墙内层防火墙外层防火墙外层防火墙DMZ交换机DMZ交换机VM_1VM_2VM_3VM_4VM_5VM_6VM_7VM_8VM_9Tool 1Tool 2Tool 3Tool 4用户访问层交换机端口镜像交换机端口镜像传统流量镜像采集方式缺点：1、不管你要不要我都给你；2、无

36、法灵活的实现一对多；3、性能瓶颈；4、各平台支持的镜像会话数限制；5、CPU资源消耗较大；6、时效性不够。当前传统方式用户对于大数据分析的数据来源与筛选带来的困扰和缺点Network Taps互联网数据中心/园区网网络设备数据仓库 过载、空间压力、重复流量 浪费系统容量(没必要的流量)入侵检测系统 未充分利用自身能力 提供了最低限度保护网络性能监控平台 可见度不够 重复的数据数据包/内容分析平台 日常拍错效率低下 敏感数据遮蔽 SSL数据无法查看 可见性较差镜像镜像镜像当前传统方式用户对于大数据分析的数据来源与筛选带来的困扰和缺点镜像内部系统及网络工具Network Taps互联网数据中心及园

37、区网网络设备流量镜像流量镜像NetworkPacket Broker博科提供智能可视化园区网有线无线统一解决方案-网络智能分流精细化管理流量-基于SDN-Packet broker Flow Mapping流量镜像流量镜像过滤数据仓库 记录更少 利用率更好 数据更精确入侵检测系统 最佳能见度 提供完整的保护网络性能监控平台 完整的可见度数据包/内容分析平台 随时待命 可见性好 灵活、安全、便捷内部系统及网络工具Tool 3 (IDS)Tool 4 (CEM)Tool 5 (CEM)Tool 7 (Recorder)Tool 1 (VOIP)入站端口出站端口仅仅特定流量被送往各个工具，这大幅降低

38、了出站流量，显著提高工具利用率SDN设备是入站/出站流量中转分配站流表操作允许随时增加和删除，对实际操作十分有方便。结合出站流表过滤规则，能更进一步定位流量。VOIPIDSCEMWEB匹配流表匹配流表匹配流表匹配流表可配置的硬件过滤可自定义规则4-7层流量过滤Tool 2 (VOIP)负载均衡过滤+复制SDN智能设备后端系统前端网络应用性能分析大数据分析平台信息安全监测博科提供智能可视化园区网有线无线统一解决方案-网络智能分流精细化管理流量-基于SDN-Packet broker Flow MappingICX and MLX流量汇聚Enables pervasive visibilityCo

39、llect network traffic from all relevant network interfaces流量复制Deploy multiple visibility applicationsCopy network traffic to each analytics solution流量过滤-2-7层Deliver only relevant traffic to each analytics solutionSelect which packets to deliver to which tools负载分担Enables network to tool interface speed matchingShare aggregated traffic load among analytics probesOrchestration and SDN control is key differentiator 博科提供智能可视化园区网有线无线统一解决方案-网络智能分流精细化管理流量-基于SDN-P