数据中心融合存储网络解决课件

1、数据中心融合存储网络解决方案目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化几种存储模型应用系统存储JBODRAID文件系统Direct- Attached Storage (DAS)应用系统存储RAID(JBOD)文件系统Storage Area Networks(SAN)网络主机独享到灵活扩展几种存储模型应用系统存储RAID(JBOD)文件系统Storage Area Networks(SAN)网络IP与FC网络融合FCoE & IP SAN几种存储模型应用系统存储RAID(JBOD)文件系

2、统网络Network- Attached Storage (NAS)应用系统存储RAID(JBOD)文件系统Storage Area Networks(SAN)网络集中共享几种存储模型应用系统存储JBODRAID文件系统Direct- Attached Storage (DAS)应用系统存储JBODvSAN层文件系统分布式存纯存储JBOD网络横向扩展应用系统存储RAID(JBOD)文件系统网络Network- Attached Storage (NAS)数据中心融合存储融合存储网络DASSANFC SANIP SANFCoENAS分布式存储目录存储网络发展SAN存储之FC SANSAN存储之F

3、CoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化FC SAN的结构和组成FC存储设备文件服务器应用服务器Windows用户Linux/Unix用户TCP/IP网络数据库服务器FC SAN网络FC光纤交换机FC SAN在数据中心的部署IRFFabric AIRFIRFoEHBANICFabricBFC 存储目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化什么是FCoEFCoE是在把FC帧直接封装在以太网上FC是lossless传输，所以FCoE需要增强

4、的以太网（ DCE/CEE/DCB）FCoE保留了FC的转发和管理模型，能够和原有的SAN无状态的互通，保护了用户投资增强以太网FC流量IP流量LANSAN ASAN BFCoE Switch Server with CNA 为什么要发展FCoEFCoE技术是实现数据中心网络融合的重要技术之一大幅消减适配器、交换机、布线无缝的连接到现有的LAN和SAN有效的共享高带宽的链路整合的网络架构降低TCOLANSAN ASAN BLANSAN ASAN BFCCEE&FCOEEthernet融合前融合后为什么要发展FCoE10 Gbps8-10 GbpsExistingFibre ChannelEth

5、ernet1,2,4 Gb16Gb8GbNAS, iSCSIFCoCEE1GE10GE40GE 以太网速率提升远远快于FC以太网端口成本远远低于FC10G以太网提供了LAN/SAN融合的基础融合增强以太网技术（CEE），提供了不丢包的以太网传输以及二层多路径转发，保证FC传输不丢包以及FC传输的效率SCSIFC（二三层）FC SANSCSIFC（三层）FCoE以太网FCoE的部署模式FC/FCoE 交换机支持三种工作模式FCF模式：默认模式，支持FC/FCoE targets and InitiaorsNPV 模式： 工作在本模式的交换机称为NPV交换机，用于扩展SNA网络或者与已有的SAN网

6、络互通FIP Snooping模式： 工作在本模式的交换机称为Transit交换机，用于限制以太网接口只能接收来自ENode或FCF交换机的通信流量Server/CNA/HBAFC/FCoEswitch单跳刀片服务器单跳多跳6125-XGFIP SnoopingFC/FCoE存储FC/FCoE存储FC/FCoE存储FC/FCoEswitchFC/FCoEswitchFC/FCoEswitch#1#2#3刀片服务器多跳FC/FCoE存储FC/FCoEswitchFC/FCoEswitch#46125-XGFIP Snooping单跳部署（适合小型存储网络部署）：服务器和存储经过单台FCF交换机单

7、跳互连多跳部署（适合大中型存储网络部署）：服务器和存储经过多台FCF交换机多跳互连FCoE组网方案：单跳模式LAN组网说明：适合中小型存储网络部署FCoE流量和Ethernet流量在接入层后由设备物理分离服务器CNA/HBA网卡双上行接入FCF服务器的双网卡Ethernet流量在同一个VLAN中，链路做聚合接入FCF支持FCoE口和FC接口存储FCoEFCL2L3IRFIRFLAN/SANFCF特点：服务器到接入交换机的Ethernet和FCoE流量共享同一对物理链路，减少布线服务器和接入交换机之间的链路做聚合，提供Ethernet链路的可靠性通过iMC实现SAN网络可视化管理接入层实现LAN

8、/SAN融合，交换机支持FC口EthernetFC FCoE服务器FIP SnoopingCNAHBANPViMC ServerFCoE的组网方案：多跳模式组网说明适合大中型存储网络部署FCoE流量和Ethernet流量在接入层后由链路物理分离FCoE流量和Ethernet流量在汇聚层后由设备物理分离服务器CNA网卡双上行接入FCF接入FCF支持FCoE口和FC接口特点：服务器到汇聚交换机的Ethernet和FCoE流量共享交换机，减少交换机数量服务器和接入交换机之间的链路做聚合，提供Ethernet链路的可靠性通过iMC实现SAN网络可视化管理接入层/汇聚层实现LAN/SAN融合，交换机支持

9、FC口FCFLANFC存储FCoEL2L3IRFIRFLAN/SANFCFFCF服务器NPVEthernetFC FCoECNAHBAFIP SnoopingiMC ServerMDC 1MDC 1MDC 2Fabric AMDC 2Fabric AMDC 3Fabric BMDC 3Fabric BFCoE组网方案：NPV模式LAN组网说明适合大中型网络部署，及与已有SAN互通FCoE流量和Ethernet流量在接入层后由设备物理分离服务器CNA网卡双上行接入NPV服务器的双网卡Ethernet流量在同一个VLAN中，链路做聚合接入FCF支持FCoE口和FC接口存储L2L3IRFIRFFCF

10、NPV特点：接入交换机使能NPV，提高接入服务器数量服务器和接入交换机之间的链路做聚合，提供Ethernet链路的可靠性可通过iMC实现SAN网络可视化管理NPV接入实现LAN/SAN融合，交换机支持FC口服务器LAN/SANHBAFIP SnoopingEthernetFC FCoECNANPVFCFCiMC ServerFCoE组网方案：可视化网络管理-VFM组网说明：使用iMC VFM V7管理组件对FC/FCoE网络管理特点：基于对象的SAN Fabric管理层级层次化的SAN Fabric业务管理逻辑SAN Fabric快速部署：快速配置服务器和存储的相互访问VSAN自动发现SAN

11、Fabric拓扑：包括FCoE交换机、服务器、存储目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化IP SAN的结构和组成文件服务器应用服务器IP存储设备Windows用户Linux/Unix用户TCP/IP网络数据库服务器iSCSI协议IP SANSCSIiSCSIiSCSITCP/IP以太网IP SAN vs FC SAN比较IP SANFC 使用环境分布式部门级和工作组环境高性能的任务关键性数据中心环境传输距离可提供远距离传输对举例延迟比较敏感操作系统使用标准TCP/IP协议，数据可在以太

12、网上传输受到光纤传输距离的限制，易在异地形成存储孤岛安全性iSCSI提供丰富安全功能使用专门FC网络，但五安全功能拥有成本（TCO）利用标准网络的功能以及以太网的普及性，能得到更简单、成本更低的SAN复杂、成本高昂的网络环境，昂贵的光纤网络、主机HBA卡和光纤磁盘互补性业内许多人士都人为IP SAN和FC SAN会在可预见的未来并存和互补IP SAN存储可以看做数据中心的以太主机服务器，IP可达即可，但接入网络要做到稳定而且足够大的带宽，接入设备缓存足够大，可保证数据传输过程中不丢包NAS在数据中心的部署：完全混合模式生产核心核心区业务服务器区业务服务器区NAS区服务器区NAS在数据中心的部署

13、：半混合模式生产核心核心区业务服务器区业务服务器区NAS区服务器区NAS在数据中心的部署：完全独立模式生产核心核心区服务器区NAS区目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化NAS的结构和组成文件服务器应用服务器NAS存储设备NFS协议CIFS协议Windows用户Linux/Unix用户TCP/IP网络SCSIRAM文件/系统实时操作系统IP SAN在数据中心的部署NAS 和IP SAN的相同点：基于TCP/IP网络，IP可达即可NAS和IP SAN的不同点：NAS基于File I/O请

14、求存储，NAS系统将File I/O转换为Block I/O；IP SAN基于Block I/O请求存储目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络服务器虚拟化传统存储架构计算服务器SAN交换机阵列共享存储虚拟机虚拟机虚拟机共享存储价格高昂，管理复杂服务器磁盘驱动器没有得到充分应用主要问题分布式存储的产生存储领域FC SA依然独占鳌头，但FC SAN建设成本昂贵，管理、维护复杂。互联网公司已经用DAS来作为主存储；存储巨头们也逐步迁移到“工业标准服务器软件”来实现存储。软件定义存储、存储虚拟化已经成为一种新

15、的趋势应对未来的存储需求，存储产品必须同时具备越来越多的能力：对硬件环境的高度兼容（异构）数据的安全性自动化管理大规模良好的性能优化（容量、吞吐、IO）极好的扩展性H3Cloud 分布式存储解决方案分布式块存储的实现解决了这些问题分布式存储：计算+存储融合服务器内部存储虚拟共享存储计算存储一体化，节点化实现共享存储功能典型的互联网分布式架构部署简单，按需平滑扩展资源利用率高，节省成本对存储的管理更简单（无需管理专用共享存储设备)技术方案：方案价值：分布式存储部署方案192.168.x.x物理服务器磁盘分布式存储模块虚拟化平台OSAPPPNiICiSCSI业务流127.x.x.x虚拟机vSwit

16、chCVK存储网络数据复制正常读写数据复制正常读写虚拟IP SAN主机集群192.168.x.x物理服务器磁盘分布式存储模块虚拟化平台OSAPPPNiICiSCSI业务流127.x.x.x虚拟机vSwitchCVK192.168.x.x物理服务器磁盘分布式存储模块虚拟化平台OSAPPPNiICiSCSI业务流127.x.x.x虚拟机vSwitchCVKvSwitchvSwitchvSwitch虚拟计算管理分布式存储管理虚拟计算管理存储管理业务网络虚拟计算管理分布式存储管理管理服务器分布式存储业务系统与CVK集成分布式存储管理系统与CVM集成内置于CVK内置于CVM对多个存储结点进行集中管理通过

17、内部存储网络实现并行的读写操作竞争分析比较方面 VMware vSANCAS零存储CAS零存储优势市场准备度预计2014年正式发布，目前还在公测阶段已经商用成熟度更高市场定位SMB/SME普适性适用于更多应用场景支持节点数382256支持2节点，可扩展性更强最多副本数量25为用户提供更多选择副本分布分布在不同磁盘可设置按磁盘、节点、按机架、按数据中心分布容错更灵活条带化范围112块磁盘在集群中全部磁盘上做条带化性能更高、更稳定硬件配置每个参与节点必须配置一块SSD盘是否配置SSD由用户决定用户可根据需要进行灵活配置，目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储

18、之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化构建融合存储网络小数据量 DAS基于数据库应用大并发读写（低延迟）FC SANFCoE基于数据库小并发读写、延迟不敏感应用 IP SAN基于文件级共享 NAS基于数据库小并发读写、延迟不敏感应用 分布式存储数据中心融合存储网络目录存储网络发展SAN存储之FC SANSAN存储之FCoE SANSAN存储之IP SANNAS存储系统分布式存储构建融合存储网络FCoE实战强化目录FCoE技术架构FC介绍FCoE介绍DCE及FC可视化管理FC HBAFC HBAInitiatorSAN A服务器存储SAN BFC SwitchFC

19、 SwitchFC SwitchFC SwitchFCFibre Channel：通过光纤通道在数据中心中实现无丢包传输。SAN（Storage Area Networks，存储区域网络）：它为服务器提供了专用的外部存储环境FC交换机是SAN Fabric的组成部分服务器为实现冗余高可用，通常配有有两块HBA卡通常由两个完全相同且隔离的SAN提供冗余服务器不同的HBA接入到不同的SAN Fabric，冗余的路径提供了负载均衡和高可用性；服务器到到同一存储存在多路径，但服务器上的驱动可使操作系统认为只连接了一个SCSI设备；FC设备连接时需要进行链路初始化、区分端口类型、分配地址、计算优选路径等

20、过程；TargetFC SAN 的基本结构节点端口（服务器或存储设备）N_Port: 和Fabric直连的端口FC端口类型交换机端口F_Port：Fabric端口，和N_Port相联E_Port: 扩展端口（交换机到交换机）N_Port服务器服务器存储存储N_PortN_PortN_PortF_PortF_PortF_PortF_PortFC交换机FC交换机E_PortE_PortWWN （World Wide Name，全球名字）:固定地址 (64位)由厂家在出厂前分配交换机中的Name Server负责WWN和FCID的映射该地址主要用来做身份识别和安全控制DomainID8 BitsAr

21、eaID8 BitsPort ID8 Bits24位地址空间FCIDFC_ID是动态分配的地址 （24位）由Domain + Area + Port三部分组成FC Fabric中的每个Switch需拥有一个Domain ID，Fabric中Switch Domain个数最大为239由交换机给N_Port分配FC_ID地址出现在FC报文头中，FC Switch用这个地址来转发FC报文固定与动态地址格式WWN64位地址空间FC采用基于Buffer-to-Buffer Credit的流控机制，能够保证FC网络无丢包用来控制报文发送的步调，Credit值在链路初始化时协商获得；当发送一个报文后BB_C

22、redit减1， 当减到0时便不能再发送报文当收到对端发来的R_RDY后BB_Credit加1端口的BB_Credit 数目代表了该端口接受方向可以缓存的报文的个数FC的流控16FC HBAFC HBAR_RDYPACKETFC Switch1616服务器15FSPF (Fabric Shortest Path First)路由 应用场景FSPF是FC Fabric的路由选择协议，源于IP中的OSPF。功能支持等价路由基于Domain ID，逐跳进行路由转发只在E模式端口运行，提供无环路的拓扑。基于每个VSAN运行使用Dijkstra算法，实现拓扑变化时的快速收敛VSANVSAN实现对一个物理

23、Fabric的逻辑分割不同的VSAN实现基于硬件的流量隔离 不同的VSAN内的FC_ID可以相同VSAN的成员端口通常为静态配置 应用场景VSAN用于对物理fabric进行逻辑分割类似于以太网交换机的VLAN功能。N_Port服务器A服务器B存储A存储BN_PortN_PortN_PortF_PortF_PortF_PortF_PortFC交换机AFC交换机BE_PortE_PortVSAN 1VSAN 2VSAN 2VSAN 1FC安全Zone（分区）Zone用于FC中成员间的访问控制类似于双向ACL同一Zone内的成员可以互相访问，不同Zone的成员不能互相访问设备可以属于一个或多个Zon

24、e默认情况下，不在Zone中的设备是隔离的Zonset是zone的集合Zoneset包含一个或多个Zone一个Fabric只有一个活动的Zoneset通过把活动Zoneset信息扩散到全网中，达到全网Zoneset信息一致FC FabricTargetInitiatorFC HBAFC HBA1110FCID11.00.01FCID10.00.01Pwwn 50:06:01:61:3c:e0:1a:f6Pwwn 10:00:00:00:c9:76:fd:31Fcid 0 x10.00.01 pwwn 10:00:00:00:c9:76:fd:31 InitiatorFcid 0 x11.00.

25、01 pwwn 50:06:01:61:3c:e0:1a:f6 TargetZONEZone 和 VSAN的关系VSAN和 Zone是互补的关系VSAN：将一个物理连通的SAN分割成多个逻辑上的虚拟SANZONE：在VSAN内进一步划分区域（Zone），使不同Zone内的N_Port成员之间相互隔离层次化不同 VSAN是基于物理端口划分的 ZONE是基于节点的 VSAN下可以划分多个ZoneNPIV (N-Port Identifier Virtualization)NPIV是为一个N-Port分配多个FC ID的机制使多个应用能共享同一个HBA不同的pWWN使得可以为不同的应用实施不同的访问

26、控制、Zoning以及端口安全NPV (N-Port Virtualizer)NPV交换机会代理节点的FLOGI，发向NPIV Core Switch，利用一条物理链路来进行多重的FLOGI连接到NPV Switch的物理服务器login到上游的NPIV core switchNPV switch首先向core switch进行“FLOGI”NPV switch把后续服务器发出的FLOGI转换(proxy)为“FDISC”发向NPIV core switchNPV带来的好处NPV模式下交换机不占用Domain ID，充分利用了FCID，提高网络的扩展性NPV模式下不同厂家的互通性容易实现（NP

27、V switch和Core switch互通）建立Fabric网络主交换机选举优先级越小，优先级越高WWN越小，优先级越高Domain ID 分配静态配置域ID动态分配域ID，交换机的域ID由主交换机分配FC地址分配节点登录，发起Flogin交换机根据域ID，分配FC ID节点注册服务器在NS注册为Initiator存储在NS注册为TargetSwitch APriority：1主交换机Switch BPriority：128Switch CPriority：128Server存储Domain ID: 1Domain ID: 2Domain ID: 3Fabric 网络Flogin分配FC I

28、DFlogin分配FC IDFabric网络自动运行过程ELP协商链路UP主交换机选举主交换机Domain ID分配0 x010 x020 x030 x040 x050 x06FSPF路由计算目的/掩码 出接口0 x010000/8 FC0/00 x030000/8 FC0/00 x050000/8 FC0/1.FC路由表Fabric网络自动运行过程目的/掩码 出接口0 x020000/8 FC0/00 x010000/8 FC0/1FC路由表0 x010 x020 x030 x040 x050 x06目的/掩码 出接口0 x010000/8 FC0/00 x050000/8 FC0/1FC路

29、由表FLOGI链路UP获取Target信息0 x020001/24 FC0/2目的/掩码 出接口0 x010000/8 FC0/00 x020000/8 FC0/00 x050000/8 FC0/0FC路由表wwn1 0 x060001 TargetWWN FCID TYPEwwn2 0 x020001 Initiator0 x060001/24 FC0/2FC报文0 x0600010 x020001Name Server(S_ID=0 x020001; D_ID=0 x060001)0 x060000/8 FC0/10 x060000/8 FC0/1Target1: wwn1 0 x0600

30、01Step 1: Fabric Login (FLOGI)N port在通信之前，需要向Fabric注册探测Fabric是否存在交换服务参数Fabric给N_Port分配FC_ID初始化B2B CreditStep 2: Port Login (PLOGI）用于两个N_Port通信之前建立连接Step 3: SCSI协议交互Initiator和Target建立连接后，服务器会发现磁盘，就可以通过把SCSI指令封装在FC报文中，对磁盘进行操作服务器访问存储过程FLOGI / PLOGI FC FabricTargetInitiatorFLOGIFCID HBAHBAPLOGIF_PortN_P

31、ortSCSI123FC存储Sever目录融合数据中心需求FCoE技术架构FC介绍FCoE介绍DCEFCoE概述FCoE是在把FC帧直接封装在以太网上FC是lossless传输，所以FCoE需要增强的以太网（ DCE/CEE/DCB）FCoE保留了FC的转发和管理模型，能够和原有的SAN无状态的互通，保护了用户投资增强以太网FC流量IP流量LANSAN ASAN BFCoE Switch Server with CNA FCoE 术语ENode (FCoE Node): 能够作为FC Node的 Ethernet NICFCF (FCoE Forwarder): 能够作为FC交换机的Ether

32、net交换机ENodeFCFLANSAN ASAN BFCoE Switch Server with CNA FCoE的端口类型VN_Port: Virtual N_PortVF_Port: Virtual F_PortVE_Port: Virtual E_PortF_PortF_PortE_PortN_PortEnd NodeE_PortFC SwitchN_PortEnd NodeVF_PortVF_PortVE_PortVN_PortEnd NodeVE_PortFCoE SwitchVN_PortEnd NodeFCoE帧格式两种报文类型FCoE报文：数据平面，用来封装和传送FC帧FI

33、P报文：控制平面协议封装FCoE后报文最大2180字节原始FC报文最大2140字节20字节16字节4字节FCoE协议组织FCoE包含了两种协议FIP (FCoE初始化协议 )是控制平面的协议用来发现FCF，并建立和维护虚链路的协议EtherType是0 x8914FCoE本身是数据平面的协议用来承载FC帧和所有的SCSI流量使用Fabric分配的MAC地址(动态)EtherType是0 x8906两种协议具有两种不同的EtherType两种不同的帧格式均在FC-BB-5标准中定义FIP: FCoE Initialization ProtocolFIP：FCoE初始化协议，是一个建立和维护虚链路

34、的协议，它定义了以下四步来完成：VLAN发现协商Enode在哪个VLAN登录FCF发现：找到可用的FCF，建立VN_Port 到VF_Port的虚拟物理连接Fabric Login与FC login过程类似Fabric给Enode分配MAC建立VN_Port 到VF_Port的虚拟链路连接Fcoe虚链路维护基于定时器机制FabricFIP SnoopingFIP Snooping（FCoE Initialization Protocol Snooping，FCoE初始化探测协议）监控FIP报文，建立FIP Snooping规则根据FIP Snooping规则，可以保证只有成功注册的ENode可

35、以和FCF交换机进行FCoE报文的交互。提高安全性ENode服务器AENode服务器BEnode 模式FCF交换机Enode 模式FCF模式FCF 模式FCF交换机Transit 交换机FCoE报文发送 每一跳的FCF都会修改FCoE报文的目的/源MAC地址，但报文内的FC帧不变， 类似三层交换机对IP报文的三层转发。Step 1: Fabric Login (FLOGI)VN_port在通信之前，需要向Fabric注册使用FIP协议发现可用VLAN使用FIP协议与VLAN中Fabric建立虚拟物理连接使用FIP协议在建立的虚拟物理连接发起FLOGI，建立虚拟链路连接，Fabric给VN_Po

36、rt分配FC_ID和MACStep 2: Port Login (PLOGI）用于两个VN_Port通信之前建立连接Step 3: SCSI协议交互Initiator和Target建立连接后，服务器会发现磁盘，就可以通过把SCSI指令封装在FC报文中，对磁盘进行操作服务器访问存储过程FLOGI / PLOGI FCoE FabricTargetInitiatorFIP FLOGIFC_IDFC-MAC CNACNAVF_PortVN_PortPLOGISCSI123FCoE存储Sever目录融合数据中心需求FCoE技术架构FC介绍FCoE介绍DCE及FC可视化管理DCE :Data Center Ethernet DCE = DCB =CEEData Center Ethernet (DCE，Cisco通常的叫法)Data Center Bridging (DCB， IEEE通常的叫法)