第三章 网络存储概述.ppt

1、第三章 网络存储概述Networked Storage,存储技术基础 Storage Technology Foundations 北京大学信息科学技术学院 网络与信息系统研究所 系统虚拟化及空间信息技术实验室（）,本章目标及内容,面对不断增长的信息需求和不断发展的网络技术，网络存储应运产生。本章分别介绍了网络存储环境下的直连存储、网络附加存储、光纤存储局域网、IP存储局域网和内容寻址存储，并深入介绍了这些网络存储结构的概念、结构特点、基本原理以及应用环境等方面的知识。 本章内容包括5个方面： 3.1 直连存储 (Direct Attached Storage，DAS) 3.2 网络附加存储

2、(Network Attached Storage，NAS) 3.3 光纤存储局域网络 (Fibre Channel Storage Area Networks, SAN) 3.4 IP存储局域网（IP Storage Area Networks，IP SAN） 3.5 内容寻址存储（Content Addressed Storage，CAS）,3.3 光纤存储局域网络 (SAN),Fibre Channel Storage Area Network FC SAN FC SAN 概述 FC SAN 组成 FC SAN 的连接 FC SAN 的管理 FC SAN 示例 NAS vs. SAN,F

3、C SAN概述,业务需求及技术挑战 用户对信息的需求 On-line storage 一个组织内拥有成千上万的服务器 关键数据并不一定在数据中心 24x7 业务的集成 孤岛与烟囱 安全的操作环境 灵活、可扩展的体系架构 对业务需求的快速响应 减少信息管理的成本,SAN是什么?,A dedicated network that carries data between computer systems and storage devices, which can include tape and disk resources. Organized connections among: Stora

4、ge Communication devices Computer Systems 安全（Secure） 健壮（Robust）,Server,Servers,Array,Switches,Storage,来自SNIA的定义,存储网络工业协会(Storage Networking Industry Association, SNIA)的定义：“存储区域网络（SAN）是一个高性能的专用网络，它的基本目的是使存储设备同计算机系统或存储设备与存储设备之间通信” SAN的特殊之处：能够进行全局范围的存储连接 SAN的关键之处：它把很多计算机和存储设备连接起来，使这些计算机能够相互协商对设备的所有权 在更

5、优秀的SAN中，计算机间能够通过SAN进行数据共享,LAN vs. SAN,SAN: A second network - Fabric,Network and Channel,Channel: Connectivity among pre-addressed devices Network: Connectivity via protocol,FC SAN的发展,SAN Islands FC仲裁环(Arbitrated Loop),Interconnected SANs FC交换光纤(Switched Fabric),Enterprise SANs FC Switched Fabric,Se

6、rvers,Arrays,Storage,Switches,Switches,Servers,Servers,Storage,Storage,FC SAN的优点,高带宽（High bandwidth） Fibre Channel Protocol, 400MB/s 扩展的SCSI SCSI over FC, Block I/O Greater distances still with SCSI functions 资源融合（Resource Consolidation） Centralized storage and management 可扩展性（Scalability） Up to 16

7、million devices 安全访问（Secure Access） Isolation and filtering,Host Bus Adapter (HBA) including the device drivers needed to communicate within the SAN Fiber Cabling optical or copper Fibre Channel Switch /Hub devices used to connect the nodes Storage Array Management System,FC SAN的组成,HBA,SAN-attached

8、Server,SAN,Arrays,Switches,Nodes, Ports, 可通过模式色散(modal dispersion)技术改进 Nodes to switch (hub) 单模光纤(Single mode fiber, SMF): a single light ray 711 microns ( 9 microns) Long distance: 2m10km Switch to switch 铜缆线(Copper) 024m,Single Mode Fiber,Storage,Multimode Fiber,Host,Switches,连接器：Connectors,节点连接器（

9、Node Connectors） SC Duplex Connectors for 1Gb fiber optic cable LC Duplex Connectors for 2Gb or 4Gb fiber optic cable 光纤配线盘连接器（Patch panel Connectors） ST Simplex Connectors the first standard for fiber optic cabling,连接设备,SAN通信的基础 Hubs: FCAL, 所有节点共享带宽 Switches and Directors: more “intelligent” device

10、s 点对点直接通信,Arrays,Switches,Server,存储资源,Storage Array Provides storage consolidation and centralization Features of an array High Availability/Redundancy Performance Business Continuity Multiple host connect,HBA,Arrays,Switches,Server,SAN管理软件,一套用于管理SAN中主机和存储阵列之间接口的工具 提供对SAN环境的集成管理 Web based GUI or CLI

11、 SAN 管理软件提供的核心功能： 在服务器、交换机、存储设备之间建立映射 监控和管理发现的存储设备 对SAN进行逻辑划分,SAN管理系统是一台服务器或一个控制台，SAN中的对象可以被监控和维护。它可以通过集中的方式对SAN进行全局管理，以降低复杂性。,FC SAN 的连接方法及其拓扑结构 光纤通道的设备 光纤通道的通信协议 光纤通道的登录过程,FC SAN的连接,FC SAN Connectivity,Core networking principles applied to storage Networked data system, Similar to LAN Servers are

12、attached to 2 distinct networks Back-end Front-end,Users 50:06:04:82:E8:91:2B:9E Port Zone 1 = 21,1; 25,3 Mixed Zone 1 = 10:00:00:00:C9:20:DE:56; Port 21/1,WWN 10:00:00:00:C9:20:DC:40,WWN 50:06:04:82:E8:91:2B:9E,Domain ID = 21Port = 1,Domain ID = 25Port = 3,WWN 10:00:00:00:C9:20:DE:56,Servers,Array,

13、Switches,Single HBA Zoning,一个理想的Zoning方法：每个Zone中包含一个 HBA，一个或多个存储端口（Storage port）。 Nodes can only “talk” to Storage in the same zone 一个存储端口可以是多个Zone的成员。 HBA端口（HBA port）相互之间是隔离的。 简化管理。,存储提供（Provisioning）: LUN Masking,指派逻辑卷（Volumes/LUN）给服务器或集群。 Zone：HBA，Storage（LUN） 服务器只能访问指派给它的逻辑卷（Volumes/LUN） 访问控制是由存

14、储设备完成的，而非Fabric Makes distributed administration secure A masking database Masking管理工具 GUI Command Line,Servers,Array,Switch,masking database,容量管理（Capacity Management）,跟踪和管理存储相关的资源 已指派的端口 已分配的存储（LUN） 资源利用文档（Utilization profile） 记录过去的资源利用率 帮助预测 由 SAN 管理软件提供容量管理功能，还包括 资源详细目录,性能管理（Performance Managemen

15、t）,What is it? 捕获系统运行特征，监测系统运行趋势 提前响应或及时响应（Proactively or Reactively） 规划进一步的增长 范围及功能 Host, Fabric and Storage Performance Building baselines for the environment,什么时候需要使用SAN？ SANs提供了高带宽的、块级别的（Block level）I/O能力 能够很好地满足实时应用（real time applications）的需要 Databases: OLTP (online transaction processing) Vide

16、o streaming 能够很好地满足对I/O 延时和吞吐率（latency and throughput）要求高的应用 可以用于融合（ Consolidate）异构的存储环境 Physical consolidation Logical consolidation,FC SAN示例,融合示例：DAS面临的挑战,Servers,Servers,Servers,Storage,烟囱式存储,融合示例：SAN解决方案,Servers,Servers,Array,Switch,Servers,Zoning and LUN masking,连接示例：不好的存储连接,Server,Switches,Arr

17、ay,Array,Server,Server,Server,Server,连接示例：解决方案,Server,Server,Server,Server,Server,Array,Switches,将存储设备连接到Core Switch上,FC SAN 面临的挑战,Infrastructure New, separate networks are required. Skill-sets As a relatively new technology, FC SAN administrative skills need to be cultivated. Cost Large investments

18、 are required for effective implementation. New SAN connectivity technology: IP IP-SAN,NAS vs. SAN,NAS和SAN产品定位的不同： SAN系统是高速共享存储设备子网，它适合于大规模、高性能的网络，在这种网络中快速访问是关键。SAN设备价格较高，但性能较好，并且容易解决备份的问题。它适合于中大型企业。 NAS可以很经济地解决存储容量不足的问题，但难以获得满意的性能，对于关键事务应用而言，它必须使用专用的宽带网络。而且安装调试容易，易于管理。它是中小企业的选择。,SAN的定义及其特征、优点 SAN的组

19、成 Host Bus Adapter (HBA) Fiber Cabling Fibre Channel Switch /Hub Storage Array Management System SAN的连接 FC SAN connectivity methods and topologies Fibre Channel devices Fibre Channel communication protocols Fibre Channel login procedures SAN的管理 SAN的应用,小结,本章目标及内容,面对不断增长的信息需求和不断发展的网络技术，网络存储应运产生。本章分别介绍

20、了网络存储环境下的直连存储、网络附加存储、光纤存储局域网、IP存储局域网和内容寻址存储，并深入介绍了这些网络存储结构的概念、结构特点、基本原理以及应用环境等方面的知识。 本章内容包括5个方面： 3.1 直连存储 (Direct Attached Storage，DAS) 3.2 网络附加存储 (Network Attached Storage，NAS) 3.3 光纤存储局域网络 (Fibre Channel Storage Area Networks, SAN) 3.4 IP存储局域网（IP Storage Area Networks，IP SAN） 3.5 内容寻址存储（Content Ad

21、dressed Storage，CAS）,3.4 IP存储局域网（IP SAN）,Internet Protocol Storage Area Networks (IP SAN) IP SAN 概述 IP SAN 协议 FCIP iFCP iSCSI IP SAN应用,IP SAN概述,FC SAN 是基于光纤通道技术 随着IP技术的不断发展，它也可以作为一种存储传输通道，可以提供块级别（Block level）的数据传输（From file-level to block-level）。,= IP = FC,Switch,Servers,Servers,Servers,Servers,Swit

22、ch,Storage,Storage,为什么要用IP？,使用IP进行存储传输，主要是因为： IP 管理更加简单 可以充分利用现有的网络基础设施，减少投资（与建立新的SAN相比） IP产品具有互操作性（不同厂商之间） 已有很多基于IP网络的远距离灾害恢复解决方案 IP网络有很多健壮、成熟的安全机制,基于IP的块级别存储 可选的协议,基于IP的块级别存储(Block storage over IP)：有多个不同的方法，当今最常用的三种协议是 iSCSI: Internet SCSI FCIP: Fibre Channel over IP iFCP: Internet Fibre Channel P

23、rotocol 每一种协议都对IP进行了扩充，并使得主机和外部存储之间的连接更加便捷。,基于IP的块级别存储 iSCSI,iSCSI SCSI over IP 基于主机的 SCSI I/O操作 封装，并通过以太网卡在IP上传输 IP encapsulation done on host / HBA (host bus adapter) IP交通流通过网络路由到 一个新的硬件设备(Hardware-based gateway to Fibre Channel storage)，它可以从IP包中抽取出 SCSI I/O操作，并将SCSI I/O操作发送到基于FC的外部存储设备 或者一个 iSCSI

24、 存储阵列，它具有转换处理和本地SCSI I/O操作能力。,Host,Storage Array,FC SAN,基于IP的块级别存储 FCIP,FCIP FC over IP 通过一对桥（Bridge）设备将两个FC SAN通过IP连接起来 Fibre Channel-to-IP bridge / tunnel (point to point) Fibre Channel end points 通常用于扩展FC SAN的连接距离（Over greater distance）,Bridge,Bridge,FC SAN,FC SAN,FC frame is sent over IP links,基

25、于IP的块级别存储 iFCP,iFCP - IP as the inter-switch fabric 一种新的光纤通道交换机，使用IP作为交换机之间的交换协议 Fibre Channel end points 与FCIP相类似，但并不是端到端（point-to-point）的连接，支持主机通过现有的IP网络获取存储能力,基于IP的存储方法,iSCSI,FC,FC,FC,FC,FC,IPNetwork,IPNetwork,IPNetwork,IPNetwork,iFCP,FCIP,iFCP Switch,iFCPSwitch,FCIP Router,FCIP Router,iSCSI/FC G

26、ateway,Servers,Storage,Block-level NAS,No Fibre Channel content,基于IP的存储 部署模型,Native All Ethernet (No Fibre Channel) iSCSI Protocol Ethernet Switches & Routers,Bridging Servers - Ethernet Attached Storage - FC Attached (SAN or DAS) iSCSI Protocol,Extension Servers & Storage - SAN Attached FCIP or iFC

27、P Protocol EMC SRDF (Symmetrix Remote Data Facility),SAN互连：市场驱动,FC SAN面临的挑战： High acquisition cost Separate infrastructure Separate management model 对IP SAN支持： 千兆以太网和光网络产品 广域网连接管理 IP设备及其管理人员可以很容易连接和管理FC SAN IP provides greatest flexibility at lowest cost for latency-tolerant applications Suitable fo

28、r backup across campus network, MAN, or WAN IP SAN的优点 Cost Effective Extend the reach of a SAN,IP is Cost Effective,基本上所有的组织都拥有IP网络，并且对其管理非常熟悉。 扩展现有 FC SAN的应用 保护FC SAN的投资 全面支持通过 LAN/WAN 提供FC Fabric网络服务 使得IP网络与FC Fabric网络无缝衔接,Extend the Reach of Your SAN,Standard Fibre Channel Distances. 1 Gbps multi

29、mode fibre - maximum distance = 500 m 1 or 2 Gbps single mode fibre - maximum distance = 10 Km With DWDM(Dense Wavelength Division Multiplexing), up to 200 Km IP Extends Fibre Channel applications over regional/global distances. LAN, MAN, or WAN distances A typical application includes remote backup

30、 and restore. At higher link speeds, IP can handle synchronous applications. Disk mirroring Shared storage Data sharing,IP SAN协议,FCIP: Fibre Channel over IP FC over IP iFCP: Internet Fibre Channel Protocol IP as the inter-switch fabric iSCSI: Internet SCSI SCSI over IP,Fibre Channel over IP - FCIP,E

31、ncapsulates FC frames in IP packets. Creates virtual FC links that connect devices and fabric elements. (Virtual ISL- Virtual Inter Switch Link ) point to point Includes security, data integrity, congestion and performance specifications.,IP Datagram,IPHeader,TCPHeader,FCIPHeader,Fibre Channel Frame

32、,SOF,FCHeader,CRC,EOF,SCSI Data,SCSI Data,FCIP 拓扑结构,Virtual ISL,A larger SAN connected by IP.,point to point,FCIP 协议模型,FCIP 的优点,FCIP Best of both technologies Support for existing applications Cost effective,Internet Fibre Channel Protocol - iFCP,Gateway-to-gateway protocol IP switches & routers rep

33、lace FC switches Transparent to FC drivers FC transport uses TCP connections Point-to-multipoint networking possible,IPHeader,TCPHeader,iFCPHeader,iFCP 拓扑结构,N_Port,IP path TCP Session,iFCP 的优点,Works with wide range of devices. Flexible and can function as a(n): IP Tunnel for FC-to-FC FCP data transp

34、ort. Bridge for FC-to-IP FCP data transport. Replacement for FC for IP-to-IP FCP data transport. Less potential bottlenecking vs. FCIP since it has a TCP session for every virtual port-to-port connection.,iFCP Maps FCP to an IP Fabric,Device-to-device session,IP Network,iFCP Gateway,iFCP Gateway,FC

35、Switch,FC Loop Disks,iFCP Gateway,iFCP Gateway,FC Tape Library,FC Server,iSNS (Internet Simple Name Service),iSNS,iSNS,iSNS,寻址与路由：Addressing and Routing,Local Mode: 每个FC SAN独立编址 Means the Gateway region creates “phantom” FC addresses for foreign nodes. Is more flexible since FC switch domain IDs can

36、 be duplicated in each region. Address Transparent Mode: 所有FC SAN共同编址 Means all gateways share addressing. Routing between gateway regions is IP-only.,iFCP allows fabrics to remain independent,SAN A,SAN B,The two fabrics remain separate. But Zoning and Name Server information sharing allows SAN A de

37、vices to be visible to SAN B devices and vice versa.,Switch,Servers,Storage,Switch,Storage,Servers,Gateway,Gateway,FCIP connect two FC SANs as a large SAN.,Internet SCSI - iSCSI,A method to transfer blocks of data using the TCP/IP network. Serialized service delivery subsystem. SCSI protocol over IP

38、. TCP is a reliable transport that retransmits dropped packets. IP is an unreliable transport mechanism (packet dropping allowed). Ethernet (10/100/1G/10G) is a popular Physical Transport layer.,iSCSI 模型层次,IPHeader,TCPHeader,iSCSIHeader,SCSI Data,IP Datagram,Storage,iSCSI 存储模型,Native All Ethernet (N

39、o Fibre Channel) Direct attached Ethernet Switches & Routers Bridging Servers Ethernet Attached Storage FC Attached (SAN or DAS),iSCSI Initiator (Host) Implementations,iSCSI 的管理,由于存储设备（Target）的共享连接特性，管理者可以有2种连接管理方式： 每个主机（Initiator）可以独立配置一个授权的存储设备(Target)列表，并且每个存储设备（Target）也配置有一个可供访问的主机（Initiator）列表及

40、其权限控制 由一个iSNS（Internet Simple Name Service）服务器提供连接管理服务，它维护了一个主机（Initiator）和存储设备(Target)的访问控制列表。,iSCSI 的管理,Target Z,Initiator B,Initiator C,Initiator A,iSNS,IP Network,A,B,C,Target Z - Device A Initiator A Target Z - Device B Initiator B Target Z - Device C Initiator C,iSNS：Internet Simple Name Servi

41、ce,iSNS is a client/server model. The iSNS server is passive - Client action drives iSNS clients register & manipulate the objects in the iSNS server. initiators targets management stations switches An iSNS server can be hosted on a target, initiator, or stand-alone server with a specified IP addres

42、s.,iSNS 示例 - iSNS clients register in the iSNS server.,Management Platform,iSNS,Device B,Host B,Host A,Host C,Device A,Discovery Domains,Storage,Storage,iSCSI 的节点,A single Initiator or Target 所有节点都分派了一个名字 节点名字与其IP地址是相互独立的 Multi-name one address One name multi-address,iSCSI 的结构模型,与iSCSI相关的2个主要网络部件： T

43、he Network Entity, the specific device or gateway accessible to the IP network. The network component is the Network Portal.,iSCSI Node Target,IP Network,iSCSI Node Initiator,Network Entity iSCSI Client,Network Entity iSCSI Server,FCIP, iFCP 和 iSCSI 的比较,Remote Backup and Restore Remote Data Replicat

44、ion Storage Consolidation,IP SAN应用,Remote Backup and Restore,IP Network,FC,FC,FC,Servers,Storage,Disks,Disks,Disks,Server,Server,FCIP or iFCP,MAN/LAN,Remote Data Replication,IP Network,FC,FC,FC,Servers,Storage,Disks,Disks,Disks,Server,Server,FCIP or iFCP,MAN/LAN,continuously synchronized,Storage Con

45、solidation/Dual Purpose IP Network,Servers,Switch,Disks,Disks,Disks,Switch,Switch,Switch,Disks,Disks,Disks,Servers,Servers,(iSCSI or iFCP gateway),Three common IP SAN approaches FCIP iFCP iSCSI IP SAN is a cost effective solution for extending an FC SAN. IP SAN applications Remote Backup and Restore

46、 Remote Data Replication Storage Consolidation,小结,本章目标及内容,面对不断增长的信息需求和不断发展的网络技术，网络存储应运产生。本章分别介绍了网络存储环境下的直连存储、网络附加存储、光纤存储局域网、IP存储局域网和内容寻址存储，并深入介绍了这些网络存储结构的概念、结构特点、基本原理以及应用环境等方面的知识。 本章内容包括5个方面： 3.1 直连存储 (Direct Attached Storage，DAS) 3.2 网络附加存储 (Network Attached Storage，NAS) 3.3 光纤存储局域网络 (Fibre Channel

47、 Storage Area Networks, SAN) 3.4 IP存储局域网（IP Storage Area Networks，IP SAN） 3.5 内容寻址存储（Content Addressed Storage，CAS）,3.5内容寻址存储（CAS）,CAS：Content Addressed Storage CAS Description and Benefits Elements of CAS Data Object Storage and Retrieval CAS solutions,CAS是什么?,面向对象的、位置无关的数据存储方法 对象（Object）的容器（Reposi

48、tory） 提供了对容器（Repository）的访问接口 为对象（Object）提供全局唯一的标识（Globally unique identifier，也称 内容地址，Content address），提供基于标识的对象访问 提供可扩展的元数据，以支持自动的数据管理,什么是固定内容（ Fixed Content ）?,Electronic Documents Contracts, claims, etc. E-mail and attachments Financial spread sheets CAD/CAM designs Presentations,Digital Records

49、Documents Checks, securities trades Historical preservation Photographs Personal / professional Geophysical Seismic, astronomic,geographic,Digital Assets Retained For Active Reference And Value,Leverage Historical Value,Improve Service Levels,Generate New Revenues,Rich Media Medical X-rays, MRIs, CT

50、I Video News / media, movies Security serveillance Audio Voicemail Radio,存储固定内容面临的挑战,新增数据大部分都是固定内容 固定内容以每年超过 90% 的速度增加 通常需要保存较长的时间 (years-decades). 同时支持大量用户的在线（Online）访问：vs. Offline, or Near-line 需要快速访问,传统数据存档解决方案的不足,磁带存储太慢，并且其标准总是在变化 光盘存储相对较贵且慢，存储介质数量大 都需要第三方的管理软件 从磁带或光盘中恢复数据通常需要很长的时间 NAS and SAN:

51、Too expensive,CAS 的优点,根据内容生成不变的、唯一的内容地址（Content Address），以此作为内容的访问依据 位置无关：应用程序无需知道内容的物理存储位置，应用程序通过唯一标识（Content Address）来获取内容. 单实例存储（Single instance storage） 快速的内容获取（Online access） 记录级（Record-level）的数据保持、保护、分发 基于对象的存储，数据易于迁移 更低的TCO 可扩展（Scalability）,CAS的物理构成,Storage devices (CAS Based) Servers (to whi

52、ch storage devices get connected) Client,Server,Client,CAS-basedStorage,(disk-based storage),CAS的逻辑构成,The Logical Elements of CAS include the Object-Level Access Protocols API，Content Address， Metadata,CAS,API,Metadata,Content Address,CAS中数据对象的存储,Application Server,Client,CAS,Metadata: Content Descr

53、iptor File (CDF),CAS中数据对象的获取,Application Server,Client,CAS,CAS 在卫生保健领域的应用示例,X光片图像存档及通信系统（Radiology PACS ）,CAS,CAS 在金融领域的应用示例,Check images maintained in tier 1 storage for 60 days then migrated via HSM (Hierarchical Storage Management) to “active archive”,CAS,tier 1 storage,active archive,小结,CAS概念 面向

54、固定内容存储 面向对象的、位置无关的存储方法 内容地址（Content Address） CAS的组成：物理组成及逻辑组成 CAS的数据存取 CAS应用示例,下课！,Q&A Discussion,EMC FC SAN产品,Connectrix Family of SAN Switches and Directors OEM from: Brocade McData Cisco,The Connectrix Family,MDS-9120,MDS-9140,DS-220B,MDS-9509,ED-140M,MP-1620M,MDS-9506,MDS-9216i/A,AP-7420B,MP-264

55、0M,DS-4100B,ED-10000M,ED-48000B,DS-4700M,DS-4400M,High-speed Fibre Channel connectivity- 1 to 10 gigabits per second Highly resilient switching technology, and options for IP storage networking. configure to adapt to any business need,Switches vs. Directors,Connectrix Switches High availability thro

56、ugh redundant deployment Redundant fans and power supplies Departmental deployment or part of Data Center deployment Small to medium fabrics Multi-protocol possibilities,Connectrix Directors “Redundant everything” provides optimal serviceability and highest availability Data center deployment Maximu

57、m scalability Maximum performance Large fabrics Multi-protocol,Connectrix Switch - DS-220B,Provides eight, 12, or 16 ports Auto-detecting 1, 2, and 4 Gb/s Fibre Channel ports Single, fixed power supply Field-replaceable optics Redundant cooling Simplified setupno previous SAN experience needed Elimi

58、nates the need for advanced skills to manage IP addressing or Zoning,Connectrix Director MDS 9509,Multi-transport switchFibre Channel, FICON, iSCSI, FCIP 16 to 224 Fibre Channel ports 456 Gigabit Ethernet ports for iSCSI or FCIP Non-blocking fabric 1 / 2 Gb/s auto-sensing ports All components are fully redundant,MDS-9509,Connectrix Management Interfaces,MDS-Series Fabric Manager,M-Series Web Server,B-Series Web Tools,Effective Information Archive Must Address,EMC CAS产品,Business Cost Access