存储专家---存储基础知识精细培训

1、存储基础知识讲座,第一部分：存储相关基础知识 第二部分：存储中常用的术语 第三部分：DAS、NAS、SAN、iSCSI,今日您将了解,第一部分 存储相关基础知识,RAID与JBOD是什么？ 了解逻辑驱动器与物理驱动器间的关系 RAID0、1、3、5、10、30、50、 NRAID、JBOD Globle Spare 盘阵) 是一种磁盘集群技术, 很早以前就开始使用在大型系统之中.用户可以自由定义数据的保存方式, 可以采用数据镜像(在不同磁盘上保存数据拷贝), 条带集(数据交叉保存在多个磁盘上), 还有奇偶校验保护(记录额外的数据以识别错误), 这些技术可以根据用户对性能和可靠性的要求单独或联合

2、使用. JBOD：(只是一组盘; 磁盘组) 是与RAID相似的一种标准. 也是指一组磁盘通过一个接口连接到服务器, 但与RAID不同, JBOD不提供镜像, 数据条带集存储和奇偶校验等功能, 这些功能通常由主机上的软件来实现. JBOD是一种最简单廉价的“裸存储”设备. 独立的磁盘保存在一个机箱之中, 允许不同的服务器分组访问. 一般不提供“缓冲”(高速缓存)和提供先进功能的控制器. JBOD的扩展空间有限. 由于缺少智能,数据条带集存储或奇偶校验, 对于任意磁盘的损坏没有保护. 磁带存储是磁盘损坏后恢复保存信息的常用手段.,RAID与JBOD是什么？,RAID Level 0: 带区集,y,

3、l,i,F,M,e,RAID 1: 镜像,RAID 3: 带专用校验驱动器的带区集,y,l,i,F,M,e,P,P,P,RAID 5:带分布校验位的带区集,y,l,i,F,M,e,P,P,P,RAID Level 10 :Striping of Mirrored Arrays,RAID-0,RAID-1,RAID-1,RAID Level 30 :Striping of Two RAID 3 Arrays,RAID 3,RAID 3,P,RAID 0,RAID Level 50: Striping of Two RAID 5 Arrays,F,RAID 5,RAID 5,RAID 0,RAID

4、 级别的比较,增加容量,存储技术的核心：RAID,通常依照阵列的结构形式分成RAID0，RAID1，RAID2，RAID3，RAID4，RAID5， RAID0+1等类型。 常见的有以下几种类型： 1RAID0数据分别存储在阵列中的各个驱动器上，并行传送。这种结构容量利用率最好，达到100%。但没有校验，可靠性最差。 2RAID1数据以完全相同的形式同时存储在2台硬盘驱动器上，数据传输率和单台情况下相近。容量利用率只有50%，但冗余量大，可靠性高。这种结构通常称为镜象磁盘。 3RAID3阵列中有一台驱动器用作奇偶校验盘。并行传送。这种结构适合用于每次存储数据量大的情况，例如科学计算等。 4RA

5、ID5阵列采取奇偶校验，但没有专用的驱动器，而是将校验位按要求写到阵列中的某一台驱动器上。采取并行传送。这种结构适合每次存取数据量小的情况，例如事务处理。 5RAID0+1（也称RAID10）阵列中一半的驱动器采取RAID0的结构，可以并行传送来提高数据传输率。另一半则是前面提到的镜象磁盘，即是RAID1。这样可以有很高的可靠性。 6其他阵列类型：基于软件的RAID技术及部分厂家提出的类型。,本地、全局 Hot Spare盘,Hot Spare,全局 Hot Spare,Set 1,Set 2,本地 Hot Spare,Set 1,Set 2,Hot Spare,Hot Spare 具有 自动

6、复制 + 替换 功能,支持在线扩容,2 GB,9 GB,9 GB,添加的驱动器,物 理,驱动器,Logical 0,9 GB,9 GB,18 GB RAID 5,27 GB RAID 5,看起来好像 “新建的” RAID设置,第二部分 了解存储中常用的术语,存储中常用的术语,IDE、SATA SCSI、FC、SCSI HBA、FC HBA、千兆光纤网卡 GBIC、SFP、MIA、DB9、HSSDC、HSSDC2 LC、SC, DWDM LAN-FREE BACKUP、SERVERLESS BACKUP WWN、ZONING Byte & bit, (1Byte=8bits),编码 光纤通道1G

7、b/s(100MB/s),2Gb/s (200MB/s), 以太网的1Gb/s（125MB/s） 32bits,64bits,133MHz, 66MHz, PCI 平均无故障时间（MBTF） IOPS, 持续传输速度 (MB/sec xfer rate) Host Fibre Connections, Fibre bandwidth to drives RAID、LUN、Partition,LV，,存储的主要应用,阵列存储光盘存储磁带存储数据迁移 数据备份及恢复：磁带、光盘、阵列数据复制: 本地镜像、远程镜像高可用:集群，双机容错、容错系统 高性能存储,海量存储 容灾 高性能,存储管理,存储设

8、备,存储交换设备,Veritas,StoreAge,FalconStor,DataCore,JBOD厂商,Brocade,Vixel,Cisco,Nishan,McData,Inrange,EMC,HDS,IBM,SUN,HP,STK,ADIC,Fujiton,LSI,Dell,NetApp,PROCOM,其他品牌,DotHill,EDI,国内品牌,国外存储厂商一览,主要的存储设备厂商,高端阵列产品线,HDS Lightning 9900 V IBM ESS（大鲨鱼、银鲨、小鲨鱼） EMC Symmetrix DMX 800 / 1000 / 2000/ SUN HP,中端阵列存储产品线,HD

9、S ：Lightning 9570/9580/9585 V IBM ：FASt T600 / T700 / T900 EMC / DELL：Clariion CX300/500/700 SUN :SE6900 HP:EVA 3000 /5000 LSI : E 4600 / E5600 Xiotech 、DDN ,低端阵列存储产品线,部分大厂的低端产品线 台湾及部分美国阵列厂商 国内贴牌厂商 国内自己组装,主流的备份软件厂商,VERITAS NetBackup DataCenter Backup Exec Legato NetWorker BakBone NetVault CA BrightS

10、tor Tivoli Storage Manager HP OmniBack,数据迁移（HSM）软件厂商,VERITAS Storage Migrator Legato NetWorker HSM Tivoli Space Manger OTG DiskXtender,SAN数据共享软件,Tivoli SANergy VERITAS SANPoint Direct ADIC Centravision SGI CXFS Transoft FibreNet ATTO StudioNet,SAN环境多路径软件,VERITAS Dynamic Multi-Path (DMP) IBM SubSytem

11、 Device(SDD) Compaq Secure Path EMC PowerPath HDS Dynamic Link Manger HP Auto Path Virtual Array for xp Xiotech REDI Path JNI Zentai HBA Qlogic Qldirect,服务器集群软件,Microsoft Cluster Server (MSCS) VERITAS Cluster Server(VCS) Legato Automated Availability Manager(LAAM) Sun Cluster Novell Cluster Service

12、IBM HACMP HP MCService Guard Compaq TrueCluster Compaq OpenVMS Cluster 其他,镜像/复制软件,EMC SRDF /MirrorView HDS Nanocopy/ TrueCopy VERITAS Volume Manager/ Volume Replicator/ Storage Replicator Legato RepliStor IBM Peer-to-Peer-Copy (PPRC)/ Extended Remote Copy(XRC) SUN StorEdge Availability Suite-Remote

13、Mirroring Software/Point-in-time Copy/SUN StorEdge Network Data Replicator Compaq Virtual Replicator/Data Replication Manager HP Continuous Access Xp&Xp Extension/Business Copy XP Xiotech Real Time Data Intelligent(REDI) Copy/SAN Link Replicator,第三部分 了解 DAS、NAS、SAN、iSCSI,DAS - Direct Attached Storag

14、e NAS - Network Attached Storage SAN - Storage Area Networks iSCSI &IP SANs,存储的几种主要技术-根据连接方式划分,服务器连接存储（DAS）,DAS：Direct Attached Storage 直接与服务器连接的存储系统 通过SCSI或FC接口连接 服务器为核心，不直接连入网络,SCSI FC,SCSI-to-SCSI SCSI -to- IDE FC-to-SCSI FC-to-FC,DAS的存储方案,服务器,阵列,SCSI,服务器,磁带机,光盘库,DDS DLT AIT LTO,DVD-RAM光盘库 MO光盘库

15、CD&DVD库 光盘镜像服务器(NAS),DAS - Direct Attached Storage,优点 低费用 使用简单 容易安装 价格相对较低,缺点 不能共享 连接距离有限 升级困难 缺乏较好的高可用性 维护复杂,适宜于小型机构的存储解决方案,NAS是什么？,“Network Attached Storage” 一个经过特殊优化的，在混合网络环境中提供文件服务的设备。 NAS直接连接到网络中，直接为client提供存储服务。 其软件经过高度的优化 直接连接到网络，安装和管理过程简单，无网络中断, 安装快捷 无需安装其它操作系统 利用网络协议及IP 地址 NAS能为我们做什么？ 在文件服务

16、器上能实现的任何功能，NAS都能实现 在不同的网络平台间共享数据（数据的集中管理） 备份个人电脑和便携式电脑中的数据 为您的服务器数据提供一个随时可以访问的备份 从防火墙缓冲数据 为您的WEB服务器和Email服务器提供存储空间,通过LAN直接接入网络的存储系统。,混合网络环境中的NAS应用,NAS在校园网中的应用,CERNET/INTERNET,一号教学楼,办公楼,移动办公人员,学生家长查阅,远程教学,二号教学楼,节点交换机,节点交换机,节点交换机,节点交换机,节点交换机,网 管工作站,应用服务器群,图书馆,实验楼,INTERNET、MAIL DNS服务器等,路由器,POP 4500,中心交

17、换机,NAS在城域网中的应用,1GB Ethernet,公用宽带网 教育网VLAN,Catalyst 6509,城域网信息中心,Catalyst 35/29 Serial,INTERNET,电信宽带IP,1GB Ethernet,本地资源服务器,教育局各科室,教育局及市区学校,服 务 器 群,POP 4000,POP 4500,NAS-引领存储潮流的技术,二中,大学小,NAS - Network Attached Storage,优点 容易安装，维护简单 共享数据 跨平台文件共享 远程访问 减轻服务器负担 充分利用网络带宽,缺点 不适合数据库存储 孤立的存储设备 传输速率低成为瓶颈,主要适宜于

18、文件存储的解决方案,Fibre Channel有三种拓扑结构: 点对点(Point-to-Point) 两个设备之间互连 仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连,SAN概念,Fibre Channel （FC）技术标准是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的网络技术。,点对点,仅 2 个设备,仲裁环,最多 126 个设备,交换式FC网络（Fabric）,最多 1600万个设备,独立于LAN的服务器后端存储专用网络 主要利用Fibre Channel

19、 protocol（光纤通道协议），通过FC交换机建立起与服务器和存储设备之间的直接连接 100MB/S、200MB/S、400MB/S的速率消除了带宽上的瓶颈,存储区域网络 ( Storage Area network ),FABRIC-第二网,客户机,LAN(局域网),广域网,存储区域网 （第二网）,Fabric = 第二网 “Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络,。 可以提供企业级的性能、扩展能力、可管理能力、可靠性和高可用能力， 我们称之为：SAN,服务器,存储子系统,第一网,逐级的Fabric 扩展-海量存储,Fiber Channel Swit

20、ches,Disk Array,主机服务器,光纤交换机,磁盘阵列,简单的SAN存储结构,线缆（光纤或铜线） FC HBA、 GBIC、& MIA FC HUB/交换机 数据网关 服务器 存储管理软件: Tivoli SANergy VERITAS SANPoint Direct ADIC Centravision SGI CXFS Transoft FibreNet ATTO StudioNet 存储系统 RAID，JBOD 磁带存储设备 光存储设备,SAN的组成,内部运行Fabric拓扑 每端口独占100MB/S、200MB/S带宽 SAN的核心设备,SAN的核心- 光纤通道交换机,光纤通道

21、卡（FC HBA）,提供服务器或工作站连接到存储网络的接口 铜介质/光介质支持 （可以是双口） 目前提供的带宽指标: 1G & 2G 仲裁环/ Fabric 支持 支持的总线: PCI, HSC, SBUS 厂商: JNI, Emulex, Qlogic Adaptec,LSI,Mylex,存储设备,直接接入存储网络 RAID 磁盘阵列 JBOD 磁盘组 磁带设备 主要用于备份和恢复 光介质设备 主要用于HSM（Hierarchical Storage Management）,SAN的主要应用,LanFree Backup ServerLess Backup 集群（可实现多节点） 服务器/应用

22、系统存储整合 异地灾备 同步与异步镜像 分级存储（HSM）,超越 SCSI的局限性 (驱动器数, 传输速度, 传输距离) 更容易地存储和共享数据及资源 Advanced Operations 对存储资源的集中管理 LAN-free 和 Server-less backup 远程镜像,( SAN与传统SCSI的比较 ),网络存储的三种常见模式,What is iSCSI ?,操 作 系 统,千兆网卡或 iSCSI HBA,主 机,文 件 系 统,iSCSI 设备驱动,FC or SCSI 存储设备,iSCSI 交换机,将iSCSI包转换成标准SCSI命令 与物理存储设备间进行数据的传输及交换,网

23、络化存储的一种新标准,iSCSI 协议经由TCP/IP协议栈（在IP之上的第四层）传送本地SCSI命令及数据。 通过iSCSI协议，标准的SCSI命令和数据将被封装成一个以iSCSI头在先的连续字节串，该字节串被送到TCP/IP层，并被分解成适合网络传输的数据组后，交给主机和适用与iSCSI协议的存储设备 如果发出一个读数据的请求，则从物理磁盘中检索出数据，将其重新封装成iSCSI字节串后送到提出请求的主机 整个过称对用户和文件系统是透明的,核心内容：,iSCSI是IETF提出的经TCP/IP/以太网传送SCSI指令的协议,iSCSI & IP SAN,优点 可连接性能超群，基于现有以太网络架

24、构，可自然扩充到LAN、MAN、WAN，是远程数据传输的最佳方案。 提供与FC同级别的高可用 可加强的性能及高可用性、扩展性 虚拟存储与集中管理，易于整合 低整体成本 超远传输距离， 未来万兆以太网的前景,缺点 不低的先期成本投入 协议尚未最后定稿 目前带宽依然还不如FC通道,基于文件和数据块的高中端存储解决方案,iSCSI解决方案,iSCSI V Switch,Ethernet,Clients,Clients,Server,光纤通道卡（FC HBA）,提供服务器或工作站连接到存储网络的接口 铜介质/光介质支持 （可以是双口） 目前提供的带宽指标: 1G & 2G 仲裁环/ Fabric 支持

25、 支持的总线: PCI, HSC, SBUS 厂商: JNI, Emulex, Qlogic Adaptec,LSI,Mylex,存储设备,直接接入存储网络 RAID 磁盘阵列 JBOD 磁盘组 磁带设备 主要用于备份和恢复 光介质设备 主要用于HSM（Hierarchical Storage Management）,SAN的主要应用,LanFree Backup ServerLess Backup 集群（可实现多节点） 服务器/应用系统存储整合 异地灾备 同步与异步镜像 分级存储（HSM）,超越 SCSI的局限性 (驱动器数, 传输速度, 传输距离) 更容易地存储和共享数据及资源 Advan

26、ced Operations 对存储资源的集中管理 LAN-free 和 Server-less backup 远程镜像,( SAN与传统SCSI的比较 ),网络存储的三种常见模式,What is iSCSI ?,操 作 系 统,千兆网卡或 iSCSI HBA,主 机,文 件 系 统,iSCSI 设备驱动,FC or SCSI 存储设备,iSCSI 交换机,将iSCSI包转换成标准SCSI命令 与物理存储设备间进行数据的传输及交换,网络化存储的一种新标准,iSCSI 协议经由TCP/IP协议栈（在IP之上的第四层）传送本地SCSI命令及数据。 通过iSCSI协议，标准的SCSI命令和数据将被封

27、装成一个以iSCSI头在先的连续字节串，该字节串被送到TCP/IP层，并被分解成适合网络传输的数据组后，交给主机和适用与iSCSI协议的存储设备 如果发出一个读数据的请求，则从物理磁盘中检索出数据，将其重新封装成iSCSI字节串后送到提出请求的主机 整个过称对用户和文件系统是透明的,核心内容：,iSCSI是IETF提出的经TCP/IP/以太网传送SCSI指令的协议,iSCSI & IP SAN,优点 可连接性能超群，基于现有以太网络架构，可自然扩充到LAN、MAN、WAN，是远程数据传输的最佳方案。 提供与FC同级别的高可用 可加强的性能及高可用性、扩展性 虚拟存储与集中管理，易于整合 低整体

28、成本 超远传输距离， 未来万兆以太网的前景,缺点 不低的先期成本投入 协议尚未最后定稿 目前带宽依然还不如FC通道,基于文件和数据块的高中端存储解决方案,iSCSI解决方案,iSCSI V Switch,Ethernet,Clients,Clients,Server,光纤通道卡（FC HBA）,提供服务器或工作站连接到存储网络的接口 铜介质/光介质支持 （可以是双口） 目前提供的带宽指标: 1G & 2G 仲裁环/ Fabric 支持 支持的总线: PCI, HSC, SBUS 厂商: JNI, Emulex, Qlogic Adaptec,LSI,Mylex,存储设备,直接接入存储网络 RAID 磁盘阵列 JBOD 磁盘组 磁带设备