基础培训和磁带库介绍.ppt

存储备份技术的发展 磁带库系统技术发展 虚拟磁带库技术发展,内容,存储备份技术的发展,scsi技术，raid技术，fc技术，iscsi技术，fcoe技术 das，nas，san(FC-SAN IP-SAN) 软盘，硬盘，光盘，磁带库，虚拟磁带库 ,存储设备接口,目前存储设备的接口有五大类：IDE、SCSI、USB，FC ，FCoE。其中并行口与串口的速度非常慢，最主要的就是SCSI ,FC。IDE（Integrated Drive Electronics，电子集成驱动器）凭着其高速的传输和平常的价格，受到家庭用户的欢迎,而FC设备被企业用户欢迎,SCSI接口技术发展,scsi(Small Computer System Interface),1986年获得ANSI承认. 在计算机外部设备，尤其是存储设备的接口方面SCSI接口和IDE接口一直是飞速发展的两大阵营。 IDE接口在PC机上拥有绝大多数的市场份额，SCSI接口却以其优异的性能成为高端电脑市场的绝佳选择。 二者的区别主要在于：IDE的工作方式需要CPU的全程参与，SCSI接口则完全通过独立的高速的SCSI卡来控制数据的读写操作。 Scsi发展至今出现了SAS(SCSI ATTACH SERIAL) /p-8485720.html IDE发展至今出现了SATA(SERIAL ATA),RAID 技术,Raid：redundent array of independent disk RAID翻译成中文意思是“独立磁盘冗余阵列”，实际上也是我们经常所说的“磁盘阵列”。这种技术可以让多个独立的硬盘通过不同方式组合成一个硬盘集合，硬盘集合的性能较单个硬盘性能高 RAID级别是指磁盘阵列中硬盘的组合方式，RAID级别不同，硬盘组合的方式也就不同，为用户提供的磁盘阵列在性能上和安全性的表现上也有不同 目前常见的RAID级别有RAID0，1，3，5， 6,必须要有两个或两个以上物理硬盘 ，RAID 0又称为Stripe（条带化）或Striping，它代表了所有RAID级别中最高的存取性能 RAID 0具有的特点，使其特别适用于对性能要求较高，而对数据安全不太在乎的领域，如图形工作站等。对于个人用户，RAID 0也是提高硬盘存储性能的绝佳选择。,Raid0工作原理：无差错控制的条带组,RAID1(磁盘镜像 ),必须要有两个或也只能是两个物理硬盘。多于两个自动成为Raid0+1 它的宗旨是最大限度的保证用户数据的可用性和可修复性。 由于对存储的数据进行百分之百的备份，在所有RAID级别中，RAID 1提供最高的数据安全保障。同样，由于数据的百分之百备份，备份数据占了总存储空间的一半，因而Mirror(镜像)的磁盘空间利用率低，存储成本高,RAID01 RAID 0和RAID 1的组合形式，也称为RAID 10,四个磁盘组成的RAID 0+1为例，其数据存储方式如图所示：RAID 0+1是存储性能和数据安全兼顾的方案。它在提供与RAID 1一样的数据安全保障的同时，也提供了与RAID 0近似的存储性能。 由于RAID 0+1也通过数据的100%备份功能提供数据安全保障，因此RAID 0+1的磁盘空间利用率与RAID 1相同，存储成本高。 RAID 0+1的特点使其特别适用于既有大量数据需要存取，同时又对数据安全性要求严格的领域，如银行、金融、商业超市、仓储库房、各种档案管理等。,RAID3(磁盘镜像 ),必须要有三个或三个以上硬盘驱动器 是把数据分成多个“块”，数据占用的有效空间为N个硬盘的空间总和，而第N+1个硬盘上存储的数据是校验容错信息。 在通常情况下，RAID3比较适合大文件类型且安全性要求较高的应用，如视频编辑、硬盘播出机、大型数据库等,RAID5,必须要有三个或三个以上硬盘驱动器 是一种存储性能、数据安全和存储成本兼顾的存储解决方案.由图中可以看出，RAID 5把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。 其应用最好是OLTP ，适合应用在I/O次数频繁、数据随机存取、每笔数据传输量小的环境,RAID6,必须要有四个或四个以上硬盘驱动器。带有两个独立分布式校验方案的独立数据磁盘. RAID 6是由一些大型企业提出来的私有RAID级别标准 这种RAID级别是在RAID 5的基础上发展而成，因此它的工作模式与RAID 5有异曲同工之妙，不同的是RAID 5将校验码写入到一个驱动器里面，而RAID 6将校验码写入到两个驱动器里面，这样就增强了磁盘的容错能力，同时RAID 6阵列中允许出现故障的磁盘也就达到了两个，但相应的阵列磁盘数量最少也要4个。,RAID 6 cont.,P1数据1a XOR 数据1b XOR 数据1c XOR 数据1d Q11a的GF XOR 1b的GF XOR 1c的GF XOR 1d的GF,FCP技术,光纤通道协议 FC-0 描述了机械特性（接口，电缆），电气特性（信号），传输距离等 FC-1 描述了8B/10B编解码技术。 FC-2 定义了帧、流量控制、和服务质量等。 FC-3 描述了有关节点的所有端口服务，如数据加密和压缩。 FC-4 描述了各种协议的映射，如SCSI、IPI、HIPPI或IP等协议。,光纤通道协议映射,IPI - 3 命令集映射 (IPI-3 STD),光纤通道的拓扑结构,Fibre Channel有三种拓扑结构: 点对点(Point-to-Point) 两个设备之间互连 仲裁环(Arbitrated Loop) 最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric) 最多1千6百万个设备互连,点对点,交换式 Fabric,Arbitrated Loop (仲裁环),光纤通道基础概念,节点(Nodes) 通过一个或几个端口传送和接受信号，有自己的节点名称 端口(Ports) 分为传送 (tx) 和接受 (rx)两部分 有一个唯一的节点名称 Tx 编码并串行传送数据 Rx 收到信号后，解码恢复 端口 (Device 设备) 种类： 节点：N_Port, NL_Port 交换机: F_Port, FL_Port, G_Port, E_Port 连接(Link) 端口通过连线连接到FC网络 它使用一根电缆来传送二进制的1和0 使用连接协议来控制数据传输,连接 (1001100010101),SAN,SAN = Storage Area Network (存储区域网络) 是一种基于光纤的特殊的后台数据存取网络 提供了一个性能稳定的数据高速存取平台 关键概念: 支持前台企业信息处理网络 (例如：Ethernet及TCP/IP） 有助于减轻关键工作量和增加应用性能及高可用性 成为一种有灵活同时有扩展性的数据平台来解决现有的数据迁移和数据共享瓶颈问题 基于NCITS T11:光纤通道(Fibre Channel)标准I/O接口 (X3.230-1994) ,光纤通道 = 是SAN Fabric的基础 为存储系统提供一个网络连接模式,客户机,LAN(局域网),广域网,存储区域网 （第二网）,Fabric = 第二网 “Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络, 这一数据网络可以提供企业级的性能, 扩展能力, 可管理能力, 可靠性和可用能力,服务器,存储子系统,第一网,第二网启动顺序：,建议遵循一定的顺序启动网络设备 首先要启动的就是网络系统，包括所有的交换机并确定所有的设备连接正常 第二网启动进程:,iscsi技术,（iSCSI = internet Small Computer System Interface ）是由IEETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，ISCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。 ISCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输,fcoe技术,FCoE是使用基于以太网的光纤通道协议 前沿技术 ,下面是协议转换图,互连方式,磁带库技术发展,从IBM发明的世界上第一台磁带驱动器IBM 726开始算起,磁带技术发展到今天已经超过了50年的历史 磁带库是一种机柜式的、将多台磁带机整合到一个封闭系统中的数据备份设备,是离线存储系统中的关键设备之一。它主要由磁带驱动器、机械臂和磁带构成,可实现磁带自动卸载和加载,可以在存储管理软件的控制下实现智能备份与恢复和监控统计等功能,能够满足高速度、高效率、高存储容量的要求,并具有强大的系统扩展能力。 磁带库的技术指标包括存储容量、驱动器数量、单盘磁带容量、驱动器存取速度、连接方式和支持的管理软件等。通常,磁带库按照容量大小分成三个级别：入门级、部门级和企业级,也就是我们平常说的低端、中端和高端。其中,入门级磁带库可以提供几百GB至几个TB容量,部门级磁带库的容量在几个TB至几十 TB,而企业级磁带库的容量在几十TB至几百TB甚至更高的PB级。 从磁带库产品的发展来看,除了容量更大、访问速度更快以外,磁带库的混装驱动器功能、iSCSI连接、虚拟分区、数据特殊保护、智能管理、多机械臂技术等方面将更适合网络存储环境中的应用,成为未来的技术发展趋势。,磁带库厂家及产品,Quantum：I2000 I500 I6500 I7500 PX720 SCALA50 SUN STK：SL14000 SL3000 SL8500 SL500 IBM：3584 HP：主要是OEM Quantum,I2000物理磁带库,采用标准19英寸机柜规格 单一控制模块可以存储306盘LTO磁带， 或255盘SDLT磁带 每个模块可以容纳12台磁带机驱动器 拥有最大的磁带进出容量 最多可达96盘LTO磁带 本地和远程管理全部采用统一的系统管理界面,领先的扩展体系结构,广阔的扩展空间 1 - 8个模块 1 - 96台驱动器 100 - 3,492盘LTO磁带存储容量,最大1.4PB(不压缩） 按需提供存储空间扩展模式 单一机械臂设计 降低采购和管理成本 获得更高的性能和可靠性 不需要连接窗口（Pass-through Ports）,高性能、高可靠的主控制器 包括磁带库和存储网络控制、分析和报警功能,I/O管理单元 进行主机连接和数据通道的管理,内部通讯区域网络 将分布在系统中各传感器、和处理器控连接起来,先进的电源系统 提供完全冗余的、热插拔的电源模块,磁带机驱动器子系统 收集和报告驱动器和磁带介质的各种信息,内置磁带库分区和混合磁带存储功能 为数据整合设计的磁带库平台 不需要任何外部服务器和管理软件,先进的全系统监控和报警机制 先进的统计数据搜集功能：磁带库、驱动器、介质和数据通路 基于策略的主动报警机制,集成的SAN连接功能 刀片式I/O体系结构支持多种SAN网络协议,磁带库连接方式-DAS,Application Server,LAN,RAID or JBOD,Tape Library,Backup Server,San环境下磁带驱动器的共享,Tape,Local Area Network,SAN,Fibre Channel,虚拟磁带库技术,虚拟磁带库（VTL）通常为一种专用的计算工具(Appliance)，它可以仿真物理磁带库的驱动器和(并且)在磁盘上存储备份映像。VTL允许使用现有的磁带备份软件，管理人员之所以对这些工具感兴趣是因为用于备份管理的范例（paradigm）与使用磁带时的范例相同。 VTL由三部分组件构成： 计算机硬件，通常为Intel处理器（基于Linux操作系统且由该系统供电），或者相近的变体； 应用软件（用于仿真磁带库和磁带驱动器）； 和一组基于RAID技术的磁盘驱动器（在硬盘失效时它们可避免丢失任何数据）。 个别产商常常把这些组件捆绑成一个工具。 然而，也有可能从一家厂商购买计算机硬件和软件，再到另外一家不同的厂商那里购买磁盘阵列。 虚拟磁带库依照架构不同，大概可以分为三种类型：备份软件型（D2D）、应用服务器型（VTL Appliance）、智能化专用型（Intelligent High Preformance VTL）,备份软件型虚拟磁带库（第代D2D）,备份软件型虚拟磁带库（第代D2D） 将磁带库模拟软件直接安装在备份服务器上，把备份服务器的某些文件系统分区模拟成磁带库，从而使备份软件以磁带库方式使用磁盘文件系统。,应用服务器级虚拟磁带库方案（第代 ）,实际上是另外一种虚拟磁带库的软件实现方案：通过把虚拟磁带库管理软件安装在一台独立的专用服务器（一般是PC服务器）内，而将该服务器及所连接的磁盘存储设备模拟成磁带库。 这种方式下，备份服务器或其它应用主机通过FC或SCSI与专用的服务器连接，此时专用服务器及所连接的磁盘存储系统一起体现为虚拟磁带库（虚拟磁带库）。,智能化专用型虚拟磁带库设备方案（第代 Intelligent High Preformance VTL）,就存储市场而言：我们熟知的主流的磁盘阵列就是采用ARM结构*、嵌入式实时系统作为核心的，最早的磁盘阵列形态是PC服务器+JBOD磁盘柜，随着市场和技术的不断发展，这种老式的设备在可靠性、性能上都无法与采用ARM结构的主流磁盘阵列相比，因此，市场上已经很难看到这种早期形态的磁盘阵列产品了。 就虚拟磁带库这种应用来说，它的发展趋势肯定也会和磁盘阵列一样，因此，基于ARM结构的嵌入式系统，统一化管理，成为智能化专用型虚拟磁带库IHPV（Intelligent High Preformance VTL）的基本特征，它将