存储知识总结学习.doc

存储知识小结存储系统分类通常情况下，根据可扩展性、可靠性、性能、功能等方面，可分为低端存储、中端存储和高端存储。低端存储一般情况下，只有一个控制器，基本上没有或者有少量的cache。控制器没有冗余，可靠性难以保证。中端存储通常情况下，采用双控制器结构，两控制器互为冗余。有相当量的cache和链路。控制器是整套存储核心，负责数据请求处理及其存储本身的管理等。高端存储，大多数采用多控制器结构，并采用以cache为核心的体系结构。高端存储提供高带宽、高可靠性。多数用在核心业务环境中，如金融、电信、移动通讯等核心系统。存储CACHE技术Cache读Cache读技术，主要是考虑命中率问题。如果数据在内存中，则可以直接从内存中获得，则成为cache命中。如果数据不在内存中，则需要从物理磁盘寻找数据并读入。同样情况，从物理磁盘读入数据所需时间包括三部分：磁盘寻道时间、等待磁盘转到磁头的时间、数据读入到内存时间。这三部分时间远远大于从cache直接获取数据的时间。Cache命中率很重要，是提高单IO响应时间的关键。Cache写在写环境下，只要数据写到cache中，系统就反馈给上层应用，写完成。整个过程速度是非常快的。比直接写入物理磁盘快若干个数量级；为了保证写入cache的数据不丢失，大多数存储采用cache镜像技术和后备电池来实现。镜像技术保证写cache的数据不丢失，因为cache是硬件，当硬件出现故障，导致cache不能使用的时候，另外的镜像仍然存在，保证cache数据的完整性。后备电池在系统断电的时候，保证cache数据及时写入物理硬盘中。中低端存储的后备电池能够保证在掉电的情况下，将cache数据写入到物理硬盘。高端存储通常提供UPS，短时间的掉电（如1分钟），不会对存储造成影响。当大于一定的时间阀值时，存储会自动把cache数据写入硬盘，以保证cache数据的完整性。可见由于cache写的存在，既能保证数据完整性，又能大幅度提高性能。因此写cache在存储系统中有着非常重要的地位。Cache设计技术一般的存储设计，都简单地把cache分为读cache和写cache。其中写cache需要镜像，读cache则是全局的。不过在EMC高端存储中，最初采用电子校验的RAID5方式做cache的保护技术。从DMX3开始,又改成读写全镜像的方式。存储性能指标IOPSIOPS是指系统在单位时间内能处理的最大IO频度，一般指单位时间内能完成的随机小IO个数。单个IO的响应时间指的是一个IO请求从开始到结束的时间，往往与cache大小以及命中率有很大关系。带宽也叫吞吐量，指的是单位时间内最大的IO流量，往往是采用大的IO块，大的带宽获得的最大流量。这两个指标既相互独立又相互关联。一般来说，当涉及更多的频繁读写时，更多的考虑IOPS与响应时间；而一些大量的顺序文件读，如数据仓库应用、流媒体，更多地考虑带宽指标。IOPS（每表IO个数）决定IOPS的因素主要为磁盘个数、cache命中率以及阵列的算法。磁盘个数，这是决定存储IOPS最关键的的因素。因为每个磁盘的最大IOPS个数是有限的。磁盘类型与IOPS的关系如下：10K rpm15K rpmATA10015050 如果一个存储阵列有120块15K rpm FC硬盘，它能支撑的IOPS为 150*120=18000；基本达到硬件所能达到的极限值。上述IOPS值是硬件所能支撑的硬件理论值。如果考虑读cache命中率，存储所能支撑的IOPS将可能大于这个值。假定cache命中率在业务正常运行的情况下可以达到30%。那么120块15K rpm硬盘所能支撑的IOPSIOPS = 120*150/（1-30%）=25700上面展示了IOPS和cache命中率的关系，影响到IOPS的还有存储阵列算法。如cache算法、寻道算法、预读算法等。存储阵列算法各厂家、各型号存储的是不同的。有时候出于商业机密考虑，这种内部实现原理厂家不会公布的太多。带宽（Throughput）吞吐量主要取决于硬盘个数、光纤通道的数量和带宽以及存储架构。与IOPS一样，单个物理磁盘所能支撑的最大流量大小。硬盘类型与最大流量关系如下：10K rpm15K rpmATA10M/s13M/s8M/s同样假设一套存储有120块15K rpm的光纤硬盘，则该存储所能支撑的最大流量为120*13=1560MB/s除了光纤硬盘，还有一个重要的因素需要考虑，那就是光纤通道。所谓光纤通道就是光纤硬盘和存储控制器间的物理链路。同样对吞吐量有决定性的影响。如在数据仓库中，对存储吞吐量要求很高，一个2Gb的光纤链路所能支撑的最大流量理论值为2Gb/8=250MB/s。目前大多数存储中光纤硬盘盒光纤通道都支持4Gb的速率。最后，存储架构也会对存储吞吐量产生重大影响。主要是存储系统的内部带宽（类似于pc系统的BUS总线），也就是上面所说的光纤通道。通常情况下，考虑到存储扩展性及避免内部带宽瓶颈，内带带宽设计得很充足，不会成为系统的瓶颈。响应时间（Response Time）响应时间是指单个IO的响应时间。单IO的响应时间与IOPS的当前值、吞吐量大小及cache命中率都有密切的关系。当一个存储的其他指标很相近的时候，就可以考虑在相同的条件下，单IO的响应时间是否有差别。很明显，响应速度越快越好。经验值表示，一个IO的响应时间在20ms以内。属于正常范围。如果应用是个大型的交易系统，也就是典型OLTP环境，其中主要以事务与小的查询语句居多，基本是离散读写和离散写，则首先考虑IOPS因素、并配置适当的硬盘个数及cache大小。如果应用是数据仓库环境或者是典型的olap环境，其中主要运行大的sql语句，需要大吞吐量，读写规则也基本上连续写或者连续读，则需要考虑存储系统带宽和存储的光纤通道，并配置适当数量的磁盘个数。但与读cache大小关系不大。存储系统性能测试真实评估存储的性能，最好的方式就是测试。尤其是模拟自己应用来测试。常用测测试软件有：ORION软件Oracle公司开发提供的压力测试软件，但oracle不提供技术支持，有具体的使用手册。Orion能很好的模拟oracle的运行，并能获得极限压力情况下的压力数据，包括IOPS、带宽及响应时间。Load runner软件运行自己的业务或者编写模拟业务脚本，然后在压力情况下，获取存储性能指标。具体两种软件的使用，不在这里介绍。存储内部架构双控制器多控制器常见中端存储EMC CLARii系列常见的有CX系列、CX3系列、CX4系列CX系列：CX300 CX500 CX700CX3系列：CX3-10F CX3-20 CX3-40 CX3-80CX4系列：CX4-120 CX4-240 CX4-480 CX4-960CX4系列硬盘背板通道为4GB，支持iscsi技术；支持SSD硬盘。HP EVA系列HDS AMS常见高端存储EMC DMX3IBM DS8000HDS USP网络存储架构DAS( Direct-Attached Storage 直连式存储)NAS(Network-Attached Storage 网络接入存储)SAN（storage area network 存储区域网络）存储区域网络(SAN)是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统。SAN在最基本的层次上定义为互连存储设备和服务器的专用光纤通道网络，它在这些设备之间提供端到端的通讯，并允许多台服务器独立地访问同一个存储设备。与局域网(LAN)非常类似，SAN提高了计算机存储资源的可扩展性和可靠性，使实施的成本更低、管理更轻松。与存储子系统直接连接服务器(称为直连存储或DAS)不同，专用存储网络介于服务器与存储子系统之间。系统架构如下：IP SANIP SAN存储技术，是在传统IP以太网上架构一个SAN存储网络把服务器与存储设备连接起来的存储技术。IP SAN其实在FC SAN的基础上再进一步，它把SCSI协议完全封装在IP协议之中。简单来说，IP SAN就是把FC SAN中光纤通道解决的问题通过更为成熟的以太网实现了，从逻辑上讲，它是彻底的SAN架构，即为服务器提供块级服务。实现IP SAN最重要的技术-iSCSIISCSI(互联网小型计算机系统接口)是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco 和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，ISCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。其基本原理如下：当客户端发出一个数据、文件或应用程序的请求后，操作系统机会根据客户端请求的内容生成一个SCSI命令和数据请求，SCSI命令和数据请求通过封装后会加上一个信息包标题，并通过以太网传输到接收端;当接收端接收到这个信息包后，会对信息包进行解包，分离出的SCSI命令与数据，而分离出来的SCSI命令和数据将会传输给存储设备，当完成一次上述流程后，数据又会被返回到客户端，以响应客户端ISCSI的请求。其流程大致可参看如图1所示。IB SAN InfiniBand是一种交换结构I/O技术，其设计思路是通过一套中心机构（中心InfiniBand交换机）在远程存储器、网络以及服务器等设备之间建立一个单一的连接链路，并由中心InfiniBand交换机来指挥流量，它的结构设计得非常紧密，大大提高了系统的性能、可靠性和有效性，能缓解各硬件设备之间的数据流量拥塞。而这是许多共享总线式技术没有解决好的问题，例如这是基于PCI的机器最头疼的问题，甚至最新的PCI-X也存在这个问题，因为在共享总线环境中，设备之间的连接都必须通过指定的端口建立单独的链路。InfiniBand的设计主要是围绕着点对点以及交换结构I/O技术，这样，从简单廉价的I/O设备到复杂的主机设备都能被堆叠的交换设备连接起来。如果带宽、距离等条件适宜，InfiniBand主要支持两种环境：模块对模块的计算机系统（支持I/O 模块附加插槽）；在数据中心环境中的机箱对机箱的互连系统、外部存储系统和外部LAN/WAN访问设备。InfiniBand支持的带宽比现在主流的I/O载体（如SCSI、Fibre Channel、Ethernet）还要高，此外，由于使用IPv6的报头，InfiniBand还支持与传统Internet/Intranet设施的有效连接。用InfiniBand技术替代总线结构所带来的最重要的变化就是建立了一个灵活、高效的数据中心，省去了服务器复杂的I/O部分。InfiniBand SAN采用层次结构，将系统的构成与接入设备的功能定义分开，不同的主机可通过HCA（Host Channel Adapter）、RAID等网络存储设备利用TCA（Target Channel Adapter）接入InfiniBand SAN（RAID的InfiniBand接口RAID-TCA的主要功能如下图所示）。InfiniBand应用于服务器群和存储区网络（SAN），在这种环境中性能问题至关重要。该种结构可以基于信道的串口替代共用总线，从而使I/O子系统和CPU/内存分离。所有系统和设备（一般称作节点）可通过信道适配器逻辑连接到该结构，它们可以是主机（服务器）适配器（HCA）或目标适配器（TCA）。该种结构（包括InfiniBand交换机和路由器）还可轻松实现扩展，从而满足不断增长的需求。InfiniBand协议可满足各种不同的需求，包括组播、分区、IP兼容性、流控制和速率控制等。存储虚拟化技术 存储虚拟化的基本概念是将实际的物理存储实体与存储的逻辑表示分离开来，应用服务器只与分配给它们的逻辑卷（或称虚卷）打交道，而不用关心其数据是在哪个物理存储实体上。逻辑卷与物理实体之间的映射关系，是由安装在应用服务器上的卷管理软件（称为主机级的虚拟化），或存储子系统的控制器（称为存储子系统级的虚拟化），或加入存储网络SAN的专用装置（称为网络级的虚拟化）来管理的。在存储虚拟化方面，HP作得相对多些。HP StorageWorks企业虚拟阵列EVA是用户最熟悉的。目前，EVA系列有EVA 3000和EVA 5000可供选择。存储新技术云存储云存储在云计算 (cloud computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parall