2022年2022年存储知识总结学习

1、精选学习资料 - - - 欢迎下载学习好资料欢迎下载储备学问小结储备系统分类通常情形下,依据可扩展性.牢靠性.性能.功能等方面,可分为低端储备.中端储备和高端储备；低端储备一般情形下,只有一个掌握器,基本上没有或者有少量的cache ；掌握器没有冗余,牢靠性难以保证；中端储备通常情形下,采纳双掌握器结构,两掌握器互为冗余；有相当量的cache 和链路；掌握器为整套储备核心,负责数据恳求处理及其储备本身的治理等；高端储备, 大多数采纳多掌握器结构,并采纳以cache 为核心的体系结构；高端储备供应高带宽.高牢靠性；多数用在核心业务环境中,如金融.电信.移动通讯等核心系统；储备 cache技术ca

2、che 读cache 读技术,主要为考虑命中率问题；假如数据在内存中,就可以直接从内存中精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载获得, 就成为 cache 命中；假如数据不在内存中,就需要从物理磁盘查找数据并读入；同样情形,从物理磁盘读入数据所需时间包括三部分：磁盘寻道时间. 等待磁盘转到磁头的时间.数据读入到内存时间；这三部分时间远远大于从cache 直接猎取数据的时间；cache 命中率很重要,为提高单io 响应时间的关键；cache 写在写环境下,只要数据写到cache 中,系统就反馈给上层应用,写完成；整个过程速度为特别快的； 比直接写入物理磁盘快如干个数量级；

3、为了保证写入cache 的数据不丢失,大多数储备采纳cache 镜像技术和后备电池来实现；镜像技术保证写cache 的数据不丢失,由于cache 为硬件,当硬件显现故障,导致cache不能使用的时候,另外的镜像仍旧存在,保证cache 数据的完整性；后备电池在系统断电的时候,保证 cache 数据准时写入物理硬盘中；中低端储备的后备电池 能够保证在掉电的情形下,将cache 数据写入到物理硬盘；高端储备通常供应ups,短时间的掉电 （如 1 分钟）,不会对储备造成影响；当大于肯定的时间阀值时,储备会自动把cache 数据写入硬盘,以保证cache 数据的完整性；可见由于 cache 写的存在,

4、既能保证数据完整性,又能大幅度提高性能；因此写cache在储备系统中有着特别重要的位置；cache 设计技术一般的储备设计,都简洁地把cache 分为读 cache 和写 cache ；其中写 cache 需要镜像,读cache 就为全局的；不过在 emc高端储备中, 最初采纳电子校验的raid5 方式做 cache 的爱护技术； 从dmx3开头 、 又改成读写全镜像的方式；储备性能指标iops精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载iops为指系统在单位时间内能处理的最大io 频度, 一般指单位时间内能完成的随 机小 io 个数；单个io 的响应时间指的为一个io 恳

5、求从开头到终止的时间,往往与cache 大小以及命中率有很大关系；带宽也叫吞吐量, 指的为单位时间内最大的io 流量, 往往为采纳大的io 块,大的带宽获得的最大流量；这两个指标既相互独立又相互关联；一般来说, 当涉及更多的频繁读写时,更多的考虑 iops与响应时间；而一些大量的次序文件读,如数据仓库应用.流媒体,更多地考虑带宽指标；iops（每表 io 个数）打算 iops 的因素主要为磁盘个数.cache 命中率以及阵列的算法；磁盘个数, 这为打算储备iops 最关键的的因素； 由于每个磁盘的最大iops 个数为有限的；磁盘类型与iops 的关系如下：10k rpm15k rpmata10

6、015050假如一个储备阵列有120 块 15k rpm fc硬盘,它能支撑的iops 为 150*120=18000 ；基本达到硬件所能达到的极限值；上述 iops 值为硬件所能支撑的硬件理论值；假如考虑读cache 命中率,储备所能支撑的 iops 将可能大于这个值；假定 cache 命中率在业务正常运行的情形下可以达到30%；那么 120 块 15k rpm 硬盘所能支撑的iops精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载iops = 120*150/（ 1-30%） =25700上面展现了iops 和 cache 命中率的关系,影响到iops 的仍有储备阵列算法；

7、如cache 算法.寻道算法.预读算法等；储备阵列算法各厂家.各型号储备的为不同的；有时候出于商业秘密考虑,这种内部实现原理厂家不会公布的太多；带宽（ throughput ）吞吐量主要取决于硬盘个数.光纤通道的数量和带宽以及储备架构；与 iops 一样,单个物理磁盘所能支撑的最大流量大小；硬盘类型与最大流量关系如下：10k rpm15k rpmata10m/s13m/s8m/s同样假设一套储备有120 块 15k rpm的光纤硬盘,就该储备所能支撑的最大流量为120*13=1560mb/s除了光纤硬盘, 仍有一个重要的因素需要考虑,那就为光纤通道；所谓光纤通道就为光 纤硬盘和储备掌握器间的物

8、理链路；同样对吞吐量有打算性的影响；如在数据仓库中,对储备吞吐量要求很高,一个2gb 的光纤链路所能支撑的最大流量理论值为2gb/8=250mb/s；目 前大多数储备中光纤硬盘盒光纤通道都支持4gb 的速率；最终, 储备架构也会对储备吞吐量产生重大影响；主要为储备系统的内部带宽（类似于pc 系统的 bus总线）,也就为上面所说的光纤通道；通常情形下,考虑到储备扩展性及防止内部带宽瓶颈,内带带宽设计得很充分,不会成为系统的瓶颈；响应时间（ response time ）响应时间为指单个io 的响应时间；单io 的响应时间与iops 的当前值.吞吐量大小及 cache 命中率都有亲密的关系；精品学

9、习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载当一个储备的其他指标很相近的时候,就可以考虑在相同的条件下,单io 的响应时间为否有差别；很明显,响应速度越快越好；体会值表示,一个io 的响应时间在20ms以内；属于正常范畴；假如应用为个大型的交易系统,也就为典型oltp环境,其中主要以事务与小的查询语句居多,基本为离散读写和离散写,就第一考虑iops 因素.并配置适当的硬盘个数及cache 大小；假如应用为数据仓库环境或者为典型的olap 环境,其中主要运行大的sql语句,需要大吞吐量, 读写规章也基本上连续写或者连续读,就需要考虑储备系统带宽和储备 的光纤通道,并配置适当数量的磁

10、盘个数；但与读cache 大小关系不大；储备系统性能测试真实评估储备的性能,最好的方式就为测试；特殊为模拟自己应用来测试；常用测测试软件有：orion软件oracle公司开发供应的压力测试软件,但oracle不供应技术支持,有详细的使用手册；orion能很好的模拟oracle的运行,并能获得极限压力情形下的压力数据,包括 iops.带宽及响应时间；load runner软件运行自己的业务或者编写模拟业务脚本,然后在压力情形下,猎取储备性能指标；详细两种软件的使用,不在这里介绍；储备内部架构双掌握器精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载多掌握器常见中端储备emc cla

11、rii 系列常见的有cx系列. cx3系列. cx4系列cx系列： cx300 cx500 cx700cx3系列： cx3-10f cx3-20 cx3-40 cx3-80cx4系列： cx4-120 cx4-240 cx4-480 cx4-960cx4系列硬盘背板通道为4gb,支持 iscsi技术；支持ssd硬盘；精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载hp eva系列hds ams常见高端储备emc dmx3精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载ibm ds8000hds usp网络储备架构精品学习资料精选学习资料 - - - 欢迎下载学习

12、好资料欢迎下载das direct-attached storage直连式储备 nasnetwork-attached storage网络接入储备 san（ storage area network储备区域网络）储备区域网络san为通过专用高速网将一个或多个网络储备设备和服务器连接起来的 专用储备系统；san在最基本的层次上定义为互连储备设备和服务器的专用光纤通道网络,它在这些设备之间供应端到端的通讯,并答应多台服务器独立地拜访同一个储备设备；与局域网 lan 特别类似, san提高了运算机储备资源的可扩展性和牢靠性,使实施的成本更低.治理更轻松；与储备子系统直接连接服务器 称为直连储备或da

13、s不同,专用储备网络介于服务器与储备子系统之间；系统架构如下：ip sanip san储备技术,为在传统ip 以太网上架构一个san储备网络把服务器与储备设备连接起 来的储备技术；ip san 其实在 fc san的基础上再进一步,它把scsi 协议完全封装在ip 协议之中；简洁来说,ip san 就为把 fc san中光纤通道解决的问题通过更为成熟的以太网实现了,从规律上讲,它为完全的san架构,即为服务器供应块级服务；实现 ip san 最重要的技术-iscsiiscsi 互联网小型运算机系统接口 为一种在internet协议网络上, 特殊为以太网上进行数据块传输的标准；它为由cisco和

14、 ibm 两家发起的,并且得到了ip 储备技术拥护者的精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载大力支持；为一个供硬件设备使用的可以在 ip 协议上层运行的 scsi指令集；简洁地说,iscsi 可以实现在 ip 网络上运行 scsi 协议, 使其能够在诸如高速千兆以太网上进行路由挑选； 其基本原理如下：当客户端发出一个数据.文件或应用程序的恳求后,操作系统机会依据客户端恳求的内容生成一个scsi 命令和数据恳求,scsi 命令和数据恳求通过封装后会加上一个信息包标题,并通过以太网传输到接收端; 当接收端接收到这个信息包后,会对信息包进行解包,分离出的 scsi 命令与数

15、据, 而分别出来的scsi 命令和数据将会传输给储备设备,当完成一次上述流程后, 数据又会被返回到客户端,以响应客户端iscsi 的恳求； 其流程大致可参看如图 1 所示；ib saninfiniband为一种交换结构i/o 技术,其设计思路为通过一套中心机构（中心infiniband交换机）在远程储备器.网络以及服务器等设备之间建立一个单一的连接链路,并由中心infiniband交换机来指挥流量,它的结构设计得特别紧密,大大提高了系统的性能.牢靠性和有效性, 能缓解各硬件设备之间的数据流量拥塞；而这为很多共享总线式技术没有解决 好的问题, 例如这为基于pci 的机器最头疼的问题,甚至最新的p

16、ci-x 也存在这个问题,由于在共享总线环境中,设备之间的连接都必需通过指定的端口建立单独的链路；infiniband的设计主要为环围着点对点以及交换结构i/o技术,这样,从简洁廉价的i/o 设备到复杂的主机设备都能被堆叠的交换设备连接起来；假如带宽.距离等条件相宜,infiniband主要支持两种环境：模块对模块的运算机系统（支持 i/o模块附加插槽） ；在数精品学习资料精选学习资料 - - - 欢迎下载学习好资料欢迎下载据中心环境中的机箱对机箱的互连系统.外部储备系统和外部lan/wan拜访设备；infiniband支持的带宽比现在主流的i/o 载体（如 scsi.fibre channe

17、l.ethernet）仍要高,此外,由于使用ipv6 的报头, infiniband仍支持与传统internet/intranet设施的有效连接； 用 infiniband技术替代总线结构所带来的最重要的变化就为建立了一个敏捷.高效的数据中心,省去了服务器复杂的i/o 部分；infiniband san采纳层次结构,将系统的构成与接入设备的功能定义分开,不同的主机可通过 hc（a host channel adapter ）.raid 等网络储备设备利用tc（a targetchannel adapter ）接入 infiniband san（ raid 的 infiniband接口 raid

18、-tca的主要功能如下图所示）；infiniband应用于服务器群和储备区网络（san）,在这种环境中性能问题至关重要； 该种结构可以基于信道的串口替代共用总线,从而使i/o子系统和cpu/内存分别；全部系统和设备 （一般称作节点） 可通过信道适配器规律连接到该结构,它们可以为主机 （服务器）适配器（ hca）或目标适配器（tca）；该种结构（包括infiniband交换机和路由器）仍可轻 松实现扩展,从而满意不断增长的需求；infiniband协议可满意各种不同的需求,包括组播.分区. ip 兼容性.流掌握和速率掌握等；储备虚拟化技术储备虚拟化的基本概念为将实际的物理储备实体与储备的规律表示分别开来,应用服务器只与安排给它们的规律卷（或称虚卷） 打交道, 而不用关怀其数据为在哪个物理储备 实体上； 规律卷与物理实体之间的映射关系,为由安装在应用服务器上的卷治理软件（称为主机级的虚拟化）