存储基础知识讲义

存储基础知识讲义一、集中存储集中式存储就是指由一台或多台存储设备组成存储节点，各系统数据集中存储于这个节点中，并且各系统的所有业务数据都集中部署在这个节点上，各系统数据的读写均由其集中处理。集中式存储最大的特点就是部署结构简单，由于集中式存储往往基于底层性能卓越的大型存储，因此无需考虑如何对服务进行多个节点的部署，也就不用考虑多个节点之间的分布式协作问题。目前我使用的集中存储品牌主要有EMC、HDS和富士通。承载了我部门核心数据库以及核心应用的数据存放。其中核心数据库主要承载在闪存存储中，其余应用承载在磁盘存储中。（一）集中存储的组成一个集中存储由四个部分组成：前段、缓存、后端和物理磁盘。下图表示了这些组件和它们之间的连接关系。一个来自主机的I/O请求首先到达前段端口，然后经过缓存和后端的处理，最终在物理磁盘上存储或获取数据，如果被请求的数据已经保存在缓存中，那么读请求可以直接在缓存中完成。（二）数据保护机制1、RAID机制RAID是一种将多块磁盘形成一个有机整体，使之能够在硬盘故障时提供数据保护的技术。一般来说，RAID也能通过把数据并发地存储到多个硬盘上来提高存储系统的I/O性能。RAID级别级别简要描述RAID0无容错性的分带阵列RAID1磁盘镜像RAID3带专用校验磁盘的并行访问阵列RAID4带独立磁盘和专用校验磁盘的分带阵列RAID5带独立磁盘和分布式校验的分带阵列RAID6带独立磁盘和双重分布式校验的分带阵列嵌套的以上RAID级别的组合，如RAID1+RAID02、容错机制为了缓解单点故障，存储系统设计时采用冗余方式。这样只有在所有冗余组部件都失效时系统才会失效，这样做确保了单点故障不会影响数据可用性。（1）采用多个HBA配置以消除单HBA故障。（2）采用多个光纤交换机以解决单交换机故障。（3）采用多存储阵列端口以增强存储阵列的可用性。（4）采用RAID配置防止磁盘故障，保障连续操作。（5）在远程站点配备一个存储阵列以减少本地故障发生时的损失。3、多路径软件配置多个路径方式通过路径的容错转移增加了数据可用性。如果服务器仅有一个I/O通道，那么一旦通路出现故障将无法获取数据。冗余通路消除了路径作为单点故障的可能性。数据的多路径通过负载共享也增加了I/O性能，并扩大了服务器、存储和数据通路的利用率。二、分布式存储（一）分布式存储系统分布式存储系统，是将数据分散存储在多台独立的通用型设备（如X86架构的服务器），利用多台节点分担负荷。相对集中式存储提高了系统的可扩展性，但增加了系统的复杂度和管理难度。分布式存储系统主要能提供三大类存储资源：分布式块存储、分布式文件存储、分布式对象存储。分布式块存储主要用于应用在数据库ASM卷、虚拟化数据存储集群等需要裸盘映射的场景，其读写快，但不利于共享；分布式文件存储主要用于解决共享问题，可提供多个操作系统同时识别读写的文件系统，但读写效率没有块存储好；分布式对象存储则主要针对图片、文档、音频、视频等二进制文件的海量数据具有读写快、好共享的特点，主要应用于大数据、备份等场景。（二）分布式存储架构及保障机制分布式存储一般采用两种架构，一种是以HDFS为代表的采用master/slave架构，一种是以Ceph为代表的完全无中心架构。无论是哪种方式，其数据保障机制就是通过大量冗余节点，降低故障风险，一般采用三副本技术，能够容忍2个节点同时退服的情况。基于HDFS的集群是由至少一个Namenode和一定数目的Datanodes组成。Namenode是中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。客户端读写数据需要首先和namenode节点通信确定位置后再到datanode上做实际数据操作，因此namenode的冗余度和能力可能成为瓶颈。基于Ceph的集群，每个节点都安装核心组件，例如块存储Mon服务用于维护存储系统的硬件逻辑关系，主要是服务器和硬盘等在线信息。Mon服务通过集群的方式保证其服务