第7章 常见的分布式存储

1、第7章常见的分布式存储北京西普阳光教育科技股份有限公司授课讲师：顾军林目 录Contents01 HDFS分布式存储02 实验24：HDFS搭建和使用06 实验26：Lustre搭建和使用07 MooseFS分布式存储03GlusterFS分布式存储08实验27：MooseFS搭建和使用04 实验25:GlusterFS搭建和使用09Ceph分布式存储05 Lustre分布式存储10实验28：Ceph搭建和使用01HDFS分布式存储HDFS简介HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模

2、式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（ Large Data Set）的应用处理带来了很多便利。HDFS优点：高容错性，适合批处理，可构建在廉价机器上。HDFS缺点：低延迟数据访问，小文件存取。HDFS 架构HDFS 架构HDFS包含3种节点，NameNode(NN)，Secondary NameNode(SNN)， DataNode(DN)。以下分别介绍各个节点的功能:(1) NN节点功能接收客户端的读写请求，NN中保存文件的Metadata数据(元数据是

3、最重要的,元数据丢失的话，Datenode也就丢失)包括除文件内容外的文件信息。（2） SNN节点功能它的主要工作是帮助NN合并Edits Log,减少NN启动时间,另一方面合并会有大量的IO操作,但是NN最主要的作用是接收用户的读写服务的,所以大量的资源不能用来进行合并操作。（3）存储数据，启动DN线程的时候向NN汇报Block信息；通过向NN发送心跳保持与其联系(3秒1次),如果NN10分钟没有收到DN心跳,则认为其Lost,并Copy其上的Block到其他HDFS如何读数据HDFS如何写数据BCli e吐D五 dPdPih 酝归1 士土亡霆丘气 一 3 :： 听 i t e.2, : c

4、 屯t e 一7 : G:mol ete贯:T可 喊r臼 血6 ：: C l 呻c li eot皿C1i ent吐n-nn4 :Wri t e P纽丘5 :Ack_ P ，归斗斗二p i.pel ine O 王55D江t-吐 3Dat 3N吐吐 3N 吐02HDFS搭建和使用【实验24】：HDFS搭建和使用一、实验目的 了解HDFS架构原理及其组件功能。 通过实验掌握HDFS文件系统的安装、配置和集群管理。 熟练掌握常见的HDFS运行管理命令行的使用。二、实验内容实验架构图【实验24】：HDFS搭建和使用二、实验内容如上图所示， 在 node-1 、 node-2 、 node-3 上部署 H

5、DFS 文件系统， 其中NameNode部署在node-1节点上，Secondarynamenode部署在node-2节点上，单节点DataNode部署在node-3节点上，启动集群，进行集群的维护，进行简单的文件上传、查看操作。三、实验步骤详细操作步骤见本书提供的操作视频。03GlusterFS分布式存储GlusterFS架构HDFS 架构04GlusterFS搭建和使用【实验25】：GlusterFS搭建和使用一、实验目的 了解GlusterFS架构原理及其组件功能。 通过实验掌握GlusterFS文件系统的安装、配置和集群管理。 熟练掌握GlusterFS文件的挂载。二、实验内容Glus

6、terFS实验流程图三、实验步骤详细操作步骤见本书提供的操作视频。05Lustre分布式存储HDFS 架构HDFS 架构Lustre集群组件包含了MDS（元数据服务器）、MDT（元数据存储节点）、OSS（ 对象存储服务器）、OST（对象存储节点）、Client（客户端），以及连接这些组件的高速网络，如图所示。（1） MDS（元数据服务器）提供元数据服务。MDS负责管理元数据，提供一个全局的命名空间，Client可以通过MDS读取到保存于MDT之上的元数据。在Lustre中MDS可以有2个，采用了Active-Standby的容错机制，当其中一个MDS不能正常工作时，另外一个后备MDS可以启动服

7、务。（2） MGS（管理服务器）提供Lustre文件系统的配置信息。（3） OSS（对象存储服务器）Expose块设备并提供数据。接受并服务来自网络的请求。（4） MDS/MGS和OSS/OST的集合有时称为Lustre服务前端（Lustreserver Fronts）， 而Fsfilt和Ldiskfs则被称为Lustre服务后端（Luster Server Backends）。06Lustre搭建和使用【实验26】：Lustre搭建和使用一、实验目的 了解Lustre架构原理及其组件功能。 实验掌握Lustre文件系统的安装、配置和集群管理。 熟练掌握Lustre文件的挂载。二、实验内容【实

8、验26】：Lustre搭建和使用二、实验内容在3个节点node-1、node-2、node-3分别留有sdb空白硬盘，大小为20Gb,其中node-1节点为MDS索引服务器， node-2、node-3为OSD 底层提供存储的服务器， node-4为测试客户端，通过安装、配置相关服务，启动集群，在node-4上面挂载实现Lustre文件系统，各机器名、网络配置、角色分配如下：节点号主机名网络IP 地址/掩码角色1node-1192.168.1.102/24MDT MDS 2node-2192.168.1.103/24OST（sdb 20GB） 3node-3192.168.1.104/24OS

9、T（sdb 20GB） 4node-4192.168.1.105/24测试 Client 三、实验步骤详细操作步骤见本书提供的操作视频。07MooseFS分布式存储MooseFS架构MooseFS架构MFS整体架构的四种角色：（1） Master（元数据服务器）：这个组件的角色是管理整个MFS文件系统的主服务器， 除了分发用户请求外，还用来存储整个文件系统中的每个数据文件的Metadata信息， Metadata（元数据）信息包括文件（也可以是目录、Socket、管道、设备等）的大小、属性、文件位置路径等，以及文件空间的回收和恢复，控制多Chunk Server节点的数据拷贝。（2） Meta

10、logger（元数据日志服务器）：这个组件的作用是备份管理服务器Master的变化的Metadata信息日志文件，文件类型为Changelog_Ml.*.MFS，以便于在主服务器出现问题的时候，可以经过简单的操作即可让新主服务器进行工作。（3） Chunk（数据存储服务器）：这个组件就是真正存放数据文件实体的服务器了，这个角色可以有多台不同的物理服务器或不同的磁盘及分区来充当，当配置数据的副本多于一份时，剧写入到一个数据服务器后，会根据算法在其他数据服务器上进行同步备份。MooseFS写数据MooseFS读数据08MooseFS搭建和使用【实验27】：MooseFS搭建和使用一、实验目的 了解

11、MooseFS架构原理及其组件功能。 通过实验掌握MooseFS文件系统的安装、配置和集群管理。 熟练掌握MooseFS文件的挂载。二、实验内容【实验27】：MooseFS搭建和使用二、实验内容在vmvare中模拟4台虚拟机，其总node-1当着master元数据主服务器、 web监控服务，node-2 当着mater 备份服务器，node-3当着 存储服务器，node-4当着测试客户端，通过配置相关服务，构件moosefs集群，将node-3的存储空间提供给集群文件系统使用，最后通过客户端node-4测试文件系统的可行性。各机器，实验机器名、网络配置、角色分配如下：节点号主机名网络 ip 地

12、址/掩码角色1node-1192.168.1.102/24Matser2node-2192.168.1.103/24metalogger3node-3192.168.1.104/24chunker4node-4192.168.1.101/24client三、实验步骤详细操作步骤见本书提供的操作视频。09Ceph分布式存储Ceph架构Ceph架构Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储， 例如部署一套集群作为对象存储、SAN存储、NAS存储等。国内外很多公司实践证明，

13、 ceph块存储和对象存储是完成可靠的。rados集群中分为以下角色:mdss、osds、mons.osd对象存储设备，可以理解为一块硬盘+osd 管理进程，负责接受客户端的读写、osd间数据检验(srub)、数据恢复(recovery)、心跳检测等。Mons主要解决分布式系统的状态一致性问题，维护集群内节点关系图(mon-map、osd-map、mds-map、pg-map)的一致性，包括osd的添加、删除的状态更新。Mds元数据服务器，在文件存储时是必须配置。需要注意的是，mds服务器并不存放数据，仅仅只是管理元数据的进程。Ceph文件系统的inode等元数据真正存在rados集群（默认在

14、metadata pool）。10Ceph搭建和使用【实验28】：Ceph搭建和使用一、实验目的 了解ceph及其组件功能。 通过实验掌握ceph的安装、配置和集群管理。 熟练掌握ceph载。二、实验内容【实验28】：Ceph搭建和使用二、实验内容在node-1 上部署ceph-deploy 、通过ceph-deploy 统一在node-1 、node-2 、node-3上部属ceph集群，node-1当着admin、mon节点，node-2和node-3部署osd存储服务，客户端部署在node-3上面，通过创建的集群，分配rdb后隐射到客户端使用。各机器，实验机器名、网络配置、角色分配如下：节点号主机名网络ip 地址/掩码角色1node-1192.168.200.104/24admin mon osd2node-2192.168.200.105/24osd3node-3192.168.200.106/24osd 和ceph-client三、实验步骤详细操作步骤见本