GlusterFS模式及功能介绍(2013-06-11).ppt

GlusterFS模式及功能介紹 GlusterFS模式及功能介紹 GlusterFS模式 GlusterFS架構和數據訪問流程 GlusterFS風險 Gluster是一個大尺度文件系統。它是各種不同的存儲伺服器之上的組合，這些 伺服器由乙太網或無限頻寬技術Infiniband以及遠程直接內存訪問RDMA互相融匯， 最終所形成的一個大的並行文件系統網路。它有包括雲計算在內的多重應用 下面我們將重點講各類GlusterFS模式、分佈式條帶複製卷的讀、寫、第三方讀 和寫數據的流程，以及風險包換備份、增加硬盤容量、其中一臺服務器故障等情況 。 GlusterFS模式 分佈卷 復制卷 条带卷 分佈式条带卷 分布式復制卷 分布式条带復制卷 分佈卷 分布式卷，文件通过hash算法随机的分布到由bricks组成的卷 上。卷中资源仅在一台服务器上存储，在存储池中非镜像或条带 模式。 分布式功能： 將文件隨機存放到服務器里。如圖，File1和File2存放於server1,而File3存放 於server2，文件都是隨機存儲。 復制卷 复制式卷，类似raid1，replica数必须等于volume中brick所包 含的存储服务器数，可用性高。创建一个两两互为备份的卷，存 储池中一块硬盘损坏，不会影响到数据的使用，最少需要两台服 务器才能创建分布镜像卷。 分布式功能： 將文件備份存放到相應服務器里。如圖，File1同時存儲在server1和 server2上。 File2也是如此。相當於server2中的文件是server1中文件的副本。 条带卷 条带式卷，类似与raid0，stripe数必须等于volume中brick所 包含的存储服务器数，文件被分成数据块，以Round Robin的方 式存储在bricks中，并发粒度是数据块，大文件性能好。 分布式功能： 將文件分割存放不同服務器里。如圖，File被分割成6段，1，3，5存放在 server1中，2，4，6存放於server2中。 分佈式条带卷 分布式的条带卷，volume中brick所包含的存储服务器数必须 是stripe的倍数(=2倍)，兼顾分布式和条带式的功能。每个文件 分布在四台共享服务器上，通常用于大文件访问处理，最少需要 4 台服务器才能创建分布条带卷。 分布式功能： 將文件分割隨機存放不同服務器里。如圖，File被分割成4段，1，3存放在 server1(exp1)中，2，4存放於server1(exp2)中。Server2(exp3)1,3存放 server1(exp1)中的備份文件， Server2(exp4)2,4存放server1(exp2)中的備份文 件。 分布式復制卷 分布式的复制卷，volume中brick所包含的存储服务器数必须 是 replica 的倍数(=2倍)，兼顾分布式和复制式的功能。 分布式功能： 將文件備份隨機存放相應的服務器里。如圖，Server1(exp1)存放File1文件 ， Server1(exp2)存放File2文件。 Server2(exp3)存放File1的備份文件， Server2(exp4)存放File2的備份文件。 分布式条带復制卷 分布式条带复制卷分布条带数据在复制砖集群。为了获得最 佳效果，你应该使用分布在高并发的条带复制卷环境下并行访问 非常大的文件和性能是至关重要的。 分布式功能： 將文件分割并備份隨機存放到不同服務器里。如圖， File被分割成4段，1 ，3存放在Server1(exp1)中，2，4存放於server2 (exp3)中。 Server1(exp2)存 放Server1(exp1)的備份文件。 Server2(exp4)存放Server2(exp3)的備份文件。 GlusterFS架構和數據訪問流程 GlusterFS外部架構和內部架構 GlusterFS數據訪問流程 GlusterFS外部架構 GlusterFS总体架构与组成部分如图2所示，它主要由存储 服务器（Brick Server）、客户端以及NFS/Samba存储网关组成 。不难发现，GlusterFS架构中没有元数据服务器组件，这是其 最大的设计这点，对于提升整个系统的性能、可靠性和稳定性都 有着决定性的意义。GlusterFS支持TCP/IP和InfiniBand RDMA高 速网络互联，客户端可通过原生Glusterfs协议访问数据，其他没 有运行GlusterFS客户端的终端可通过NFS/CIFS标准协议通过存 储网关访问数据。 GlusterFS是模块化堆栈式的架构设计，如图3所示。模块称为 Translator，是GlusterFS提供的一种强大机制，借助这种良好定义的 接口可以高效简便地扩展文件系统的功能。 1.服务端与客户端模块接口是兼容的，同一个translator可同时在两边加载。 2. GlusterFS中所有的功能都是通过translator实现，比如Cluster, Storage, Performance, Protocol, Features等。 3.重点是GlusterFS Client端。 GlusterFS內部架構 GlusterFS數據訪問流程 3.VFS將數據遞交給FUSE內核文件系統，在啟動glusterfs客戶端以前，需要向系統註冊一個 實際的文件系統FUSE，如上圖所示,該文件系統與ext3在同一個層次上面，ext3是對實際的 磁片進行處理，而fuse文件系統則是將數據通過/dev/fuse這個設備文件遞交給了glusterfs client端。所以，我們可以將fuse文件系統理解為一個代理。 4.數據被fuse遞交給Glusterfs client 后，client對數據進行一些指定的處理（所謂的指定，是 按照client配置文件來進行的一系列處理） 5.在glusterfs client的處理末端，通過網路將數據遞交給Glusterfs Server,並且將數據寫入到 服務器所控制的存儲設備上。 圖是整個GlusterFS數據流的一個概要 圖： 1.首先是在客戶端，用戶通過glusterfs的 mount point 來讀寫數據。 2.用戶的這個操作被遞交給本地linux系統 的VFS來處理。 GlusterFS風險 備份風險 增加和刪除磁盤空間風險 讀寫速度 客戶端讀取數據方式 備份風險 由於GlusterFS採用分布式條帶複製模式，我們之前就已經理 解了這種模式的功能及作用，它將文件分割并備份隨機存放到不 同服務器里。 首先通過VFS來讀寫文件，把文件暫存到I/O Cache緩存機制當中，通過文件预读机制 预读（read- ahead 這是一种技术，这种技术在于预先读取所请求的普通文件或块设备文件 的几个相邻的数据页。）I/O Cache緩存文件，然後通過GlusterFS的Distribute/Stripe模式分割文件，再通過Replicate複製機制複製文件 存儲到GlusterFS Server的EXT3儲存磁盤當中。 備份風險只需要注意有足夠的存儲空間及網路連接正常。 增加和刪除磁盤空間風險 GlusterFS增加磁盤空間 GlusterFS增加磁盤空間，例如：你想给分布式的卷中增加brick，以增加卷的容量。注 意：当你给分布式复制卷和分布式条带卷中增加bricks 时，你增加的bricks的数目必须是复制 或者条带数目的倍数，例如：你给一个分布式复制卷的replica为2，你在增加bricks的时候数 量必须为 2、4、6、8等。如下圖所示： GlusterFS刪除磁盤空間 GlusterFS刪除磁盤空間，例如：当硬件损坏或者网络故障的时候，你可能想在卷中移 除相关的bricks。注意：当你移除bricks的时候，你在 gluster的挂载点将不能继续访问数据， 只有配置文件中的信息移除后你才能继续访问bricks的数据。当移除分布式复制卷或者分布式 条带卷的时候， 移除的bricks数目必须是replica或者stripe的倍数。例如：一个分布式条带卷 的stripe是2，当你移除bricks的时候必须是2、 4、6、8等。 表示已经成功增 加存储空间。 表示将平衡增加的存储 空间以及数据。 表示已经成功删 除存储空间。 表示将平衡布局卷的存 储空间。 GlusterFS平衡布局 GlusterFS平衡布局是很有必要的，因为布局结构是静态的 ，当新的bricks加入现有卷，新创建的文件会分布到旧的bricks中 ，所以需要平衡布局结构，使 新加入的bricks生效。布局平衡只 是使新布局生效，并不会在新的布局移动老的数据，如果你想在 新布局生效后，重新平衡卷中的数据，还需要对卷中的数据 进行 平衡。平衡布局卷方式分為兩種：第一種是fix-layout重新平衡佈 局，第二種是migrate-data重新平衡數據。 增加和刪除磁盤空間風險 增加和刪除磁盤空間風險只需要注意GlusterFS平衡佈局， 確認平衡佈局是重新平衡數據還是重新平衡佈局。重新平衡數據 是指將所有Brick的數據進行一次新的平衡分佈，重新平衡佈局是 指將現在的卷佈局進行重新分配，舊數據并不會重新平衡分配。 讀寫速度 测试客戶端掛載GlusterFS卷的读数据速度 测试客戶端掛載GlusterFS卷的寫数据速度 测试客戶端掛載GlusterFS卷的同时读写数据速度 通过客户端测试 卷的读数据速度 。 通过客户端测试 卷的写数据速度 。 通过客户端测试卷同 时读写数据速度。 查看每个bricks的读性能 查看每个brick的写性能 通过客户端测试每个 卷的读数据速度。 通过客户端测试每个 卷的写数据速度。 客戶端讀取數據方式 Linux通過MOUNT掛載方式 通過mount命令將 GlusterFS卷掛載到本 地glusterdata根目錄