GlusterFS模式及功能介绍.ppt

GlusterFS模式及功能介紹,GlusterFS模式及功能介紹,GlusterFS模式GlusterFS架構和數據訪問流程GlusterFS風險,Gluster是一個大尺度文件系統。它是各種不同的存儲伺服器之上的組合，這些伺服器由乙太網或無限頻寬技術Infiniband以及遠程直接內存訪問RDMA互相融匯，最終所形成的一個大的並行文件系統網路。它有包括雲計算在內的多重應用下面我們將重點講各類GlusterFS模式、分佈式條帶複製卷的讀、寫、第三方讀和寫數據的流程，以及風險包換備份、增加硬盤容量、其中一臺服務器故障等情況。,GlusterFS模式,分佈卷復制卷条带卷分佈式条带卷分布式復制卷分布式条带復制卷,分佈卷,分布式卷，文件通过hash算法随机的分布到由bricks组成的卷上。卷中资源仅在一台服务器上存储，在存储池中非镜像或条带模式。,分布式功能：將文件隨機存放到服務器里。如圖，File1和File2存放於server1,而File3存放於server2，文件都是隨機存儲。,復制卷,复制式卷，类似raid1，replica数必须等于volume中brick所包含的存储服务器数，可用性高。创建一个两两互为备份的卷，存储池中一块硬盘损坏，不会影响到数据的使用，最少需要两台服务器才能创建分布镜像卷。,分布式功能：將文件備份存放到相應服務器里。如圖，File1同時存儲在server1和server2上。File2也是如此。相當於server2中的文件是server1中文件的副本。,条带卷,条带式卷，类似与raid0，stripe数必须等于volume中brick所包含的存储服务器数，文件被分成数据块，以RoundRobin的方式存储在bricks中，并发粒度是数据块，大文件性能好。,分布式功能：將文件分割存放不同服務器里。如圖，File被分割成6段，1，3，5存放在server1中，2，4，6存放於server2中。,分佈式条带卷,分布式的条带卷，volume中brick所包含的存储服务器数必须是stripe的倍数(=2倍)，兼顾分布式和条带式的功能。每个文件分布在四台共享服务器上，通常用于大文件访问处理，最少需要4台服务器才能创建分布条带卷。,分布式功能：將文件分割隨機存放不同服務器里。如圖，File被分割成4段，1，3存放在server1(exp1)中，2，4存放於server1(exp2)中。Server2(exp3)1,3存放server1(exp1)中的備份文件，Server2(exp4)2,4存放server1(exp2)中的備份文件。,分布式復制卷,分布式的复制卷，volume中brick所包含的存储服务器数必须是replica的倍数(=2倍)，兼顾分布式和复制式的功能。,分布式功能：將文件備份隨機存放相應的服務器里。如圖，Server1(exp1)存放File1文件，Server1(exp2)存放File2文件。Server2(exp3)存放File1的備份文件，Server2(exp4)存放File2的備份文件。,分布式条带復制卷,分布式条带复制卷分布条带数据在复制砖集群。为了获得最佳效果，你应该使用分布在高并发的条带复制卷环境下并行访问非常大的文件和性能是至关重要的。,分布式功能：將文件分割并備份隨機存放到不同服務器里。如圖，File被分割成4段，1，3存放在Server1(exp1)中，2，4存放於server2(exp3)中。Server1(exp2)存放Server1(exp1)的備份文件。Server2(exp4)存放Server2(exp3)的備份文件。,GlusterFS架構和數據訪問流程,GlusterFS外部架構和內部架構GlusterFS數據訪問流程,GlusterFS外部架構,GlusterFS总体架构与组成部分如图2所示，它主要由存储服务器（BrickServer）、客户端以及NFS/Samba存储网关组成。不难发现，GlusterFS架构中没有元数据服务器组件，这是其最大的设计这点，对于提升整个系统的性能、可靠性和稳定性都有着决定性的意义。GlusterFS支持TCP/IP和InfiniBandRDMA高速网络互联，客户端可通过原生Glusterfs协议访问数据，其他没有运行GlusterFS客户端的终端可通过NFS/CIFS标准协议通过存储网关访问数据。,GlusterFS是模块化堆栈式的架构设计，如图3所示。模块称为Translator，是GlusterFS提供的一种强大机制，借助这种良好定义的接口可以高效简便地扩展文件系统的功能。1.服务端与客户端模块接口是兼容的，同一个translator可同时在两边加载。2.GlusterFS中所有的功能都是通过translator实现，比如Cluster,Storage,Performance,Protocol,Features等。3.重点是GlusterFSClient端。,GlusterFS內部架構,GlusterFS數據訪問流程,3.VFS將數據遞交給FUSE內核文件系統，在啟動glusterfs客戶端以前，需要向系統註冊一個實際的文件系統FUSE，如上圖所示,該文件系統與ext3在同一個層次上面，ext3是對實際的磁片進行處理，而fuse文件系統則是將數據通過/dev/fuse這個設備文件遞交給了glusterfsclient端。所以，我們可以將fuse文件系統理解為一個代理。4.數據被fuse遞交給Glusterfsclient后，client對數據進行一些指定的處理（所謂的指定，是按照client配置文件來進行的一系列處理）5.在glusterfsclient的處理末端，通過網路將數據遞交給GlusterfsServer,並且將數據寫入到服務器所控制的存儲設備上。,圖是整個GlusterFS數據流的一個概要圖：1.首先是在客戶端，用戶通過glusterfs的mountpoint來讀寫數據。2.用戶的這個操作被遞交給本地linux系統的VFS來處理。,GlusterFS風險,備份風險增加和刪除磁盤空間風險讀寫速度客戶端讀取數據方式,備份風險,由於GlusterFS採用分布式條帶複製模式，我們之前就已經理解了這種模式的功能及作用，它將文件分割并備份隨機存放到不同服務器里。,首先通過VFS來讀寫文件，把文件暫存到I/OCache緩存機制當中，通過文件预读机制预读（read-ahead這是一种技术，这种技术在于预先读取所请求的普通文件或块设备文件的几个相邻的数据页。）I/OCache緩存文件，然後通過GlusterFS的Distribute/Stripe模式分割文件，再通過Replicate複製機制複製文件存儲到GlusterFSServer的EXT3儲存磁盤當中。備份風險只需要注意有足夠的存儲空間及網路連接正常。,增加和刪除磁盤空間風險,GlusterFS增加磁盤空間GlusterFS增加磁盤空間，例如：你想给分布式的卷中增加brick，以增加卷的容量。注意：当你给分布式复制卷和分布式条带卷中增加bricks时，你增加的bricks的数目必须是复制或者条带数目的倍数，例如：你给一个分布式复制卷的replica为2，你在增加bricks的时候数量必须为2、4、6、8等。如下圖所示：GlusterFS刪除磁盤空間GlusterFS刪除磁盤空間，例如：当硬件损坏或者网络故障的时候，你可能想在卷中移除相关的bricks。注意：当你移除bricks的时候，你在gluster的挂载点将不能继续访问数据，只有配置文件中的信息移除后你才能继续访问bricks的数据。当移除分布式复制卷或者分布式条带卷的时候，移除的bricks数目必须是replica或者stripe的倍数。例如：一个分布式条带卷的stripe是2，当你移除bricks的时候必须是2、4、6、8等。,表示已经成功增加存储空间。,表示将平衡增加的存储空间以及数据。,表示已经成功删除存储空间。,表示将平衡布局卷的存储空间。,GlusterFS平衡布局GlusterFS平衡布局是很有必要的，因为布局结构是静态的，当新的bricks加入现有卷，新创建的文件会分布到旧的bricks中，所以需要平衡布局结构，使新加入的bricks生效。布局平衡只是使新布局生效，并不会在新的布局移动老的数据，如果你想在新布局生效后，重新平衡卷中的数据，还需要对卷中的数据进行平衡。平衡布局卷方式分為兩種：第一種是fix-layout重新平衡佈局，第二種是migrate-data重新平衡數據。增加和刪除磁盤空間風險增加和刪除磁盤空間風險只需要注意GlusterFS平衡佈局，確認平衡佈局是重新平衡數據還是重新平衡佈局。重新平衡數據是指將所有Brick的數據進行一次新的平衡分佈，重新平衡佈局是指將現在的卷佈局進行重新分配，舊數據并不會重新平衡分配。,讀寫速度,测试客戶端掛載GlusterFS卷的读数据速度测试客戶端掛載GlusterFS卷的寫数据速度测试客戶端掛載GlusterFS卷的同时读写数据速度,通过客户端测试卷的读数据速度。,通过客户端测试卷的写数据速度。,通过客户端测试卷同时读写数据速度。,查看每个bricks的读性能查看每个brick的写性能,通过客户端测试每个卷的读数据速度。,通过客户端测试每个卷的写数据速度。,客戶端讀取數據方式,Linux通過MOUNT掛載方式,通過mount命令將GlusterFS卷掛載到本地glusterdata根目