MFS分布式文件系统综述

1、MFS分布式文件系统作者： cnmole 交流 QQ： 370992933环境： CentOS6.3禁用 selinux ，关闭防火墙主控服务器端口： tcp 9419、9420、9421，cgi 监控端口： tcp 9425存储服务器端口： tcp 9422一、结构图及 IP 3二、主控服务器（ Master Server ） 31、安装 mfs 31.1）添加 mfs 用户和用户组 31.2）下载 MFS 源码包 41.3）解压 mfs 源码包 41.4）开始安装 42、配置 mfs 41）创建配置文件 42）设置共享结构资源 43）设置 metadata 文件 54）修改 /etc/ho

2、sts 添加以下代码 53、启动 mfsmaster 服务 54、设置 CGI 监控 5三、备份服务器（ Backup Server（MetaLogger） 61、安装 mfs 61.1）添加 mfs 用户和用户组 61.2）准备 MFS 源码包 61.3）解压 mfs 源码包 61.4）开始安装 62、配置 mfs 71）创建配置文件 72）修改 /etc/hosts 添加以下代码 73、启动 mfsmetalogger 服务 7四、存储块服务器（ Chunk Servers） 71、安装 mfs 71.1）添加 mfs 用户和用户组 71.2）准备 mfs 源码包 81.3） mfs 源码

3、包解压 81.4）开始安装 82、配置 mfs 81）创建配置文件 82）编辑配置文件 83）修改 /etc/hosts 添加以下代码 93、启动 mfschunkserver 服务 94、使用监控检查 9五、客户端（ Client） 101、安装 mfs 101.1）准备 mfs 源码包 101.2）mfs 源码包解压 101.3）开始安装 101.4）修改 /etc/hosts 添加以下代码 102、挂载 112.1）创建挂载目录 112.2）挂载 113、设置目录里文件副本数 11六、主备切换 121、模拟主控宕机，变备控为主控 122、修复宕机主控，还原原来主备身份 12MFS目录方案

4、12结构图及IP# useradd -s /sbin/nolagin mfs添加用户，自动添加同名用户组服务器IP主控服务器41备份服务器42数据服务器43数据服务器44客户端45客户端46客户端47二、主控服务器(Master Server)1、安装mfs1.1)添加mfs用户和用户组1.2）下载MFS源码包从 下载 mfs 源码包 mfs-1626.tar.gz 放于 /root/mfs 中1.3）解压 m

5、fs源码包L *) # cd mfs进儿 r：.“二L ntfs # rar -zxvf inf s-l * 6 * 26-: K, jR1.4）开始安装进入安装目录rnfsl f cd mfs-1 6,26丰二壬；：匚yum 安装 zlib-devel 包f yum install zlit-dvel配置安装选项#./c on figure -prefix=/usr-sysc onfdi r=/etc -localstatedir=/var/lib -with-default-user=mfs -with-default-group=mfs-disable-mfschu nkserver -

6、disable-mfsm ount编译并安装make & make in stall2、配置mfs1）创建配置文件mfs-1.6.26 t cd /etc准备酉f置文件目录etc # cp mfsiuastercfg.dist mfsmasher etc # cp mf sraetaloggercf g. disC mf smetalogger * cf g 已匸u歩 cp iesexpo工匸3 . cfg.dist misexports .cf g2）设置共享结构资源编辑 /etc/mfsexports.cfg指定只有190.90.90.x网段的主机可以以读写模式访问MooseFS的整个共享

7、结构资源（/）mfsexportE. cg1 # Allow everything but meta1*.2 190,90.90,0/2/ rwf alldirs,TT：aproot=03）设置metadata文件# cd /var/Lib/mfs# cp metadata .ref 3 . empty iter ad 且匸 a. mf s4）修改/etc/hosts添加以下代码190,90.90,241 mf arrester3、启动 mfsmaster 月服务卡 niXBrnaster start4、设置CGI监控* mfsegiserv停止可以kill掉三、备份服务器(Backup Se

8、rver(MetaLogge)1、安装mfs1.1）添加mfs用户和用户组添加用户，自动添加同名用户组# useradd -3 /sbin/nnlagin mfs1.2)准备MFS源码包将 mfs 源码包 mfs-1626.tar.gz 放于 /root/mfs 中1.3）解压 mfs源码包L *) f cd mfs 进八 r c 11: . z1 mfs* zat -zxvf inf3-1 626: jR1.4）开始安装进入安装目录yum 安装 zlib-devel 包f yum install zlib-devel配置安装选项#./c on figure -prefix=/usr-sysc

9、 onfdi r=/etc -localstatedir=/var/lib -with-default-user=mfs -with-default-group=mfs-disable-mfschu nkserver -disable-mfsm ount编译并安装make & make in stall2、配置mfs1）创建配置文件mfa-l.6.26# cd /etcetc # cp mf smetalOQer cf dis 匸 nifsmet a Loggercf g2）修改/etc/hosts添加以下代码190 + 90 90 + 24L mfsmasLer3、启动 mfsmetal o

10、gger月服务#3匸ar匸四、存储块服务器（Chunk Servers1、安装mfs1.1）添加mfs用户和用户组添加用户，自动添加同名用户组# UBeradd -3 /sbin/nologin mfs1.2）准备 mfs源码包将 mfs 源码包 mfs-1626.tar.gz 复制到 /root/mfs1.3） mfs源码包解压# Cd IQf3 mZs# tai: 一：zxvt mts-l 右*25.匸ar qz1.4）开始安装进入安装目录nifslf cd mfs-l.6,26 宙入安学冃弓yum 安装 zlib-devel 包f yum install zliTodevel配置-wit

11、h-default-group=mfs#./c on figure-prefix=/usr-sysc onfdi r=/etc -localstatedir=/var/lib -with-default-user=mfs-disable-mfsmaster编译并安装make & make in stall2、配置mfs1）创建配置文件mfs-l.6.26f cd /etc/etc t cpschunicserver cfu T distschunkserver, cfgetct cp mfshdd,cfgrdist mfshdd.cfg2）编辑配置文件仓U建共享目录 /var/imgs更改目录

12、所主和所组+ chown -A mfs：rafs /var/imgs在/etc/mfshdd.cfg中添加以下代码日 mfshdi cfg |* mount points- /vaz/imgs3)修改/etc/hosts添加以下代码190.90 -90-2弓 1 mf sr,aster3、启动 mfschunkserver月服务4、使用监控检查管 htt 190.90,90*241:942 /mfe.cgi?sections=CSMP :七MooeFSIInfo +Servers - Disks + Exports + Mounts + Operations +Chunk Serversoor

13、tversionYegu lar hdd spacechunksusedtotal% used1(unresolved；19O.9D.9O.24394221.6.2603.5 GiB5 6 GiB6327 1|2(unresolved)4494221.6.2603.5 GiB5.6 GiB63.27Metadata Backup Loggers#host!P1 (unresolved)190.90 90.242五、客户端（Client）1、安装mfs1.1）准备 mfs源码包将 mfs 源码包 mfs-1626.tar.gz 复制到 /root/mfs1.2） mfs源码

14、包解压 # cd mf 3 mfs# 匸a工 一工吕一1 *石* 26.匸ar.gz1.3）开始安装进入安装目录mfs* cd石 书yum 安装 fuse-devel 包t yum -y install fuse-devel配置-with-default-group=mfs#./c on figure -prefix=/usr -sysc onfdi r=/etc -localstatedir=/var/lib -with-default-user=mfs-disable-mfsmaster -disable-mfsch un kserver编译并安装make & make in stall1

15、.4）修改/etc/hosts添加以下代码ISO,90-90-241 mfBlaster2、挂载2.1）创建挂载目录f mkdir /var/abc2.2）挂载rootnode5 #df-h文件系统容虽已用可用已用罪挂栽点/dev/mapper/vgnode5-lv root;5.9G3.3G2.4G59%/匸 ILpf 314 IM014 IMOi/ dev/ 3 tun/dev/日日且工48 5M33M42 7M8%/bootmfsmaster:921弓2G02(3oV/var/abc1 X Jr vcct匸_1 厂円3、设置目录里文件副本数(rootnodeS rootnode5 roo

16、tnade5rootnode5 imgs :inodesinodesinodescd /var/aijc abc t abc # abc #withmkdir imgs mkdir webs mfssetgoal -r 2 Imgschanged: not changed:goalwith goalpermission denied:mfssetgoal -r 2 webswithrootnode5 abct webs -inodesinodesinodeswithwithwithgoalgoal pemkission denied:changed: not changed:100设蛊文件副本

17、数為210ama匸曽fiode5 abc# 创建文件并检查副本数往/var/abc/imgs和/var/abc/webs目录中各复制一张图片检查副本数rootnode5 / t mfscheclcfile /var/abc/imgs/l - jpg /var/abc/imgs/1 jpg:chunks with2 copies:1rootnode5 /+ mfscheclcflie /var/abc/webs/ljpg /var/abc/webs/l jpg:chunks with 2 |copies:1LQOt0nQdeS /f mfsgetgoal /var/abc/webs /var/a

18、bc/webs; 2roocnode5 / # iufsetgcal /var/abc/webs/1. jpg /var/abc/webs/l- jpg： 2六、主备切换1、模拟主控宕机，变备控为主控步1 :关闭主控步 2：在备控上执行 mfsmetarestore -a -d /var/lib/mfs步 3:改备控 IP 为 41，重启网络服务 service network restart步 4： 启动 mfsmaster 禾口 mfscgiserv步 5:使用 41:9425 监控检查2、修复宕机主控，还原原来主备身份步0:关闭当前主控步1 :主控上安装 mfsmaster步2：使用和备控相同的配置（可以从备控取回mfsmaster.cfg）步 3：从备控取回 metadata.mfs.back步4：从备控取回 changelog.*.mfs步 5:生成 metadata.mfs#mfsmetarestore -m metadata.mfs.back -o metadata.mfs cha ngelog.*.mfs步6:启动主控上的 mfsmaster服务，停掉备控上的mfsmaster服务，启动备控上的mfsmetalogger服务MFS目录方案1, J nfsexports. cfg