使用分布式文件系统moosefs实现存储共享(v1.6版)

使用分布式文件系统MOOSEFS实现存储共享V16版201003011346阿炯MFS系统工作的原理图前言现在有大量的企业采用共享存储服务器NFS的方式，来对应用数据进行网络存储，但这存在性能瓶颈和单点故障的问题，于是分布式文件存储管理系统开始流行起来。其优点是不言而喻的，本文为大家推荐了开源的分布式文件系统MFS，相信对大家有所帮助。随着公司业务量的增加,相关的业务数据也随着成倍的增加相应的机器存储空间不足的问题就成为目前一个比较突出的问题,随之而来的备份亦成为一个很为头痛的问题。公司虽然有几台大容量的计算机可用来存放相关数据,但其位置位于各个机房,一时较难以组织,即使将其组织起来只能满足在一段时间内的存储需求,这个需要利用多台服务器上空闲空间加以组织利用,以提供更大的磁盘空间。目前绝大多数业务系统采用NFS文件共享的方式来解决文件惟一性的问题，这种方法在规模较小、访问量低的时候还可以；随着量访问及文件数目的增加，这种共享架构显得有些力不从心了，性能与用户体验会有不小的下降。除此之外，还要努力保证这台NFS服务器不能宕机，所有靠共享提供数据的应用就不再可用；尽管用RSYNC方式同步数据到另外一个服务器上做NFS服务的备份，但这对提高整个系统的性能与可靠性无帮助。基于这样一种需求，我们需要对NFS服务器进行优化或采取别的解决方案，然而优化并不能对应对日益增多的客户端的性能要求，因此只能是采取别的解决方案了。分布式文件系统是一个比较合适的选择，采用分布式文件系统后，服务器之间的数据访问不再是一对多的关系1个NFS服务器，多个NFS客户端，而是多对多的关系。这样一来，性能大幅提升，同时可靠性也高了许多。其实，分布式文件系统我们应该都有所耳闻，但不算那些昂贵、需要付费支持的企业产品，绝大多数开源的分布式文件系统解决方案，如MOGILEFS和HADOOP，虽然都有成功的应用先例，但都有一个共同的令人挠头的特征，即在文件系统层不透明，需要额外的应用层API才能享用它的特性。而MFS完全没有这种困扰，它通过FUSE内核模块和用户层的MFS挂载工具通讯，对使用者完全透明，就和挂载普通的NFS共享一样，且具有动态扩展性、数据冗余、访问权限控制等多种有利于大规模部署的特性。它也兼容POSIX文件属性规范，可通用于LINUX、FREEBSD、OPENSOLARIS、MACOS等操作系统中。MOOSEFILESYSTEM是一个具备容错功能的网络分布式文件系统，它将数据分布在网络中的不同服务器上，MOOSEFS通过FUSE使之看起来就是一个UNIX的文件系统。如果用POSIX的“一次编写，到处编译”风格来作类比，MFS的风格就可以说是“到处随便布点，随处立即可用”。对于一个基于网络的文件系统来说，网络是制约其性能的关键点，不妨说明一下MFS文件读写的原理在一次文件读操作中，客户端只需和主控点通讯一次，取得文件所属的数据节点服务器列表，然后便直接和相应的若干台数据节点服务器点对点传输，不再要求和主控点作信息交互。而在写操作时，则是客户端先对主控点发送请求，主控点再请求数据节点服务创建所需的磁盘资源，再将返回信息经由主控点传回客户端，此后客户端将直接与特定这台数据节点点对点通讯，直接写入操作完成，此时客户端就已经能立即读取到刚写入的信息。至于数据节点的冗余复制，将在之后异步进行，不会对平常的读取造成影响。由此可见，MFS的读写是相当高效的，在千兆内网环境中更是大大减少了数据传输上的瓶颈，且相对于海量小文件来说，大文件的读写更能充分发挥其优势。但这样的架构中仍然存在一个致命缺陷，即主控点是单点，虽然官方声称会在后续版本中改进这个问题，但在这个遥遥无期的限期之前，我们仍然有理由选择依靠既有的其它开源方案来解决这个问题。关于分布式文件系统MFS1、实施起来简单。MFS的安装、部署、配置相对于其他几种工具来说，要简单和容易得多。2、不停服务扩容。MFS框架做好后随时增加服务器扩充容量；扩充和减少容量皆不会影响现有的服务。3、恢复服务容易。除了MFS本身具备高可用特性外，手动恢复服务也是非常快捷的。MFS特性高可靠性数据能被分成几个副本存储在不同的计算机里通过增加计算机或增加新的硬盘动态扩充可用磁盘空间可以设置删除文件的空间回收时间ROOTLOCALHOSTHTOMFSGETTRASHTIMEWGET1102TARGZWGET1102TARGZ600文件被删除10分钟后600秒，才真正删除文件，回收磁盘空间。为文件创建快照MFS的架构和读写原理一个完整的MFS应用由四个部件构成主控点服务MFSMASTER管理整个文件群集的元数据日志；数据节点服务MFSCHUNK以哈希散列的形式存储文件数据，可使用服务器上任意的块设备作为存储设备，能动态扩展；元数据备份服务METALOGGER可部署任意数量，用于下载主控点的数据更新日志，以便在主控宕机时恢复服务，非必须；客户端MFSMOUNT用于挂载分布式文件系统，基于FUSE。除主控点是单点外，其余各点均具备冗余性，默认情况下，MFS会将文件数据复制为两份，分布在不同的数据节点上，即使一台数据节点毁灭，也不会对服务造成影响。MFS文件系统的组成1、元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器MASTER，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个MASTER服务器，进一步提高系统的可靠性。2、数据存储服务器CHUNKSERVER。真正存储用户数据的服务器，存储文件时，首先把文件分成块，然后这些块在数据服务器CHUNKSERVER之间复制复制份数可以手工指定，建议设置副本数为3。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间“越小，可靠性也越高。3、元数据日志服务器METALOGGER。负责备份MASTER服务器的变化日志文件，文件类型为CHANGELOG_MLMFS，以便于在MASTERSERVER出问题的时候接替其进行工作，在16版中新增加的功能。4、客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂载MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。MFS文件系统结构包含4种角色管理服务器MANAGINGSERVERMASTER元数据日志服务器METALOGGERSERVERMETALOGGER数据存储服务器DATASERVERSCHUNKSERVERS客户机挂载使用CLIENTCOMPUTERS4种角色作用管理服务器负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复多节点拷贝。元数据日志服务器负责备份MASTER服务器的变化日志文件，文件类型为CHANGELOG_MLMFS，以便于在MASTERSERVER出问题的时候接替其进行工作。数据存储服务器负责连接管理服务器,听从管理服务器调度,提供存储空间，并为客户提供数据传输。客户端通过FUSE内核接口挂载远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地UNIX文件系统使用一样的效果。一安装和配置元数据服务MASTERSERVER1、下载GNU源码WGETHTTP/WWWMOOSEFSCOM/FILES/MFS1612TARGZ2、解包TARZXVFMFS1612TARGZ3、切换目录CDMFS16124、创建用户DEBIANUSERADDCOMMENTUSEDFORMFSFILESTROAGESERVUSEGIDBACKUPNOUSERGROUPSYSTEMSHELL/USR/SBIN/NOLOGINUID10020MFSREDHATUSERADDCOMMENTUSEDFORMFSFILESTROAGESERVUSEGIDBACKUPRSHELL/USR/SBIN/NOLOGINUID10020MFS5、配置/CONFIGUREPREFIX/USRSYSCONFDIR/ETC/MFSLOCALSTATEDIR/VARWITHDEFAULTUSERMFSWITHDEFAULTGROUPBACKUP6、编译安装MAKEMAKEINSTALL7、配置配置文件位于安装目录/ETC/MFS，需要的配置文件有两个MFSMASTERCFG和MFSEXPORTSCFG，MFSMASTERCFG是主配置文件，MFSEXPORTSCFG是被挂载目录及权限设置。1MFSMASTERCFG的配置ROOTDBSERVMFSCPAVMFSMASTERCFGDISTMFSMASTERCFGROOTDBSERVMFSVIMMFSMASTERCFGWORKING_USERMFSWORKING_GROUPMFSSYSLOG_IDENTMFSMASTERLOCK_MEMORY0NICE_LEVEL19EXPORTS_FILENAME/ETC/MFS/MFSEXPORTSCFGDATA_PATH/VAR/MFSBACK_LOGS50REPLICATIONS_DELAY_INIT300REPLICATIONS_DELAY_DISCONNECT3600MATOML_LISTEN_HOSTMATOML_LISTEN_PORT9419MATOCS_LISTEN_HOSTMATOCS_LISTEN_PORT9420MATOCU_LISTEN_HOSTMATOCU_LISTEN_PORT9421CHUNKS_LOOP_TIME300CHUNKS_DEL_LIMIT100CHUNKS_WRITE_REP_LIMIT1CHUNKS_READ_REP_LIMIT5REJECT_OLD_CLIENTS0需要注意的是，凡是用注释掉的变量均使用其默认值，这里我解释一下这些变量WORKING_USER和WORKING_GROUP是运行MASTERSERVER的用户和组SYSLOG_IDENT是MASTERSERVER在SYSLOG中的标识，也就是说明这是由MASTERSERVE产生的LOCK_MEMORY是否执行MLOCKALL以避免MFSMASTER进程溢出默认为0NICE_LEVE运行的优先级如果可以默认是19注意进程必须是用ROOT启动EXPORTS_FILENAME被挂载目录及其权限控制文件的存放位置DATA_PATH数据存放路径，此目录下大致有三类文件，CHANGELOG，SESSIONS和STATSBACK_LOGSMETADATA的改变LOG文件数目默认是50REPLICATIONS_DELAY_INIT延迟复制的时间默认是300SREPLICATIONS_DELAY_DISCONNECTCHUNKSERVER断开的复制延迟默认是3600MATOML_LISTEN_HOSTMETALOGGER监听的IP地址默认是，代表任何IPMATOML_LISTEN_PORTMETALOGGER监听的端口地址默认是9419MATOCS_LISTEN_HOST用于CHUNKSERVER连接的IP地址默认是，代表任何IPMATOCS_LISTEN_PORT用于CHUNKSERVER连接的端口地址默认是9420MATOCU_LISTEN_HOST用于客户端挂载连接的IP地址默认是，代表任何IPMATOCU_LISTEN_PORT用于客户端挂载连接的端口地址默认是9421CHUNKS_LOOP_TIMECHUNKS的回环频率默认是300秒注原文为CHUNKSLOOPFREQUENCYINSECONDSDEFAULTIS300CHUNKS_DEL_LIMIT100CHUNKS_WRITE_REP_LIMIT在一个循环里复制到一个CHUNKSERVER的最大CHUNK数目默认是1CHUNKS_READ_REP_LIMIT在一个循环里从一个CHUNKSERVER复制的最大CHUNK数目默认是5REJECT_OLD_CLIENTS弹出低于160的客户端挂载0或1，默认是0注意MFSEXPORTS访问控制对于那些老客户是没用的。以上是对MASTERSERVER的MFSMASTERCFG配置文件的解释，对于这个文件不需要做任何修改就可以工作。2MFSEXPORTSCFG的配置ROOTDBSERVETCVIMMFSEXPORTSCFG/RO19216810/24/RW19216810/24/RW,ALLDIRS,MAPROOT0,PASSWORDPASSCODE1000010005/TESTRW,MAPROOTMFS,PASSWORDTESTRW/RW,ALLDIRS,MAPROOT0192168186/TTRW,ALLDIRS,MAPROOT019216810/24/RW,ALLDIRS,MAPROOT0192168112/RW,ALLDIRS,MAPROOT0,PASSWORD123COM该文件每一个条目分为三部分第一部分客户端的IP地址第二部分被挂载的目录第三部分客户端拥有的权限地址可以指定的几种表现形式所有的IP地址NNNN单个IP地址NNNN/BIP网络地址/位数掩码NNNN/MMMMIP网络地址/子网掩码FFFFTTTTIP段目录部分需要注意两点/标识MOOSEFS根表示MFSMETA文件系统权限部分RO只读模式共享RW的方式共享ALLDIRS许挂载任何指定的子目录MAPROOT映射为ROOT，或是指定的用户PASSWORD指定客户端密码注该文件内容里不要有空行。7、启动MASTERSERVERMASTERSERVER可以单独启动所谓单独启动就是在没有数据存储服务器CHUNKSERVER的时候也可以启动，但是不能存储，CHUNKSERVER启动后会自动的加入。安装配置完MFS后，即可启动它。执行命令/USR/SBIN/MFSMASTERSTART，可通过检查如下ROOTDBSERVETCPSEF|GREPMFSMFS12327100838000000/USR/SBIN/MFSMASTERSTART8、停止MASTERSERVER安全停止MASTERSERVER是非常必要的，最好不要用KILL。利用MFSMASTERS来安全停止MASTERSERVER，一旦是用了KILL也是有解决方法的，后文有说明。9、要经常性的查看系统日志TAILF/VAR/LOG/MESSAGES二安装和配置元数据日志服务器METALOGGER1、下载GNU源码WGETHTTP/WWWMOOSEFSCOM/FILES/MFS1612TARGZ2、解包TARZXVFMFS1612TARGZ3、切换目录CDMFS16124、创建用户DEBIANUSERADDCOMMENTUSEDFORMFSFILESTROAGESERVUSEGIDBACKUPNOUSERGROUPSYSTEMSHELL/USR/SBIN/NOLOGINUID10020MFSREDHATUSERADDCOMMENTUSEDFORMFSFILESTROAGESERVUSEGIDBACKUPRSHELL/USR/SBIN/NOLOGINUID10020MFS5、配置/CONFIGUREPREFIX/USRSYSCONFDIR/ETC/MFSLOCALSTATEDIR/VARWITHDEFAULTUSERMFSWITHDEFAULTGROUPBACKUP6、编译安装MAKEMAKEINSTALL7、配置该服务只有一个配置文件，那就是MFSMETALOGGERCFG。ROOTMAILMFSVIMFSMETALOGGERCFGWORKING_USERMFSWORKING_GROUPMFSSYSLOG_IDENTMFSMETALOGGERLOCK_MEMORY0NICE_LEVEL19DATA_PATH/VAR/MFSBACK_LOGS50META_DOWNLOAD_FREQ24MASTER_RECONNECTION_DELAY5MASTER_HOST192168134MASTER_PORT9419MASTER_TIMEOUT60DEPRECATED,TOBEREMOVEDINMOOSEFS17LOCK_FILE/VAR/RUN/MFS/MFSMETALOGGERLOCK文中的大多数变量不难理解，类似于MFSMASTERCFG中的变量，其中META_DOWNLOAD_FREQ需要说明一下元数据备份文件下载请求频率。默认为24小时，即每隔一天从元数据服务器MASTER下载一个METADATAMFSBACK文件。当元数据服务器关闭或者出故障时，MATEDATAMFSBACK文件将消失，那么要恢复整个MFS,则需从METALOGGER服务器取得该文件。请特别注意这个文件，它与日志文件一起，才能够恢复整个被损坏的分布式文件系统。这个文件中需要修改的是MASTER_HOST变量，这个变量的值是MASTERSERVER的IP地址或域名。8、启动METALOGGER服务ROOTMAILSBIN/MFSMETALOGGERSTARTWORKINGDIRECTORY/VAR/MFSLOCKFILECREATEDANDLOCKEDINITIALIZINGMFSMETALOGGERMODULESMFSMETALOGGERDAEMONINITIALIZEDPROPERLY这说明METALOGGER服务正常启动了，利用命令通过进程检查ROOTMAILSBINPSEF|GREPMFSMFS169210AUG07000001/USR/SBIN/MFSMETALOGGERC/ETC/MFS/MFSMETALOGGERCFGSTART通过检查端口ROOTMAILSBINLSOFI9419COMMANDPIDUSERFDTYPEDEVICESIZENODENAMEMFSMETALO1692MFS7UIPV43976TCPGDEBFREEOANET47032XDEBFREEOANET9419ESTABLISHED查看日志服务器的工作目录ROOTMAILMFSPWD/VAR/MFSROOTMAILMFSLLTOTAL8RWR1MFSMFS249JAN131539CHANGELOG_ML1MFSRWR1MFSMFS519JAN131540SESSIONS_MLMFS这是运行几小时后ROOTMAILMFSLLTOTAL1808RWR1MFSMFS0JAN140840CHANGELOG_ML0MFSRWR1MFSMFS4692JAN132339CHANGELOG_ML10MFSRWR1MFSMFS4692JAN140839CHANGELOG_ML1MFSRWR1MFSMFS4692JAN140739CHANGELOG_ML2MFSRWR1MFSMFS4692JAN140639CHANGELOG_ML3MFSRWR1MFSMFS4692JAN140539CHANGELOG_ML4MFSRWR1MFSMFS4692JAN140439CHANGELOG_ML5MFSRWR1MFSMFS4692JAN140339CHANGELOG_ML6MFSRWR1MFSMFS4692JAN140239CHANGELOG_ML7MFSRWR1MFSMFS4692JAN140139CHANGELOG_ML8MFSRWR1MFSMFS4692JAN140039CHANGELOG_ML9MFSRWR1MFSMFS915016JAN140900CSSTATSMFSRWR1MFSMFS777640JAN140810METADATA_MLMFSBACKRWR1MFSMFS519JAN140916SESSIONS_MLMFS9、停止METALOGGER服务ROOTMAILSBIN/MFSMETALOGGERSWORKINGDIRECTORY/VAR/MFSSENDINGSIGTERMTOLOCKOWNERPID12284WAITINGFORTERMINATIONTERMINATED10、如果没有启动METALOGGER服务在MASTERSERVER则会有如下提示信息产生TAILF/VAR/LOG/MESSAGESDEC30165300DBSERVMFSMASTER14291NOMETALOGGERSCONNECTED三安装配置数据存储服务器CHUNKSERVER1、下载GNU源码WGETHTTP/WWWMOOSEFSCOM/FILES/MFS1612TARGZ2、解包TARZXVFMFS1612TARGZ3、切换目录CDMFS16124、创建用户DEBIANUSERADDCOMMENTUSEDFORMFSFILESTROAGESERVUSEGIDBACKUPNOUSERGROUPSYSTEMSHELL/USR/SBIN/NOLOGINUID10020MFSREDHATUSERADDCOMMENTUSEDFORMFSFILESTROAGESERVUSEGIDBACKUPRSHELL/USR/SBIN/NOLOGINUID10020MFS5、配置/CONFIGUREPREFIX/USRSYSCONFDIR/ETC/MFSLOCALSTATEDIR/VARWITHDEFAULTUSERMFSWITHDEFAULTGROUPBACKUP6、编译安装MAKEMAKEINSTALL7、配置配置文件位于安装目录/ETC/MFS，需要的配置文件有两个MFSCHUNKSERVERCFG和MFSHDDCFG，MFSCHUNKSERVERCF是主配置文件，MFSHDDCFG是服务器用来分配给MFS使用的空间，最好是一个单独的硬盘或者一个RAID卷，最低要求是一个分区。1MFSCHUNKSERVERCFG的配置ROOTMAILMFSVIMMFSCHUNKSERVERCFGWORKING_USERMFSWORKING_GROUPBACKUPDATA_PATH/VAR/MFSLOCK_FILE/VAR/RUN/MFS/MFSCHUNKSERVERPIDSYSLOG_IDENTMFSCHUNKSERVERBACK_LOGS50MASTER_RECONNECTION_DELAY30MASTER_HOST192168134MASTER_PORT9420MASTER_TIMEOUT60CSSERV_LISTEN_HOSTCSSERV_LISTEN_PORT9422CSSERV_TIMEOUT60CSTOCS_TIMEOUT60HDD_CONF_FILENAME/ETC/MFS/MFSHDDCFG文中的大多数变量不难理解，类似于MFSMASTERCFG中的变量，其中MASTER_HOST元数据服务器的名称或地址，可以是主机名，也可以是IP地址CSSERV_LISTEN_PORT这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制。HDD_CONF_FILENAME分配给MFS使用的磁盘空间配置文件的位置。2MFSHDDCFG的配置ROOTMAILETCMOREMFSHDDCFG/HOME/DATA/MFS/在这里/HOME/DATA/MFS/是一个给MFS的分区，但在本机上是一个独立的磁盘的挂载目录，用CHOWNRMFSBACKUP/HOME/DATA/MFS/把属主改变为MFS。8、启动MFSCHUNKSERVER执行命令/USR/SBIN/MFSCHUNKSERVERSTART，如果没有意外，MFSCHUNKSERVER就应该作为一个守护进程运行起来。是否启动，检查如下ROOTDBSERVETCPSEF|GREPMFSMFS12327100838000000/USR/SBIN/MFSCHUNKSERVERSTART9、停止MFSCHUNKSERVER停止MFSCHUNKSERVER，利用MFSCHUNKSERVERS来安全停止MFSCHUNKSERVER。四MFS客户端的安装及配置1、由于MFS客户端依赖于FUSE，所以要先安装FUSE。1、解包TARZXVFFUSE274TARGZ2、切换目录CDFUSE2743、配置/CONFIGUREPREFIX/USRENABLESTATICENABLELIBENABLEUTILENABLEEXAMPLEWITHPKGCONFIGDIR/USR/LIB/PKGCONFIG/4、编译安装MAKE；MAKEINSTALL注此软件安装看似简单，却也费去不少时间和精力。它需要系统安装了内核开发包KERNELDEVELX86_64，但通过YUM安装时此时54版的CENTOS已经发布，而目前在用的是52版的些版本与系统中的不一样比系统中的内核包版本要高,应该为KERNELDEVEL2618128EL5,但通过YUM安装的却是164的，但编译安装没有问题，但在后面用”MODPROBEFUSE”加载模块时却报”致命错误”而不能加载其就是因为内核开发头包的版本不对。同时还要安装”PKGCONFIG”这个软件包。如果所在的系统已经安装了FUSE,则跳过这个步骤，高版本的LINUX内核已经支持了。2、安装MFS客户端1、修改环境变量文件/ETC/PROFILE,追加下面的行，然后再执行命令SOURCE/ETC/PROFILE使修改生效。EXPORTPKG_CONFIG_PATH/USR/LIB/PKGCONFIGPKG_CONFIG_PATH如果不执行这个操作，在后面安装MFS的过程中，执行命令/CONFIGUREENABLEMFSMOUNT时可能出现“CHECKINGFORFUSENOCONFIGUREERRORMFSMOUNTBUILDWASFORCED,BUTFUSEDEVELOPMENTPACKAGEISNOTINSTALLED“CHECKINGFORFUSECONFIGUREERRORMFSMOUNTBUILDWASFORCED,BUTFUSEDEVELOPMENTPACKAGEISNOTINSTALLED这样的错误，而不能正确安装MFS客户端程序。2、TARZXVFMFS1612TARGZ3、CDMFS16124、USERADDMFSS/SBIN/NOLOGIN5、/CONFIGUREPREFIX/USR/SYSCONFDIR/ETC/MFSLOCALSTATEDIR/VARWITHDEFAULTUSERMFSWITHDEFAULTGROUPNOBODYENABLEMFSMOUNT6、MAKEMAKEINSTALL检查MFS客户端安装结果LL/USR/BIN/若不能正确安装MFS客户端程序，这是因为环境变量没有设置，先编辑/ETC/PROFILE在此文件中加入如下条目EXPORTPKG_CONFIG_PATH/USR/LIB/PKGCONFIGPKG_CONFIG_PATH然后再利用SOURCE命令/ETC/PROFILE使修改生效SOURCE/ETC/PROFILE即可，也可直接在命令行中直接执行EXPORTPKG_CONFIG_PATH/USR/LIB/PKGCONFIGPKG_CONFIG_PATH3、挂载MFS文件系统1、创建挂载点MKDIR/MNT/MFS2、加载FUSE模块到内核MODPROBEFUSE3、挂载MFS/USR/BIN/MFSMOUNT/MNT/MFSHMFSMASTERFREEOANETP9421P然后在输入密码就可以了，特别需要注意的是，所有的MFS都是挂载同一个元数据服务器MASTER的IP,而不是其他数据存储服务器CHUNKSERVER的IP。4、查看挂载情况通过DF命令查看磁盘使用情况来检查是否被挂载成功HDEBIANDFH文件系统容量已用可用已用挂载点/DEV/SDA274G272M67G4/TMPFS1003M40K1003M1/LIB/INIT/RWUDEV10M88K10M1/DEVTMPFS1003M01003M0/DEV/SHM/DEV/SDA119G51M17G3/BOOT/DEV/SDA5105G75G31G72/HOME/DEV/SDA646G138M43G4/TMP/DEV/SDA712G29G76G28/USR/DEV/SDA815G510M14G4/VARMFSMASTERFREEOANET9421499G70G492G2/MNT/MFS利用MOUNT命令查看HDEBIANMOUNT/DEV/SDA2ON/TYPEEXT3RW,ERRORSREMOUNTROTMPFSON/LIB/INIT/RWTYPETMPFSRW,NOSUID,MODE0755PROCON/PROCTYPEPROCRW,NOEXEC,NOSUID,NODEVSYSFSON/SYSTYPESYSFSRW,NOEXEC,NOSUID,NODEVPROCBUSUSBON/PROC/BUS/USBTYPEUSBFSRWUDEVON/DEVTYPETMPFSRW,MODE0755TMPFSON/DEV/SHMTYPETMPFSRW,NOSUID,NODEVDEVPTSON/DEV/PTSTYPEDEVPTSRW,NOEXEC,NOSUID,GID5,MODE620FUSECTLON/SYS/FS/FUSE/CONNECTIONSTYPEFUSECTLRW/DEV/SDA1ON/BOOTTYPEEXT3RW/DEV/SDA5ON/HOMETYPEXFSRW/DEV/SDA6ON/TMPTYPEEXT3RW/DEV/SDA7ON/USRTYPEEXT3RW/DEV/SDA8ON/VARTYPEEXT3RWBINFMT_MISCON/PROC/SYS/FS/BINFMT_MISCTYPEBINFMT_MISCRW,NOEXEC,NOSUID,NODEVMFSMASTERFREEOANET9421ON/MNT/MFSTYPEFUSEMFSRW,NOSUID,NODEV,ALLOW_OTHER,DEFAULT_PERMISSIONS五对MFSCGISERV的使用MFSCGISERV是用PYTHON编写的一个WEB服务器，它的监听端口是9425，可以利用/USR/SBIN/MFSCGISERV来启动，用户利用浏览器就可全面监控所有客户挂载，CHUNKSERVER及MASTERSERVER，客户端的各种操作等等。在任何一台装有浏览器的机器上都可以查看HTTP/MFSMASTERFREEOANET9425_回顾编译和安装的过程MOOSEFS部署的首选方法是从源代码安装，源代码包安装支持标准/CONFIGURETHENECHOELSEECHOMIANCONFIGUREFILENOTEXISTORTHECOMMANDNOTFOUNDEXIT1FICASE“1“INSTARTECHON“STARTINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSMASTERCFG1ECHO“STOPECHON“STOPPINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSMASTERCFG1ECHO“RESTARTECHON“RESTARTINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSMASTERCFG1ECHO“ECHO“USAGEDAEMONSTART|STOP|RESTART“EXIT2ESACEXIT0MFSCHUNKSERVER/BIN/BASHBEGININITINFOPROVIDESMFSDREQUIREDSTARTREMOTE_FSSYSLOGREQUIREDSTOPREMOTE_FSSYSLOGDEFAULTSTART2345DEFAULTSTOP016SHORTDESCRIPTIONMOOSEFSISANOPENSOURCE,EASYTODEPLOYANDMAINTAIN,DISTRIBUTED,FAULTTOLERANTFILESYSTEMFORPOSIXCOMPLIANTOSESENDINITINFO/ETC/INITD/MFSCHUNKSERVERWRITTENBYHTOSETEDAEMON/USR/SBIN/MFSCHUNKSERVERTHISMAYBEMFSCHUNKSERVERCONFD/ETC/MFSPATH/SBIN/BIN/USR/SBIN/USR/BINEXITIFMFSCONFDOESNTHAVELISTENYESIFFCONFD/MFSCHUNKSERVERCFGTHENECHOELSEECHOMIANCONFIGUREFILENOTEXISTORTHECOMMANDNOTFOUNDEXIT1FICASE“1“INSTARTECHON“STARTINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSCHUNKSERVERCFG1ECHO“STOPECHON“STOPPINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSCHUNKSERVERCFG1ECHO“RESTARTECHON“RESTARTINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSCHUNKSERVERCFG1ECHO“ECHO“USAGEDAEMONSTART|STOP|RESTART“EXIT2ESACEXIT0MFSMETALOGGER/BIN/BASHBEGININITINFOPROVIDESMFSDREQUIREDSTARTREMOTE_FSSYSLOGREQUIREDSTOPREMOTE_FSSYSLOGDEFAULTSTART2345DEFAULTSTOP016SHORTDESCRIPTIONMOOSEFSISANOPENSOURCE,EASYTODEPLOYANDMAINTAIN,DISTRIBUTED,FAULTTOLERANTFILESYSTEMFORPOSIXCOMPLIANTOSESENDINITINFO/ETC/INITD/MFSMETALOGGERWRITTENBYHTOSETEDAEMON/USR/SBIN/MFSMETALOGGERTHISMAYBEMFSMETALOGGERCONFD/ETC/MFSPATH/SBIN/BIN/USR/SBIN/USR/BINEXITIFMFSCONFDOESNTHAVELISTENYESIFFCONFD/MFSMETALOGGERCFGTHENECHOELSEECHOMIANCONFIGUREFILENOTEXISTORTHECOMMANDNOTFOUNDEXIT1FICASE“1“INSTARTECHON“STARTINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSMETALOGGERCFG1ECHO“STOPECHON“STOPPINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSMETALOGGERCFG1ECHO“RESTARTECHON“RESTARTINGDISTRIBSTORAGESSERVERNAME“DAEMONCCONFD/MFSMETALOGGERCFG1ECHO“ECHO“USAGEDAEMONSTART|STOP|RESTART“EXIT2ESACEXIT0REDHAT/BIN/BASHCHKCONFIG3453232/此行的345参数表示,在哪些运行级别启动,启动序号S32关闭序号K32DESCRIPTIONMFSCHUNKSERVER/此行必写,描述服务BEGININITINFOPROVIDESMFSDREQUIREDSTARTREMOTE_FSSYSLOGREQUIREDSTOPREMOTE_FSSYSLOGDEFAULTSTART2345DEFAULTSTOP016SHORTDESCRIPTIONMOOSEFSISANOPENSOURCE,EASYTODEPLOYANDMAINTAIN,DISTRIBUTED,FAULTTOLERANTFILESYSTEMFORPOSIXCOMPLIANTOSESENDINITINFO/ETC/INITD/MFSCHUNKSERVERWRITTENBYHTOSETEDAEMON/USR/SBIN/MFSCHUNKSERVERTHISMAYBEMFSCHUNKSERVERCONFD/ETC/MFSPATH/SBIN/BIN/USR/SBIN/USR/BINEXITIFMFSCONFDOESNTHAVEL