服务器安装手册(NFS).doc

密级：公开NFS文件共享安装手册修改历史版本号日 期作 者修改内容V1.02011-11-8林国荣建立文档V1.12011-12-15林国荣增加rmis-fileSystem.xml说明V1.22011-12-27林国荣补充说明目 录1、产品介绍42、部署架构43、NFS 安装54、NFS 配置55、配置说明86、NFS调优97、系统调优101、 产品介绍对于现行的大型企业应用来说，单台应用服务器已经无法满足其高负载、高并发、高响应性的需求，这就需要采用多机部署的集群技术来解决问题，然而，这又引发了新的问题，比如原先保存在应用服务器本地的文件没有办法给集群中的其他服务器所访问。这时就需要一种方法来保证这些文件可以被集群环境中的所有应用服务器所访问。目前，可以实现的方法有多种：1、 使用数据库。优点是技术要求最低；缺点是性能不好，不易维护；2、 分布式文件系统。优点是性能好，易扩展；缺点是部署及维护维度较大。当前比较流行的分布式文件系统包括：Lustre、Hadoop HDFS、MogileFS、FreeNAS、FastDFS、MongoDB GridFS、NFS、GFS、GFS2、OpenAFS、MooseFS、pNFS、以及GoogleFS等；3、 文件共享。优点是易部署、易维护；缺点是性能较差以及不易扩展；4、 SAN。优点是性能好，有技术支持；缺点是费用很高。通过分析比对，根据最小可用原则，先用最简单的方案解决问题，决定采用NFS集中式共享技术的实现方案。理由是：1、 大多数linux系统自带NFS软件包；2、 容易安装和配置，维护成本低；3、 学习成本低，只需要掌握几条命令；4、 通用文件系统，即使将来替换其他的分布式文件系统也可以较容易的迁移数据；5、 通过Samba，Windows系统也可以访问；6、 免费，无版权问题。2、 部署架构图1为采用NFS文件系统的部署示例架构图。图1 NFS文件系统部署架构图App Server1和App Server2为应用服务器，用于部署如Tomcat、WebSphere、WebLogic等之类的应用服务器软件，同时也是NFS的客户端（此处并不局限于两台应用服务器，可以根据需求增加多台）。NFS Server为App Server1和App Server2提供共享目录，App Server将NFS Server上的/share_files目录挂载到本地目录/share_files，对本地目录/share_files的文件操作其实就是对NFS Server上的/share_files进行操作，如新增、删除文件等。NFS Backup Server用来备份NFS Server上/share_files的文件，保证在NFS Server不可用时可以随时接管其服务，并保证文件数据的安全及可靠性。3、 NFS 安装NFS目前有多个版本V2、V3和V4，由于V4具有较好的性能，因此建议采用V4版本，以下的配置也是基于该版本进行说明。无论是NFS 服务器还是客户端都需要安装NFS软件。通常，安装好linux服务器时就已经安装了NFS软件，可以下列命令来启动NFS服务：service nfs start如果提示没有该命令则说明没有安装，这时可通过下面的命令进行安装（需要互联网支持）或者通过linux安装发行包中找到相关软件组进行安装：yum install nfs-utils nfs4-acl-tools portmap4、 NFS 配置l NFS服务端配置服务器：192.168.1.179启动服务service portmap startservice nfs start将服务加入启动项中，系统重启时会自动启动服务chkconfig portmap onchkconfig nfs on创建共享文件夹，并设置读写权限mkdir /home/share_fileschmod R 777 /home/share_files编辑配置文件/etc/exports，加入/home/share_files 192.168.1.177(rw,fsid=0,sync,insecure,all_squash) 192.168.1.50(rw,fsid=0,sync,insecure,all_squash)注意：192.168.1.177，192.168.1.50是客户端的IP，即放jboss服务器，有多少个应用就配置多少。使配置生效exportfs -rv修改NFSD线程数以提高并发数，编辑配置文件/etc/init.d/nfs，找到RPCNFSDCOUNT，修改该值为128（默认值是8），重启NFS服务让其生效service nfs restartl NFS客户端配置jboss服务器（农管服务器）：192.168.1.177，192.168.1.50启动服务service portmap startservice nfs start将服务加入启动项中，系统重启时会自动启动服务chkconfig portmap onchkconfig nfs on创建挂载目录，并设置读写权限mkdir /home/share_fileschmod R 777 /home/share_files/home/share_files文件路径需跟农管系统配置文件rmis.war/WEB-INF/classes/springrmis-fileSystem.xml 21行文件路径一样。创建备份目录。mkdir /rmismkdir /rmis/temp_files/rmis/temp_files文件路径需跟农管系统配置文件rmis-fileSystem.xml 34行文件路径一样注意：如果农管部署在集群环境下，则需要下面挂载步骤；部署在非集群环境下，则不需要挂载，但挂载目录、备份目录还是要建立。挂载，将服务器的/share_files挂载到本地目录/share_filesmount t nfs 192.168.1.179:/home/share_files -o rsize=65536,wsize=65536,intr,noatime,timeo=5 /home/share_files查看挂载是否成功mount如果输出如下信息则说明挂载成功192.168.1.179:/home/share_files on /home/share_files type nfs (rw,noatime,rsize=65536,wsize=65536,intr,timeo=5,addr=192.168.1.179)开机自动挂载，在/etc/fstab中加入192.168.1.179:/home/share_files /home/share_files nfs rsize=65536,wsize=65536,intr,noatime,timeo=5 0 0测试，输入以下命令然后在NFS服务器（192.168.1.179）的/share_files/下查看是有相应文件，有则说明配置成功echo “this is a test” /home/share_files/test复制文件，到挂载的NFS文件夹。如客户端177 应用服务器历史文件夹/home/rmis/jboss-4.2.1.GA/server/default/deploy/rmis.war/uploadfiles (不同jboss安装路径不同该路径不同，需注意)，复制到/home/share_filescp r /home/rmis/jboss-4.2.1.GA/server/default/deploy/rmis.war/uploadfiles /home/share_files5、 配置说明l NFS服务端配置项说明NFS服务端的配置项如下/home/shared_files 192.168.1.77(rw,fsid=0,sync,insecure,all_squash) 192.168.1.50(rw,fsid=0,sync,insecure,all_squash) /home/share_file为创建的共享文件夹的绝对路径； IP地址表示只允许192.168.1.177和192.168.1.50访问（这可以避免其他机器非法挂载），如果将10改为0则表示1网段的所有机器都可以挂载，如果将IP改为*则表示所有机器都可以挂载；如192.168.1.* rw：read-write，可读写； ro：read-only，只读； fsid=0在V4版本里是必须的，且只能设定一下根目录； sync：表示文件同步写入到内存与硬盘中； async：文件暂存于内存，而不是直接写入硬盘； secure：通过1024以下的安全TCP/IP端口发送； insecure：通过1024以上的端口发送 no_root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，也拥有root权限。显然开启这项是不安全的。 root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，拥有匿名用户权限，通常他将使用nobody或nfsnobody身份； all_squash：不论NFS客户端连接服务端时使用什么用户，对服务端分享的目录来说都是拥有匿名用户权限； no_all_squash: 保留共享文件的UID和GID（默认）； anonuid：匿名用户的UID值，通常是nobody或nfsnobody，可以在此处自行设定； anongid：匿名用户的GID值。l NFS客户端配置项说明NFS客户端的配置如下mount t nfs 192.168.1.179:/home/share_files -o rsize=65536,wsize=65536,intr,noatime,timeo=5 /home/share_files IP地址192.168.1.179为NFS服务端IP； rsize,wsize，使用大的读/写块（数字指定最大块大小，在这个示例中是 32KB），设置合适的值可以提高文件传输性能； intr：在挂起时 NFS 操作可以被中断； noatime：不更新文档的inode访问时间，能够提高速度； timeo：假如超时，客户端等待的时间，以十分之一秒计算； retrans：超时尝试的次数； bg：后台挂载；hard：假如server端没有响应，那么客户端一直尝试挂载。6、 NFS调优服务端调优NFSD实例个数设置通过cat /proc/net/rpc/nfsd输出的信息，重点关注th那一行，头一个数字为当前nfds线程数，如果第二和第三个数值较大，则需要增加线程数来提高处理能力vi /etc/init.d/nfs找到RPCNFSDCOUNT,修改该值（默认是8），然后重启NFS服务让其生效。NFSD线程数设置参考：10Mbps connection 16 nfsds，100Mbps connections 160 nfsds，1000Mbps connections 1600 nfsds或16 to 384 NFS threads per CPU客户端调优设置块大小优化传输速度测试NFS网络的写入速度，以每块16k大小写入16384共256M数据time dd if=/dev/zero of=/share_files/testfile bs=16k count=16384测试NFS网络的读取速度time dd if=/share_files/testfile of=/dev/null bs=16k设置不同的块大小并多次测试，找出平均值，每次测试前需要先umount再mount；NFS V2最大支持8K，NFS V3最大支持由系统内核决定，内核2.4.17前的通常为8K（8192bytes），通过补丁则可以设置为32K（32768bytes）。当然假如risize和wsize比MTU（MTU值的设置请参考系统调优一节）的值大，server端的包传到client端就要进行重组，这是要消耗client端的cpu资源。此外，包重组可能导致网络的不可信和丢包，任何的丢包都会是的rpc请求重新传输，rpc请求的重传有会导致超时，严重降低NFS的性能。能够通过查看/proc/sys/net/ipv4/ipfrag_high_thresh和/proc/sys/net/ipv4 /ipfrag_low_thresh了解系统能够处理的包的数目，假如网络包到达了ipfrag_high_thresh，那么系统就会开始丢包，直到包的数目到达ipfrag_low_thresh；7、 系统调优MTU设置使用tracepath server port来查看网络的MTU值，如果该值网卡的MTU值大则可以修改网卡的MTU值与该值相等。tracepath 192.168.1.20 2019查看网卡的MTU值ifconfig eth0修改网卡的MTU值与网络环境的一样，其中eth0和16435为网卡和其MTU值ifconfig eth0 mtu 16436系统选择使用64位系统；因为32位系统对大容量文件系统的支持有限文件系统选择建议使用linux的LVM技术，其可以在不影响使用系统的情况下动态的扩展磁盘空间；推荐使用ext3和ReiserFS，FeiserFS更适合海量的小文件系统，ext3的一级子目录默认为32000个，如果需要大过该值则需要修改内核。同时要注意文件系统的inode值，对于海量文件系统来说，如果文件数大于可用的inode值，则在inode用完时，即时有大量剩余磁盘空间也无法写入文件。ext4的性能要比ext3的好，但因其稳定性还有待验证。inode值查看df -iRAID级别使用RAID0/1有更好的写入性能NIC如果有