NFS配置步骤和优化.doc

NFS配置步骤和优化这是目前为止，我看到最详细的关于NFS配置的中文文档1、NFS包NFS需要5个RPM，分别是：setup-*：共享NFS目录在/etc/exports中定义initscripts-*：包括引导过程中装载网络目录的基本脚本nfs-utils-*：包括基本的NFS命令与监控程序portmap-*：支持安全NFS RPC服务的连接quota-*：网络上共享的目录配额，包括rpc.rquotad （这个包不是必须的）2、基本监控程序要顺利运行NFS，至少需要五个Linux服务，它们各有不同的功能，有的负责装载服务，有的保证远程命令指向正确的位置。这些服务通过/etc/rc.d/init.d目录中的nfs,nfslock和portmap脚本启动。下面简单介绍每个监控程序：(1) 基本NFSrpc.nfsd是NFS服务器监控程序，它通过/etc/rc.d/init.d目录中的nfs脚本启动。NFS监控程序还启动rpc.mountd装载监控程序，并导出共享目录。(2) RPC装载可以用mount命令连接本地目录或网络目录，但还需要一个装载NFS目录的特殊监控程序rpc.mountd(3) 端口映射器portmap监控程序只是定向RPC通信数据流，但它对于NFS服务很重要。如果不运行portmap，则NFS客户机无法找到从NFS服务器共享的目录。(4) 重新启动与statd当NFS服务需要中断或者重新启动时，rpc.statd监控程序和rpc.lockd在服务器重新启动之后使客户机恢复NFS连接。(5) 锁定通过共享NFS目录打开文件时，锁定可以使用户不能覆盖同一个文件。锁定通过nfslock脚本并使用rpc.lockd监控程序启动运行。3、配置NFS共享的NFS目录在/etc/exports中列出，这个文件控制对目录的共享。书写规则是：（每个共享规则一行）共享目录 主机(参数)例如：/mnt/cdrom *.(ro,sync) (rw,sync)上面的规则代表将/mnt/cdrom目录以只读同步方式共享给*.域，并且以读写同步方式共享给主机。任何共享目录都要指定sync或async，也就是指定文件写入磁盘之前共享NFS目录是否响应命令。下面是一些NFS共享的常用参数：ro：只读访问rw：读写访问sync：所有数据在请求时写入共享async：NFS在写入数据前可以相应请求secure：NFS通过1024以下的安全TCP/IP端口发送insecure：NFS通过1024以上的端口发送wdelay：如果多个用户要写入NFS目录，则归组写入（默认）no_wdelay：如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。hide：在NFS共享目录中不共享其子目录no_hide：共享NFS目录的子目录subtree_check：如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）no_subtree_check：和上面相对，不检查父目录权限all_squash：共享文件的UID和GID映射匿名用户anonymous，适合公用目录。no_all_squash：保留共享文件的UID和GID（默认）root_squash：root用户的所有请求映射成如anonymous用户一样的权限（默认）no_root_squas：root用户具有根目录的完全管理访问权限anonuid=xxx：指定NFS服务器/etc/passwd文件中匿名用户的UIDanongid=xxx：指定NFS服务器/etc/passwd文件中匿名用户的GID4、启动NFS# service portmap start# service nfs start检查NFS的运行级别：# chkconfig -list portmap# chkconfig -list nfs根据需要设置在相应的运行级别自动启动NFS：# chkconfig -level 235 portmap on# chkconfig -level 235 nfs on另外，还需要查看系统的iptables、/etc/hosts.allow、/etc/hosts.deny是否设置了正确的NFS访问规则。参考：nfs-howto关键词：nfs优化今天逛承老大的blog()，从上面看到一篇介绍nfs优化的，觉得非常不错，于是转载过来，也算自己收藏一份1.设置块大小mount命令的risize和wsize指定了server端和client端的传输的块大小。mount -t nfs -o rsize=8192,wsize=8192,timeo=14,intr client:/partition /partition如果未指定，系统根据nfs version来设置缺省的risize和wsize大小。大多数情况是4K对于nfs v2，最大是8K，对于v3，通过server端kernel设置risize和wsize的限制vi /usr/src/linux2.4.22/include/linux/nfsd/const.h修改常量: NFSSVC_MAXBLKSIZE所有的2.4的的client都支持最大32K的传输块。系统缺省的块可能会太大或者太小，这主要取决于你的kernel和你的网卡，太大或者太小都有可能导致nfs速度很慢。具体的可以使用Bonnie，Bonnie+，iozone等benchmark来测试不同risize和wsize下nfs的速度。当然，也可以使用dd来测试。time dd if=/dev/zero of=/testfs/testfile bs=8k count=1024测试nfs写time dd if=/testfs/testfile of=/dev/null bs=8k 测试nfs读测试时文件的大小至少是系统RAM的两倍，每次测试都使用umount 和mount对/testfs进行挂载，通过比较不同的块大小，得到优化的块大小。2.网络传输包的大小网络在包传输过程，对包要进行分组，过大或者过小都不能很好的利用网络的带宽，所以对网络要进行测试和调优。可以使用ping -s 2048 -f hostname进行ping，尝试不同的package size，这样可以看到包的丢失情况。同时，可以使用nfsstat -o net 测试nfs使用udp传输时丢包的多少。因为统计不能清零，所以要先运行此命令记住该值，然后可以再次运行统计。如果，经过上面的统计丢包很多。那么可以看看网络传输包的大小。使用下面的命令：#tracepath node1/端口号#ifconfig eth0比较网卡的mtu和刚刚的pmtu，使用#ifconfig eth0 mtu 16436设置网卡的mtu和测试的一致。 当然如果risize和wsize比mtu的值大，那么的话，server端的包传到client端就要进行重组，这是要消耗client端的cpu资源。此外，包重组可能导致网络的不可信和丢包，任何的丢包都会是的rpc请求重新传输，rpc请求的重传有会导致超时，严重降低nfs的性能。可以通过查看/proc/sys/net/ipv4/ipfrag_high_thresh/proc/sys/net/ipv4/ipfrag_low_thresh了解系统可以处理的包的数目，如果网络包到达了ipfrag_high_thresh，那么系统就会开始丢包，直到包的数目到达ipfrag_low_thresh。3.nfs挂载的优化timeo：如果超时，客户端等待的时间，以十分之一秒计算retrans：超时尝试的次数。bg： 后台挂载，很有用hard： 如果server端没有响应，那么客户端一直尝试挂载wsize：写块大小rsize：读块大小intr： 可以中断不成功的挂载noatime：不更新文件的inode访问时间，可以提高速度async：异步读写4.nfsd的个数缺省的系统在启动时，有8个nfsd进程#ps -efl|grep nfsd通过查看/proc/net/rpc/nfsd文件的th行，第一个是nfsd的个数，后十个是线程是用的时间数，第二个到第四个值如果很大，那么就需要增加nfsd的个数。具体如下：#vi /etc/init.d/nfs找到RPCNFSDCOUNT,修改该值，一般和client端数目一致。#service nfs restart#mount -a5.nfsd的队列长度对于8个nfsd进程，系统的nfsd队列长度是64k大小，如果是多于8个，就要相应的增加相应的队列大小，具体的在/proc/sys/net/core/rwmem_default/proc/sys/net/core/wwmem_default/proc/sys/net/core/rmmem_max/proc/sys/net/core/wmme