PFS服务使用问题FAQ

1、目录1. PFS环境部署人员FAQ21.1 PFS应用场景的标准配置21.2 PFS中大文件卷和小文件卷的区分21.3 PFS服务集群中某几个节点正常，其他节点挂掉了；zookeeper服务正常；但是为什么连接总是失败？31.4 之前PFS服务启动都是正常的，可是现在PFS无法重启了31.5 gluster之前启动是正常，现在启动gluster时却失败了41.6 怎么修改系统环境变量？41.7 挂载点（/PFSData/NVFiles3、/PFSData/SFiles13）异常，如何解决？51.8集群中的某个gluster节点出现异常51.9 机器多网卡，但是其中的某个或几个ip对外部来说是不

2、能访问的，当外部连接PFS时，连接负载均衡时返回的ip可能是那么无法访问的ip，怎么解决？51.10以前存储到PFS上的文件，现在总是提示该文件不存在51.11 /PFSData/NVFiles13、/PFSData/SFiles13挂载点出现异常了，挂载失败62. 开发人员FAQ72.1客户端是如何连接PFS集群中的一个节点的？72.2存储文件的过程71. PFS环境部署人员FAQ1.1 PFS应用场景的标准配置存储应用场景：普通文件或视频文件（PFS服务可处理视频文件，能获取一个视频的视频帧等信息）存储、海量小文件的存储。机器操作系统：linux CentOS6.5 64位机器配置：机箱：

3、2U + SAN 或 3U 16盘位CPU： 双CPU 8核磁盘：SATA内存： 16GB内部网络：4端口 1GbE外部网络：4端口 1GbE硬盘容量配置：视实际存储容量情况配置（请估算大文件需使用多少存储空间、估算小文件需使用多少存储空间）性能：能快速读写海量小文件； 例如：由3台机器（每台机器网络：外部网络：2个千兆网，内部网络：2个千兆网）组成一个PFS集群，2台客户端机器（网络：千兆网）不断写入300KB大小的小文件，写入速度约：600张/秒；1.2 PFS中大文件卷和小文件卷的区分大文件卷和小文件卷本身都是一个存储空间。PFS服务用大文件卷来存储普通文件和视频文件（前端通过调用PFS

4、 SDK的普通文件操作接口实现普通文件的存储、通过调用PFS SDK的视频文件操作接口实现视频文件的存储）。PFS服务用小文件卷来存储小文件（适合海量小文件的存储，能够提高海量小文件的读写性能。小文件：文件大小在1MB以内，前端通过调用PFS SDK的小文件接口实现小文件的存储）。大文件卷和小文件卷的容量大小应视应用场景的存储情况来配置，比如，应用场景下对小文件的存储需求不大，那么可以配置小容量的小文件卷。注：大文件卷和小文件卷不建议共用一个磁盘或分区（如果共用，大文件卷和小文件卷的容量会相互影响），最好在不同磁盘或不同分区上。 1.3 PFS服务集群中某几个节点正常，其他节点挂掉了；zook

5、eeper服务正常；但是为什么连接总是失败？答：请按下面方法排查：a. 你所述环境是否是“你的程序在正常连接PFS集群服务的某个节点之后， 再将该PFS节点停掉，然后你的程序开始出现连接PFS失败的错误了”？ 如果是，那么这与PFS服务自身机制有关系：前端与某个PFS服务节点建立连接后，那么前端始终与该节点连接，即使该节点挂掉后，连接也不会重定向到集群中其他正常的节点；b. 请先查看PFS服务和zookeeper服务的连接数是不是过多(查看某服务连接数命令：netstat -nat | grep -i 服务端口号 | wc -l)1.4 之前PFS服务启动都是正常的，可是现在PFS无法重启了遇

6、到这个问题，请检查系统环境变量中是否包含PFS服务所依赖的路径， 执行”env”命令查看环境变量，见下图：看LD_LIBRARY_PATH中是否有”/root/lib/”、”/root/sbin/PFS”看LD_LIBRARY_PATH中是否有”/usr/local/sbin”、”/usr/local/bin”、”/root/bin”如果缺少某一项，会导致PFS启动有问题，请修改（修改方法参考1.6问题）。还有一点，PFS服务依赖的pub库版本可能会与其他版本冲突，用”ldd /root/sbin/PFS/ServePowerFS”查看其中的Pub库（即” libnpcrt.so”、” lib

7、nplog.so”、” libtcps.so”）的依赖路径是否是”/root/sbin/PFS”，见下图： 如果Pub库的依赖路径不是”/root/sbin/PFS”，那么也可能导致PFS服务启动失败；1.5 gluster之前启动是正常，现在启动gluster时却失败了用”whereis gluster”命令查看gluster的位置，见下图：图中所示gluster的位置在”/usr/local/sbin”，然后查看环境变量”PATH”中是否有” /usr/local/sbin” ：如果没有” /usr/local/sbin”，那么在环境变量PATH中添加 ” /usr/local/sbin”

8、 并使之生效 即可；（环境变量的修改方法参考1.6问题）1.6 怎么修改系统环境变量？编辑”/etc/profile”文件，在”export PATH”或”export LD_LIBRARY_PATH”开头的行中相应添加路径；修改完成，保存文件。然后执行”source /etc/profile”命令使修改生效（执行后，可用”env”命令查看修改后的结果）注：执行完”source /etc/profile”后，在之前已经打开的其他终端窗口，环境变量的修改不会生效了，需要打开新的终端；1.7 挂载点（/PFSData/NVFiles3、/PFSData/SFiles13）异常，如何解决？先umou

9、nt异常的挂载点，再重新挂载(即再次执行：/home/PFS_Release/glusterInstallSetting/etc下的mount_big.sh和mount_small.sh，执行方法见安装手册。)；这个方法一般能解决问题。1.8集群中的某个gluster节点出现异常先尝试重启该机器上的gluster服务（service glusterd restart）看是否能解决；如果还有问题，再使用下面方法，步骤如下：（1） 先把异常节点上的数据拷贝出来（2） 在一个正常节点上删除异常gluster节点步骤：首先，删除所有卷上与异常节点相关的brick（gluster volume remo

10、ve-brick 卷名 节点名:存储路径）； 然后，删除该异常节点（gluster peer detach 机器ip或机器名 ）。（3） 再重新添加之前有异常的节点（gluster peer probe 机器ip或机器名）1.9 机器多网卡，但是其中的某个或几个ip对外部来说是不能访问的，当外部连接PFS时，连接负载均衡时返回的ip可能是那么无法访问的ip，怎么解决？第一种方法：修改/root/etc/monitor.conf文件，在”PFS=”这行后面添加” -ip 一个ip地址”，然后重启PFS服务即可。 这个方法只能指定一个ip地址。第二种方法：如果那个无法访问的ip是没用的，那么可以通

11、过删除这个ip解决问题（删除ip的命令： ip addr del ip地址 dev 设备名 ），删除ip后重启PFS服务即可。1.10以前存储到PFS上的文件，现在总是提示该文件不存在请检查挂载点是否正常：（1）用”df -h”命令查看所有的挂载点是否都存在，如下图：（2）到挂载点目录下，如”cd /PFSData/NVFiles1”查看文件是否正常 如果查看挂载点下的文件时出现异常，请卸载该挂载点（umount 挂载点），再重新挂载（mount t glusterfs 机器名:卷名 挂载点）。1.11 /PFSData/NVFiles13、/PFSData/SFiles13挂载点出现异常了，

12、挂载失败可能是之前挂载点因其挂载的卷突然停止导致异常，解决方法: umount /PFSData/NVFiles1 /PFSData/NVFiles2 /PFSData/NVFiles3umount /PFSData/SFiles1 /PFSData/SFiles2 /PFSData/SFiles3然后再重新mount上就行了(即再次执行：/home/PFS_Release/glusterInstallSetting/etc下的mount_big.sh和mount_small.sh，执行方法见安装手册。)2. 开发人员FAQ2.1客户端是如何连接PFS集群中的一个节点的？上图是客户端连接PFS服务的流程，也就是说客户端会连接到PFS集群中的某个节点，这跟PFS_CreateService()中的ip和端口是无关的；需要说明的是：从客户端连接到PFS集群中的某一个节点后，之后该客户端用此连接发出的所有文件操作请求都是由这一个PFS服务节点处理的，并不会切换到其他服务上，即使这个PFS服务节点上的机器负载已经非常高了；2.2存储文件的