分布式系统介绍

1、分布式系统介绍分布式文件系统的作用：1、超大数据存储；2、数据高可用（冗余备份）； 3、读写高性能；4、支持高并发；5、海量数据计算。目前的数据量越来越大，单台服务器已经无法满足以上需求，因此分布式文 件系统就是解决此类问题。下面主要以轻量级分布式文件系统 FastDFS来介绍。FastDFS是一个开源的 轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。 特别适合以 中小文件（建议范围：4KB OQt0Scrver hoiriej# cd Ahomefuser ；ioot&Server userI pwdhome/uaei6、安装 FastDFSFastDFS目前的源码托管在sou

2、rceforge服务器上，可以从服务器上 下载源码，使用以下命令：get下载完毕会提示FastDFS_v5.07.tar.gz已经保存。这是压缩包格式，使用一下命令解压缩：tar -xzvf FastDFS_v5.07.tar.gz解压缩完毕，所力弋码会解压缩到 FastDFS目录下，切换当前目录到FastDFS,然后开始编译并安装：cd FastDFS ./make.sh ./make.sh install如果顺利的话，至此FastDFS的安装完成。然后需要开始FastDFS的 配置。安装完成后，一些可执行文件会部署到/usr/bin 目录下，一些配置文件会部署到/etc/fdfs/目录下。

3、7、配置FastDFS的配置文件不管是Tracker服务器，还是Storage服务器都按照上面16的流 程部署。配置Tracker服务，将当前目录切换到/etc/fdfs 目录下，修改配置 文件 tracker.conf.sample , 一般情况下拷贝 tracker.conf.sample , 重命名为tracker.conf 。然后编辑tracker.conf. 文件。拷贝命令 cp tracker.conf.sample tracker.conf可以在命令行环境下编辑，也可以在通过VNCft可视化环境下编辑。vim tracker.conf可以根据需要配置修改里面的一些配置，比如bas

4、e_path=/tracker ,目前我都采用的是默认配置。使用命令启动tracker服务：fdfs_trackerd /etc/fdfs/tracker.conf停市服务采用命令：killall fdfs_trackerd配置Storage服务，同样是将当前目录切换到/etc/fdfs 目录下，修改酉己置文件 storage.conf.sample , 拷贝重命名 storage.conf 。cp storage.conf.sample storage.conf修改配置文件vim storage.conf其中有些一些配置，要做修改：base_path=/home/yuqing/fastdfs

5、store_path0=/home/yuqing/fastdfsgroup_name=group1/tracker_server=8:22122tracker_server=9:22122有几台服务器配置几台tracker_server使用命令启动storage服务：fdfs_storaged /etc/fdfs/storage.conf停Bk务采用命令killall fdfs storaged配置Client服务，同样是将当前目录切换到/etc/fdfs 目录下，修改 配置文件 client.conf.sample ,拷贝重命名 clien

6、t.conf 。cp client.conf.sample client.conf修改配置文件：vim client.conf主要需要修改的配置是tracker_server 的配置，修改tracker_server配置为一一tracker_server=9:22122FastDFS的基础安装都基本完成。下面可以开始测试，下面可以使用如下命令测试，上传一个文件fdfs_upload_ fastdfs-nginx-module_v1.16.tar.gz使用命令，可以查看当前所有配置的服务器运行状态：fdfsmonitor client.conf注：vim是Linux下经

7、典的文本编辑工具，这是一个基于键盘控制的 命令行环境的文本编辑工具，对于windows下的开发人员可能初次接 触会不太习惯。查看这个vim常用命令帮助8、集成 NginxNginx是用来提供http服务，FastDFS集成Nginx可以为分布式存储数据提供http访问服务。前面也已经介绍过，一般在 Storage节点服 务上同时部署nginx服务。集成Nginx需要准备的项目有以下几个fastdfs-nginx-modulepcre-developensslNginx-1.9.7首先使用wget下载fastdfs-nginx-module ,下载地址和代码如下： wget下载完成后使用命令解压

8、缩tar -xzvf fastdfs-nginx-module_v1.16.tar.gz注意：有些需要调整文件一vim fastdfs-nginx-module/src/config修改 CORE_INCS=$CORE_INCS /usr/local/include/fastdfs/usr/local/include/fastcommon/ 为 CORE_INCS=$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/Nginx依赖以下两个软件yum -y install pcre-develyum -y install openssl

9、 openssl-devel从nginx官网下载Nginx,下载完成后，nginx需要编译并部署 wget解压缩nginxtar -xzvf nginx-1.9.7.tar.gz切换目录到nginx目录下cd nginx-1.9.7设置编译参数./configure -prefix=/usr/local/nginx-add-module=/etc/fdfs/fastdfs-nginx-module/src使用一下命令编译安装makemake install酉己置 fastdfs-nginx-module:复制 fastdfs-nginx-module源码中的配置文件 mod_fastdfs.c

10、onf 至U/etc/fdfscp /etc/fdfs/fastdfs-nginx-module/src/mod fastdfs.conf /etc/fdfs修改该配置文件group_name=group1tracker_server=9:22122store_path0=/home/yuqing/fastdfsbase_path=/home/yuqing/fastdfs复制 FastDFS 的配置文件 http.conf,mime.types 到 /etc/fdfs/p /root/FastDFS/conf/http.conf /etc/fdfsp /root/Fa

11、stDFS/conf/mime.types /etc/fdfs配置Nginx:修改 nginx 的配置文件 /usr/local/nginx/conf/nginx.conf修改内容如下location /M00 root /home/yuqing/fastdfs/data;ngx_fastdfs_module;建立软连接ln -s/home/yuqing/fastdfs/data /home/yuqing/fastdfs/data/M00以上全部完成后，使用以下命令启动/usr/local/nginx/sbin/nginx使用以下命令重启./nginx -s reloadusr/local/n

12、ginx/sbin/nginx -s stop;/usr/local/nginx/sbin/nginx9、负载均衡服务器搭建（略）负载均衡服务器可以搭建在tracker服务器，如果需要外网服务可以搭建在外网单独服务器。负责均衡服务器主要是用来平衡每个 storage节点的nginx的http服务。这里不是我们这次的重点，因此略过，如果大家感兴趣，按照下面的文档进行配置。负载均衡配置的资料：1、使用fastdfs client服务上传文件验证使用putty 远程登录8 服务器，帐户名test,密码 ugis000使用如下命令上传一个文件fdfs_upload_ test.jpg返回的文件ID和文件