基于linux的分布式文件系统

1,14,基于linux的分布式文件系统,目录,content,Page,04,07,14,22,26,2,1,选题的意义,14,基于linux的分布式文件系统 答辩人：徐其民,为什么要用到分布式文件存储？,随着互联网快速发展,电商网站,微博,动态网站,交易数据,图片资源,存储瓶颈,多台服务器存储又无法保证数据的一致性,可靠性，一直性,大数据时代的挑战,集群服务中数据存储面临的问题,数据分开存放在每个服务器中不能保证数据的一致性,数据存放在SAN中又会造成数据总出口I/O压力过大。,图片摘自华为分布式研究,什么是分布式存储,分布式存储系统，就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。,分布式存储,节点间通信,数据存储,数据空间平衡,文件系统支持,容错,挑战,8,1,2,选题的意义,架构图,系统总体设计架构图,系统分布式存储,整合的架构图,HAproxy+keepaliveDNS、ntp、mogilefs+mogstored,HAproxy+keepalivemogilefs+mogstored,ip：172.16.20.21,ip：172.16.20.22,ip：172.16.20.31,图片服务器,图片服务器,CSS服务器,CSS服务器,NGINX,php-fpm,NGINX,NGINX,ip：172.16.20.32,主,从,由于实验条件限制，整合服务以减少主机台数。,只读,mysql-proxy,读写,172.16.20.1,HA双主模型,mogilefs+mogstored,HA双主模型,vip1:172.16.20.111vip2:172.16.20.222,vip1,vip2,vip1,vip2,HA1,HA2,HA1,HA2,keepalive借助vrrp协议的工作模型,13,1,2,3,选题的意义,架构图,代理功能的实现,HA实现动静分离,静态页面,图片资源,动态php代码,15,1,2,3,4,选题的意义,架构图,代理功能的实现,MariaDB的读写分离,MariaDB的主从复制,随着数据量不断的增加，由单台Mysql作为独立的数据库有的时候是不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。,为什么要复制,主从复制优点,稳定性。如果主服务器发生故障，我 们可以使用从服务器来提供服务。 效率高。在主从服务器上分开处理用户的请求。 数据安全性强。将主服务器上的数据复制到从服务器上，保护数据免受意外的损失。,MariaDB主从复制工作模型,复制原理,mysql会把操作记录到二进制日志，从服务器不停的向主服务器3306端口请求二进制日志，然后从服务器会把二进制保存为中继日志，一条一条写进自己文件中（异步过程）,SQL thread写,I/O thread读,18,14,基于LINUX的分布式文件系统 答辩人：徐其民,常用方法,数据库读写分离方法,依赖前端程序员开发,耦合度过高,Mysql-proxy,Amoeba,依赖lur脚本实现读写分离,Amoeba（JAVA),缺点：,mysql-proxy实现读写分离模型,配置proxy管理的后端mysql# Options for mysql-proxy ADMIN_USER=adminADMIN_PASSWORD=adminADMIN_ADDRESS=172.16.20.32:4042ADMIN_LUA_SCRIPT=/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.luaPROXY_ADDRESS=172.16.20.32:4043PROXY_USER=mysql-proxyPROXY_OPTIONS=-daemon -log-level=info -log-use-syslog -plugins=proxy -plugins=admin -proxy-backend-addresses=172.16.20.32:3306 -proxy-read-only-backend-addresses=172.16.20.31:3306 -proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua,1,2,3,4,5,选题的意义,架构图,前端代理及其高可用,MariaDB的读写分离,mogilefs实现分布式存储,21,14,基于LINUX的分布式文件系统 答辩人：徐其民,解决了企业廉价高性能存储数据的问题,MogileFS特性及应用,无单点故障,文件自动复制,传输中立,MogileFS Architecture,MogileFS Architecture,5,6,1,2,3,4,选题的意义,架构图,前端代理及其高可用,MariaDB的读写分离,mogilefs实现分布式存储,总结,zabbix对各节点监控情况,14,基于JSP的杭州天月在线音响销售系统设计与开发 答辩人：xxx,系统的不足,为能完成数据库切片来面对更大压力,没有找到mogilefs的web接口工具来批量导入图片资源,没有真实的环境来测试系统的抗压力,27,14,基于JSP的杭州天月在线音响销售系统设计与开发 答辩人：xxx,总结,操作简便,扩展性强,实现了高可用,对错误的处理,系统数据库的高性能,更加稳定,故障重启恢复,更智能化,更高访问量,更便捷的维护,本论文所设计的在集群中引用分布式存储，利用企业中比较常用的开源软件搭建，实现了系统中每个环节的冗余，满足了企业中要求的故障零容忍的情况