清华大学-郑纬民-一种云存储方案

一种云存储方案,郑纬民清华大学计算机系,提纲,云存储概念云存储的特征和应用现状云存储现状云存储计算挑战我们的解决方案分布式文件系统Carrier分布式文件管理系统Corsair,背景,云存储专注于向用户提供以互联网为基础，几乎可以无限扩展的高可靠在线存储服务，很好的满足了新兴Web2.0应用的存储需求。用户无需考虑存储容量的大小、数据存储的位置、以及数据的可用性、可靠性和安全性等繁琐的技术细节，用户只需要按需付费就可以从云存储服务提供商那里获得近乎无限大的存储空间和可靠的服务质量，从而完全专注于自身应用与业务的发展。,云存储的基本特征和应用领域,5,云计算工业界发展现状,存储,数据库,虚拟化,并行计算,6,设计云存储系统面临的技术挑战,7,数据中心,数据中心,我们的解决方案,（1）存储：分布式文件系统Carrier（2）共享：虚拟文件管理系统Corsair,数据中心,数据中心,流媒体,搜索引擎,容灾业务,8,分布式文件系统Carrier,9,Carrier分布式文件系统,Carrier,Folder,Cloud,Storage,Apps,Corsair,Entertainment,PersonalApps,10,Carrier功能,将地理位置分布且异构的存储节点虚拟化为一个集中的存储系统，存储节点可以热插拔。文件被组织成一个传统的目录树，文件被按32M大小进行分块存储。系统自动保证负载均衡、故障恢复、副本恢复和垃圾回收。提供RPC、API和Shell访问接口。对于用户的读写操作实现自动负载均衡。,11,Carrier架构,松耦合的体系结构多个元数据服务器MetadataServer多个块数据服务器DataServer多个Supervisor负责系统监控与故障恢复、副本管理、垃圾回收等事务特色：支持多样化的文件负载（大文件、小文件都支持）、高可扩展和容错接口:RPC、Shell、API,12,与相关系统比较,GoogleFileSystem，S3不开源Hadoop为MapReduce计算量身定做，适合并行处理，不适合数据共享不适合处理多样化负载，譬如大量的小文件功能和性能不够完善：访问权限控制读写锁小文件操作异常并发操作自主拥有性能分析、比较和优化,13,虚拟文件管理系统Corsair,Corsair功能,统一视图,集成本地资源和网络资源的统一文件管理视图,数据传输,并行文件传输、断点续传、三方传输、流量控制,资源检索,提供对Corsair存储空间的资源搜索功能,为个人用户提供私人存储服务,为社区用户提供共享存储服务,为全部用户提供公共存储服务,Corsair系统架构,分布式异构存储资源层,适配层,FTP接口,Carrier接口,虚拟目录服务,书签管理服务,搜索服务,用户管理服务,数据传输服务,社区管理服务,服务层,应用层,GUI,Shell,API,WebPortal,16,Corsair的特性,快速共享简单的申请操作和审批就可以拥有100GB的社区空间移动U盘简单的申请操作就可以拥有2GB的个人空间“硬盘扩容”每个用户都可以拥有40TB的网络共享资源用户响应速度和数据传输速度快（清华校内5MBps）简单易用开源网络硬盘挂载FTP服务器挂载,Corsair的三个版本,单机版（）服务于中小企业校园版（）服务于高校师生网格版（）服务于网格用户Corsair支持操作系统WindowsLinuxMac版本开发中,19,Corsair的传输性能,Corsair在清华校内的实际部署及使用情况,部署