云存储产品白皮书.docx

云存储产品白皮书目 录1产品简介32系统结构43存储系统规格64系统功能特性及解释75系统硬件说明96适用范围101 产品简介云集群存储系统是xx公司在吸取国内外前沿技术的基础上，针对不同行业用户的共性需求，完全自主开发的一款创新型统一存储产品，其目标是“存得住-支持海量数据存储；读得出具有较高的性能；用得好使用方便灵活”，帮助用户应对IT系统存储基础设施面临的挑战。云存储系统是集成了分布式文件系统软件YeeFS和符合行业标准的通用硬件而构建的集群式文件存储产品，可基于用户现有硬件设备进行改造，集高性能、高可用、高可扩展、简单管理等优点于一身，并且具有超高的性价比。云是为适用于数据密集型访问环境，提供海量存储设施，同时适用于对存储性能、安全性有特殊要求的用户，本系统灵活的扩展性可保证用户实现按需购买，保护用户投资。高性能（High Performance）访问前端采用高性能SSD盘作为读写缓存；存储系统支持InfiniBand、10Gb/s以太网等高速网络全连接。l 高可用性（High Availability）集群式架构，完全消除单点故障；利用元数据快照和数据备份技术，提供强大的数据保护。l 高扩展性（Scalability）支持在线扩展，在扩展实施的同时将保障前端应用系统服务的持续性；满足应用规模扩展对存储容量扩展、性能同时提升的要求。l 经济性（Economy）可使用标准的X86服务器进行组建，大大降低了整体TCO投入；支持原有设备的接入，最大限度的保护了用户的现有投资。l 易用性(Ease of use)配备有简单易用的Web图形化管理和监控界面，并能通过邮件、短信向管理员发送告警信息；实现安装升级、系统扩容、负载均衡、磁盘检查、数据恢复等多项自动化功能。2 系统结构云集群存储系统由三部分构成：l 元数据服务集群管理系统（MDSC：Meta Data Service Cluster）：存放整个文件系统的元数据，管理整个文件系统的名字空间。提供单一的系统映像，部署在一组通用X86 结构的PC服务器上。l 对象存储集群管理系统（OSSC：Object Storage Service System）：存储应用系统的文件数据，具有故障探测、自我修复功能，内置独特的文件存储与备份机制，每个文件被系统分割成多块后按一定规则存放在多个存储服务器中，并且每块文件在其他服务器中至少有1份备份（根据安全和性能需求可设定为多份），这些软件部署在一组通用X86 结构的PC服务器上。l 访问客户端（云 AP：Access Point）对上层提供标准POSIX语义的访问接口和统一的文件系统映像，响应上层应用对文件访问请求并通过内部私有协议高速访问后端集群存储上的文件数据，形成对上层统一的虚拟存储池。访问客户端软件可以安装在应用系统服务器上，对应用系统提供访问存储的文件支撑，也可以单独安装在一组服务器上并与NFS或iSCSI系统结合。为了更好的支持高性能计算或虚拟机应用场景下对高IOPS的要求，云提供高速缓存模块SOCache（Super IO Cache），利用高性能的SSD盘做访问客户端的二级缓存，大幅提高性能，同时在两个访问客户端之间使用InfiniBand实现高速缓存同步，即时备份和保护用户数据。SOCache部署在云 AP的服务器上，可根据用户实际需求进行选择。3 存储系统规格存储系统规格云 系统容量5PB文件数量20亿 单个文件大小64TB单目录下文件数量1000万 支持应用服务器数量1024支持磁盘类型SATA、SAS、SSD支持网络类型千兆以太网、万兆以太网、Infiniband网络 支持元数据服务器数量Active-Active支持2元数据集群 访问协议支持ISCSI、NFS、CIFS、HTTP、FTP单文件名长度255Bytes目录深度4096Bytes空洞文件支持4 系统功能特性及解释1）云存储系统可以输出多种接口 Linux Posix接口，用于Linux系统应用使用，文件级别接口，效率高。 多用于海量数据（非结构化数据）的存储和分析应用使用，聚合带宽可达到几十GB（如果1部电影有1GB，相当于1秒种可以拷贝几十部）。 ISCSI接口，用于支持桌面虚拟化，特点为高IOPS。可以提供数万IOPS能力，能支持数百个虚拟桌面同时使用，传统存储需要数百块磁盘的IOPS在云的产品里只需要12组加速单元即可，同样的能力更加节省成本、能耗、占地空间。 NFS、CIFS，windows、unix操作系统访问使用，windows、unix操作系统可以获得海量数据存储能力。一套云系统可提供多个NFS、CIFS网关，提供访问冗余保障、提升整体访问性能。2）基于标准X86服务器的硬件 云的硬件基础为标准X86服务器，不像传统存储一样受硬件厂家产品系列、型号限制。任意时间、品牌的X86服务器均可使用，用户不用担心未来系统的采购、扩容时硬件买不到、不需要付出较高的价格。 可以将现有磁盘阵列接入系统。对于磁盘阵列起到利旧作用，同时依靠数据副本技术提高其可靠性，同时可以对所有纳入云存储的空间进行统一管理。3）支持空洞文件支持空洞文件的特性，可以使虚拟化环境中，用户数据空间按需占用，不用提前分配，不会产品浪费。例如用户的虚拟机建立了一个100GB磁盘，如果不写文件则不会实际占用存储空间，当写入10GB文件后才会占用10GB空间。4）数据副本高可用存储系统采用数据副本技术，准许15台设备同时故障而不影响应用访问。例如有10台我们当存储设备，对于关键数据我们做了6份副本，如果有5台存储设备完全故障，对于该关键应用来说也将不受任何影响。5）在线扩容能力 存储支持在线扩展，当存储空间不够后，直接增加新的存储设备，就可以看到存储空间的增加，应用不用进行停机操作。而传统存储，由于提供的为卷设备，无法进行方便的扩展，扩展的时候需要将大量数据导出增加设备数据倒入的操作，在扩容的时候需要停止应用且扩容周期较长。 随扩容性能提升，云的架构决定其存储访问效率与存储设备数量有直接关系，随着存储设备的增多其访问效率也将近线性增加。传统磁盘阵列，架构所限，后端盘柜的扩展并不能影响机头的能力，无法实现存储性能的近线性增加。6）quota 磁盘配额可以针对每个用户进行使用空间限制，规定用户使用空间总大小。5 系统硬件说明 元数据服务器硬件和网络配置：项目配置CPU至强4核，主频大于2.0GHz内存最低16G，建议32G网络千兆网卡、万兆网卡、Infiniband硬盘SAS、SSD存储服务器硬件和网络配置：项目配置CPU至强4核，主频大于2.0GHz内存最低8G，建议16G网络千兆网卡、万兆网卡、Infiniband硬盘SAS、SATASOCache硬件和网络配置：项目配置CPU依赖于访问客户端的配置，本身无要求内存最低2G，建议4G网络千兆网卡、万兆网卡、InfinibandSSDIOPS = 10W，容量=64G6 适用范围l 高性能计算领域：CAD/CAE、石油、气象、生物计算、航空航天、制药等l 云计算基础设施：