中亚联邦私有云存储系统课件

中亚联邦私有云存储系统Fedstore中亚联邦私有云存储系统中亚联邦私有云存储系统目录发展历程企业网盘集群存储中亚联邦私有云存储系统私有云业务发展历程个人快盘企业网盘系统通用集群存储存储+网盘新模式2010201120122014数据服务平台中亚联邦私有云存储系统中亚联邦私有云存储系统目录发展历程企业网盘集群存储中亚联邦私有云存储系统用户需求在企业内部，根据实际情况，最为迫切解决以下几个实际需求：数据可以共享，共同编辑维护，提高效率需要使用的数据，能立即从客户端提取，快捷方便访问的数据需要配置管理，避免信息泄漏产生的数据要尽快集中到服务端存储，保障数据安全协同能力数据分发能力权限控制集中化中亚联邦私有云存储系统建设目标1通过云端存储文件、网盘客户端、安全审计、多倍镜像等安全机制，保障用户文件安全2通过自动向服务器同步、外链分享、群组应用、历史版本管理等功能，实现多终端办公、移动办公、文件分享与历史版本找回，保障用户办公的方便快捷3Fedstore中亚联邦云私有云作为新一代文件服务平台，将单位文件资源集中在云端，并为其他应用平台提供开放的API接口，实现一体化的云存储应用与服务中亚联邦私有云存储系统系统架构中亚联邦私有云存储系统特色功能：独特的网盘模式本地应用透明无同步高峰终端数据安全不占本地空间中亚联邦私有云存储系统特色功能：完善的权限控制

定制预留强制格式限制文件级权限控制文件内容合规控制

空间管理

可限制任意文件夹大小

多种权限控制

列表只读

编辑

管理

对象控制针对人员与部门

权限独立不限目录层级数量

下级文件夹不受上级权限范围限制中亚联邦私有云存储系统特色功能：完善的审计功能审计系统会详细记录包括用户登录、用户权限操作、文件操作等38项详细的用户行为审计功能可追述某项操作的人员、行为、操作的文件路径（仅限文件、文件夹操作）、时间、IP、终端类型、操作结果等多项信息相关管理人员可以在线筛选、查询用户的某项操作，支持按人员、行为、时间等关键信息的筛选搜索，便于未来的审计操作信息记录审计类别审计查询中亚联邦私有云存储系统特色功能：三员管理模式用户行为审计审计结果导出第三方审计系统对接安全员用户管理部门管理群组管理外链管理锁定管理系统管理员管理员行为审计安全员行为审计审计员AdminSafetyAudit中亚联邦私有云存储系统特色功能：移动办公在线预览省流量外链分享密钥有效期便签功能文档图片音频移动编辑wps移动版中亚联邦私有云存储系统特色功能：可定制化完整开放API体系，适用于客户的其他系统开发，方便其他产品与私有云整合。核心规则引擎与用户定制层分离，将定制版本对产品升级的影响最小化。核心引擎插件层客户端中亚联邦私有云存储系统目录发展历程企业网盘集群存储中亚联邦私有云存储系统Fedstore中亚联邦安全集群存储系统介绍BigDataStorage

Fedstore中亚联邦安全集群存储系统是一款面向大数据存储的产品，采用自主研发的分布式文件系统，面向应用提供通用的存储接口。优势：它具有高性能、高可靠性、高扩展性、高兼容性、易管理等优势；重点行业：主要针对大型企业、广电、金融、科研、勘探、气象等重点行业；应用领域：能够满足医学影像、媒体娱乐、基因测序、卫星图像、地震勘探、产品研发和企业IT（大规模主目录、归档、虚拟化、分析）等多种大数据业务应用的需要。中亚联邦私有云存储系统系负载均衡聚合带宽简化存储结构全局冗余备份真正的全局共享文件切片分布式储存系统设计目标单点管理流程自动化互备独立元数据服务器不停业务在线扩容自动故障检测和恢复统键关的术技中亚联邦私有云存储系统客户应用架构图…元数据服务器集群智能存储服务器集群千兆/万兆以太网/InfiniBand应用服务器集群……大于20000节点并发访问2000亿以上文件快速定位与检索单文件系统超过300PB存储容量与数百GB/S的聚合带宽中亚联邦私有云存储系统系统逻辑架构图节点通讯状态监控、性能监控、调度管理、维护升级X86存储服务器集群缓存管理数据均衡动态迁移权限控制网络重构安全 性能 接口 集群负载均衡系统、分布式文件系统协同管理流量统计用户端 管理端 自动报警容量限制应用层功能层核心层基础层存储层数据多副本字节锁故障容错快速恢复聚合带宽元数据管理并发控制索引管理POSIX模块接口WindowsLinuxMacWindows/linux中亚联邦私有云存储系统客户端工作流程……应用服务器元数据服务器存储服务器文件A1.Requestfor元数据信息2.Returnwith文件切片

元数据和数据通道分离数据条带化存储在不同的存储服务器上，实现并行读写负载均衡机制中亚联邦私有云存储系统系统优势高性能高可靠性高扩展性易管理高兼容性自身优势中亚联邦私有云存储系统高性能：高聚合带宽FedStore集群存储系统高速网络聚合带宽文件切片分布式存储……中亚联邦私有云存储系统高性能：聚合带宽测试环境网络环境：Infiniband网络硬件环境：20台存储服务器（12块SATA盘），20台客户端性能测试实施效果中亚联邦私有云存储系统高性能：近线性增长聚合带宽随着存储集群规模的扩大而线性增长；充分发挥硬件性能，如网卡性能利用率高于80%；扩展到数百GB/S以上的聚合性能；单目录下高达千万级的文件，单一文件系统文件数量支持超过两千亿；单个共享文件系统支持300PB级；提供高达数百GB/S的IO带宽和高效文件检索效率；中亚联邦私有云存储系统高可靠性：无单点故障为不同目录的数据设置不同的冗余度自动故障探测与恢复设备恢复速度是RAID的5倍，

3TBSATA盘恢复时间20分钟内元数据服务器每两台互备，无单点故障…存储服务器文件

ASegment1Segment2校验数据…恢复数据损坏的磁盘自动被剔除出系统中亚联邦私有云存储系统高可靠性：无单点故障元数据采用集群架构存储系统中的索引由各台元数据独立管理存储系统索引层中亚联邦私有云存储系统高可靠性：后端存储池高效数据保护应用服务器千兆/万兆以太网FedStore共享存储池存储服务器集群元数据服务器集群…………OK！磁盘损坏存储服务器宕机网络中断元数据服务器宕机中亚联邦私有云存储系统高扩展性：不停业务扩展容量通过手动数据恢复以及负载均衡功能，完全可实现在线更换存储系统中所有老旧设备、在线快速扩展系统容量、在线扩展IO带宽；中亚联邦私有云存储系统高扩展性：横向扩展容量与性能用户组C用户组D用户组A……用户组KFS共享存储池存储池整体聚合带宽用户组B…………应用增加，存储容量与性能需求提升应用再次增加完全在线扩展，按需增加存储容量和访问带宽，有效降低初期投入成本中亚联邦私有云存储系统高扩展性：支撑文件数量与检索效率我的存储系统也可以存放海量文件，我打开给你看看结果：半小时过去了，文件夹依然没有打开文件检索效率已成为存储系统的重要考量标准保证每台元数据每秒fopen2万文件大文件小文件存储海量文件数量横向扩展检索能力中亚联邦私有云存储系统分级存储机制高性能应用在线应用备份应用高速硬盘组企业硬盘组备份硬盘组分级存储机制，将内部存储介质按需分组，为不同性能需求的业务提供存储服务中亚联邦私有云存储系统易管理：单点配置管理单点实现所有管理配置功能内置各种自动处理流程，减少人为参与中亚联邦私有云存储系统系统优势对比优势与SAN解决方案对比与SAN方案测试结果对比与集群NAS方案对比中亚联邦私有云存储系统与集群NAS方案对比应用服务器

磁盘阵列

NAS控制器

潜在热点应用服务器存储服务器

集群NASFedstore中亚联邦安全元数据服务器

集群NAS的文件一致性靠NAS控制节点来保证，所以要不间断的同步NAS控制器，致使控制器存在数量限制Fedstore中亚联邦安全靠元数据来保持文件的一致性的，所以元数据的同步对存储系统的容量和整体性能无影响中亚联邦私有云存储系统与SAN解决方案对比高速IP网络存储服务器集群元数据服务器集群SAN解决方案Fedstore中亚联邦安全解决方案…VS高性能集群计算节点FC网络

高速IP网络MDC磁盘阵列I/O服务器高性能集群计算节点中亚联邦私有云存储系统与SAN方案测试结果对比方案SAN+SANFSFedstore中亚联邦安全硬件配置32个高端8GBFC控制器器；512块FC磁盘；267块SATA磁盘写性能1.87GB/s4.67GB/s读性能2.42GB/s4.24GB/s备注：测试环境超过500个计算节点中亚联邦私有云存储系统特色总结企业网盘网盘客户端权限控制行为审计三员管理在线预览版本控制外链分享锁定编辑移动办公可定制化......集群存储可提供数百GB/s的聚合带宽总空间可扩容至300PB以上文件数量总量可支持2000亿以上高速恢复低运维量线性扩容增长支持分级存储各应用冗余数量可调完全基于POSIX接口开发，无需二次开发