云存储技术规范

云存放技术规范云存放技术规范 ——上海电信互联网部7月总则编写目标为了愈加好推进网盘项目招标和工程规范实施,特此编写此技术规范,对系统各个特征和性能要求提出详细要求,起到规范统一作用。建设背景和目标伴随互联网急速发展和非结构化数据爆炸性增加,公众对高效,快速,分布式存放提出了更高要求。中国电信云存放方案基于这个需求被提出来。适用范围中国电信云存放项目起草单位中国电信股份有限企业上海分企业互联网部解释权中国电信股份有限企业上海分企业互联网部术语解释参考文件设计要求及使用条件总体设计要求要求系统布署合理,提供完善网络硬盘服务,提供完善开发接口,提供及时有效售后服务。使用条件满足通常条件下使用条件。技术要求及规范平台架构按照解耦和,多模块观点,要求系统各个模块结构清楚,功效相对独立,便于维护和升级。架构图能够参考以下模型(图３－１):=3\*GB3③=3\*GB3③=1\*GB3①=2\*GB3②(图３－１)图详解:=1\*GB3①存放业务作为磁盘空间,为中国电信内部自有业务提供存放支撑;=2\*GB3②存放业务为公众用户(主要是中国电信客户)提供丰富个人存放产品和服务;=3\*GB3③云存放系统必须提供丰富业务接口,以支持开发丰富上层应用。组网结构按照分布式组网需求,并充分使用中国电信ＣＮ２骨干网络,要求全国云存放采取分点组网,快速连接。整个组网结构,请参考以下列图(图３－２):(图３－２)功效性要求基础存放服务云存放管理平台提供基础存放资源池,将多个物理设备上存放资源虚拟为统一存放资源池,供上层使用。存放管理设备管理:经过查询域内全部设备磁盘、CPU、内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息,运行状态,从而能够操控设备;同时及时了解运行有误设备,有必要能够采取适当方法确保其正常运行。资源管理:用户能够方便了解云存放系统各个节点服务情况,包含MDS主备、MDS\OSN容量和性能(读IOPS、写IOPS、读流量、写流量)等信息,让用户实时了解域内资源信息,运行状态,从而能够操控这些资源;同时及时了解资源异常,有必要能够采取适当方法确保其正常运行。策略管理云存放平台提供灵活存放策略,包含文件副本数量、异地存放、加密存放、压缩存放、同时或异步存放。能够对用户不一样目录设置不一样存放策略。多租户管理云存放平台要求能支持对多租户管理,能够为每个租户设定存放空间、存放带宽、存放策略、用户数。租户能够设置管理子租户和孙租户,形成目录树结构。统计报表云存放管理平台提供统计报表接口,能够完成用户存放容量、存放数据访问量等数据统计多线程支持云存放管理平台提供接口支持多线程及断点续传上传下载文件。跨数据中心布署云存放管理平台要求支持跨数据中心布署和管理,并支持跨数据中心用户访问调度、数据迁移、数据异地存放备份等功效。支持集中管理,云存放管理平台布署在全国中心机房,存放节点能够布署在全国各机房中,管理平台对分点机房存放设备能够统一管理调度。数据写多份云存放平台要求能够针对不一样应用或用户可靠性和性能需求,灵活设置文件存放副本数。在满足数据可靠性要求(要求支持同时坏任意两块磁盘数据不丢失)和读写性能要求前提下,尽可能提升存放空间利用效率,降低存放成本。分级安全服务传输安全云存放系统采取HTTPS(SecureHypertextTransferProtocol)安全超文本传输协议,是以安全为目标HTTP通道,简单讲是HTTP安全版。Https:URL表明它使用了HTTP,但HTTPS存在不一样于HTTP默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统提供了身份验证与加密通讯方法,当前广泛用于万维网上安全敏感通讯,比如交易支付方面。云存放提供业务接口及管理接口都基于Https,从而确保数据在传输层安全。存放安全云存放系统在数据存放时,依照条带策略,将用户数据依照侧录进行分条,依照条带策略决定每个分条大小,数据分条存放物理位置等。数据全部分条及布局信息是元数据一部分内容,由元数据节点统一管理。即使任何一个磁盘、一个云存放节点被盗或被入侵。都无法得知详细数据内容。入侵者无法将零碎数据恢复成完整数据内容。从而确保数据在存放过程中安全。确保数据在存放过程中不被窃取。支持用户指定目录和文件加密存放。用户和权限控制云存放系统对每份数据都提供丰富访问控制策略策略,对数据全部操作都会进行权限检验。访问控制策略包含:用户和权限。内容搜索支持按关键字搜索文件名和文件内容。离线下载关机后也能够雇佣服务器下载,支持HTTP多线程下载。维护管理设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基础存放服务应用接入接口云存放管理平台提供基于HTTP(SOAP/REST)应用接入接口,包含对用户全部资源操作接口、用户容器、用户数据操作、数据访问控制和权限接口。云存放管理平台提供资源分配、空间使用、空间回收等管理接口。资源统计接口云存放管理平台提供基于用户存放资源使用情况相关接口,满足计费要求。详细包含:用户使用空间统计、用户上传下载数据流量统计、用户上传下载次数统计等。扩展性要求考虑到后期扩容需求,对系统扩展性要求十分主要。主要表现在以下几个方面:能够实时对容量进行扩充和升级;支持磁盘热插拔,新增资源能够立刻被平台辨识,管理和分配;最低要求能够同时更换两块坏磁盘,更换上新磁盘自动进行数据填充修复,以保持数据完整性、一致性;新增磁盘空间要对磁盘总体负载要起到良好均衡作用;支持新增空间主动和被动数据备份作用。容量要求为了提供优异读取速度,稳定数据存放性能,对云存放系统整体容量和最小容量提出要求,详细以下:整体支持ＰＢ级存放能力,具备快速布署一个ＰＢ能力;最小磁盘支持1TB(7200rmp);整个云存放平台最大存放能力要求达成30PB以上;性能要求云存放平台吞吐能力要求能够伴随存放能力增加而线性增加;要求能够经过调整云存放平台硬件配置,灵活调整吞吐能力与存放能力比率,以适应业务改变对平台能力要求;要求支持客户端多线程并发上传下载文件,提供访问速度;要求支持大文件分片存放在多个存放节点,各存放节点能够完成对各分片并发读写能力,提升大文件访问速度;可靠性要求云存放一旦投入运作,是整年不停电无休系统,需要确保高度可靠性。详细要求以下几点:整年不下电,不停机,不闪断;出现故障及时进行告警(声音、灯闪),告警分等级,界面可见,具备详细说明和修复伎俩提醒;要求有raid保护机制,在用户数据写单份情况下,要求数据访问可靠性达成99.999%,即对单个存放节点要求:可访问时长/整年时长>=99.999％要求用户数据可靠性可灵活配置,支持设置用户数据副本数、是否异地存放,向用户提供不一样级别可靠性保护;要求任意两块磁盘或单个存放节点损坏,不会造成用户数据丢失;要求任意磁盘或存放节点故障,不影响云存放平台其它设备正常使用和用户访问。安全性要求硬件安全性硬件安全性是指硬件在安装、调试、维护、更新等步骤,对人员和环境是安全,详细表现在以下几点:产品电位接地,预防触电事故;尺寸、规格、形状合理,以免倾斜倒伏,碰撞;产品材质耐温,散热;明确警示触电、有毒害、或其它危险发生可能;系统安全性系统安全性主要表现在:强有力加密伎俩和管理策略,确保管理员账户安全性;采取设置防火墙等伎俩,预防来自公网破坏;对于大规模访问量,异常访问等情况进行监控;强大系统管理能力,提供简练,高效,互动良好GUI界面进行系统配置,这些配置项应该包含(但不局限于)以下一些属性:管理,监视,控制硬件资源;管理网络资源(IP分配和服务);管理每个结点(node)上运行软件;配置每个结点服务均衡;控制整体行为;设置异常或故障告警;释放结点或系统资源。数据安全性数据安全性,指用户存放数据不可被非法访问、复制、修改等,详细以下:提供加密接口,对用户数据进行加密;基于角色数据保护策略:角色级别职责备注安全管理员1系统初始安装,创建账户,分配/删除系统管理员账户系统新建时默认管理员,对”系统管理员”进行授权系统管理员2管理整个云存放系统:网段,存放群和节点;更换坏盘和硬件;对”租户管理员”进行授权租户管理员3在给定空间内进行策略配置,UserID分配等工作;对”子租户管理员”进行授权子租户管理员4在给定空间内创建用户,重构策略;无策略化数据管理,管理员经过可视化界面,进行策略配置,从而实现诸如:创建不一样策略等级(金牌,银牌,铜牌……);配置不一样用户对应不一样服务等级,或者同一用户不一样数据对象拥有不一样服务等级;同时副本和异步副本数目策略配置,副本压缩,选择存放地权限采取冗余伎俩和版本管理,实现数据恢复和灾难备份:副本种类定义属性备注同时副本数据对象一个完全拷贝每个数据对象都有最少一个同时副本同时副本数量,副本间距离,网络连接情况等都影响响应速度异步副本基于某种策略数据备份”尽最大努力”进行数据恢复系统自动进行异步副本更新,以保持数据一致磁盘利用率磁盘利用率指磁盘在提供数据冗余备份功效前提下,能提供实际裸存放空间占总空间百分比,该指标反应系统有效利用率,对投入产出比具备主要参考意义。参考当前主流技术指标,要求云存放提供≥65%磁盘利用率。AA:能够被系统管理空间B:系统自行耗用空间(数据恢复,系统文件等)B:系统自行耗用空间(数据恢复,系统文件等)要求:A/(A+B)≥65%要求支持重复数据删除技术,经过删除重复数据,深入提升存放空间利用效率。维护与升级保障 伴随未来硬件技术和服务质量提升,考虑到产品有较长生命周期,故在此单独提出对维护和升级保障方面要求:单个磁盘损坏或故障时需使用新磁盘替换,系统需在4小时之内恢复数据到新替换磁盘;单个存放节点损坏或故障,需在二十四小时内处理并恢复用户访问当存放空间使用率达成一定额度时,需对存放扩容,存放扩容工作从提出到完成上线,需在2个月之内完成。工程实施质量、安全,效率有保障;主动发觉运行中出现隐形问题和风险,及时提出整改方