智慧广电-云存储平台解决方案

1、 智慧广电:云存储平台解决方案 1 概述1.1建设背景云存储平台为本次云媒资系统总体解决方案的一部分。主要针对海量的办公文件、关键数据、知识库文件、音视频文件、共享资料及其它各类数据的集中存储与共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。为云媒资系统数据存储提供便捷、统一管理和高效应用的基础平台支撑。1.2设计范围本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。1.3总体设计原则针对本次工程的实际情况,充分考虑云媒资系统建设的建设发展需求，以实现系统统一管理、高效应用、

2、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。2 云存储系统平台设计2.1项目需求2.1.1容量需求针对本次建设实际数据容量，一期拟建设48TB裸容量数据存储平台，主要存储办公文档、音视频文件、共享资料及其它各种文件类型数据。2.1.2吞吐量需求为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可通过规模增加实现平滑增长。2.1.3扩展性需求未来根据业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的状态下平滑扩展，不会导致架构发生根本性变化，为不断产生和变化的业务需求提供持

3、续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。2.1.4低成本需求要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续扩展。2.1.5可维护性需求要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的WEB配置管理监控平台，实现智能化管理。2.1.6接口需求要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。2.2设计思想采用业界成熟先进的云平台架构思想，采用软件实现对大量普通商用服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，将系统控制

4、流与数据流分离，同时使得数据在逻辑上集中、物理上分散，每台服务器同时对外提供服务，以达到多并发高吞吐量的性能要求，采用自注册机制、故障自动屏蔽、自动冗余重建技术实现系统自我维护和平滑扩展，系统服务724小时不间断。系统采用先进的编解码容错技术，可根据数据可靠性要求设置适当的冗余编解码策略进行系统部署，可以以极小的磁盘和硬件冗余度，实现高度的可靠性数据容错。2.3云存储系统方案采用业界已经成熟的云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存储系统，作为本次云媒资系统云数据中心存储平台，其应用部署示意图如下图所示。云存储资源管理系统部署示意图2.4系统优势和特点云存储系统是一套软件

5、与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。该系统相比传统存储系统有如下技术优势：2.4.1高度可靠存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的724小时不间断服务。2.4.2优异

6、性能采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。2.4.3无限容量系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为102410241024 PB (1G个PB容量)。2.4.4在线伸缩云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的

7、数据将会重新备份到其他节点上。2.4.5通用易用云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。2.4.6智能管理提供基于WEB的管理控制平台，所有的管理工作均由管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的

8、日常维护和安全管理需求。3 系统架构在本次云媒资系统建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。下面具体说明云存储资源管理系统的基本组成和主要功能。4系统安全性设计4.1安全保障体系框架NSA提出的信息安全保障技术框架（IATF），如下图所示。IATF依据“深度防护战略”理论，要求从整体、过程的角度看待信息安全问题，强调人、技术、操作这三个核心原则，关注四个层次的安全保障：保护网络和基础设施、保护边界、保护计算环境、支撑基础设施。图表基于深度防护战略的IATF模型IAT

9、F模型从深度防护战略出发，强调人、技术和操作三个要素：人：人是信息的主体，是信息系统的拥有者、管理者和使用者，是信息保障体系的核心，是第一位的要素，同时也是最脆弱的。正是基于这样的认识，安全组织和安全管理在安全保障体系中是第一位的，要建设信息安全保障体系，首先必须建立安全组织和安全管理，包括组织管理、技术管理和操作管理等多个方面。技术：技术是实现信息安全保障的重要手段，信息安全保障体系所应具备的各项安全服务就是通过技术机制来实现的。当然IATF所指的技术是防护、检测、响应、恢复并重的、动态的技术体系。操作：也可称之“运行”，它体现了安全保障体系的主动防御，如果说技术的构成是被动的，那操作和流程

10、就是将各方面技术紧密结合在一起的主动过程，运行保障至少包括安全评估、入侵检测、安全审计、安全监控、响应恢复等内容。信息安全保障体系的实现就是通过建立安全组织、安全管理和防护技术体系，协调组织、技术、运作三者之间的关系，明确技术实施和安全操作中技术人员的安全职责，从网络和基础设施、区域边界、计算环境、支撑基础设施等多层次保护，从而达到对安全风险的及时发现和有效控制，提高安全问题发生时的反应速度和恢复能力，增强网络与信息的整体安全保障能力。对于云计算安全参考模型，云安全联盟CSA（Cloud Security Alliance）提出了基于3种基本云服务的层次性及其依赖关系的安全参考模型,并实现了从

11、云服务模型到安全控制模型的映射。该模型显示PaaS位于IaaS之上,SaaS位于PaaS之上。该模型的重要特点是供应商所在的等级越低,云服务用户所要承担的安全能力和管理职责就越多。根据资源或服务的管理权、所有权和资源物理位置的不同,CSA也给出了不同的云部署模型的可能实现方式及其不同部署模式下共享云服务的消费者之间的信任关系,如下图所示。图表云部署模型的实现此图显示,对于私有云和社区云,有多种实现方式,可以和公共云一样,由第三方拥有和管理并提供场外服务（off-premises）,所不同的是共享云服务的消费者群体之间具有信任关系,局限于组织内部和可信任的群体之间。对于每一种云部署实现方式,都可

12、以提供3种基本的云服务。云部署实现的不同方式和基本云服务的组合构成不同的云服务消费模式。结合云服务安全参考模型,可以确定不同的云服务消费模式下供应商和用户的安全控制范围和责任,用户评估和比较不同云服务消费模式的风险及现有安全控制与要求的安全控制之间的差距,做出合理的决策。5关键技术5.1负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在主管理服务器上，文件则划分为多个节点存储在不同的节点服务器上。主卷管理服务器维护了一个统一的命名空间，同时掌握整个系统内节点服务器的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据节点服务器的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动均衡负载负担。另外，当某有一个节点服务器因为机器故障或者其他原因造成离线时，主卷管理服务器会将此机器自动屏蔽掉，不再将此节点服务器提供给客户端使用，同时存储在此节点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上，自动屏蔽节点服务器故障对系统的影响。5.2高速并发访问技术客户端在访问云存储时，首先访问主卷管理服务器节点，获取将要与之进行交互的