云存储解决方案

云存储解决方案篇一：私有云存储平台方案私有云存储平台方案 目录 一、 二、 三、 前言 . 2 VPlex 产品及功能概述 . 3 方案设计原则 . 6 、数据的安全性和系统的高可靠性 . 6 、系统的高性能 .7 、系统的可扩展性/可扩充性 .7 、系统的多平台支撑能力 . 7 、灵活性和系统管理的简单性 . 7 、存储的虚拟化 .8 四、 存储方案设计 . 9 1：存储系统 . 9 2：存储虚拟化系统 . 9 3：系统参考拓扑 . 10 4：建议配置 . 11 5:VmwareEMC 优势 超过 70 个集成点 .11 6：方案优势 . 15 五、 相关产品介绍 . 15 EMC Vplex 系列 .15 一、 前言 信息是各行业的命脉, 近十年来信息存储基础设施的建设在各行业取得长足的进步。从内置存储转向外置RAID 存储，从多台服务器共享一台外置 RAID 阵列，再到更多台服务器通过 SAN 共享更大型存储服务器。存储服务器容量不断扩大的同时，其功能也不断增强，从提供硬件级RAID 保护到独立于服务器的跨磁盘阵列的数据镜像，存储服务器逐渐从服务器外设的角色脱离出来，成为单独的“存储层” ，为数据中心的服务器提供统一的数据存储，保护和共享服务。 多数据中心建设方案可以预防单数据中心的风险，但面对多数据中心建设的巨额投资，如何同时利用多数据中心就成为 IT 决策者的首要问题。同时利用多数据中心就必需实现生产数据跨中心的传输和共享，总所周知，服务器性能的瓶颈主要在 IO 部分，数据在不同中心之间的传输和共享会造成 IO 延时，进而影响数据中心的总体性能。 同时，各家厂商不断推出新技术 ，新产品，容量不断扩展，性能不断提高，功能越来越丰富，但由于不同存储厂商的技术实现不尽相同，用户需要采用不同的管理界面来使用不同厂商的存储资源。这样，也给用户带来不小的问题，首先是无法采用统一的界面来让服务器使用不同厂商的存储服务器，数据在不同厂商存储服务器之间的迁移也会造成业务中断。 客户要求不断提高服务级别，同时希望减少资金成本和运营成本。为满足这些不断变化的要求，数据中心在经历持续的技术转变。近年来，服务器和存储资源整合已被证明是降低成本、提高利用率和提供更大灵活性的有效手段。难题在于如何做到既利用新技术，同时又不损害为最终用户提供的服务级别。 人们往往用“云”这一类比来表述流畅、动态的 IT 基础架构这一构想。云的一个定义是：将向用户提供的 IT 服务与物理基础架构分离开来。云的一种具体实现是：服务器虚拟化，并且环境中所有服务器上的服务都得到优化，这些服务连接到适当的存储，可从 IT 基础架构中的任何位置访问。此外， “云”这一类比描述了这样一种环境：服务可根据需求变化而无缝地移置。图 1 显示了一个私有云基础 架构，其中用户与由 IT 提供的服务是松耦合的，而且服务、计算和存储之间的关系是动态、灵活的。图 1. IT 服务由任何服务器提供，连接到任何存储，可从任何位置进行访问 现在有了可构建像云一样的 IT 基础架构的技术。在企业存储领域处于业界领先地位的 EMC 发布了 EMC? VPLEX?，它是一种提供本地和分布式存储联合的解决方案，允许完整的 LUN 读、写访问，以及在数据中心内和数据中心之间透明地移动数据。此外，VPLEX 的存储联合允许无缝集成业界成熟的存储平台，同时关键应用程序可继续为用户提供不折不扣的服务级别。 二、 VPlex 产品及功能概述 EMCVPlex 解决方案不仅仅是存储虚拟化解决方案，更可为用户提供私有云建设打下最坚实的后端资源平台。VPlex 主要用于在行业数据中心内、跨数据中心和在数据中心之间进行信息虚拟化、访问、共享和迁移。它是世界上第一个同时提供本地联合和分布式联合的平台。 EMC VPLEX 引入了一种新的体系结构，它吸收了 EMC 在 20 多年设计、实 施和完善企业级智能缓存和分布式数据保护解决方案实践中取得的丰富经验。以可扩展、高可用的处理器引擎为基础，EMC VPLEX 设计为可从小型配置无缝扩展到大型配置。VPLEX 驻留在服务器和异构存储资产之间，使用独特的群集体系结构，该体系结构允许多个数据中心的服务器具有对共享块存储设备的读/写访问权限。新体系结构的独特特征包括：?横向扩展群集硬件，允许您从小配置开始并以可预知的服务级别逐步扩展 ?高级数据缓存，它利用大规模SDRAM 缓存提高性能并减少 I/O 延迟和阵列争用 ?分布式缓存吻合性，可跨整个群集自动执行 I/O 的共享、平衡和故障切换 ?一个统一视图显示跨 VPLEX 群集的一个或多个 LUN（这些群集可以是在同一数据中心内相距几英尺，也可以是跨同步距离） ，从而实现新的高可用性和工作负载移置模式。 由于 VPLEX 消除了物理障碍，使用户能够在不同地理位置访问单个数据拷贝，所以它还帮助实现了地理位置延伸的虚拟和物理主机群集，这样就允许在多个站点之间透明地共享负载，并可以灵活地在站点之间移置工作负载以应对计划中的事件。另外，如果在其中一个数据中心发生了可能导致运营中断的计划外事件，则停下的服务可以在幸存下来的站点上重启，而这只需要最小的工作量，并最大限度地减少了恢复时间。 VPLEX 彻底改变了管理和提供 IT 服务的方式特别是与服务器虚拟化一起部署时。通过为操作和管理 IT 启用新的计算模型，可对资源进行联合，亦即让它们加入共用池并跨整个堆栈进行协作，另外还可以跨地理位置和服务提供商动态移动应用程序和数据。VPLEX 系列真正改变了 IT 工作方式从一系列技术转变为一组 IT 服务。VPLEX 系列包括三个产品：VPLEX Local 和 VPLEX Metro,VPlex Geo。 ?VPLEX Local 支持本地联合,可跨异构阵列提供简化的管理和无中断数据移动。 ? VPLEX Metro 提供分布式联合能力，扩展了同步距离内两个位置间的访问能力。VPLEX Metro 利用 AccessAnywhere 支持跨远距离共享、访问和移置单个数据拷贝。提供同步距离内两个 VPLEX 群集之间的数据访问和移动。 无论是在一个站点内还是两个站点之间，VPLEX 系列都能提高数据和存储恢复能力。VPLEX 使您能在多个地点内及跨多个地点对卷进行镜像，从而在发生灾 难时提供连续应用程序可用性。此项功能可在利用现有存储资源的同时，增加对关键应用程序的保护能力并提高其可用性，而且无需主机资源。 运行 EMC GeoSynchrony? 操作系统的 EMC? VPLEX? 系列产品为金融业信息架构架构整合和云计算时代提供了非常广泛的新特性和功能。下面将对三种应用场景进行具体分析: ?跨数据中心移动虚拟化的应用程序 篇二：云计算关键技术研究-云存储解决方案 基于 Hadoop 的云存储 解决方案 昆明能讯科技有限责任公司 XX 年 11 月 目录1. 概述 . 4 2. 技术背景 . 4 国内外研究现状 . 5 云存储系统概述 . 8 项目目标 . 8 系统技术方案 .9 系统总体架构 . 9 系统部署架构 . 10 系统功能模块 . 11 基础存储服务 . 11 存储空间管理 . 11 文件管理 . 12 策略管理 . 12 用户管理 . 12 内容检索 . 12 系统功能说明 . 12 系统运行环境 . 14 硬件设备 . 14 软件环境 . 15 系统支撑性技术方案 . 16 易扩展性 . 16 高性能 . 16 可靠性 . 17 安全性设计 . 17 磁盘利用率 . 18 3. 系统实现技术说明 .20 4. HBASE 实现 . 22 HADOOP 分布式系统 .23 HADOOP 集群部署 .24 构建在云端的 HADOOP .27 文件系统接口开发 . 28 应用场景 . 29 远程及协作办公数据管理 .29 集中存储 . 29 统一管理 . 29 安全可靠 . 29 丰富的客户端支持 .30 个人数据保护 . 30 桌面虚拟化数据存储整合 .30 业务及用户大附件数据存储.31 1. 概述技术背景 近几年，随着云计算的不断发展及应用推广，人们对云计算已不再陌生，而云存储是云计算大规模推广的第一步，它承接了网络存储的基础，融合了新的服务理念，因此不论是从技术上，还是从用户使用习惯上，云存储都比较贴近人们生活，成为了云计算应用的前驱，也逐步成为云计算研究和应用的入手点。 另外，随着企业信息化快速推进，越来越多的企业面临企业大容量数据如何存储及如何有效的安全、高速地传输利用等问题，显然传统的数据库存储已经无法满足企业的需求，加之云计算的不断产业化，众多的企业开始把视线转移到了更为便捷的云存储-网盘之上。随着云存储市场竞争的日益激烈和存储技术的不断发展，传统的网盘技术已显力不从心，再加之受到传输速度慢、冗灾备份及恢复能力低、安全性差、营运成本高等瓶颈的困扰，最新应用的云计算储存技术为网盘行业带来了新的革命。 云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。 云存储就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。 云存储是构建在高速分布式存储网络上的数据中心，它将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，形成一个安全的数据存储和访问的系统，适用于各大中小型企业与个人用户的数据资料存储、备份、归档等一系列需求。云存储最大优势在于将单一的存储产品转换为数据存储与服务，在这个 技术下，网盘行业可能像金融行业银行一样，在单一的存储服务基础衍生出更多增值的服务，只有这种改变才能使云存储迎来蓬勃发展的春天。对于企业而言，利用网盘解决了存储的需求，企业信息才算有了立足之处，这是信息沟通的前提条件。而对于企业信息沟通的高效加速，则体现在网盘可以迅速地融入企业的业务运作中，企业不仅可以利用网盘与其分支机构进行文件、报表、设计图纸、多媒体资料的传输和管理；还可以利用网盘进行跨国跨地区的大文件传输和共享;也有企业将网盘作为灵巧的内容分发网络(CDN)，可进行高效的内容分发等等。 大容量的数据存储，这仅仅是网盘为企业解决数据问题提供的基本功能，数据尤其是大数据的传输速度，才是体现其网盘便捷性的重要表现。企业有了网盘这个信息沟通的加速器，不仅能搭建一个大文件传输平台，统一查询和管理资料，还能便捷的共享数据，合理地分配访问权限、保证公司业务数据的安全;特别是大文件传输上，也能保证稳定而快速的网络速度。网盘，这种云存储的典型工具，不仅能成为企业信息沟通的一大助力，也会在改变客户服务的方式、业务流程，甚至管理模式和理念上发挥出它的独特作用。 国内外研究现状 （一）国外云存储研究现状 在国外，信息产业起步早于国内，人均计算资源占有率也远远高于国内，云计算的概念和运营由国外企业率先发起，各公司依据自己传统的技术领域和市场策略都提出了自己的云计算架构，从各个方向进军云计算。云存储作为云计算的重要组成部分，目前已有许多的云存储服务供应商，他们主要将应用技术、搜索和存储相结合，构建云存储给企业和个人提供一系列的存储服务。 1、国外比较有代表性的云存储服务主要有： ? Amazon（亚马逊）的 S3（简单存储服务） ，S3 提供的 Web Services 为开 发者提供了开发接口，并允许第三方工具例如 S3 Backup、Duplictiy、S3 Solutions 等等在 AmazonS3 上开发； ? Google（谷歌）在 XX 年正式对外提供云存储服务，以 GFS 作为基础； 云存储初创厂商 Zetta 发布了 Enterprise Cloud Storage Service 这种存储 篇三：海康威视视频云存储解决方案 11海康威视视频云存储解决方案 正文目录第 一 章 概述.6 系统简介 .6 设计原则 .6 设计目标 .7 术语及缩略语解释 .8 术语解释 . 8 英文/缩略语解释 .9 第 二 章 总体设计 . 13 需求说明 .13 功能性需求说明 . 13 非功能性需求说明 . 14 技术路线 .15 逻辑架构 .16 系统特点 .18 高效灵活的空间管理 .18 海量数据的快速检索 .19 持续可靠的数据服务 .20 高可扩展的应用支撑 .21 开放透明的兼容系统 .22 应用场景 .22 第 三 章 视频类云存储设计 . 24 系统软硬件设计 . 24 软件设计 . 24 硬件设计 . 32 系统物理拓扑 . 33 系统功能设计 . 35 视频存储功能 .35 系统管理功能 .36 运维管理功能 .37 系统业务流程 . 37 视频存储流程 .37 视频检索流程 .38 视频读取流程 .39 系统项目设计 . 40 项目信息收集 .40 云存储设计流程 . 41 云存储管