云计算-第6章 云存储技术

第6章云存储技术

©lou.

【教学内容】

1.云存储的概念与特点

2.云存储的分类与结构模型

3.云存储的关键技术

4.典型的云存储系统介绍

【教学要求】

1.理解云存储的概念及关键技术

2.了解典型的云存储系统系统

【重点难点】

云存储与传统存储技术的差异

2

主要内容

・6.1云存储的概念与特点

-6.2云存储的分类与结构模型

■6.3云存储与传统存储技术的对比分析

・6.4云存储的关键技术

・6.5典型的云存储系统介绍

3

大数据时代的4V特征

Veracity利用数据挖掘和分析得出真实准确的信息

惠实准敏

Velocity海量数据需要快速的处理

实时性

有各类文本、图片、视频等数据，而且非结构化数据

Variety越来越多

数据种类繁多

Volume从TB级别，增长到PB级别

海量数据

大数据时代，对存储系统提供更高要求

曷可用

局效率

面临的难题?

①海■窥■■:如何统一管理和统一调度

②大容量并发读写，设备性能成为瓶颈

③设备故障须及时修复，维护成本激增

④不同的应用系统间数据难以融合

*云存储应运而生

云存储是什么?

云存储属于云计算的底层支撑，它通过多种云存储技术的融合，将大

量普通PC服务器构成的存储集群虚拟化为易扩展、弹性、透明、具有伸缩

性的存储资源池，并将存储资源池按需分配给授权用户，授权用户即可以

通过网络对存储资源池进行任意的访问和管理，并按使用付费。

7JK业界对云存储初步达成了一个基本共识：云存储不仅是存

UL）储技术或设备，更是一种服务的创新。

8

云存储的技术特点

安全

•9

主要内容

・6.1云存储的概念与特点

-6.2云存储的分类与结构模型

・6.3云存储与传统存储技术的对比分析

・6.4云存储的关键技术

・6.5典型的云存储系统介绍

•10

云存储的分类

云存储是一个综合分布式文件系统、

集群应用和网格技术等技术，通过应用软

件让网络中存在的大量的、不同类型的存

公共云存储储设备协同工作，共同对外提供数据存储

和业务访问功能的系统。

内部云存储混合云存储根据存储的数据类型不同和应用需求

不同，云存储可分为以下3种类型：

■公共云存储

■内部云存储

■混合芯存储

公共云存储〔-〕阿里云二马逊IRMicrosoft

公共云存储(PublicCloudStorage),也叫做存储即服务(Storageasa

Service)＞在线存储(On-lineStorage)或公有存储，是一个按次付费的数

据存储服务模式。

公共云存储是专为大规模多租户(Multi-tenancy)而设计，能为每个客

户提供数据隔离、访问与安全性的服务。公共云存储的内容类型范围包括从

静起物心应数据、艘^用的归档内容蹦据副以独难性败数据

o公共云存储不太适合一直存域化的活动性内容。

・客户将其数据的控制转交

•提供商负责创建和维护存储

基础架构和其相关的费用。给了服务提供商。

•12

内部云存储

内部云存储，又称为私有云存储，是在数据中心的专用基础设施上运

行。通过内部云存储，一个公司可以拥有或控制基础架构，以及应用的部

署；私有云存储可以部署在企业数据中心或相同地点的设施上；私有云可

以由公司自己的IT部门管理，也可以由服务供应商管理。

因此，内部云存储能完全满足安全性和性能这两个主要关注点，并在

其他方面提供了与公共云存储一样的好处。

CoudSfart:包拈常见云功能的实施服务

•规腓।服务定义

固定价格享受多•i竹郦务实ft

种计£•夕期加颁潞

.安全幽

•黜抄棉和根告

应用生命周期：

Matrix云服务自动化*

•应用的资黝K

基础设施：

BladeSyscemMatrix

•等施务TE站

•基础殳能资源分配

•性能优化

.整合冷于设计

混合云存储

这种云存储把公共云存储和内部云存储结合在一起。主要用于按客户

要求的访问，特别是需要临时配置容量的时候。从公共云存储上划出一部

分容量配置一种内部云存储，可以帮助公司面对迅速增长的负载波动或高

峰时很有帮助。

在HUAWEIC0NNECT2017期间，华为发

布了混合云存储解决方案，通过华为

FusionStorage分布式云存储系统结合Veritas的

Access网络连接存储网关，提供文件和对象应

用数据互通、云上云下数据自由流动、在线数

据迁移等关键能力，实现海量非结构化数据的

更灵活存取，加速企业应用平渭迁移上云。

各类云存储的对比

特性公共云存储内部云存储混合云存储

可扩展性非常高有限非常高

良好，但取决于服务提供最安全，因为所有的存非常安全，因为集成选项添加了

安全性

商所采取的安全措施储都是内部部署一个额外的安全层

性能低等到中等非常好良好，活动内容在内部缓存

中等，取决于互联网连接中等到高等，因为缓存内容保存

高，因为所有的设备都

可靠性特性和服务提供商供应能在内部，而且也取决于互联网连

是内部部署

力接特性和服务提供商供应能力

非常好，即用即付模式，良好，需要内部资源，

改良的，因为它允许移动部分存

成本也没有对公司内部存储基如数据中心的空间、电

储资源到即用即付模式

础设施的要求力和冷却

•«15

云存储的结构模型

云存储的整体架构可划分为4个

层次，自底向上依次是：z

企事业单位或视频监控、IPIV等系

个人9间版务、运营实现数据备份、数

缅J集中存:储，【幽i

■存储层：存储层是云存储最基据归档、集中存

访问层商空间租赁等大容量在残存储等

础的部分。储、远程共享

---------------J\_______________Z

■基础管理层：基础管理层是云

网络（广域M或互联网）接入、用户认证、权限管理

存储最核心的部分，也是云存应用接口层

储中最难以实现的部分。公用API接口、应用软件、wbserve皤

■应用接口层：不同的云存储运

内容分发

集群系统数据加密

营单位可以根据实际业务类型P2P

分布式文件系统数据备

基础管理层重第口♦删除

网格计算数据容

,开发不同的应用服务接口，我缩

提供不同的应用服务。--------------

灾

■访问层：任何一个授权用户都存储层

可以通过标准的公用应用接口存储虚■物化、存储生巾管理、状太监捽、魅打用织笑

来登录云存储系统，享受云存

储服务。

16

主要内容

・6.1云存储的概念与特点

・6.2云存储的分类与结构模型

-6.3云存储与传统存储技术的对比分析

・6.4云存储的关键技术

■6.5典型的云存储系统介绍

云存储与传统存储技术的对比

比较项云存储传统存储技术

不仅是一种架构，更是一种服务。底层采用

针对某种特殊应用而采用的专用、

架构分布式架构和虚拟化技术，易于扩展，单点

特定的硬件组建构成的架构

失效不影响整体服务

按需使用，按使用计费，服务提供商可迅速用户通过整机购买或租赁获取存

服务模式

交付和响应储容量

针对某特定的应用存储，由应用

容量支持PB级以上无限扩展

雪球决定容量，难于扩展

不仅提供传统访问方式，而且提供海量数据

用户数据管理员可见，信息不够

的管理和对外的公众服务支撑，同时采用保

安全。通过使用RAID提供数据

数据管理护数据安全的策略，采取如分片存储、EC、

保护。用户无法灵活配置个性化

ACL、证书等多重保护策略和技术，用户可

存储策略和保护策略

灵活配置

•18

主要内容

■6.1云存储的概念与特点

・6.2云存储的分类与结构模型

・6.3云存储与传统存储技术的对比分析

-6.4云存储的关键技术

・6.5典型的云存储系统介绍

•19

云存储的关键技术

云存储是一个多设备、多应用、多服务协同工作的集合体，它的实现

要以多种技术的发展为前提。

根据云存储的特点及其应用领域，主要的云存储技术涉及到：

分布式存储技术

存储虚拟化技术

数据缩减技术

数据备份技术0琳

内容分发网络技术

商之间略有区别，但从总体来说，可

概括为以下三种:

基于主机的虚拟存储4

基于主机的虚拟存储的实现，其核心技术、

是通过增加一个运行在操作系统下的逻辑

卷管理软件将磁盘上的物理块号映射成逻

辑卷号，并以此实现把多个物理磁盘阵列，基于存储设备的虚拟化

映射成一个统一的虚拟的逻辑存储空间（基于存储设备的虚拟化技术依

逻辑块）实现存储虚拟化的控制和管理。赖于提供相关功能的存储设备

基于网络的存储虚拟4的阵列控制器模块，常见于高

端存储设备，其主要应用针对

基于网络的存储虚拟的技术的核心是在异构的SAN存储构架。

存储区域网中增加虚拟化引擎实现存储

资源的集中管理，其具体实施一般有两

种方式：①基于互联设备的虚拟化；②

•基于路由器的虚拟化。•21

分布式存储技术

不同的分布式存储系统适合处理不同类型的数据，分布式存储系统可以

分为以下四类：

分布式块存储系统以标准的Inte1/Linux硬件组件作为基本存储单元，

组件之间通过千兆以太网采用任意点对点拓扑技术相互连接，共同

分布式块存储工作，构成大型网格存储，网格内采用分布式算法管理存储资源。

如1BMX1V存储系统

目前的分布式文件系统存储的实现有软硬件一体和软硬件分离两种

分布式文件系统存储方式。主要通过NAS虚拟化，或者基于x86硬件集群和分布式文件

系统集成在一起，以实现海量非结构化数据处理能力。

对象存储系统底层基于分布式存储系统来实现数据的存取，其存储

分布式对象存储方式对外部应用透明。这样的存储系统架构具有高可扩展性，支持

数据的并发读写，一般不支持数据的随机写操作。如Mazon的S3。

表结构存储是一种结构化数据存储，虽提供的表空间访问功能受限,

但更强调系统的可扩展性。提供表存储的云存储系统的特征就是同

分布式表存储时提供高并发的数据访问性能禾呵伸缩的存储和计算架构。

数据备份技术］

数据备份技术是将数据本身或者其中的部分在某一时间的状态以特定的

格式保存下来，以备原数据出现错误、被误删除、恶意加密等各种原因不可

用时，可快速准确的将数据进行恢复的技术。

数据备份是容灾的基础，是为防止突发事故而采取的一种数据保护措施

，根本目的是数据资源重新利用和保护，核心的工作是数据恢复。

不同的备份方法，其效果不同，主要表现在性能、自动化程度、对现有

系统应用的影响程度、管理、可扩展性等方面。常见的数据备份系统主要有：

Host-Based

■LAN-Based

基于SAN结构的LAN-Free

Server-Free

23

Host-Based(主机备份)红色虚线表示数据流

客户机客户机客户机

基于主机(Host-Based)的备份是

传统的数据备份技术。在这种备份架构

中，磁带读写设备直接连接在某台需要

备份数据的应用服务器上，为该服务器

提供数据备份服务。

Host-Based备份结构

优点：备份管理简单，数据传输速度快；

缺点：可管理的存储设备少，不利于备份系统的共享，不大适合于现在大型

的数据备份要求，而且不能提供实时的备份需求。

•24

LAN-Based（局域网备份）

数据的传输是以局域网络为基础，

首先预先配置一台服务器作为备份管理

服务器，负责整个系统的备份操作。磁

带库则接在某台服务器（即介质服务器

）上，多个需要备份数据的应用服务器

将需要备份的数据通过局域网络传输到

磁带库中实现备份。LAN-Based备份结构

优点：可以共享磁带库以节省投资，同时可以实现集中的备份管理；

缺点：对网络传输压力大，当备份数据量大或备份频率高时，局域网的性能

下降快，不适合重载荷的网络应用环境。

•25

■基于SAN结构的LAN-Free

LAN-Free是指数据无需通过局

域网而直接进行备份，即用户只需

将磁带机或磁带库等备份设备连接

到SAN中，各服务器就可把需要备

份的数据直接发送到共享的备份设

备上，不必再经过局域网链路。

LAN~free备份结构

优点：数据备份统一管理、备份速度快、网络传输压力小、磁带库资源共享;

缺点：少量文件恢复操作繁琐，并且技术实施复杂，投资较高。

Server-Free

应用服务器番份服务器口

Server-Free是LA2Free的一种延

伸，可使数据能够在SAN结构中的两

个存储设备之间直接传输，通常是在

磁盘阵列和磁带库之间。

Server-Free备份结构

优点：数据备份和恢复时间短，网络传输压力小，便于同意管理和备份资源

共享；

缺点：需要特定的备份应用软件进行管理，厂商的类型兼容性问题需要统一

，并且实施起来与LAN-Free一样比较复杂，成本也较高，适用于大中型企

业进行海量数据备份管理。

数据缩减技术】

利用云存储中的数据缩减技术，满足海量信息爆炸式增长趋势，一定程

度上节约企业存储成本，提高效率。

自动精简配置是一种存储管理的特性

，核心原理是“欺骗”操作系统，让操作―

系统认为存储设备中有很大的存储空间，

而实际的物理存储空间则没有那么大。

自动精简配置技术优化了存储空间的利用率，扩展了存储管理功能，虽

然实际分配的物理容量小，但可为操作系统提供超大容量的虚拟存储空间。

•28

自动存储分层

自动存储分层(AST)技术主要用来帮助数据中心最大程度地降低成本

和复杂性。自动存储分层技术的特点则是其分层的自动化和智能化。

自动存储分层是存储上减少数据的另外一种机制。一个磁盘阵列能够把

活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速层

上，以限制存储的花费总量。

将Volume或LUN分按预设指令、按存取频率定

散到不同存储层上期重新迁移各区域存取位置

29

重复数据删除

重复数据删除技术(De-duplication)通常用于基于磁盘的备份系统，通

过删除运算，消除冗余的文件、数据块或字节，以保证只有单一的数据存储

在系统中。使用重复删除技术可以极大的减少备份数据的数量，将数据缩减

到原来的1/207/50。

满足投资回报率/TC0需求；

2可以有效控制数据的急剧增长；

实际利益3增加有效存储空间，提高存储效率；

4节省存储总成本和管理成本；

节省数据传输的网络带宽；

G节省空间、电力供应、冷却等运维成本。

•30

数据压缩

数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。

数据压缩的方式有很多，一般来说可以分为无损压缩和有损压缩。

■无损压缩是指使用压缩后的数据进行解压缩，得到的数据与原来

的数据完全相同，

有损压缩是指使用压缩后的数据进行解压缩，得到的数据与原来

的数据有所不同，但不影响人对原始资料表达的信息的理解。

LOSSLESS

LOSSY

内容分发网络技术】

内容分发网络(CDN,ContentDeIiveryNetwork)是一种新型网络构建模

式，主要是针对现有的Internet进行改造，其基本思想就是尽量避开互联网上

由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定

性的弊端，使数据传输的更快、更稳定。

■CDN目的是通过在现有的Internet

中增加一层新的CACHE(缓存)

层，将网站的内容发布到最接近■/

用户的网络“边缘”的节点，使

WebServer

用户可以就近取得所需的内容，

解决Internet网络拥塞状况，提高

用户访问网站的响应速度。

•62

CDN应用领域

________\1

互联网应用不断发生变迁CDN业务功能不断更新CDN应用领域不断扩展

1

流媒体应用网页加速门户网站

视频t播/点播应用加速社交网站

大文件下载视频加速电子商务网站

B2B交易网络存储视频网站

。。。。。。下载性能提升IPTV

流量管理。。。。©。

主要内容

・6.1云存储的概念与特点

-6.2云存储的分类与结构模型

-6.3云存储与传统存储技术的对比分析

・6.4云存储的关键技术

-6.5典型的云存储系统介绍

典型的云存储系统介绍

目前，云计算系统中广泛使用的数据存储系统是Google的非开源的

GFS(GoogleFilesystem)和Hadoop团队开发的GFS的开源实现HDFS(

HadoopDistributedFileSystem),大部分IT厂商包括Yahoo、Intel的“

云”计划采用的都是HDFS的数据存储技术。

以上技术实质上是大型的分布式文件系统，在计算机组的支持下向客

户提供所需要的服务。

Hadoop云计算应用

HBaseMapReduce

HDHS

*B5

Google文件系统

GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大

量数据进行访问的应用。

GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和

Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错

功能，可以给大量的用户提供总体性能较高的服务。

表6-3GFS与传统分布式文件系统的区别

文件系统组件失败管理文件大小数据写方式数据流与控制流

GFS不作为异常处理少量大文件在文件末尾附加数据分开

传统分布式文件系统作为异常处理大量小文件修改现存数据结合

GFS的系统架构

GFS主服务涔

；foo/bar

（文件名，chunk索引）

应用程序

GFS客户端

（chunk句柄,chunk位置）

说明:

数据信息

控制信息

向数据块服务器发出指令

数据块服务器状态

（chunk句柄

字节范围）

GFS数据块服务器GFS数据块服务器

Linux文件系统Linux文件系统

chunk数据

©©…©

37

GFS的系统架构

GFS将整个系统节点分为三类角色:客户端(Client)、主服务器

(Master)和数据块服务器(Chunk)。

Client是GFS提供给应用程序的访问接口，/

以库文件的形式提供。|I

Master是GFS的管理节点，是GFS文1一

件系统中的“大脑7;•j

Chunk负责具体的存储工作。1

wiiiiv

38

写操作控制信号和数据流

GFS将写操作控制信号和数据

数据流

流分开。Client在获取Master的写

-------控制流

授权后，将数据传输给所有的数据

副本，在所有的数据副本都收到修

改的数据后，Client才发出写请求

控制信号。在所有的数据副本更新7

完数据后，由主副本向Client发出

写操作完成控制信号。

Client不通过Master读取数据，可遇

大