资源目录
压缩包内文档预览：(预览前20页/共68页)
编号：167780448
类型：共享资源
大小：7.78MB
格式：ZIP
上传时间：2021-11-24
上传人：文***
认证信息
个人认证
常**（实名认证）
河北
IP属地：河北
30
积分
- 关 键 词：
-
计算
发展
关键技术
详解
- 资源描述：
-
云计算的发展及关键技术详解,计算,发展,关键技术,详解
- 内容简介：
-
第6章云存储技术 3【教学内容】1 .云存储的概念与特点2 .云存储的分类与结构模型3 .云存储的关键技术4 .典型的云存储系统介绍【教学要求】1 .理解云存储的概念及关键技术2 .了解典型的云存储系统系统【重点难点】云存储与传统存储技术的差异主要内容 6.1云存储的概念与特点 6.2云存储的分类与结构模型 6.3云存储与传统存储技术的对比分析 6.4云存储的关键技术 6.5典型的云存储系统介绍这是一个大数据的时代Velocity实时性Variety数据种类繁多Volume海量数据大数据时代的4V特征利用数据挖掘和分析得出真实准确的信息海量数据需要快速的处理和检索有各类文本、图片、视频等数据，而且非结构化数据 越来越多从TB级别，增长到PB级别大数据时代，对存储系统提供更高要求高可用/高效率 kLJ -1大容量一l面临的难题？ 海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 设备故障须及时修复，维护成本激增4 云存储应运而生 不同的应用系统间数据难以融合云存储是什么?云存储属于云计算的底层支撑，它通过多种云存储技术的融合，将大 量普通PC服务器构成的存储集群虚拟化为易扩展、弹性、透明、具有伸缩 性的存储资源池，并将存储资源池按需分配给授权用户，授权用户即可以 通过网络对存储资源池进行任意的访问和管理，并按使用付费。业界对云存储初步达成了一个基本共识：云存储不仅是存 UL）储技术或设备，更是一种服务的创新。云存储的技术特点安全 ?主要内容 6.1云存储的概念与特点 6.2云存储的分类与结构模型 6.3云存储与传统存储技术的对比分析 6.4云存储的关键技术 6.5典型的云存储系统介绍云存储是一个综合分布式文件系统、 集群应用和网格技术等技术，通过应用软 件让网络中存在的大量的、不同类型的存 公共云存储储设备协同工作，共同对外提供数据存储和业务访问功能的系统。内部云存储混合云存储根据存储的数据类型不同和应用需求不同，云存储可分为以下3种类型： 公共云存储 内部云存储 混合云存储公共云存储Q-J 阿里云 BWS Microsoft公共云存储(Public Cloud Storage ),也叫做存储即服务(Storage as a Service )、在线存储(On-line Storage )或公有存储，是一个按次付费的数 据存储服务模式。公共云存储是专为大规模多租户(Multi-tenancy )而设计，能为每个客 户提供数据隔离、访问与安全性的服务。公共云存储的内容类型范围包括从 静态非核心应用数据、需要可用的归档内容到数据备份以及灾难性恢复数据 o公共云存储不太适合一直存在变化的活动性内容。 13劣势客户将其数据的控制转交 给了服务提供商。提供商负责创建和维护存储 基础架构和其相关的费用。内部云存储内部云存储，又称为私有云存储，是在数据中心的专用基础设施上运 行。通过内部云存储，一个公司可以拥有或控制基础架构，以及应用的部 署；私有云存储可以部署在企业数据中心或相同地点的设施上；私有云可 以由公司自己的IT部门管理，也可以由服务供应商管理。因此，内部云存储能完全满足安全性和性能这两个主要关注点，并在 其他方面提供了与公共云存储一样的好处。 17HUAWEIHuawei and Veritas Hybrid Cloud Storage Solution Launch Ceremony这种云存储把公共云存储和内部云存储结合在一起。主要用于按客户 要求的访问，特别是需要临时配置容量的时候。从公共云存储上划出一部 分容量配置一种内部云存储，可以帮助公司面对迅速增长的负载波动或高 峰时很有帮助。在HUAWEICONNECT2017期间，华为发 布了混合云存储解决方案，通过华为 FusionStorage分布式云存储系统结合Veritas的 Access网络连接存储网关，提供文件和对象应 用数据互通、云上云下数据自由流动、在线数 据迁移等关键能力，实现海量非结构化数据的 更灵活存取，加速企业应用平滑迁移上云。各类云存储的对比特性公共云存储内部云存储混合云存储I可扩展性非常高有限非常高安全性良好，但取决于服务提供 商所采取的安全措施最安全，因为所有的存 储都是内部部署非吊女全，因为集成选项添加了 一个额外的安全层性能低等到中等非常好良好，活动内容在内部缓存可靠性中等，取决于互联网连接 特性和服务提供商供应能 力高，因为所有的设备都 是内部部署中等到图等,因为缓存内容保存 在内部，而且也取决于互联网连 接特性和服务提供商供应能力成本非常好，即用即付模式， 也没有对公司内部存储基 础设施的要求良好，需要内部资源, 如数据中心的空间、电 力和冷却改良的，因为它允许移动部分存 储资源到即用即付模式云存储的结构模型 19云存储的整体架构可划分为4个 层次，自底向上依次是： 存储层：存储层是云存储最基 础的部分。 基础管理层：基础管理层是云 存储最核心的部分，也是云存 储中最难以实现的部分。 应用接口层：不同的云存储运 营单位可以根据实际业务类型,开发不同的应用服务接口， 提供不同的应用服务。 访问层：任何一个授权用户都 可以通过标准的公用应用接口 来登录云存储系统，享受云存 储服务。访问层个人空间服务、运营 商空间租赁等J企事业单位或SMB 实现数据备份、数据归档、集中存储、远程共享视频监控、IPTV等系 统的集中存储，网站 大容量在战存储等网络（广域网或互联网）接入、用户认证、权限管理应用接口层基础管理层存储层公用API接口、应用软件、web service等集群系统分布式文件系统网格计算内容分发P2P重更数据删除数据压缩数据加密数据备份数据容灾存储虚拟化、存储集中管理、状态监控、维护升级等存储设备(NASx FC, iSCSI等)主要内容 6.1云存储的概念与特点 6.2云存储的分类与结构模型 6.3云存储与传统存储技术的对比分析一 6.4云存储的关键技术 6.5典型的云存储系统介绍 23云存储与传统存储技术的对比比较项云存储传统存储技术架构不仅是一种架构，更是一种服务。底层米用 分布式架构和虚拟化技术，易于扩展，单点 失效不影响整体服务针对某种特殊应用而米用的专用、 特定的硬件组建构成的架构服务模式按需使用，按使用计费，服务提供商可迅速 交付和响应用户通过整机购买或租赁获取存 储容量容量支持PB级以上无限扩展针对某特定的应用存储，由应用 雪球决定容量，难于扩展数据管理不仅提供传统访问方式,而且提供海量数据 的管理和对外的公众服务支撑，同时采用保 护数据安全的策略，采取如分片存储、EC、 ACL、证书等多重保护策略和技术，用户可 灵活配置用户数据管理员可见，信息不够 安全。通过使用RAID提供数据 保护。用户无法灵活配置个性化 存储策略和保护策略 18 6.1云存储的概念与特点 6.2云存储的分类与结构模型 6.3云存储与传统存储技术的对比分析 6.4云存储的关键技术 6.5典型的云存储系统介绍云存储的关键技术云存储是一个多设备、多应用、多服务协同工作的集合体，它的实现 要以多种技术的发展为前提。根据云存储的特点及其应用领域，主要的云存储技术涉及到：分布式存储技术存储虚拟化技术数据备份技术数据缩减技术 25内容分发网络技术存储虚拟化技术存储虚拟化技术虽然不同设备与/ 概括为以下三种：基于主机的虚拟存储t6 基于主机的虚拟存储的实现,其核心技礼 是通过增加一个运行在操作系统下的逻辑“基于网络的存储虚拟。卷管理软件将磁盘上的物理块号映射成逻 辑卷号，并以此实现把多个物理磁盘阵列 映射成一个统一的虚拟的逻辑存储空间（ 逻辑块）实现存储虚拟化的控制和管理。基于网络的存储虚拟的技术的核心是在 存储区域网中增加虚拟化引擎实现存储 资源的集中管理，其具体实施一般有两 种方式：基于互联设备的虚拟化； 基于路由器的虚拟化。一商之间略有区别，但从总体来说，可 21，基于存储设备的虚拟化基于存储设备的虚拟化技术依赖于提供相关功能的存储设备 的阵列控制器模块，常见于高 端存储设备,其主要应用针对 异构的SAN存储构架。分布式存储技术不同的分布式存储系统适合处理不同类型的数据，分布式存储系统可以分为以下四类:分布式块存储分布式块存储系统以标准的Intel/Linux硬件组件作为基本存储单元, 组件之间通过千兆以太网采用任意点对点拓扑技术相互连接，共同 工作，构成大型网格存储，网格内采用分布式算法管理存储资源。如IBM XIV存储系统L目前的分布式文件系统存储的实现有软硬件一体和软硬件分离两种 分布式文件系统存储方式。主要通过NAS虚拟化，或者基于x86硬件集群和分布式文件 系统集成在一起，以实现海量非结构化数据处理能力。分布式对象存储分布式表存储对象存储系统底层基于分布式存储系统来实现数据的存取，其存储 方式对外部应用透明。这样的存储系统架构具有高可扩展性，支持 数据的并发读写，一般不支持数据的随机写操作。如Amazon的S3。表结构存储是一种结构化数据存储，虽提供的表空间访问功能受限, 但更强调系统的可扩展性。提供表存储的云存储系统的特征就是同 时提供高并发的数据访问性能和可伸缩的存储和计算架构。22数据备份技术数据备份技术是将数据本身或者其中的部分在某一时间的状态以特定的 格式保存下来，以备原数据出现错误、被误删除、恶意加密等各种原因不可 用时，可快速准确的将数据进行恢复的技术。数据备份是容灾的基础，是为防止突发事故而采取的一种数据保护措施,根本目的是数据资源重新利用和保护，核心的工作是数据恢复。不同的备份方法，其效果不同，主要表现在性能、自动化程度、对现有 系统应用的影响程度、管理、可扩展性等方面。常见的数据备份系统主要有： Host-Based LAN-Based 基于SAN结构的LAN-Free Server-Free Host-Based （主机备份）基于主机(Host-Based )的备份是 传统的数据备份技术。在这种备份架构 中，磁带读写设备直接连接在某台需要 备份数据的应用服务器上，为该服务器 提供数据备份服务。红色虚线表示数据流客户机客户机客户机Host-Based备份结构优点：备份管理简单，数据传输速度快；缺点：可管理的存储设备少，不利于备份系统的共享，不大适合于现在大型 的数据备份要求，而且不能提供实时的备份需求。 23应用服务器应用服务器应用服务器LAN-Based备份结构 LAN-Based （局域网备份）数据的传输是以局域网络为基础， 首先预先配置一台服务器作为备份管理 服务器，负责整个系统的备份操作。磁 带库则接在某台服务器（即介质服务器 ）上，多个需要备份数据的应用服务器 将需要备份的数据通过局域网络传输到 磁带库中实现备份。优点：可以共享磁带库以节省投资，同时可以实现集中的备份管理；缺点：对网络传输压力大，当备份数据量大或备份频率高时，局域网的性能 下降快，不适合重载荷的网络应用环境。25磁盘磁盘磁带LAN-free备份结构基于SAN结构的LAN-FreeLAN-Free是指数据无需通过局 域网而直接进行备份，即用户只需 将磁带机或磁带库等备份设备连接 到SAN中，各服务器就可把需要备 份的数据直接发送到共享的备份设 备上，不必再经过局域网链路。优点：数据备份统一管理、备份速度快、网络传输压力小、磁带库资源共享；缺点：少量文件恢复操作繁琐，并且技术实施复杂，投资较高。 27I Server-FreeServer-Free 是 LAN-Free 的一种延 伸，可使数据能够在SAN结构中的两 个存储设备之间直接传输，通常是在 磁盘阵列和磁带库之间。应用服务器LANDServer-F ree备份结构优点：数据备份和恢复时间短，网络传输压力小，便于同意管理和备份资源 t= 缺点：需要特定的备份应用软件进行管理，厂商的类型兼容性问题需要统一 ,并且实施起来与LAN-Free一样比较复杂，成本也较高，适用于大中型企 业进行海量数据备份管理。数据缩减技术利用云存储中的数据缩减技术，满足海量信息爆炸式增长趋势，一定程 度上节约企业存储成本，提高效率。自动精简配置00000000000Virtual CapacityReal Capacity自动精简配置是一种存储管理的特性,核心原理是欺骗操作系统，让操作Swer 系统认为存储设备中有很大的存储空间， 而实际的物理存储空间则没有那么大。自动精简配置技术优化了存储空间的利用率，扩展了存储管理功能，虽 然实际分配的物理容量小，但可为操作系统提供超大容量的虚拟存储空间。自动存储分层自动存储分层（AST ）技术主要用来帮助数据中心最大程度地降低成本 和复杂性。自动存储分层技术的特点则是其分层的自动化和智能化。自动存储分层是存储上减少数据的另外一种机制。一个磁盘阵列能够把 活动数据保留在快速、昂贵的存储上，把不活跃的数据迁移到廉价的低速层 上，以限制存储的花费总量。将Volume或LUN分 散到不同存储层上按预设指令、按存取频率定 期重新迁移各区域存取位置 29重复数据删除重复数据删除技术(De-duplication )通常用于基于磁盘的备份系统，通 过删除运算，消除冗余的文件、数据块或字节，以保证只有单一的数据存储 在系统中。使用重复删除技术可以极大的减少备份数据的数量，将数据缩减 到原来的1/20-1/50。Q满足投资回报率/TCO需求;o可以有效控制数据的急剧增长；实际利益增加有效存储空间，提高存储效率;Q节省存储总成本和管理成本；节省数据传输的网络带宽;0 节省空间、电力供应、冷却等运维成本。30数据压缩数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。数据压缩的方式有很多，一般来说可以分为无损压缩和有损压缩。无损压缩是指使用压缩后的数据进行解压缩，得到的数据与原来 的数据完全相同。有损压缩是指使用压缩后的数据进行解压缩，得到的数据与原来 的数据有所不同，但不影响人对原始资料表达的信息的理解。LOSSLESS 31内容分发网络技术内容分发网络(CDN , Content Delivery Network )是一种新型网络构建模 式，主要是针对现有的Internet进行改造，其基本思想就是尽量避开互联网上 由于网络带宽小、网点分布不均、用户访问量大等影响数据传输速度和稳定 性的弊端，使数据传输的更快、更稳定。 CDN目的是通过在现有的Internet 中增加一层新的CACHE (缓存) 层，将网站的内容发布到最接近 用户的网络“边缘”的节点，使 用户可以就近取得所需的内容， 解决Internet网络拥塞状况，提高 用户访问网站的响应速度。CDN应用领域互联网应用不断发生变迁CDN业务功能不断更新CDN应用领域不断扩展流媒体应用视频直播/点播大文件下载B2B交易网页加速应用加速视频加速网络存储下载性能提升流量管理门户网站社交网站电子商务网站视频网站IPTV主要内容 6.1云存储的概念与特点 6.2云存储的分类与结构模型 6.3云存储与传统存储技术的对比分析 6.4云存储的关键技术 6.5典型的云存储系统介绍35典型的云存储系统介绍目前，云计算系统中广泛使用的数据存储系统是Google的非开源的 GFS ( Google File system ) CIHadoop团队开发的GFS的开源实现HDFS ( Hadoop Distributed File System ),大部分 1T厂商包括Yahoo、Intel的 云计划采用的都是HDFS的数据存储技术。以上技术实质上是大型的分布式文件系统，在计算机组的支持下向客 户提供所需要的服务。Hadoop云计算应用HBasMapReduceGoogle云计算应用 BiblMapReducFGFSChubbyHDFSGoogle文件系统GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大 量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和 Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错 功能，可以给大量的用户提供总体性能较高的服务。表6-3 GFS与传统分布式文件系统的区别文件系统组件失败管理文件大小数据写方式数据流与控制流GFS不作为异常处理少量大文件在文件末尾附加数据分开传统分布式文件系统作为异常处理大量小文件修改现存数据结合 37GFS的系统架构41应川程序GFS客户端（文件名，chunk索引）（chunk句柄,chunk位置）（chunk句柄 字节范围）chunk数据GFS主服务器/foo/bar向数据块服务器发出指令数据块服务器状态说明:数据信息控制信息GFS数据块服务器GFS数据块服务器Linux文件系统Linux文件系统ClientMasterChunkMaster是GFS的管理节点，是GFS文件系统中的大脑。GFS将整个系统节点分为三类角色：客户端（Client）、主服务器 （Master ）和数据块服务器（Chunk ）。Client是GFS提供给应用程序的访问接口 以库文件的形式提供。Chunk负责具体的存储工作。7数据流控制流Cl
- 温馨提示:
1: 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
人人文库网所有资源均是用户自行上传分享，仅供网友学习交流，未经上传用户书面授权，请勿作他用。
川公网安备: 51019002004831号