云计算基础第3章ppt课件

云存储,目录,云存储概念,技术简介,应用及问题,案例,云存储概念什么是云存储,云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云计算系统可以认为是以数据处理、数据运算为中心的系统。在云计算系统中配置相应的存储设备，那么该计算系统就转变成为一个云存储系统。,云存储概念什么是云存储,集群应用、网格技术或分布式文件系统,Page5,PB级互联网存储-云存储,超大规模存储存储硬件集群提供PB级容量的实时动态扩展多种数据复制和迁移策略保证系统超强的可靠性海量的小文件和流式文件访问的特别优化热点文件访问的超高性能多种负载均衡策略保证系统响应超大吞吐率管理和运营支持集中式的管理+简单的系统部署多种访问API，能够适应多种场合下各种应用对存储访问接口的要求特别适用于云存储平台上的中小企业和基础个人应用,为大型数据中心、IDC服务提供商提供基于IP网络的PB级存储系统解决方案,云存储是基于开放协议、利用互联网络整合设备资源提供的服务。,云存储概念云存储与传统存储的不同,(1)功能需求云存储系统面向多种类型的网络在线存储服务传统存储系统则面向如高性能计算、事务处理等应用(2)性能需求数据的安全性、可靠性、效率等技术挑战；(3)数据管理云存储系统不仅要提供传统文件访问，还要能够支持海量数据管理并提供公共服务支撑功能，以方便云存储系统后台数据的维护。,云计算是卖计算，类似国家那几个大的计算中心，给我数据，我给你结果，云计算与大计算中心计算我推断会更灵活更具扩展性，成本也会低而且更大众化。云存储现阶段是卖存储空间，就类似卖web空间，只不过云存储卖的是一个LUN或者一个基于NAS协议的vol，加之更多的服务细节比如带宽，速度，io属性，是否常驻cache等，反正能卖钱的全拿出来卖。,云存储是一个以数据存储和管理为核心的云计算系统。,云存储概念云存储与云计算的不同,云计算：以数据运算为核心云存储：以数据存储为核心,8,云存储结构云存储简易结构图,存储节点(StorageNode)负责存放文件，控制节点(ControlNode)则是作为文件索引，并负责监控存储节点间容量及负载的均衡，2个部分合起来便组成一个云存储NFS、HTTP、FTP、WebDav等是应用端,云存储结构云存储结构模型,1、存储层：存储层是云存储最基础的部分。FC、NAS和iSCSI、SCSI或SAS。数量庞大分布，通过网络或FC连接。设备之上是统一存储设备管理系统，可实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。,2、基础管理层。基础管理层是云存储最核心的部分，是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，对外提供服务。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。,3、应用接口层。应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。,4、访问层。任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。,云存储概念云存储与云计算的架构模型对比,云存储概念云存储的功能,(1)随着容量增长，线性地扩展性能和存取速度。(2)将数据存储按需迁移到分布式的物理站点。(3)确保数据存储的高度适配性和自我修复能力，可以保存多年之久。(4)确保多租户环境下的私密性和安全性。(5)允许用户基于策略和服务模式按需扩展性能和容量。(6)改变了存储购买模式，只收取实际使用的存储费用，而非按照所有的存储系统，包含未使用的存储容量，来收取费用。(7)结束颠覆式的技术升级和数据迁移工作。,云存储概念云存储的优点,更容易扩容(包括带宽),更易于管理,成本更低廉,数据更安全，服务不中断,云存储概念云存储的隐性成本,向云存储上迁移数据数据量大小元数据的功能操作次数提前预估云存储的费用完善的数据迁移计划（病毒扫描、索引服务以及备份软件）,云存储概念云存储的种类,云存储分成两类：块存储(BlockStorage)与文件(FileStorage)。BlockStorage：单笔的数据写到不同的硬盘，得到较大的单笔读写带宽.优点：对单笔数据读写很快，缺点：成本较高，无法解决真正海量文件的储存.,适合应用？1、快速更改的单一文件系统:包括数据库、共用的电子表单。2、针对单一文件大量写的高性能计算（HPC）:某些高性能计算有成千上百个使用端，同时读写单一个文件，为了提高读写效能，这些文件被分布到很多个节点，这些节点需要紧密地协作，才能保证数据的完整性，这些应用由集群软件负责处理复杂的数据传输。例如石油探勘及财务数据模拟。,云存储概念云存储的种类,FileStorage是基于文件级别的存储，把一个文件放在一个硬盘上，即使文件太大需要拆分时，也放在同一个硬盘上。优点：是对一个多文件、多人使用的系统，总带宽可以随着存储节点的增加而扩展，它的架构可以无限制的扩容，并且成本低廉；缺点：是对单一文件的读写会受到单一硬盘效能的限制，代表的厂商如Parascale。适合应用？1文件较大，总读取带宽要求较高例如网站、IPTV2多个文件同时写入例如监控3长时间存放的文件例如文件备份、存放或搜寻,云存储能提供什么样的服务取决于云存储架构的应用接口层中内嵌了什么类型的应用软件和服务。云存储服务可以分为：1、个人级应用（1）网络磁盘（网盘）（2）在线文档编辑（3）在线的网络游戏2、企业级应用（1）企业空间租赁服务（2）企业级远程数据备份和容灾（3）视频监控系统,云存储概念云存储的应用,云存储的应用领域,备份,应用多种多样,个人-云存储应用之一：网络硬盘,Google在线文档,20,个人-云存储应用之二：在线文档编辑,个人-云存储应用之三：在线网络游戏,传奇、魔兽、武林以后，我们可以通过云计算和云存储系统来构建一个庞大的、超能的游戏服务器群，这个服务器群系统对于游戏玩家来讲，就如同是一台服务器，所有玩家在一起进行竞争。云计算和云存储的应用，可以代替现有的多服务器架构，使所有玩家都能集中在一个游戏服务器组的管理之下。所有玩家聚集在一起，这将会使游戏变得更加精彩，竞争变得更加激烈。同时，云计算和云存储系统的使用，可在最大限度上提升游戏服务器的性能，实现更多的功能;各玩家除了不再需要下载、安装大容量的游戏程序外，更免除了需要定期进行游戏升级等问题。,企业-云存储应用,企业级云存储应用已经面世，而且以后可能会成为云存储应用的主力军。从目前不同行业的存储应用现状来看，以下几类系统将有可能很快进入云存储时代。,企业-云存储应用之二：视频监控系统,近两年来，电信和网通在全国各地建设了很多不同规模的“全球眼”、“宽视界”网络视频监控系统。“全球眼”或“宽视界”系统的终极目标是建设一个类似话音网络和数据服务网络一样的，遍布全国的视频监控系统，为所有用户提供远程(城区内的或异地的)的实时视频监控和视频回放功能，并通过服务来收取费用。但由于目前城市内部和城市之间网络条件限制，视频监控系统存储设备规模的限制，“全球眼”或“宽视界”一般都能在一个城市内部，甚至一个城市的某一个区县内部来建设。假设我们有一个遍布全国的云存储系统，并在这个云存储系统中内嵌视频监控平台管理软件，建设“全球眼”或“宽视界”系统将会变成一件非常简单的事情。系统的建设者只需要考虑摄像头和编码器等前端设备，为每一个编码器、IP摄像头分配一个带宽足够的接入网链路，通过接入网与云存储系统连接，实时的视频图像就可以很方便地保存到云存储中，并通过视频监控平台管理软件实现图像的管理和调用。用户不仅可以通过电视墙或PC来监看图像信号，还可以通过手机来远程观看实时图像。,企业-云存储应用之三：企业级远程数据备份和容灾,随着企业数据量的不断增加，数据的安全性要求也在不断增加。企业中的数据不仅要有足够的容量空间去存储，还需要实现数据的安全备份和远程容灾。不仅要保证本地数据的安全性，还要保证当本地发生重大的灾难时，可通过远程备份或远程容灾系统进行快速恢复。通过高性能、大容量云存储系统和远程数据备份软件，数据业务运营商和IDC数据中心可以为所有需要远程数据备份和容灾的企事业单位提供空间租赁和备份业务租赁服务，普通的企事业单位、中小企业可租用IDC数据中心提供的空间服务和远程数据备份服务功能，可以建立自己的远程备份和容灾系统。,企业-云存储应用之四：数据共享应用,数据共享应用方案主要用于在企业内部实现数据共享。数据可以在用户之间共享，也可以在工作组内部共享，也可以在工作组之间共享。这种数据共享方便了企业内部交流，提高了工作效率。与传统的NAS相比，云存储往往具有更加强大的权限管理。,其它典型应用,案例,UIT（创新科存储技术有限公司），是立足中国、面向全球的数据存储解决方案提供商和海量信息存储专家。,UIT具备从数据存储、数据管理到容灾备份的完整解决方案和技术支持体系，在中国（深圳、武汉）和海外（美国硅谷、欧洲爱尔兰）分别设立研发中心，掌握存储核心技术并拥有多项专利,UFS,UFS（UITFileSystem）是UIT自主开发的分布式云存储文件系统，用于海量存储空间的管理，可支持灵活扩展、高性能访问的文件共享存储平台，专为具有大数据量和高并发访问需求的应用而设计。,UITUFS云存储系统架构及功能简介,数据存储通用的硬件设备作为存储节点通过多存储节点的集群提供超大存储容量和聚合带宽,系统管理提供集中式的管理界面对系统进行监视丰富的运行时信息以支持运营分析系统丰富的访问日志和控制接口提供运营支撑,存储访问提供针对数据的NAS访问接口通过WebService对数据进行访问通过可编程API直接对存储进行访问和控制,存储应用通过WebDrive，用户能像访问本地文件一样对云存储中的文件进行访问通过WebDisk，用户可以获得更多诸如断点续传、定期备份等更高级功能,Page31,UITUFS云存储平台典型部署,灵活快捷的应用集成节省存储服务应用的集成开发时间,极大的系统扩展能力无论你需要10TB还是10PB,UFS都为您准备好了,可靠性和安全性确保用户服务质量,$,经济的云存储服务平台采用通用服务器、网络和存储设备，大幅度降低建设成本强大的网络和存储监控管理功能，是您的维护简单易行,UIT云存储解决方案的优势,标准的WebservicesAPI，统一的全局命名空间根据策略自动复制文件Incorporatesserver-sideprocessing(mediamgt,search),YourApplication,Server,orDataSource,FTPProxyVirtualCIFS/NFSmountSampleApplications,Copy1,Copy2,Copy3,IntegrationTools,UFSAPI,灵活快捷的应用集成,支持存储的极大扩展，目前已可提供上百个节点集群100PB的存储容量数据传输管理技术和策略保证了用户足够的访问带宽支持广域网的分布式文件系统提供强大的负载均衡能力保证了足够的数据存储带宽,无限扩展能力,智能的负载均衡优化数据的可用性企业级的可靠性基于策略的自动数据冗余复制将存储的可靠性从99.9%提升到99.999%数据安全性数据传输加密和数据加密存储保证了数据的高度安全性,可靠性和安全性,经济的硬件平台可采用通用的服务器、网络和存储设备UFS冗余数据保护机制降低了对存储设备本身的高可用性要求,模块化软件设计模块化的平台设计使存储服务应用易于集成、管理和维护,经济的云存储服务平台,系统集中监控和管理网络