第2章-物联网存储系统基础.ppt

物联网数据存储及管理,第2章物联网存储系统基础,目录,存储系统概述基于对象存储简介基于对象存储系统研究状况,存储系统概述,计算机系统中CPU/主存与存储子系统之间的访问速度差距越来越大磁盘阵列技术（RedundantArrayofInexpensiveDisks,RAID）传统的单机数据处理方式被依附在网络上的以数据为中心的数据处理方式所取代,存储器类型a.存取方法：顺序存取：磁带直接存取：块间直接到达、块内顺序存取随机存取：每一位置有唯一的寻址机制关联存取：一个字通过其部分内容而不是地址进行访问，Cache,b.功能：只读存储器:ROM,CD-ROM可重写的存储器:disk可擦除的存储器：EPROMc.物理类型：半导体、磁表面、光d.物理特性：易丢失/不易丢失、可擦除/不可擦除,半导体主存储器（1）分类随机存储器RAM：数据易失静态RAM：触发器中逻辑门，快动态RAM：电容充电存储数据，需刷新b.只读存储器ROM：数据永久保存微程序设计、常用函数库、系统程序、功能表批量生产c.可编程ROM（PROM）：写一次，数据不丢失少量生产,写一次读多次：d.PROM（EPROM）：紫外线擦除、电写、数据不易失e.快闪（FLASHMemory）：一至几秒内被擦除，数据不易失f.电可擦PROM（EEPROM）存放配置信息,(2).高级DRAM结构1)增强的DRAMEDRAM在普通的DRAM芯片中集成了一小块SRAM刷新操作能够与Cache读操作并行进行EDRAM性能等于或高于带有较大的外部SRAM的DRAM,2)带Cache的DRAMCDRAMCDRAM中SRAM作为真正的Cache使用，每槽64位，对随机存储有效；EDRAM中SRAM仅包含一块，最近存取的一槽3）同步DRAMSDRAM与处理器的数据交换同步于外部的时钟信号，并且以处理器/存储器的最高速度运行，不插入等待状态。异步模式下，处理器需等待存取延时后，存取数据，性能低。SDRAM采用猝发方式，在存取第1位后，一系列的数据位能够快速地随着时钟输出。（同一行中）双存储体内部结构提高并行性。SDRAM串行传输大块数据时性能最好。,4）RambusDRAM解决存储器带宽问题，28根线与处理器交换数据。总线最多能寻址320块RDRAM芯片，传输率可达500Mbps。使用异步的面向块的协议传送地址和控制信息。5）RamLink集中在处理器和存储器接口，而不是DRAM芯片的内部结构；存储器环形排列的点到点连接器的接口；数据以包的形式交换。,(3)FLASHMEMORYFEATURESFlexibledual-bankarchitecture*SupportfortrueconcurrentoperationwithzerolatencyReadbankaduringprogrambankbandviceversaReadbankaduringerasebankbandviceversaBasicconfiguration:Seventy-oneerasableblocksBanka(4Mbfordatastorage)；Bankb(28Mbforprogram)VCC,VCCQ,VPPvoltages*1.65V(MIN),2.2V(MAX)VCC,VCCQ12V5%(HV)VPPtolerant,Randomaccesstime:100nsand110ns1.65VVCCPageModereadaccessFouroreightwordsInterpagereadaccess:100ns/110ns1.65VIntrapagereadaccess:35ns/45ns1.65VLowpowerconsumption(VCC=1.8V)READ25mAWRITE/ERASE20mA(MAX)Standby12A(TYP)Automaticpowersavingfeature(APS),Competition:SSD,HybridSSD,磁存储器借助磁性材料的两种剩余磁化状态，或磁化与非磁化的两种材料状态，或有磁化翻转和无磁化翻转的两种状态记录二进制数据信息。磁面存储器磁层上记录的是正、负磁化状态或磁化状态的变化，即磁化翻转。按媒体基底材料的不同，分为两类。使用柔性基底材料的设备有磁带机，软磁盘机。使用刚性基底材料的是硬磁盘驱动器。,光存储器利用微小的激光束照射光记录媒体上，使被照射部位发生热效应或光效应，从而改变媒体的光学（或光磁）性质以记录信息的一类存储设备。读出时，媒体表面的状态转变为反射光强或偏振光的偏转角旋转，还原出记录的信息。种类：只读光盘存储器只写一次读多次光盘存储器可擦光盘存储器,计算机中存储器分层结构存储器设计的三个问题：容量、速度、价格,存储系统概述,感知层：半导体存储处理层：大容量网络存储系统/数据中心,存储系统概述,基本的网络存储系统结构包括：传统以服务器为中心的直接连接存储（DirectAccessStorage,DAS）附网存储（NetworkAttachedStorage,NAS）存储区域网（StorageAreaNetwork,SAN）面向对象存储（Object-BasedStorage，OBS）,直接连接存储（DirectAccessStorage,DAS）,工作在服务器/客户机的模式下，将具有块接口的存储设备（如磁盘、阵列）通过专用I/O通道，连接到文件服务器上存储设备相当于服务器的一部分，由服务器提供存储管理与对外服务数据的传输是以服务器为中心的，可以方便的集中管理数据,TypicalLANusingDAS,直接连接存储（DirectAccessStorage,DAS）,客户访问存储系统中的信息资源时，数据需要在存储设备和服务器中间多次转发当大规模用户进行数据访问时，服务器的转发控制带来非常大的开销，使得文件服务器成为了整个系统中的性能瓶颈，对系统整体读写性能与可扩展性产生很大影响,附网存储（NetworkAttachedStorage,NAS）,是一种以数据为中心的存储结构，存储子系统不再通过专用I/O通道附属于某个服务器通过专门系统的定制，将通用服务器上无关的功能去掉，只保留存储相关功能可以看成是一台专门负责存储的“瘦”服务器，具有比DAS更高的读写性能,NAS是一个带有瘦服务器的存储设备。I/O途径仍为传统的方式。,附网存储（NetworkAttachedStorage,NAS）,NAS提供文件级数据访问，支持NFS与CIFS网络文件协议，实现异构平台之间的数据级共享，在文件级别上建立安全机制也很容易但是，NAS没有从根本上改变服务器/客户机的访问方式，因此当客户端数目或来自客户端的请求较多时，NAS服务器仍将成为系统的瓶颈,存储区域网（StorageAreaNetwork,SAN）,真正地将存储子系统从服务器上分离出来独立的连接在高速专用网上的，是一种以网络为中心的存储结构分为基于光纤通道的FC-SAN和基于IP网络的IP-SAN客户通过高速专用网与存储设备连接在一起，进行存储系统的集中管理，具有较好的扩展性,SAN采用FC(或IP)交换网络互联存储设备构成存储区域网,存储区域网（StorageAreaNetwork,SAN）,SAN中的服务器专门用来存放元数据，元数据描述了数据本身的属性，完成文件到存储设备物理块的映射客户在访问时，通过从元数据服务器得到的元数据，直接访问存储设备，避免了传统服务器因转发带来的延迟，使得SAN具有较高的性能,存储区域网（StorageAreaNetwork,SAN）,由于SAN是以块为访问接口，使安全性管理非常有限随着存储设备与客户数量的提高，元数据服务器的负载过大，成为系统中的潜在瓶颈,面向对象存储（Object-BasedStorage，OBS）,采用对象接口，大小动态可变，吸收了NAS与SAN的优点，既有“块”接口的快速，又有“文件”接口的便于共享同时克服NAS与SAN的不足，削弱了影响性能提升的环节，系统具有较高的性能与可扩展性,面向对象存储（Object-BasedStorage，OBS）,OBS最显著的特点就是把数据存储的物理视图下放到对象存储设备（Object-BasedStorageDevice，OSD）元数据服务器上只负责维护全局逻辑视图，用户在进行数据传输时，直接与OSD通信元数据服务器没有直接干预，从而大大减轻了元数据服务器的负担，弱化了系统中的瓶颈环节,四种存储系统结构图,基于对象存储简介,最基本的概念就是对象（Object），它是一种数据的逻辑组织形式容纳了长度可变的数据块和可扩展的存储属性的基本容器，提供与文件类似的访问接口，例如打开、关闭、读/写等,基于对象存储简介,文件被分割为一定数量的对象，分布存储在系统中多个“智能磁盘”上，这种智能磁盘被称作OSD（Object-basedStorageDevice）OSD具有一定的处理能力，能够管理本地存储的对象的物理分布，并为客户提交文件访问服务,基于对象存储简介,传统存储系统文件服务器上负责全局逻辑视图管理的功能由专门的元数据服务器（MDS，Meta-DataServer）来负责MDS上维护着全局文件目录与访问控制策略，协调客户端与OSD之间的交互，管理与文件系统组织结构与宏观布局有关的元数据,基于对象存储简介,基于对象存储系统的最基本思想就是将存储系统中的数据交互分为数据通路与控制通路两部分是一种带外传输方式由客户、MDS与OSD组成了三方架构其中的控制通路负责数据的控制、管理功能由MDS实现数据通路负责数据的存储管理功能，数据的存储管理功能被分离出来交由智能的OSD实现,基于对象存储简介,OBS系统中典型的交互流程,1.用户将文件读写请求提交客户端，客户端将要访问的文件名、数据长度等信息以一定的格式传递给MDS；2.MDS收到客户端请求，对客户进行安全检测，通过后，将该次访问涉及到的元数据与授权证书发送给客户；3.MDS通知OSD有客户即将与其进行数据传输，做好数据发送或接收的准备，并将相关的安全认证信息告诉此OSD；4.客户使用MDS反馈的元数据和安全授权，与相应服务器直接进行数据交换；5.文件访问结束，OSD向MDS通知数据传输完毕，并提交对象更新信息，MDS进行相应元数据的更新,OBS系统中典型的交互流程,通过数据通路与控制通路的分离，将元数据服务器与存储设备分离，大大减轻了读写过程中元数据服务器的负担客户进行文件访问时，首先通过控制通路从MDS得到该文件在OSD集群上的分布信息与访问授权命令，之后通过数据通路直接访问OSD整个系统中不同设备各负其职，没有明显的瓶颈环节,对象,对象是系统中数据存储的一种基本单位，它提供了数据的一种逻辑组织形式即文件和磁盘块之间的逻辑抽象。对象向上提供调用系统接口，使磁盘能够进行相关操作一个对象实际上就是文件的数据和文件的一组属性的组合，这些属性除了描述对象文件特征以外，还包括对象的元数据,对象,对象是可变长的，它可以包含各种类型的数据基于应用的各种需要，数据的类型有文件、图像、多媒体视频音频以及数据库记录等而在传统的存储系统中用文件或块作为基本的存储单位，大小是固定的,对象,所有对象都有一个唯一的对象标识，它就是对象号(ObjectID，OID)对象号由分区号(PartitionID，PID)和用户号(UserID，UID)组成通过对象号OSD命令访问该对象,对象属性,由对象属性号标识对象属性号由对象ID、对象属性索引(index)以及对象属性偏移(offset)组成对象属性分为静态属性(如创建时间等)、动态属性(如最后访问时间)和应用相关信息(文件名、组、用户ID等)属性也可以是当前访问该对象用户的行为，如W/R速率、QoS等属性反映了对象的特点和行为，OSD可利用这些属性对数据进行组织、操作和优化,OSD,保存对象的存储设备称为基于对象的存储设备(Object-BasedStorageDevice，OSD)具有一定的智能，有自己的CPU、内存、网络、存储介质和操作系统,OSD主要功能,数据存储。OSD以对象形式存储数据，将对象映射为底层的逻辑块，并将它们放置在标准的磁盘系统上。OSD不提供块接口访问方式，采用对象ID、偏移进行数据读写。,OSD主要功能,智能分布。OSD通过对象属性了解外部环境，然后用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。,OSD主要功能,对象元数据的管理。OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销,对象存储系统,是运行在OBS各个部分上的一种分布式文件系统在OBS三端各有自己的模块层次和分布策略。它与传统分布式文件系统差异很大，可以满足高性能及高扩展性的需求,对象存储系统,系统的体系结构,Windows客户端提供两种接口：应用程序编程接口(ApplicationProgrammingInterface，API)和虚拟逻辑盘。其中API是基于OSD命令集规定的一组标准的命令接口，用于对对象进行操作。,系统的体系结构,用户通过调用API，由OSDDLL进行命令解析，并交由iSCSI模块发送。iSCSI是由IETF开发的一种网络存储标准，它是在TCP/IP网络上传输SCSI协议，通过TCP/IP报文、和iSCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输Windows客户端还可以向用户提供一个虚拟逻辑盘，用户可以像访问本地磁盘一样对其进行格式化和各种读写操作,Linux客户端,向用户提供两种访问接口：API和一个目录。与Windows不同的是，Linux客户端在VFS注册一个新的文件系统OBSFS(Object-basedStorageSystemFileSystem)。用户可以使用Mount命令将此文件系统挂接到某个目录下,Linux客户端,系统对此目录的访问将被OBSFS进行重定位。OBSFS将这些信息交给OSD模块，封装成对象操作命令，再由底层的iSCSI和socket模块发送到网络上,对象存储设备端,对外提供基于对象的访问接口，负责管理磁盘的数据组织与空间的管理iSCSI模块负责接收网络上传来的数据并解析，然后交由OSD模块处理，产生对象操作命令然后由基于对象存储设备端文件系统(Object-basedStorageDeviceFileSystem，OSDFS)进行处理。OSDFS是OBFS中的重要组成部分，负责对象数据及其属性在磁盘上的存放,对象存储设备端,通用的文件系统(如Ext2)对大文件的支持不够理想，为此OSDFS在Ext2基础上进行了改进，将对象按照大小分为两种：小对象(4KByte左右)和大对象(512KByte左右)。小对象仍使用Ext2原有的方式进行存放，而大对象在存放时申请一个连续的磁盘空间,MDS端,负责维护文件到对象的映射关系，实时掌握OBS的各种信息(包括负载、可利用空间等)，实现负载平衡，并负责管理用户的身份验证和访问权限。MDS对权限的管理以对象为基本粒度，它介于块和文件之间，在方便管理性和安全性之间做了一个较好的平衡。,MDS端,MDS使用LDAP(LightweightDirectoryAccessProtocol)协议为每个用户维护一张文件与对象的对应表。一个文件可分为多个对象，多个文件也可聚合在一个对象中,基于对象存储系统研究状况,NASDLustreActiveScaleStorageTank,NASD,基于对象的存储的研究最早起源于卡内基梅隆大学并行数据实验室的NASD（Network-AttachedSecurityDisks）项目基本思想是将处理器集成到磁盘驱动器，使它具有一定的智能，能够独立管理其自身的安全、存储和网络通信。,NASD,NASD采用一种命令接口结构将文件管理器的大部分工作转移到磁盘上对于流量大、要求迅速响应的操作，如读写，可直接对磁盘驱动器进行操作对于带宽依赖小的操作，如全局目录空间的管理，则由专门的文件服务器处理NASD的提出已经从系统架构上提出了基于对象存储的原始模型,Lustre,Lustre是Clusterfilesystem公司在SAN存储结构基础上加以改进得到的基于对象存储的高性能存储系统。Lustre对象存储系统就是由客户端（Client）、存储服务器（OST，ObjectStorageTarget）和元数据服务器（MDS）三个主要部分组成三个部分通过高速的互联网连接，是一种对象存储系统典型的三方架构Lustre提供标准的POSIX接口，客户端可以透明的访问Lustre系统中的数据，而无需知道这些数据的具体位置,Lustre,Lustre对象存储文件系统就是由客户端(Client)、存储服务器(ObjectStorageTarget，OST)和元数据服务器(MDS)三个主要部分组成三个部分通过高速的互联网连接。Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互Lustre是一个高度模块化的系统，三个组成部分可以在一个节点上工作，也可以在不同的节点上工作,Lustre,Lustre是一个透明的全局文件系统，客户端可以透明地访问集群文件系统中的数据，而无需知道这些数据的实际存储位置客户端通过网络读取服务器上的数据，存储服务器负责实际文件系统的读写操作以及存储设备的连接元数据服务器负责文件系统目录结构、文件权限和文件的扩展属性以及维护整个文件系统的数据一致性和响应客户端的请求,Lustre,全局命名空间为文件系统的所有客户端提供了一个唯一的有效全局目录树将数据分成条块，分配到各个存储服务器上这种方式提供了比传统SAN的“块共享”更为灵活的共享访问方式全局目录树消除了在客户端的配置信息，并且在配置信息更新时仍然保持有效,ActiveScale,ActiveScale是Panasas公司推出的一个商业化的对象存储系统应用于大规模Linux集群环境该系统硬件环境由StorageBlade、DirectorBlade和高速互连网络组成,ActiveScale,StorageBlade就是对象存储体系结构中的OSD，是具有一定智能性的存储设备可以管理本地存储的数据DirectorBlade充当MDS的角色，具有很强的处理能力与高速的互连网接口整个系统的架构与工作流程与传统对象存储系统模型一致同时设计了专门优化设计的Panasas文件系统，使ActiveScale在Linux集群环境中性能表现优异，可扩展