高级存储技术

高级存储技术目录对象存储和元数据重复数据删除数据保护与恢复总结2

对象存储和元数据3正如前面所提到的，在直联系统中，一般采用一种文件层级来存储数据，在MSN中则以数据库的形式将数据排列存储于磁盘分区中。遗憾的是，在这些存储系统中查找一个特定额数据分片是非常困难和耗时的，例如我们可以试想一下，从你的便携式电脑的文件系统中找到一张指定的照片，需要花费多长时间，在近15年的时间里，这种需求推动大量风险投资，进入一种新技术基于对象的存储。这是一种新的存储架构，将数据视为一个对象，而非一个文件或者一个快软件工程师都比较熟悉面向对象的程序设计，这种技术将一段代码视为一个对象，并且具有与之相关的属性，在基于对象的存储中，一个数据块被视为一个对象，而每个对象还有与之相关的袁书记，袁书记在整个存储系统中可以作为一种唯一标识符，用于从对象中快速恢复数据。

数据保护与恢复4大多数内存控制器在服务器级的处理器，采用纠错编码技术。通过采用多个额外的位，不仅能探测到一个或两个损坏的位，还能纠正单个位的错误。存储系统也采用了一些检测和纠正数据错误的方法，这些将在下面介绍。

数据保护与恢复5RAID0：如果你有n块磁盘，做了RAID0之后，n块可以同时写，速度提升很快，但由于没有备份，可靠性很差。n最少为2。RAID1：如果你有n块磁盘，把其中n/2块磁盘作为镜像磁盘，在往其中一块磁盘写入数据时，也同时往另一块写数据。坏了其中一块时，镜像磁盘自动顶上，可靠性最佳，但空间利用率太低。n最少为2。RAID5：在RAID3的基础上有所区别，同样是相当于是1块盘的大小作为校验盘，n-1块盘的大小作为数据盘，但校验码分布在各个磁盘中，不是单独的一块磁盘，也就是分布式校验盘，这样做好处多多。最多坏一块盘。n最少为3.

纠删码6

目前大型云数据中心正在采用纠删码，为其存储系统提供数据保护。这是因为采用标准raid的大容量磁盘重建时间过长，而且许多大型云数据中心都部署了分布式数据存储。在使用纠删码时，数据被扩展和编码，并被分解成小的片段，存储在多个地方，以提供数据冗余。如果一些碎片发生损坏，只要有足够的可供验证的碎片，仍然可以恢复所有数据。大型数据中心需要在机架的多个磁盘上存储数据，而且由于要将冗余数据传输到多个位置，还需要增加额外的网络通信量。对于这种情形，采用纠删码是非常理想的。此外，当从多个存储段，存储设备组装数据时，还存在冗余数据开销。在raid系统中，这种数据重建发生于存储阵列中，在网络上只能看到其最终结果。

层次化存储7

为了在存储的层次和容量上达到某种妥协，我们需要构建层次化的存储体系，如下图所示，需要经常访问的数据，仅占全部存储数据的一小部分，大量的数据并不经常访问将这样的数据放在相对底层的位置。

层次化存储8

上图，展示了一个三层存储结构，各个层级在性能，成本和容量上都有所不同，闪存比htd具有更高的性能，但是成本也更高，而且存储容量比其他类型的存储方式更小。这种高性能存储层级的设备可以使用PCie直接连接到处理器上，此外一些厂商还提供了可以放置于服务器机架内的高容量闪存设备。有时候还可以在一些存储阵列中使用固态闪盘，以提高性能。底层是数据归档层，有时也被称作冷存储，在这里可以采用磁带驱动器或者蓝光驱动器进行长期存归档存储，也可以采用低成本的sata驱动器阵列。这里的关键点在于，要是该层次结构对应用程序不可见，在大型数据中心里，这是一个非常复杂的过程，而且这样的数据搬移会增加数据中心网络的通信量，不管怎么说，层次化存储都有助于对大型云数据中心的成本与性能折衷进行优化。

重复数据删除9

众所周知，电子化的数据每年都在以惊人的速度持续增长，数据中心必须不断增加大量的存储器来满足这种需求，试想一下企业数据中心里存在多少重复数据，现在当每位员工的本地硬盘上都在云上做了备份时云数据中心网络上将存在同一数据的多个副本，多种类型的数据重复，极大的增加了云数据中心的存储需求。这正是需要用到数据去重方法的地方。通常有两种数据去重方法。一种方法名为后置去重，用于处理已经存储的数据检验是否存在可以删