《大数据离线分析技术》课件-14.HDFS存储原理-异构存储

异构存储大数据离线分析教学目标1.了解异构存储背景

2.了解hdfs支持的存储类型

3.掌握存储策略

1.异构存储背景在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个热、温、冷等这些特性。那么针对数据的热度，我们可以采用不同的策略，存储到不同的存储介质上。比如：针对经常访问的数据，我们可以存储在SSD上。针对访问频率不高的，我们可以存储在DISK，即普通的硬盘上。针对几乎不会访问的数据，保存在归档介质上。2.hdfs支持的存储类型hdfs支持如下4中存储类型ARCHIVE：

它具有高存储密度（PB级存储）但计算能力弱，一般用于归档文件的存储。DISK：

普通磁盘，默认的存储类型SSD：SSD固态硬盘RAM_DISK：

支持在内存中写入单个副本文件2.hdfs支持的存储类型hdfs是不会自动检测我们指定的数据存储目录是何种存储类型的，需要我们在配置的时候告诉hdfs。指定目录的存储类型hdfs-site.xml<property><name>dfs.datanode.data.dir</name><value>[SSD]file:///var/hadoop/dfs/data1,[DISK]file:///var/hadoop/dfs/data2</value></property>：3.存储策略在hdfs中支持如下存储策略Hot：

用于存储和计算。当我们的数据是热数据时，可以使用这种存储策略，所有的副本都在DISK中。Warm：

仅适用于计算有限的存储。不再使用的数据或需要归档的数据从热存储移动到冷存储。当一个块冷时，所有副本都存储在ARCHIVE中。Cold：部分热和部分冷。当一个块是热的时，它的一些副本存储在DISK中，其余的副本存储在ARCHIVE中。3.存储策略在hdfs中支持如下存储策略All_SSD：用于将所有副本存储在SSD中。One_SSD：用于将其中一个副本存储在SSD中。其余副本存储在DISK中。Lazy_Persist：用于在内存中写入具有单个副本的块。副本首先用RAM_DISK写入，然后懒惰地保存在DISK中。Provided：用于在HDFS之外存储数据4.StoragePolicyResolution创建文件或目录时，未指定其存储策略。可以使用storagePolicy-setStoragePolicy命令指定存储策略。文件或目录的有效存储策略由以下规则解析。如果文件或目录指定了存储策略，则返回它。对于未指定的文件或目录，如果是根目录，则返回默认存储策略。否则，返回其父级的有效存储策略。有效的存储策略可以通过storagePolicy-getStoragePolicy命令检索。5.配置存储策略如果一个datanode上的存储位置/grid/dn/disk0是DISK类型，应该配置为[DISK]file:///grid/dn/disk0如果一个datanode上的存储位置/grid/dn/disk0是SSD类型，应该配置为[SSD]file:///grid/dn/disk0如果一个datanode上的存储位置/grid/dn/disk0是ARCHIVE类型，应该配置为[ARCHIVE]file:///grid/dn/disk0dfs.storage.policy.enabled用于启用或禁止存储策略特性，默认值是truedfs.datanode.data.dir在每个数据节点上，逗号分隔的存储位置应标记其存储类型。这允许存储策略根据策略将块放置在不同的存储类型上小结1.异构存储背景涉及数据的热、温、冷特性，以及根据数据热度采用不同存储介质的策略2.hdfs支持的存储类型包括ARCHIVE,DISK,SSD,和RAM_DISK3.hdfs的存储策略包括Hot,Wa