《大数据离线分析技术》课件-19.配置和使用HDFS快照_第1页
《大数据离线分析技术》课件-19.配置和使用HDFS快照_第2页
《大数据离线分析技术》课件-19.配置和使用HDFS快照_第3页
《大数据离线分析技术》课件-19.配置和使用HDFS快照_第4页
《大数据离线分析技术》课件-19.配置和使用HDFS快照_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

配置和使用HDFS快照大数据离线分析教学目标1.了解HDFS快照的背景

2.掌握HDFS快照操作。1.背景信息HDFS快照（Snapshots）是文件系统在某一时刻的只读副本。快照可以在文件系统的一个分支或者整个文件系统上生成。快照常用来备份数据，防止错误性的操作。本文为您介绍HDFS快照的目录、路径以及相关的快照操作2.HDFS快照的特征快照的创建是瞬时的，时间复杂度为O(1)，不包括INode查找时间。快照的创建是瞬时的仅当修改快照相关的数据时才会使用额外的内存，内存使用复杂度为O(M)，其中M是修改的文件或目录的数量。使用额外的内存快照不会对常规的HDFS操作造成不利影响，修改操作按照时间倒序记录，以便可以直接访问当前最新的数据。快照数据是通过当前数据减去修改的部分计算得到的操作影响DataNode中的数据块不会被复，快照文件仅记录块列表和文件大小，不涉及数据复制数据块不会被复制3.快照目录当目录被设置为允许快照时才会生成快照。一个快照目录可以同时容纳65536个快照。快照目录的数量是没有限制的。管理员可以将任何目录设置为快照。如果一个目录中有快照，则在删除所有快照之前，既不能删除也不能重命名该目录。不允许级联的快照目录。如果一个目录的父目录或者子目录是快照目录，则不能将该目录设置为快照。4.快照目录对于一个快照目录，访问时需要添加/.snapshot后缀。操作快照的命令示例如下：列出快照目录下的所有快照hdfsdfs-ls/foo/.snapshot列出快照s0中的所有文件hdfsdfs-ls/foo/.snapshot/s0从快照s0中复制文件hdfsdfs-cp-ptopax/foo/.snapshot/s0/bar/tmp5.快照操作允许快照：允许创建目录的快照。如果操作成功完成，该目录将变为可快照目录。hdfsdfsadmin-allowSnapshot<path>禁止快照：禁止创建目录的快照。在禁止快照之前，必须删除该目录的所有快照。hdfsdfsadmin-disallowSnapshot<path>创建快照：创建目录的快照。该操作需要快照目录的所有者权限。hdfsdfs-createSnapshot<path>[snapshotName]6.快照操作重命名快照：重命名一个快照。该操作需要快照目录的所有者权限。hdfsdfs-renameSnapshot<path><oldName><newName>获取快照目录列表：获取当前用户拥有快照权限的所有快照目录。hdfslsSnapshottableDir获取快照区别报告：获取两个快照之间的区别。该操作需要快照内所有文件或目录的读权限。hdfssnapshotDiff<path><fromSnapshot><toSnapshot>小结1.HDFS快照是文件系统在某一时刻的只读副本，用于备份数据和防止错误操作。2.快照的创建是瞬时的，且不会对常规HDFS操作造成不利影响。3.快照目录可以容纳多达65536

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论