版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
数据冗余存储2学习任务初步了解HDFS数据冗余存储熟悉HDFS数据存储的优缺点3知识目标什么是数据冗余存储结合HDFS说明数据冗余存储了解HDFS数据存储的优缺点01能力目标能够掌握数据冗余存储的基本概念针对HDFS存储优缺点加深理解02学习目标4目录01数据冗余简介02HDFS的数据冗余存储简介03HDFS数据存储优点04HDFS数据存储缺点5数据冗余简介数据冗余是指数据之间的重复，也可以说是同一数据存储在不同数据文件中的现象。可以说增加数据的独立性和减少数据冗余是企业范围信息资源管理和大规模信息系统获得成功的前提条件。6HDFS的数据冗余存储简介HDFS是一种高度分布的多层次结构布局。典型的HDFS集群是由数百个服务器被同时部署在同一个集群之中，并且可以同时被来自同一或者不同地点的多个客户机进行访问。概述7HDFS的数据冗余存储简介为了实现这两个目的，仅仅在多台机器上进行单一存储是不够的，并不能预防硬件设备失误带来的损失。因此而采用的是多副本存储复制。概述8HDFS数据存储优点数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，可以自动恢复，这是由HDFS内部机制实现的，我们不必关心。高容错性9HDFS数据存储优点它是通过移动计算而不是移动数据。它会把数据位置暴露给计算框架。适合批处理10HDFS数据存储优点数据规模：能够处理数据规模达到
GB、TB、甚至PB级别的数据。文件规模：能够处理百万规模以上的文件数量，数量相当之大。节点规模：能够处理10K节点的规模。适合大数据处理11HDFS数据存储优点一次写入，多次读取，不能修改，只能追加。它能保证数据的一致性。流式数据访问12HDFS数据存储优点它通过多副本机制，提高可靠性。它提供了容错和恢复机制。比如某一个副本丢失，可以通过其它副本来恢复。可构建在廉价机器上13HDFS数据存储缺点比如毫秒级的来存储数据，这是不行的，它做不到。它适合高吞吐率的场景，就是在某一时间内写入大量的数据。但是它在低延时的情况下是不行的，比如毫秒级以内读取数据，这样它是很难做到的。不适合低延时数据访问14HDFS数据存储缺点存储大量小文件的话，它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。无法高效的对大量小文件进行存储15HDFS数据存储缺点一个文件只能有一个写，不允许多个线程同时写。仅支持数据
append（追加），不支持文件的随机修
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论