客户端和HDFS之间的交互_第1页
客户端和HDFS之间的交互_第2页
客户端和HDFS之间的交互_第3页
客户端和HDFS之间的交互_第4页
客户端和HDFS之间的交互_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：朱佳目录0102HDFS简介客户端和HDFS之间的交互HDFS简介1HDFS简介

HDFS是明确为大数据(大型数据集合)设计的一个分布式、容错的文件系统。一个HDFS实例通常包含许多节点，每个节点存储部分数据。HDFS的设计核心是提高处理数据的吞吐量而不是低延迟，因此更适合数据的批处理，而非交互式处理。HDFS弱化了一些POSIX语义以获求吞吐量提升。HDFS对存储在其上的数据使用一次写入多次读取的文件控制模型。一旦一个文件被写入并且存储到HDFS系统上，只可以追加写入该文件而不能修改，从而达到提高吞吐量的目标。HDFS简介

HDFS支持通用的文件系统操作，比如文件读写、目录创建及删除等。无须担心HDFS上数据块的多备份存储。只需通过HDFS命名空间中的路径即可引用HDFS中的路径和文件。用户应用可以使用HDFS客户端来访问HDFS上的数据，该客户端是一个导出HDFS文件系统的接口。HDFS简介

在一个Hadoop集群中，有一个独立的NameNode服务扮演主节点的角色，管理文件系统的命名空间并控制客户端对HDFS上文件的访问。DataNode服务几乎运行在集群中的所有节点上(其可以运行在集群的每一个节点上，但通常单独指定2~4个节点作为主服务节点，来运行关键的服务，例如NameNode、ResourceManager)并管理在其运行节点之上存储的数据。NameNode管理HDFS文件的元数据，并将其存储于镜像文件中。DataNodes管理HDFS上文件的实际数据，并将其存储在DataNode的运行节点上。HDFS简介

HDFS将数据存储在HDFS文件中，HDFS文件由大量的文件块(默认大小是128MB)组成。现在已经知道，文件块被复制存储在多个数据节点上。NameNode可以执行以下HDFS功能:执行所有的HDFS操作，如打开/关闭文件或目录。映射数据块到DataNodes。维护元数据，如文件的块副本存储位置、文件当前的状态以及文件的访问控制信息等。HDFS简介

DataNodes提供所有来自客户端的读写请求。在接收到NameNode的命令后，其还执行文件块的创建、删除、复制等操作。客户端也可以直接和DataNode交互，进行文件块的创建、读、写以及副本传输操作。DateNode的守护进程保持一个开放端口以与客户端及其他DataNode节点进行通信。该端口使得NameNode知道服务器和端口信息，所以NameNode可以向DataNode和客户端发送信息。保持服务端socket的连接打开能够使客户端更有效率地读写。客户端和HDFS之间的交互2客户端和HDFS之间的交互应用程序将HDFS客户端库整合进其地址空间中，该客户端库会管理应用程序同NameNode以及其他DataNodes的通信。HDFS通过其API提供文件块位置信息，使

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论