2023学年完整公开课版Hadoop集群_第1页
2023学年完整公开课版Hadoop集群_第2页
2023学年完整公开课版Hadoop集群_第3页
2023学年完整公开课版Hadoop集群_第4页
2023学年完整公开课版Hadoop集群_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

孟繁兴Hadoop集群目录0102Hadoop架构概览Hadoop集群Hadoop架构概览1Hadoop架构概览为了更好地对Hadoop进行管理，理解Hadoop的两个关键组件HDFS(存储组件)和YARN(处理组件)是非常重要的。网页排名和社交搜索与社交网站是处理常规数据流的两个比较典型的例子。使用并行技术，可以使对这些数据的挖掘变得容易。为了有效地处理此种类型的海量数据集，使用一种不同的软件栈势在必行。传统的数据处理更多地关注更强的计算机，因此导致了超级计算机的出现，而新的方法则使用由便宜的计算机连接起来的集群。Hadoop架构概览以Hadoop为代表的新软件栈，以分布式文件系统为基础。与传统数据库不同，此类文件系统通常使用非常大的数据块，以便快速处理大量数据。其另一个关键特性是内置的数据冗余特性，因为文件系统使用廉价的计算节点，每个节点都可能随时失败。我们通过在多台服务器上建立数据备份来提供冗余性，典型的是三备份机制。Hadoop架构概览下面讨论组成Hadoop的两个主要模块：数据存储(HDFS)和操作系统(YARN)。HDFS为所有Hadoop操作提供底层存储。Hadoop系统中的数据就是存储在HDFS中，其恰好位于底层的Linux(或Windows)文件系统之上。YARN不仅可以执行MapReduce框架，而且还支持如Tez和Spark等其他框架。在深入讨论Hadoop之前，最好弄清楚Hadoop集群是什么，集群中不同类型的节点以及集群中运行的服务类型。Hadoop集群2Hadoop集群解释了Hadoop集群是什么。总而言之，Hadoop集群是一个使用以分布式文件系统(HDFS)和集群资源管理器(YARN)为基础的Hadoop软件的计算机集合。任何超过一台机器的组合都可以构成一个集群。可以运行一个只有几个节点的小型集群，同时也可以构建诸如Yahoo等组织维护的非常大的集群，其最大的Hadoop集群超过了10000个节点。无论规模大小，在Hadoop集群中的所有部件都同等运行。Hadoop集群在实际中，Hadoop通过在后台运行的一组守护进程来实现存储和处理。用户不必关心这些进程，因为它们在网络间执行输入/输出，无须用户干预

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论