项目2-部署Hadoop分布式平台-知识准备

部署Hadoop分布式平台-知识准备在互联网浪潮席卷全球，移动设备成为人们日常生活中不可或缺的一部分的时代背景下，小数所在的公司迎来了数据“洪流”。每天都有数以亿计的数据涌入公司的数据库，这些数据的存储和处理成为了影响公司发展的瓶颈。面对这一挑战，公司急需一种强大的工具来驯服这股数据“洪流”，而Hadoop作为一个开源的分布式计算平台，无疑是一个好的选择，因为Hadoop能够轻松地处理大规模数据集。小数之前已经配合大数据运维工程师部署了一个基础的大数据平台。在本项目中，他需要基于之前部署好的大数据平台，进一步部署Hadoop分布式平台。他深知，这个平台将成为公司处理数据的基石，未来还可以在其中添加和集成Hadoop生态系统中的其他工具和应用程序。因此在这个项目中，小数不仅是技术的实施者，更是公司未来数据蓝图的绘制者。项目背景明确Hadoop的技术定位、应用场景及其在大数据体系中的核心地位。理解Hadoop的核心特性及其中核心组件的功能。了解Hadoop三种部署模式的差异与适用场景。能独立完成Hadoop完全分布式集群的部署，并确保节点通信正常、组件稳定。能通过命令行提交MapReduce任务，会查看任务日志并验证结果，理解分布式计算过程。形成“规划-核查-验证-排查”的规范习惯，能解决集群中的常见问题，理解集群基础对后续组件的影响，树立高可用理念，培养严谨的思维。学习目标项目导图目录1Hadoop应用场景Hadoop简介2Hadoop核心特性3Hadoop核心组件4Hadoop生态系统56Hadoop部署模式Hadoop简介随着互联网、物联网的快速发展及移动设备的广泛使用，人们日常生活中产生了越来越多的数据，涉及的数据量已经从TB级别跃升到PB级别。这些数据中不仅包含传统的结构化数据，还包含大量的非结构化数据，如文本文件、音频、视频、微信、微博、HTML等。面对如此繁杂的数据，很多时候单机设备已经显得力不从心。Hadoop的设计思想就是，综合利用多台普通机器，打造一台超级计算机，以解决单机设备无法解决的问题。Hadoop简介Hadoop是一个由Apache基金会开发的，用Java语言实现开源的分布式计算框架，它允许用户使用简单的编程模型，在计算机集群中对大规模数据集进行分布式处理，能够在由大量计算机组成的集群中对海量数据进行分布式存储与计算，具有可靠、高效、可伸缩的特点。Hadoop可以从单台服务器扩展到由成千上万台机器组成的大规模集群，在集群部署中，每台机器均具备本地存储和计算能力，组合到一起，便可实现存储和计算大规模数据的目的。此外，每台机器上均有一个或多个节点，Hadoop通过将存储的数据备份在多个节点中来提升集群的可用性，当一台机器宕机时，其他机器依然可以提供数据备份和计算服务。目录1Hadoop应用场景Hadoop简介2Hadoop核心特性3Hadoop核心组件4Hadoop生态系统56Hadoop部署模式在设计之初，Hadoop以离线处理大批量的数据为主，经过十余年的发展，其生态系统不断完善。如今，Hadoop在大多数基于大规模离线数据处理的场景中均得到广泛应用。Hadoop应用场景大数据存储与处理Hadoop的主要应用场景是存储和处理大规模数据集，它能够处理成千上万台服务器的PB级数据，可满足各种数据存储、分析和处理的需求。数据仓库与数据湖Hadoop可用作数据仓库或数据湖，存储各种结构化数据和非结构化数据。企业可以将数据存储在Hadoop集群中，并结合Hadoop生态系统中的其他工具和技术进行数据分析、挖掘和可视化。Hadoop应用场景日志处理与分析Hadoop可以帮助企业高效地存储和分析日志数据，从中提取有用的信息，并进行性能监控、用户行为分析、异常检测。实时数据处理除了批处理，Hadoop还可以与Kafka和Flink等实时数据处理框架结合，实现实时数据处理和流式处理，进行实时监控、实时推荐等。目录1Hadoop应用场景Hadoop简介2Hadoop核心特性3Hadoop核心组件4Hadoop生态系统56Hadoop部署模式Hadoop核心特性分布式存储Hadoop使用HDFS来存储数据，HDFS可将数据分散在多个节点上，形成一个巨大的数据湖。分布式计算在数据处理方面，Hadoop采用MapReduce编程模型，它像一个庞大的“计算军团”，当需要进行复杂的数据分析时，每个计算节点都会并行地处理数据，以实现高效计算。可靠性和容错性为了应对硬件故障和数据丢失的风险，Hadoop提供了数据冗余存储机制和任务的重新执行功能，这确保了数据的安全性和集群的高可用性。Hadoop核心特性扩展性高Hadoop的设计允许用户轻松地在集群中添加更多的节点，以应对不断增长的数据需求。无论数据量多大，Hadoop都能实现线性扩展，这确保了系统的性能和效率。成本低Hadoop采用的计算机集群方式的成本比较低，普通用户也可以在自己的计算机上搭建Hadoop运行环境。生态丰富除核心功能外，Hadoop的生态系统中还包括许多可与之进行集成的工具和项目，为用户提供了丰富的数据处理和分析工具。目录1Hadoop应用场景Hadoop简介2Hadoop核心特性3Hadoop核心组件4Hadoop生态系统56Hadoop部署模式Hadoop有3大核心组件，分别是HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）、MapReduce，以及YARN。Hadoop核心组件1.HDFSHDFS在Hadoop中用于存储与读取数据，它通过独特的架构和设计理念，为企业和研究机构提供了一个可靠、可扩展的数据存储解决方案，并支持各种大数据应用和分析任务。HDFS体现为主从结构，一个HDFS集群中包括一个NameNode和若干DataNode。Hadoop核心组件（1）HDFS基本架构Hadoop核心组件（2）组件介绍元数据在HDFS中，元数据是关于文件系统对象（如文件和目录）的信息，其可被划分为以下3类。第1类是文件和目录自身的属性信息，如文件名、目录名、父目录信息、文件大小、创建时间、修改时间等。第2类是记录文件内容存储的相关信息，如文件分块情况、副本个数、每个副本所在的DataNode等。第3类是记录HDFS中所有DataNode的信息，元数据为文件系统对象提供了关键信息和上下文，是HDFS正常运行和进行数据管理的基础。Hadoop核心组件NameNodeNameNode维护了文件系统的目录树及文件到块的映射等信息，其包含以下两个核心数据结构。NameNode是HDFS中的主要组件，负责管理文件系统的命名空间和客户端对文件的访问。FsImage：用于维护整个文件系统目录树及其中所有文件和文件夹的元数据。Edits：用于记录所有针对文件的创建、删除、重命名等操作的日志文件。随着操作的积累，Edits文件会变得越来越大，这不仅会占用大量的磁盘空间，还会导致集群在启动时恢复到上次关闭状态所需的时间越来越长。为了解决这个问题，Hadoop引入了SecondaryNameNode。Hadoop核心组件SecondaryNameNode是HDFS中的辅助组件，负责协助NameNode进行元数据的备份和检查等操作，可提高HDFS的容错性和可靠性。SecondaryNameNode可以周期性地从NameNode中获取Edits文件和FsImage文件，并在本地对其进行合并，进而生成一个新的FsImage文件。合并完成后，SecondaryNameNode会将新的FsImage文件发送回NameNode，以替换旧的FsImage文件。之后，NameNode会删除旧的Edits文件，并创建一个新的Edits文件，以继续存储文件当前的修改状态。Hadoop核心组件数据块HDFS会根据系统默认的文件块大小（128MB）将文件分成一个个数据块（也可以根据需要，对该值进行配置和调整）。在大数据处理环境中，使用较大的数据块有助于提高数据处理的效率和吞吐量。DataNodeDataNode同样是HDFS中的主要组件，也是真正存储数据的地方，其负责处理文件系统客户端的读/写请求，并在NameNode的统一调度下进行数据块的创建、删除和复制等操作。在HDFS中，文件被分布存储在多个计算机节点上，成千上万的计算机节点构成了计算机集群。HDFS可以被划分成多个子系统或模块，它们各自运行在不同的机器上，相互通过网络通信进行协作。Hadoop核心组件（3）分布式原理HDFS通过将计算任务移动到数据存储的地方执行来实现数据的局部性处理。换句话说，就是在存储数据的节点上执行任务，以减少数据的传输需求。数据局部性HDFS将大文件切割成固定大小的块，每个块都会复制多次，然后分布到集群中不同的节点上。数据切割HDFS通过一个名为NameNode的主节点和多个名为DataNode的从节点来实现文件系统管理和数据块处理。主从架构在Linux命令终端，可以利用Shell命令完成文件的上传、下载、复制，以及查看文件信息、格式化名称节点等操作。使用“hdfsdfs-help”命令可以获取完整的命令列表及它们的用法。常用HDFS的Shell命令如下。Hadoop核心组件（4）Shell命令命令用法hdfsdfs-help查看帮助。hdfsdfs-ls<path>列出目录内容，<path>表示要列出的目录。hdfsdfs-touch<file>创建一个空文件，<file>表示要创建的文件的名称。hdfsdfs-mkdir<path>创建目录，<path>表示要创建的目录。Hadoop核心组件命令用法hdfsdfs-rm<path>删除空目录或文件，<path>表示要删除的空目录或文件名。hdfsdfs-cp<src><dest>复制文件或目录，<src>表示要复制的文件或目录，<dest>表示目标路径（可以是目录或文件名）。hdfsdfs-mv<src><dest>移动文件或目录，<src>表示要移动的文件或目录，<dest>表示目标路径（可以是目录或文件名）。hdfsdfs-put<local-src><hdfs-dest>将本地文件上传至HDFS，<local-src>表示本地文件，<hdfs-dest>表示HDFS路径。hdfsdfs-get<hdfs-src><local-dest>从HDFS中将文件下载至本地，<hdfs-src>表示HDFS中的文件，<local_x0002_dest>表示本地路径。hdfsdfs-cat<file>查看文件内容，<file>表示要查看的文件的名称。hdfsdfs-head<file>查看文件最前面1KB的内容，<file>表示要查看的文件的名称。hdfsdfs-tail<file>查看文件最后面1KB的内容，<file>表示要查看的文件的名称hdfsdfs-chmod<path>改变目录或文件的权限，<path>表示要更改权限的目录或文件的名称。MapReduce最初是由Google提出的，后来由Hadoop采纳并开源，它既是一种编程模型，也是一个处理框架，主要用于大规模数据的并行处理。。MapReduce主要用于分布式计算任务，如进行数据的排序、分析和转换等，它将计算任务分解成两个主要阶段：Map阶段和Reduce阶段。Hadoop核心组件2.MapReduceMap阶段先将输入数据切分成若干数据块，再对每个数据块应用一个映射函数，将其转换成一系列键值对；Shuffle阶段将相同键的键值对分组在一起；Reduce阶段对每个分组的键值对应用一个归约函数，归约函数可以对分组内的所有值进行聚合、计算或其他操作，从而产生最终的输出结果。Hadoop核心组件YARN是从Hadoop2.x版本才开始引入的Hadoop集群的资源管理器和作业调度器，其设计目标是解决Hadoop1.x版本中MapReduce的局限性，使Hadoop能够支持更多类型的数据处理框架和应用程序。YARN的两个主要组件是ResourceManager和NodeManager。其中，ResourceManager负责整个Hadoop集群的资源管理和调度，包括集群资源的分配、应用程序的调度和监控等；NodeManager在每个集群的节点上运行，负责管理该节点上的资源和容器，并接收来自ResourceManager的指令。Hadoop核心组件3.YARN目录1Hadoop应用场景Hadoop简介2Hadoop核心特性3Hadoop核心组件4Hadoop生态系统56Hadoop部署模式随着时代的快速发展，数据量不断增长，各行各业对数据处理的需求日益多样和复杂。为了适应这些需求，Hadoop不断进行技术迭代和功能扩展，引入了一系列各具用途的组件，逐渐形成了一个庞大的Hadoop生态系统。Hadoop生态系统Hadoop生态系统常用组件介绍Hadoop生态系统组件组件说明ZooKeeperZooKeeper是一个用于构建分布式应用程序和系统的开源分布式协调工具。FlumeFlume是一个高可用、高可靠、分布式的海量日志采集、聚合和传输系统。KafkaKafka是一个用于构建实时数据管道和流式处理应用程序的开源分布式流式数据传输平台。SqoopSqoop是一个可在Hadoop和数据库之间进行数据的导入和导出的开源工具。HBaseHBase是一个开源、分布式、可扩展的列式存储系统。HiveHive是一个可存储、查询和分析存储在Hadoop中的大规模数据的数据仓库。MahoutMahout是一个可以提供大规模数据处理算法和工具的开源机器学习库。Hadoop生态系统组件组件说明PigPig是一个基于Hadoop的大规模数据分析组件。SparkSpark是一个用于在分布式环境中进行大规模数据处理和分析的开源大数据处理组件。FlinkFlink是一个在实时和批处理场景下执行大规模数据流处理任务的开源流式处理引擎。StormStorm是一个用于处理实时流数据的开源分布式实时计算框架。OozieOozie是一个基于Hadoop的，以xml形式制定调度流程的调度系统。AmbariAmbari是一个基于Web的，用于配