数据与基础分析 1

TASK01大数据集群环境搭建大数据采集与分析技术·知识链接讲师：________________日期：2026年8月21日原文知识·原图保真·可编辑课件COURSEMAP课程目录与时间分配大数据集群环境搭建0201大数据概述建议10分钟02大数据的特征建议10分钟03大数据的核心技术建议10分钟04大数据分布式系统架构建议25分钟05环境搭建操作基础建议35分钟建议总时长90分钟；教师可按课堂基础调整。LEARNINGOUTCOMES学习目标大数据集群环境搭建031本任务主要实现高可用Hadoop大数据集群的搭建。首先准备3台安装CentOS操作系统的虚拟机作为集群节点，然后在每个节点上安装Java运行环境；接着安装ZooKeeper分布式协调系统；再进行Hadoop集群的安装与高可用配置；2最后部署Hive数据仓库工具，用于后续数据的提取、转换、加载、存储、查询和分析。CHAPTER01大数据概述1.3.11/504KNOWLEDGELINK大数据概述大数据集群环境搭建05大数据是指数量巨大、类型多样、处理速度快、数据源可靠性保证度低等综合属性的海量数据集合。在当今时代，计算机技术快速发展，互联网迅速普及，移动设备广泛应用于日常生活。在这样的背景下，数据量呈现出爆发式增长态势。个人活动、企业运营和社会运转均产生了大量数据，这些数据来源广泛且类型多样。然而，面对庞大的数据量，传统的数据处理方法显得“力不从心”。大数据技术的概念起源于20世纪中期，但直到20世纪80年代，随着计算机技术的发展和数据处理能力的提升，大数据才开始受到广泛关注并应用于各个领域。大数据技术通过对海量数据进行收集、分析和挖掘，揭示隐藏在数据中的规律和趋势，为决策提供清晰的思路和准确的依据。相较于传统的经验和直觉，基于数据的决策更可靠准确，也有助于优化资源配置。通过数据分析，企业能够更准确地预测市场需求、评估投资风险、优化供应链管理、提高资源利用效率。CHAPTER02大数据的特征1.3.22/506KNOWLEDGELINK大数据的特征大数据集群环境搭建07大数据的特征主要体现在以下几个方面。（1）数据量巨大。随着智能设备的普及，人类社会产生的数据量急剧增长。这种海量数据既为大数据处理提供了丰富的资源，也对数据处理技术提出了更高要求。（2）数据类型多。大数据既包含传统的结构化数据（如数据库中的表格数据），也包含非结构化数据（如网络日志、视频、图片、地理位置信息等）。多样的数据类型增加了数据处理的复杂程度，同时也为数据挖掘和机器学习等技术的应用提供了更多可能性。（3）处理速度快。大数据处理需要在合理时间范围内完成数据的采集、管理、处理和分析，以支持企业决策。这就要求大数据处理系统具备高效的数据处理能力，能够在短时间内完成大量数据的分析和处理，满足实时性需求。（4）价值密度低。海量数据中真正有价值的信息往往只占一小部分。因此，大数据处理的核心任务之一就是从大量数据中提取有价值的信息，这需要对数据进行深度挖掘和过滤，以发现其中的规律和模式。（5）数据真实性高。大数据中包含大量噪声和不确定性信息，如何从中提取真实数据是一个挑战。确保数据的真实性对于有效分析至关重要，因为错误数据可能导致误导性结论。CHAPTER03大数据的核心技术1.3.33/508KNOWLEDGELINK（1）数据采集与预处理大数据集群环境搭建09大数据的核心技术包括以下几个方面，这些技术共同构成了大数据处理与分析的基础。（1）数据采集与预处理大数据平台可以从多个数据源采集数据，包括结构化数据、半结构化数据和非结构化数据。数据预处理需要对原始数据进行清洗、转换和格式化处理，包括去除噪声、填充缺失值等，使其适合后续分析。（2）数据存储采集的数据需要存储在数据仓库或数据湖中。常用的存储技术包括HDFS、NoSQL和关系型数据库。Hadoop作为开源框架，广泛应用于大规模离线数据分析，其核心存储组件就是HDFS。HBase是一个分布式、面向列的开源数据库，它可以构建在HDFS之上，适用于NoSQL数据库应用场景。（3）数据计算与处理数据计算与处理技术可以对存储的数据进行分析处理，提取有用信息。常用的技术包括MapReduce和Spark。MapReduce是Hadoop的并行计算模型，适用于大规模数据集处理。Spark是一种基于内存的分布式计算框架，支持交互式查询和迭代计算。Hive提供了类似SQL的HQL查询功能，可将结构化数据映射为数据库表形式。（4）数据挖掘与机器学习数据挖掘与机器学习技术用于深入分析数据，发现潜在规律并预测趋势。（5）数据可视化KNOWLEDGELINK（1）数据采集与预处理（续）大数据集群环境搭建10数据可视化通过图表等方式直观展示分析结果，帮助用户理解数据并支持决策。常用工具包括ECharts和Tableau。这些技术相互协同，构成了完整的大数据处理分析体系。在实际应用中，可根据需求选择合适的技术组合。随着技术进步，新的大数据技术将不断涌现。CHAPTER04大数据分布式系统架构1.3.44/511KNOWLEDGELINK1．Hadoop模块大数据集群环境搭建12ApacheHadoop是一个大数据分布式系统框架，它允许使用简单的编程模型在计算机集群上分布式处理大型数据集。该框架设计用于从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储功能。Hadoop作为软件框架，不依赖特定硬件即可实现高可用性。该框架具有高度容错能力，能够自动处理硬件故障，从而保障数据安全和服务的持续性。1．Hadoop模块Hadoop包含HadoopCommon、HadoopHDFS、HadoopYARN和HadoopMapReduce4个模块。其中，HadoopCommon提供基础支持库，HDFS和MapReduce是Hadoop的两个核心组件。（1）HadoopCommonCommon是ApacheHadoop框架的基础组件，为其他Hadoop组件提供通用工具和库。这些工具和库在Hadoop运行过程中发挥着关键支撑作用，为通用硬件上的云计算环境提供基础服务。该模块是Hadoop框架的重要组成部分，与其他组件协作构建强大的大数据处理平台。（2）HadoopHDFSHDFS是专为商用硬件设计的分布式文件系统，与现有的分布式文件系统存在许多相似之处。HDFS与其他分布式文件系统的主要区别在于其具备高度容错性和低成本硬件部署的特点。HDFS能够为应用程序数据提供高吞吐量访问，适用于大数据集应用场景。HDFS放宽了部分POSIX要求，以实现对文件系统数据的流式访问。HDFS最初作为ApacheNutch网络搜索引擎项目的基础设施而构建，随后成为ApacheHadoop核心项目的一部分。KNOWLEDGELINK1．Hadoop模块（续）大数据集群环境搭建13HDFS采用主/从架构，如图1.81所示，包含3个核心组件：名称节点（NameNode）、数据节点（DataNode）和客户端（Client）。数据节点负责存储实际数据，并将管理的元数据块信息上报给名称节点，可以运行多个实例。客户端支持业务访问HDFS，从名称节点和数据节点获取数据并返回给应用系统。SOURCEFIGURE1．Hadoop模块大数据集群环境搭建14图1.81HDFS的基础架构KNOWLEDGELINK（3）HadoopMapReduce大数据集群环境搭建15HDFS集群由一个名称节点和多个数据节点组成。名称节点负责管理文件系统的命名空间以及客户端对文件的访问，同时确定文件块到数据节点的映射关系。数据节点负责管理连接到运行节点的存储资源，并处理来自文件系统客户端的读写请求，执行名称节点发出的指令以进行文件块的创建、删除和复制操作。HDFS采用Java语言构建，任何支持Java的机器均可运行名称节点或数据节点软件。（3）HadoopMapReduceHadoopMapReduce是一个软件框架，用于编写分布式数据处理应用程序。该框架能够在商用硬件组成的大型集群（数千个节点）上，以可靠、容错的方式并行处理海量数据（数万亿字节的数据集）。在MapReduce作业中，输入数据集首先被划分为若干个独立的块，这些块由Map任务并行处理。框架会将Map任务的输出结果进行排序，然后将排序后的结果交由Reduce任务处理。作业的输入和输出通常存储在文件系统中。一般而言，计算节点和存储节点是相同的。也就是说，MapReduce框架和HDFS运行在同一组节点上。这种配置使框架能够优先在存储有所需数据的节点上分配处理任务，从而提高整体的数据处理效率。（4）HadoopYARNHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是Hadoop的资源管理系统，可为上层应用提供统一的资源管理和调度。它的引入显著提高了集群资源利用率，并优化了资源统一管理及数据共享的效率。KNOWLEDGELINK（3）HadoopMapReduce（续）大数据集群环境搭建16YARN的基础架构如图1.82所示，主要由RM（ResourceManager，资源管理器）和NM（NodeManager，节点管理器）构成。其中，RM包含调度器（Scheduler）和应用管理器（ApplicationsManager）两大核心组件。调度器负责为运行中的应用程序分配资源，但受限于容量、队列等约束条件。需注意的是，调度器不负责监控应用程序状态或跟踪任务，因此无法保证因应用程序故障或硬件故障而导致的任务重启。调度功能基于资源容器（ResourceContainer）的抽象概念实现，容器包含内存、CPU、磁盘和网络等资源。SOURCEFIGURE（3）HadoopMapReduce大数据集群环境搭建17图1.82YARN的基础架构KNOWLEDGELINK2．Hadoop生态大数据集群环境搭建18ApplicationsManager负责接收作业提交，为应用程序专属的ApplicationMaster协商首个容器资源，并在ApplicationMaster容器出现故障时提供重启服务。每个应用程序的ApplicationMaster需与调度器协商资源容器，同时跟踪容器状态并监控任务进度。2．Hadoop生态Hadoop生态系统是指围绕Hadoop大数据平台形成的一系列开源软件与工具，用于支持大规模数据的处理、存储、管理、分析和可视化等应用场景。Hadoop生态系统的丰富性是其核心优势，为开发人员提供了多种工具和技术，便于构建复杂的大数据应用。Hadoop生态的主要组成部分包括HDFS、MapReduce、YARN、Hive、Pig、HBase和ZooKeeper等。Hadoop生态系统还包含许多其他工具和库，如机器学习库Mahout等，这些工具和库为大数据处理和分析提供了丰富的功能。（1）分布式查询分析工具Hive是一个基于Hadoop大数据平台的数据仓库工具，用于数据的提取、转换和加载（ETL）。它可以存储、查询和分析存储在Hadoop中的大规模数据。Hive本质上是用户编程接口，本身并不直接存储和处理数据，而是依赖HDFS存储数据，依赖MapReduce处理数据。Hive定义了一种类似SQL的查询语言HiveQL。熟悉SQL的用户可以直接使用HiveQL查询数据，但需要注意HiveQL并不完全支持SQL标准，如不支持更新操作、索引和事务功能，其子查询和连接操作也存在诸多限制。此外，HiveQL允许熟悉MapReduce的开发者开发自定义的mapper和reducer函数，以完成内建函数无法处理的复杂分析工作。KNOWLEDGELINK（2）分布式协调服务大数据集群环境搭建19Hive具有广泛的应用，这主要是因为其特性非常适合数据仓库应用程序。首先，当采用Hadoop的MapReduce作为执行引擎时，Hive会将HQL语句转换为MapReduce任务，以批处理方式处理海量数据。其次，数据仓库存储的是静态数据，基于数据仓库的应用程序主要进行静态数据分析，无须快速响应结果，且数据本身变化并不频繁，因此非常适合使用MapReduce进行批处理。HiveQL与关系数据库的SQL略有区别，但支持大多数常见语句，包括数据定义语言（DDL）、数据操纵语言（DML）、聚合函数、连接查询和条件查询。需要注意的是，Hive不适用于联机事务处理（OLTP），也不提供实时查询功能，最适合基于大量不可变数据的批处理作业。HQL语法可参考官方手册。（2）分布式协调服务ZooKeeper是一种为分布式应用程序提供协调服务的工具。在Hadoop1.x版本中仅支持单个NameNode，HDFS的所有读写操作均需要先访问NameNode。当NameNode发生故障时，整个Hadoop集群将无法使用，这就是所谓的单点故障问题。从Hadoop2.x版本开始，HDFS支持高可用架构。在该架构中，可以配置两个NameNode并由ZooKeeper进行管理：一个处于活跃（Active）状态，另一个处于备用（Standby）状态。处于Active状态的NameNode负责对外提供服务，处于Standby状态的NameNode则会同步Active状态NameNode的数据以保持数据一致性。当Active状态的NameNode出现故障时，Standby状态的NameNode会自动切换为Active状态，从而确保Hadoop集群的可靠性和高可用性。KNOWLEDGELINK3．高可用Hadoop大数据集群大数据集群环境搭建20ZooKeeper允许分布式进程通过共享的分层命名空间进行相互协调。此命名空间的组织方式类似于标准文件系统，由数据寄存器（在ZooKeeper中称为Znode）组成，其功能可类比于文件和目录。与常规的存储型文件系统不同，ZooKeeper的数据保存在内存中，因此能够实现高吞吐量和低延迟。ZooKeeper基础架构如图1.83所示：客户端首先连接到单个ZooKeeper服务器，并通过TCP连接发送请求、获取响应、接收监视事件和发送心跳信号。若与该服务器的TCP连接中断，客户端会自动连接至其他可用服务器。3．高可用Hadoop大数据集群HA（HighAvailability，高可用）Hadoop集群是指在运行HDFS和MapReduce时，能够持续可靠地提供服务的架构设计。实现高可用的关键在于消除单点故障。Hadoop高可用集群可以分为各组件的可用性机制，主要包括HDFS高可用机制和YARN高可用机制，这些机制可以借助ZooKeeper提供的服务来实现。SOURCEFIGURE3．高可用Hadoop大数据集群大数据集群环境搭建21图1.83ZooKeeper基础架构KNOWLEDGELINK（1）HDFSHA机制大数据集群环境搭建22（1）HDFSHA机制HDFS的高可用性主要通过借助ZooKeeper实现主备NameNode方案，以解决NameNode单点故障问题，如图1.84所示。通常情况下，Hadoop集群中只有一个NameNode负责管理文件系统元数据。为了提升可靠性，系统会配置备用NameNode。NameNode分为活跃（Active）和备用（Standby）两种状态。当主NameNode发生故障时，备用NameNode会自动接管服务，保障集群正常运行。故障切换控制器和元数据同步机制共同确保了HDFS高可用性的实现。SOURCEFIGURE（1）HDFSHA机制大数据集群环境搭建23图1.84HDFSHA机制示意KNOWLEDGELINK（2）YARNHA机制大数据集群环境搭建24①故障切换控制器。ZKFC（ZooKeeperFailoverController，故障切换控制器）负责监控Hadoop集群中关键组件（如NameNode、ResourceManager等）的运行状态，并在发生故障时自动触发故障转移过程的组件。ZKFC作为ZooKeeper集群的客户端来监控NameNode的状态信息。需要注意的是，ZKFC进程仅运行在部署NameNode的节点上，且HDFS的主备节点上均部署有ZKFC进程。StandbyNameNode通过ZooKeeper实时感知ActiveNameNode的状态变化。当ActiveNameNode发生宕机时，HDFS会自动触发主备切换流程：ZKFC会将主机名等信息保存在ZooKeeper中，StandbyNameNode通过从ZooKeeper同步ActiveNameNode的信息来完成状态的实时追踪。②元数据同步机制。在ActiveNameNode正常运行期间，HDFS高可用架构设计确保所有更新操作不仅会记录在本地日志中，还会实时写入共享JN（JournalNode，日志节点），同时更新ActiveNameNode内存中的元数据。StandbyNameNode通过持续加载JN上的Editlog来同步元数据。一旦检测到JournalNode上的Editlog变化，StandbyNameNode会立即加载最新的Editlog，并将其更新到内存中，从而生成与主NameNode完全一致的元数据副本，确保元数据的实时同步。高可用Hadoop集群通过将NameNode和其他关键Hadoop组件与ZooKeeper集成，可以实现故障检测和自动切换。高可用Hadoop集群需要合理配置硬件资源，包括使用冗余的网络设备、磁盘阵列和电源装置。此类配置可以减少硬件故障导致的系统中断情况，提高整体可用性。为应对意外情况，需要定期对Hadoop集群中的数据进行备份。该机制能够在数据丢失或损坏时进行恢复，确保业务的连续性，以满足大规模分布式计算需求。（2）YARNHA机制YARNHA机制示意如图1.85所示。YARN高可用机制的工作原理如下。SOURCEFIGURE（2）YARNHA机制大数据集群环境搭建25图1.85YARNHA机制示意KNOWLEDGELINK（2）YARNHA机制（续）大数据集群环境搭建26①选举过程：系统启动时，多个ResourceManager会尝试将选举信息写入ZooKeeper。第一个成功写入ZooKeeper的ResourceManager会被选举为活跃状态（ActiveResourceManager），其余的则处于备用状态（StandbyResourceManager）。②状态监控：StandbyResourceManager会定期检查ZooKeeper中的ActiveResourceManager选举信息。③故障切换：当ActiveResourceManager出现异常时，YARN会自动触发主备切换机制。④状态存储：ActiveResourceManager会在ZooKeeper中创建Statestore目录，用于存储应用程序（Application）相关信息。当故障发生时，StandbyResourceManager将从该目录获取应用程序信息，完成数据恢复后晋升为新的ActiveResourceManager。CHAPTER05环境搭建操作基础1.3.55/527KNOWLEDGELINK1．Linux系统基本命令大数据集群环境搭建28目前，主流大数据平台主要在Linux操作系统上部署，因此在学习大数据技术之前，需要掌握Linux操作基础。1．Linux系统基本命令Linux命令由命令、选项和参数3部分组成。命令用于告知操作系统执行何种操作；选项用于指定命令的运行方式或修改命令功能，通常以“-”符号开头；参数用于指定命令的操作对象，如文件、目录或系统本身。Linux命令的基本格式如下。命令[选项][参数]（1）ls命令ls是list的缩写，用于查看Linux系统下的文件和目录信息，包括文件权限、目录属性等，其基本语法格式如下。ls[参数][目录名称]ls命令常用参数说明如下。●-a：显示所有文件（含以“.”开头的隐藏文件）。●-A：显示除“.”和“..”外的所有文件。●-r：按反向顺序排列。●-t：按修改时间排序。●-S：按文件大小排序。KNOWLEDGELINK（2）cd命令大数据集群环境搭建29●-h：以人性化格式显示文件大小（如KB/MB）。●-l：显示详细信息（如权限/所有者/大小等）。易读方式按时间反序排序，并显示文件详细信息，命令如下。ls-lhrt列出当前目录下的所有文件及其属性（包括隐藏文件），命令如下。ls-al查看指定目录/tmp下的所有文件，命令如下。ls/tmp（2）cd命令cd命令用于切换目录，cd命令基本格式如下。cd[相对路径/绝对路径]切换至用户主目录，命令如下。cd~返回上一次工作目录，命令如下。cd.将上个命令的参数作为cd参数，命令如下。KNOWLEDGELINK（3）pwd命令大数据集群环境搭建30cd\!$（3）pwd命令pwd命令用于查看当前工作目录的路径，命令如下。pwd（4）mkdir命令mkdir命令用于创建目录。其常用参数说明如下。●-m：设置新建目录的权限。该参数功能与chmod命令类似。●-p：若指定路径中的父目录不存在，此参数可自动创建缺失的目录。在当前工作目录下创建名为dir的目录，命令如下。mkdirdir在/tmp目录下创建多级目录test/dir1/dir2，命令如下。mkdir-p/tmp/test/dir1/dir2（5）rm命令rm命令用于删除一个目录中的一个或多个文件或目录。若不使用-r选项，则rm命令不会删除目录。使用rm命令删除的文件理论上是可以恢复的，但实际操作中需要依赖专门的恢复工具。rm命令基本格式如下。KNOWLEDGELINK（6）mv命令大数据集群环境搭建31rm[选项]文件删除任何以“.log”结尾的文件，删除前逐一询问确认，命令如下。rm-i\*.log删除test子目录及其所有内容，且不需要确认，命令如下。rm-rftest（6）mv命令mv命令用于移动文件或修改文件名。该命令的基本功能包括移动文件/目录和重命名操作。常用参数如下。●-f：强制操作，若目标文件已存在则直接覆盖且不提示。●-i：交互模式，若目标文件已存在则会询问是否覆盖。●-u：仅当源文件比目标文件新时执行更新。将多个文件移动到目录，命令如下。mvfile1file2file3dir/把文件file1重命名为file2，命令如下。mvfile1file2（7）cp命令cp命令用于复制文件或目录，主要功能包括单个文件复制和批量文件复制。常用参数如下。KNOWLEDGELINK（8）cat命令大数据集群环境搭建32●-a：归档模式，保留文件所有属性（相当于-dpR参数组合）。●-p：保留文件的原始属性（包括所有者、时间戳等）。●-i：覆盖前提示确认。●-r：递归复制目录及其内容。●-u：仅在源文件比目标文件新或目标文件不存在时复制。保留所有属性复制文件，命令如下。cp-afile1file2批量复制文件至目录dir，命令如下。cpfile1file2file3dir/（8）cat命令cat命令用于查看文本文件的内容，后接要查看的文件名。该命令可与more和less命令配合使用，通过管道符“|”实现分页查看文件内容。查看text文件中的内容，命令如下。cattext|less（9）tar命令KNOWLEDGELINK（8）cat命令（续）大数据集群环境搭建33tar命令用于对文件进行打包，默认情况下不会压缩文件。若指定了相应参数，可以调用压缩程序（如gzip和bzip2等）进行压缩和解压。常用参数如下。●-c：创建打包文件。●-t：查看打包文件包含的文件名。●-x：解包或解压，可搭配-C指定解压目录。●-j：使用bzip2进行压缩/解压缩。●-z：使用gzip进行压缩/解压缩。●-v：显示处理过程中的文件名。●-ffilename：指定要处理的文件名。●-Cdir：指定解压目录。将1.log和2.log打包为log.tar，命令如下。tar-cvflog.tar1.log2.log查看log.tar.gz包内文件，命令如下。tar-ztvflog.tar.gz解压log.tar.gz到当前目录，命令如下。tar-zxvflog.tar.gz解压log.tar.gz到/tmp目录，命令如下。KNOWLEDGELINK2．Linux系统目录结构大数据集群环境搭建34tar-zxvflog.tar.gz-C/tmp2．Linux系统目录结构Linux操作系统是一个基于Unix的开源操作系统，它具备良好的目录组织和文件系统结构。理解Linux目录结构对于系统管理和开发工作非常重要。根目录是整个文件系统的顶级目录，所有其他目录和文件均从根目录开始。在Linux中，根目录用斜线“/”表示。Linux存在一些重要目录，它们具有特定功能，包含重要的系统及配置文件，主要包括/bin、/boot、/dev、/etc、/home、/lib、/lib64、/media、/mnt、/opt、/proc、/root、/sbin、/srv、/tmp、/usr、/var、/run、/run/user和/sys。（1）/bin目录/bin目录包含基本的可执行文件，这些文件是系统启动和运行必需的。例如，/bin目录包含ls、cp、rm等常用命令。（2）/boot目录/boot目录包含引导加载程序的相关文件，包括内核映像和引导配置文件。系统启动时会使用该目录下的文件进行引导。（3）/dev目录KNOWLEDGELINK（4）/etc目录大数据集群环境搭建35/dev目录包含设备文件，用于与系统设备进行交互。在Linux中，所有设备均表示为文件，如磁盘、键盘等硬件设备。（4）/etc目录/etc目录存放系统配置文件，包括网络、用户账户等服务配置，对系统的正常运行至关重要。（5）/home目录/home目录是用户的主目录，每个用户都拥有一个与其用户名相对应的子目录。用户可以在自己的主目录中存储个人文件和配置。（6）/lib和/lib64目录/lib目录和/lib64目录包含共享库文件，这些库文件是应用程序和系统工具所需的共享组件。/lib目录用于32位系统，而/lib64目录用于64位系统。（7）/media目录/media目录用于挂载可移动设备。当插入U盘或光盘时，系统会自动在此创建挂载点。（8）/mnt目录/mnt目录用于临时挂载其他文件系统或网络共享。管理员可以将其他设备或远程共享挂载到/mnt目录中，以便访问其内容。KNOWLEDGELINK（9）/opt目录大数据集群环境搭建36（9）/opt目录/opt目录用于安装第三方软件包。部分应用程序将其安装在/opt目录下，以便与系统的其他部分相分离。（10）/proc目录/proc目录是虚拟文件系统，提供系统实时信息。管理员可通过读取该目