项目六Hadoop综合应用实践

“十四五”职业教育河南省规划教材书目Hadoop大数据开发技术项目六Hadoop综合应用实践目录项目背景01项目知识准备02项目设计与准备03项目实施04项目实训05练习题06项目背景01大数据挑战数据增长Hadoop优势实践目标随着互联网发展，企业面临海量数据存储、处理与分析挑战。Hadoop开源分布式框架，适合处理大规模数据，助力企业决策。使用Hadoop生态系统工具，实现数据采集、存储、处理与分析。学习目标

了解

大数据项目开发软件

；Flume、Hive、Sqoop等基本概念

熟知使用Flume进行数据采集

；使用Sqoop实现异构数据同步

掌握使用MapReduce实现数据清洗

；使用Hive实现数据仓库与数据分析。知识目标

能够基于Hadoop实现综合应用项目的设计与开发

能够使用Flume进行数据采集

能够使用MapReduce实现数据清洗

能够使用Hive实现数据仓库与数据分析

能够使用Sqoop实现异构数据同步能力目标

以实操为主，理论为辅，培养学生手脑并用的良好学习习惯

通过一个常见的大数据综合应用实践，掌握数据采集、数据清洗、数据分析、数据

同步、数据展现等落地应用相关的知识和技能，培养学生解决实际问题的能力素质目标项目知识准备026.2.1大数据项目开发软件Hadoop生态系统Hadoop是一个开源的分布式大数据系统，围绕它形成了一系列分布式软件集合，用以实现大数据的各项应用。Hadoop为核心，涵盖Flume、Hive、Sqoop等工具，满足大数据存储、分析需求。Flume采集日志，Hive管理数据，Sqoop实现数据同步，ZooKeeper协调管理，HBase分布式的、面向列的开源数据库。常见工具功能数据从采集到存储、处理、分析，各工具协同工作，形成完整处理链。数据处理流程Flume是一个非常强大和灵活的大数据采集、传输和存储系统，可以

支持各种数据源和目标存储系统，实现可靠的数据传输和分发。Flume的使用非常广泛，

是大规模数据处理和分析中一个非常重要的组件。Flume是一个分布式的、可靠的、高可用性的大数据采集、传输和存储系统。它可以将来自各种数据源的海量数据采集、传输并存储到目标存储系统中，如

HDFS、HBase、

Kafka等。支持多种数据源和目标存储系统。Flume是一个非常强大和灵活的大数据采集、传输和存储系统，可以

支持各种数据源和目标存储系统，实现可靠的数据传输和分发。6.2.2Flume文件采集工具适用于大规模日志采集与传输，广泛应用于互联网企业数据处理。应用场景Flume的数据流是

基于Event的，Event是一个数据单元，由数据本身和可选的附加信息组成。数据流特点包括三个主要组件

：Source、Channel和Sink。Source负责从数据源获取

数据，并将数据传递给Channel。Channel是Source和Sink之间的缓冲区，用于存储数据。Sink负责将数据从Channel中获取，并将数据传输到目标存储系统中。Flume架构6.2.3Hive数据仓库工具Hive是一个强大而灵活的数据仓库工具，可以将结构化数据映射到Hadoop上进行处理和分析。它提供了类似于SQL的查询语言，支持数据映射、数据压缩、数据导入导出等功能，使得开发人员可以方便地进行大规模数据的查询和分析。01Hive是一个基于Hadoop的数据仓库工具，用于将结构化数据映射到Hadoop上进行处理和分析。它提供了类似于SQL的查询语言（HiveQL），使得开发人员可以使用熟悉的SQL语句进行数据查询和分析。Hive将查询转换成MapReduce任务来执行，从而实现在Hadoop上进行大规模数据处理和分析。提供表、分区、分桶概念，优化查询性能，支持用户自定义函数扩展功能。数据管理02作为数据仓库，助力企业高效处理与分析结构化数据，支持决策。应用价值Hive的主要特点和功能包括

1数据映射Hive将结构化数据映射到Hadoop上的HDFS（Hadoop分布式文件系统），并为数据提供表、分区和分桶等概念，方便管理及查询数据。2HiveQLHiveQL支持常见的SQL操作，如SELECT、JOIN、GROUPBY、ORDERBY等3扩展性Hive支持用户自定义函数（UDF）、用户自定义聚合函数（UDAF）和用户自定义转换函数（UDTF），可以根据具体需求扩展Hive的功能。4数据压缩Hive支持多种数据压缩格式，如Snappy、LZO、Gzip等，可以在存储数据时进行压缩，减少存储空间，提高查询性能。5数据导入和导出Hive支持从不同的数据源导入数据到Hive表中，如HDFS、HBase、Kafka等；同时也支持将Hive表中的数据导出到其他数据存储系统中。6执行计划优化Hive通过解析查询语句并生成执行计划来优化查询的执行过程。它可以根据数据的统计信息和查询的特点，选择合适的执行策略和优化算法。7可扩展性Hive可以通过配置和添加更多的计算节点，实现水平扩展和负载均衡，以处理大规模的数据和查询。6.2.4Sqoop数据传递和转换工具Sqoop是一个用于在ApacheHadoop和关系型数据库之间进行数据传输的工具。它可

以将关系型数据库中的数据导入Hadoop生态系统中的HDFS（Hadoop分布式文件系统）

或Hive中，也可以将Hadoop中的数据导出到关系型数据库中。Sqoop主要用于大规模数

据的批量导入和导出，可以方便地实现关系型数据库和Hadoop之间的数据交互。Sqoop是一个功能强大而灵活的数据传输工具，可以实现关系型数据库和Hadoop之间的数据导入和导出。它支持并行传输、数据转换、数据导入导出控制等功能，

使得大规模数据的批量传输变得更加简单和高效。Sqoop的主要特点和功能包括：数据传输;数据转换;并行传输;数据导入导出控制;连接管理;增量导入等，提高数据传输效率，支持增量导入，减少重复数据量。项目设计与准备6.3大数据平台架构架构组成包括数据集成、存储与计算、查询、调度等模块，满足不同业务需求。01核心组件数据集成有Flume、Sqoop等，数据存储有HDFS、HBase，计算有MapReduce、Spark。02查询与调度查询引擎有Impala、Presto等，调度系统有Airflow、DolphinScheduler等。031.数据集成030201数据集成（1）

日志同步开源日志收集系统有Sqoop、Flume、LogStash、FileBeat、Vector等。日志同步系统属于平时工作中的重点，一是因为需要同步的数据量比较大，二是要保证日志

输出的持续性，利用缓存机制最大限度保障不丢日志，使系统始终保持平稳的运行状态。（2）数据抽取大数据分析不能直接在原始的业务数据库上操作，需要抽取想要的数据到分析数据库

或者分布式存储系统（例如HDFS），常见的数据抽取工具包括

：DataX、BitSail等。（3）数据传输数据传输包括流式传输和队列传输

：Kafka属于流式传输

；RabbitMQ属于队列传输

；Pulsar属于流式传输和队列传输的结合。2.数据存储与计算实

时

计

算

引

擎

经

历

了

三

代

发

展，

依

次

是

：Storm、SparkStreaming、Flink。

目

前，Storm和SparkStreaming使用较少，大部分公司都在使用Flink。实时数据计算引擎HDFS的特点是横向扩展和高容错性。对于HDFS来说，由于HDFS的集群规模较大，

且需要稳定持续地应对业务挑战，优化就变得非常重要。如果集群负载过大，访问延迟会

增加，影响集群整体效率。HDFS的优化趋势包括：架构改进、读写分离、读写优化等。HDFS数据存储在

众

多

计

算

引

擎

中，MapReduce、Hive、Spark等

通

常

用

于

离

线

处

理，

即

批

计

算。Storm、SparkSteaming等更多处理实时计算场景，即流计算。Flink既可以用于流计算，也可以用于批计算。离线数据计算引擎020103数据存储与计算3.数据查询（1）

大数据查询引擎StarRocks：性能强大，速度最快，但相较于其他两者，提升相同量级的性能时，StarRocks需要更多的CPU、内存资源等。Impala：开启各项优化之后，性能接近StarRocks。Presto：性能一般，部分TPC-DS测试时，调用HMSAPI的频率偶尔很高，曾导

致HMS挂起。（2）

大数据查询优化工具大数据查询优化工具包括Alluxio、JuiceFS和JindoFS。4.数据调度常用任务调度系统常

用

的

任

务

调

度

系

统

包

括Crontab、Apache

Airflow、Oozie、Azkaban、Kettle、XXL-

JOB、ApacheDolphinScheduler、SeaTunnel等。Apache

DolphinScheduler(海豚调度)

更专注于大数据场景,

调度功能虽不复杂,

但足够管理任务。它是中文的,这一点对于中文用户较友好。ApacheAirflow在国外使用较多。资源调度系统资源调度系统主要包括YARN和Azkaban。YARN应用广泛,支持许多上层组件,因

此备受欢迎,也有很多优化。Azkaban是资源调度的小众分支,使用者不多。根据业务需求，合理规划Hadoop集群架构，确保性能与扩展性。集群构建制定数据备份策略，防止数据丢失，保障数据安全。数据备份实施数据加密、身份验证与访问控制，确保数据安全与合规。安全与权限其他设计项目实施6.4任务6-1网站流量日志数据分析系统设计系统架构本项目系统主要由五部分组成,分别是:日志采集模块、数据清洗模块、查询分析模块、数据同步模块以及数据可视化模块。日志采集模块通过Flume组件收集数据;数据清洗模块编写MapReduce应用程序对原始数据进行清洗;查询分析模块通过Hive的HQL进行数据查询分析;数据同步模块使用DataX(或Sqoop)将Hive中的数据同步到MySQL数据库;最后,数据可视化模块使用Echarts或者DataV1.系统架构日志采集模块Flume是Hadoop生态系统中一个高可用的日志采集、聚合和传输组件。它的

作用是将前端Web服务器中的日志数据传输到指定的日志接收节点。数据可视化模块数据可视化是将MySQL中的分析结果数据以直观的形式进行展示。传统的

实现方法是结合J2EE和Echarts技术对结果以图表形式进行展示。数据同步模块Sqoop和DataX是两种用于将Hive查询结果同步到关系型数据库的工具。业

务

数

据

库

的

种

类

多

种

多

样，

有MySQL、Oracle、SQLServer等。Sqoop是

一种常用的数据同步工具，但它太过繁重，而且不论数据量大小，都需要启动MapReduce任务，

还需要Hadoop集群的每台机器都能访问业务数据库。查询分析模块Hive部署在Hadoop集群的NameNode（即Master节点）

上，主要负责执行查询

分析任务，这些任务通过HQL来定义。HQL的处理流程如下

：首先，用户通过客

户端组件（如cli，webUI等）

提交HQL语句

；随后，驱动器将接收到的HQL语句

发送到编译器，编译器将HQL语句进行解析、优化，生成一个由MapReduce任务

和HDFS任务组成的有向无环图

；最终，执行引擎利用Hadoop来执行这些任务。数据清洗模块数据采集的目的是将数据从不同的数据源中提取出来，并存储到数据存储系统

中，期间可能还包括一些基础的数据清洗工作。Flume采集的日志数据通常需要经

过特定的处理。这一过程可以通过自定义MapReduce程序来实现，该程序会执行

特定的数据清洗任务。任务6-1网站流量日志数据分析系统设计2.系统流程网站流量日志数据分析是一个专注于数据分析的系统，其整体流程主要依据数据处理的顺序进行设计2.系统流程数据采集数据采集概念，在目前行业内有两种解释

：一是数据从无到有的过程（Web服务器打印的日志、自定义采集的日志等）

叫作数据采集

；另一方面，通过使用Flume等工具把数据采集到指定位置的这个过程，也可以叫作数据采集。数据预处理通过MapReduce程序对采集到的原始日志数据进行预处理，比如清洗、格式

整理、滤除脏数据等，并且梳理成单击流模型数据。数据入库将预处理之后的数据导入Hive数据仓库相应的库和表中。ETL数据抽取项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果。数据可视化数据可视化是将MySQL中的分析结果数据以直观的形式进行展示。传统的

实现方法是结合J2EE和Echarts技术对结果以图表形式进行展示。3.软硬件环境硬件要求010203软件平台Nginx、Java1.8、IntelliJIDEA、Maven等，支持项目开发与部署。Hadoop、Flume、Hive、MySQL、Sqoop等，满足大数据处理需求。根据数据量与业务需求，选择合适硬件，确保集群性能与可靠性。开发工具负责应用层开发，包括前端与后端，实现数据展示与服务接口。开发工程师项目角色负责Hadoop生态系统规划、架构设计与部署，保障系统稳定运行。系统架构师编写MapReduce程序，进行数据分析与挖掘，为决策提供支持。数据工程师搭建与维护Hadoop集群，确保系统高效运行，及时处理故障。运维工程师任务6-2使用Flume实现数据采集下载、安装Flume，配置环境变量，确保系统正常运行。Flume安装配置01配置Flume采集日志，将数据传输到HDFS，支持多种数据源与存储系统。日志采集配置02查看日志是否正确上传到HDFS，确保数据采集的完整性和准确性。数据上传验证03Flume运行机制Agent：Agent是Flume中的核心组件，用来收集数据。每个Agent是一个JVM进程，

它是Flume中最小的独立运行单元。Source：完成对日志数据的收集，分成Transaction和Event导入Channel中。Channel：主要提供队列功能，对Source提供的数据进行简单的缓存。Sink：获取Channel中的数据，存储到相应的文件系统、数据库或者提交到远程服

务器。Flume的核心是把数据从数据源（如WebServer）

通过数据采集器（Source）

收集过

来，再将收集的数据通过缓冲通道（Channel）

汇集到指定的接收器（Sink）。任务6-3使用MapReduce实现数据清洗创建项目依赖使用IntelliJIDEA创建Maven项目，添加Hadoop等依赖，为开发做准备。编写Mapper程序编写MapReduce的Mapper程序，对日志数据进行预处理，清洗无价值信息。数据清洗验证验证清洗结果，确保数据清洗的准确性和完整性，为后续分析提供支持。任务6-4使用Hive实现数据仓库

下载、安装Hive，配置环境变量，确保Hive与Hadoop集群正常运行。01Hive安装与配置

创建数据库、数据表，导入数据，进行ETL处理，构建数据仓库。02数据仓库开发

使用HiveQL进行数据分析，生成每日访问统计表，为业务决策提供支持。03数据分析与统计1.概述数

据

仓

库（英

语

：DataWarehouse，

简

称

数

仓、DW），

是

一

个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向Hive分析的集成化数据环境，分析结果为企业提供决策支持

（DecisionSupport）。数仓专注于分析，数据仓库本身并不“生产”任何数据，其数据来源于不同的外部系

统。同时数据仓库自身也不需要“消费”任何数据，其结果开放给各个外部应用使用。这

也是为什么叫“仓库”，而非“工厂”的原因。ETL工作的实质就是从各个数据源提取数据，对数据进行转换，并最终加载到数据仓

库维度建模后的表中。只有当这些维度/事实表被填充好，ETL工作才算完成。Hive可以看作是MapReduce的客户端：

因

为Hive的

底

层

运

算

是MapReduce计

算

框

架，Hive只

是

将

可

读

性

强、

容

易编程的SQL语句通过Hive软件转换成MR程序在集群上执行。Hive可以看作MapReduce客户端，能用MapReduce程序完成的任务基本都可以对应地替换成HQL（HiveSQL）

编写的Hive任务。由于Hadoop和HDFS本身设计的特点，

限制

了Hive所能胜任的工作特性。Hive最大的限制特点就是不支持基于行记录的更新、

删除、增加。但用户可以通过查询生成新表，或者将查询结果导入文件中来“实

现”Hive基于行记录的操作。Hive是批处理系统：

因为MapReduce是批处理系统，所以Hive也是基于海量数据的批处理系统。

此外，MapReduce具有高延迟（1.启动时间长

；2.中间结果放在本地而非内存中）

的特性，Hive执行也同样，耗时过长。Hive不支持事务：MapReduce不支持OLTP（在线事务处理），

更适用于OLAP（联机分析处理）。

同样，Hive也不支持很多SQL的用法。Hive架构原理Hive是由Facebook开源用于解决海量结构化日志的数据统计（海量的结构化数据的

运算分析），是基于Hadoop的一个数据仓库工具（服务性的软件），可以将结构化的数据

文件映射为一张表，并提供类似SQL查询功能。其本质是将HiveSQL转化成MapReduce程序或Spark程序。元数据（METAstore）：元数据包括表名/表所属的数据库（默认是default）、表的

拥有者（表存储的节点）、列或分区字段、表的类型

（是否是外部表）、表的数据所

在目录等。默认存储在自带的Derby数据库中，本项目使用的是默认的方式，但一

般推荐使用MySQL存储元数据。

客户端（Client）：包括CLI（Hiveshell）

和JDBC（Java访问Hive）等。

驱动器（Driver）：包含解析器、编译器、优化器、执行器等。

解析器（SQLParser）：将SQL字符串转换成抽象语法树（AST）。这一步通常使用

第三方工具库完成，比如ANTLR对AST进行语法分析，检查表是否存在、字段是

否存在、SQL语义是否有误等。

编译器（PhysicalPlan）：将AST编译成逻辑执行计划。

优化器（QueryOptimizer）：对逻辑执行计划进行优化。

执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，

就是MR/Spark。MapReduce：使用MapReduce进行计算。Hive分析数据的底层实现是MapReduce/Spark（分布式运算框架）。HDFS：Hive处理的数据存储在HDFS上。3.Hive的安装与使用（1）Hive下载安装执行以下命令下载hive-3.1.3的压缩包，如下所示

：[root@hp-masteropt]#wget/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz--no-check-certificate

解压缩

：[root@hp-masteropt]#tar-zxvfapache-hive-3.1.3-bin.tar.gz重命名为hive：[root@hp-masteropt]#mvapache-hive-3.1.3-binhive配置环境变量，在最后面增加Hive路径，并保存配置，如下所示

：[root@hp-masteropt]#vi/etc/profileexportHIVE_HOME=/opt/hiveexportPATH=$HIVE_HOME/bin:$PATH[root@hp-masteropt]#source/etc/profile3.Hive的安装与使用（2）配置Hive文件首先，配置hive-env.sh。切换至Hive配置目录并复制hive-env.sh.template至hive-env.sh，如下所示：[root@hp-masteropt]#cd$HIVE_HOME/conf[root@hp-masteropt]#cphive-env.sh.templatehive-env.sh编辑hive-env.sh文件，并在最后面增加内容，如下所示：[root@hp-masteropt]#vihive-env.sh（3）上传MySQL驱动JAR上传mysql-connector-java-5.1.38.jar到/opt/hive/lib目录下。其下载地址为：https：///artifact/mysql/mysql-connector-java/5.1.38。（4）初始化Hive使用默认数据库为Derby，执行初始化命令，（5）启动Hive需要先启动Hadooop，然后才能启动Hive4.数据仓库开发（1）启动Hive：创建数据仓库；（2）创建数据表：用于存储

日志源信息；注意

：如果在执行创建表时换行操作不便且报错，可以把创建表的语句合成一个

长字符串输入，这样执行就没问题了。（3）

导入数据：然后查看信息是否已在表内；（4）创建

日志详情表，创建日志详情表t_log_detail，用于存储访问日志信息；

（5）创建一些临时表用于转换信息：建临时表t_tmp_referer，用以把http_referer字段中的来源地址信息分解出来；（6）创建临时中间详情表t_tmp_detail：用来把访问的完整时间分解成月、日、小时；

（7）修改默认动态分区参数：在严格模式下，用户必须指定至少一个静态分区，以防用户意外覆盖所有分区。在非

严格模式下，所有分区都允许是动态的。这里需要设置为非严格模式，另外分区的参数一

定要设置大些，否则执行过程中会报错，参照如下：（8）

向t_log_detail表中插入数据：将原始数据进一步拆分与细化；（9）

生成每

日访问统计分析表：创建每日访问统计分析表，任务6-5使用Sqoop实现异构数据源同步Sqoop安装与配置下载、安装Sqoop，配置环境变量，确保Sqoop与Hadoop、MySQL正常运行。01数据同步操作使用Sqoop将HDFS中的数据同步到MySQL，实现异构数据源之间的数据交互。02同步结果验证查看MySQL中的数据，确保数据同步的准确性和完整性，支持业务应用。03项目实训6.5实训目的通过实践,学生掌握大数据采集、处理、分析与可视化的完整流程。掌握大数据处理流程了解Hadoop相关工具与技术,如Flume、Hive、Sqoop等,解决实际问题。熟悉Hadoop生态系统自主分析与解决问题,培养学生的实践能力与创新思维。培养实践能力实训环境网络要求010203硬件环境Hadoop、Flume、Hive、MySQL、Sqoop等工具，满足大数据处理需求。每人一台物理机，安装VirtualBox虚拟机软件，运行三台CentOS7虚拟机。虚拟机可访问外网，网络拓扑不做严格要求，确保数据传输与通信。软件环境实训内容使用Flume采集网站流量日志数据，传输到Hadoop集群的HDFS中。数据采集01将采集到的流量日志数据存储在HDFS，为后续处理与分析做准备。02数据存储通过MapReduce清洗数据，去除无价值信息，提取有用数据供Hive分析。03数据清洗使用Hive对流量日志数据进行查询与分析，提取访问量、来源、热门页面等信息。数据分析04使用数据可视化工具，如DataV，将分析结果以图表、报表等形式展示。数据可视化05Hadoop大数据开发技术致敬匠心

深耕人工智能

无人机领域的技术突破便携式设计与长续航智能避障功能影像稳定技术的领先大疆创新科技有限公司在无人机领域实现了多项技术突破，如先进的飞行控制系统。大疆的无人机产品以卓越的影像稳定技术著称，为专业摄影师提供稳定拍摄体验。大疆无人机搭载的智能避障系统，能够有效避免飞行中的障碍物，提高飞行安全。大疆产品以轻便易携带和长续航能力受到市场青睐，满足了户外爱好者的需求。技术创新与产品优势大疆创新利用AR技术为无人机提供实时导航和目标识别功能，增强飞行体验。AR技术在无人机领域的应用通过AR技术，大疆产品能够实现智能场景识别和拍摄辅助，提升用户拍摄的专业性。AR技术在影像拍摄中的创新增强现实（AR）技术自动避障与智能跟随功能大疆无人机采用先进的视觉和红外传感器，实现复杂环境下的精确避障。精确的避障技术大疆产品具备实时路径规划能力，即使在动态变化的环境中也能安全飞行。实时路径规划搭载AI算法的智能跟随功能，让无人机能够自动识别并跟踪目标，提高拍摄效率。智能跟随系统大疆无人机配备先进的视觉和红外传感器，实现智能避障，确保飞行安全。智能避障技术通过优化电池技术和机体设计，大疆无人机的飞行时间得到显著延长，提升使用体验。飞行时间延长用户可通过一键返航功能轻松控制无人机返回起飞点，简化操作流程，提高易用性。一键返航功能大疆无人机支持高清视频流实时传输，让操作者能够即时获取飞行画面，增强安全性。实时图像传输01020304提升安全性和易用性研发团队的匠心精神在产品设计与制造过程中，团队注重每一个细节，确保产品的高性能和可靠性。注重细节的完美主义大疆团队不断收集用户反馈，对产品进行持续改进，以满足市场和用户的需求。持续改进与优化大疆研发团队致力于无人机技术的极致创新，不断推出领先世界的产品。追求极致的创新01、02、03、大疆不断研发新技术，推动无人机和影像技术的革新，引领行业发展方向。持续创新大疆将人工智能技术应用于农业、影视制作等多个行业，实现技术的多元化应用。拓展应用领域深耕人工智能领域持续研发新产品大疆不断推出创新无人机产品，如Mavic系列，引领市场潮流。优化用户体验通过软件更新和硬件改进，大疆致力于提升用户操作便捷性和飞行安全。拓展国际市场大疆积极开拓海外市场，其产品在全球范围内获得广泛认可和应用。坚持技术创新与追求卓越练习题6.6一、选择题1.在网站流量日志数据分析系统中，以下（

）工具用于采集网站流量日志数据。A.HDFSB.MapReduceC.FlumeD.Hive2.在网站流量日志数据分析系统中，以下

（

）

工具用于对存储在HDFS中的数

据进行查询和分析。A.HDFSB.MapReduce

C.FlumeD.Hive3.在网站流量日志数据分析系统中，以下

（

）

工具用于将分析结果进行可视化

展示。A.HDFSB.MapReduce