Flink实时大数据处理技术 教案 05 流处理API

章节名称流处理API

课序/课时总课时课程性质考试方式授课教师编制时间

2172课时80必修/选修闭卷/大作业

课题基本使用

教学内容,DataStream是什么

•基础程序

•并行度的设置

教学目的l.DataStrean是什么

使学生了解DataStream在Flink中的核心概念，它是Flink处

理无界数据流的主要APL教授学生Datastream的基本特性和用

法，包括如何从数据源读取数据、如何对数据应用转换操作(如

map、filter,reduce等)、以及如何将数据写入到外部系统。引

导学生理解DatastreamAPI的编程模型.包括数据流图的构建、

算子的执行顺序和并行处理等概念。培养学生的数据流处理意识，

使其能够使用DatastreamAPI来构建高效、可靠的数据处理应用。

2.基础程序

教授学生编写简单的Flink程序的基本步骤，包括创建Flink

执行环境、定义数据源、编写数据处理逻辑和定义数据接收器。

引导学生通过实践编写一个完整的Flink程序，包括读取数据、执

行转换操作以及输出结果。教授学生如何使用Flink提供的各种算

子(如MapFunction、FilterFunction,ReduceFunction等)来实现

数据处理逻辑。培养学生的编程能力和问题解决能力，使其能够

编写出满足实际需求的Flink程序。

3.并行度的设置

使学生理解并行度在Flink中的重要性，以及它如何影响程序

的性能和资源利用率。教授学生如何设置Flink程序的并行度，包

括全局并行度和操作级并行度的设置方法。引导学生探讨并行度

设置对程序性能的影响，并通过实验来装证不同并行度设置下的

执行效率和资源利用率。培养学生的优化意识，使其能够根据实

际需求合理配置Flink程序的并行度，以提高程序的执行效率和资

源利用率。

教学重难点•重点：

,DataStream是什么

•难点：

•基础程序

•并行度的设置

教学方式•提问法

•讲授法

・引导法

­案例法

教学用具•笔记本电脑

,windowlO

•IntelliJIDEA2020.1.2

•课堂极域教学平台

,VMware

•虚拟机

教学步骤1.复习提问

2.导入本节内容。

3.精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节复习提新课讲解课堂答疑课程小结作业布置

问

时间分配

（分钟计算）

章节名称流处理API

课序/课时总课时课程性质考试方式授课教师编制时间

22/2课时80必修/选修闭卷/大作业

课题DataStream数》昌源

教学内容•内置DataSource

・自定义DataSource

教学目的1.内置DataSource

使学生了解Flink中内置的各种数据源（DataSource）组件，

这些组件提供了从各种数据源（如文件、数据库、Kafka等）读取

数据的能力。教授学生如何使用Flink的内置数据源API来快速构

建数据流处理应用，无需编写额外的数据读取代码。引导学生理

解不同内置数据源的工作原理和适用场景，使其能够根据实际需

求选择合适的数据源。培养学生的快速开发能力，使其能够利用

Flink的内置数据源快速构建出满足业务需求的数据处理应用。

2.自定义DataSource

教授学生如何在Flink中自定义数据源，以满足特殊的数据读

取需求。导学生理解自定义数据源的实现原理和步骤，包括定义

数据源类、实现数据源接口、处理数据读取和并行化等。教授学

生如何使用Flink提供的API和工具来辅助自定义数据源的开发，

如使用SourceFunction接口、并行化工具等。培养学生的创新能

力和问题解决能力，使其能够根据实际业务需求自定义数据源，

并解决在开发过程中遇到的问题。

教学重难点・重点：

•内置DataSource

•自定义DataSource

•难点：

•内置DataSource

•自定义DataSource

教学方式•提问法

•讲授法

•引导法

•案例法

教学用具•笔记本电脑

,windowlO

・IntelliJIDEA2020.1.2

•课堂极域教学平台

,VMware

•虚拟机

教学步骤3.复习提问

4.导入本节内容。

工精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节复习提新课讲解课堂答疑课程小结作业布置

问

时间分配

（分钟计算）

章节名称流处理API

课序/课时总课时课程性质考试方式授课教师编制时间

2M课时80必修/选修闭卷/大作业

课题Datastream转换算子

教学内容•数据流转换

,RichFunction

•物理分区

•算子疑

•资源组

教学目的1.数据流转换

让学生了解Flink如何处理和转换数据流。掌握Flink中数据

流转换的基本操作，如map、filter.flatMap等。理解数据流转换

在实时数据处理中的重要性，以及它们如何影响数据流的性能和

准确性。学会如何根据业务需求设计合适的数据流转换逻辑。

2.RichFunction

介绍RichFunction在Flink编程模型中的作用和优势。让学生

掌握如何通过RichFunction来访问运行时上下文信息，如广播状

态、定时器服务等。让学生了解如何使用RichFunction来处理更

复杂的业务逻辑，如自定义聚合、状态管理等。培养学生利用

RichFunction进行更高级别的Flink编程和优化的能力。

3.物理分区

让学生了解物理分区在Flink分布式处理中的重要性。掌握

中物理分区的概念和策略，如等。学会如

FlinkkeyByxrebalance

何根据数据特性和业务需求选择合适的物理分区策略。理解物理

分区如何影响数据流的传输效率、负载均衡和容错性。

4.算子链

介绍算子链在Flink执行计划中的概念和作用。让学生掌握算子链

的创建和优化方法，以提高数据处理效率。学会如何分析Flink作

业的执行计划，找出可能的性能瓶颈和优化点。理解算子链对减

少网络传输和内存消耗的重要性，以及它在实现高效实时数据处

理中的作用。

5.资源组

让学生了解资源组在Flink集群资源管理中的作用。掌握如何

配置和管理Flink资源组，以满足不同作业的资源需求。学会如何

根据作业优先级、资源利用率等因素进行资源调度和分配。理解

资源组在提高集群济源利用率、保障作业服务质量方面的作用.

以及它在实现高效、稳定的实时数据处理平台中的重要性。

教学重难点•重点：

•物理分区

•算子链

•资源组

•难点：

•物理分区

•算子链

•资源组

教学方式•提问法

•讲授法

•引导法

­案例法

教学用具•笔记本电脑

,windowlO

•IntelliJIDEA2020.1.2

•课堂极域教学平台

,VMware

•虚拟机

教学步骤5.复习提问

6.导入本节内容。

3.精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节复习提新课讲解课堂答疑课程小结作业布置

问

时间分配

（分钟计算）

章节名称流处理API

课序/课时总课时课程性质考试方式授课教师编制时间

2轨课时80必修/选修闭卷/大作业

课题DataStreamSink

教学内容,DataSinks

•自定义Sink

教学目的1.DataSinks

理解DataSinks的作用:让学生明确DataSinks在Flink数据

流处理中的位置和作用，即作为数据流的终点，负责将处理后的

数据输出到外部系统或存储中。熟悉常见的DataSinks：介绍并让

学生熟悉Flink支持的常见DataSinks,如Kafka>ElasticsearchJDBCx

FileSystem等，以及如何使用这些Sinks将数据输出到对应的系统

或存储中。掌握DataSink,的配置和使用：指导学生如何配置和使

用Flink的DataSinks,包括设置连接参数、序列化方式、数据格

式等，确保数据能够正确、高效地输出到目标系统或存储。

理解DataSinks的性能和可靠性：让学生了解不同DataSinks的性

能特点、容错机制和最佳实践，以便在实际应用中根据需求选择

合适的Sinks并优化其性能。

2.自定义Sink

理解自定义Sink的必要性：当Flink提供的标准Sinks无法满

足特定需求时，需要自定义Sink。让学生理解自定义Sink的必要

性，并激发他们探索和学习自定义Sink的兴趣。掌握自定义Sink

的开发流程：指导学生掌握自定义Sink的开发流程，包括定义Sink

类、实现序列化接口、处理并行度和容错等。通过实际案例和练

习，让学生熟练掌握自定义Sink的开发技巧。理解自定义Sink的

关键点：强调自定义Sink开发中的关键点，如数据一致性、容错

处理、性能优化等。让学生明确在开发自定义Sink时需要注意的

问题，并给出相应的解决方案和建议。实践应用：鼓励学生将自

定义Sink应用到实际项目中，以解决特定的数据输出问题。通过

实践应用，让学生深入理解自定义Sink的实用性和价值，并提升

他们的实际开发能力。

教学重难点,重点：

•DataSinks

•自定义Sink

・难点：

•DataSinks

•自定义Sink

教学方式•提问法

•讲授法

•引导法

­案例法

教学用具•笔记本电脑

,windowlO

•IntelliJIDEA2020.1.2

•课堂极域教学平台

,VMware

•虚拟机

教学步骤7.复习提问

8.导入本节内容。

3.精讲本节内容。

4.进行本节小结。

5.布置课后作业。

教学环节复习提新课讲解课堂答疑课程小结作业布置

问

时间分配

（分钟计算）

章节名称流处理API

课序/课时总课时课程性质考试方式授课教师编制时间

2皱课时80必修/选修闭卷/大作业

课题用户行为实时分析

教学内容•用户行为实时分析

教学目的1.理解实时分析的重要性：

让学生明白为什么需要对用户行为进行实时分析，包括实时

监测、快速响应业务需求、优化用户体验等。

2.掌握Flink基本概念和特性：

让学生了解Flink作为流处理框架的核心概念，如数据流、时

间语义、状态管理等。

介绍Rink的特性，如低延迟、高吞吐量、事件时间处理、状

态一致性等，以及它们在用户行为实时分析中的作用。

3.熟悉用户行为数据源：

介绍常见的用户行为数据源，如Web服务器日志、移动应用

日志、数据库变更日志等。

让学生了解如何获取、处理和整合这些数据源以供实时分析。

4.掌握Flink的API和编程模型：

指导学生熟悉Flink的DataStreamAPI和TableAPI,以及如何

使用它们来构建用户行为实时分析应用。

让学生了解Flink的编程模型，包括时间窗口、状态管理、事

件时间处理等，并学会如何在应用中应用这些概念。

5.实践用户行为实时分析场景：

通过实际案例和练习，让学生实践用户行为实时分析场景，

如用户活跃度分析、用户路径分析、实时推荐等。

指导学生如何根据业务需求设计合适的数据流转换逻辑、选

择适当的窗口大小和滑动间隔、配置合适的并行度等。

6.优化和调试Flink应用：