《Flink入门与实战》读书笔记思维导图

思维导图PPT模板《Flink入门与实战》最新版读书笔记，下载可以直接修改数据第章处理大数据案例流式开发分析读者程序系统模型框架节点架构网络序列化应用安装本书关键字分析思维导图01内容提要第1章Flink概述第3章Flink的安装和部署资源与支持第2章Flink快速入门第4章Flink常用API详解目录030502040607第5章Flink高级功能的使用第7章Flink窗口详解第6章FlinkState管理与恢复第8章FlinkTime详解目录0908010011第9章Flink并行度详解第11章Flink实战项目开发第10章FlinkKafkaCon...目录013012内容摘要本书旨在帮助读者从零开始快速掌握Flink的基本原理与核心功能。本书首先介绍了Flink的基本原理和安装部署，并对Flink中的一些核心API进行了详细分析。然后配套对应的案例分析，分别使用Java代码和Scala代码实现案例。最后通过两个项目演示了Flink在实际工作中的一些应用场景，帮助读者快速掌握Flink开发。学习本书需要大家具备一些大数据的基础知识，比如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安装和使用。本书也适合对大数据实时计算感兴趣的读者阅读。学习本书需要大家具备一些大数据的基础知识，例如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安装和使用。本书也适合对大数据实时计算感兴趣的爱好者阅读。内容提要对于一个流处理系统，其节点间数据传输的标准模型是，在处理完成一条数据后，将其序列化到缓存中，并立刻通过网络传输到下一个节点，由下一个节点继续处理。资源与支持而对于一个批处理系统，其节点间数据传输的标准模型是，在处理完成一条数据后，将其序列化到缓存中，当缓存写满时，就持久化到本地硬盘上；在所有数据都被处理完成后，才开始将其通过网络传输到下一个节点。配套资源提交勘误与我们联系关于异步社区和异步图书资源与支持第1章Flink概述Flink中提供了3个组件，包括DataSource、Transformation和DataSink。1.1Flink原理分析1.2Flink架构分析1.3Flink基本组件1.4Flink流处理（Streami...第1章Flink概述1.5Flink典型应用场景分析1.7工作中如何选择实时计算框架1.6流式计算框架对比第1章Flink概述第2章Flink快速入门Flink以固定的缓存块为单位进行网络数据传输，用户可以通过设置缓存块超时值指定缓存块的传输时机。2.1Flink开发环境分析2.2Flink程序开发步骤2.3Flink流处理（Streami...2.4Flink批处理（Batch）案...第2章Flink快速入门第3章Flink的安装和部署如果缓存块的超时值为0，则Flink的数据传输方式类似于前面所提到的流处理系统的标准模型，此时系统可以获得最低的处理延迟；如果缓存块的超时值为无限大，则Flink的数据传输方式类似于前面所提到的批处理系统的标准模型，此时系统可以获得最高的吞吐量。3.1Flink本地模式3.2Flink集群模式3.3Flink代码生成JAR包3.4FlinkHA的介绍和使用3.5FlinkScalaShel...12345第3章Flink的安装和部署第4章Flink常用API详解大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。4.1FlinkAPI的抽象级别分析4.2FlinkDataStream...4.3FlinkDataSet的常用...4.4FlinkTableAPI和...4.5Flink支持的DataType...4.6Flink序列化分析010302040506第4章Flink常用API详解第5章Flink高级功能的使用Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。5.1FlinkBroadcast5.2FlinkAccumulato...5.3FlinkBroadcast和...5.4FlinkDistribute...第5章Flink高级功能的使用第6章FlinkState管理与恢复而Window就是从Streaming到Batch的桥梁。6.1State6.2State的容错6.3CheckPoint6.4StateBackend6.5RestartStrategy6.6SavePoint010302040506第6章FlinkState管理与恢复第7章Flink窗口详解Flink主要包括DataStreamAPI、DataSetAPI、TableAPI、SQL、GraphAPI和FlinkML等SparkStreaming采用了一种Micro-Batch架构，即把输入的数据流切分成细粒度的Batch，并为每一个Batch数据提交一个批处理的Spark任务，所以SparkStreaming本质上还是基于Spark批处理系统对流式数据进行处理容错：Flink提供有状态的计算，可以记录数据的处理状态，当数据处理失败的时候，能够无缝地从失败中恢复，并保持Exactly-once。7.1Window7.3Window聚合分类7.2Window的使用第7章Flink窗口详解第8章FlinkTime详解Rescaling与Rebalancing的区别为Rebalancing会产生全量重分区，而Rescaling不会。8.1Time8.3EventTime+Waterm...8.2Flink如何处理乱序数据第8章FlinkTime详解第9章Flink并行度详解开发Flink程序有固定的流程。9.1Flink并行度9.2TaskManager和Slot9.3并行度的设置9.4并行度案例分析第9章Flink并行度详解第10章FlinkKafkaCon...（1）获得一个执行环境。10.1KafkaConnector10