Flink核心技术：源码剖析与特性开发

Flink核心技术：源码剖析与特性开发读书笔记模板01思维导图读书笔记作者介绍内容摘要目录分析精彩摘录目录0305020406思维导图特性核心技术内容原理剖析理解特性概念第章总结实现设计任务思想原理管理状态数据资源本书关键字分析思维导图内容摘要内容摘要本书主要分为两部分。第一部分以核心概念和基本应用为脉络，介绍了Flink的核心特性（如检查点机制、时间与窗口、shuffle机制等），部署，DataStreamAPI、DatasetAPI、TableAPI的应用，运行时的原理等内容，每一章先对概念做基本的介绍，然后基于应用实例详细分析Flink的设计思想和源码实现。第二部分基于对原理的理解，手把手教读者如何进行定制化的特性开发和性能提升，能够让读者对Flink的理解有质的飞跃。这一部分内容来自作者大量的工作实践，所引用例均源自企业级的真实需求，能够解决非常复杂的现网问题。读书笔记读书笔记正在AWS工作中实践，但是不知道为啥flink的推广总有给人一种用力过猛的感觉。目录分析第1章序篇第3章FlinkAPI层的实现原理第2章Flink编程第一部分设计思想篇第4章Flink的执行图第5章Flink的运行时架构第6章任务调度第7章任务的生命周期第8章数据传输12345第一部分设计思想篇第10章状态与容错第9章时间与窗口第一部分设计思想篇第1章序篇1.1Flink的诞生与发展1.2Flink的应用场景1.3Flink的核心特性与架构1.4准备工作1.5总结第2章Flink编程2.1API层级2.2DataStreamAPI2.3DataSetAPI2.4TableAPI2.5SQL2.6总结第3章FlinkAPI层的实现原理3.1DataStreamAPI3.2DataSetAPI3.3TableAPI和SQL3.4总结第4章Flink的执行图4.1StreamGraph的生成4.2Plan的生成4.3从StreamGraph到JobGraph4.4从Plan到JobGraph4.5从JobGraph到ExecutionGraph4.6总结第5章Flink的运行时架构5.1客户端代码的运行5.2高可用相关组件5.3派发器的初始化与启动5.4资源管理器的初始化与启动5.5TaskExecutor的初始化与启动5.6JobMaster的初始化与启动5.7总结第6章任务调度6.1调度器6.2调度拓扑6.3调度策略6.4调度过程的实现6.5任务的部署6.6Execution对象在调度过程中的行为6.7总结第7章任务的生命周期7.1任务的提交7.2任务的初始化7.3任务的执行7.4总结第8章数据传输8.1基本概念与设计思想8.2数据的输出8.3数据的读取8.4反压机制的原理8.5总结第9章时间与窗口9.1基本概念和设计思想9.2WindowedStream9.3窗口相关模型的实现9.4WindowOperator9.5水位线9.6定时器9.7总结第10章状态与容错10.1基本概念与设计思想10.2状态存储10.3状态恢复10.4状态的重分配策略10.5总结第11章动态调整并行度第12章自适应查询执行第13章FlinkSort-MergeShuffle第14章修改检查点的状态第二部分特性开发篇第11章动态调整并行度11.1模型设计11.2指标收集11.3指标管理11.4总结第12章自适应查询执行12.1Flink框架下的自适应查询执行12.2统计信息的收集12.3执行图与调度拓扑的修改12.4上下游关系的建立12.5总结第13章FlinkSort-MergeShuffle13.1混洗机制的对比13.2Flink混洗机制13.3Blink混洗的数据流转13.4Blink混洗的Sort-Merge过程13.5文件的读取和元信息管理13.6总结第14章修改检查点的状态14.1状态修改的原理14.2状态处理器API14.3总结A.1TaskSlot与TaskSlotTableA.2槽的注册与申请A.3物理槽与槽资源池A.4给任务分配槽A.5共享槽12345附录A资源管理A.7总结A.6组件间的交互附录A资源管理A.1TaskSlot与TaskSlotTableA.1.1TaskSlotA.1.2TaskSlotTableA.2槽的注册与申请A.2.1注册任务管理器A.2.2注册申请槽的请求A.3物理槽与槽资源池A.3.1物理槽A.3.2槽资源池A.4给任务分配槽A.4.1LogicalSlotA.4.2SlotProviderStrategyA.5共享槽A.5.1MultiTaskSlot和SingleTaskSlotA.5.2SlotSharingManagerB.1主要数据类型B.2类型的指定B.3类型信息的提取B.4数据的序列化与反序列化B.5总结12345附录B类型系统B.1主要数据类型B.1.1基本类型B.1.2数组类型B.1.3复合类型B.1.4辅助类型B.1.5一般类型B.3类型信息的提取B.3.1从Function中提取B.3.2从Class中提取B.3.3从TypeHint中提取B.3.