2023学年完整公开课版Flink介绍

Flink介绍1.了解Flink的作用、起源和部分使用Flink的客户

2.了解Flink的核心计算构造选择Flink的理由1Flink的起源2Flink核心计算构造3Flink的客户4选择Flink流数据更真实地反映了我们的生活方式。随着大规模数据在各行各业中出现，流的方式处理数据，难度越来越大。作为在公共社区中诞生的开源软件，Flink为大容器数据提供流处理，并用同一种技术实现批处理。在Flink的开发过程中，开发人员着眼于避免其他流处理方法不得不在高效性或者易用性方面所做的妥协。理解Flink的作用ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。Flink不仅能同时支持高吞吐和exactly-once语义的实时计算，还能提供批量数据处理。Flink的起源Flink起源于Stratosphere项目，Stratosphere是在2010-2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目。当时，这个项目已经吸引了一个较大的社区，一部分原因是它出现在了若干公共开发者研讨会议上，比如在柏林举办的BerlinBuzzwords，以及在科隆举办的NoSQLMatters,等等。强大的社区基础是这个项目适合在Apache软件基金中孵化的一个原因。2014年4月，Stratosphere的代码被复制并捐献给了Apache软件基金会，参与这个孵化项目的初始成员均是Stratosphere系统的核心开发人员。不久之后，创始团队中的许多成员离开大学并创办了一个公司来实现Flink的商业化，他们为这个公司取名为dataArtisans。在孵化期间，为了避免与另一个不相关的项目重名，Flink这个名字被最终定下来。Flink将批处理视作一种特殊的流处理。批处理与流处理FlinkRuntime执行引擎DataStreamAPIDataSetAPI本地集群YARNMesosTableAPICEPAPIFlinkMLGellyTableAPI部署核心构造面向用户的API库Flink的客户-阿里巴巴阿里巴巴这个庞大的电子商务集团为买方和卖方提供平台。其在线推荐功能是通过基于Flink的系统Blink实现的。Flink的客户-ResearchGate从活跃用户的数量上看，ResearchGate是最大的学术社交网络。它从2014年开始使用Flink作为其数据基础设施的一个主要工具，负责批处理和流处理。Flink的客户-Otto集团Otto集团是全球第二大B2C在线零售商，它的商业部门在最初评估开源流处理平台时，没有找到一种能够符合其要求的平台，所以决定开发自己的流处理引擎。但是当试过Flink后，该部门发现Flink满足了他们对流处理的所有需求。Flink的客户-Zalando公司作为欧洲领先的在线时尚平台，Zalando公司在全球拥有超过1600万的客户。该公司网站采用了微服务架构。流处理架构为微服务提供了良好的支持，因此，Flink提供的流处理能力满足了这种工作模式的需求。1.了解Flink的作用及