讲义文稿讲义flink

OutLin

Flink

—

—Flink

—Flink

Flink

Flink

Flin AP

—关键概念

SparkStreaming： —流处理v 批处

—Flink

一个简单的实现“wordcount”的流处理程序，其StreamGraph —

DataSet —

flow），它拥有任意数量的Task来接收和产生datastreamDataStreamAPI和DataSetAPI都会使用单独编译的处理方式生成JobGraph。DataSetAPI使用optimizer来决定针对程序的优化方法，而DataStreamAPI则使用streambuilderFlink附随了一些产生DataSet或DataStreamAPI程序的的类库和API：处理逻辑表查询 —streamin dataflo

Flink程序实际执行，映射到流数据流（Streamingdataflow），由流和转化符FlinkTransformation和spark算子 —streamin dataflo

Streamin dataflo

—流的重分布

—时间操作

时间（event 时间（Ingestion 进入到FlinkDataflow的时 window操作

时间窗口：time ，[12:01-12:05]->[12:06- ，[12:01-12:05]->[12:02-12:06]->[12:03- OutLin

Flink —Flin API概览

式FlinkAPI—

仅提供有状态流：通过processfunction嵌入DataStreamAPI — API：DataStreamAPI（有界 过程函数与DataStreamAPI相集成 —Table

TableAPI程序 允许混合使用，类似sparksql和rdd混合使用 —SQLFlink提 层级的抽象是SQL，表达能力上与TableAPI类以SQL语言表达形式，可以在TableAPI

DataStreamAPI—Source

) —

readFile(fileInputFormat,path)：指定文件输入格 readFile(fileInputFormatpathwatchTypeintervalpathFilter)： —基于Scoket

: generateSequence(fromto)：创建一个指定区间范围内的数据序列的并行数 —

读入一个元素，返回0个、1保留返回true按key做hash对keyBy对keyBy数据做fold折叠，需要（初始+当前值）+窗口操作//定义一个5windowwindow在窗口上运用reduce —

window在窗口上运用foldaggregationonunion-window给定key和公共窗口上连接（join）两个--在一个ConnectedStream上做类似map和flatMap流在SplitStreami在流中创建“反馈”-DataStream- —

print()/printToErr(): —OutLin

Flink

—分布式Runtime

Task执行并行程序的worker

Job

hash

— FlinkOnOutLin

Flink

—

kStreaming： 还必须对job状态进行管理，确保能从任何情况引起的jobfailure中恢复，而且确保exactlyonce可靠性，这样就会带来性能的开销，增加数据延迟和吞吐量的降低。 —Flink

SparkStreaming就像水坝一样，一批一批地放水，上一批放的水处理完了，才注意：如果是多个数据流，那么都同步地增加的同样的barrier，同时在job处 —分组标记栏(barrier机制

向 —对齐

1Operator先接收一个SnapshotBarriern,然后暂停处理，直到其他数据流的Barriern也到达该Operator2stream数据不处理，暂存在buffer中，等所有barriern到齐，才会把buffer中的数据发送出去，然后向chechpointCoordinator发送Snapshotn —

— —

处理时间 水位线生成用withperiodic条日志时间为2018-01-0108:00:10,如 —

—基于processtime

valinput:DataStream[T]=....keyBy(<key.<windowedtransformation>(<windowfunction>) —基于eventtimevalinput:DataStream[T]=.keyBy(<key.<windowedtransformation>(<window —撤 在FlinkTableAPI和SQL中，引入了retractStream — Storm：通过

—OutLin

Flink

—：tarxvfflink-1.4.0-bin-hadoop26-主要注意要修改jobmanager.rpc.address和hadoop，spark中的slaves注意：masters 到从节点slave01和scp-rflink-1.4.0slave01:/usr/local/src/scp-rflink-1.4.0

slaves

-在master节点：bin/start-bin/jobmanager.sh(startcluster)|stop|stop-bin/taskmanager.shstart|stop|stop- —一个简单 /bin/start-scala- .shvalpath="/home/badou/ valdataSet=benv.readTextFile