【FFA 2026】Agentic Lake 3 Spark x Fluss x Paimon -显著提升离线批处理链路中的数据新鲜度

——显著提升离线批处理链路中的数据新鲜度阿里云EMRServerlessSpark引擎负责人Agenda引入FlussStreaming引入FlussStreamingStorage构建湖流一体①②③④⑤KafkaSLSStreamingcheckpointStreamingcheckpoint三种角色，三类痛点：数据等不及、特征对×分钟级到小时级延迟：checkpoincommit层层累加两条链路算法工程师·特征两条链路算法工程师·特征×Training-ServingSkew：训练/边界/口径用户维护业务用户·跨层分析边界/口径用户维护业务用户·跨层分析如何获取秒级数据新鲜度?缩短PaimonCommit周期到秒级把checkpoint间隔从分钟级压到秒级,提交频率拉高缩短PaimonCommit周期到秒级把checkpoint间隔从分钟级压到秒级,提交频率拉高·本质是trade-off·治标不治本引入FlussStreamingStorage构建湖流一体ApacheFluss(Incubating)·架构与核心IcebergLanceApacheSparkApacheFlinkTrino/StarRocks/RayCoordinatorServerTabletServer1TabletServer2Tiering4.多种查询模式StreamingRead(增量)BatchRead(快照+TimeTravel)TieringService后台搬迁fluss-offsets元数据切割Bucket对齐·原地搬迁CDCKafka/事件流ISLSStreamingStreamingKafka(Beijing,140)(Hangzhou,80)(Shanghai,90)(Beijing,140),(Shanghai,90)(Beijing,120),(Hangzhou,80)KafkaSLS02边界控制·基于offsetPaimonSnapshot内嵌fluss-offsets按offset精确切割·不重不丢03分层读取·分层优化04多种查询模式支持read_optimized等模式实时增量·Arrow列存fluss-offsets=NKafkaSLSSparkStreaming实时写FlussSparkBatchTieringfreshness=300sApacheFluss(Incubating)·实SparkTieringFlusstablebucketSparkpartition无shuffle·直接写入Paimon同bucket04资源弹性SnapshotCommit·内嵌fluss-offsets[FIP-42]SparkTieringService拿table请求LogSplit(增量)·SnapshotSplit(KV首次tier)SparkExecutor#3SparkExecutor#1SparkExecutor#2②split按bucket拆④collectWriteResult⑤commit①heartbeatheartbeat阿里云OpenLake湖流一体解决方案阿里云Fluss托管服务Daft多模态·Python原生CelebornRemoteShuffleServiceBatchInference·向量化开通DLF、Fluss、ServerlessSpark产品通过SparkStreaming写入Fluss湖表04SparkUnionRead查询阿里云EMRServerlessSpark读写Fluss使用文