Flink Forward Asia 2025 城市深圳巡回

面向分析型场景设计的实时流存储流列存列存Postgre表StreamingWritesReal-TimeUpdatesStreamingWritesReal-TimeUpdatesApacheFluss核心应用场景实时数仓湖流一体实时数仓DWSCDC订阅流式更新流式更新ADS02CDC订阅CDC订阅DWSCDC订阅流式更新流式更新ADS02CDC订阅CDC订阅流式更新DWDODS实时数仓分层化03实时宽表构建新范式04MergeEngine合并机制01流式查询下推01Fluss+Paimon实时湖仓底座：湖流一体Freshdatainreal-timeFreshdatainreal-timeStreamingWrites湖流融合的业界趋势为什么不是Tableflow？Tableflow:流式入湖Fluss:湖流一体不支持更新业务场景矛盾无Schema不支持更新业务场景矛盾无SchemaFluss/Paimon/Kafka数据概念对比ParFFon列存列存行存Fluss数据概念与湖仓完全对齐，无缝融合Kafka与湖仓系统割裂湖流同步/湖流一体开启方式对比ConfluentTableflow:繁琐的YAML配置和字段映射想象一下上百个想象一下上百个Topic，每个Topic有上百列•Schemaasfirst-classci8zen•DataformatfromAvro→TheColumnarStreamFlussTableAparEEon=20250528parEEonFlussTableAparEEon=20250528parEEon=20250529FlussTableBLakeTableAparEEon=20250528parEEon=20250529LakeTableBLambda架构湖流一体架构存7存7存7存7存7天天天天天•Fluss只需维护超短周期实时数据，大幅降低成本（7day->6hour）•流批存储统一，一份视图，提升开发效率实时数据历史数据历史数据秒级新鲜度=me分钟级新鲜度*后续UnionRead将原生支持DeletionVector模式Paimon湖仓架构Fluss+Paimon湖流一体架构3分钟3分钟3分钟3分钟•Paimon新鲜度依赖FlinkCheckpoint，级联作业可导致新鲜度累加•Fluss实时入湖与Checkpoint解耦，可稳定保证湖仓分层新鲜度PaimonChangelog-ProducerFluss+Paimon湖流一体架构FlussServerRecover&Recover&MaterializeChangelogs*****FlussStorage•高性能实时数据接入层•轻客户端、多语言•简化湖仓数据接入•写缓冲，削峰填谷表查询等能力,表查询等能力,结合Flink搭建分层的场景/product/flink/flussODSDWD离线回刷/天离线面向AI时代构建全模态数据统一存储、管控、开放平台数据一键入湖存储，支持存储自适应compaction，自适应分查询引擎元数据统一更高性能//apache/flussTHANKYOUTHANKYOU淘天集团国际数据商业云智能集团菜鸟淘天集团国际数据商业云智能集团菜鸟查询加速用户行为分析引擎湖流一体品与收益双11落地情况集群部署稳定性建设湖流一体阿里集团内淘天（含通天塔、阿里妈妈等）、集团数据公共层、饿了么、淘宝闪购、高德、阿里影业等多个业务已开始线上使用，核心场景主要集中在搜索、推荐、流量等。集群部署集群部署-机架感知][][]…ClientALTERTABLE计算新增bucket待下线待下线TabletServerFlussTabletServer无感升级：对业务正在运行的作业没有明显影响，读写延迟波动小于1minControlledShutdown：支持升级过程中优雅切换Leader：容器收到升级命令后，先优雅迁移自身的BucketLeader，然后再进行关闭，保证Leader持续在线。支持灰度升级/滚动升级•支持原地升级：升级镜像或者修改配置时，不需要kill和重建pod，只需要kill容器并秒级拉起主标题主标题l随机宕机l反复切换leaderl大量建表和分区l随机宕机lRemote存储堆积lBuckect的Replica宕机l读写流量压测l一致性测试l冷数据，追数据延迟湖流一体Native写非Native写Native写非Native写TieringService(TieringService(FlinkJob)7000600050004000300020000案例-淘宝数据平台案例-淘宝闪购场景TieringService，持久化到湖仓存储Paimon中，既保障了实时的时效性，又能及时提供OLAP分析。案例-AB实验分析平台-通天塔场景•行式流存储不支持列裁剪，整行高，以曝光表为例44个字段，平台仅需1段案例-A+采集分析场景全链路成本降低约70%丰富数据分析未来规划THANKYOUAIFunc(on支持在SQL流处理中直接调用大语言模型服务实时流ai_analyze_sentimentSELECTmessage_id,original_text,translated_text,detected_language'translator',original_text,score,label,confidence'oss-smq://img-bucket/img-'oss-smq://audio-'zh'));SELECTstream_id,frame_analysis,'hls:///stream.m3u);Cha1ng/Reasoning向量数据近似检索Cha1ng/Reasoning向量数据近似检索数据分层服务数据分层服务UPPER(content)ASpredict_labelFROMML_PREDICT(TABLEfluss_comments,MODELai_live_sentiment,交互对话型AI交互对话型AIAgents由用户主动触发事件驱动型AIAgents由用户主动触发事件驱动型AIAgents购买Anopen-sourceframeworkforbuildAc)onAc)on@action(InputEvent))/apache/flink-agents/downloads/#apache-flink-agents/flink/flink-agents-docs-release-0.1/THANKYOUBuildaWorkflowAgentAgentAc'onChatModelConnec'onChatModelConnec'on @@ChatModelConnec'onAnthropic,Ollama,)Func'onFunc'on Connec'onConnec'onSetupOllama,OpenAI))EmbeddingandVectoConnec'onSetupVectorStoreOllama,OpenAI) )))) THANKYOUm中THANKYOU1.ADS应用数据层痛点：•离线仓到OLAP引擎需数据搬•计算逻辑固化在ETL中，无法•Flink全量拉取离线大维表导致启动极慢（>30min）、易OOM。•实时维表需同时维护离线数仓快照和在线KV存储（双存储），运描述开放性与存算分离开放性能对接各种优秀OLAP引擎，消除数据同步链路。统—权限管理，支持跨团队低成本共享StarRocks引擎优势高效执行计划、向量化算子、文件IO优化、湖上缓存等，性能优于其他OLAP引擎流批—体存储通过分支机制隔离实时与离线数据，保障数据—致性存储成本优化利用HDFS低成本存储，实现“以存储换计算”策略传统预计算ADS痛点累计类去重指标需单独开发，计算成本显著短期累计指标（如1天）State大，导代码修改后无法从State恢复，需从0点回拉数据Paimon的低成本存储（较OLAP引擎内表成本下降80%使•流批计算场景对维表需求不—致，需同时维护离线数仓快照和在线KV存储（双存THANKYOU…稳定性共性稳定性共性m中m中 3.Trigger3.TriggerIn-placeverJcalpodscalingCloudPla=ormandStreamServicJVM内存层JVM内存层系统层•…•...•…