【FFA 2026】Agentic Lake 1 基于Fluss+Paimon+Starrocks 搭建淘天集团湖流一体数据链路

搭建淘天集团湖流一体数据链路朱奥淘天集团高级数据工程师 项目背景与核心策略1.1当前湖仓架构1.2业务诉求与核心痛点业务诉求•秒级实时数据schema化•湖仓一体架构支持秒级场景•湖流一体开发效率提升核心痛点•秒级实时数据不可见•没有一个高效易用的湖流一体数据加工方案1.3核心策略统一流批存储，数据可见列裁剪和多级分区裁剪统一流批存储，数据可见列裁剪和多级分区裁剪部分列更新部分列更新部分列更新湖流一体：集成Lakehouse湖流一体：集成Lakehouse1.4湖流一体数据架构在淘天集团湖流一体场景下的应用•按写入顺序存储数据，支持高吞吐量，实测峰值3500w/s；•仅支持追加记录，不支持更新/删除操2.2主键表具有相同主键的条目写入Fluss主键表，则只会保留最后一条；2.2主键表2.3Fluss读取和写入2.4列裁剪•消除大字段带来的带宽浪费和2.5多级分区裁剪•显著减少反序列化计算开销；2.5多级分区裁剪2.6湖流一体链路搭建）；2.6湖流一体链路搭建ıtrueı,开启湖流一体功能，Fluss将自动创建一个具有相同表2.7基于湖流一体链路的OLAP查询checkpoint前的数据查paimon表，只有最新checkpoint之后的秒级数据需要查fluss；3.1未来计划余豪携程资深开发工程师实时湖仓建设生产实实时湖仓建设时效性和成本的矛盾数据链路尽量统一，兼顾时效成本时效性和成本的矛盾数据链路尽量统一，兼顾时效成本实时链路和离线链路割裂矛盾实时链路和离线链路割裂矛盾治理形成闭环业务敏捷性和平台复杂性的矛盾而不是只在少数样板链路业务敏捷性和平台复杂性的矛盾而不是只在少数样板链路保护性约束MySQL连接数限制，最大约40MySQL集群存在混合部署两阶段CDC方案共享Source：统一读取Binlog，满足上游约束独立Sink：下游任务按需配置与演进支持全增量一体、纯增量等模式原始瓶颈hello单线程反序列化hello算子chain在一起实际只有一个线程工作性能优化增加埋点分析根据db.table.primarykey来进行hash分发同步性能大幅提升核心诉求涉及原则尽量减少故障发生，但是不能假设故障不发生hello基于主键表的幂等写入，在补数完成后自动切回到增量支持时间戳补数，故障后能快速恢复模式。特殊的业务逻辑，支持用户自定义SQL进行条件补数动态补数参数要做到Checkpoint兼容稳定性增强hello支持动态热更新表名减少任务重启和抖动KafkaTopic分流缓解热点流量问题FlinkHybridSource快速支持特殊条件的补数（用户自定义sql）FlinkCDCtimestamp模式下支持strictly模式全量阶段schema数据优化（全量不同步schemaPaimonschema缓存优化helloFlink持续消费增量数据Spark/Trino逐步打通Paimo生产实践统计日期窗口错位，数据更新标识错位数据产生的时间不匹配工作时间业务B离线看板与营销侧对数据时效性有更高要求供应商异常处理批量退款海外营销策略的调整用习惯字段来自7张MySQL表，实时多流Join实现难度和成本较大、稳定性挑战较大点击日志每日增量多，数据表膨胀速度较快端到端时延在8分钟以内，满足用户需求平台智能化建设4400+4400+4700+4700+使用资源(vCore)度过快日常值班排查问题比较多，用户排查问题比较困难，值班人员排查耗时通过对话，可以完成一些基本的模型创建和SQL创建和版本生成，上线前智能审批首次上线可以根据作业流量推荐并行度，再次上线可以根据作业画像应用生成的并行度、内存等参数Agent会进行巡检，对于一些明显不合理的参数，会callowner推荐作业配置进行修正作业画像基于社区FlinkKubernetesOperator改造将作业推荐参数持久化至StarRocks非高优作业支持按需接入自动扩缩容规划全量推广，覆盖所有非高优作业诊断数据维度Flink作业参数及配置异常日志监控指标线程堆栈存在问题参数配置不规范，稳定性误判Compact策略缺失小文件激增，NameNode压力持续攀升小文件积压，制约表迁移与资源调度AIAgent巡检按周全量巡检，识别异常并通知责任人提供参数优化建议，辅助完成治理累计减少小文件超2亿个总结和未来展望4.总结和未来展望积极推进自动扩缩容能力的普及，扩大作业的应用覆盖范围，提升资源利用效