【FFA 2026】Agentic Lake 2 Paimon 海外电商场景建设与实践

Paimon定位、核心能力与电商数据湖价值业务数据入湖、湖仓订阅与自动维护能力分层建模、流批一体与电商分析链路落地整体介绍公司业务发展：全球化经营进入多增长引擎阶段从独立站出海、本地化交易，到社交娱乐、广告技术和电商开店本地语言支付税费物流交付开店本地语言支付税费物流交付全球市场东南亚/中东/非洲等新兴市场崛起，品牌进入多站点、多语言、全球市场东南亚/中东/非洲等新兴市场崛起，品牌进入多站点、多语言、多支付阶段欢聚集团形成“现金流+增长飞轮增长飞轮内容与流量广告变现电商服务数据智能全球经营整体架构业务数据源业务数据源店铺/商品/订单支付/税费/物流广告投放/转化直播/社交互动特点：既要实时分析，也要稳定沉淀历史明细。业务消费经营分析/财报口径实时大屏/风控监控营销投放/转化归因AI商品/用户运营收益：支撑全球多区域经营、AI实时湖仓能力：主键表、增量读写、补统一口径实时采集把多业务事件标准化为统一入湖数据流。业务数据入湖、湖仓订阅与自动维护能力围绕聚数数据湖存储体系，提供业务数据入湖、湖仓订阅与轻量清洗能力多新鲜度存储组件多新鲜度存储组件10分钟级、小时级、天级秒级新鲜度订阅湖内数据到多存储或业离线订阅订阅湖内数据到多存储或业离线订阅离线采集业务库慢查询风险需控制数据上报用户主动上报数据，同步到聚数数据湖内DTS入口•按流量、资源用量与数据源类型动态路由临时高峰任务分组•切换结果由平台下发到切换生效：任务按目标分组重新调度切换任务分组挑战2:补数设计业务数据回刷与补数主干可继续服务在线查询主干可继续服务在线查询补数过程可回放、可校验以补数时间区间命名，隔离回刷数据双写主键表与追加表。能及时感知到针对不同的Writer，我们可以通过设置吞吐更大个Writer输出同一个表湖仓实践用户维护数仓自行定时任务Compaction平台维护平台SparkProducer离线调度FlinkAutoCompaction更新健康分判断优化类型更新健康分UpgradeHelathSchore下发优化任务更新健康分++下发优化任务SelfAutoCompaction（自优化）普通compact空值时也默认full每个partition/bucket独立执行根据规划的Plan文件进行Compaction；pact(p,b,true)每个partition/bucket独立执行合并语义活跃分区/条件-非活跃分区合并，不影响当日分区环触发与准入智能策略动态资源触发与准入智能策略动态资源并，灰度开关默认关闭，降低生产接入风险。并，灰度开关默认关闭，降低生产接入风险。05治理与观测闭环05治理与观测闭环/分区/废弃文件清理。按快照/分区识别小文件、低根据间隔与文件特征选择改造后收益：用户无需关心Paimon表运维，只需要关注表健康分即可。当表健康分较低时候，会自动触发不同类型的字段结构沿用原表证明方案可落地：影子表、再对数、处理查询风险与锚点周期全字段验证：按主键对齐后比较全字段义表现不一致等问题，需要单独验证。策略：先不要设计复杂周期，从日/周/月风险关闭未来规划稳定性、性能、治理与生态持续演进多模态数据湖支持主键表自动化合并多模态数据湖支持主键表自动化合并数仓SKILL数仓SKILL功能稳定性多模态数据湖支持主键表自动化合并多模态数据湖支持主键表自动化合并数仓SKILL数仓SKILL功能稳定性多模态数据湖支持主键表自动化合并多模态数据湖支持主键表自动化合并数仓SKILL数仓SKILL功能稳定性翁才智写入只是开始，生产稳定运行仍需持续治理随着数据量和使用场景的变化，治理成本逐步浮现 02写入阶段小文件合并合并与写入共享资源， 02写入阶段小文件合并合并与写入共享资源，可能影响写入稳定性分桶规划需要在业务规模尚不明确时确定分桶数 03运行阶段生命周期与文件清理冷分区占用标准存储， 03运行阶段生命周期与文件清理冷分区占用标准存储，废弃文件需要定期清理索引构建与维护索引需要持续构建，并合理配置资源与运行时机数万张表意味着持续的运维负担智能存储优化系统功能总览 按数据规模调整桶数支持分区级桶数差异 03参数自动调整结合数据特征估算参数结合实际负载估算资源 06自动冷热分层按策略自动归档冷数据支持手动转冷与加热04索引构建与维护支持增量方式持续构建 07废弃文件清理 按数据规模调整桶数支持分区级桶数差异 03参数自动调整结合数据特征估算参数结合实际负载估算资源 06自动冷热分层按策略自动归档冷数据支持手动转冷与加热04索引构建与维护支持增量方式持续构建 07废弃文件清理扫描无元数据引用文件确认安全后执行清理08运行状态监控实时监控时延/文件数/资源支持接入控制台与告警 02小文件自动合并根据表健康状态触发根据写入流量弹性扩缩容 05过期数据清理自动清理过期快照与标签自动清理过期分区数据...智能存储优化系统架构总览单表决策链路单表决策链路决定是否提交优化作业决定具体优化行为/参数表参数/统计信息文件级别manifest信息对象存储数据文件调度服务用户事件计算资源池计算资源池计算资源池主键表规则引擎Append表规则引擎元数据服务作业状态能力完整优化本质是数据流水线读写、Shuffle、并行计算Flink天然支持流批一体流作业持续优化批作业一次性处理复用同一套算子生态贴合接口与运行模型天然贴合社区支持提供稳定基础关键技术实现解耦收益写入流量保持稳定支持分区级差异化分桶分桶调整过程不打断写入解耦收益写入流量保持稳定支持分区级差异化分桶分桶调整过程不打断写入后台优化作业写入目标分桶，小文件合并写入作业持续写入，不感知分桶变化4分桶目录形成正式分桶数据2临时目录数据进入缓冲区分桶决策目标分桶数/调整时机流量信号创建时间/写入流量规模信号总条数/总大小决策链路数据链路元数据信息执行记录规则引擎执行记录执行计划大量小表数据库同步作业Inventory清单对象清单定期导出元仓加速Inventory清单对象清单定期导出元仓加速清单写入元仓后按分区过滤回收站保护先入回收站防止误删分区温度识别访问/更新时间判断冷热生命周期下沉对象存储服务端完成转换按需回热按需恢复归档数据多模态索引自动构建多模态数据结构化文本音频图片视频索引构建VectorVirt