2026云栖大会资料-「Agent 工程化」方向-Kafka 不止于消息 流·算·湖一体化实时数据平台 数据进来即算、算完即入湖 一个 Kafka 打通实时链路的采集、计算与沉淀

流·算·湖一体化实时数据平台数据进来即算、算完即入湖——一个Kafka打通实时链路的采集、计算与沉淀刘尧&张美平阿里云智能集团·产品专家&阿里云智能集团·高级技术专家2流·算·湖一体化1趋势与挑战2流·算·湖一体化1趋势与挑战3技术深潜AI时代，实时数据成为核心生产资料数据即用实时供给数据新鲜度数据即用实时供给数据新鲜度数据一致性数据一致性谁掌握了实时数据的入口，谁就掌握了AI应用的数据命脉成本高链路长运维重组件多成本高链路长运维重链路每多一跳，延迟、故障点与成本都在叠加重磅发布一句话定位：流入、就地算、原生入湖——一个平台闭环流湖算流湖统一实时数据入口原生入湖沉淀Kafka原生流计算能力统一实时数据入口原生入湖沉淀数据湖/下游数据源ApsaraMQforKafka数据湖/下游数据源ApsaraMQforKafka实时数据平台流算流·Stream：统一实时数据入口——平台的地基缓冲削峰统一入口一份多用缓冲削峰统一入口所有实时数据的第一跳所有实时数据的第一跳，决定了后面算与湖的上限流计算Embedding流计算StreamingStreamingAgent智能体三层能力同源于一份流入数据，按需组合、互不前置SQL实时处理能力过滤/裁剪/转换/脱敏SQL实时处理能力过滤/裁剪/转换/脱敏典型用途典型AI场景典型AI场景数据一次流入，数据一次流入，即完成向量化，AI场景无需再等离线加工StreamingAgent：数据流经Kafka时，典型用途平台能力典型用途--i开放不锁定Schema自适应演进原生写OSS·DLF管元数据开放不锁定Schema自适应演进核心价值：从拼装长链路，到一个平台闭环过去·拼装长链路现在过去·拼装长链路典型场景：谁在用、用来做什么实时数仓实时数仓/湖仓一体IoT/车联网AIAI应用实时供给日志实时分析同一套平台能力，同一套平台能力，按场景组合，不需要为每个场景重建链路02SQL·实时计算（在线决策/新鲜度）01TABLE02SQL·实时计算（在线决策/新鲜度）高可用架构存算分离弹性架构高可用架构存算分离支撑快速扩缩与故障接管存算分离支撑快速扩缩与故障接管，Fence与EpochCAS守住单写边界领先架构性能与规模效率领先架构共享存储底座已在生产环境实现计算与数据解耦，故障恢复无需搬迁历史数据，并经过大规模、多行业场景的长期验证与持续打磨。TableTopic路径（托管成表关系）外部运行时的代价（FlinkTableTopic路径（托管成表关系）缩短的是外部运行时与责任边界；可见性由提交间隔与文缩短的是外部运行时与责任边界；可见性由提交间隔与文件布局共同决定记录映射Schema感知记录映射Schema感知可见Snapshot事务提交OSSTableBucket·承载开放表与原子提交TableBucket承载开放表·多引擎按位点与Snapshot同步推进，才构成可恢复、可重复执行的入湖语义小文件：实时写入的长期成本TableBucket后台自运维小文件：实时写入的长期成本元数据先筛文件，查询才能少扫数据420420引擎一·Kafka原生入湖（OSSTable共享元数据底座，独立执行链路实时SQL处理闭环实时SQL处理闭环产品集成·统一入口数据面职责清晰任务级观测边界约束产品集成·统一入口数据面职责清晰任务级观测边界约束计算层·行式Code计算层·行式CodeGeneration组合拳的性价比已验证收益已验证收益×下一阶段工程化｜JVM/内存·数据/执行·状态平面·资源效率01JVM/内存｜降低固定开销02数据/执行｜放大批量处理收益0303状态平面｜把容量从本地内存解耦04资源效率｜让算力随负载变化前两层降低单机处理成本；状态与资源层决定容量、前两层降低单机处理成本；状态与资源层决定容量、弹性与恢复上限｜微基准结果，非端到端SLA01TABLE能力·原生入湖TABLE02SQL能力·产品内