【FFA 2026】Agentic Lake 2 基于Flink CDC 和Paimon 的多模能力 高效构建Agentic Lake 从多模态接入、转换处理到实时向量化与检索

从多模态接入、转换处理到实时向量化与检索于喜千过去十年Lakehouse围绕「人」演进·Agent进入后，前提彻底变了不再加速人的体验——而是满足Agent的吞吐标准接口任何Agent标准接口任何Agent框架即插即用不锁定平台、不锁定语言不锁定厂商入湖延迟从小时压到秒级Agent的决策环不再等T+1批处理——数量级的吞吐提升一分钟做完一天的工作量全模态语义结构化表只是底线都是一等公民——Agent不再需要二次理解对象存储OSS、在线直播流HLS多模态数据实时接入实现预处理及向量化多模态数据接入多模态数据实时接入从关系型行列数据到松散对象来源来源关系型数据多模态数据多模态数据全量数据持续存储全量数据持续存储增量数据持续投递维护存储对象元数据：全增量一体数据接入主流多模态加工链路接入多模态数据hostname:ernalusername:cdc_userpassword:${MYSQL_PASSWORD}endpoint:access-key-id:${ALIYUaccess-key-secret:${ALIYUNpath:image/,pdf/,html/接入多模态数据下发统一的表结构↓↓↓↓实现预处理及向量化多模态数据预处理问题主要面向传统结构化数据设计不支持多模态数据处理逻辑复杂定制化难以定义「通用的处理逻辑」打包上传 }}}classpath:org.apache.flink.cdc.udf.exclasspath:org.apache.flink.cdc.udf.exa不透明、不直观、难维护 }}}classpath:org.apache.flink.cdc.udf.exclasspath:org.apache.flink.cdc.udf.exapipeline:pipeline:直观的面向对象调用defpy_img_clean(b:bytes)->bytes:user-defined-function:ID,py_img_clean(img)ASimg_prep函数签名自动推导运行时调用链路预处理、语法检查预编译、类型提取……绑定参数一行AI_EMBED生成embeddtransform:如内置函数般丝滑易用-projection:|\*,AI_IMAGE_EMBED('qwen',FETCH_CONTENT(url))ASembededColpipeline:关联预定义模型model:关联预定义模型type:openai-compatibleendpoint:/compatible-mode/v1api-key:${secret_values.api_key}model-name:qwen3-vl-embeddingOpenAI-CompatibleClient·通用运行时增强提供稳定可靠的模型能力运行时能力决定能否被生产系统稳定消费01生命周期管理权限打通，api-key轮转；client关闭时统一关联资源02重试与容错识别错误类型，错误码；按策略选择重试、忽略或抛错03指标与可观测性覆盖request/failure/latency/token用量，按service_mode/modelName分组观测04扩展适配能力支持额外headers/body，并额外适配DashScope多模态embeddingendpointOpenAI-CompatibleClient·通用运行时增强提供稳定可靠的模型能力监控告警03指标与可观测性按service_mode/modelName分组观测实时入湖及查询多模态数据写入与查询AI注入唯一点OUTPUT·ENRICHED⑤Partitioning主键路由OUTPUT①Source原始事件源OUTPUT⑥PaimonSinkFINAL②PreTransform前置优化OUTPUT③SchemaOp单点协调者OUTPUTSchemaOperator的钩子答案在SchemaOperator→MetadataApplier这条单点协调路径上两个社区的殊途同归共同动机不应物化进数仓避免大对象在算子间流转共同方案共同目标不需要实际存储字节共同收益返回字节返回字节关键特性blob列与普通BYTES列查询无别Paimon列裁剪零开销：查id/name不触碰.blob文件blob物理上分离存储·不影响行级IO适用场景批处理·本地分析·字节就是结果模式B模式B·DESCRIPTOR·Agent场景推荐返回描述符切换开关ALTERALTERTABLEtSET关键特性同一SELECT返回BlobDescriptor序列化(uri+offset+length)≈几十字节/行Spark辅助：path_to_descriptor/descriptor_to_string100张图的描述符只需几100张图的描述符只需几ĸB索引不在写入链路里·写入永远不会因为索引重建而阻塞01表先决条件01表先决条件lumina.index.dimension0202一行CALL触发按shard切分天然支持并行检索CALLsysCALLsys.create_global_index(table,index_column,index_type,options)SQL表函数SQL表函数