【FFA 2026】多模态与向量计算 Flink AI Function 从结构化流处理到多模态融合计算

从结构化流处理到多模态融合计算ApacheFlinkPMCMember李麟FlinkAIFunctionin2.1.0/2.2.0图片、音频、视频、文档需求接踵而来AI-Native：迈向内置多模态数据类型+内建多模态声明式模型注册切换provider只改一行，无需重写UDFallow_unordered+可调max-concurrent-operations统一任务面声明式模型注册切换provider只改一行，无需重写UDFallow_unordered+可调max-concurrent-operations统一任务面chat/completion/embedding一套接口吞吐调优Little'slawL=λ×W(100QPS×1.2s≈120in-flight)ooo去年的例子-商品合规审核register&invokeamodelFROMTABLE(ML_PREDICT(注册一个model就像注册一张表，调用它就用一个built-infunctionQ QInferenceInferenceLATERALTABLE(VECTOR_SEARq.query_vec,->ML_PREDICT完成Inference一个流作业完成端到端declarativeRAG但缺Type-System保障多模处理中的问题图片、音频、视频、文档需求接踵而来商品审核-只看标题，远远不够INPINPUT只审文本不够，还需要理解图片--把图片、标题、描述直接丢给多模态LLMFROMTABLE(ML_PREDICT(ARGS=>DESCRIPTOR(title,description,im调到大模型之前，是这样一长串流程现实中的图片审核Pipeline步但它常被误认为是“全部”步但它常被误认为是“全部”90%是数据处理无外部servicehop，数据不离开原始图4000×3000/20MB+原始图4000×3000/20MB+实际只需要用224×224resize省下真金白银的推理成本3召回增强Embedding+VectorSearch迈向多模态，缺的是另一半能力ML_PREDICT(multimodal_compDataProcessing+ModelDataProcessing+ModelInvocationAIFunction已有ModelInvocationAI-Native：迈向多模态+多模算子库+PythonModuleVECTOR从结构化数据处理出发，数据类型亟需扩充不能表达固定长度·不能表达固定长度·不带dtype·没有fixed-sizeArrowlayout·connector无契约vector携带语义身份（embedding/feature/query），connector才能原生映射到Milvus/ES/pgvectorcontentSTRING,FROMdocuments;VECTOR(dtype,dim)把dtype和dimension写进schema，payload无膨胀2Compile-timevalidation维度不匹配，plan期就报错2Compile-timevalidation维度不匹配，plan期就报错11Dimension-awareschema维度与dtype写进schemaVECTOR('float32',768)→每行只存payloadFLIP-590：dimensionisalwayspartoftheschema；ROW每行重复shape4Vector-nativefunctions函数直接以Vector为入参/返回值4Vector-nativefunctions函数直接以Vector为入参/返回值33Bettermemorylayout连续定长buffer，可向量化Arrowfixed-sizelist，SIMD-friendly；ARRAY=变长list+多层offset/null●BOUNDARY对外边界·connector侧5VectorDBinteroperabilityVECTOR列直接映射Milvus/pgvector/Elasticsearch类型即connector契约无需手填vector_column·dimension（类型已自带）resize后decode后Nativeimageoperatorsdecode/encoderesize后decode后Nativeimageoperatorsdecode/encode是带参operationRuntimeimageoptimization对Pytho·encode成连续ndarray/tensor，batching处理·可预分配buffer、少copy，fixed-shapetensorpathmode归一后...)1Object-awareschema引用进schema，first-1Object-awareschema引用进schema，first-classtype/connector统一契约22Unifiedobjectaccess一套descriptor，跨API通用media.uri/size/content_type字段访问SQL·Table·DataStream·PyFlink同一模型；connector可原生产出FILE，无需手3Storage/Computedecoupling3Storage/Computedecoupling仅READ_*做I/O·支持byte-range读；BYTES会把大payload扔进shuffle/state/checkpoint44Runtime-managedlifecycle值不含bytes/clients/credentials，序列化只发descriptor写FILE不隐式read/copy（descriptor-preserving）；lazy读/cache等futurework●FOUNDATION5Foundationforunstructureddata对齐SnowflakeFILE·BigQueryObjectRef·SparkbinaryFile·DaftFile→→flink-pythonVIDEO_EXPLODE_FRAMES(file,every_ms=>1000)→TABLE<frame_index,pts_ms,fra→...SELECTimage_resize(image_decode(imaVIDEO_FROM_FRAMES(TABLEframes,…)PythonModule对接数十个内置算子Planner感知类型、算子cost/determinismPushdown、CSE等各种优化可能性PuttingItTogether-回到图文审核实现链路IMAGE_TO_TENSOR(IMAGE_RESIZE(IMAGE_DECODE(FETCH_CONTENT(uri),'rai224,224,'RGB','CHW','FLOATLATERALTABLE(VECTOR_SEARCH('v)ARGS=>DESCRIPTOR(title,embedding,evidence)))ASv;plan阶段完成校验dtype/shape/mode；用户SQL写起来多模处理算子就和用UPPER()一样简单SELECTIMAGE_TO_TENSOR(IMAGE_RESIZESELECTIMAGE_TO_TENSOR(IMAGE_RESIZE(IMAGE_DECODE(content),224,xSELECTAUDIO_RESAMPLE(file,VIDEO_EXTRACT_FRAMES(v.file,EVERY_MS=>1000))ASf;AText(RAG)TEXT_CHUNK(content,MAX_TOKENS=>512))ASc;跨模态同一套SQLsurfacexPyFlinkDataFramexTableAPI共享同一份functiondefinition&runtime实现RPCRPCOperatorGPUGPUAwareMultimodalProcessingFuturecheckpointEnhancemnent算子库继续扩展更丰富的video/audio/document算子支持、形成较完备的多模态OperatorLibrary算子库继续扩展更丰富的video/audio/document算子支持、形成较完备的多模态OperatorLibraryAsyncInferenceBatchinference、EmbeddingCache、AdaptiveConcurrency、Cost-basedAIOptimizationObjectReference、ArrowNativeMemory、Zero-CopyTransferRpcOperator集成，来实现ModelService一体化的pipelineAgent集成tooluse、workflow等FlinkAIFunctionIn2.1.0/2.2.002FlinkAIFunctionIn2.1.0/2.2.002Flink在多模态计算中还缺什么04FutureworkRoadmap继续扩展、更多优化›››03AI-Native多模态数据类型+CalltoActiondev@FLIP-589/590/593Discuss&Contribute李林杨罗瑞倫实时多模态业务场景的背景与挑战多模态数据爆发：不同业务场景的模型与数据飞轮视频、语音、图像、传感器数据正以PB/天级别涌入，三大典型场景代表了实时多模态智能的真实诉求驾互具驾互具机器人/工业巡检机器人/工业巡检•边端协同的模型持续迭代车端感知/数据回流•路况异常的实时识别与上报•关键场景的快速回灌训练直播/短视频审核•千万级并发流的实时识别•低延迟干预，控制风险传播模型与数据飞轮：以低成本、低延迟，完成海量多模态数据的实时智能处理，高效反哺模型持续迭代“采集→攒批→离线推理→落库”的链路在多模态时代逐渐失效核心诉求核心诉求高延迟：T+H/T+D滞后错失实时干预窗口高成本：算力浪费+重复存储原始多模态数据全量入仓，GPU资源固定预留，无效数据浪费算力，非处理时间段GPU闲置2高成本：算力浪费+重复存储原始多模态数据全量入仓，GPU资源固定预留，无效数据浪费算力，非处理时间段GPU闲置2写仓——这是流计算与大模型推理深度融合的起点无实时闭环：决策无法回流推理结果难以即时驱动告警/调度/无实时闭环：决策无法回流推理结果难以即时驱动告警/调度/训练样本回流，难以形成持续优化的Rollout数据飞轮3实时多模态AI处理的端到端架构边缘侧→OSS-MNS侧→Flink侧→PAI-EAS侧→Paimon，全链路无缝串接，时间驱动取代轮询关键设计关键设计：边缘侧完成数据初步筛选，将高价值数据回传至云端存储。Flink通过AIFunction调用PAI-EAS服务完成实时大模型推理，推理结果写入Paimon，构建流批一体的数据湖仓底座。数据持续回流用于大模型后训练，构筑数据-模型闭环飞轮。每一层都聚焦“降本”与“提效”，自下而上构建试试多模态AI流水线边缘侧使用蒸馏后的小模型/端测推理，仅对"有价值帧"进行上传，显著降低带宽与云端推理成本对象写入OSS自动触发MNS消息，Flink以Source形式订阅，毫秒级感知新数据，不再需要定时扫描在流上对原始多模态数据做解码、特征抽取、向量化；通过AIFunction调用PAI-EAS完成在线推理结果以列式格式实时入湖，下游可直接接BI/训练样本生成/智能体记忆，形成持续优化飞轮部署—弹性—成本—推理模式—稳定性，涵盖服务大模型/多模态服务的全生命周期管理02弹性03成本02弹性03成本极致控本•抢占式GPU极致控本•抢占式GPU实例~90%降本•闲时自动缩容到0•全球资源调度服务•队列/QPS/GPU利用率触发•毫秒级扩容，秒级生效•多机多卡分布式•