【FFA 2026】平台AI实践 腾讯基于 Flink 2.x 打造 AI 计算引擎的探索与实践

打造AI计算引擎的探索与实践业务场景升级FlinkforAI体系化实践全链路、多场景业务需求驱动人工智能技术浪潮驱动特征工程、实时训练、在线推理发展路线一致腾讯对实时智能计算的核心需求社区面向AI场景的RoadMap探索实践业务场景升级FROMTransactionsAStLEFTJOINUserProfileFORSYSTEM_TIMEASOFtprocTimeASuONtuserId=uuserId;WorkerJNIProcessorTrainerWorkerProcessorModelDumpModelCacheSourceTrainerK8sK8sFlinkAutoScalepushnodesLBProxyPrometheusEDSServerMetricsreportloadModelServingModelServing…ModelServingK8sPredictFunctionSourceSinkClient调用独立性批量语义GPU密集型场景增多调用独立性批量语义GPU密集型场景增多跨平台服务部署可扩展性SyncI/OAsyncI/OAsyncBatchI/OaabcdDatabaseDatabaseabcdxsendRequest(x)xreceiveResponse(x)waitabcdabcdaabbDatabaseasyncInvoke(asyncInvoke(List<IN>inputs,ResultFuture<OUT>resultFuture)timerbatchFlushIntervalDatabase/InferenceServerflushBufferretrystrategycapacity*maxBatchSizependingBatchesinflightBatchesasyncCallDurationMsasyncCallFailuresAsyncBatchFunction社区代码差异持续扩大社区代码差异持续扩大拥抱开源生态拥抱开源生态面向未来演进面向未来演进离线批量打标Iceberg/Iceberg/FlinkJar+本地算子DataLakeDataLake…5w条/batchGPU缺点•缺点•全量打标耗时6-8小时，无法日更•batch重跑（5万条），恢复15-30min•无Exactly-Once，重复数据3%-5%•每周人工介入2-3次重跑优点•开发简单，Python脚本即可上手•Python生态丰富，模型调用灵活FlinkJarFlinkJar+本地算子NodeNode缺点缺点•模型硬编码在Jar中，迭代周期2-3天•技术栈割裂，联调3-5人天优点•Flink状态管理+Checkpoint容错•流批一体，复用Flink生态•生产稳定运行，7×24长时稳定FlinkJar+本地算子模型推理模型推理挑战挑战•端到端Exactly-Once优点•算子复用：多任务共享，开发量-70%选型方案远程模型服务远程模型服务gRPC长连接池乡AsyncIO异步解耦重试/熔断/降级Flink数据流引擎Source（Pulsar/Iceberg/THive）PythonAPI→数据科学同学Sink（Iceberg/Pulsar/下游）状态管理+Exactly-OnceFLINK-38857·PR#27385—IntroduceTritoninferencemoduleunderflink-models在flink-models下新增flink-model-triton可选模块（Flink2.3起可用）CREATEMODELtriton_text_classifier…'provider'='triton','endpoint'='h廿p://triton:8000/v2/models','model-name'='text-classification',);SELECTid,outputaspredicted_sentimentFROMML_PREDICT(TABLE…,MODELtriton_text_classifier,DESCRIPTOR(…));全链路优化手段基础层（1-2min）：GPU利用率>80%/排队>100→扩容精细层（5min窗口）：P99<80ms/错误率<0.1%多模型差异化调度（AsyncIO异步解耦）传统HPA：大模型冷启动~40min，被动扩容来不及AHPA：基于7天同时段流量预测，提前30min扩容快扩慢缩+15min冷却期，避免频繁抖动nl监控可观测性nl监控可观测性核心指标：QPS/P50/P99/错误率/GPU利用率告警规则：P99>100ms/错误率>0.5%自动告警落地场景数据管道（日均150亿+条/8模型串联）成功-Iceberg成功-IcebergSink失败-死信队列PulsarSourcePulsarSource），SELECTraw_text,quality_score(raw_text)ASquality,--质量评分模型safety_check(raw_text)ASsafety,--安全审核模型lang_detect(raw_text)ASlang,dedup_hash(raw_text)AShash--语种检测模型--去重哈希模型…FROMpulsar_source8模型推理失败率~0.8%未来规划全链路、多场景2.x版本升级提效•持续跟进2.x版本升