【FFA 2026】平台AI实践 AI时代的数据诉求与Flink破局之道

AI时代的数据诉求与Flink破局之道演讲人今天的分享AIAI时代的数据需求演进010102020303MIN数据平台正从"图书馆"，变成"神经系统"传统数据平台整理好、整理好、按需查阅T+1跑批，次日看报表井井有条、静态稳定服务对象：报表与人SHIFTAI数据平台实时感知即时响应持续学习服务对象：模型与智能体1.2六大核心数据诉求变化AI把数据从"事后整理"逼成"随到随用"从结构化到多模态文本/图片/音频/视频非结构化数据占比超80%数据到达即刻处理分布式实时流式计算成为刚需复杂流水线简化清洗→特征→推理→后处理→入库需自动化与自愈从结构化到多模态文本/图片/音频/视频非结构化数据占比超80%数据到达即刻处理分布式实时流式计算成为刚需复杂流水线简化清洗→特征→推理→后处理→入库需自动化与自愈端到端一致性风控/推荐需精确一次不重复不遗漏从离线到实时T+1批处理→实时特征风控、推荐不能用"昨天的数据"长周期任务不中断清洗/特征/训练数据可能跑数小时数天不能前功尽弃流批一体流批一体有状态计算→实时与离线统一处理一套引擎、一套语义同时覆盖实时特征与批量数据准备→→实时与离线统一处理一套引擎、一套语义同时覆盖实时特征与批量数据准备状态随作业持续保存，故障后从断点恢复，不必从头再来水平扩展水平扩展精确一次语义→端到端一致性风控、推荐等决策场景不重复、不遗漏→端到端一致性风控、推荐等决策场景不重复、不遗漏分布式吞吐不设上限Flink正从"实时计算引擎"升级为AI数据基础设施——能算、能理解、能推理、能自主行动。AI_EMBED(,场景痛点用户搜"好看的红裙子"，商品库里存的是"红色连衣裙"。关键词匹配完全找不到——高维稠密向量AI_SENTIMENT情感分析标签与置信度→品牌舆情监控利器AI_EXTRACT信息提取关键信息结构化→合同条款自动抽取▲AI_TRANSLATEAI_SENTIMENT情感分析标签与置信度→品牌舆情监控利器AI_EXTRACT信息提取关键信息结构化→合同条款自动抽取▲AI_TRANSLATE文本翻译可自动检测源语言→多语言客服AI_MASK数据脱敏身份证、银行卡号→隐私合规必备AI_CLASSIFY文本分类返回分类与置信度→上万条评论自动打标AI_SUMMARIZE文本摘要可指定最大长度→长文自动摘要2.2·PyFlinkDataFrameAPI：AI/LLM集成内置函数：df.llm.predict()·0101读取商品从数据库读取商品信息OUTPUT商品记录流02拉取图片fetch_content()拉取商品图片OUTPUT图片二进制05向量化输出ai_embed()OUTPUT以图搜图03预处理清晰度检测裁剪/缩放OUTPUT规整图像04多模态描述调多模态模型生成商品描述OUTPUT描述文案整个过程一个链式调用，跑在Flink分布式引擎上，天然水平扩展2.3多模态算子：覆盖图/视/音2.4·FlinkAgents框架：让Agent进入其他Agent框架几乎都面向对话交互；缺"生产级"基础设施能力。节点宕机？重启从Checkpoint恢复，上下文一点不丢协同处理海量事件事件持续到达，Agent持续响应不是"问一句答一句"，而是"事件来了就一直处理"分布式Checkpoint事件持续到达，Agent持续响应不是"问一句答一句"，而是"事件来了就一直处理"未执行从Checkpoint恢复金融实时风控每笔交易实时分析Exactly-Once保证决策不重不漏金融实时风控每笔交易实时分析Exactly-Once保证决策不重不漏实时直播分析弹幕情感分析实时商品推荐边看边推按用户实时行为动态调整策略千人千面智能运维Agent实时感知作业健康传感器流持续到达Agent实时决策感知即响应智能助手×智能巡检·双模式·全面覆盖实时计算AI开发运维提效场景作业开发门槛高，新手上手周期长？作业异常排查依赖专家经验，响应慢？性能调优•资源、参数配置•调优原理、策略•场景化实践指南作业开发•代码辅助•场景Demo撰写新购选型产品购买知识问答故障排查实践开发者：开发效率低深度•价格对比•概念理解•参数解释系统差异化能力不会用代码不会写定位复杂修复困难依赖经验容错率低智能助手负责即时交互与临时应急，智能巡检负责持续值守与自主运维。Long-horizonAgenticOps"永不下班的AI值班员"7Long-horizonAgenticOps"永不下班的AI值班员"7×24小时自动盯着系统，发现风险主动处理7×24持续闭环的主动自治模式。一次目标设定与对齐，智能体自主拆解、执行、验证。AIAssistant“随叫随到的AI顾问”有问题直接问，秒出答案，不用自己定位自然语言对话式运维，所问即所得。快速完成作业开发、根因定位、日志分析及故障解读。“专属定制AI运维助理”，将FlinkAI能力无缝融入你的工作流企业专属的自定义运维智能体。以OpenAPI+Skill开放集成，融入自有Agent与企业平台，AI调用统一AICredits计量。账单透明、一致六大AI场景实现从知识问答到智能运维的飞跃多Agent多Agent协同架构任务规划工具调用安全执行知识问答产品选型作业开发性能调优运维排查意图识别私域专家知识库检索能力支撑产品能力Flink控制台原生内置Skill能力包，开箱即用，零配置启动无需切换工具、无需安装插件——自然语言直调Skills，实现从代码生成、故障诊断、资源配置的全链路智能托管。AI智能巡检：从AIOps到AgenticOps的跃迁每日自动巡检，变被动响应为主动防控门槛高、依赖深工具多、数据散被动响应、效率低门槛高、依赖深工具多、数据散70%时间维护工具排查强依赖经验；异常维度多、关联关系70%时间维护工具排查强依赖经验；异常维度多、关联关系工具维护成本非常大。MTTR平均数小时以上无效告警多、缺乏智能收敛机制；只能事智能预警与自愈能力。监控告警、巡检脚本分散在多处；算子指标、Checkpoint、各自独立查；工汇总耗时，信息孤岛难以关联智能运维的不同时代阶段第一阶段：靠人第二阶段：靠工具第三阶段：靠智能体→出了问题，靠经验丰富的老运维救火；→问题：人累、慢、贵、老师傅走了就完了。→AI能分析、能提出解决方案；→问题：AI只会“提建议”，还是要人去动手，而且工具越买越→FlinkAgenticOps智能巡检：AI自动巡检全量健康评分+根因诊断+主动推送，零人工触发；→综合健康评分可视化，三级风险（正常/需关注/异常）主动推送，早于告警发现问题AI智能巡检：从“被动告警”到“主动洞察”构建7×24小时稳定性守护闭环健康度全景视图自动聚合资源水位、延迟、Checkpoint成功率，生成每日健康评分异常根因定位基于Metric、Event、调优历史等数据结合AI模型能力识别反压、OOM、数据倾斜风险，成本效能优化分析CU利用率趋势，提供Serverless扩缩容建议，助力降本增效。FlinkAINativeAgent通过OpenAPI、CLI、Skill通道开放，支持多端调用与企业集成企业资产复用企业自有Agent平台直接接入FlinkAI能力，无需从零开发即可变生产力，按需调用运维工程师提效通过OpenAPI将诊断、巡检、调优能力嵌入现有运维脚本和CI/CD流水线，告别手动排查Skill生态扩展FlinkAI能力以Skill形式对外开放，可挂载至Qoder、Claude、DataWorksAgent等任意Agent，能力复用而非③点击语法校验→等待校验完成③点击语法校验→等待校验完成⑤选择版本配置→确认参数⑧检查日志，确认无报错平均耗时15–30