【FFA 2026】智能开发与运维 DataWorks Data Agent：面向Flink 实时数据工程的智能开发与治理实践

Flink实时数据工程的智能开发与治理实践-从Copilot、Agent到DataC演讲人演讲人从Flink痛点，到Copilot、Agent、DataClaw，都基03Agent：多引擎02Copilot：SQL03Agent：多引擎SQL是入口，实时工程还要面对状态、时间、资源、上下游和治理CatalogCatalog/Lineage/RuntimeSignals/GovernanceRules02FlinkContextJobGraph/Time/State/ResourceWatermarkMemory/CUConnectorCheckpointCopilot=DataWorks代码编程助手：在SQL为主、兼及UDFCopilot负责入口SQL这层；SQL之外交给Agent12通用大模型·读懂逻辑3通用大模型·定位修复4通用大模型·改写/性能采用混合模型：补全用微调小模型，解释/纠错/优化用通用大模型，仍以人为主Window/Join/SinkJava/Python函数状态算子运行参数/连接覆盖SQL之外的部分：需求→代码→工作流→发布全流程，经MCP调多引擎Contract/路由/调度客户SkillContract/路由/调度客户Skill）：工作流编排Copilot+工作流编排Copilot+Agent0303Agent复用02MCP受控01Skill池ToolContract多引擎Skill多引擎SkillFlink运维不是看一个Job，而是同时看So@DataClaw02诊断编排任务与时间窗Source/Runtime/SinkSkill只读诊断边界候选根因证据链影响范围05受控动作确认审计可回溯03证据链SourceCDCSchemaCheckpointBackpressureSinkHologres写入PK/UpsertDataClaw组织诊断链路和证据；重启、补数、发布等写操作进入确认与审计04根因定位离线维表、实时计算、分析结果共同决定任务质量计算产出下游DownstreamCheckUpstreamContext跨引擎上下文Copilot/Agent负责开发，DataClaw负责运维，共享同一份全域上下文与治理边界运维态执行器IM/告警诊断/编排路由/计划/会话Catalog/Lineage/运维态执行器IM/告警诊断/编排路由/计划/会话Catalog/Lineage/MetricRBAC/DQC/AuditCopilot·Agent开发态执行器SQL/SQL/UDFDataStreamDataStream一份上下文、一条治理边界，供Copilot/Agent/DataClaw三类执行器共用权限、质量、血缘、发布、审计不是外挂，而是实时任务生命周期的一部分01DataAgent输出03生产边界代码/配置依赖/血缘证据/风险01DataAgent输出03生产边界代码/配置依赖/血缘证据/风险DataAgent组织证据，DataWor0202DataWorksControlPlane准入Review发布Control治理不是Agent的外挂能力，而是治理不是Agent的外挂能力，而是Flink实时任务进入生产的控制面CopilotAgent全域数据智能演讲人张勋祥哔哩哔哩资深开发工程师背景与现状待解决的核心问题Plugin解决方案落地实践与展望作业数核心变化运维形态的三次演进人工经验驱动单场景自动化QQ体系化智能诊断多场景可组合诊断基于证据链形成结论和执行反馈待解决的核心问题诊断效率与质量难兼顾诊断效率与质量难兼顾运维经验难以沉淀和复用真正需要沉淀的是：案例缺少完整证据链就无法沉淀为规则解决核心矛盾控制与约束方式解决核心矛盾控制与约束方式实践启示实践启示经验沉淀形式生产必要性生产必要性风险控制机制体系架构：从场景到证据链到执行闭环•连接日志/指标/机器/runtime等数据4•固化诊断流程和判断逻辑213诊断报告Schema强制要求根因需要证据链引用修复建议需要风险/回滚/验证方案信号误判信号误判证据不足30+条规则，覆盖10类场景，阻止已知的"危险捷径"执行流程（不可有效/action有效/确认文本/冲突检测身份鉴权：非绝安全保障机制让正确路径成为阻力最小路径模型天然行为)流程优化：从失控到可控流程约束度量闭环采集