【FFA 2026】Real-Time Analysis 1 Flink Native Engine 在字节跳动无状态 SQL 场景的落地实践

在字节跳动无状态SQL场景的落地实践演讲人罗瓿林、王鹏翔字节跳动研发工程师背景架构设计背景未来展望落地实践未来展望业务规模大涉及泛抖音、广告、推荐等诸多重点业务性能瓶颈lBolt是字节主导开源的C++实现的向量化执行引擎开源地址:开源地址:/bytedance/boltSparkonBolt:覆盖率90%SparkonBolt:覆盖率90%性能提升50%PrestoonBolt:覆盖度95%性能提升50%?PIanconversionshadowoperatoroperatorchainNativeoperatorvectorizedPIanconversionshadowoperatoroperatorchainNativeoperatorvectorizedFlinkNativeRuntime设计:Nativeoperatorchainshadowsourceshadowoperatorwrapperoperator(c2R/R2c)shadowsinkBlintshadowsourceshadowoperatorwrapperoperator(c2R/R2c)shadowsinkBlintoperator层Flinkoperatorchain----------⃞----------⃞---------->sourceoperatoroperatorsinksourceoperatoroperatorsinkNativeoperatorchain—户数据流Bolt无状态算子:calc算子c2Rc2RR2cudf(a,c)calcOpudf(a,func(b))udf(a,c)Cfunc(b)ab准确性、性能与稳定性的规模化验证真正上线需要回答三个问题数据结果准不准确?性能收益怎么样?运行稳不稳,能不能恢复数据结果准不准确?性能收益怎么样?准确性、性能与稳定性的规模化验证性能端到端指标采集,可观测准确性性能端到端指标采集,可观测准确性函数语义对齐,端到端验证混沌测试、高负载长稳测试准确性:函数语义对齐保证caIc表达怯计算中9函数的语义能够对齐函数实现逻辑梳理按照函数涉及作业的资源量和使用频率排序作为优先级UTUT对齐和补充复用和扩展FIink函数测试,支持NativeEngine模怯.BOIt已经支持,确认和FIink语义一致.BOIt暂不支持,可以通过PIanner改写.BOIt暂不支持,需要新增实现.特殊入参处理(NULL/极值/其它非法输入).返回值类型.时间类型函数,是否考虑时区UDF支持JSON/正则表达怯/浮点数等,选用和java语言对齐程度高的库准确性和性能:端到端验证通过真实线上SQL做端到端双跑SQL改写批量拉起双跑任务SQL改写权限申请端到端数据比对端到端性能比对比对明细结果和指标端到端性能比对保障任务长稳运行试力试力混沌测试重点关注内存泄漏、coredump提前暴露线上最难排查的长稳问题混沌测试重点关注内存泄漏、coredump提前暴露线上最难排查的长稳问题故障注入,验证您常恢复能力故障注入,验证您常恢复能力快速迭代期,减少变更引入的风险定时拉起,真实FIink环境运行高负载验证放大内存压力,关注数据吞吐快速迭代期,减少变更引入的风险定时拉起,真实FIink环境运行高负载验证放大内存压力,关注数据吞吐模拟数据积压,延迟追Iag性能:批量任务火焰图性能:批量任务火焰图性Native指标和线程栈存量作业迁移存量作业迁移双跑验数,迁移上线泛抖音(电商、生服泛抖音(电商、生服直播)新增作业收口前置检查,新增作业收口前置检查,默认开启大cpu使用率指标采样p99分位点,相比字节内部优化过的FIink(Java)版本,下降45%无状态和有状态算子的规模化落地无状态功能覆盖度进一步提升剩余内置函数支持、业务UDF内置natie化有状态有状态算子支持和上量MemorystateBackend的支持资源规模有收益任务资源量达150wcore+淘宝交易实时风控智能体演讲人王利雷淘天集团数据技术专家陈星为淘天集团算法技术专家演讲人业务背景总体架构风控Agent实时图更新总结展望每一笔订单事件,依次经过三层处理,最终产出拦截决策识别谁和谁是一伙的关联图谱发现团伙聚集特征拼接+模型打分决定拦不拦、怎么拦规则+模型分>拦截决策核心矛盾:黑产的”分钟战争Π黑产以分钟级演进,风控链路却慢了一个小时一一系统永远比对手慢一步分钟级作案10分钟内集中下单,刷GMV后退款ODPS批任务社区图,小时级调度分钟级作案10分钟内集中下单,刷GMV后退款ODPS批任务社区图,小时级调度风控多账号批量操作,设备指纹伪装风控多账号批量操作,设备指纹伪装特征批量调度回灌模型,大促节点赶不及策略快速迭代黑产工具平台化,变种周期缩短到小时级策略快速迭代黑产工具平台化,变种周期缩短到小时级规则引擎维护难度重、扩展差,依赖迭代周期规则引擎规则引擎执行引擎T+1历史全量特征今日小时全量特征订单信息订单拆分其他消息实体A分类全量图构建实体C分类小时级上下文(ODPS+ıgraph)同步阻塞超时熔断规则匹配冲突消解规则集决策树原有风控链路规则引擎(TPP)业务逻辑实体特征补全订单风控信息Flink流怯容器分类模型小时级全量图小时级全量图定时导入实体B分类原有风控链路数数据流.数据从TT周期落盘ODPS(15min).图社区全量批跑(1h).分类模型全量批跑(1h).特征数据全量更新(1h).TPP规则引擎同步阻塞调用(迭代1d)新版风控链路Tool新版风控链路Tool实现AgentTool调用Tool发现风控Agent(秒级)ReAct推理框架LLM调用您步I/O编排promptRuntimeToolLibraryFluss实时上下文(秒级)订单信息订单拆分其他消息降级规则策略优先级系统指令性模板您步交互实体A分类实体C分类实体B分类业务逻辑实体特征补全订单风控信息您构图传播增量图构建Flink流怯容器流批一体全量历史+增量实时风控Agent不同特征按列更新新版风控链路数数据流.流批一体,All.流批一体,AllinFluss(秒级)区增量更新(秒级).分类模型增量更新(秒级).特征数据按列更新(秒级).Agent您步编排,快速迭代超大规模动态图.实时计算的本质挑战邻居获取邻居节点行为相似度邻居获取邻居节点行为相似度反向索引点查+批量画像拉取中心节点状态+载体信息更新能力支撑KV点查FIuss