2025AICon全球人工智能开发与应用大会-上海站：AI+AB：智能时代的企业创新加速引擎

AI+AB：

智能时代的企业创新加速引擎演讲人：

韩云飞字节跳动/A/B测试技术负责人03●

传统

A/B

测试是什么0102●字节跳动

A/B

平台的进化路径

大模型时代的探索和思考●总结与展望目录传统A/B

测试是什么

A/B测试是什么？快速敏捷迭代并精准决策，

实现复利效应，

持续循环增长用户价值驱动用户价值驱动以用户价值为核心，敏捷测试产品和服务改动效果，不断挖掘创新方向，构建面向用户的持续进化机制科学决策以数据为核心，AB测试将企业决策从经验和直觉中解放

。通过严谨的实验设计，构建"假设-验证-优化"的闭精细化运营运营从粗放式管理突破，通过严谨的个性化实验设计，构建细致用户画像策略，持续提升运营效率。提升

以数据价值效为

向I，通过持续

、精准的AB测试，构建营销的闭环学习与迭代机制

，实现增长营销的可持续什么是A/B实验？

同质用户随机分组控制变量对比结果转化提升18%22%对照版本实验版本BApagepage“我们对世界的理解，

取决于我们编造故事来解释我们所观察到的事件的能力

。

并且，我们几乎总是能成功地找到原因，因为我们可以从无数的事实和信念中搜寻原因

。

如果找不到一个显而易见的原因，

我们会在第一时间创造一个解释，以便将我们构建的世界模型中的空白填补上”

A

/B

测试的本质：

「降噪纠偏」

增强人的判断力——《

NOISE》字节跳动A/B

平台的进化路径助力企业科学决策的A/B测试与智能优化平台科学可信的A/B测试与智能优化平台，

基于稳定可靠的分流能力

、科学完善的统计引擎

、智能的调优算法，

为业务增长

、用户转化

、产品迭代

、策略优化

、运营提效等各个环节提供科学的决策依据，

让业务真正做到数据驱动。340万+4000+

7万+数百实验总量日增新实验同时运行实验服务业务线

A/BTesting@Byte

dance注：以上数据口径更新至2024.12

面向业务的实验平台：

超大规模复杂场景实验基础设施实验规模大规模(并行7W+)

、复杂的实验，

具有高并发性(亿级QPS)。实验类型提供多种实验类型以适应不同业务场景。计算资源定制选项分析引擎利用海量计算资源实现高查询吞吐量。具有灵活高效的分析引擎。根据各种标准提供个性化定制。采用先进的统计方法进行准确分析。确保高SLA的指标管理和建设。统计方法SLA保障

传统A/B

测试的“天花板”

我们的解法：

AI增强的实验平台 AI增强的实验平台：

流量智能调优BDCA四组文案赛马，

流量倾斜给表现好的组，

B组表现最好，

A惨遭淘汰点击转化率

（相比于均分实验）+9.2%

AI增强的实验平台：

流量智能调优多臂老虎机智能调优通过不断地探索不同的选项

（臂），

并根据每个选项的反馈

（奖励）

来调整选择的概率，

逐渐倾向于选择表现更好的选项，

从而实现智能调优。0

时间成本，

及时拿收益；

0分析成本，

智能化决策‘

0误判成本，

最大化收益；0人工介入，

释放人力。广告投放策略自动优选

运营推送文案赛马落地页动态优选

MVT多变量组合智能优选原理概述：应用场景：使用优势：【原理优势】

多臂老虎机智能调优【实验案例】

动态文案赛马实验 AI增强的实验平台：

多元回归CUPED实验扩量场景下方差缩减效果对比【解决方案】AI洞察营销敏感人群，

针对性施加策略分析发券干预/不发券干预用户对目标指标的收益评估，

找到敏感人群基于实验智能化分析提供业务可解释性 AI增强的实验平台：

异质敏感人群洞察一键获取敏感人群包以「优惠券发放」

为例，

在预算和ROI的约束下，

常常会问：·哪些人群是发放优惠券实际带来的转化？·哪些人群不需要投入成本就可以自然转化？【问题场景】我想把钱花到哪些对活动特别敏感的用户身上！ AI增强的实验平台：

自动参数搜索Rover:AnOnlineSparkSQLTuningServicevia

GeneralizedTransfer

Learning

AI增强的实验平台：

迁移应用到SparkSQL参数优化比专家经验优化效果好5%！大模型时代的探索和思考

A/B测试实操落地的"三座大山" ABot：

一站式实验咨询+设计+诊断+分析智能体 ABot：服务架构及设计范式

智能实验咨询+诊断

智能实验设计实验方案设计AB智能助手可以提供实验设计思路

。

内置分行业增长知识

。

同时AB智能助手可以整合客户的文档库,结合客户自己的知识体系为实验创建

、分析

、解答提供思路。轻松发散设计思路

、学习实验原理以上为虚拟数据，

并非业务真实效果通过大模型结合实验报告数据以及底层计算引擎，

通过对话的方式汇总总结实验报告的数据，

并给出决策判断的参考建议；

对数据维度进行总结和归因。

智能数据归因指标异动归因

、指标纬度下钻以上为虚拟数据，

并非业务真实效果AI数据归因

智能实验报告以上为虚拟数据，

并非业务真实效果

大模型的下半场：

评估驱动的产品创新循环以上为虚拟数据，

并非业务真实效果ContextRelevanceContextRecallContextPrecision上下文关联度上下文召回率上下文准确度faithfulness回答真实性上下文AnswerCorrectnessAnswerSimilarity答案正确性答案相似度

大模型的下半场：

评估驱动的产品创新循环支持ChatBot、Agent、RAG

等内置分析指标有害性Harmfulness歧视性Discriminatory争议性Controversy恶意性Malice自动生成模型线上报告对大模型应用线上