2026年ab数据测试题及答案

2026年ab数据测试题及答案

一、单项选择题(总共10题，每题2分)1.AB测试的核心目的是A.对比不同变量对业务目标的影响B.增加用户流量C.提升页面美观度D.降低开发成本2.计算AB测试最小样本量时，不需要考虑的因素是A.显著性水平（α）B.统计功效（1-β）C.基线转化率（p0）D.用户性别比例3.当分组数据的趋势与整体数据趋势相反时，这种现象被称为A.幸存者偏差B.辛普森悖论C.锚定效应D.禀赋效应4.AB测试中最基础且容易被忽视的环节是A.数据收集的准确性B.变量设计的创新性C.结果的可视化D.报告的撰写5.同时测试多个版本时，容易引发的问题是A.样本量不足B.统计功效降低C.多重比较误差D.辛普森悖论6.统计功效（Power）的定义是A.接受原假设时原假设为真的概率B.正确拒绝原假设的概率C.拒绝原假设时原假设为真的概率D.接受原假设时原假设为假的概率7.若用户主动选择参与实验组，可能导致的偏差是A.自选择偏差B.幸存者偏差C.选择偏差D.信息偏差8.能直接反映业务核心目标的指标是A.虚荣指标B.核心指标C.辅助指标D.过程指标9.实验周期过短可能导致结果不准确的原因是A.未覆盖完整的业务波动周期B.样本量不足C.变量设计不合理D.数据收集错误10.单侧检验适用于以下哪种场景A.已知新方案效果优于原方案B.不确定新方案效果C.需要检测双向差异D.所有场景都适用二、填空题(总共10题，每题2分)1.AB测试中确保组间可比性的核心原则是______。2.假阳性错误（错误拒绝原假设）又称为______。3.正确检测到真实差异的概率称为______。4.分组数据与整体数据趋势相反的现象称为______。5.直接关联业务目标、反映实验效果的指标是______。6.同时进行多个假设检验会引发______问题。7.实验前需通过______确定所需的最少用户数。8.用户主动选择实验组导致的偏差称为______。9.反映实验结果可靠性的区间估计方法是______。10.影响实验效率的因素之一是______。三、判断题(总共10题，每题2分)1.AB测试中样本量越大越好。2.所有指标都显著提升才算实验成功。3.随机分配能消除所有偏差。4.辛普森悖论是因为分组变量与因变量相关。5.统计显著性等于实际业务显著性。6.实验周期可以随意缩短。7.多重比较会增加一类错误的概率。8.单侧检验的显著性阈值比双侧检验低。9.AB测试只能用于产品功能优化。10.置信区间越窄说明实验结果越稳定。四、简答题(总共4题，每题5分)1.简述AB测试中随机分配的重要性。2.如何处理AB测试中的辛普森悖论？3.请说明核心指标与虚荣指标的区别。4.实验结果不显著的可能原因有哪些？五、讨论题(总共4题，每题5分)1.如何选择AB测试的核心指标？2.当实验结果统计显著但业务不显著时，应如何处理？3.多重比较的问题是什么？如何解决？4.如何应对AB测试中的流量波动问题？答案及解析一、单项选择题答案1.A2.D3.B4.A5.C6.B7.A8.B9.C10.A二、填空题答案1.随机分配2.一类错误（α错误）3.统计功效（1-β）4.辛普森悖论5.核心指标6.多重比较7.样本量计算8.自选择偏差9.置信区间10.实验流量分配比例三、判断题答案1.×2.×3.×4.√5.×6.×7.√8.√9.×10.√四、简答题答案1.随机分配是AB测试的核心原则，其重要性在于确保实验组和对照组在除测试变量外的其他因素（如用户特征、行为习惯）上具有可比性，消除系统性偏差，使得实验结果的差异能唯一归因于测试变量的变化，保证因果推断的有效性，是得出可靠结论的基础。2.应对辛普森悖论需：识别混淆变量（如用户类型、地区等与因变量相关的变量）；进行分层分析，按混淆变量分层后比较组间差异；结合业务场景判断，避免仅看整体数据，需考虑变量间的交互作用，确保结论符合业务逻辑。3.核心指标与业务目标强关联、可量化、能反映用户价值或业务结果（如转化率、GMV），是实验效果的关键衡量标准；虚荣指标仅反映表面数据（如点击量、访问量），不关联核心业务目标，无法体现实际价值。核心指标的变化才能真正指导业务决策。4.可能原因包括：样本量不足，无法检测真实差异；实验周期过短，未覆盖业务波动周期（如周中与周末）；指标选择不当（如用虚荣指标）；测试变量差异小，对用户行为影响弱；存在混淆变量（如同时进行的运营活动）干扰结果。五、讨论题答案1.选择核心指标需：首先明确业务目标（如提升留存、增加收入）；其次选与目标直接相关、可测量的指标（如内容产品的阅读完成率、电商的下单转化率）；确保指标敏感（能反映测试变量变化）；避免虚荣指标，优先选能体现用户价值或业务结果的指标；可搭配辅助指标补充，但核心指标需聚焦（1-2个），避免分散注意力。2.需综合分析：计算实际提升幅度（如转化率提升0.1%），判断是否达业务阈值（如是否需提升1%才值得上线）；考虑成本（如新方案的开发/运营成本）；分析长期影响（如短期提升小但长期留存好）；结合用户反馈（如用户体验是否真提升）。若提升幅度未达业务要求，即使统计显著也不应上线；若长期价值大，可小范围测试或优化后再推广。3.多重比较的问题是同时进行多个假设检验会增加一类错误（假阳性）的概率（如测试3个版本，α=0.05，整体错误率约14%）。解决方法：控制比较次数（仅测试必要版本）；用Bonferroni校正（将α除以比较次数，如3次则α=0.05/3≈0.017）；优先plannedcomparison（预先计划的比较）而非事后比较；控制FWER（家庭wise错误率）确保整体错误率。4.应对流量波动：延长实验周期（覆盖1-