AI大模型统计分析与假设检验应用指南

《AI大模型统计分析与假设检验应用指南》使用说明：本指南为通用可编辑模板，适用于大模型研发、评测、上线与运营场景。文中【】为占位符，可替换为团队、项目、模型、指标、日期等实际信息。正式发布前请经【算法委员会/数据科学组/质量合规部】审核。文档控制项目内容文档名称AI大模型统计分析与假设检验应用指南文档编号【AI-STAT-GUIDE-编号】版本号V【1.0】密级【内部/公开/受控】编制部门【AI评测与数据科学组】审核部门【算法委员会/质量与合规部】批准人【技术负责人/项目负责人】生效日期【YYYY-MM-DD】适用对象算法工程师、数据科学家、评测工程师、产品经理、质量与合规人员修订记录版本日期修订人修订说明审核人V1.0【YYYY-MM-DD】【姓名】首次发布【姓名】目录目的与范围规范性引用与参考术语与缩略语总体原则统计分析与假设检验标准流程典型大模型应用场景指标体系与数据要求实验设计、样本量与功效假设检验方法选择大模型特有统计问题报告规范与模板质量控制检查清单附录APython代码模板

附录B假设登记表模板

附录C结果报告模板

附录D常用检验速查表1.目的与范围1.1目的本指南用于规范AI大模型相关项目中的统计分析与假设检验活动，确保模型对比、策略评估、微调验证、安全评测和线上实验的结论具备：科学性：假设先行、方法匹配、统计结论可解释；可复现性：数据、代码、版本、随机种子、环境可追溯；可审计性：分析过程、决策依据和例外说明完整留痕；业务可用性：统计显著性与实际业务/风险显著性并重。1.2适用范围适用于以下场景：大模型能力对比与基准评测；Prompt、RAG、Agent、工具调用等策略A/B测试；SFT、RLHF、DPO、LoRA等训练/微调效果验证；幻觉率、毒性率、拒答率、越狱成功率等安全指标分析；公平性、偏差、鲁棒性评测；人工评估与LLM-as-judge评估；线上灰度、A/B实验、序贯实验；模型版本迭代与回归分析。1.3不适用范围纯理论数学证明；未经伦理审批的敏感数据实验；医疗、金融、法律等受监管场景的最终合规结论。此类场景应叠加【行业监管要求/法律意见/伦理审查】。2.规范性引用与参考编制与执行本指南时，应参考但不限于：ISO/IEC23053：人工智能系统机器学习框架；ISO/IEC42001：人工智能管理体系；ISO/IEC23894：人工智能风险管理；NISTAIRiskManagementFramework1.0；OECDAIPrinciples；《生成式人工智能服务管理暂行办法》及所在司法辖区适用法规；组织内部【数据安全规范】【算法评测规范】【实验平台规范】；统计学参考：Casella&Berger、Cohen、Efron&Tibshirani、Benjamini&Hochberg等。注：标准与法规可能更新，使用前请确认最新版本。3.术语与缩略语术语定义LLMLargeLanguageModel，大语言模型H0零假设，通常表示“无差异/无关联/无效”H1备择假设，表示“存在差异/关联/效果”α显著性水平，常用0.05p值在H0成立下，观察到当前或更极端结果的概率效应量差异或关联的实际大小，如Cohen'sd、OR、RDCI置信区间，常用95%CIPower统计功效，通常要求≥0.80MDE最小可检测效应FDR错误发现率FWER族错误率SRM样本比例失衡IAA标注者间一致性ECEExpectedCalibrationError，期望校准误差RAGRetrieval-AugmentedGeneration，检索增强生成LLM-as-judge使用大模型作为评审器CUPED利用预实验协变量降低方差的在线实验方法4.总体原则4.1假设先行，区分确证与探索分析前填写《假设登记表》，明确：研究问题；主要终点、次要终点、护栏指标；H0与H1；检验方法、α、Power、MDE；多重比较校正方案；停止规则与排除标准。探索性分析可用于发现新假设，但不得直接包装为确证性结论。4.2以效应量和置信区间为中心报告结果时，应同时给出：组间差值或关联强度；95%置信区间；效应量；p值；校正后p值或q值；业务/风险解释。禁止仅凭“p<0.05”判定模型优劣。4.3控制多重比较当比较多个模型、多个指标、多个子组时，必须控制I类错误：确证性主要终点：Bonferroni或Holm控制FWER；大量探索性指标：Benjamini-Hochberg控制FDR；子组分析：预先指定，或标注为探索性。4.4大模型非确定性必须被统计建模大模型输出受温度、top-p、随机种子、上下文、并发等影响。应：固定随机种子并记录；对同一输入重复采样【n≥3/5/10】次；报告均值、标准差、置信区间；优先使用配对设计；必要时使用混合效应模型或聚类稳健标准误。4.5防止数据污染与基准泄漏测试集不得参与训练、提示工程选择或超参选择；使用时间切分、私有测试集或动态基准；记录去污染规则；对公开基准注明污染风险；避免用测试集反复调参。4.6统计显著≠业务显著≠安全合规结论应回答：差异是否统计显著？差异是否达到MDE？是否带来业务收益或风险下降？是否满足安全、公平、合规护栏？成本、延迟、能耗是否可接受？4.7可复现与留痕至少归档：数据版本、数据卡、样本ID；模型版本、权重哈希、推理参数；代码提交号、环境依赖；随机种子；分析脚本与结果文件；异常、排除与偏差说明。4.8伦理、隐私与合规涉及用户数据、敏感数据、人类受试者或在线实验时，应完成【伦理审查/隐私影响评估/数据出境评估】。禁止在未授权情况下使用个人数据或受版权保护数据。5.统计分析与假设检验标准流程步骤关键活动输出物1.明确决策问题要决定上线、回滚、选型还是继续训练？问题陈述2.定义指标主要、次要、护栏、成本指标指标字典3.实验设计比较类型、随机化、配对、分层、样本量实验方案4.假设登记H0/H1、检验方法、α、Power、MDE假设登记表5.数据采集数据源、版本、去污染、抽样数据卡6.数据清洗缺失、异常、重复、SRM、平衡性清洗报告7.描述统计均值、中位数、SD、分位数、分布图描述统计表8.假设检验选择检验、检查假设、计算p、CI、效应量检验结果9.多重校正Holm/BH等校正结果10.稳健性分析Bootstrap、置换、子组、敏感性稳健性报告11.结论与建议统计+业务+风险综合判断决策建议12.报告归档可复现材料最终报告6.典型大模型应用场景6.1模型能力对比场景：比较【模型A】与【模型B】在【基准集】上的准确率、F1、pass@k、胜率等。推荐方法：同一题集配对比较：配对t检验、Wilcoxon符号秩、McNemar、配对Bootstrap；多模型比较：重复测量ANOVA、Friedman、混合效应模型；排序/胜率：Bradley-Terry、Elo、BootstrapCI；多基准多指标：Holm/BH校正。注意事项：基准污染；题目难度分层；提示模板一致性；解码参数一致性。6.2Prompt/RAG/Agent策略A/B场景：比较【策略A】与【策略B】对同一批问题的效果。推荐方法：连续指标：配对t、Wilcoxon；二值成功/失败：McNemar；多轮重复：混合效应模型；成本/延迟：Bootstrap中位数差、分位数回归。6.3训练与微调效果场景：验证SFT、RLHF、DPO、LoRA是否提升目标能力。推荐方法：训练曲线：收敛性、早停、泛化差距；多组实验：ANOVA、混合效应；多随机种子：报告均值±SD，种子作为随机效应；消融实验：预定义对比，控制多重比较。6.4安全与合规评估场景：毒性率、越狱成功率、拒答准确率、隐私泄漏率。推荐方法：二值率：比例z检验、卡方、Fisher精确检验；配对安全测试：McNemar；小样本：Bayesian方法或Bootstrap；子组：分层分析+FDR；结论必须结合风险阈值，而非仅看p值。6.5公平性与偏差场景：不同性别、地域、语言、年龄子组表现差异。推荐方法：子组指标差值及CI；交互项模型；分层Bootstrap；FDR校正；报告样本量与代表性限制。6.6人工评估与LLM-as-judge场景：人工评分、成对偏好、LLM评审。推荐方法：IAA：Cohen'skappa、Fleiss'kappa、Krippendorff'salpha；成对偏好：Bradley-Terry、McNemar；LLM-as-judge校准：与人评一致性、位置偏差、长度偏差检测；随机交换A/B位置，控制顺序效应。6.7线上A/B实验场景：大模型应用灰度、推荐、Agent上线。推荐方法：预实验：SRM检查、AA测试；方差降低：CUPED；序贯检验：Alphaspending、GroupSequential；护栏指标：安全、延迟、成本、投诉率；长期效应：留存、任务完成率。7.指标体系与数据要求7.1指标类型与推荐统计指标类型示例推荐统计连续延迟、成本、评分均值、中位数、SD、t检验、Bootstrap二值成功/失败、毒性/无毒比例、风险差、OR、卡方、Fisher、McNemar计数调用次数、错误数Poisson/NegativeBinomial、率比序数1-5分人类评分中位数、Wilcoxon、ordinalregression分类意图类别卡方、Cramer'sV排序/偏好A>BBradley-Terry、Elo、McNemar一致性多人标注Cohen/Fleiss/Krippendorff校准置信度vs正确率ECE、Brier、可靠性图文本生成BLEU、ROUGE、BERTScoreBootstrapCI、配对检验7.2数据要求样本代表性：覆盖真实分布、长尾、边界案例；独立性：识别同一用户、同一问题、同一会话的聚类；配对性：同一输入下比较不同模型/策略；缺失机制：MCAR/MAR/MNAR，必要时多重插补；异常值：预估规则，不得为显著性随意删除；版本控制：数据、模型、提示、解码参数全部留痕。8.实验设计、样本量与功效8.1常用设计设计适用统计方法独立两组不同用户/样本t检验、Mann-Whitney、卡方配对两组同一问题/用户配对t、Wilcoxon、McNemar多组独立多模型/多策略ANOVA、Kruskal-Wallis多组重复同一样本多模型RM-ANOVA、Friedman、混合效应析因设计Prompt×模型双因素ANOVA、混合效应分层随机难度、语言、领域分层分析、协变量调整序贯设计线上实验Alphaspending、Bayesian8.2样本量与功效基本参数：α：常用0.05；Power：常用0.80；MDE：最小可检测效应；方差或比例；配对相关性；脱落率、无效样本率。报告要求：必须说明样本量依据。若无法提前计算，应说明原因并报告实际功效或CI宽度。8.3随机化与SRM随机化单位：用户、会话、问题、请求；分流比例：预定义，如50/50；SRM检查：卡方检验比较实际分流与预期；若SRMp<0.001，暂停分析并排查。9.假设检验方法选择9.1检验选择决策表研究问题数据类型条件推荐方法两组均值差异连续独立、近似正态、方差齐独立样本t检验两组均值差异连续独立、方差不齐Welcht检验两组均值差异连续配对配对t检验两组中位数/分布差异连续/序数非正态、小样本Mann-WhitneyU/Wilcoxon多组均值差异连续独立、正态单因素ANOVA多组均值差异连续非正态Kruskal-Wallis多组重复测量连续同一对象RM-ANOVA/Friedman两组比例差异二值独立比例z、卡方、Fisher两组比例差异二值配对McNemar多组比例差异二值独立卡方多组配对二值二值重复Cochran'sQ分类关联分类列联表卡方/Fisher、Cramer'sV相关性连续线性Pearson相关性连续/序数非线性/序数Spearman/Kendall一致性评分多标注者Cohen/Fleiss/Krippendorff嵌套/重复连续/二值聚类混合效应、GEE、聚类稳健SE小样本/复杂分布任意无参数假设Bootstrap、置换检验贝叶斯决策任意先验可定义后验概率、ROPE、Bayes因子9.2常用检验与效应量方法效应量说明t检验Cohen'sd/Hedges'g均值差异标准化Wilcoxon/Mann-Whitneyrank-biserial/Cliff'sdelta分布差异卡方Cramer'sV/Phi分类关联比例检验风险差RD、风险比RR、OR业务解释强ANOVAeta²/partialeta²方差解释比例回归R²、系数、边际效应控制协变量Bootstrap差值CI、中位数差灵活稳健McNemar优势比配对二值9.3多重比较校正场景方法控制目标少量确证性比较BonferroniFWER少量比较，功效更优HolmFWER大量探索性指标Benjamini-HochbergFDR子组分析BH或预定义层级FDR/FWER多模型排名Holm/BH+Bootstrap视目的而定9.4贝叶斯与重采样推荐在以下情况使用：小样本；非标准指标；需要直接回答“A优于B的概率”；复杂生成指标；多层级数据。常用输出：后验均值、95%可信区间；P(效果>0)；ROPE内概率；Bayes因子；Bootstrap差值的95%CI。10.大模型特有统计问题10.1非确定性固定seed、temperature、top_p、max_tokens；每个样本重复【n】次；报告均值和方差；使用混合效应模型：score~model+(1|prompt_id)；不要将同一prompt的多次输出视为完全独立样本。10.2数据污染使用私有测试集；时间切分：训练数据截止日之后的数据；去污染：n-gram、嵌入相似度、人工审核；对公开榜指标注明污染风险。10.3LLM-as-judge偏差必须检查：位置偏差：交换A/B位置；长度偏差：控制回答长度；自偏好：避免同族模型评审自身；格式偏差：统一输出格式；与人评一致性：Cohen/Fleiss/Krippendorff。若IAA低于【0.60】，应重新定义评分标准或加强培训。10.4人评一致性双盲、随机顺序；多人标注；计算IAA；分歧样本仲裁；记录标注指南版本。10.5在线实验检查SRM；使用CUPED降低方差；序贯检验控制I类错误；护栏指标优先；关注长期效应与用户反馈。10.6漂移与版本数据漂移：输入分布变化；概念漂移：标签关系变化；模型漂移：版本更新；提示漂移：模板变更；监控指标：PSI、KS、分布距离、性能衰减。11.报告规范与模板11.1报告结构标题与版本；摘要与决策建议；研究问题与假设；数据与实验设计；指标定义；统计方法；描述统计；假设检验结果；效应量与置信区间；多重比较校正；稳健性与敏感性分析；限制与风险；结论与建议；附录：代码、数据卡、假设登记表。11.2结果表模板指标【模型A】均值±SD【模型B】均值±SD差值【B-A】95%CIp值校正后p/q效应量结论【准确率】【】【】【】【】【】【】【】【显著/不显著】【幻觉率】【】【】【】【】【】【】【】【】【延迟ms】【】【】【】【】【】【】【】【】11.3结论措辞示例显著且达到MDE：在α=0.05下，主要终点【指标】显示【模型B】较【模型A】提升【x】个百分点，95%CI[【a】,【b】]，经Holm校正后p=【】。效应量【】达到预设MDE，且在【稳健性分析】中保持一致。建议【上线/进入下一阶段】。不显著：在α=0.05下，未观察到【指标】存在统计显著差异，差值【x】，95%CI[【a】,【b】]，校正后p=【】。该CI不能排除【临床/业务】重要差异，需扩大样本或延长实验。存在风险信号：尽管主要能力指标提升，但护栏指标【毒性率/延迟/成本】出现不利趋势，95%CI[【】,【】]，建议暂缓上线并开展专项评估。12.质量控制检查清单12.1设计阶段决策问题明确；主要/次要/护栏指标已定义；H0/H1已登记；α、Power、MDE已确定；样本量已计算或说明；随机化与配对方案已确定；多重比较策略已预定义；伦理与合规已评估。12.2执行阶段模型、数据、提示、解码参数已留痕；随机种子已记录；数据去污染已完成；标注指南已培训；SRM与AA测试已检查；异常与排除规则已预定义。12.3分析阶段描述统计与分布检查已完成；检验假设已检查；效应量与CI已报告；多重比较已校正；稳健性分析已完成；子组分析已标注确证/探索；结论未过度外推。12.4报告阶段结果可复现；限制与风险已说明；统计显著性与业务显著性已区分；安全、公平、成本护栏已评估；报告已归档并审批。附录APython代码模板以下代码仅为模板，实际使用时请替换【】并检查数据结构。#环境：Python3.10+,pandas,numpy,scipy,statsmodelsimportnumpyasnpimportpandasaspdfromscipyimportstatsimportstatsmodels.apiassmimportstatsmodels.formula.apiassmffromstatsmodels.stats.multitestimportmultipletestsfromstatsmodels.stats.powerimportTTestIndPowerfromportionimportproportions_ztest,proportion_effectsizefromstatsmodels.stats.contingency_tablesimportmcnemar#读取数据df=pd.read_csv("【experiment_results.csv】")#字段示例：prompt_id,model,strategy,seed,score,success,latency_ms,cost#1.描述统计summary=df.groupby("model")["score"].agg(["count","mean","std","median"])print(summary)#2.配对t检验a=df[df["model"]=="【模型A】"].sort_values("prompt_id")["score"].valuesb=df[df["model"]=="【模型B】"].sort_values("prompt_id")["score"].valuest_stat,p_val=stats.ttest_rel(a,b)diff=np.mean(b-a)ci=erval(0.95,len(a)-1,loc=diff,scale=stats.sem(b-a))print(f"配对t:t={t_stat:.4f},p={p_val:.4f},diff={diff:.4f},95%CI={ci}")#3.Wilcoxon符号秩stat,p_val=stats.wilcoxon(a,b,alternative="two-sided")print(f"Wilcoxon:stat={stat:.4f},p={p_val:.4f}")#4.独立样本t检验g1=df[df["model"]=="【模型A】"]["score"]g2=df[df["model"]=="【模型B】"]["score"]t_stat,p_val=stats.ttest_ind(g1,g2,equal_var=False)#Welchprint(f"Welcht:t={t_stat:.4f},p={p_val:.4f}")#5.Mann-WhitneyUstat,p_val=stats.mannwhitneyu(g1,g2,alternative="two-sided")print(f"Mann-Whitney:stat={stat:.4f},p={p_val:.4f}")#6.比例检验success=np.array([df[df["model"]=="【模型A】"]["success"].sum(),df[df["model"]=="【模型B】"]["success"].sum()])nobs=np.array([df[df["model"]=="【模型A】"]["success"].count(),df[df["model"]=="【模型B】"]["success"].count()])z_stat,p_val=proportions_ztest(success,nobs)print(f"比例z:z={z_stat:.4f},p={p_val:.4f}")#7.McNemar配对二值#构造2x2：A成功/B成功，A成功/B失败，A失败/B成功，A失败/B失败fromstatsmodels.stats.contingency_tablesimportmcnemartable=np.array([【[a11,a10],[a01,a00]】])result=mcnemar(table,exact=False,correction=True)print(f"McNemar:stat={result.statistic:.4f},p={result.pvalue:.4f}")#8.多重比较校正pvals=[【p1】,【p2】,【p3】]reject,pvals_corrected,_,_=multipletests(pvals,alpha=0.05,method="holm")print("Holm校正:",pvals_corrected)#9.Bootstrap差值CIdefbootstrap_diff(a,b,n_boot=10000,seed=42):rng=np.random.default_rng(seed)diffs=[]n=len(a)for_inrange(n_boot):idx=egers(0,n,n)diffs.append(np.mean(b[idx]-a[idx]))returnnp.percentile(diffs,[2.5,50,97.5])print("Bootstrap差值CI:",bootstrap_diff(a,b))#10.混合效应模型（同一prompt多次采样/多模型）model=smf.mixedlm("score~model+strategy",df,groups=df["prompt_id"]).fit()print(model.summary())#11.样本量/功效analysis=TTestIndPower()n=analysis.solve_power(effect_size=【0.2】,