粒子物理与核物理实验中的数据分析lecture_11-置信区间.pdf

粒子物理与核物理实验中的粒子物理与核物理实验中的 数据分析数据分析 陈少敏 清华大学 第十一讲 置信区间 2 本讲要点 统计误差中的标准误差问题 经典置信区间问题 利用似然函数或二乘函数确定置信区间 3 测量结果的表述与含义测量结果的表述与含义 其真正的含义是什么呢 1 n xx实验数据 obs 估计实验目的 21 073 5 obs g 如果我们知道 将服从某一概率密度函数分布 那么上述 结果的正确表述应该是 5 73 的估计值为 0 21 的估计值为 2 并且还应给出的方差 即 结果应该报告成下述形式 g 测量了的分布宽度 4 参数估计值的分布参数估计值的分布 g 通常参数估计值服从的概率密度分布函数是多维 高斯分布 cov ij Vg 和 综合了我们对的了解或估计 可以用来作误差传递的输入参量 以及用最小二乘法求平均值等等 g 如果是高斯形式的话 置信区间可以表述为 obsobs 中心置信区间应给出不对称的误差 g 如果不是服从高斯分布 g 我们可以此约定来报告误差 而不管概率密 度函数的形式 唯一例外的是当我们要对不同实验求平均值时 它的形式就会发挥作用 给出了对应于 68 3 置信区间范围 5 经典置信区间经典置信区间 0 05 首先需要指定 上下分布尾部的概率 例如 1 u Pu gd G u P gd G obs 假设我们对参数有估计量 并且有估计值 g 为了正确表述结果 对于所有的我们 仍 需要知道 的形式 u 然后找出使得 6 经典置信区间经典置信区间 续一续一 不等式 或者合并成 无论为何值 在置信带找到的概率为 1P vu uv 假设是单调变化的 那么 11 aubv uv 等价于 ba P aP b 1 baP u 在之间的区域称为置信带 a b 在不知道真值的情况下 通过估计 值 与函数给出的置信区间 7 经典置信区间经典置信区间 续二续二 它的深刻含义是 注意 该区间是随机的 真值 是一个未知常数 1 ab 区间称为具有置信水平或覆盖概率的置信区间 包含真实参数的概率为1 d c a bca db 通常情况下 将区间告为 报即 0 31 0 25 80 25 那么 意味着什么呢 它并不意味着任意一次实验 是的假设值使得 obs bP 是的假设值使得 9 高斯分布估计量的置信区间高斯分布估计量的置信区间 如果存在 为了找到 置信区间 解下列方程 2 2 2 2 exp 2 1 g 1 1 b bG a aG obs obs obs obs 得到a与b的解 10 高斯分布估计量的置信区间高斯分布估计量的置信区间 续续 x x dxex 2 1 2 2 1 1 1 1 obs obs a b 1 CERNLIB GAUSIN 这里给出标准高斯的分位点 累积分布的倒数 可以调用 的程序计算 1 1 11 是标准高斯的累积函数 可以证明 G 前面的函数是对于 的累积分布 且 a b 给出与离有多少标准偏差 11 标准高斯的分位点标准高斯的分位点 为了找到服从高斯分布的一个参数估计量的置信区间 需要下列分位点 通常对分位点取整有时对概率覆盖率取整 1 2 1 1 10 682710 8413 20 954420 9772 30 997330 9987 1 1 1 0 901 6450 901 282 0 951 9600 951 645 0 992 5760 992 326 2 1 1 1 1 1 1 中心中心单边单边中心中心单边单边 12 泊松分布均值的置信区间泊松分布均值的置信区间 虽然对于固定的 置信带对所有的 并不存在 但依然可以解方程 obsobs nnn 假设 是泊松量 估计值 1 0 ne n nP n 1 0 1 0 obs obs n n b n obs n n a n obs e n b bP e n a aP 得出a与b 13 泊松分布均值的置信区间泊松分布均值的置信区间 续一续一 利用 1 2 2 1 2 0 mnFe n d m n n 2 2 1 1 1 2 2 1 1 2 1 2 dobs dobs aFnn bFnn 2 d Fn 这里是自由度下最小二乘分布的累 积形式 2 1 CERNLIBCHISINF 这里是最小二乘分布的分位点 可以调用的程序 进行计算 1 0 0 1 obs obs nn a n nn b n a e n b e n 14 泊松分布均值的置信区间泊松分布均值的置信区间 续二续二 重要特例 0 对于置信水平 1 95 的上限 obs n 0 0 nb b n b e e n log 0 05 2 9963 b logb 15 例子例子 稀有衰变分支比稀有衰变分支比 已知实验对稀有衰变的单个事例灵敏度为 9 11 3 93 10N 观测总数效率 灵敏度 如果实验上没有观察到一个事例 要给出90 的置信水平 需计算 0 10 n e P n n 2 30259 9 0 59 10 9 分支比上限 2 30259 3 93 10 如果实验上观察到一个事例 要给出68 的置信区间的分支比 需要给 出重复实验在 1 0 68 2 0 16范围内观察到至少一个事例的均值下限 1 1 0 0 16 n P nP 0 17435 以及不多于一个事例的均值上限 1 0 0 16 n P n 3 28852 2 28852 0 82565 9 5 8210 2 10 1 3 93 10 2 54 10 BR K 16 从从log L或或 2 近似给出置信区间近似给出置信区间 若 log L 呈抛物线状 通过将log L 展开 则可得到 即使 log L 并不呈抛物线状 上式也可以给出置信区间的近似值 即 2 max log log 2 LL N N 2 log log 22 min 2 2 max N N LL d c d c 1 1 2 N 这里是标准高斯对应于 置信水平 的分位点1 例如 683 011 N 例如在指数函数例子中 有n 5个观测值 52 0 30 0 85 0 2 max 2 log log 2 LL 17 例子 激光球位置定位例子 激光球位置定位 i t j t i TOF j TOF 在布置的 Project 练习中 为了确定发光 点 激光球 的位置 我们利用了假设 光的传输均为直线到达各光电倍增管 因此 2 2 2 1 222 000 000 N ii i ti iiii i tTOF q TOFxxyyzzv xyz qi 光速 拟合参数 第 个光电倍增管所测量的电荷 2 MINUIT 利用求的最小值 给出拟合参数估计值 18 激光球位置定位激光球位置定位 续一续一 3 MIGRAD MIGRAD MINIMIZATION HAS CONVERGED MIGRAD WILL VERIFY CONVERGENCE AND ERROR MATRIX COVARIANCE MATRIX CALCULATED SUCCESSFULLY FCN 12173 FROM MIGRAD STATUS CONVERGED42 CALLS 149 TOTAL EDM 4 63375e 07 STRATEGY 1 ERROR MATRIX ACCURATE 4 HESSE COVARIANCE MATRIX CALCULATED SUCCESSFULLY FCN 12173 FROM HESSE STATUS OK 16 CALLS 165 TOTAL EDM 4 634e 07 STRATEGY 1 ERROR MATRIX ACCURATE EXT PARAMETER INTERNAL INTERNAL NO NAME VALUE ERROR STEP SIZE VALUE 1 x ball 1 19248e 02 5 18328e 01 5 53129e 03 1 19248e 02 2 y ball 2 00654e 02 5 16683e 01 5 51239e 03 2 00654e 02 3 z ball 2 04621e 02 4 87005e 01 5 24468e 03 2 04621e 02 MINUIT 给出正常信息 19 激光球位置定位激光球位置定位 续二续二 NO NAME VALUE ERROR STEP SIZE VALUE 1 x ball 1 19248e 02 5 18328e 01 5 53129e 03 1 19248e 02 2 y ball 2 00654e 02 5 16683e 01 5 51239e 03 2 00654e 02 3 z ball 2 04621e 02 4 87005e 01 5 24468e 03 2 04621e 02 EXTERNAL ERROR MATRIX NDIM 25 NPAR 3 ERR DEF 1 2 687e 01 3 683e 02 4 735e 03 3 683e 02 2 670e 01 7 282e 03 4 735e 03 7 282e 03 2 372e 01 PARAMETER CORRELATION COEFFICIENTS NO GLOBAL 1 2 3 1 0 13832 1 000 0 138 0 019 2 0 14003 0 138 1 000 0 029 3 0 03256 0 019 0 029 1 000 方差矩阵 相关系数矩阵 20 激光球位置定位激光球位置定位 续三续三 报告结果 0 2 0 0 119 250 52 1 0000 1380 019 200 650 52 0 1381 0000 029 204 620 49 0 0190 0291 3 1 82 000 xcm ycm zcm N 相关系数 在假设光的传输均为直线到达各光电倍增管 测量误差仅考虑光电倍增 管对时间测量的标准误差情况下 拟合结果为 上述误差均为统计误差 拟合的 2 ndf值偏离期待值1较大 21 激光球位置定位激光球位置定位 续四续四 为了确认真值有68 3 的可能性出现所给出的 置信区间内 重复10次 实验 得到平均值 0 0 0 120 3 201 5 0 4 0 204 3 0 3 4 xcm ycm zcm 多次测量的结果均相符多次测量的结果均相符 注意 由于 2 ndf 大于 1 误差均含修正因子 多次测量的结果均相符多次测量的结果均相符 真值 但是与真值有偏差 22 激光球位置定位激光球位置定位 续五续五 ns t 第三次迭代的结果比最初的结果更靠近真值 但是与真值之间的差距依 然较大 这是因为有系统误差的影响 以后有专门的讨论 因此 正确 的置信区间还应该包含系统误差的贡献 如果把一些偏离期望值太大的测量 去除 将有什么样结果 不好的观测 2 5 i tns 例如 要求 000 116 41 198 06 202 55 115 94 197 58 202 31 119 25 200 65 2 115 92 197 55 04 62 202 29 110 39 199 42 196 13 xyz 第二 第一次迭 第三次 所有测量 代 迭 次迭 代 真值 代 去掉不好的测量 使得结果更靠近真值 23 小结小结 1 统计误差中的标准偏差问题统计误差中的标准偏差