数学中的概率分析之伯努利大数定律

三 伯努利大数定律三 伯努利大数定律 现在我们来介绍伯努利 推测术 的最重要部分 包含了如今我们称之为伯努利大数 定律的第 4 部分 回到本章开始那个缶中抽球的模型 缶中有a白球 b黑球 p a ab 有放回地从缶中抽球N次 记录得抽到白球得次数为X 以 X N去估计p 这个估计法现今仍 是数理统计学中最基本的方法之一 此处的条件是 每次抽取时都要保证缶中a b个球的每 一个有同等机会被抽出 这一点在实践中并不见得容易 例如 产生中奖号码时用了复杂的 装置 在实际工作中 统计学家有时用一种叫做 随机数表 的工具 这时一本大书 各页 按行 列排列着数字 0 1 9 它们是用据信是 充分随机 的方法产生的 在使用时 随 机地 翻到其中一页并 随机 点到一个位置 以其处地数字决定抽出地对象 伯努利企图证明的是 用 X N估计p可以达到事实上的确定性 他称为道德确定性 其 确切含义是 任意给定两个数 0 和 0 总可以取足够大的抽取次数N 使事件 X p N 的概率不超过 这意思是很显然 X p N 表明估计误差未达到指定的 接近程度 但这种情况发生的可能性可以随心所欲地小 代价是加大N 为忠实于伯努 利地表达形式 应指出两点 一是伯努利把 限定为 1 ab 虽然其证明对一般 也有效 他作这一限定与所有缶子模型的特殊性有关 必要时把缶中的白 黑球分别改为ra和个 则p不改变 rb 1 ab 改为 1 rarb 只须r取足够大 可使此数任意小 其次 伯努利要证 的是 对任给c 0 只须抽取次数N足够大 可使 XX PpcPp NN 8 这与前面所说是一回事 因为由上式得 1 1 X Ppc N 9 取c充分大可使它小于 另外要指出的是 伯努利使用的这个缶子模型使被估计的p值只能 取有理数 因而似乎有损于其结果的普遍性 但其证明对任意的p成立 故这一细节并不重 要 伯努利上述对事实上确定性的数学理解 即 8 式 有一个很值得赞赏之点 即他在概 率论的发展刚起步的阶段 就给出了问题的一个适当的提法 因为 既然我们想要证明的是 当N充分大时 X N和p可以任意接近 则一个看来直截了当的提法是 lim N X p N 10 而这不可能实现 因为原则上不能排除 每次抽到白球 的可能性 这时 X N总为 1 不能 收敛于p 1 或者退一步 要求 10 式成立的概率为 1 这个结论是对的 但直到 1909 年 才由波莱尔证明 其难度也比伯努利的提法大得多 设想如当时伯努利就采用这个提法 他 也许不一定能在有生之年完成这一工作 波莱尔得结论比伯努利强 故现今把它们得结论分 别称为强大数律和弱大数律 如今具有概率论初步知识的人都知道 伯努利大数律是契比谢夫不等式的简单推论 但 在伯努利时代尚无方差概念 更不用说这一不等式了 伯努利用的是直接估计概率的方法 大意如下 令 0 AP NpXNpN 1 AP NpkNXNpkN k 这就解决了 X Np 的一边 对 X Np 的一边如法炮制 即可得处 8 式 附带指出 可以把伯努利的结论 9 引申一点点 如果我们知道缶中球的总数a b 或 者更广一些 知道a b不超过某已知数M 则可以把 3 式改进为 可以找到p的一个估计 不是 p X X N 使当N充分大时有 12 1 1 P p Xpc 为使此值不超过 1 1 1 1001 c N至少应为 600600 这比伯努利给出的值大 20 多倍 这反映了一个事实 伯努利在证明 9 式中所作的概率估值 比契比谢夫不等式所作出的 要精细得多 虽然如此 25550 这个数仍嫌过大 美国统计史学者斯蒂格勒认为 伯努利之 所以久未发布其研究成果 与他对一点的不满意有关 因为在伯努利时代 一个中等城市的 规模尚不过几千人 25550 简直可算时 天文数字 不过 后世的学者所看重的不在这些 地方 如今大家都公认由伯努利工作发端的大数定律已成为整个数理统计学的基础 人们也 对伯努利工作的哲学意义给予很高的评价 如斯蒂格勒指出 伯努利证明了数学家不仅可以 后验地认识世界 还可以用数学去估量他们的知识的限度 伯努利在结束 推测术 时就其 结果的意义作了如下的表述 如果我们能把一切事件永恒地观察下去 则我们终将发现 世 间的一切事物都受到因果律的支配 而我们也注定会在种种极其纷纭杂乱的事象中认识到某 种必然 关于决定最小 N 的问题 一些与伯努利同时或稍后的学者也研究过 例如伯努利的侄儿 尼科拉斯在 1713 年给以为友人的信件中报告了他得出的一个有关结果 比伯努利的上述结 果有所改善 如对伯努利的例子 用尼科拉斯的公式估出所需 N 未 17350 稍后到 1733 年 狄莫弗发展了用正态分布逼近二项分布的方法 见第二章 这是一个实质性 意义深远的 改进 按此法估出的 N 约为 6600 这已是没有改进余地的了 6600 这个数字仍然很大 它 显示 虽然自然界的奥秘可通过实验观察发现 但自然界并不轻易露出自己的真面目 这个 例子也提醒我们 在报章杂志等中不时可以看到的 根据一小批样本而计算出的某种特征的 个体的比率 作为样本来自的大群体中该特征所占比率的估计 其准确度和可靠性 通常远 小于没有受过统计学训练的公众所认为的程度 注注 1 3 4 两式等价的证明 把 写为 4 式化为 1 2 ri 1 1 122 22 rrr i 1 1 1 11 2 1212 22 1 21 01 r rrri ri e r rCr i 此式与 3 式比较看出 只须证明 A1 11 11 22 1212 2 00 rr rrri ri CC ii ii 此式当 时成立 用归纳法 假定 A1 在 1 2 r 2 rk 时成立 在 A1 左边令 因为 1 2 rk 11 111 1 rkrkrk CCC iii 有 11 111 1 000 kkkrkrkrk CCC iii iii 111 11 00 kkrkrk CC ii ii 1 11 1 1 2 0 krk rk CC ki i 对后一和用归纳假设 由 A1 得 1111 1111 22 000 kkkrkrkrirk kiki CCCC ikii iii 证明了 A1 在 1 2 rk 也成立 注 2 7 式地证明 以记在A已胜i局 B已胜j局的情况下 A最终获胜的概率 则我们要求的就是 按规定 有 h i j 0 0 h 1h i j 当 4 2iij 0h i j 当 4 2jji 2 2 3 3 hh 假定再赌一局 若A胜 概率p 情况变为 1 ij 若B胜 概率q 情况变为 1 i j 故按全概率公式 有 1 1 h i jph ijqh i j 令i j 3 得 分别在上式中令 i j 4 3 及 3 4 得 3 3 4 3 3 4 hphqh 4 3 h 及 3 4 h 的表达式 代入上式得 22 3 3 5 3 2 4 4 3 5 hp hpqhq h 2 2 3 3ppqh 于是得 22 222 3 3 1 pr h pqr 再在式中令 i j 2 3 得 2 2 2 3 3 3 2 4 1 pr hp hqh r 注意到 1 pp r qp 有1 r p r 于是 3 32 2 3 1 r h rrr 循此以往 依次得 直至 就是 1 式 3 2 h 2 2 h 3 1 h 1 3 h 0 0 h 这个问题可以推广为 一方胜局达到 m 且比对方得胜局多 n 则此方获胜 1 式对应 于 m 4 n 2 的情况 一般情况原则上也可用上述步骤求解 但对大的 m 和 n 公式将繁 杂得难以想象 例如乒乓球相当于 m 21 和 n 2 注 3 11 式得证明 我们先介绍一个证明 其思想与伯努利得原始证明一致 但形式略广一些 然后指出伯努 利原始证明差异之处 我们只点明主要的步骤 一些容易的细节请读者自己补出 1 1 先证明存在常熟 u 与 k 无关 使 1 AuA k k 0 k 0 1 2 A2 若此式已证 则有 故 0 k Au A k 1 1 12 AAuu A A3 为证 A2 记 1 k bNpkN 按 Ak 的定义 有 1111 1 1 1 kkkk kkkk AP XbP XbP XbN AP XbP XbP XbN 1 11 max 1 kk kk P XbP XbN P XbP XbN L 1 此处有一个可以不是整数的问题 这需要在写法上作一点小的调整 以下为行文简单 略去这一调整 这与实质无损 在伯努利的原始证明中 k b a p ab 1 ab 而他取N为 的整倍数 故这时必为整数 不存在上述问题 ab k b 容易证明 当 r0 时 有 P XsP Xsl P XrP rl 当然这里要求r而 上式易由二项概率公式证明之 由以上两式得 0 slN 111 0 kk kk AP XbP Xb u AP XbP Xb 而 u 与 k 无关 2 2 证明当时 若此已证 则由 A3 立即得到 5 按二项概率公 式由 q 1 p N 0u 2 3 1 1 1 1 N NpNpNpNq u NqNNqNNqp L L 1 1 111 pqiq N qNpi NNN iiNqpqip p N 1 1 1 1 1 N ipip N i NN i 2 2 pN 当 N 于是证明了 0u 11 式证毕 这个证明对p和 及N无所限制 在伯努利得原始证明中 1 a p abab 而N式 a b 的整倍数 这是不仅不存在上述 1 bk 可能不为整数的困难 且在去掉公因子 N ab 之后 可以用整数 N i Ni a b i 代替 P Xi 处理较方便 但步骤和证明的实 质部分无所差异 注 4 满足 12 式的 p X 不存在的证明 固定一个自然数N 取整数r充分大 使 r abN 缶中有白球ra个 黑球rb个 对此缶 在不知道白 黑球个数的情况下 白球个数可能取 0 1 r ab 等值 故p值 白球数 球总数 有 r ab 1个可能值 分别记为 M pL 1 p Mr ab1 取i 此处 Pp i表示 概率是在白球比率为 时计算的 由此式知 集合 pi 0 1 DjjN p jp ii L 非空 即它至少有一元 因为 1 M DD 1 L 这M 1 个集两两无公共点 故其并至少有 元 这推出集 1MN 1M D 必为空集 因而 0 M M Pp Xp p 与 12 式矛盾 这证明了 p X 的不存在性 注 5 关于伯努利的结果与用契比谢夫不等式得出的结果的比较 还应注意几点 其一是伯 努利的结果只适用于 1 ab 的情况 而契比谢夫不等式中的 无所限制 更重要的是 伯努利是在 a p ab 已知的前提下去算的明儿 p 即a 此处假定a b 是