中心极限定理

第五章第五章 中心极限定理中心极限定理 教学要求教学要求 1 掌握切比雪夫不等式 2 了解切比雪夫 伯努里 辛钦大数定律成立的条件及结论理解其直观意义 3 掌握棣莫弗 拉普拉斯中心极限定理和列维 林德伯格叫心极限定理 独立同分 布中心极限定理 的结论和应用条件 并会用相关定理近似计算有关随机事件的概率 本章重点本章重点 运用中心极限定理近似计算有关随机事件的概率 教学手段 教学手段 讲练结合 课时分配 课时分配 4 课时 本课程一开始引入事件与概率的概念时 我们就知道就一次试验而言 一个随机 事件可以出现也可不出现 但作大量的重复试验则呈现出明显的规律性 统计规律 性 即 任一事件出现的频率是稳定于某一固定数的 这固定数就是该事件在一次试 验下发生的概率 这里说的 频率稳定于概率 实质上是频率依某种收敛意义趋于概 率 大数定律 就是解释这一问题的 另外在前一章介绍正态分布时 我们一再强调正态分布在概率统计中的重要地位 和作用 为什么实际上有许多随机现象会遵循正态分布 这仅仅是一些人的经验猜测 还是确有理论依据 中心极限定理 正是讨论这一问题的 5 1 随机变量序列的两种收敛性随机变量序列的两种收敛性 假设是定义在同一概率空间 F P 上的一列随机变 21 n 量 显然 其中每个 r v 可以看成是定义在概率空间上的一个有限可测函数 k 因此 我们可以象在实变函数论中对可测函数列定义收敛性一样 给出随机变量列 的收敛性概念 k 以下我们讨论时 总假定 r v 列 和 r v 都是定义在同一概率空间 F P n 上的 对于某样本点 显然 可视为一普通实数列 则可看作一 0 0 n 0 实数 此时若有 则称随机变量列 在点收敛到 若对任意 lim 00 n n n 0 均有 则称 在上点点收敛到 但在本章的讨论中 我们没有 lim n n n 必要对 要求这么高 一般是考虑下面给出的收敛形式 n 定义定义 5 1 设有一列随机变量 如对任意的 0 有 21 0 lim n n P 5 1 则称 依概率收敛到 并记作 n P n n lim 5 2 或 P n 5 3 5 1 式也等价于0 lim n n P 从定义可见 依概率收敛就是实函中的依测度收敛 我们知道 随机变量的统计规律由它的分布函数完全刻划 当时 P n 其相应的分布函数与之间的关系怎样呢 xFn xF 例例 5 1 设都服从退化分布 及 1 n n 1 0 2 1 1 1 P n n P n 对任给 0 当 n 时 有 1 0 nn PP 所以 n P n 而的 d f 为 n 1 0 xFn n x n x 1 1 的 d f 为 1 0 xF 0 0 x x 易验证 当时 有 n 0 x xFn xF 但 不趋于时0 x1 0 n F0 0 F 上例表明 一个随机变量依概论收敛到某随机变量 相应的分布函数不是在每一点 都收敛 但如果仔细观察这个例 发现不收敛的点正是的不连续点 类似的例子 xF 可以举出很多 使人想到要求在每一点都收敛到是太苛刻了 可以去掉 xFn xF 的不连续点来考虑 xF 定义定义 5 2 设 为一分布函数序列 如存在一个函数 使在的每一 xFn xF xF 连续点 x 都有 limxFxFn n 则称分布函数列 弱收敛于 并 xFn xF 记作 xFxF W n n 5 4 定义定义 5 3 设 r v 和的分布函数分别为 若 1 n n xFn xF 则称按分布收敛于 并记作 xFxF W n n n L n n 定理定理 5 1 若 则 P n L n 证 对于 因有xxRx 任取 xxxxxxxx nnnn 故 xxPxPxP nn 即 xxPxFxF nn 因 故 P n 0 xxP n 所以有 lim xFxF n n 同理可证 对 有xx lim xFxF n n 于是对任意 有xxx lim lim xFFxFxF n nn n 令 有xxxx 0 lim lim 0 xFFxFxF n n n n 若 x 是的连续点 就有 证毕 此定理的逆不真 xF limxFxFn n 例例 5 2 抛掷一枚均匀硬币 记 出现正面 出现反面 1 2 则 2 1 21 PP 令 n 1 2 0 1 n 2 1 0 1 1 2 因与完全相同 显然有 对成立 xFn xF xFn xF 1 Rx 但 1 1 1 0 2 1 nnn PPP 对成立 2 1 2 1 2 1 2 1 2 1 1 n 不成立 P n 一般来说 按分布收敛不能推出依概率收敛 但在特殊情况下 却有下面的结果 定理定理 5 2 设 C 是一常数 则1 CP L n P n 即 CC L n P n 证 由定理 4 1 推得 不妨就设 对任给0 有 C 5 5 0 1 CFCFCPCPCP nnnnn 因 的分布函数为C 只在处不连续 而处都是连续的 由 1 0 xF Cx Cx cx c xFxF W n 令得 n 0011 lim cP n n 本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题 由定理 5 2 知 它可归结为相应的分布函数列弱收敛于一退化分布 而中心极限定理就 是随机变量的分布函数列弱收敛问题 可见分布函数列的弱收敛在本章讨论中占重要 地位 然而 要直接判断一个分布函数列是否弱收敛是很困难的上一章我们就知道 分布函数与特征函数一一对应 而特征函数较之分布函数性质优良很多 故判断特征 函数的收敛一般较易 那么是否有 相应的 xFxF W n tt n 答案是肯定的 定理定理 5 3 分布函数列 弱收敛于分布函数的充要条件是相应的特征函数 xFn xF 列 收敛于的特征函数 t n xF t 例例 5 4 若 证明 P dtexP x t 2 2 2 1 lim 随机变量到依 pr 收敛具有如下性质 定理定理 5 4 斯鲁茨基 若ba P n P n 则有 1 ba P nn 2 时 0 b b a P n n 书 P220 习题 4 8 为连续函数 P n xf 则有 ff P n 5 6 5 2 大数定律大数定律 本章一开始我们就指出大数定律是从讨论 频率稳定于概率 这件事引入的 概 率的发展史上 这件事又是从贝努里试验这个概型入手的 设事件 A 在一次试验中发生的概率为 P 将试验独立重复地进行 n 次 如果其中 事件 A 发生的次数为 则就是这 n 次试验中事件 A 发生的频率 所谓频率稳 n n n n n 定到概率 P 是指当 n 增大时 依某种收敛意义向 P 逼近 很容易验证 这里的收 n n 敛意义不是普通的收敛 P n n n lim 5 7 事实上 4 1 意味着 对任给 能找到 N 当时 有0 Nn P n n 5 8 我们知道 在 n 重贝努里试验中 不管 n 多大 A 出现 n 次 这一结果都是可能发生 的 当这个结果发生时 即 因此 对于 0 不管n n PP n n 1 P 1 N 取多大 也不能保证时 4 1 成立 但可以想见 当 n 很大时 Nn 不发生的可能性很小了 比如 于是猜想可 P n n 01 nP n P nn 能有 这个猜想是正确的 其证明暂放后一步 现不妨先承认有事实 P n Pn P n Pn 5 9 若令 则 5 8 意味着 不发生次试验第 发生次试验第 Ak Ak k 0 1 2 1 k 1 1 11 n k k P n k k n E n 上式反映出大量随机现象的平均结果具有的一种稳定性 我们称之为大数定律 定义定义 5 3 设为一随机变量序列 它们具有有限的数学期望 k 2 1 kE k 令 若 或 则称随机序列服从大 n k kn n 1 1 n P n E nn E 0 P k 数定律 下面的定理给出随机序列服从大数律的一个充分条件 定理定理 5 5 契贝晓夫大数定律 设是一列两两不相关的随机变量序列 其中 k 每一随机变量都有有限的数学期望和方差 且方差有公共上界 则服从大数定律 2 1 KCCD k 为常数 k 证明 只须证 对任给 均有0 0 11 11 n k n k kk E nn P 0 5 10 由契贝晓夫不等式 00 1 11 22 1 11 n n Cn D E nn P n k k n k k n k k 下面我们来证明 5 9 式 定理定理 5 6 贝努里大数定律 设是 n 重贝努重试验中事件 A 出现的次数 每次 n 试验都有 P n PAP Pn 则 证明 照 5 3 定义随机序列 则 k 2 1 4 1 1 kPPDPE kk 由定理 5 2 知 服从大数律 因此 k 11 P nn E n Pn n k k P n k k 这就是 上面所述的两个大数定律 后一个是前一个的特款 从定理 5 5 的证明看出 服从大数律的一个充分条件是 k 5 11 0 2 1 n n D n k k 5 11 所示的条件常称为马尔可夫条件 由此得如下的马尔可夫大数定律 若随机变量 序列满足 5 11 所示的马尔可夫条件 则它服从大数定律 k 证 对任给 由契贝晓夫不等式 有0 0再由 4 4 立得结论 22 1 11 11 n D n E n P n k k n k k n k k 我们注意到 马尔可夫大数律并没有附加相互独立的条件 另方面 显然定 k 理 5 2 又是它的特款 因此 上面所述的三个大数定律 马尔可夫大数律才是最基本的 当然 它的条件也是充分而非必要的 我们还注意到上面的三个大数定律 其证明都要依靠契贝晓夫不等式 所以要求 随机变量的方差存在 但进一步的研究表明 方差存在这个条件并不一定必要 比如 在独立同分布的场合 就可去掉这个条件 著名的俄国数学家 X 证明了这点 定理定理 5 75 7 辛钦大数定律 设为相互独立 同分布的随机序列 具有有限的 k 数学期望 则服从大数定律 为常数aaE k k 证 因同分布 故有相同的特征函数 将 t 21 i aEt k 0 又 在 t 0 处展开 有 01 0 0 0 tiatttt 由相互独立 得的特征函数为 21 n k kn n 1 1 nn n n t n t ia n t tg 01 对于任意 由定理 4 6 知 再由定 iatn n n n e n t n t iatgRt 01 lim lim 1 a L n 理 5 5 得 即服从大数定理 a P n k 贝努里大数定律显然是辛钦大数定律的特款 例例 5 5 设为独立同分布随机变量序列 存在 令 k 2 nn DaE n k kn n 1 1 n k nkn n S 1 22 1 证明 22 P n S 证 i i d 则 亦 i i d k 2 n 由辛钦大数律 a P n 1 22 1 2 a n n k P k 由 5 9 22 a P n 由斯鲁茨基定理 n k P nkn n S 1 2222 1 5 12 5 3 中心极限定理中心极限定理 大数定律仅仅从定性的角度解决了频率稳定于概率 p 即 为了定 n n n n p P 量地估计用频率估计概率的误差 历史上 DeMoivre Laplace 等数学 n n pAP记为 家经过许多努力 证明了的标准化随机变量渐近于 N 0 1 分布 n 定理定理 5 8 德莫佛 拉普拉斯 在 n 重贝努里试验中 事件 A 在每次试验中出现 的概率为 一致地有 10 pp出现的次数次试验中为An n 1 Rx 则对任意 dtex npq np P xt n n 2 2 2 1 lim 5 13 本定理的原始证明较复杂 但它是下面要证明的定理 5 9 的特例 现在来看定理 5 8 的重要意义 定理 5 8 在实际的数值计算中有重要作用主要表现在 1 较为精确地估计出用频率估计概率的误差 当 n 充分大时 pq n npq np pq n PP n P nn 1 2 pq n 5 13 由上式 中已知其二 可求另一n 2 较好地解决了二项分布的近似近计算 当较大时 无论 p 是否接近 0 或 1 均由 4 10 得npnB而 1221 21 npq npx npq npx npq npx npq np npq npx PxxP 5 14 另方面 定理 5 8 在理论研究上也有很大价值 这里仅指出这样一个事实 依分布收敛于标准正态变量 这时称渐近于正态分布 npq np n npq np n N 0 1 若令 0 1 k 不出现次试验第 出现试验第 Ak Ak 2 1 k 则上面的事实等价于有渐近正态分布 这一重要发现具有普遍意义 n k k 1 前面我们介绍正态分布时曾说过 已发现许多随机现象 比如测量误差 射击偏 差等都可用正态分布来描述 经过长期观察 总结 发现那些服从正态分布的随机现 象往往是由许多彼此无关 谁也不起突出作用 只均匀地起微小作用的随机因素共同 作用而产生 换句话说 这类随机现象往往可视为独立 或弱相依 随机变量之和 在什么条件下有渐近正态分布的问题 在长达两个世纪的时间内成为概率论讨 n k k 1 论的中心课题 为使问题规范化 数学家们将问题归结为讨论规范和 有渐近分布 N 0 1 的条件 1 11 n k k n k n k kk D E 并称有此结论的随机序列服从中心极限定理 k 下面是勒维 和林德贝尔格 Lindeberg 的成果vye L 定理定理 5 9 若是一列独立同分布的随机变量 且 21 aE k 2 k D 则有 0 2 5 15 lim 1 xx n na P n k k n 对一切实数 x 成立 证 略 在定理 5 8 中 由于可看作独立同贝努里分布的一列随机变量的部分和 因此 n 定理 5 8 是定理 5 9 的特例 在处理近似计算时 定理 5 9 较之定理 5 8 有更广泛的应 用 在实际应用中 只要 n 较大 便可把独立同分布的随机变量之和近似当作正态变 量 这种处理方法对于解决大子样问题非常方便 常用的近似计算式为 12211 1 21 n nax n