第五章：随机变量的收敛性

1 第五章 随机变量的收敛性 随机样本 IID样本 统计量 对随机样本的概括Y为随机变量 Y的分布称为统计量的采样分布如 样本均值 样本方差 样本中值 收敛性 当样本数量n趋向无穷大时 统计量的变化大样本理论 极限定理 渐近理论对统计推断很重要 2 收敛性 主要讨论两种收敛性依概率收敛大数定律 样本均值依概率收敛于分布的期望依分布收敛中心极限定理 样本均值依分布收敛于正态分布 3 例1 依概率收敛 概率的频率解释 随着观测次数n的增加 频率将会逐渐稳定到概率设在一次观测中事件A发生的概率为如果观测了n次 事件A发生了次 则当n充分大时 A在次观测中发生的频率逐渐稳定到概率p 那么不对 若则对于 总存在 当时 有成立但若取 由于即无论N多大 在N以后 总可能存在n 使所以不可能在通常意义下收敛于p 4 例2 依分布收敛 考虑随机序列 其中直观 集中在0处 收敛到0但 Chebyshev不等式 5 两种收敛的定义 5 1定义 令为随机变量序列 X为另一随机变量 用Fn表示Xn的CDF 用F表示X的CDF1 如果对每个 当时 则Xn依概率收敛于X 记为 2 如果对所有F的连续点t 有则Xn依分布收敛于X 记为 同教材上 6 两种收敛的定义 当极限分布为点分布时 表示为依概率收敛 依分布收敛 7 其他收敛 还有一种收敛 均方收敛 L2收敛 convergetoXinquadraticmean 对证明概率收敛很有用当极限分布为点分布时 记为对应还有 L1收敛 convergetoXinL1 8 依概率收敛随机变量序列 当对任意 则称随机变量序列几乎处处依概率收敛到X convergealmostsurelytoX 记为 几乎处处收敛 比依概率收敛更强 其他收敛 或 或 9 各种收敛之间的关系 点分布 c为实数 L1 almostsurely L2 反过来不成立 Quadraticmean probability distribution Point massdistribution 10 例 伯努利大数定律 设在一次观测中事件A发生的概率为 如果观测了n次 事件A发生了次 则当n充分大时 A在次观测中发生的频率逐渐稳定到概率p 即对于 表示当n充分大时 事件发生的频率与其概率p存在较大偏差的可能性小 11 例 5 3 令直观 集中在0处 收敛到0依概率收敛 Chebyshev不等式 12 例 续 依分布收敛 令F表示0处的点分布函数 Z表示标准正态分布的随机变量 13 收敛的性质 14 弱大数定律 WLLN 独立同分布 IID 的随机变量序列 方差 则样本均值依概率收敛于期望 即对任意称为的一致估计 一致性 在定理条件下 当样本数目n无限增加时 随机样本均值将几乎变成一个常量对样本方差呢 依概率收敛于方差 15 样本方差依概率收敛于分布的方差 16 强大数定律 SLLN 独立同分布 IID 的随机变量序列 方差 则样本均值几乎处处收敛于期望 即对任意 17 例 大数定律 考虑抛硬币的问题 其中正面向上的概率为p 令表示单次抛掷的输出 0或1 因此若共抛掷n次 正面向上的比率为 根据大数定律 但这并不意味着在数值上等于p而是表示当n很大时 的分布紧围绕p令 若要求 则n至少为多少 解 18 中心极限定理 CentralLimitTheorem CLT 独立同分布 IID 的随机变量序列 则样本均值近似服从期望为方差为的正态分布 即其中Z为标准正态分布或也记为无论随机变量X为何种类型的分布 只要满足定理条件 其样本均值就近似服从正态分布 正态分布很重要但近似的程度与原分布有关大样本统计推理的理论基础 19 中心极限定理 中心极限定理试验 20 例 中心极限定理 每个计算机程序的错误的数目为X 现有125个程序 用表示各个程序中的错误的数目 求的近似值解 21 中心极限定理的应用之一 二项概率的近似计算 设是n重贝努里试验中事件A发生的次数 则 对任意 有当n很大时 直接计算很困难 这时如果不大 即p 0 1 np 5 或不大 则可用Poisson分布来近似计算 22 中心极限定理的应用之一 二项概率的近似计算 续 当p不太接近于0或1时 可根据CLT 用正态分布来近似计算根据CLT 德莫弗 拉普拉斯定理 23 中心极限定理的应用之一 二项概率的近似计算 续 例 已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3 1 现种植杂交种400株 求结黄果植株介于83到117之间的概率 由题意 任意一株杂交种或结红果或结黄果 只有两种可能性 且结黄果的概率种植杂交种400株 相当于做了400次贝努里试验 记为400株杂交种结黄果的株数 则当n 400较大时 根据CLT 24 中心极限定理的应用之一 二项概率的近似计算 续 例 某单位内部有260架电话分机 每个分机有4 的时间要用外线通话 可以认为各个电话分机用不同外线是相互独立的 问 总机需备多少条外线才能以95 的把握保证各个分机在使用外线时不必等候 一个分机使用外线的概率260个分机中同时使用外线的分机数设总机确定的最少外线条数为x 则根据CLT 25 中心极限定理 标准差通常不知道 可用样本标准差代替 中心极限定理仍成立 即其中 26 中心极限定理 无论随机变量X为何种类型的分布 只要满足定理条件 其样本均值就近似服从正态分布但近似的程度与原分布有关正态近似的程度 Berry Esseen定理若 则还有中心极限定理得多变量版本 27 多元分布的中心极限定理 令为IID随机向量 其中协方差矩阵为 令样本均值向量为则 均值向量为 其中 28 Delta方法 随机变量的变换的中心极限定理假定 且g可导 则换句话说 29 令为IID 其均值和方差 有限 分别为则根据CLT 假设则利用Delta方法 有 例 30 Delta方法 多元变量情况假设为随机向量序列 且 令且令表示时的值