重庆大学研究生数理统计总复习.ppt

数理统计 概率论基本知识点 重庆大学数统学院李寒宇hyli 24078395113594230969 5 概率的运算性质 1 不可能事件概率为零 即 2 有限可加性 互斥 3 设A为任一随机事件 则 4 设A B为任意两个随机事件 则 当时 5 单调性 若 则 6 1 分布函数 定义 设X为随机变量 为任意实数 称函数 R为随机变量X的分布函数 性质 1 单调不减性 即当时 有 2 3 是右连续函数 即对于任意的x 有 2 分布列 定义 设随机变量X的所有可能取值为且则称此数列为离散型随机变量的分布列 性质1 性质2 性质3 分布列与分布函数之间的关系 3 密度函数 定义 如果存在一个非负可积函数 对任意实数x 有则称X为连续型随机变量 称为X的分布密度或密度函数 性质1 性质2 性质3 4 常见分布 二项分布 X的分布律 线性可加性 若 且相互独立 则 2 Poisson分布X P 4 均匀分布X U a b 5 指数分布X 6 正态分布X N 2 正态分布密度函数曲线 6 1 标准正态分布X N 0 1 1 二维随机变量及其推广 四 二维随机变量 1 二维随机变量的分布函数 2 二维离散型随机变量的联合分布列 显然 称 为X的边缘分布列 为Y的边缘分布列 3 二维连续型随机变量的联合密度函数 为X的边缘密度函数 为Y的边缘密度函数 4 二维随机变量的独立性 若对于任意的x y 满足如下关系 则可称随机变量X与Y相互独立 判断独立性 五 随机变量的数字特征 1 一维随机变量的数学期望 设离散型随机变量X的分布列为 如果级数收敛 则称级数 为离散型随机变量X的数学期望 函数变换的数学期望 设连续型随机变量X的密度函数为 若收敛 则称 为连续型随机变量X的数学期望 X是离散型 X是连续型 其密度函数是 一般用如下公式 2 方差 3 数学期望和方差的性质 1 c为常数 则 2 3 4 若X与Y独立 则 常用分布的数字特征 4 二维随机变量的数学期望 EX EY 离散型 连续型 一般地 协方差 相关系数和矩 1 X和Y协方差 协方差和相关系数的性质 2 X和Y相关系数 3 矩 称为X的k阶原点矩 称为X的k阶中心矩 称为X Y的k l阶原点矩 称为X Y的k l阶中心混合矩 数理统计 统计概念 重庆大学数统学院李寒宇hyli 24078395113594230969 6 样本分布的计算 1 设总体X的分布函数为 X1 Xn是来自总体X的样本 则该样本的联合分布函数为 2 若总体X是连续型随机变量 且具有密度函数 则样本 X1 Xn 的联合密度函数为 也称为概率分布 3 当总体X是离散型随机变量 且具有分布列时 记 故任意样本 X1 Xn 的概率分布统一为 则样本 X1 Xn 的联合密度函数也为 1 定义 设X1 Xn为总体X的一个样本 为关于n维变量的连续函数 且该函数中不含任何未知参数 取定值时 则称为统计量 很明显 统计量是一个随机变量 7 统计量 2 常用的统计量 样本均值 样本方差 样本k阶原点矩 样本k阶中心矩 样本标准差 显然 3 样本均值有如下性质 1 2 若总体的均值 方差存在 且 则 3 当n 时 4 样本方差S2的性质 1 如果存在 则 2 对任意实数a 有 三 顺序统计量 经验分布函数和直方图 定义 设 X1 Xn 为总体X的样本 是样本观测值 将样本值从小到大排列 定义随机变量的取值为 则称为的顺序统计量 且称为最小统计量 为最大统计量 1 顺序统计量 第k个顺序统计量 设是总体X的分布函数 为总体X的密度函数 则 2 最小最大统计量的分布 1 最大统计量的分布为 2 最小统计量的分布为 3 经验分布函数 定义 设为总体X的样本的观测值 将这些值按大小排序为 并对任意实数x 记 则称为总体X的经验分布函数 思想 利用样本中样品的频率估计总体的概率 描述连续性随机变量的密度函数曲线 当样本容量较大 n 85 时 能够很好的近似总体的密度函数曲线 4 直方图 直方图方法步骤 直方图方法步骤 直方图结果 2 正态总体下一些几个重要的抽样分布 1 卡方分布 定义 设为n个独立同分布于的随机变量 记 则称服从参数为n的卡方分布 记为 四 抽样分布 4 性质 设 则 线性可加性 设 且随机变量和相互独立 则 设 则 3 密度函数曲线 2 t分布 1 定义 设 且X Y相互独立 记 则称T服从自由度为n的t分布 记为 4 性质 当n 1时 ET 0 密度函数曲线关于y轴对称 当n 2时 当n 1时 密度函数 当n 时 即当n充分大时 45 随机变量T近似服从标准正态分布 3 密度函数曲线 1 定义 设 且X与Y相互独立 记 则称F服从自由度为m与n的F分布 记为 3 F分布 4 性质 当时 则 当 则 3 密度函数曲线 例4 设独立同分布于 令 求 1 参数a b 使服从分布 并求其自由度 2 参数c 使服从t分布 并求其自由度 3 参数d 使得服从F分布 并求其自由度 3 抽样分布定理 定理1设总体 X1 Xn为总体X的样本 分别为样本均值和样本方差 则 1 2 3 相互独立 推论1 设来自于正态总体 则 推论2 设X1 Xmmm Y1 Yn分别来自正态总体和 并且两组样本相互独立 则 正态总体为基础 4 分位数 定义 设X为一随机变量 分布函数为F x 给定概率p 存在 使得满足 称为p 分位数 设X的密度函数为f x 如图所示 分位数表示刻度以左的一块阴影面积为p 常见的分位数 1 标准正态分布 u 分位数 记为 性质 u 分位数查表 2 t分布 t 分位数 记为 性质 当n 45时 3 分布 分位数 记为 4 F分布 F 分位数 记为 性质 1 当n 45时 2 3 数理统计 参数估计 重庆大学数统学院李寒宇hyli 24078395113594230969 原理 样本的k阶原点距去估计相应总体的k阶原点距 定理 在n 时 有 即 样本k阶原点矩依概率p收敛于总体k阶原点矩 二 矩估计法 总体X具有密度函数 其中参数 未知 如果总体的k阶矩E Xk 存在 计算公式为 显然E Xk 是参数 的函数 记为 这样就构建了关于 的方程 求解获得估计值 总体的k阶原点矩E Xk 存在 设X1 Xn是来自总体X的样本 则样本k阶原点矩Mk易求 矩估计方法的步骤 1 求出未知参数与总体矩的关系式 2 当n充分大时 令 3 求解以上m个方程组得到的解 记为 称为 1 n的矩估计值 观测值换成样本即为矩估计量 通常情况 由于总体分布的参数不超过两个 参数 和 2的矩估计量 记 E X 2 DX 它们是未知的 因为 E X2 DX E2X 2 2 实用中常用S2估计 2 1 基本思想 使样本获得最大概率的参数值作为总体未知参数的估计值 2 对离散型总体X 概率分布 样本 X1 Xn 在处的概率为 最大似然估计量 分布列 极大似然估计 3 对连续型总体 样本 X1 Xn 在处的概率为 其大小与无关 令 称为似然函数 原理 寻找使得 称为极大似然估计量 密度函数 2 求解 得极大似然函数估计量 4 极大似然估计法的步骤 1 求似然函数 对极值问题 利用极值原理令 称方程组为似然方程组 为了计算方便 似然方程组可改写为 称之为参数 1 n的极大似然估计量 附注 方程组无解时需回归似然函数或求数值解 1 无偏性 定义 设是参数 的一个估计量 若对任意的 有 则称是参数 的无偏估计量 四 点估计的优良准则 2 最小方差无偏性定义1 设和都是未知参数 的无偏估计量 并且对任意的 满足 则称比有效 有效性 定义2 如果存在一个 的无偏估计量 使得对 的任意无偏估计量T 当 时 有 则称T 为 的一致最小方差无偏估计量 UMVUE 2 存在并且可以在的积分号下对 求偏导数 g 存在 则对任意 定理1 Cramer Rao不等式 设总体X的概率分布或密度函数为 其中 为未知参数 X1 Xn为总体X的样本 为g 的无偏估计量 且满足如下条件 1 集合与参数 无关 其中 称为方差下界 或C R下界 I 称为Fisher信息量 注 1 2 方差达到C R下界的无偏估计称为有效估计 定理2 在定理1的条件下有 1 为的有效估计量的充要条件是可化为形式 即 其中与似然函数形式上完全一样 只是将似然函数中的小写字符改写成大写字符Xi 仅是 的函数 并且为的无偏估计量 有效估计 一致最小方差无偏估计 无偏估计 2 C 和I 之间的关系 C 和D T 之间的关系 3 的有效估计量是唯一的 4 的有效估计量一定是的唯一极大似然估计量 三 相合性 一致性 定义对任给的满足 定理 因 是 最小方差无偏估计量 2 单个正态总体的期望和方差的区间估计 1 的区间估计 目的 求给定置信度为1 时的 置信区间 故存在常数c 使得 即 由置信度1 与分布确定常数c 可得 的区间估计 五 区间估计 1 当 2已知时 因 给定1 有 即 即 的置信度为1 的置信区间为 2 当 2未知时 因 给定1 与 2已知相同 将u 分位数变为t 分位数即可 故 的置信度为1 的置信区间为 2 2的区间估计 目的 参数 为未知时 2的置信区间 因 S2是 2的最优无偏估计量 故存在k1 k2 k1 1 k2 使得 从而 故 2的置信区间应为 其中参数由置信度1 和总体X的分布确定 当1 给定 且 由定义知 即 令 故 故置信区间为 一般置信区间的求解步骤 保证分布易求 3 两个正态总体的区间估计 假设总体 X1 Xn 是X的样本 总体 Y1 Ym 是Y的样本 1 两个正态总体均值差的区间估计 因 是 1 2的最小方差无偏估计量 故 则 1 2置信区间形式为 当已知时 1 2的置信度为1 的置信区间为 2 当未知时 当n 30 m 30时 1 2的置信度为1 的置信区间为 当n m较小时 设 则 所以 1 2的置信度为1 的置信区间为 其中 则有 当n m较小时 查阅 2 两个正态总体方差比的置信区间 当未知时 设 即 又因 得 所以 令 得 的置信度为1 的置信区间 当已知时 三 非正态总体情况 一般难以计算 但样本容量较大时 可以化为正态总体情况处理 以下讨论0 1分布的参数p的置信区间 此处假定n 30 X B 1 p 用样本均值估计p 数理统计 假设检验 重庆大学数统学院李寒宇hyli 24078395113594230969 首先对总体的某信息作出假设 先假设原假设成立 备择假设 原假设 某种信息 如未知参数的最优估计量与参数的差别不会太大 应很小 假设原假设成立 也应很小 所以 0 0 很大就是一个小概率事件 若发生了 自然有理由相信原假设不成立 否则 不能否定原假设 只能接受 基本思想 在区域 的概率 即原假设成立时拒绝原假设的概率 假设检验的基本步骤 1 提出原假设H0与备择假设H1 2 分析并提出原假设H0的拒绝 否定 域的形式K0 3 给出显著性水平 确定拒绝域K0 4 作出是否拒绝H0的判断 充分理由才能否定的作为原假设 未知参数的最优估计量与参数的差别不会太大 二 参数假设检验 1 单个正态总体参数的假设检验 设X1 Xn是来自总体X N 2 的样本 1 的假设检验 关于 的各种统计假设形式 H0 0 H1 0 H0 0 H1 0 H0 0 H1 0 H0 0 H1 0 H0 0 H1 0 2 2的假设检验 关于 2的各种统计假设形式 H0 2 02 H1 2 02 H0 2 02 H1 2 02 H0 2 02 H1 2 02 H0 2 02 H1 2 02 H0 2 02 H1 2 02 设X1 Xn是来自总体X N 2 的样本 2 两个正态总体参数的假设检验 假设总体 X1 Xn 是X的样本 总体 Y1 Ym 是Y的样本 相互独立 1 对两总体均值的检验 H0 1 2 H1 1 2 H0 1 2 H1 1 2 H0 1 2 H1 1 2 H0 1 2 H1 1 2 H0 1 2 H1 1 2 其中 H0 12 22 H1 12 22 H0 12 22 H1 12 22 H0 12 22 H1 12 22 H0 12 22 H1 12 22 H0 12 22 H1 12 22 2 对两总体方差的检验 中心极限定理 设独立同分布 且 则 非正态总体的参数假设检验 二项分布参数假设检验 非正态总体的参数假设检验 泊松分布参数假设检验 三 非参数假设检验 1 总体分布函数的假设检验 2 独立性假设检验 3 两总体分布比较的假设检验 13 27 27 1 总体分布函数的假设检验 提出假设 H0 F x F0 x H1 F x F0 x 设X1 Xn是来自总体的样本 F x 为分布函数 未知 F0 x 为理论上的分布 13 27 27 注意 1 m一般为4 6 最多12 15 2 区间长度不一定相同 但每个区间至少包含5个样品 13 27 27 H0 F x F0 x 差别不大 差别不大 不大 不大 13 27 27 拒绝域 拟合优度检验法 不大 不大 13 27 27 拒绝域 F0 x 已知 定理 当原假设成立时 若不含有参数时 无论是何分布 均有 13 27 27 拒绝域 F0 x 未知 定理 当原假设成立时 若含有r个参数时 可用其最大似然估计量代替 再计算记为 此时 13 27 27 提出统计假设 H0 X与Y独立 H1 X与Y不独立 2 独立性假设检验 上述统计假设可转化为 总体为随机向量 X Y 13 27 27 假设 X Y 的联合分布函数为F x y 边缘分布函数为FX x FY y H0 F x y FX x FY y H1 F x y FX x FY y 假设 X Y 为离散型随机向量 上述统计假设可转化为 13 27 27 抽样 X的取值a1 ar Y的取值b1 bs 差别不大 不大 不大 13 27 27 差别不大 不大 不大 拒绝域 其中 拒绝域 13 27 27 pij已知 pij未知 r s 2参数 13 27 27 13 27 27 3 两总体分布比较的假设检验 设分别为连续型总体X Y的分布函数 为它们的密度函数 这些函数都未知 X1 Xn Y1 Ym是分别来自X和Y的样本 且相互独立 样本值分别为 统计假设是 13 27 27 13 27 27 情形1 m n且xi yi Xi yi个数n xi yi个数n n n n 不能太小 拒绝域 检验方法 符号检验法 情形2 m n且xi yi无要求 13 27 27 秩和检验法 13 27 27 112 数理统计 回归分析 重庆大学数统学院李寒宇hyli 24078395113594230969 113 二 一元线性回归 1 回归模型 设为观测值 满足模型 回归函数 13 27 27 任务 估计 检验未知参数 114 找 最小二乘法 13 27 27 尽可能小 尽可能小 尽可能小 115 得 13 27 27 13 27 27 116 117 性质1 残差和为零 即 性质2 在样本回归直线上 即 且 3 样本回归直线和参数估计量的性质 118 性质3 119 性质4 是 2的无偏估计量 性质5 分别与相互独立 且有 1 2 3 1 0成立时 有 记 120 4 显著性检验 样本回归直线中Y与X之间线性相关性的显著性检验 统计假设 H0 1 0 H1 1 0 1 F检验法2 t检验法3 r检验法 13 27 27 121 1 F检验法 因是 1的无偏估计量 即 则H0的拒绝域为 则 又 13 27 27 122 2 t检验法 则H0的拒绝域为 故拒绝域为 13 27 27 123 3 r检验法 13 27 27 故拒绝域为 124 1 点预测 预测值 回归方程 13 27 27 预测与控制 2 区间预测 y0的置信度为1 的的置信区间 13 27 27 125 126 13 27 27 127 Y0的区间预测 13 27 27 128 特别地 当样本容量n很大 且在附近时 有 则 Y0的预测区间为 13 27 27 129 130 13 27 27 当样本容量n很大 且在附近时 令 数理统计 方差分析 重庆大学数统学院李寒宇hyli 24