多元统计分析：第二章 多元正态分布及.ppt

1 应用多元统计分析 第二章多元正态分布及参数的估计 2 在多元统计分析中 多元正态分布占有相当重要的地位 这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布 当样本量很大时 许多统计量的极限分布往往和正态分布有关 此外 对多元正态分布 理论与实践都比较成熟 已有一整套行之有效的统计推断方法 基于这些理由 我们在介绍多元统计分析的种种具体方法之前 首先介绍多元正态分布的定义 性质及多元正态分布中参数的估计问题 第二章多元正态分布及参数的估计 3 第二章多元正态分布及参数的估计目录 2 1随机向量 2 2多元正态分布的定义与基本性质 2 3条件分布和独立性 2 4多元正态分布的参数估计 4 本课程所讨论的是多变量总体 把p个随机变量放在一起得X X1 X2 Xp 为一个p维随机向量 如果同时对p维总体进行一次观测 得一个样品为p维数据 常把n个样品排成一个n p矩阵 称为样本资料阵 第二章多元正态分布及参数的估计 2 1随机向量 5 第二章多元正态分布及参数的估计 2 1随机向量 其中X i i 1 n 是来自p维总体的一个样品 X1 X2 Xp def 6 在多元统计分析中涉及到的都是随机向量 或是多个随机向量放在一起组成的随机矩阵 本节有关随机向量的一些概念 联合分布 边缘分布 条件分布 独立性 X的均值向量 X的协差阵和相关阵 X与Y的协差阵 要求大家自已复习 三 均值向量和协方差阵的性质 1 设X Y为随机向量 A B为常数阵 则E AX A E X E AXB A E X B 第二章多元正态分布及参数的估计 2 1随机向量 7 D AX A D X A COV AX BY A COV X Y B 2 若X Y相互独立 则COV X Y O 反之不成立 若COV X Y O 我们称X与Y不相关 故有 两随机向量若相互独立 则必不相关 两随机向量若不相关 则未必相互独立 3 随机向量X X1 X2 Xp 的协差阵D X 是对称非负定阵 即 0 为任给的p维常量 第二章多元正态分布及参数的估计 2 1随机向量 8 第二章多元正态分布及参数的估计 2 1随机向量 协差阵的性质 4 L2 其中L为非负定阵 由于 0 非负定 利用线性代数中实对称阵的对角化定理 存在正交阵 使 9 第二章多元正态分布及参数的估计 2 1随机向量 协差阵的性质 当矩阵 0 正定 时 矩阵L也称为 的平方根矩阵 记为 1 2 当矩阵 0 正定 时 必有p p非退化矩阵A使得 AA 10 第二章多元正态分布及参数的估计 2 1随机向量 协差阵的性质 若 0 非负定 必有p q矩阵A1使得 A1A1 这里记 1 2 1为p q列正交阵 p q 并设 11 在一元统计中 若U N 0 1 则U的任意线性变换X U N 2 利用这一性质 可以从标准正态分布来定义一般正态分布 若U N 0 1 则称X U 的分布为一般正态分布 记为X N 2 此定义中 不必要求 0 当 退化为0时仍有意义 把这种新的定义方式推广到多元情况 可得出多元正态分布的第一种定义 第二章多元正态分布及参数的估计 2 2多元正态分布的定义 12 定义2 2 1设U U1 Uq 为随机向量 U1 Uq相互独立且同N 0 1 分布 设 为p维常数向量 A为p q常数矩阵 则称X AU 的分布为p维正态分布 或称X为p维正态随机向量 记为X Np AA 简单地说 称q个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布 第二章多元正态分布及参数的估计 2 2多元正态分布的第一种定义 13 第二章多元正态分布及参数的估计 2 2多元正态分布的性质1 在一元统计中 若X N 2 则X的特征函数为 t E eitX exp it t2 2 2 14 第二章多元正态分布及参数的估计 2 2多元正态分布的性质1 15 性质1设U U1 Uq 为随机向量 U1 Uq相互独立且同N 0 1 分布 令X AU 则X的特征函数为 第二章多元正态分布及参数的估计 2 2多元正态分布的性质1 这里t t1 tp 故 X t 为p元函数 当X N 0 1 时 t exp t2 2 16 性质1的证明 根据随机向量特征函数的定义和性质 经计算即可得出X的特征函数为 X t E eit X E eit AU 第二章多元正态分布及参数的估计 2 2多元正态分布的性质1 令t A s s1 sq 17 第二章多元正态分布及参数的估计 2 2多元正态分布的性质1 因U1 Uq相互独立 乘积的期望等于期望的乘积 18 定义2 2 2若p维随机向量X的特征函数为 第二章多元正态分布及参数的估计 2 2多元正态分布的第二种定义 一元正态 p 1 则称X服从p维正态分布 记为X Np 记 AA 则有以下定义 19 性质2设X Np B为s p常数阵 d为s 1常向量 令Z BX d 则Z Ns B d B B 该性质指出正态随机向量的任意线性组合仍为正态分布 第二章多元正态分布及参数的估计 2 2多元正态分布的性质2 20 第二章多元正态分布及参数的估计 2 2多元正态分布的性质2 证明因 0 可分解为 AA 其中A为p q矩阵 已知X Np 由定义2 2 1可知 X AU d表示两边的随机向量服从相同的分布 其中U U1 Uq 且U1 Uq相互独立同N 0 1 分布 d 21 Z BX d B AU d 第二章多元正态分布及参数的估计 2 2多元正态分布的性质2 d BA U B d 由定义2 2 1可知Z Ns B d BA BA 即 Z Ns B d B B 这里 AA 22 推论设X Np 将 剖分为 第二章多元正态分布及参数的估计 2 2多元正态分布性质2的推论 则X 1 Nr 1 11 X 2 Np r 2 22 X 1 rX 2 p r 23 证明 由性质2可得 类似地 第二章多元正态分布及参数的估计 2 2多元正态分布性质2的推论 24 此推论指出 多元正态分布的边缘分布仍为正态分布 但反之 若随机向量的任何边缘分布均为正态分布 也不一定能导出该随机向量服从多元正态分布 如例2 1 1 证明了X1 X2均为一元正态分布 但由 X1 X2 联合密度函数的形式易见它不是二元正态 第二章多元正态分布及参数的估计 2 2多元正态分布性质2的推论 25 第二章多元正态分布及参数的估计 2 2多元正态分布性质2的推论 例2 1 1 X1 X2 的联合密度函数为 我们从后面将给出的正态随机向量的联合密度函数的形式可知 X1 X2 不是二元正态随机向量 但通过计算边缘分布可得出 X1 N 0 1 X2 N 0 1 这就说明若随机向量的任何边缘分布均为正态分布时 也不一定能导出该随机向量服从多元正态分布 26 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 简单例子 例如 设三维随机向量X X1 X2 X3 且 则有 1 X1 N 2 1 27 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 简单例子 由性质2知 Y为3维正态随机向量 且 2 28 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 简单例子 29 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 简单例子 3 设Z 2X1 X2 3X3 试求随机变量Z的分布 Z 2X1 X2 3X3 2 1 3 X CX故有 所以Z N 4 29 30 性质3若X Np E X D X 证明因 0 可分解为 AA 则由定义2 2 1可知 X AU A为p q实矩阵 其中U U1 Uq 且U1 Uq相互独立同N 0 1 分布 故有E U 0 D U Iq d 第二章多元正态分布及参数的估计 2 2多元正态分布的性质3 31 第二章多元正态分布及参数的估计 2 2多元正态分布的性质3 利用均值向量和协差阵的有关性质可得 此性质给出多元正态分布中参数 和 的明确统计意义 是随机向量X的均值向量 是随机向量X的协差阵 如简单例子中 由性质2知Z服从正态分布 利用性质3 32 性质4设X X1 Xp 为p维随机向量 则X服从p维正态分布 对任一p维实向量a a X是一维正态随机变量 必要性的证明由性质2即得 只须取B a d 0即可 充分性的证明 首先说明随机向量X的均值和协方差阵存在 因对任给p维实向量t Rp t X 一元正态分布 可知 的各阶矩存在 第二章多元正态分布及参数的估计 2 2多元正态分布的性质4 33 第二章多元正态分布及参数的估计 2 2多元正态分布的性质4 如取t ei 0 1 0 Xi ei X 且E Xi i 1 2 p 存在 E Xi2 i 1 2 p 也存在 再比如取t 0 1 0 1 0 t X Xi Xj 且E E Xi Xj i j 1 2 p 存在 E 2 E Xi Xj 2 E Xi2 2E XiXj E Xj2 也存在 即E XiXj i j 1 2 p 存在 故E Xi Cov Xi Xj E XiXj E Xj E Xi i j 1 p 存在 34 第二章多元正态分布及参数的估计 2 2多元正态分布的性质4 记E X D X 计算 的特征函数 对任意给定的t Rp 因随机变量 t X服从N t t t 故知 的特征函数为 E ei exp i t 2 t t 2 计算随机向量X的特征函数 在 的特征函数中 取 1 即得 35 第二章多元正态分布及参数的估计 2 2多元正态分布的第三种定义 1 E ei E eit X X t exp it t t 2 由定义2 2 2可知 X Np 定义2 2 3若p维随机向量X的任意线性组合均服从一元正态分布 则称X为p维正态随机向量 36 第二章多元正态分布及参数的估计 2 2一元正态分布的密度函数 在概率论中大家都知道一元正态随机变量的密度函数是 这个式子可改写为 37 作为一元正态随机变量的推广 以下性质来导出多元正态随机向量的联合密度函数 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 性质5设X Np 且 0 正定 则X的联合密度函数为 38 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 证明 因 0 rk p 由线性代数的知识知存在非奇异方阵A 使得 AA 且X AU 其中U U1 Up 且U1 Up相互独立同N 0 1 分布 d U的联合密度函数 p元函数 为 39 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 利用U的联合密度函数及随机向量的变换求X AU 的密度函数 对任给Borel可测集B 求p元函数fX x 使得 其中D u u A 1 x x B 40 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 根据附录 8 P397 公式 8 4 即有 以下来求Jacobi行列式J u x 41 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 积分变换的Jacobi行列式J u x 可利用线性变换x Au 及J x u 来计算 因 向量微商的公式见附录 8 8 1 42 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 关于积分变换的Jacobi行列式J u x 的有关内容请参阅附录部分 故 43 第二章多元正态分布及参数的估计 2 2多元正态分布的性质5 写出X AU 的密度函数 这里 AA 44 其中 是p维实向量 是p阶正定阵 则称X X1 X2 Xp 服从 非退化的 p元正态分布 也称X为p维正态随机向量 简记为X Np 第二章多元正态分布及参数的估计 2 2多元正态分布的第四种定义 定义2 2 4p维随机向量X X1 X2 Xp 的联合密度函数为 45 第二章多元正态分布及参数的估计 2 2多元正态分布的多种定义及关系 以上给出了多元正态分布的4种定义 定义2 2 4用密度函数给出定义 它可看成一元正态密度的直接推广 但在这个定义里要求 是正定阵 它给出的是非退化的正态分布的定义 另三种定义中把 阵推广到非负定的情形 这三种定义是等价的 46 例2 2 1 二元正态分布 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 1 即 1 0 2 0 1 1 试写出X的联合密度函数和边密度函数 2 试说明 的统计意义 47 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 1 解 1 因 注意改p26 48 二元正态随机向量X的联合密度函数为 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 1 49 另由性质2的推论 即得 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 1 2 因Cov X1 X2 12 1 2 而X1与X2的相关系数为 故二元正态分布的参数 就是两个分量的相关系数 50 显然当 0时 f x1 x2 f1 x1 f2 x2 即X1与X2相互独立 当 1时 0 退化 即 的列向量或行向量线性相关 则存在非零向量t t1 t2 使得 t 0 从而t t 0 故而随机变量 t X 的方差为 Var t X t t 0 这表示P t X 0 1 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 1 51 即 t1 X1 1 t2 X2 2 0 以概率1成立 反之 若X1与X2以概率1存在线性相关关系 则 1 当 0时 我们称X1与X2存在正相关 当 0时 我们称X1与X2存在负相关 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 1 52 例2 2 2二元正态密度函数的图形及等高线的图形 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 2 为了对多维正态密度函数有更直观地了解 下面的例子给出几组参数下二维正态密度函数的几何图形 我们把具有等密度的点的轨迹称为等高线 面 显然当p 2时 它是一族中心在 1 2 的椭园 53 一般的p维正态密度等高面为 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 2 取 1 0 2 0 以下绘制三组参数下二元正态密度函数及密度等高线图形 1 当时 2 当时 3 当时 54 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 2 55 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 2 56 第二章多元正态分布及参数的估计 2 2多元正态分布的定义与基本性质 例2 2 2 57 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性 以下是关于独立性的一条重要结论 设X Np p 2 将X 剖分为 58 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性 定理2 3 1设p维随机向量X Np 则X 1 与X 2 相互独立 12 Or p r 即X 1 与X 2 不相关 证明 必要性显然成立 59 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性 充分性 设 12 0 则X的联合密度函数为 所以X 1 与X 2 相互独立 60 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性 推论1设ri 1 i 1 k 且r1 r2 rk p 则X 1 X k 相互独立 ij 0 一切i j 推论2设X Np 若 为对角形矩阵 则X1 Xp相互独立 61 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性例子 例如 设三维随机向量X X1 X2 X3 且 则有 1 2 62 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性的例子 3 X1与X3 X2与X3 也相互独立 4 5 令 63 第二章多元正态分布及参数的估计 2 3条件分布和独立性 独立性例子 6 Y的密度函数为 X3的密度函数为 故二维随机向量Z的联合密度函数为 64 第二章多元正态分布及参数的估计 2 4多元正态分布的参数估计 考虑p维正态总体X Np 设X i Xi1 Xip i 1 n 为p维总体X的简单随机样本 资料阵 是一个随机矩阵 65 第二章多元正态分布及参数的估计 2 4 多元正态样本的数字特征 1 样本均值向量X 66 第二章多元正态分布及参数的估计 2 4 多元正态样本的数字特征 中心化数据阵 67 第二章多元正态分布及参数的估计 2 4 多元正态样本的数字特征 2 样本离差阵A 交叉乘积阵 其中 68 第二章多元正态分布及参数的估计 2 4 多元正态样本的数字特征 或者把A表为 69 第二章多元正态分布及参数的估计 2 4 多元正态样本的数字特征 或者把A表为 70 第二章多元正态分布及参数的估计 2 4 多元正态样本的数字特征 3 样本协方差S 4 样本相关阵R 71 第二章多元正态分布及参数的估计 2 4 多元正态样本数字特征的例子 例 设从某书店随机抽取4张收据了解图书的销售情况 每张收据记录售书数量X2及总金额X1 具体数值如下 试计算样本均值 样本离差阵 样本协差阵和相关阵 解 72 第二章多元正态分布及参数的估计 2 4 多元正态样本数字特征的例子 样本离差阵A的计算公式为 中心化数据阵 73 第二章多元正态分布及参数的估计 2 4 多元正态样本数字特征的例子 74 第二章多元正态分布及参数的估计 2 4 多元正态样