第三讲多元正态分布.ppt

第一章多元正态分布 2 多元正态分布及参数估计 基础知识统计距离和马氏距离多元正态分布均值向量和协方差阵的估计几种常用的抽样分布 3 基础知识 随机向量分布密度函数多元变量的独立性随机向量的数字特征 4 一元分布 一 一元随机变量与概率分布函数二 概率分布函数的类型三 随机变量的数字特征四 一些重要的一元分布 二项分布 泊松分布 正态分布 随机变量 randomvariable 5 复习 一元统计中的分布和密度函数 设是一个随机变量 称为的概率分布函数或称为分布函数 记为 离散型随机变量的概率分布列 在有限或可列个值上取值 记为 且 连续型随机变量的密度函数 存在一个非负函数 使得对一切实数有 称为的概率密度函数或密度函数 且满足 1 2 7 随机向量 随机向量 由多个随机变量组成的向量 n个样品 p个指标数据表 变量为列 样品为行 8 分布函数与密度函数 9 分布函数与密度函数 设若存在一个非负函数f 使得对一切成立 则称X有分布密度f 并称X为连续型随机向量 性质 对于任意x属于p维实数空间 边缘分布函数及边缘密度函数用途 判断 边缘密度 随机变量的独立性 独立的充分必要条件 或 特别的中与独立的 多元向量的独立性 12 多元向量的独立性 两个随机向量X和Y是相互独立的 则 对一切x y成立 若F x y 为 X Y 的联合分布函数 G x 和H y 分别为X和Y的分布函数 则X和Y独立当且仅当F x y G x H y 若f x y 为 X Y 的密度函数 g x 和h y 分别为X和Y的分布密度 则X和Y独立当且仅当f x y g x h y 类似地 若它们的联合分布等于各自分布的乘积 则p个随机变量是相互独立的 13 随机向量的数字特性 随机向量的均值 性质 14 协方差矩阵 1 定义 设和分别为维和维随机向量 则其协方差矩阵为 15 16 1 若 x1 x2 xp 和 y1 y2 yq 不相关 则 性质 17 若X Y 且各分量相互独立 则协方差矩阵除主对角线上的元素外均为零 即协方差阵为方差D x 18 2 随机向量X的协方差矩阵 是非负定矩阵 证 设a为任意与X有相同维数的常数向量 则 3 设A是常数矩阵 b为常数向量 则D AX b AD X A 19 4 若 x1 x2 xp 和 y1 y2 yq 分别是p和q维随机向量 A和B为常数矩阵 则 5 若 k1 k2 kn 是n个不全为零的常数 x1 x2 xn 是相互独立的n维随机向量 则 若的协方差阵存在 且每一个分量的方差大于0 则称随机向量的相关阵为其中 相关系数矩阵 22 多元正态分布 多元正态分布函数及其特征抽样分布 23 多元正态分布 多元正态分布在多元统计分析中占有重要的地位 是多元统计分布的基础 多元正态分布具有良好的性质 有些现象服从多元正态分布许多多元统计分布的抽样分布是近似正态分布 24 多元正态分布 它是一元正态分布的推广设随机向量服从P维正态分布 则有 二元正态分布 设x N2 这里易见 是x1和x2的相关系数 当 1时 可得x的概率密度函数为 二元正态分布的密度曲面图 下图是当时二元正态分布的钟形密度曲面图 1 若 是对角阵 则相互独立 2 若 为阶常数阵 则且对任何维常数向量 考虑的情形 多元正态分布性质 3 若 将作如下剖分 则 注 1 多元正态分布的任何边缘分布为正态分布 但反之不真 2 由于 故表示和不相关 因此可以知道 对于多元正态变量而言 和的不相关与独立是等价的 29 若 且 0 则有 给定 多元正态分布的性质 总结起来 多元正态随机向量具有下列性质 的分量的线性组合服从正态分布 的分量的任一子集 仍服从正态分布 具有零协方差的分量相互独立 两个多元正态随机向量独立等价于协方差阵为0 多元正态随机向量的线性组合仍然是正态的 多元正态分布性质 31 条件分布和独立性 若 将X 作如下划分 p 2 定理1 若 则 其中 32 条件分布和独立性 若 将X 作如下划分 定理2 则 其中 例题 例1对于 求的分布 例2若 求的分布 例3设 其中 问 是否独立 和也独立 复相关系数和偏相关系数 一 复相关系数二 偏相关系数 一 复相关系数 简单 相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱 复相关系数度量了一个随机变量x1与一组随机变量x2 xp之间线性关系的强弱 将x 0 剖分如下 x1和x2的线性函数间的最大相关系数称为x1和x2间的复 或多重 相关系数 multiplecorrelationcoefficient 记作 1 2 p 它度量了一个变量x1与一组变量x2 xp间的相关程度 可推导出 偏相关系数 将x 0 剖分如下 称为给定x2时x1的偏协方差矩阵 记 称为偏协方差 它是剔除了的 线性 影响之后 xi和xj之间的协方差 给定x2时xi和xj的偏相关系数 partialcorrelationcoefficient 定义为其中 ij k 1 p度量了剔除xk 1 xp的 线性 影响之后 xi和xj间相关关系的强弱 对于多元正态变量x 由于 11 2也是条件协方差矩阵 故此时偏相关系数与条件相关系数是同一个值 从而 ij k 1 p同时也度量了在xk 1 xp值给定的条件下xi和xj间相关关系的强弱 多元样本的概念及表示法 总体 在多元分析中 仍然将所研究的对象的全体称为总体 它也是由 有限或无限个 个体所组成 我们这里的维总体 元总体 指的是构成总体的个体是具有个需要观测的指标的个体 由于从总体中随机抽取的一个个体 其个指标观测值事先未知 完全依赖于抽取的个体 因此维总体可用一个维向量来表示 例如 一个三元总体用表示 样本 多元分析中的总体是多元总体 因此从维总体中随机抽取的个个体 若相互独立且与总体同分布 则称为该总体的一个多元随机样本 简称为简单随机样本 其中每个为形如的维向量 为第个样品对第个指标的观察值 注 因为每个观测值在实验之前不能实现确定 所以我们依然把它们看成随机变量 将全部的观测结果用一个阶矩阵表示 得到为一个随机矩阵 样本矩阵 一旦观测值取定就是一个数据矩阵 多元样本的数字特征 设为来自元总体的样本 其中 1 样本均值向量的定义 矩阵形式表示为 均值向量的几何解释 2 样本离差阵定义矩阵形式表示为 证明 3 样本协方差的定义 4 样本相关阵的定义 其中 46 样本统计量的极大似然估计 设 X1 X2 Xn是来自总体X的样本 则 分别是的极大似然估计量 和的基本性质 1 即是的无偏估计 即不是的无偏估计 即是的无偏估计2 分别是和的有效估计 3 分别是和的相合估计 补充 48 在一元正态随机变量中 我们曾经讨论了分布 在多元正态随机变量也有类似的样本分布 维沙特分布 Wishart 相当于一元统计中的分布 1928年由Wishart推导出来的 维沙特 Wishart 分布 几种常用的抽样分布 49 定义维沙特 Wishart 分布的统计量 设个随机向量 独立同分布于 则 服从自由度为的非中心维沙特分布 记为 当时 称为中心维沙特分布 记为 50 定理1 若 且 则的分布密度为特别 当和时 服从分布 维沙特 Wishart 分布的密度函数 当p 1时 退化为 此时中心维沙特分布退化为 维沙特分布是卡方分布的推广 51 维沙特 Wishart 分布有如下的性质 1 若 1和 2独立 其分布分别和 则的分布为 即维沙特 Wishart 分布有可加性 2 C为m p阶的矩阵 则的分布为分布 多元正态分布的随机样本 52 的分布为自由度为的维沙特分布 和是相互独立的 53 定义 称T2服从参数为P和n的非中心霍特林 Hotelling 分布 当时 服从自由度为n的中心霍特林分布 记为 霍特林 Hotelling 分布 定理 54 定理 设是来自多元正态总体的简单随机样本 有 55 维尔克斯分布 若 则称协差阵的行列式为广义方差 称为样本广义方差 其中定义若 且A1和A2相互独立 则称 为维尔克斯 wilks 统计量 的分布称为维尔克斯分布 简记为 补充 二次型分布 欧氏距离 在多指标统计分析中 距离的概念十分重要 样品间的不少特征都可用距离去描述 大部分多元方法是建立在简单的距离概念基础上的 即平时人们熟悉的欧氏距离 或称直线距离 如几何平面上的点p x1 x2 到原点O 0 0 的欧氏距离 依勾股定理有 统计距离 但就大部分统计问题而言 欧氏距离是不能令人满意的 这里因为 每个坐标对欧氏距离的贡献是同等的 当坐标轴表示测量值时 它们往往带有大小不等的随机波动 在这种情况下 合理的办法是对坐标加权 使得变化较大的坐标比变化小的坐标有较小的权系数 这就产生了各种距离 欧氏距离还有一个缺点 这就是当各个分量为不同性质的量时 距离 的大小竟然与指标的单位有关 例如 横轴代表重量 以kg为单位 纵轴代表长度 以cm为单位 有四个点A B C D见图1 1 它们的坐标如图1 1所示 目录上页下页返回结束 这时 显然AB比CD要长 结果CD反而比AB长 这显然是不够合理的 现在 如果用mm作单位 单位保持不变 此时A坐标为 0 50 C坐标为 0 100 则 因此 有必要建立一种距离 这种距离要能够体现各个变量在变差大小上的不同 以及有时存在着的相关性 还要求距离与各变量所用的单位无关 看来我们选择的距离要依赖于样本方差和协方差 因此 采用 统计距离 这个术语 以区别通常习惯用的欧氏距离 最常用的一种统计距离是印度统计学家马哈拉诺比斯 Mahalanobis 于1936年引入的距离 称为 马氏距离 下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异 马氏距离 设X Y从均