1 第一章 随机向量与多元正态分布.ppt

第一章多元正态分布 学习目标1 掌握多元分布的有关概念2 掌握统计距离与马氏距离的概念3 理解多元正态分布的定义及有关性质4 了解常用多元分布及其抽样分布的定义和基本性质 第一章主要内容 第一节多元分布的基本概念第二节统计距离和马氏距离第三节多元正态分布第四节均值向量和协方差阵的估计第五节常用分布及抽样分布 第一节多元分布的基本概念 1 随机向量定义2 分布函数 分布密度及其边缘分布的定义 3 独立性 注意 n个向量中两两独立不能推出n个也独立 例1 1 二维随机向量X的密度函数和分布函数为 求随机向量X的边际密度函数 边际分布函数 条件分布密度 并验证独立性 4 随机变量的数字特征设X X1 X2 X 为一 维随机向量 若E Xi i存在 1 2 定义随机向量X的均值为 是一个 维向量 称为均值向量 它有如下性质 1 E AX AE X 2 E AXB AE X B这里 A B是两个常数矩阵 随机向量X的协方差阵定义为 称它为 维向量X的协方差阵 称 cov X X 为X的广义方差 设随机向量X X1 X2 Xn 和Y Y1 Y2 Y 分别为n维和p维随机向量 它们之间的协方差阵定义为一个n p矩阵 即 称cov X Y 0 称为X与Y是不相关的 当A B为常数矩阵时 有如下性质 1 D AX AD X A A A 2 cov AX BX Acov X Y B 3 令 EX DX 则E X AX tr A A 注 是一个对称阵 并总是非负定的 多为正定的 设随机向量X X1 X2 X 的协方差存在 且每个分量的方差都大于0 则X的相关阵定义为 称rij也称为Xi与Yj之间的 线性 相关系数 对于两组不同的随机向量X与Y 它们之间的相关问题将在典型相关分析的章节讨论 在数据处理时 为了克服指标量刚带来的不利影响 往 往在使用某种统计方法之前 将每个指标 标准化 即做出如下变换 于是 第二节统计距离和马氏距离 在多元统计分析中 距离的概念十分重要 样品间的许多特征都可以用距离去描述 大部分多元统计方法是建立在简单的距离概念基础上的 最常见的距离主要有两种 一种是直线距离 常用欧氏距离表示 一种是马氏距离 下面介绍这两种距离 1 欧氏距离设 维空间任意两点P x1 x2 xp Q y1 y2 yp 定义两者的欧氏距离为 注意 欧氏距离与P和Q的单位有极大关联 2 马氏距离为了克服距离与点的单位之间的关联性 我们引入一种新的统计距离 它是由印度统计学家马哈拉喏比斯 Mahalanobis 于1936年引入的距离 因而称为 马氏距离 两点的马氏距离定义为 说明 1 Q取原点O 就得到P到原点的距离 2 若S11 S22 Spp 则马氏距离与欧氏距离等价 由此得到马氏距离的性质 随机变量X与Y间和与总体G间的马氏距离定义为 欧氏距离与马氏距离的优缺点 马氏距离和欧氏距离一样 都满足欧氏距离的四个条件 参见P9所示 欧氏距离的优点是能反映空间两个点的实际距离 缺点是每个坐标对欧氏距离的贡献是对等的 即欧氏距离大小与坐标的量刚或单位有关 马氏距离的优点是它是统计距离 大小与坐标的量刚或单位无关 由标准化数据和中心化数据得到的马氏距离相同 还可排除变量间的相互干扰 缺点是夸大了变化微小的变量的作用 第三节多元正态分布 多元正态分布是一元正态分布的推广 多元分析的理论基本上都是建立在多元正态总体之上的 许多实际问题的分布常常是多元正态分布或近似多元正态分布或其样本均值近似服从多元正态分布 一 多元正态分布定义1 一元正态分布回顾一元正态分布的密度函数为 多元正态分布定义 2 多元正态分布定义若随机变量X X1 X2 Xp 的概率密度函数为 其中 为协方差矩阵 的行列式 则称X X1 X2 Xp 服从p元正态分布 或称p元正态变量 记为 特别 当p 2时 可以得到二元正态分布的密度形式 设X X1 X2 遵从二元正态分布 记X1 X2的方差和相关系数分别为 故可得到我们前面所学过的X1与X2的联合密度函数形式表达式 如果r 0 那么X1与X2是独立的 如果r 0 则X1与X2正相关 如果r 0 则X1与X2负相关 定理1 1设 多元正态分布的参数 和 赋予了明确的统计意义 证明参见文献 3 文献 3 还介绍了多元正态分布的其他定义 二 多元正态分布的性质 1 若多元正态分布的协方差阵 是对角阵 则随机变量的各分量是相互独立的 特别 I 单位矩阵 则称之为标准多元正态分布 2 多元正态分布的任意边际 缘 分布都是多元正态分布 但反之不然 例1 2设X1与X2的联合分布密度函数为 可以证明 X1与X2都服从标准正态分布N 0 1 但 X1 X2 不是二维正态分布 3 多元正态变量的任意线性变换仍然服从多元正态分布 4 若 5 若 第三节多元正态分布 定理1 2设 定理1 3 例1 3 在制定服装标准时需要抽样进行人体测量 现从某年龄段女子测量取出部分结果如下 X1 身高 X2 胸围 X3 腰围 X4 上体长 X5 臀围 已知它们服从 定理1 4 第四节均值向量和协方差阵的估计 一 一元正态分布的均值与方差的点估计 二 多元正态分布的均值与方差的点估计 第五节常用分布及抽样分布 首先回顾卡方分布的定义及其性质 将卡方分布推广 就得到多元统计中的Wishart分布 先看推广到二元情形 相互独立且均服从 一 Wishart分布 再看多元情形 设随机变量序列 相互独立 且均服从多元正态分布 记 则随机矩阵 称为服从自由度为n的p维非中心Wishart分布 简记为 简记为 其中 二 T 分布 在数理统计中 我们学习了t分布 即 布 studentdistribution 记为T t n 如果将T平方 得 为服从第一自由度p 第二自由度n的中心T 分布 记为 T T p n T 分布是1931年由Hotelling提出的 因此也称为HotellingT 分布 中心T 分布可化为中心F分布 即 显然 当p 1时 有T 1 n F 1 n T 分布有两个重要性质 三 中心F分布与Wilks分布 数理统计中 中心F分布定义为 如何将F分布推广到多元 而多元总体 的变异度的统计参数称为广义方差 围绕这一问题产生了许多方法 广义方差主要有以下几种选择方法 以上各种广义方差的定义中第一种定义应用最为广泛 它是T W Anderson于1958年提出的 我们可以根据第一种定义定义多元统计中两个广义方差之比的统计量 即Wilks 分布 设独立 则称随机变量 服从维数为p 第一自由度为n1 第二自由度为n2的Wilks 分布 记为 p n1 n2 关于 分布的近似分布和精确分布的研究很多 1 当p和n2中的一个比较小时 分布可化为F分布 下表1 1 P23表1 2 是一些常见结果 表1 1 p n1 n2 与F分布的关系 n1 p