多元统计 第一讲 基本概念

1、多元统计分析课程提纲（Syllabus）教师 张青 联系方式：zhangq 办公地点：理学院楼二层225bjfu_ 123456 成绩评定 平时： 40% 实验课+作业 （阅读文献，第七周上交） 考试： 60% 教学安排 基本概念；聚类分析；回归分析；主成分分析；因子分析 ；判别分析；典型相关；假设检验 中文参考书 1 多元统计分析 何晓群 编 人民大学大出版社 1999 2 应用多元统计分析 高惠璇 编 北京大学出版社 2005 3 多元统计分析选讲 张饶庭 著 中国统计出版社 2002 4 多元统计分析（研究生）袁志发 科学出版社外文参考书 1 Applied Multivariate S

2、tatistical Analysis(6th Ed) 2007 Richard A. Johnson Dean W.Wichern China Statistics Press (国外MBA优秀教材) 2 Analyzing Multivariate Data 2003 Lattin Carroll Green China Machine Press ( 斯坦福大学，罗格斯大学，宾夕法尼亚) 3 Applied Multivariate Methods for Data Analysts 2005 Dallase E. Johnson Higher Education Press (海外优秀

3、数学类教材)参考文献 本专业研究生博士生论文1. 随机变量、概率分布随机变量的数字特征总体和样本统计量及其参数估计参数估计和假设检验6. 回归分析一、单变量统计随机变量 X (random variable)在自然界中，有些变量在每次观察前，不可能事先确定其取值；经过大量反复观察，其取值又有一定的规律，这种变量称为随机变量X。例 (1). 掷骰子出现某点数的概率为1/6，若掷100次，则出现该点数的次数X是随机变量; (2). 332路公车每10分钟发一趟车，某人在随机的时间到达车站等车，则等车时间X是随机变量。1. 随机变量、概率分布离散型随机变量 X的所有可能取值是有限个或可列个。连续型随

4、机变量 最常见的一类非离散型随机变量。 对连续型随机变量，考察事件aXb的概率。若存在非负的可积函数p(x)，使得：对任意的a, b(ab)，都有 则称p(x)为随机变量X的概率密度函数。概率密度函数 (PDF, probability density function) 对所有随机变量X，可以定义以下的概率分布函数F(x):P(x)的性质：2. 随机变量的数字特征均值(mean)或数学期望(mathematical expectation)离散型随机变量的均值设离散型随机变量X的分布律为：若收敛，则称E(X)为随机变量X的均值或数学期望。xi:质点i的坐标；pi: 质点i的质量E(X): 质

5、心坐标连续型随机变量的均值设X为连续型随机变量，它的概率密度函数为p(x) ，若收敛，则称E(X)为随机变量X的均值或数学期望。小结：E(X)反映随机变量X的统计平均性质，代表随机变量取值的一般水平或集中的位置，略去了随机变量概率分布规律的具体细节。方差(variance)设随机变量X的均值为E(X)，则：对于离散型随机变量X，其方差为：对于连续型随机变量X，其方差为：计算D(X)的简单公式：小结：D(X)反映随机变量X的相对于均值E(X)的偏离程度，代表随机变量取值的分散性，也是统计平均的性质。正态分布(Normal distribution)设随机变量X的概率密度为：其中-0均为常数。称X

6、服从参数为，的正态分布，记作XN(，2).：均值； ：方差=0； 2=1时，称为标准正态分布，记为XN(0，1)。遵从正态分布的随机变量X，其正态分布函数为：正态分布的若干性质 正态分布完全由其均值和方差2决定；正态分布的概率密度函数曲线呈对称的“钟形”；经验规则（3 准则）：6895992323 p(x)x3. 总体和样本总体X (population) 研究对象的某种特征值的全体组成的集合。用X表示。样本X1, X2, , Xn (sample) 在总体中选取部分有代表性的子集称为（随机）样本。 一个样本是来自总体X的一组相互独立同X分布的随机变量。样本值x1, x2, , xn 从总体X

7、随机抽取的一组观测值，常用x1, x2, , xn来表示样本或样本值。 4. 统计量及其参数估计统计量(statistical quantity) 设X1, X2, , Xn为总体X的n个样本，g(x1, x2, , xn)为连续函数，则称g(X1, X2, , Xn) 为一个统计量。 显然，统计量g(X1, X2, , Xn)也是一个随机变量。总体X的数字特征参数 总体均值：刻划总体的平均取值 总体方差2：刻划总体取值的分散（涨落）程度根据样本值推断总体性质参数估计样本均值 ：样本方差s：显然，样本均值、样本方差都属于统计量。通常用样本均值、样本方差作为总体均值、总体方差的无偏估计量。无偏估

8、计：当n取得充分大，样本均值、样本方差分别逼近总体均值和总体方差。或(当n较大时)5. 统计推断的两类问题参数估计和假设检验参数估计问题 假定总体X的分布函数形式已知，对其中的某些参数进行估计。 估计方法：矩估计法、最小二乘法、最大似然法，假设检验问题 从样本值出发，判断关于总体分布的某种假设是否成立。1、提出原假设（或称零假设）和备选假设（或称对立假设）2、指定显著性水平（一般取 0.05, 0.01, ） 值用以衡量（或拒绝）原假设成立所需证据的指标。 值越小，否定原假设的条件越高，不容易否定原假设； 值越大，否定原假设的条件越低，比较容易否定原假设。3、构造检验统计量W 4、进行统计试验

9、收集数据、计算检验统计量及显著性概率值p5、根据显著性水平值进行判断 变量与变量的关系：确定性关系函数关系U=IRv=gt变量与变量的关系：非确定性关系统计相关（具有统计规律）Y=f(x1, x2, , xn)+回归分析方法6. 回归分析回归分析的基本问题 寻求表达Y与x1, x2, , xn的相关关系的经验回归方程，简称回归方程； 利用回归方程，在一定可靠度的要求下，预估当自变量x1, x2, , xn取确定值时，随机变量Y的取值，称为预测问题； 为使Y在给定的范围内取值，利用回归方程，控制自变量x1, x2, , xn的取值范围，称为控制问题。数据分析的两大阶段探索阶段实证阶段详细查看数据

10、，分离出数据的模式和特点评估观察到的模式或效应着重评估现有的证据提供显著性和置信度的陈述7 数据分析探索性数据分析的四个主题耐抗性： 对局部不良行为的非敏感性 重视主体部分，不重视离群值残差： 从数据减去一个总括统计量或拟合末次那个以后的残余部分 残差=数据-拟合重新表达：找到什么样的尺度(对数或平方根)会简化分 析，如果原始测量尺度不合适，重新表达会有助 于对称性、线性关系的发现。启示：通过显示数据、拟合曲线、残差图等反映数据的特点和行为。contacts.sav 软件公司数据饼图直方图markedly non-normal直方图均值中位数众数标准差方差分位数变换之后更加接近正态分布对变量s

11、ale 进行对数变换Boxplot Boxplots provide a quick, visual summary of any number of groups. Further, all the groups within a single factor are arrayed on the same axes, making comparisons easier. While boxplots provide some evidence about shape of the distributions, the Explore procedure offers many options

12、 that allow a more detailed look at how groups may differ from each other or from expectation.Boxplotsmedian25th percentile75th percentileOutliersextreme values Maximum minimum箱线图将受教育大于等于16年的数据筛选出来，观察开始工资14500=14.5x1000 stemleafStem width茎叶图35000=3.5x10000二、多元统计基本概念二、多元统计基本概念1.数据表达2.数据类型3.随机向量的分布函数和

13、分布密度4 均值5 协差阵P表示变量， n表示项目或实验单元例如，某书店销售情况变量1 销售金额：42 52 48 58变量2 售出数量 4 5 4 31.数据表达2.数据类型 (1) 数据类型分类 Nominal (标称、名义) 取值为0或1(表示属性) Ordinal (次序、有序) 取值为1，2，3， (表示等级) Interval(区间) 取值为任意实数 Ratio (比例) 取值为0和1之间的实数 (表示数量关系，有大小、倍数的关系) (2) 定量数据和定性数据 定量数据(Interval、 Ratio)，定性数据(Nominal)， Ordinal界于二者之间。 Ordinal向N

14、ominal的转化。3.随机向量的分布函数和分布密度3.随机向量的分布函数和分布密度联合分布函数分布密度函数满足若A和B是任意两个事件，且 ，则称为在B事件发生的条件下，事件A发生的条件概率。考虑随机向量 ，其中 表示人的身高（单位：米）， 表示人的体重（单位：公斤），在身高为1.9米的人群中，体重 的分布就再也不是原来的分布了。而是在 的条件分布。条件分布 设 X=(X1,X2,Xp) 是p维随机变量，定义X的数学期望为4 均值均值X1X2 2、性质 1） 设为常数，则 ； 2）设 分别为常数矩阵，则5 方差协方差矩阵 若令定义：设 和 分别为 维和 维随机向量，则其协方差矩阵为 三、相关系

15、数矩阵 若(x1,x2,，xp) 和(y1,y2,，yp)分别是p和q维随机向量，则其相关系数矩阵为三、多元正态分布1 多元正态分布定义2 多元正态分布的定义及基本性质3 多元正态分布参数估计1 多元正态分布定义若随机向量 的分布密度函数为则称 服从p维正态分布。其数学期望与协方差矩阵分别为 其中 特例1(一元正态分布)为对称正定矩阵， 则 特例2 (二元正态分布)设则 2 多元正态分布的定义及基本性质1）若是对角阵，则相互独立与 是否独立？ 练习：设问 与 是否独立？ 其中2 多元正态分布的定义及基本性质为常数阵，d为常数向量，则2）若正态随机向量的线性函数还是正态的3）若则练习：设3维随机

16、向量试求 的分布3）若则2 多元正态分布的定义及基本性质思考题：设随机向量与 独立？且 问服从什么分布？样本多元分析的任务根据样本数据来分析各变量之间的关系，推断总体的性质。多元样本数据为一元样本3 多元正态分布参数估计样本平均值样本平均值是n个点的重心例题：计算均值、离差阵、协方差和相关阵样本离差(平方乘积和)矩阵S计算离差阵 (样本协方差) (样本方差)样本协差阵样本相关矩阵R R为非负定矩阵 -样本相关系数二组样本的协方差矩阵总体均值和协方差矩阵的最大似然估计设用最大似然法求出的均值和协方差的估计量分别为基本性质1）是总体均值的无偏估计2）是总体协方差的无偏估计分别是总体均值和协差阵的有

17、效估计是总体均值和协差阵的一致估计估计3）4）和和和10. 定理 设和 S 分别是正态总体样本均值和离差阵，则和 S 相互独立1）2）3）四、多元统计中常用的分布 在一元统计中，常用的分布有卡方分布、t分布和F分布。在多元统计中，他们分别发展为Wishart分布、T2分布和Wilks分布。 1 Wishart分布2 T2分布3 Wilks分布1 分布和Wishart分布 定义1 设 为 相互独立且同服从于 分布的随机变量。则(1)所服从的分布叫做 分布， 称为自由度且记为 。 定理2. 由(1)式定义的随机变量的分布密度函数为 定理3. 设 ，且 与 相互独立，则 推论2 设 是抽自正态总体 的简单随机样本，则统计量Wishart分布它是多元样本离差平方和矩阵的分布定义1 设 为 相互独立且同服从于 分布 ，令 则(1)所服从的分布叫做 自由度为 的p维 维希特分布，记作显然，当p=1 时，有Wishart分布像卡方分布一样具有加法性质，若相互独立，则设 ，且 与 相互独立，则称随机变量 服从自由度为 的 分布，记为 。 将T平方，即2 分布与