多元分析的基本原理

多元分析的基本原理第一页，共四十三页，2022年，8月28日第八章

多元分析的基本原理本章学习要点本章内容结构

第二页，共四十三页，2022年，8月28日第一节

概述

一什么是多元分析

1多变量系统（1）产品的指标（2）教育系统（3）单变量分析(如图所示)

（4）单变量分析的困难：变量的相关性第三页，共四十三页，2022年，8月28日2多元分析法（1）变量相关性的例子：P180

有相关性，但是又不能用一个确定的方程描述相互关系（2）多元分析法：P181

（3）例子第四页，共四十三页，2022年，8月28日二多元分析法的分类（从应用的角度）

1用于求综合特性的多元分析法研究的关键是：多个变量的综合特性主要方法有：主成分分析、相关分析

2用于预测的多元分析法研究的关键是：通过对多个变量的综合研究，进行系统预测主要方法有：多元回归法、因子分析法、判别函数法第五页，共四十三页，2022年，8月28日三多元分析在教育中的应用

1需求

2应用举例

3发展动态第六页，共四十三页，2022年，8月28日第二节

回归分析

零：引入1多变量之间的关系确定的函数关系，变量之间的关系可以通过计算直接得到不确定的相关关系，教育中的例子很多2回归分析的任务用确定的函数关系来描述多个相关变量之间的关系3回归分析的分类（根据回归函数的不同）

第七页，共四十三页，2022年，8月28日一直线回归（一元线性回归）1线性回归方程

y=ax+b

其中a、b为回归系数，通过n(大于2)组样本数据，可以计算出a、b。(如果x、y是确定的函数关系,n只需要为2：P184）2样本数据（观测值）设n=3，有（x1,y1）（x2,y2）（x3,y3）三组数据把x1、x2、x3分别代入回归方程，得到三个对应的计算值y第八页，共四十三页，2022年，8月28日3观测值y与计算值y的差异

三组差异分别是：第九页，共四十三页，2022年，8月28日4求回归系数（1）对误差求极值（使误差最小）改错：P184(a、b互换位置)，经整理得：改错：P185(a、b互换位置)第十页，共四十三页，2022年，8月28日（2）回归系数

第十一页，共四十三页，2022年，8月28日5写出回归方程并进行预测6例：（三个学生的数学、物理成绩）（1）设样本数据为(70,75)、(80,85)、(90,90)（2）计算回归系数得：a=0.75，b=23.3（3）写出回归方程：y=0.75x+23.3(4）进行预测设某学生数学考试得：x=85，预测物理成绩得：y=0.75*85+23.3=87第十二页，共四十三页，2022年，8月28日第十三页，共四十三页，2022年，8月28日7一般情况[样本数由3变为n（n>3）]通过完全一样的方法，公式（8—5）变为：改错：(a、b互换位置)最后得回归系数：改错：(a、b互换位置)第十四页，共四十三页，2022年，8月28日二多元线性回归

1线性回归方程

y=a0+a1x1+a2x2+….+apxp

其中a0、a1、a2….ap为回归系数，通过m(大于p)组样本数据，可以计算出回归系数。

2样本数据（观测值）(x11,x12,….x1p,z1),,,,(xm1,xm2,….xmp,zm）把xi1、xi2…..xip分别代入回归方程，得到对应的计算值yi第十五页，共四十三页，2022年，8月28日3观测值zi与计算值yi的差异第十六页，共四十三页，2022年，8月28日根据微分学中的极值原理，a0,a1,,,ap应是下列方程的解第十七页，共四十三页，2022年，8月28日经整理，得：第十八页，共四十三页，2022年，8月28日4求回归系数再整理上述方程，得：………第十九页，共四十三页，2022年，8月28日上述方程组用矩阵表示，得：当(X’X)满秩时(即|X’X|≠0),逆矩阵(X’X)-1存在,系数矩阵A可以表示为：第二十页，共四十三页，2022年，8月28日其中A=(a0,a1,a1,,,,ap)’,称为回归方程的系数矩阵（一列矩阵）而矩阵X则为：而X’是X的转置矩阵，Z是个一列矩阵第二十一页，共四十三页，2022年，8月28日三多项式回归（略）四指数回归（略）第二十二页，共四十三页，2022年，8月28日五回归分析的应用1一元线性回归

(1)样本测量值

(2)计算回归系数得，a=12（这里a=R）,b=0

(3)写出回归方程：U=12I(如图所示)

(4)进行预测:设某次测量电流得I=0.8,预测电压得：U=12*0.8=9.6第二十三页，共四十三页，2022年，8月28日2多元线性回归（1）样本数据（取自1979年某高考班）设考生的物理成绩为因变量(z)，语文(x1)、数学(x2)、政治(x3)15个考生的测量；测量成绩如下（m=15,p=3）：编号语文数学政治物理 编号 语文数学政治物理1 61.5315932 9 50.53267572 35 23 40.58 10 57.53047．5373 56.5 40 53 69 11 47 5863 684 35 19 58.5 21 12 28 2852 275 50.5 60 49 66 13 58 2272 41641.5 15 59 41 14 36 2339 207 59 46 68.557 15 453353308 41 26 557 第二十四页，共四十三页，2022年，8月28日（2)

计算回归系数根据矩阵公式计算得a0=-44.6023,a1=0.4166,a2=0.9729,a3=0.5780（3）回归方程

y=-44.6023+0.4166*x1+0.9729*x2+0.5780*x3(4）进行预测某学生考试成绩：语文=40，数学=90，政治=60

预测物理成绩为y=94.4第二十五页，共四十三页，2022年，8月28日第五节聚类分析

分类学：根据事物性质进行分类，性质相近的分在一类，性质差别大的分在不同的类一般分类方法的缺陷：往往带有主观性和任意性，不能揭示客观事物内在的本质联系和差别多元统计的应用：形成了数值分类学注：本节选用另一教材，与本书略有不同（数据矩阵行、列相反）第二十六页，共四十三页，2022年，8月28日一基本原理（系统聚类法，此外还有动态聚类法）1设有n个样品，m个指标，有数据矩阵：第二十七页，共四十三页，2022年，8月28日2规格化变换（使各个指标权重相同，即同等重要）

其中的两个极值分别是第j列最大值和最小值结果：每一列数据的最大值为1，最小值为0。然后，重新构造矩阵，仍用X表示注：也可不做规格化处理直接用原始数据，各指标权重可能不同第二十八页，共四十三页，2022年，8月28日3确定距离（亲疏关系）（1）距离的性质多元统计分析中的距离dij（样品Xi和Xj之间的距离）满足下列3个性质：①

dij≥0,对一切Xi、Xj，当且仅当Xi=Xj时，有dij=0；②

dij=dji,即Xi与Xj的距离=Xj与Xi的距离；③

对于样品Xi、Xj、Xk，有dij≤dik+dkj,这是几何学中三角不等式的推广（任意两边之和大于第三边）。第二十九页，共四十三页，2022年，8月28日任意两个样品距离越小，说明它们越接近（一致），计算距离的方法很多，主要有欧氏距离、马氏距离（P98）、B-模距离、闵可夫斯基距离（参见<<应用数理统计>>吴国防科技大学出版社：P271（2）

欧氏距离（我们只介绍欧氏距离）表示第i个样品与第j个样品之间的距离（矩阵表示形式）（一般表示形式）第三十页，共四十三页，2022年，8月28日（3）距离矩阵（按上述方法分别算出任意两个样品之间的距离）该矩阵共有n行、n列第三十一页，共四十三页，2022年，8月28日4开始聚类（初始为n类，每个样品为1类）①从D中找出一个最小值（最小距离法）涉及到的两个类；②在数据矩阵X中，把上述两类合并成一类，两组数据取平均值，总的类就减少了一个；③重新计算D（实际上只要计算刚合并的那个类与其他各类的距离）④重复①、②、③，直到所有的样品都归为一类或者归为所需要的类为止。5画出聚类谱系图第三十二页，共四十三页，2022年，8月28日二应用例(10名学生三次测验成绩,要求为4类)1原始数据及规格化数据第三十三页，共四十三页，2022年，8月28日2计算距离矩阵

第三十四页，共四十三页，2022年，8月28日3开始聚类

(1)开始,第5类和第6类的距离最小(＝0.1919）,把第5类和第6类聚类

(2)现在还有9个类，数据如下：第三十五页，共四十三页，2022年，8月28日(3)重新计算距离矩阵（实际上只要计算（5，6）合类与其它各类的距离）

第三十六页，共四十三页，2022年，8月28日(4)此时，第2类和第9类的距离最小(=0.2266）,把第2类和第9类聚类(5)现在还有8个类，数据如下：

第三十七页，共四十三页，2022年，8月28日（6）依次类推，重复上述步骤，经过6次聚类之后，可得最后4个类的距离矩阵

第三十八页，共四十三页，2022年，8月28日4画出聚类谱系图

第三十九页，共四十三页，2022年，8月28日本章小结： 多元统计方法比较符合教育应用中的许多问题，按照具体的技术方法，我们主要介绍了一元和多元回归分析、主成分分析、聚类分析，这