多元统计分析课件

第一章概论第一节多元统计分析方法概述第二节多元统计分析在Excel中的实现第一节多元统计分析方法概述多元统计分析研究对象

多元统计分析方法的主要内容

多元统计分析方法在经济统计中的具体应用

多元统计分析方法在经济统计中应用的一般步骤

一、多元统计分析研究对象

研究对象多元统计分析是以多维随机变量的内在联系及统计规律为其研究对象。是统计中讨论多维随机变量的统计方法的总称。二、多元统计分析方法的主要内容

从形式上看，一类是单变量常用的统计方法在多维随机变量情况下的应用；另一类是对多维变量本身进行研究的一些特殊方法。具体内容包括

多元正态分布主成分分析因子分析聚类分析判别分析对应分析(选）典型相关分析（选）

(多元回归分析)

（时间序列分析）三、多元统计分析方法在经济统计中

的具体应用对多个变量进行降维处理，选择数目较少的变量子集合；主成分分析、因子分析、对应分析等对现象进行分类研究、分类处理、构造分类模式；聚类分析、判别分析等建立经济模型和利用模型进行外推；预测模型－－回归分析方法描述模型－－聚类分析方法研究时间序列变化趋势；时间序列分析方法、马尔科夫概型分析分析方法等研究经济现象之间相互关系；典型相关分析多种多元统计分析方法的有机结合运用

主成分回归分析因子分析与聚类分析的结合判别分析与聚类分析的结合四、多元统计分析方法在经济统计中的应用的一般步骤

进行定性分析，设计理论模型抽取样本，并取得样本统计资料对描述样本的指标进行统计分析，选择最佳的统计指标根据最佳指标的样本数据，估计参数，建立数量模型对数量模型进行检验、优化以及运用

多元统计分析的实际应用经济学工业农业医学教育体育生态学地质学社会学考古学环境保护军事科学文学第二节多元统计分析在Excel

中的实现

多元统计分析在Excel中的实现的必要性与可行性多元统计分析系统在Excel中的实现的基本步骤和方法Excel实现多元统计分析的基本特点

Excel实现多元统计分析的运行环境Excel实现多元统计分析的功能介绍

一、多元统计分析在Excel中的实现的必要性与可行性（一）必要性1.由于多元统计分析方法要分析大量的多维数据，进行数据处理时在计算上是非常复杂的，为此，应用多元统计分析方法都离不开计算机软件的使用。2.常用的有SPSS，SAS，Statistica，Matlab，S-plus，NCSS等，属于专业性很强的统计软件，使用费用都较高，而且有的还有应用期限限制。

（二）可行性1.Excel是微软公司出品的Office系列办公软件中的一个组件，确切地说，它是一个功能强大、技术先进、使用方便的电子数据表格软件。它可以进行各种数据处理、统计分析和辅助决策操作，广泛应用于管理、统计、财政、金融等众多领域。而且不断更新的版本，又不断地加入新的功能，使其数据分析的能力不断改进，提高了工作的效率。2.VBA(VisualBasicforApplications)是Microsoft的应用软件编程环境，它是从VisualBasic中演化而来的，也是Excel编程的主要工具。Excel不仅具有强大的计算功能，且可通过VisualBasic编程，对Excel进行复杂、快速的操作，即所谓的宏功能。因此，利用EXCEL工作薄或Access作为数据库进行数据管理，运用VBA(VisualBasicforApplications)进行编程，这就为我们在EXCEL软件上实现多元统计分析提供了可行性。二、多元统计分析系统在Excel中的实现的基本步骤和方法

为了有效的在Excel上完成从BASIC程序到VBA程序的升级转换并建立宏，我们实施了以下主要步骤和方法：第一步：进行通用类的总体设计

第二步：执行代码的转换第三步：程序的运行和调试三、Excel实现多元统计分析的基本特点1、应用简单、方便、灵活，降低费用。2、方法系统，较为全面。3、经济分析案例为主，针对性强。

四、Excel实现多元统计分析的运行环境为了使多元统计分析系统，有效运行，还需要有Windows系统，以及Offices软件的支持。为了更方便运行统计分析，在设计“多元统计分析系统”时，我们还直接嵌入了Excel中自带的一些统计分析程序，如“多元线性回归分析”，这样，为了有效运行这些程序，对于Excel2003以前版的Excel需要实现加载软件自身的“数据分析”宏，才可以正常运行

五、Excel实现多元统计分析的功能介绍Excel实现多元统计分析主要包括8个宏，共同构成Excel中实现多元统计分析的系统。具体系统中各个宏的主要统计分析方法和功能介绍如下：1、方差方差分析。包括单因素方差分析、无交互作用方差分析、有交互作用方差分析。2、多元回归分析。包括多元线性回归分析、多元逐步回归分析、多对多回归分析、岭回归分析、趋势面分析。3、主成分分析。4、因子分析。5、聚类分析。包括系统聚类分析、动态聚类分析、模糊聚类分析、图论聚类分析。6、判别分析。包括两组判别分析、多组判别分析、逐步判别分析。7、对应分析8、典型相关分析第二章多元正态分布多元分布的基本概念多元正态分布及其参数估计多元正态分布的假设检验

第一节多元分布的基本概念

一、随机向量二、多元分布函数和多元密度函数三、多维随机向量的边缘密度、独立性与条件分布四、多维随机向量的数字特征随机向量

所谓随机变量通俗理解就是“其值随机会而定”的变量

随机变量按其可能取值的性质，区分为两大类。一类是离散型随机变量，其特征是只能取有限个值；另一类是连续型的随机变量，其特征是变量的全部可能取值不仅是无穷多的，并且还不能无遗漏地逐一排列，而是充满一个区间的。同样随机向量也有离散型和连续型之分。对于一个多维随机向量，如果其每个分量都是一维离散型随机变量，则称为多维离散型随机向量；如果把一个p维随机向量的取值可视为p维欧氏空间中的一个点，若p维随机向量的全部取值能够充满欧氏空间中某一区域，则称该p维随机向量为连续型的。多元分布函数和多元密度函数

（一）多元分布函数（二）多元分布密度（三）密度函数和分布函数的关系从数学角度看，随机向量的密度函数、分布函数之间的关系可以理解为导数和积分之间的关系。通俗的理解，密度函数、分布函数之间实际上是对随机向量的统计特性分别从两个不同侧面进行的刻划，前者是一个一般意义的函数，后者则是自变量为累计值的函数，是一个问题的两个方面。多维随机向量的边缘密度、

独立性与条件分布多维随机向量的边缘密度:

多维随机向量的独立性:

多维随机向量的条件分布:

多维随机向量的数字特征随机变量的数字特征，是指某些由随机变量的分布所决定的常数，它刻画了随机变量（或者其分布）的某一方面的性质。对于多维随机变量刻画其性质的最重要的数字特征有均值、自协差阵与协差阵及相关矩阵。（一）多维随机向量的均值向量（二）多维随机向量的自协差阵与协差阵

（三）随机向量均值与协差阵的性质（四）随机向量的相关阵

第二节多元正态分布及其参数估计一、多元正态分布密度函数二、多元正态分布的数字特征三、多元正态分布的参数估计多元正态分布密度函数

多元正态随机向量具有以下的性质：多元正态分布的数字特征

多元正态分布的参数估计

在实际应用中，多元正态分布中的均值向量和协差阵通常是未知的，需要由样本资料来估计，而参数估计的方法很多，这里用最常见的最大似然估计法给出估计量，用样本均值向量估计总体均值向量，用样本协差阵估计总体协差阵。

第三节多元正态分布的假设检验一、对多元正态总体均值向量和协差阵进行假设检验时常用的三个重要的抽样分布二、一个正态总体均值向量的假设检验三、两个正态总体均值向量的检验四、多个正态总体均值向量的检验——多元方差分析五、正态总体的协方差阵检验对多元正态总体均值向量和协差阵进行

假设检验时常用的三个重要的抽样分布

一个正态总体均值向量的假设检验

两个正态总体均值向量的检验

多个正态总体均值向量的检验

——多元方差分析

正态总体的协方差阵检验

（一）一个正态总体的协方差阵检验（二）多个协差阵相等的检验本章内容讲授结束方差分析的基本问题单因素方差分析

双因素方差分析第三章正态分布第一节方差分析的基本问题

一、方差分析研究的问题

二、方差分析的基本思想

方差分析研究的问题

方差分析是检验若干个具有相同方差的正态总体的均值是否相等的一种假设检验方法。例如，我们要研究不同化肥品种（甲种、乙种）与某农作物的关系，测定是否不同化肥的增产效果也不同。则通过比较不同品种组的平均数的差异来反映分组变量（如化肥）对因变量（如农作物产量）的影响和作用，这就是方差分析要解决的内容。在方差分析中，常常用到以下术语：响应，是指观察指标的结果或试验结果为响应。如农作物的产量为响应。因子（因素），是指在观察中或在试验中改变其状态时对响应产生影响的因素，也称为因子。如用来进行分组研究的变量化肥就是因素或因子。水平，是指因子（因素）在观察或试验中所取的状态称为因子（因素）的水平。如化肥的种类甲种、乙种就是因素的水平。方差分析主要有两种：如果方差分析只针对一个因素进行，称为单因素方差分析。如果同时对多个因素进行，称为多因素分析。在方差分析中，通常假定在同一条件下的试验结果是来自正态总体的一个样本；不同条件下的正态总体是相互独立的，它们的期望可能不同，但方差相同。要判断不同条件对响应有无影响就是要检验各个正态总体的均值是否相等。在实际应用时，一般应近似地符合上述要求。

方差分析的基本思想从方差分析的目的看，是要检验各个正态总体的均值是否相等，而实现这个目的的手段是通过方差的比较。方差分析就是通过不同方差的比较，作出接受原假设或拒绝原假设的判断。

为了进行具体的检验，根据证明有，观察值的总离差有以下的分解关系式：总离差=水平（组）间离差+水平（组）内离差并且，根据水平间（也称组间）方差和水平内（也称组内）方差之比构造一个统计量，这个统计量服从F分布。

F分布有这样的几个特征：（1）统计量F是大于零的正数；（2）F分布曲线是正偏态，它的尾端以横轴为渐近线趋于无穷；（3）F分布是一种连续的概率分布，不同的自由度组合有不同的F分布曲线。方差分析要用F统计量来进行假设检验。第二节单因素方差分析

一、单因素方差分析的计算步骤二、单因素方差分析中的其他问题

三、单因素方差分析在Excel中的实现

单因素方差分析的计算步骤

（一）计算水平均值（二）计算离差平方和

（三）计算平均平方（四）方差分析表

（五）作出统计判断（一）计算水平均值（二）计算离差平方和

（三）计算平均平方（四）方差分析表（五）作出统计判断单因素方差分析中的其他问题

1、进行方差分析编制方差分析的数据表格时，可以把方差分析的因素放在列的位置也可以放在行的位置，但通常放在列的位置。2、进行方差分析，各个水平下的样本容量可以相同，也可以不同。3、方差分析可以对若干个平均值是否相等同时进行检验，这是此种方法的特点和长处。

单因素方差分析在Excel中的实现第三节双因素方差分析

一、双因素方差分析的类型二、无交互作用的双因素方差分析三、有交互作用的双因素方差分析

四、双因素方差分析在Excel中的实现双因素方差分析的类型双因素方差分析有两种类型：一种是无交互作用的双因素方差分析，它假定因素A和因素B的效应之间是相互独立的，不存在相互关系；另一种是有交互作用的双因素方差分析，它假定因素A和因素B的结合会产生出一种新的效应。

无交互作用的双因素方差分析其中有交互作用的双因素方差分析

双因素方差分析在Excel中的实现本章内容讲授结束第四章回归分析简单回归分析法多元线性回归分析逐步回归分析多对多线性回归分析岭回归分析趋势面分析

回归分析概论

回归分析是研究一个变量或多个变量（即因变量）对于另外一个或多个其他变量（即解释变量）的依存关系，并用数学模型加以模拟，目的在于根据模型对因变量进行因素分析、趋势预测及误差分析等。一般地，把在研究回归模型时所采用的估计、计算方法，检验、分析理论统称为回归分析。回归分析方法又称因素分析方法、经济计量模型方法。属于多元统计分析方法之一。

回归分析的一般步骤是：根据研究问题的性质、要求，建立回归模型；根据样本观测值对回归模型参数进行估计，求得回归方程；对回归方程、参数估计值进行显著性检验，并从影响因变量的自变量中判断哪些显著，哪些不显著；利用回归方程进行因素分析、趋势预测及误差分析。第一节简单回归分析法

一、模型和参数估计二、模型的检验三、进行预测四、简单回归分析在Excel下的实现模型和参数估计

（一）模型１.总体回归模型

我们要研究对象是某个总体中两个变量之间的依存关系，设因变量为，主要影响因素为自变量，假定它们之间呈线性关系。则建立的模型为:

２.样本回归模型

在现实生活中，事实上，我们是很难直接得到总体模型的。而是采用抽样的方法，从总体中抽取容量为n的一个样本。根据样本的资料来推断总体的。具体这里，就是要根据样本资料建立样本模型，用样本模型来推断总体模型。

样本回归模型：

（二）

参数估计根据上述建立模型的思路，以及用样本资料来推断总体的要求，进一步需要回答以下的两个问题：一是，如何根据给定的样本资料，求出估计值和。二是，为什么用估计值和就可以来推断总体的参数和。

关于第一个问题。给定的样本资料后，依照不同的准则，采用不同的估计方法，可以得到不同的估计值。在应用中，通常采用最小二乘法的估计方法。对于给定的样本资料关于第二个问题。在遵循随机抽样的原则下，给定一个样本资料运用最小二乘估计方法，就可以得到一个和，不同的样本资料就可以得到不同的和。模型的检验

（一）模型检验的原因（二）检验的内容及方法1.回归系数的显著性检验2.回归方程的显著性检验回归方程的显著性检验，就是要检验样本回归方程是否能够很好拟合样本数据。对于给定的具体样本数据，样本方程作为一个整体来拟合样本数据以及样本模型，样本方程对样本数据拟合的好坏，关系着方程是否有意义，关系着应用的效果。如果方程不能对样本数据进行很好的拟合，求出的样本方程也就没有存在的意义了。3.Ｄ.Ｗ检验导致回归余项序列相关的可能原因：（1）模型中遗漏关键变量时产生序列的自相关性；（2）经济变量的滞后性会给序列带来自相关性；许多的经济变量都会产生滞后影响，例如物价指数、投资等。（3）采用错误的回归函数形式也可能引起自相关性；（4）经济变量序列中包含有较强的趋势性也会导致自相关性；（5）因对序列进行了加工整理如季节调整、数据修匀等而导致误差之间产生自相关性。4.回归标准差５.拟合优度检验进行预测

预测是给定了自变量x的一组未来数值后，利用回归方程计算出相应的因变量y的未来值。预测有点预测和区间预测两类。1．点预测

点预测，是将自变量的未来数值，直接代入回归方程计算出相应的因变量的未来值即可。

2．区间预测第二节多元线性回归分析

一、模型和参数估计二、模型检验三、多重共线性四、回归模型的变量子集合的选择五、多元线性回归模型在Excel下的实现模型和参数估计

（一）总体回归模型（二）样本回归模型

在现实生活中，我们是很难掌握总体资料的。而是采用抽样的方法，从总体中抽取容量为的一个样本。根据样本的资料来推断总体的。具体这里，就是要根据样本资料建立样本模型，用样本模型来推断总体模型。设某具体样本资料如下：（三）参数估计利用样本资料对多元线性回归总体模型参数进行估计与一元线性回归一样，采用最小二乘法，其原理是使离差平方和达到最小，即

达到最小.对上式求偏导并令其为0，得方程为：该方程称为正规方程，求解方程即得参数估计值。上述过程也可以通过矩阵形式来进行。样本模型表示为。

根据证明，上述最小二乘估计量b具有以下的统计特性：

对参数的估计值进行应用时注意：1.参数估计值以及各种符号的实际意义。模型中的参数，对不同的预测对象有不同的含义。参数估计值的符号和大小，要符合它的实际意义。其中表示其他变量保持不变时，自变量变化一个单位因变量变化多少，因此，经济分析中，通过可以求得边际，而且通过对数回归还可以求得弹性。2.参数估计值的符号和大小不符合其实际含义，其可能原因是：某些自变量的取值范围太窄；模型中遗漏了某些重要的因素；模型中自变量之间存在较强的线性关系。模型检验

（一）回归系数的显著性检验

回归系数反映因变量与自变量之间的线性变化关系，回归系数的假设检验的就是要检验这种线性关系是否显著，如果某一回归系数的估计量在给定的显著水平下，显著不等于0，说明自变量与因变量之间存在较强的线性关系，自变量能够很好的解释因变量的变化关系，符合模型的假设，变量也保留在模型中。若相反，某回归系数与0无显著不同，表明该自变量的变化无助于解释因变量的变化，该自变量是否应作为自变量留在模型中，则需要进一步考虑。（二）回归方程的显著性检验

回归方程检验，检验样本回归方程的回归拟合效果是否显著，实质是对样本回归模型的整体线性关系的显著性检验，即检验下列假设是否为真（三）可决系数以及修正可决系数

与一元回归一样，可决系数的计算公式为：（四）其他检验

多元线性回归方程也需要进行残差序列的自相关检验（Ｄ.Ｗ检验）和回归标准差的计算，Ｄ.Ｗ检验的方法与一元线性回归一样，但回归标准差的计算公式为:多重共线性

多重共线性是多元回归分析中出现的特有问题，在总体模型中，我们曾假定自变量之间是互不相关的，但是我们在实际应用中，往往会遇到两个或更多个自变量之间具有明显的相关性，简称为自变量的多重共线性。如研究国家财政收入的变化，若选择国民收入、工业总产值、农业总产值等为解释变量时，则自变量之间趋向于有高度的相关。若发生了多重共线性问题，则前面的一系列统计方法就会失效，导致错误的判定，使预测失误。（一）多重共线性的影响1．由于多重共线性的存在会改变回归系数。2．多重共线性不降低模型的拟合能力，但使回归平方和、剩余平方和的含义变得模糊。

（二）多重共线性的识别模型中是否存在多重共线性，可通过以下的方法进行识别。（１）F检验通过，而有的回归系数的t检验未通过;（２）模型中引入或剔除一个自变量，回归系数的估计值有较大的变化;（３）回归系数估计值的符号与实际经验判断相反;（４）简单相关系数矩阵中，两个自变量之间的相关系数值较大。通常，简单相关系数r>0.7，应考虑有多重共线性存在。（三）多重共线性消除

消除多重共线性的办法，一是较为简单的方法，如删除共线性组中自变量与因变量的简单相关系数最小者；通过差分改变变量定义形式；增加样本容量。另外是采用新的估计方法，如有偏估计方法，包括岭估计、广义岭估计、主成分估计等。回归模型的变量子集合的选择

多变量的情况下，特别是在增加解释变量以便增加拟合优度的情况下，由于变量之间存在多重共线性，使回归系数的估计值存在不稳定，以及由于变量抽样误差的积累将使因变量估计值的误差增大，这样构造的模型稳定性差。为此需要选择变量的最佳子集合进入模型。1．选择变量子集合的原则及方法（1）修正可决系数的方法当模型中引入一个变量，可决系数增加，而修正可决系数却增加不大，说明该变量对因变量的影响不大，可以不进入模型。类似地，可以依此原则来选择变量子集合。（2）AIC准则

AIC准则(Aninformationcriterion)又称为最小信息准则，1973年由赤池弘治(Akaike)提出。该准则适用于ARMA模型，包括AR，MA模型的检验。AIC准则的计算公式定义为

AIC中右侧第一项为衡量模型拟合优度的一个量，第二项为增加参数的折扣，应用时选择AIC值最小的那个回归模型为最优模型，也即选择AIC值最小的变量子集合

（3）Cp准则马勒斯（Mallows）从预测角度提出一个可以用来选择自变量的统计量，即Cp准则。Cp统计量定义为

Cp中右侧第一项为衡量模型拟合优度的一个量，第二项为增加参数的折扣，应用时选择Cp值最小的那个回归模型为最优模型，也即选择Cp值最小的变量子集合

此外，变量子集合的选择还可以采用逐步回归的方法，自动地从大量可供选择的变量中，选择对建立回归方程重要的变量。逐步回归特别适用于解释变量比较多的情况下进行变量的选择。但是，逐步回归分析方法只能识别出一个子集合回归，不能给我们提供几个有争议的子集合进行选择。第三节逐步回归分析一、逐步回归分析的基本原理二、引入或剔除变量的依据及检验三、逐步回归中回归系数的求解四、逐步回归分析在Excel中的实现逐步回归分析的基本原理

1．“最优”回归方程

当自变量的个数很多时，建立多元回归方程会经常出现多重共线性问题。这就需要探索更方便的方法，从众多的自变量中选择对因变量y影响最为显著的自变量，建立最优回归模型。所谓“最优”回归方程，是指方程中包含所有对y影响比较显著的变量，而不包括对影响不显著的变量的回归方程。建立“最优”回归方程，可采用以下的方法：

（１）从所有可能的自变量组合的回归方程中选择最优方程。这种方法理论可行，但是实际中需要建立（）个方程，工作量太大。（２）“逐步剔除法”。原理是先采用全部自变量与因变量建立回归方程，然后对每个自变量进行显著性检验，剔除不显著的自变量中偏回归平方和最小的变量，然后再用剩下来的自变量与因变量建立新的回归方程，再对方程中每个自变量进行显著性检验，剔除不显著的自变量中偏回归平方和最小的变量，这个过程不断重复，直到回归方程中的自变量都显著为止，最后的回归方程就是“最优”方程。该方法的不足，一是计算量大，二是自变量一旦被剔除就再没有机会被引入，没有考虑到由于某个变量的剔除后使变得显著的其他变量再回到方程中的情况。（３）“逐步引入法”。原理是从一个自变量开始，逐个引入回归方程。先是在所有的自变量中选择一个，使它和因变量建立的一元回归方程比其他自变量与因变量建立的一元回归方程具有最大的回归平方和。然后，再在未选入的变量中选择一个自变量，使它和已选入模型的变量所建立的二元回归方程，比其他自变量和已选入模型的变量所建立的二元回归方程具有最大的回归平方和。依次类推，选择第三个变量，这个过程重复下去，每选择一次，都对要引入的变量进行显著性检验，一旦检验不能通过，就不再引入，过程结束。最后的回归方程就是“最优方程”。该方法的不足，一是计算量大，二是自变量一旦被引入就再没有机会被剔除，没有考虑到由于某个自变量的引入使变得不显著的其他变量应从方程中剔除的情况。（４）“逐步回归分析法”逐步回归分析法是综合上述（２）（３）两种方法特点，吸收优点，避免不足，产生的方法。是一种自动地从大量可供选择的变量中，选择对建立回归方程重要的变量的方法，它是在多元线性回归分析基础上派生的一种算法。2．逐步回归分析方法的基本原理原理是:类似于逐步引入法，从一个自变量出发，视自变量对因变量的影响显著性大小，从大到小逐个引入回归方程，同时，在逐个自变量选入回归方程的过程中，如果发现先前被引入的自变量在其后由于某些自变量的引入而失去其重要性时，可以从回归方程中随时予以剔除。引入一个变量或剔除一个变量，为逐步回归的一步，每步都要进行显著性检验，以便保证每次引入变量前回归方程中只包括显著性变量，这个过程反复进行，直到既无不显著变量从回归方程中剔除，又无显著变量需要选入回归方程时为止。

引入或剔除变量的依据及检验

逐步回归分析是按照各自变量对因变量作用显著程度大小来决定其是否引入还是剔除。用于衡量各自变量对因变量作用大小的量是它们对因变量的“贡献”，即偏回归平方和。偏回归平方和的意义和计算：逐步回归中回归系数的求解

1．标准化正规方程

对于多元线性回归方程：其中心化回归方程为：对样本数据进行标准化：由中心化方程有则有：

上式我们称为标准化回归方程。

标准化回归方程与原回归方程其他统计量之间的关系：

可见，利用标准化正规方程求解得标准化回归方程各项参数估计值，进而可以利用上述各式还原得原正规方程的各项参数估计值。2．标准化回归系数通过矩阵变换求得逐步回归分析中，标准化回归系数的求解是以相关矩阵的增广矩阵为计算起点的。

每一步，不论引入变量或剔除变量，均对相关矩阵施行一次矩阵变换。一般地以表示对应于第m步后的相关矩阵，如果第m+1步是剔除或引入第个k变量，则求第m+1步后的相关矩阵时，矩阵变换公式为：

这样不断引入或剔除变量的过程中将对相关矩阵不断进行矩阵变换。则变化后的相关矩阵即能够给出该步相应的回归方程的系数等多种统计量。如设第m步后得到的相关矩阵为第四节多对多线性回归分析一、多对多线性回归分析模型

二、多对多线性回归分析模型的参数估计

三、多对多线性回归系数向量的假设检验（在正态假定下）

四、多对多线性回归分析的计算步骤

五、多对多线性回归分析在Excel中的实现多对多线性回归分析模型

于是多对多线性回归模型可写成：注：组与组之间的随机误差项是相互独立的，但组内可以是不独立的，即每一行内部可以是不独立的。多对多线性回归分析模型

的参数估计

为此用拉直法以及利用矩阵四块求逆公式可得回归系数的估计值如下：

其中左侧是回归系数阵，且有多对多线性回归系数向量

的假设检验

一元统计中多元回归系数检验是：对多重多元回归，同样需要考察某一部分自变量对p个因变量的影响是否显著的问题，为此考虑模型：

多对多线性回归分析的计算步骤

设p为自变量个数，m为包括因变量在内的变量总个数（因变量个数为m-p个），n为样本数。多对多线性回归分析在

Excel中的实现

（一）问题与背景（二）分析过程（三）输出结果（四）几点结论第五节岭回归分析一、岭回归的基本思想二、岭回归估计的性质三、岭回归估计中回归系数的确定四、岭回归分析在Excel中的实现岭回归的基本思想

当线性回归模型存在较强的多重共线性时，如果仍然采用普通最小二乘法，参数估计值的方差往往会增大。在这样的背景下，人们开始对普通最小二乘法估计提出了修改的办法。岭回归估计就是其中之一。

岭回归估计的性质

与普通最小二乘估计比较，岭回归估计有以下的性质：由此不难看出，运用岭回归估计参数是牺牲了无偏性来满足参数估计的最小方差性。岭回归估计未知参数的最小方差性是建立在有偏估计的基础上的。从某种意义上说，该方法为我们寻求参数估计的最小方差性提供了新的思路。岭回归估计是解决多重共线性的有效的方法，但也有不足，即岭回归系数的确定比较麻烦。岭回归估计中回归系数的确定

第六节趋势面分析一、趋势面分析的一般原理二、趋势面分析中的模型参数估计三、趋势面模型的适度性检验四、趋势面分析的步骤五、趋势面分析在Excel中的实现趋势面分析的一般原理

（一）趋势面分析的基本思想趋势面分析是拟合数学面的一种统计分析方法，它是通过回归分析原理，运用最小二乘法拟合一个二维非线性函数，利用数学曲面模拟某种系统要素在空间上的分布及变化趋势的一种数学方法。在利用趋势面分析拟合回归模型进行经济分析和预测时，一个基本的要求是，所选择的趋势面模型必须使剩余值比较小，回归平方和比较大，这样拟合度较高，预测结果才能达到足够的准确性。（二）趋势面分析的数学模型设已知观测数据为：

趋于最小。这就是在最小二乘意义下的曲面拟合问题，即趋势面分析。趋势面分析中的模型参数估计

根据高斯-马尔科夫定理，最小二乘法给出了多项式系数的最佳线性无偏估计值，这些估计值使残差平方和达到最小。趋势面模型的适度性检验

趋势面分析拟合程度与回归模型的效果直接相关，因此，对趋势面分析进行适度性检验是一个关系到趋势面能否在实际研究中加以应用的关键问题，也是趋势面分析中不可缺少的重要环节。趋势面分析的适度性检验可以通过以下检验来完成：

（三）趋势面适度性的逐次检验

趋势面适度性逐次检验的基本思想是通过对相继两个阶次的模型适度性进行比较，来检验模型效果优劣的方法。首先,求出较高次多项式方程的回归平方和与较低次多项式方程的回归平方和之差；其次，将此差除以回归平方和的自由度之差，得出由于多项式次数增高所产生的回归均方差；第三，将此均方差除以较高次多项式的剩余均方差，得出相继两个阶次趋势面模型的适度性比较检验值。最后，若所得的值是显著的，则较高次多项式对回归作出了新贡献，若F值不显著，则较高次多项式对于回归并无新贡献。

说明:在实际应用中，往往用次数低的趋势面逼近变化比较小的数据，用次数高的趋势面逼近起伏变化比较复杂的数据。次数低的趋势面使用起来比较方便，但具体到某点拟合较差；次数较高的趋势面在观测点附近拟合效果较好，而在外推和内插时则效果较差。趋势面分析的步骤

1、对趋势面模型进行识别。根据代数一般知识，一元一次多项式为直线，一元二次多项式为抛物线，一元三次多项式为三次曲线。相应地二元一次多项式是一个平面，二元二次多项式为抛物面、二元三次多项式为三次曲面。2、求解正规方程组，进行模型参数估计。其中，求解正规方程组可以用正交变换法进行，也可以用主元消去法进行。3、对趋势面模型进行适度性检验本章内容讲授结束聚类分析概述系统聚类分析动态聚类法模糊聚类分析图论聚类分析第五章聚类分析统计分组或分类可以深化人们的认识。实际应用中，有些情况下进行统计分组比较容易，分组标志确定了，分组也就得到了，但是，有些情况下进行统计分组却比较困难，特别是当客观事物性质变化没有明显标志时，用于确定分组的标志和组别就很难确定。聚类分析实际上给我们提供了一种对于复杂问题如何分组的统计方法。

第一节聚类分析概述一、聚类分析的定义二、聚类分析的种类三、聚类分析中样品或变量亲疏程度的测定聚类分析的定义

聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有两个途径，一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定义点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度；另一个是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲疏程度。

（一）聚类分析按照分组理论依据的不同，可分为系统聚类法，动态聚类法，模糊聚类、图论聚类、聚类预报等多种聚类方法。

1、系统聚类分析法。是在样品距离的基础上定义类与类的距离，首先将个样品自成一类，然后每次将具有最小距离的两个类合并，合并后再重新计算类与类之间的距离，再并类，这个过程一直持续到所有的样品都归为一类为止。这种聚类方法称为系统聚类法。根据并类过程所做的样品并类过程图称为聚类谱系图。2、动态聚类分析法。是将个样品初步分类，然后根据分类函数尽可能小的原则，对初步分类进行调整优化，直到分类合理为止。这种分类方法一般称为动态聚类法，也称为调优法。聚类分析的种类

3、模糊聚类分析法。是利用模糊数学中模糊集理论来处理分类问题的方法，它对经济领域中具有模糊特征的两态数据或多态数据具有明显的分类效果。4、图论聚类分析法。是利用图论中最小支撑树（MST）的概念来处理分类问题，是一种独具风格的方法。5、聚类预报法。是利用聚类方法处理预报问题的方法。主要应用于处理一些出现异常数据的情况，如气象中的灾害性天气的预报，这些异常数据采用回归分析或判别分析处理的效果不好，而聚类预报可以弥补回归分析及判别分析方法之不足，是一个很值得重视的方法。

（二）按照分析对象不同，可以分为Q型聚类分析和R型聚类分析。

Q型聚类分析法是对样品进行的分类处理，可以揭示样品之间的亲疏程度。R型聚类分析法是对变量进行的分类处理，可以了解变量之间，以及变量组合之间亲疏程度。根据R型聚类的结果，可以选择最佳的变量组合进行回归分析或者Q型聚类分析。其中，选择最佳变量的一般方法是,在聚合的每类变量中，各选出一个具有代表性的变量作为典型变量，其中选择的依据是。

:表示每个变量与其同类的其它变量的相关系数的平方的均值。k为该类中变量的个数。应用中，挑选值最大的变量作为该类的典型变量。聚类分析中样品或变量

亲疏程度的测定

1、变量类型与数据变换通常变量类型按照计量尺度的不同，分为定类尺度，定序尺度，定距尺度，定比尺度变量。其中，前两者一般又称为定性资料，后两者一般又称为定量资料。在进行聚类分析处理时，样品间的相似系数和距离有许多不同的定义，这些定义与变量的类型有着密切关系，不同类型的变量在定义距离或相似性测度时具有很大的差异。

另外，由于样本数据受量纲和数量级的影响，在聚类分析处理过程中，首先应对原始数据矩阵进行变换处理，以便使不同量纲、不同数量级的数据能放在一起比较。常用的数据变换方法有以下几种：（1）中心化变换中心化是一种标准化处理方法，它是先求出每个变量的样本均值，再从原始数据中减去该变量的均值，就得到中心化后的数据。即（2）规格化变换（极差规格变换）规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每一个原始数据中减去该变量中的最小值，再除以极差就得到规格化数据。规格化后的数据为：进行了规格化变换后的数据特点是，将每列的最大数据变为1，最小数据变为0，其余数据取值在0，1之间。（3）标准化变换标准化变换是对变量的属性进行变换处理，首先对数据进行中心化然后再除以标准差，即其中

进行了标准化变换后的数据特点是，每列数据的平均值为0，方差为1，同时消除了量纲的影响。使用标准差处理后，在抽样样本改变时，它仍保持相对稳定性。（4）对数变换对数变换主要是对原始数据取对数。即对数变换后的数据特点是，可将具有指数特征的数据结构化为线性数据结构。此外，还有平方根变换、立方根变换等。极差标准化变换和规格化变换类似。它是把每个变量的样本极差皆化为1，排除量纲的干扰。立方根变换和平方根变换的主要作用是把非线性数据结构变为线性数据结构，以适应某些统计方法的需要。2、多维空间的距离

对于定量数据资料常用的距离有以下几种：

欧氏距离是聚类分析中用得最广泛的距离，但该距离与个变量的量纲有关，没有考虑指标间的相关性；也没有考虑各变量方差的不同。则称为切比雪夫距离.

由明氏距离公式可知，当各变量的单位不同或虽单位相同但各变量的测量值相差很大时，不应该直接使用明氏距离，而应该先对各变量的数据进行准化处理，然后再用标准化后的数据计算距离。（2）兰氏（Lance和Williams）距离兰氏距离是由Lance和Williams最早提出的，故称为兰氏距离。当全部数据大于零，即

可见兰氏距离是一个无量纲的量，克服了明氏距离与各指标的量纲有关的缺点，其受奇异值的影响较小，使其适合应用于具有高度偏倚的数据。然而兰氏距离没有考虑变量间的相关性。明氏距离和兰氏距离的共同的特点是，假定变量之间相互独立，即均没有考虑变量之间的相关性，都是在正交空间内讨论距离的，而实际情况并非如此。但在实际问题中，变量之间往往存在着一定的相关性，为克服变量之间的这种相关性影响，可以采用马氏距离。

马氏距离的优点是考虑到个变量之间的相关性，并且与个变量的单位无关。不足之处是在聚类分析过程中，如果用全部数据计算的均值和协方差阵来计算马氏距离，并且始终保持不变，则显得不妥；然而若要随聚类过程而不断改变，计算将会很困难。这样造成聚类效果不是很好的。比较合理的办法是用各个类的样品来计算各自的协方差矩阵，同一类样本的马氏距离应当用这一类的协方差矩阵来计算。(4)斜交空间距离由于多个变量之间存在着不同程度的相关关系。在这种情况下，用正交空间距离来计算样品间的距离，易产生变形，从而使聚类分析时的谱系结构发生改变。为此，计算斜交空间距离，第个i样品与第j个样品之间的斜交空间距离定义为，3、相似系数聚类分析方法不仅用来对样品进行分类，而且有时需要对变量进行分类，在对变量进行聚分类析时，则通常采用相似系数来表示变量之间的亲疏程度。相似系数定义如下：（1）夹角余弦

（2）相关系数（3）指数相似系数指数相似系数不受变量量纲的影响。（4）相似系数的非参数方法4、距离以及相似系数的选择原则一般说来，同一批数据采用不同的相似性尺度，就会得到不同的分类结果。产生不同分类结果的原因，主要是不同指标代表了不同意义上的相似性。因此我们在进行数值分类时，应注意相似性尺度的选择，选择的基本原则是：(1)所选择的相似性尺度在实际应用中应有明确的意义。(2)根据原始数据的性质，选择适当的变换方法，再根据不同的变换方法选择不同的距离或相似系数。如标准化变换处理下，相关相似系数和夹角余弦一致；又如原始数据在进行聚类分析之前已经对变量的相关性作了处理，则通常可采用欧氏距离而不必选用斜交空间距离。再如选择距离时，还须和选用的聚类方法相一致，如聚类方法选用离差平方和法时，距离只能选用欧氏距离。(3)适当地考虑计算量的大小，如对样品量较多的聚类问题，不适宜选择斜交空间距离，因采用该距离处理时，计算工作量太大。第二节系统聚类分析

一、系统聚类分析的基本思想和分析步骤二、常用系统聚类分析方法三、系统聚类分析方法的统一公式四、系统聚类分析方法的性质五、Ｑ型聚类分析时典型变量的选择与剩余信息的剔除六、谱系分类的确定七、系统聚类分析在Excel下的实现系统聚类分析的基本思想

和分析步骤

（一）基本思想系统聚类分析(HierachicalC1usterAnalysis)是在样品距离的基础上，定义类与类之间的距离，首先将个样品自成一类，然后每次将具有最小距离的两类合并，合并后重新计算类与类之间的距离，这个过程一直继续到所有样品归为一类为止，并把这个过程做成一个聚类谱系图。这种方法即系统聚类分析。系统聚类分析的基本思想是:把n个样品看成p维（p个指标）空间的点，而把每个变量看成p维空间的坐标轴，根据空间上点与点的距离来进行分类。系统聚类分析的具体方法是:将n个样品自成一类，先计算n(n-1)/2个相似性测度或距离,并且把具有最小测度的两个样品合并成两个元素的类，然后按照某种聚类方法计算这个类和其余(n-2)个样品之间的距离，这样一直持续下去，并类过程中，每一步所做的并类（样品与样品，样品与类、类与类）都要使测度在系统中保持最小，每次减少一类，直到所有样品都归为一类为止。（二）系统聚类分析的一般步骤1、对数据进行变换处理；2、计算各样品之间的距离，并将距离最近的两个样品合并成一类；

3、选择并计算类与类之间的距离，并将距离最近的两类合并，如果类的个数大于1，则继续并类，直至所有样品归为一类为止；4、最后绘制系统聚类谱系图，按不同的分类标准或不同的分类原则，得出不同的分类结果；常用系统聚类分析方法

进行聚类分析时，由于对类与类之间的距离的定义和理解不同，并类的过程中又会产生不同的聚类方法。常用的系统聚类方法有8种。即最短距离法、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法、离差平方和法等。尽管系统聚类分析方法很多，但每种方法的归类步骤基本是一样的，所不同的主要是对类与类之间的距离的定义不同。用最短距离法的聚类主要步骤如下：（二）最长距离法最长距离法与最短距离法在并类步骤上是完全一致的，而是在定义类与类之间的距离是相反的，类与类之间的距离定义为两类之间所有样品间距离最大者，（三）中间距离法（Gower，1966年）

该法是在定义类与类之间的距离时，既不采用两类样品之间的最近距离，也不采用两类样品之间最远距离，而是采用介于两者之间的中间距离，

具体分类过程与前面最短和最长距离分类方法步骤相同，只是在定义的距离为中间距离。

（四）重心法以上三种方法在定义类与类之间距离时，没有考虑每一类所包含的样品数。因此，在定义类与类的距离时，把每一类中所包括的样品数目也考虑进去，把两个类重心之间的距离定义为类与类的距离，用这种距离分类的方法就称为重心法。所谓每一类的重心就是该类样品的均值。其中单个样品的重心就是它本身，两个样品的类的重心就是两点连线的中点。

重心法的归类步骤与以上三种方法基本一样，所不同的是每合并一次类，就要重新计算一次新类的重心以及与与其他各类的距离。

（五）类平均法

该方法定义类与类的距离时，不仅把每一类中所包括的样品数目考虑进来，而且把各样品的信息都充分地考虑进来，而把两个类之间的距离平方定义为两类元素两两之间距离平方的平均。（六）可变类平均法（七）可变法（八）离差平方和法（Ward法）

基本思想是，基于方差分析的思想，如果类分得合理，则同类样品之间离差平方和应当较小，类与类之间的离差平方和应当较大。

Ward方法的基本思想是将两类合并后所增加的离差平方和看成类之间的距离，先将n个样品各自成一类，然后每次缩小一类，每缩小一次离差平方和就会增加，选择使S增加最小的两类合并，直到所有的样品归为一类为止。实际应用中，离差平方和法应用比较广泛，分类效果比较好。离差平方和法要求样品之间的距离必须是欧氏距离。系统聚类分析方法的统一公式

由于上述聚类方法的合并类原则和步骤是完全一样的，所不同的是类与类之间的距离公式有不同的定义，所以可得到不同的递推公式。1969年维希特提出了统一的公式，这为编制统一的计算机程序提供了极大的方便性。具体公式为：系统聚类分析方法的性质

1、关于并类时距离的单调性设是系统聚类法中第次并类时的距离，如果则称并类距离具有单调性。经过证明最短距离法、最长距离法、类平均法、离差平方和法、可变法和可变类平均法都具有单调性，只有重心法和中间距离法不具有单调性。具有单调性画出的聚类图符合系统聚类的思想，先并类的类关系较近，后并类的类关系较远。

2、关于两种聚类方法之间距离矩阵的比较：空间扩张、空间收缩由于作系统聚类图的时候，横坐标（并类距离）的范围太小，对区分类的灵敏度就差，所以，也即太浓缩的聚类方法不够灵活，但太扩张的方法对分类不利。经过证明，都与类平均法比较，结果是最短距离法、重心法使空间浓缩，最长距离法、可变平均法、离差平方和法使空间扩张，而类平均法比较适中，与其他方法比较，既不太浓缩也不太夸张。一般作聚类图时横坐标(并类距离)的范围太小时对区别类的灵敏度就差些，也就是说太浓缩的方法不够灵敏，但太扩张的方法对分类不利。和类平均法相比最短距离法、重心法使空间浓缩。最长距离法、可变类平均法、离差平方和法使空间扩散。而类平均法比较适中，与其它方法相比。既不太浓缩也不太扩张。

Ｑ型聚类分析时典型变量的选择

与剩余信息的剔除进行Ｑ型聚类分析时，必须选择能够恰当反映样本的变量，选择对聚类效果较为显著的变量，剔除对聚类分析效果影响较小的变量。选择变量的一般原则是：选择对所研究问题密切相关的变量；选择具有较强分辨能力的变量。具体选择变量的方法有：1、人为地挑选变量；2、先用Ｒ型聚类分析挑选主要变量，然后再进行Ｑ型聚类分析；3、先进行主成分分析挑选主要变量，然后再进行Ｑ型聚类分析；谱系分类的确定经过系统聚类法处理之后，得到聚类谱系图或叫聚类树，聚类树或谱系图只反映变量之间或样品之间的亲疏关系，它本身并不是分类，需要规定一个临界相似性尺度，用以分割谱系图而得到样品或变量的分类。对于如何分类，Deminren(1972)提出了根据研究的目的来确定适当的分类方法，并提出了一些根据谱系图来分类的准则：准则A；任何类都必须在邻近各类中是突出的，即各类重心之间距离必须极大；准则B，确定的类中，各类所包含的元素都不要过分地多；准则C：分类的数目必须符合实用目的；准则D；若采用几种不同的聚类方法处理，则在各自的聚类图中应发现相同的类；第三节动态聚类法

一、动态聚类法基本思想

二、动态聚类分析的基本原理

三、动态聚类分析主要计算步骤四、动态聚类分析在Excel下的实现

动态聚类法基本思想

系统聚类分析需要计算距离矩阵，当样本容量很大时，距离矩阵的计算要占据较大的计算机内存空间和需要较长的计算时间。为了改进上述不足，一种想法就是先粗略的分下类，然后再按某种规则进行修正，直到将样本分类分得比较合理为止。基于此思想产生了动态聚类法，也称逐步聚类或快速聚类法。

动态聚类法基本思想是：开始按照一定的方法选取一批凝聚点，然后让样品向最近的凝聚点靠近形成初始分类，得到初始分类。然而，初始分类不一定合理，需按最近距离的原则进行修改不合理的分类，直到分类比较合理为止，这样形成一个最终的分类结果。动态聚类法方法具有计算简单的特点，在计算机的处理过程中，不需要存储距离矩阵，占据较小的内存空间，在很大程度上减少了计算机地工作量，因而更适合于对具有较大样品量的样本进行聚类分析。动态聚类法的聚类过程，可由图5.9表示。图5.9动态聚类过程图动态聚类分析的基本原理

（一）选择凝聚点

凝聚点就是一批有代表性的点，是待形成类的中心。凝聚点的选择直接决定初始分类，对分类结果也有很大影响，通常选择凝聚点的方法为：1．凭经验选择凝聚点。例如，对于具有经验的研究者，当拿到一批样品数据之后，可对于样品进行大体上的分类，分成几类。这时可以从每一类中选择一个有代表性的样品作为凝聚点来进行聚类分析。该方法虽然具有一定主观性，但在实际应用中具有方便、简单等特点。2．根据数据情况将全部样品人为地凭经验分成类，之后计算每一类的重心，将这些重心作为凝聚点。这种方法比较常用，简单、适用。

3．用密度法选择凝聚点。这里的密度是指以每个样品为球心，以某个正数d作为半径的形成一个球，此时落在这个球内的样品个数则称为以该样品为中心的空间中点的密度，称为样品点密度或简称为密度。当所有样品点的密度都计算好以后，首先选择密度较大的样品点作为第一凝聚点，并且人为地确定一个正数D，然后选出密度次之的样品点，并且它与第一凝聚点的距离大于D，则将其作为第二凝聚点，否则该样品点被取消。这样，按密度大小依次挑选凝聚点，直至全部样品考查完毕为止，确定合理的凝聚点。4.用前k个样品作为凝聚点。

（二）初始分类

有了凝聚点以后接下来就要进行初始分类，同样获得初始分类也有不同的方法。需要说明的是，初始分类不一定非通过凝聚点确定不可，也可以依据其他原则确定。下面介绍几种确定初始分类的方法。1、人为地分类，凭经验将样品进行初步分类。2、选择一批凝聚点以后，每个样品按与其距离最近的凝聚点归类。3、选择一批凝聚点后，每个凝聚点自成一类，将样品依次归入与其距离最近的凝聚点的那一类，并立即重新计算该类的重心，以代替原来的凝聚点，再计算下一个样品的归类，直至所有的样品都划到相应的类中为止。（三）分类函数按照修改分类的原则不同，动态聚类方法有按批修改法、逐个修改法、等混合法等。这里主要介绍逐步聚类法中按批修改法。所谓按批修改法，其修改分类的原则是，在按批修改法中，每一步修改都将是对应的分类函数缩小，趋于合理，并且分类函数最终趋于定值，即计算过程是收敛的。按批修改法中一个重要的概念就是分类函数。动态聚类分析主要计算步骤

1、首先将原始数据进行标准化处理。2、选择预定数目的凝聚点进行初始分类。3、计算每一类的重心，将重心作为凝聚点，然后计算每一个样品与重心凝聚点的距离，并将它归入与凝聚点距离最近的那一类别。每归入—个样品之后，重新计算该类的重心，并用新计算的重心替代原凝聚点。如果所有的新凝聚点与前一次的老凝聚点重合，则分类过程终止，否则重复上述步骤，直至分类过程终止。步骤3的重复过程就是迭代过程，每一次迭代都是对应的分类函数缩小，当两次的重心完全相同时，计算过程收敛，此时分类函数也趋于定值。按批修改法的最终分类结果受到初始分类的影响，这是动态聚类法的一个缺点。第四节模糊聚类分析一、模糊聚类分析的基本思想二、模糊聚类分析的基本原理三、模糊聚类分析的主要步骤四、模糊聚类分析在Excel下的实现模糊聚类分析的基本思想

系统聚类分析、动态聚类分析方法都是一种硬划分，它把每个待归类的样品严格地划分到某类中去，具有“非此即彼”的性质，因此这种类别划分的界限是分明的。然而在实际经济社会中大多数对象并没有严格的属性，它们在分类中存在着模糊性，具有“亦此亦彼”的性质，因此对其应进行一种软划分，即模糊聚类分析的方法。模糊聚类法是将模糊集的概念用到聚类分析中所产生的一种聚类方法。它是根据研究对象本身的属性而构造一个模糊矩阵，在此基础上根据一定的隶属度来确定其分类关系，根据分类关系得到相应的聚类结果。模糊聚类分析的基本原理

（一）基本概念1、普通集合与特征函数

（二）模糊集合与隶属函数

在现实生活中，当我们要了解某一地区的经济发展水平是否达到某一标准值时，用特征函数简单描述显得有些不足。这时在模糊数学中把它推广到[0,1]闭区间，即用0到1之间的一个数值去度量它达到某一水平的程度，则这个数称为隶属度。当用函数来表示隶属度的变化规律时就叫做隶属函数，即

模糊集转换为普通集的方法

模糊集的运算

（三）普通矩阵与模糊矩阵

若一个矩阵的元素的取值在[0,1]区间内，则称该矩阵为模糊矩阵。同普通矩阵一样，模糊矩阵也有模糊单位阵，模糊零矩阵和元素皆为1的矩阵。模糊矩阵的乘积运算:

（四）分类关系与模糊分类关系

模糊聚类分析是在模糊分类关系基础上进行的分类。下面给出分类关系和模糊分类关系的含义。模糊聚类分析的主要步骤

进行模糊聚类分析的具体步骤如下：第一步：对原始数据进行变换

1、原始数据矩阵

2、数据变换在实际问题中，不同的数据往往具有不同的量纲，为了避免由量纲的不同带来的误差通常需要对原始数据作适当的变换。通常需要作如下两种变换：标准化变换、极差变换等。

第二步：建立模糊相似矩阵。第三步：获得模糊分类关系。

上述建立的模糊矩阵，只是一个模糊相似矩阵，不一定具有传递性，为了获得模糊分类关系，根据数学的证明，对于一个模糊相似矩阵，通过的不断自乘（褶积计算），求其极限，就可以得到模糊分类关系。即第四步：进行模糊聚类。

第五节图论聚类分析一、图论聚类分析的基本思想二、图论聚类分析的基本原理三、图论聚类分析在Excel下的实现图论聚类分析的基本思想

图论聚类法最早是由Zahn提出来的，又称为最小支撑数聚类方法。图论聚类法主要的基本思想为，一个多变量的样品可以用多维空间中的一个点来代表。在多维空间中，如果样品点在某些区域密度很高，而在另一些区域密度很低，甚至空白，且高密度区被空白或低密度区所分隔，这样就形成了最自然的、最能体现样品分布结构的聚类。因此，图论聚类作为一种对一些点、点间连线所组成的简单几何图形的性质及其分类的定量研究，已被广泛的应用。图论聚类分析的基本原理

（一）最小支撑树的意义

最小支撑树。对于p维空间，在n个样品点间形成的一切可能的联接图中，存在着一个不形成回路且边长总和为最小的联接图，则称为最小支撑树（MST）。最小支撑树表示了与每个样品点最近的一些样品点，反映了样品点间联系的亲疏程度。最小支撑树计算。（二）最小支撑树中的“长边”与分类

在最小支撑树中，我们总是可以找到一些“长边”把最小支撑树分割成若干个自然类。亦即聚类分析。由此，图论聚类法的分类原则在于，把各个样品看成多维空间上的点，如果对样品进行分类比较合理，则同一类样品点之间在MST上相互以较短的边长相联结，而不同类与类之间的样品点在MST上则被较长的边（“长边”）所分开。长边的定义。

（三）确定样品点密度为了方便分类，我们还需要运用另外一个概念，即样品密度。如以某个样品点为中心，以长度为半径，我们将落在这个球内的样品数称之为以该样品点为球心的空间内样品点的密度。显然，在一个类的中心部位密度应较高，而其边缘部位的密度应较低。根据密度可以作出密度等值线，由密度等值线图可以清晰地反映出分类的概貌。实际应用中，半径的确定一般是将MST的边长平均数乘上一个大于1的数来确定。本章内容讲授结束判别分析的基本原理和模型

逐步判别分析

第六章判别分析第一节判别分析的基本原理和模型一、判别分析概述二、判别分析方法三、判别分析在Excel中的实现判别分析概述

（一）什么是判别分析

判别分析是多元统计中用于判别样品所属类型的一种统计分析方法，是一种在已知研究对象用某种方法已经分成若干类的情况下，确定新的样品属于哪一类的多元统计分析方法。判别分析方法处理问题时，通常要给出用来衡量新样品与各已知组别的接近程度的指标，即判别函数，同时也指定一种判别准则，借以判定新样品的归属。所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。常用的有，距离准则、Fisher准则、贝叶斯准则等。判别准则可以是统计性的，如决定新样品所属类别时用到数理统计的显著性检验，也可以是确定性的，如决定样品归属时，只考虑判别函数值的大小。判别函数是指基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的函数式或描述指标。（二）判别分析的种类

按照判别组数划分有两组判别分析和多组判别分析；按照区分不同总体的所用数学模型来分有线性判别分析和非线性判别分析；按照处理变量的方法不同有逐步判别、序贯判别等；按照判别准则来分有距离准则、费舍准则与贝叶斯判别准则。判别分析方法

（一）距离判别法

１．基本思想：首先根据已知分类的数据，分别计算各类的重心，即分组（类）均值，距离判别准则是对于任给一新样品的观测值，若它与第类的重心距离最近，就认为它来自第类。因此，距离判别法又称为最邻近方法（nearestneighbormethod）。距离判别法对各类总体的分布没有特定的要求，适用于任意分布的资料。

２．两组距离判别

两组距离判别的基本原理。

说明：当两总体靠的比较近时，即两总体的均值差异较小的时候，无论用何种判别方法，错判的概率都比较大，这时的判别分析也是没有意义的。因此只有当两总体的均值有显著差异时，进行判别分析才有意义，为此，要对两总体的均值差异性进行检验，对此在下文中叙述。（3）关于两组判别分析的检验

由于判别分析是假设两组样品是取自不同总体，如果两个总体的均值向量在统计上差异不显著，则进行判别分析意义不大。所以，两组判别分析的检验，实际就是要经验两个正态总体的均值向量是否相等，为此，检验的统计量为：3、多个总体的距离判别法类似两个总体的讨论推广到多个总体。

（二）费舍判别法

费舍判别法是1936年提出来的，该方法对总体分布未提出什么特定的要求。

1．基本思想

费舍判别法是基于统计上的费舍准则，即判别的结果应该使两组间区别最大，使每组内部离散性最小。在费舍准则意义下，确定线性判别函数：

其中为待求的判别函数的系数。判别函数的系数的确定原则是使两组间区别最大，使每组内部离散性最小。有了判别函数后，对于一个新的样品，将p个指标的具体数值代入判别式中求出值，然后与判别临界值进行比较，并判别其应属于哪一组。2．两组判别分析（1）方法原理（2）判别系数的导出（3）判别准则

（4）两组判别分析的检验

由于判别分析是假设两组样品是取自不同总体，如果两个总体的均值向量在统计上差异不显著，则进行判别分析意义不大。所以，两组判别分析的检验，实际就是要检验两个正态总体的均值向量是否相等，为此，检验的统计量为：

3、多组费舍判别分析（1）方法原理

类似两总体的费舍判别法,下面给出多总体的费舍判别法。

（2）判别函数

判别系数（矩阵A关于矩阵E的广义特征向量）的导出。判别函数的判别能力与判别函数的个数。

（3）判别准则

有了判别函数之后，如何对待判的样品进行分类？Fisher判别法本身并未给出最合适的分类法，在实际工作中可以选用下列分类法之一进行分类。

（三）贝叶斯判别法1.基本思想

显然考虑损失函数更为合理，但是由于实际应用中，由于L(h/g)不容易确定，经常在数学模型中假定各种错判的损失皆相等，这样，寻找h使后验概率最大实际上等价于使错判损失最小。根据上述思想，在假定协方差矩阵相等的条件下，即可以导出判别函数。

2.多元正态总体的Bayes判别法在实际问题中遇到的许多总体往往服从正态分布，下面给出p元正态总体的Bayes判别法，以及判别函数的导出。（1）待判样品的先验概率和密度函数使用Bayes准则进行分析,首先需要知道待判总体的先验概率和密度函数(如果是离散情形则是概率函数)。

（2）假设各组协方差阵相等，导出判别函数（3）计算后验概率

说明：贝叶斯方法一般多用于多组判别分析，贝叶斯判别方法的数学模型所要求的条件严格，它要求各组变量必须服从多元正态分布，各组的协方差矩阵相等，各组的均值向量有显著差异。而费舍判别法主要要求各组均值向量有显著差异即可。第二节逐步判别分析一、逐步判别分析的基本思想二、逐步判别的基础理论――对判别变量附加信息的检验三、引入和剔除变量的依据和检验统计量四、求解判别函数中的矩阵变换五、建立判别式，对样品判别分类六、逐步判别分析在Excel上的实现逐步判别分析的基本思想

在判别问题中，当判别变量个数较多时，如果不加选择地一概采用来建立判别函数，不仅计算量大，还由于变量之间的相关性，可能使求解逆矩阵的计算精度下降，建立的判别函数不稳定。因此适当地筛选变量的问题就成为一个很重要的事情。

凡具有筛选变量能力的判别分析方法就统称为逐步判别法。

逐步判别法和通常的判别分析一样，也有许多不同的原则，从而产生各种方法。这里讨论的逐步判别分析方法是在多组判别分析基础上发展起来的一种方法，判别准则为贝叶斯判别函数，其基本思路类似于逐步回归分析，采用“有进有出”的算法，即按照变量是否重要，从而逐步引入变量，每引入一个“最重要”的变量进入判别式，同时要考虑较早引入的变量是否由于其后的新变量的引入使之丧失了重要性变得不再显著了（例如其作用被后引入地某几个变量的组合所代替），应及时从判别式中把它剔除，直到判别式中没有不重要的变量需要剔除，剩下来的变量也没有重要的变量可引入判别式时，逐步筛选结束。也就是说每步引入或剔除变量，都作相应的统计检验，使最后的贝叶斯判别函数仅保留“重要”的变量。逐步判别的基础理论

――对判别变量附加信息的检验

根据逐步判别分析的基本思想，进行判别分析需要解决两个关键的问题，一个是引入或剔除判别变量的依据和检验问题；另外则是判别函数的及时导出的问题。其中的理论基础又在于如何对判别变量在区别各个总体中是否提供附加信息的检验。为此这里先给出如何对判别变量在区