大数据分析方法与应用 课件 第3、4章 回归分析、聚类算法

大数据分析方法与应用第3章回归分析3.1线性和非线性回归目录CONTENTS3.2多元回归3.3岭回归3.4LASSO回归第3章回归分析3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现“回归”一词的英文是Regression，统计学上的“相关”和“回归”的概念是高尔顿第一次使用。一些变量之间存在相关关系。如果能建立这些相关关系的数量表达式，就可以根据一个变量的值来预测另一个变量的变化。如果随机变量y与变量间具有统计关系，那么每当取定值之后，y便有相应的概率分布与之对应。其概率模型为：

其中y称为因变量，x1,x2,x3,…,xn称为自变量。y由两部分组成，一部分是由x1,x2,x3,…,xn能够决定的部分，记为f(x1,x2,x3,…,xn)；另一部分由众多未加考虑的因素（包括随机因素）所产生的影响，它被看成随机误差，记为ε。f(x1,x2,x3,…,xn)称为y对x1,x2,x3,…,xn的回归函数。3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现当模型中的回归函数为线性函数时，即：

，为线性回归模型。当模型中的回归函数为非线性函数时，为非线性回归模型。常见的非线性回归模型包括：1）多项式回归；2）指数回归；3）对数回归；4）幂函数回归；5）Sigmoid函数回归；6）非线性混合效应模型。3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现当模型中只有一个自变量时，为简单的一元线性回归，

其中X是自变量，Y是因变量。β0表示截距，是自变量X等于0时，因变量Y的值。𝛽1表示斜率，表示自变量X每增加1，因变量Y增加的数值。ε表示误差。回归方程可以表示为：3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现如表所示为某市用电量指标统计，在Excel中绘制散点图，添加趋势线，显示回归方程和相关系数，具体操作步骤如下：

3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现1）在数据中，选择“GDP”和“年用电量”。

3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现2）插入“散点图”，操作如图所示。

3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现3）单击菜单“设计”，选择“图表布局”，输入图表和坐标轴标题，如图所示。

3.1线性和非线性回归

3.1.1线性回归及其Excel中的实现4）右键单击散点图，选择“添加趋势线”，如图所示。

3.1线性和非线性回归

3.1.1

线性回归及其Excel中的实现5）在“趋势线选项”中选择“线性”，“显示公式”和显示R平方值，单击“关闭”，操作如图所示。

3.1线性和非线性回归

3.1.1

线性回归及其Excel中的实现6）完成散点图添加趋势线的简单一元回归，结果如图所示。

3.1线性和非线性回归

3.1.2

最小二乘回归最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。对于回归直线，关键在于求解参数，常用的就是最小二乘法，它是使因变量的观察值与估计值之间的残差平方和达到最小来求解，残差平方和为：3.1线性和非线性回归

3.1.2

最小二乘回归上述方程中对系数β0，β1偏导，并使导数等于0，可得3.1线性和非线性回归

3.1.2

最小二乘回归因变量观察值yi和观察值的均值的差的平方和称为总平方和SST。总平方和可以分解为回归平方和、残差平方和：SST=SSR+SSE。

判定系数R2=SSR/SST表示因变量总差异中可以由回归解释的比例，1-R2＝SSE/SST表示残差平方和占总平方和的比例。R2越接近1，回归的相关性越好。3.1线性和非线性回归

3.1.3

非线性回归及其Excel中的实现在实际问题中，很多情况下因变量与自变量之间的关系不是线性的，而是呈现出曲线、指数、对数等非线性形式。非线性回归是一种统计建模方法，用于建立自变量和因变量之间非线性关系的模型。在非线性回归中，自变量和因变量之间的关系可以通过非线性函数来描述，而不是简单的线性关系。非线性回归可以更准确地拟合非线性关系的数据，提高模型的预测能力。3.1线性和非线性回归

3.1.3

非线性回归及其Excel中的实现按照表中的数据，在Excel绘制简单一元非线性回归步骤如下：3.1线性和非线性回归

3.1.3

非线性回归及其Excel中的实现1）创建“人口”和“用电量”两个变量样本的散点图，单击散点图，选择“添加趋势线”，选择“多项式”，“阶数”为2，如图所示。3.1线性和非线性回归

3.1.3

非线性回归及其Excel中的实现2）选择“显示公式”和“显示R平方”，操作如图所示。3.1线性和非线性回归

3.1.3

非线性回归及其Excel中的实现3）一元非线性回归如图所示。3.2多元回归3.2.1多元回归及其概念多元线性回归包括一个因变量y和若干自变量x1,x2,…,xn，多元线性回归模型一般形式为：其中β0,β1,β2,β3,…,βn称为待估参数，ε为误差项。则回归方程为：对于随机抽取的n组观测值，如果样本函数的参数估计值已经得到，则有：残差平方和为：3.2多元回归3.2.1多元回归及其概念根据最小二乘原理，参数估计值应使残差平方和达到最小，也就是寻找参数β0,β1,β2,β3,…,βn的估计值达到最小：即Qe的最小值，根据微积分知识，需对Qe关于待估参数求偏导数，并且令其为0。则3.2多元回归3.2.1多元回归及其概念得到回归方程：在多元回归中，复相关系数R2的大小和样本数量n以及自变量的个数k有关。为了消除样本数量和自变量个数对复相关系数的影响，计算以下修正的复相关系数：由统计学理论可以知道，对于自变量个数为k，总平方和SST的自由度为n-1，残差平方和SSE的自由度为n-k-1，回归平方和SSR的自由度为k。将相应的平方和除以自由度，得到以下方差：MST=SST/(n-1)观察值和平均值之间的方差MSR=SSR/k预测值和平均值之间的方差

MSE=SSE/(n-k-1)观察值和预测值之间的方差3.2多元回归3.2.1多元回归及其概念F检验H0：β1=β2=…=βn=0H1：β1≠β2≠…≠βn≠0构造统计量：统计量F服从F分布，自由度为（k,n-k-1）。对于给定的置信水平，查F分布表得到临界值Fα/2,k,n-k-1，如果F>Fα/2,k,n-k-1，拒绝原假设。回归的总体效果显著的。F值越大，说明回归方程能解释因变量变异的程度越高。3.2多元回归3.2.2多重共线性在多元回归中，自变量除了和因变量有很强的相关关系外，还和其他若干个自变量之间也存在很强的相关关系，这种现象称为“多重共线性”。容忍度

，Ri是解释变量Xi与方程中其他解释变量间的复相关系数，容忍度在0到1之间，越接近0，表示多重共线性越强，越接近1，表示多重共线性越弱。方差膨胀因子是容忍度的倒数：处理多重共线性最简单的方法就是从模型中将被怀疑会引起多重共线性问题的解释变量舍去，但是这一方法却可能会引起其他方面的问题。因此，还要考虑其他可供选择的方法，这些方法主要有：追加样本信息，使用非样本先验信息，使用有偏估计量等。3.2多元回归3.2.3多元回归及其SPSS中的实现为了操作更具有简便性、快捷性，我们使用SPSS在线分析软件SPSSPRO来实现多元回归。1）放入数据文档，如图所示。3.2多元回归3.2.3多元回归及其SPSS中的实现2）根据数据分析需求，选择多元回归，如图所示。3.2多元回归3.2.3多元回归及其SPSS中的实现3）将左侧变量放入对应的方框里，如图所示。3.2多元回归3.2.3多元回归及其SPSS中的实现4）单击“开始分析”，如图所示。3.2多元回归3.2.4居民存款影响因素回归案例分析影响住户存款的因素较多，如居民收入、物价、利率、人口数量、消费习惯、生活方式、社会保障体系等。而居民收入和人口数量是决定住户存款的核心因素。由于目前我国城乡差别仍然很大，城镇居民的收入远大于农村居民的收入。这种差异可以用城镇化率体现。本节选择农村居民收入、城镇居民收入、人口数量、城镇化率为影响因子，分析它们对住户存款的影响。如表所示，为农村居民收入、城镇居民收入、人口数量、城镇化率、住户存款的相关数据。分析农村居民收入、城镇居民收入、人口数量、城镇化率对住户存款的多元线性回归方程。3.2多元回归3.2.4居民存款影响因素回归案例分析3.2多元回归3.2.4居民存款影响因素回归案例分析以表中的数据为样本，运用最小二乘法估计回归系数β。借助SPSSPRO软件工具，求得回归系数，结果表所示。3.2多元回归3.2.4居民存款影响因素回归案例分析由表中的数据可得回归方程：Y=-12.037+0.001X1+0.002X2+0.704X3-0.089X4。VIF都大于10，明显存在多重共线性。如何解决多重共线性的问题，将在下一章岭回归中着重介绍。3.3岭回归3.3.1岭回归的概念岭回归是最小二乘法的改良与深化，是专门用于解决数据共线性这种病态现象的有效方法，对共线性数据分析具有独到的效果。它通过放弃OLS的无偏性优势，以损失部分信息、降低拟合精度为代价，换来回归系数的稳定性和可靠性。回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题，X通常是列满秩的：Xβ=y采用最小二乘法，定义损失函数为残差的平方，最小化损失函数：‖Xβ-y‖2上述优化问题可以采用公式进行直接求解：3.3岭回归3.3.1岭回归的概念当X不是列满秩时，或者某些列之间的线性相关性比较大时，X的行列式接近于0，即接近于奇异，上述问题变为一个不适定问题，此时计算（XTX）-1误差会很大，传统的最小二乘法缺乏稳定性与可靠性。为了解决上述问题，我们需要将不适定问题转化为适定问题：我们为上述损失函数加上一个正则化项，变为

，岭回归的目标函数为：3.3岭回归3.3.1岭回归的概念岭回归求解回归系数β方法为：在公式中，k为岭回归参数。k越大，消除共线性影响效果越好，但拟合精度越低；k越小，拟合精度越高，但消除共线性影响作用越差。因此，必须在二者间找到最佳平衡点，使k既能消除共线对参数估计的影响，又尽可能小，以减小拟合方程，提高拟合精度。复相关系数Radj2是反映拟合精度的重要指标，它随k的增大而减小。k选取原则是：在岭轨迹变化趋于稳定时选取其最小值。岭回归是对OLS的一种补充，基本思想就是给矩阵XTX加上一个对角阵，尽量将奇异矩阵转化为非奇异矩阵，以使矩阵XTX尽可能可逆，以便能够求出回归系数和提高参数估计的稳定性和可靠性，得到的参数更能真实反映客观实际。但同时对回归系数β的估计不再是无偏估计，从而降低拟合精度。3.3岭回归3.3.2岭回归及其在SPSS中的实现按照岭回归法估计回归系数，运用SPSS在线分析软件SPSSPRO实现。1）放入数据文档，如图所示。3.3岭回归3.3.2岭回归及其在SPSS中的实现2）根据数据分析需求，选择岭回归，如图所示。3.3岭回归3.3.2岭回归及其在SPSS中的实现3）将左侧变量放入对应的方框里，如图所示。3.3岭回归3.3.2岭回归及其在SPSS中的实现4）岭回归分析前需要结合岭迹图确认K值，K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。5）确定好K值后，代入程序中，单击“开始分析”，如图所示。3.3岭回归3.3.3居民存款影响因素回归案例分析选择农村居民收入、城镇居民收入、人口数量、城镇化率为影响因子，分析它们对住户存款的影响。由于住户存款与影响因素一般同相变化，即存在共线性，如果采用最小二乘法（OLS）估计模型的参数，得到的自变量系数往往丧失了对因变量的解释作用，不能客观反映客观实际。岭回归可以较好解决这一问题，回归的参数可以客观反映解释变量与被解释变量的关系。因此，采用岭回归分析它们对我国住户存款的影响，这样才能客观掌握其对住户存款的影响。3.3岭回归3.3.3居民存款影响因素回归案例分析X1、X2、X3、X4分别为居民收入、城镇居民收入、人口数量、城镇化率，Y表示住户存款运用最小二乘法估计回归系数β。借助SPSSPRO软件工具，求得回归系数，如下表所示。3.3岭回归3.3.3居民存款影响因素回归案例分析4个自变量的膨胀系数VIF均大于10，说明存在多重共线性。再观察共线性诊断结果，如下表所示。3.3岭回归3.3.3居民存款影响因素回归案例分析特征值：4维特征值为0，3、5维特征值接近于0，证实存在共线性；条件指数：3、4、5维度的条件指数分别为44.762、173.466、644.245，大于30，也证明存在共线性；方差比例：X1在4维度的方差比例为0.66大于0.5，X2在4维度方差比例为0.81，大于0.5，X3在5维度的方差比例为0.99，大于0.5，X4在4维度的方差比例为0.93，大于0.5，证明存在共线性。综上所述，自变量满足共线性诊断的所有条件，说明4个自变量数据之间存在严重的共线性。此时回归的参数不能客观反映自变量与因变量的关系，解决的最好办法就是采用岭回归法估计回归系数。3.3岭回归3.3.3居民存款影响因素回归案例分析岭回归分析前需要结合岭迹图确认K值，K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。K值越小则偏差越小，K值为0时则为普通线性OLS回归（可主观判断，或系统自动生成）。设定迭代步长取0.01，以确定最佳岭回归参数K。当K逐渐增大时，各自变量系数逐步趋于稳定，由下图可知当K=0.70以后，自变量系数基本不变，故最佳岭回归参数取K=0.60。3.3岭回归3.3.3居民存款影响因素回归案例分析确定好K值后，将K=0.60加入程序再运行，得到回归参数，如表3-6所示。4个自变量的标准化回归系数分别为：β1=0.2319882，β2=0.2248438，β3=0.2080938，β4=0.2063121。4个自变量的标准化系数在数量级上较为合理，且皆为正数，能客观反映其对因变量的影响。根据回归的非标准化系和常数，我们可以得到最终岭回归方程，即：Y=-148.002167+0.0012134X1+0.0004499X2+10.0416323X3+0.5962266X43.4LASSO回归3.4.1LASSO回归的概念LASSO回归方法与岭回归类似，通过构造一个惩罚函数得到一个较为精炼的模型，达到压缩回归系数的目的，是一种处理具有复共线性数据的有偏估计。岭回归无法降低模型复杂度，而LASSO回归是在岭回归基础上的优化，可以直接将系数惩罚压缩至零，达到降低模型复杂度的目的。为保证回归系数可求，在多元线性回归目标函数加上L1范数惩罚项，则LASSO回归目标函数：Y为观测集；X为由X1，X2，…，Xn构成的集合；β为由β1，β2，…，βn成的回归系数集；λ为正则化系数，且值非负。由LASSO回归目标函数可知，其引入L1范数惩罚项，正则化系数λ的选取十分重要。调整参数λ的值，模型系数的绝对值逐渐减小，使绝对值较小的系数自动压缩为0，实现对高维数据进行降维。3.4LASSO回归3.4.2LASSO回归及其SPSS中的实现按照LASSO回归法的原理，在SPSSPRO中实现。1）放入数据文档，如图所示。3.4LASSO回归3.4.2LASSO回归及其SPSS中的实现2）根据数据分析需求，选择LASSO回归，如图所示。3.4LASSO回归3.4.2LASSO回归及其SPSS中的实现3）将左侧变量放入对应的方框里，如图所示。3.4LASSO回归3.4.2LASSO回归及其SPSS中的实现4）LASSO回归中，正则化系数λ的选取十分重要。调整参数λ的值，模型系数的绝对值逐渐减小，使绝对值较小的系数自动压缩为0，实现对高维数据进行降维。5）确定好λ值后，代入程序中，单击“开始分析”，如图所示。3.4LASSO回归3.4.3居民存款影响因素回归案例分析现在用LASSO回归对居民存款影响因素进行分析。X1、X2、X3、X4分别居民收入、城镇居民收入、人口数量、城镇化率，Y表示住户存款。借助SPSSPRO软件工具，运用LASSO回归进行分析。通过交叉验证方法，确定λ值。λ值的选择原则是使得LASSO模型的均方误差最小。如图所示为交叉验证图，以可视化形式展示了使用交叉验证选择λ值的情况。3.4LASSO回归3.4.3居民存款影响因素回归案例分析为使得均方误差最小确定λ=0.0。代入程序运算得出LASSO回归系数，则LASSO回归函数为：Y=-12.592+0.001X1+0.0002X2+0.7X3-0.07X4课后习题1.设SSR=36，SSE=4，n=18。（1）计算判定系数R2并解释其意义。（2）计算估计标准误差Se并解释其意义。（6）如果某地区的人均GDP为5000元，预测其人均消费水平。（7）求人均GDP为5000元时，人均消费水平95%的置信区间和预测区间。课后习题2.下面是7个地区2000年的人均国内生产总值（GDP）和人均消费水平的统计数据：求：（1）人均GDP作自变量，人均消费水平作因变量，绘制散点图，并说明二者之间的关系。（2）计算两个变量之间的线性相关系数，说明两个变量之间的关系强度。（3）求出估计的回归方程，并解释回归系数的实际意义。（4）计算判定系数，并解释其意义。（5）检验回归方程线性关系的显著性（a=0.05）。（6）如果某地区的人均GDP为5000元，预测其人均消费水平。（7）求人均GDP为5000元时，人均消费水平95%的置信区间和预测区间。课后习题3.从n=20的样本中得到的有关回归结果是：SSR=60，SSE=40.要检验x与y之间的线性关系是否显著，即检验假设：H0：β1=0。求：（1）线性关系检验的统计量F值是多少？（2）给定显著性水平=0.05，

是多少？（3）是拒绝原假设还是不拒绝原假设？（4）假定x与y之间是负相关，计算相关系数r。（5）检验x与y之间的线性关系是否显著？课后习题4.以下是某地搜集到的新房屋的销售价格y和房屋的面积x的数据：求：（1）画出数据对应的散点图。（2）求线性回归方程，并在散点图中加上回归直线。（3）据（2）的结果估计当房屋面积为150m2时的销售价格。（4）求第2个点的残差。课后习题5.某汽车生产商欲了解广告费用x对销售量y的影响，收集了过去12年的有关数据。通过计算得到下面的有关结果：求：（1）完成上面的方差分析表。（2）汽车销售量的变差中有多少是由于广告费用的变动引起的？（3）销售量与广告费用之间的相关系数是多少？（4）写出估计的回归方程并解释回归系数的实际意义。（5）检验线性关系的显著性（a=0.05）课后习题6.根据两个自变量得到的多元回归方程为

，并且已知n=10，SST=6724.125，SSR=6216.375，

，

。求：（1）在a=0.05的显著性水平下，x1,x2与y的线性关系是否显著？（2）在a=0.05的显著性水平下，

是否显著？（3）在a=0.05的显著性水平下，

是否显著？课后习题7.根据下面输出的回归结果，说明模型中设计多少个自变量，多少个观察值？写出回归方程，并根据F，Se，R2及调整的Ra2的值对模型进行讨论。Thank

you!大数据分析方法与应用第4章聚类算法4.1聚类的原理目录CONTENTS4.2K-Means聚类4.3

K最近邻算法4.4

模糊C-均值算法第4章聚类算法4.1聚类的原理聚类的原理聚类（Clustering）是指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫作簇。聚类算法是数据挖掘和机器学习领域中常见的技术之一，具有广泛的应用。聚类是按照某个特定标准（如距离）把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。在分类（Classification）中，对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪一类标记出来。4.1聚类的原理

聚类的原理聚类的一般过程01数据特征标准化和降维数据准备03通过对选择的特征进行转换形成新的突出特征特征提取02特征选择04基于某种距离函数进行相似度度量，获取簇聚类05分析聚类结果，如距离误差等聚类结果评估从最初的特征中选择最有效的特征，并将其存储在向量中4.2K-Means聚类

K-Means聚类4.2.1K-Means聚类算法的原理K-Means算法步骤为每个聚类确定一个初始聚类中心，这样就有k个初始聚类中心将样本集中的样本按照最小距离原则分配到最近邻聚类使用每个聚类中的样本均值作为新的聚类中心结束得到k个聚类重复步骤2和3直到聚类中心不再变化输入输出簇的数目k和包含n个对象的数据库k个簇，使平方误差准则最小4.2K-Means聚类

K-Means聚类4.2.1K-Means聚类算法的原理K-Means聚类算法使用误差平方和准则函数来评价聚类性能。给定数据集X，其中只包含描述属性，不包含类别属性。假设X包含k个聚类子集X1,X2,…,Xk；各个聚类子集中的样本数量分别为n1,n2,…,nk；各个聚类子集的均值代表点（也称聚类中心）分别为m1,m2,…,mk。误差平方和准则函数公式为：4.2K-Means聚类

K-Means聚类4.2.1K-Means聚类算法的原理数据对象集合S如下表所示，作为一个聚类分析的二维样本，要求的簇的数量k=2O12345x001.555y20002数据对象集合S1）选择O1(0,2)，O2(0,0)为初始的簇中心，即M1=O1=(0,2)，M2=O2=(0,0)4.2K-Means聚类

K-Means聚类4.2.1K-Means聚类算法的原理2）对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇a.

对于O3：

；

；

因为d(M1,O3)≥d(M2,O3)，故将O3分配给C2。b. 对于O4：

；

因为d(M1,O4)≥d(M2,O4)，故将O4分配给C2。c. 对于O5：

；

因为d(M1,O5)≤d(M2,O5)，故将O5分配给C1。综上，得到新簇C1={O1,O5}，中心为M1=O1=(0,2)；C2={O2,O3,O4}，中心为M2=O2=(0,0)。计算平方误差准则，单个方差为：E1=[(0-0)2+(2-2)2]+[(0-5)2+(2-2)2]=25；E2=[(0-0)2+(0-0)2]+[(0-1.5)2+(0-0)2]+[(0-5)2+(0-0)2]=27.25。总体平均方差是：E=E1+E2=25+27.25=52.254.2K-Means聚类

K-Means聚类4.2.1K-Means聚类算法的原理M1=((0+5)/2,(2+2)/2)=(2.5,2)；M2=((0+1.5+5)/3,(0+0+0+0)/3)=(2.17,0)重复2和3，得到O1分配给C1，O2分配给C2，O3分配给C2，O4分配给C2，O5分配给C1。综上，得到新簇C1={O1,O5}，中心为M1=(2.5,2)和C2={O2,O3,O4}，中心为M2=(2.17,0)。单个方差为：E1=[(0-2.5)2+(2-2)2]+[(2.5-5)2+(2-2)2]=12.5；E2=[(2.17-0)2+(0-0)2]+[(2.17-1.5)2+(0-0)2]+[(2.17-5)2+(0-0)2]=13.1667。总体平均方差是：E=E1+E2=12.5+13.1667=25.667。由上可以看出，第一次迭代后，总体平均方差值由52.25至25.667，显著减小。由于在两次迭代中，簇中心不变，所以停止迭代过程，算法停止。3）计算新簇的中心4.2

K-Means聚类

K-Means聚类4.2.1K-Means聚类算法的原理K-Means算法的主要优点是解决聚类问题的一种经典算法，简单、快速;对处理大数据集，该算法是相对可伸缩和高效率的;k值可以根据实际需求自行调节，以达到控制类簇内样本点数量的目的;当结果簇是密集的，而簇与簇之间区别明显时，它的效果较好.4.2

K-Means聚类K-Means聚类4.2.1K-Means聚类算法的原理K-Means算法的主要缺点在簇的平均值被定义的情况下才能使用，这对于处理符号属性的数据不适用;必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果。经常发生得到次优划分的情况。解决方法是多次尝试不同的初始值;它对于“噪声”和孤立点数据是敏感的，少量的该类数据能够对平均值产生极大的影响.4.2

K-Means聚类

K-Means聚类4.2.2K-Means聚类算法在MATLAB中的实现MATLAB提供了专用函数K-Means用于聚类的质心，默认为欧几里得距离，如图所示

MATLAB专用函数K-Means4.2

K-Means聚类K-Means聚类4.2.2K-Means聚类算法在MATLAB中的实现假设给定的数据集X={xm|m=1,2,…,total}，X中的样本用d个描述属性A1,A2,…,Ad（维度）来表示。数据样本xi=(xi1,xi2,…,xid)，xj=(xj1,xj2,…,xjd)，其中xi1,xi2,…,xid和xj1,xj2,…,xjd分别是样本xi和xj对应d个描述属性A1,A2,…,Ad的具体取值。样本xi和xj之间的相似度通常用它们之间的距离d(xi,xj)来表示，距离越小，样本xi和xj越相似，差异度越小；距离越大，样本xi和xj越不相似，差异度越大。欧式距离公式如下：4.2

K-Means聚类

K-Means聚类4.2.2K-Means聚类算法在MATLAB中的实现依据下表中二维数据，通过MATLAB中K-Means算法，令K=3进行聚类。x23-121011540421211222y2010101231-1020212-110

K-Means算法代码示例数据4.2

K-Means聚类

K-Means聚类4.2.2K-Means聚类算法在MATLAB中的实现K-Means算法代码示例14.2

K-Means聚类K-Means聚类4.2.2K-Means聚类算法在MATLAB中的实现K-Means算法代码示例24.2

K-Means聚类

K-Means聚类4.2.2K-Means聚类算法在MATLAB中的实现聚类结果示意由右图可知，K-Means根据距离的远近将数据集中的样本点划分成了三个类簇，并分别用不同的颜色和标记（+，o，*）表示，质心点由“✖”表示。4.3K最近邻算法

K最近邻算法4.3.1K最近邻算法的原理KNN（k-NearestNeighbor），就是K最近邻算法，这是一种常用的监督学习方法。该方法的思路非常简单直观：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别，即“物以类聚，人以群分”。K最近邻算法概述如图所示K最近邻算法概述图4.3K最近邻算法

K最近邻算法4.3.1K最近邻算法的原理K-Means算法与KNN算法的区别K-Means算法K-Means算法是无监督学习，没有样本的输出K-Means算法有很明显的训练过程，需要训练选择质心KNN算法是监督学习，有分类的输出KNN算法基本没有训练过程，其原理是根据测试集的结果选择距离训练集前k个最近的值KNN算法4.3K最近邻算法

K最近邻算法4.3.1K最近邻算法的原理KNN算法实现过程模型三要素距离度量k值分类决策规则首先，随机选择k个对象，所选择的每个对象都代表一个组的初始均值或初始的组中心值，对剩余的每个对象，根据其与各个组初始均值的距离，将他们分配各最近的（最相似）小组其次，重新计算每个小组新的均值最后，这个过程不断重复，直到所有的对象在K组分布中都找到离自己最近的组4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现实例基于六条测井曲线，对岩性进行划分，训练集如图所示训练集由3300个深度的测井曲线以及对应的岩性分类组成。则每一个深度看作一个样本，测井曲线的数值作为属性、岩性作为分类结果。367个深度的测井曲线以及对应的岩性分类作为测试集，测试建立的模型性能。基于六条测井曲线数据构建一个KNN模型，用于岩性类型划分数据目的基于测井数据的岩性识别结果示意图4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现1）数据导入4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现2）建立使用训练数据集构造KDTree4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现3）寻找测试集K个邻居使用KDTree结构体MDI，得到n,

n为样本数x邻居数的矩阵，每一行对应一个测试样本，这一行的所有元素代表最邻近的训练集样本点的索引。4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现4）循环提取测试集样本对应邻居循环提取测试样本的邻居，并统计众数进行投票，得到最终分类结果。使用validate计算最终的准确率分类。其中mode用于计算最近邻点分类向量tempClass中的众数。4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现5）对K进行优化调参将以上过程封装为函数myKNNCLass，将k作为参数进行调参，由于需要使用众数作为结果，因此邻居数应该选择为奇数。4.3K最近邻算法

K最近邻算法4.3.2K最近邻算法在MATLAB中的实现得到结果取近邻数K=1;此时的准确率为90.9836%取近邻数K=3;此时的准确率为87.9781%取近邻数K=5;此时的准确率为84.153%取近邻数K=7;此时的准确率为84.9727%取近邻数K=9;此时的准确率为82.2404%取近邻数K=11;此时的准确率为80.0546%取近邻数K=13;此时的准确率为79.235%取近邻数K=15;此时的准确率为77.8689%，则最后使用取近邻数1为最好。4.3K最近邻算法

K最近邻算法4.3.3鸢尾花分类案例分析Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集鸢尾花有3个亚属，分别为山鸢尾（Iris-setosa）、变色鸢尾（Iris-versicolor）和维吉尼亚鸢尾（Iris-virginica）数据集包含150个数据样本，分为3类，每类50个数据，每个数据包含4个属性可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉分别属于三个亚属中的哪一类列名说明数据类型SepalLength花萼长度FloatSepalWidth花萼宽度FloatPetalLength花瓣长度FloatPetalWidth花瓣宽度FloatClass类别变量。0表示山鸢尾，1表示变色鸢尾，2表示维吉尼亚鸢尾。Int鸢尾花数据集特征4.3K最近邻算法

K最近邻算法4.3.3鸢尾花分类案例分析不同特征描述下鸢尾花分布4.3K最近邻算法

K最近邻算法4.3.3鸢尾花分类案例分析K近邻学习的工作机制给定测试样本，基于某种距离度量找出训练集中与其最靠近的K个训练样本，然后基于这K个“邻居”的信息来进行预测。示例代码如图4.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理传统的聚类分析是一种硬划分（CrispPartition），它把每个待辨识的对象严格地划分到某类中，具有“非此即彼”的性质。然而实际上大多数对象并没有严格的属性，它们在性质和类属方面存在着中介性，具有“亦此亦彼”的性质，因此适合进行软划分。Zadeh提出的模糊集理论为这种软划分提供了有力的分析工具，用模糊方法来处理聚类问题，称之为模糊聚类分析。模糊聚类得到了样本属于各个类别的不确定性程度，表达了样本类属的中介性，建立起了样本对于类别的不确定性的描述，能更客观地反映现实世界，从而成为聚类分析研究的主流。在基于目标函数的聚类算法中模糊C均值（FuzzyC-Means,FCM）类型算法的理论最为完善，应用最为广泛。4.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理模糊C均值聚类的准则设xi(i=1,2,…,n)是n个样本组成的样本集合，c为预定的类别数目，μj(xi)是第i个样本对于第j类的隶属度函数。用隶属度函数定义的聚类损失函数可以写为：其中，b>1是一个可以控制聚类结果的模糊程度的常数。在不同的隶属度定义方法下最小化聚类损失函数，就得到不同的模糊聚类方法。其中最有代表性的是模糊C均值方法，它要求一个样本对于各个聚类的隶属度之和为1，即（i=1,2,…,n）4.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理模糊C均值算法步骤设置目标函数的精度e，模糊指数b（b通常取2）和算法最大迭代次数初始化隶属度矩阵μij和聚类中心vi由公式更新模糊划分矩阵μij和聚类中心vi根据所得到的隶属度矩阵，取样本隶属度最大值所对应类作为样本聚类的结果，聚类结束若目标函数|J(t)-J(t+1)|<e则迭代结束，否则跳转执行步骤3123454.4模糊C-均值算法

模糊C-均值算法4.4.1模糊C-均值算法的原理模糊C均值算法优缺点FCM算法优越于传统硬C均值聚类算法在于隶属度可以连续取值于[0,1]区间，考虑到了样本属于各个类的“亦此亦彼”性，能够对类与类之间样本有重叠的数据集进行分类，具有良好的收敛性。而且FCM算法复杂度低，易于实现。优点如目标函数在迭代过程中容易陷入局部最小、函数收敛速度慢、对初始值、噪声比较敏感等问题。缺点4.4模糊C-均值算法

模糊C-均值算法4.4.2模糊C-均值算法在MATLAB中的实现数据集由400个二维平面上的点组成，这些点构成4个集合，但彼此之间没有明显的极限。数据集示例如图数据集分布4.4模糊C-均值算法

模糊C-均值算法4.4.2模糊C-均值算法在MATLAB中的实现模糊C均值代码4.4模糊C-均值算法

模糊C-均值算法4.4.2模糊C-均值算法在MATLAB中的实现数据集分布4.4模糊C-均值算法

模糊C-均值算法4.4.3用户需求聚类案例分析分析步骤基本思路用电特征提取模型的构建聚类个数确定4.4模糊C-均值算法