统计挖掘方法

1、1、主成分分析主成分分析也称主分量分析，旨在利用降维的思想，把多 指标 转化为少数几个综合指标 。人们希望在进行定量分析 的过程中，涉及的变量较少，得到的信息量 较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来，那么PCA 就能够提供一幅比较低维度的图像，这幅图像即为在讯息最多的点上原对象的一个投影。这样就可以利用少量的主成分使得数据的维度降低了。主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向 样本 点

2、散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。主成分分析作用概括起来说，主成分分析主要由以下几个方面的作用。1、主成分分析能降低所研究的数据空间的维数。即用研究m 维的 Y 空间代替p 维的 X空间 (m p)，而低维的Y 空间代替高维的x 空间所损失的信息很少。2、有时可通过因子负荷aij 的结论，弄清X 变量间的某些关系。3、多维数据的一种图形表示方法。我们知道当维数大于3 时便不能画出几何图形，多元统计研究的问题大都多于3 个变量。要把研究的问题用图形表示出来是不可能的。然而，

3、经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出 n 个 样品 在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位，进而还可以对样本进行分类处理，可以由图形发现远离大多数样本点的离群点。4、由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x 做 回归分析 。5、用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报， 好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。 用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。主成分分析法的计算步骤1 、

4、原始指标数据的标准化采集p 维随机向量 x = (x,XT个样品xi =,.,Xp ) )n12(xi1 ,x i2,.,xip )T ， i=1,2,n n，p ，构造样本阵，对样本阵元进行如下标准化变换：其中，得标准化阵Z 。2、对标准化阵Z 求相关系数矩阵其中 ,3、解样本相关矩阵R 的特征方程得 p个特征根 ,确定主成分按确定m值，使信息的利用率达85% 以上，对每个j,j=1,2,.,m,解方程组Rb = jb 得单位特征向量。4、将标准化后的指标变量转换为主成分U1 称为第一主成分,U2 称为第二主成分U,p ,称为第 p 主成分。5 、对 m个主成分进行综合评价对 m个主成分进行

5、加权求和，即得最终评价值，权数为每个主成分的方差贡献率。2、因子分析因子分析法 是指从研究指标相关矩阵内部的依赖关系出发，把一些信息重叠、具有错综复杂关系的变量归结为少数几个不相关的综合因子的一种多元统计分析方法。基本思想是：根据相关性大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量不相关或相关性较低，每组变量代表一个基本结构一即公共因子。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。因子分析的方法约有10 多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、 拉奥典型抽因法等等。这些方法

6、本质上大都属近似方法，是以 相关系数 矩阵为基础的，所不同的是相关系数矩阵对角线上的值因子分析法的步骤应用因子分析法的主要步骤如下：(1) 对数据样本进行标准化处理。(2) 计算样本的相关矩阵 R。(3) 求相关矩阵 R 的特征根和特征向量。(4) 根据系统要求的累积 贡献率 确定主因子的个数。(5) 计算因子载荷矩阵 A 。(6) 确定因子模型。(7) 根据上述计算结果，对系统进行分析。因子应用在市场调研 中，研究人员关心的是一些研究指标的集成或者组合，这些概念通常是通过等级评分问题来测量的，如利用 李克特量表 取得的变量。 每一个指标的集合（或一组相关联的指标）就是一个因子，指标概念等级得

7、分就是因子得分。因子分析在市场调研中有着广泛的应用，主要包括：（ 1）消费者习惯和态度研究（ U&A）（ 2） 品牌形象和特性研究（ 3）服务质量调查（ 4） 个性测试（ 5）形象调查（ 6） 市场划分识别（ 7）顾客、产品和行为分类在实际应用中， 通过因子得分可以得出不同因子的重要性指标，而管理者则可根据这些指标的重要性来决定首先要解决的市场问题或产品问题。因子分析与主成分分析的区别因子分析法和主成分分析法的主要区别为：(1) 主成分分析是将主要成分表示为原始观察变量的线性组合，而因子分析是将原始观察变量表示为新因子的线性组合，原始观察变量在两种情况下所处的位置不同。(2) 主成分分

8、析中，新变量Z 的坐标维数 j(或主成分的维数 )与原始变量维数相同，它只是将一组具有相关性的变量通过正交变换转换成一组维数相同的独立变量，再按总方差误差的允许值大小，来选定q 个 (q<p) 主成分；而因子分析法是要构造一个模型，将问题的为数众多的变量减少为几个新因子，新因子变量数m 小于原始变量数P ，从而构造成一个结构简单的模型。可以认为，因子分析法是主成分分析法的发展。(3)主成分分析中，经正交变换的变量系数是相关矩阵R 的特征向量的相应元素；而因子分析模型的变量系数取自因子负荷量，即。因子负荷量矩阵A 与相关矩阵R 满足以下关系：其中， U 为 R 的特征向量。在考虑有残余项时

9、，可设包含i的矩阵 为误差项，则有R - AAT = 。3、判别分析判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息 ，总结出客观事物分类的规律性，建立判别公式和判别准则。当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析按照判别的组数 来区分， 可以分为两组判别分析和多组判别分析。判别分析的方法费歇（ FISHER ）判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴 ,使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类

10、间离差尽可能大。贝叶斯（ BAYES ）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。所谓先验概率,就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率， 就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果。距离判别思想是根据各样品与各母体之间的距离远近作出判别。即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。4、聚类分析聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分

11、析的目标就是在相似的基础上收集数据来分类。聚类分析的计算方法聚类分析计算方法主要有如下几种：分裂法(partitioningmethods) ：层次法 (hierarchicalmethods) ：基于密度的方法(density -based methods): 基于网格的方法(grid -basedmethods):基于模型的方法 (model -based methods) 。聚类分析的特征聚类分析是根据事物本身的特性研究个体的一种方法，目的在于将相似的事物归类。它的原则是同一类中的个体有较大的相似性，不同类的个体差异性很大。这种方法有三个特征：(1) 适用于没有先验知识的分类。如果没有这

12、些事先的经验或一些国际标准 、国内标准 、行业标准 ，分类便会显得随意和主观。这时只要设定比较完善的分类变量，就可以通过聚类分析法得到较为科学合理的类别；(2) 可以处理多个变量决定的分类。例如，要根据消费者购买量的大小进行分类比较容易，但如果在进行 数据挖掘 时，要求根据 消费者 的购买量、家庭收入、家庭支出、年龄等多个指标进行分类通常比较复杂，而聚类分析法可以解决这类问题；(3) 聚类分析法是一种探索性分析方法，能够分析事物的内在特点和规律，并根据相似性原则对事物进行分组，是数据挖掘中常用的一种技术。K-均值法聚类K-均值算法表示以空间中k 个点为中心进行聚类， 对最靠近他们的对象归类。例

13、如：数据集合为三维，聚类以两点：X =(x, x, x ),Y =(y , y, y )。中心点 Z 变为123123Z =(z1 , z2, z3)，其中 z1 = (x1 + y1)/2 ， z2 = (x2+ y2)/2 ， z3= (x3 + y3)/2 。算法归纳为 :?选择聚类的个数k.?任意产生k 个聚类，然后确定聚类中心，或者直接生成k 个中心。?对每个点确定其聚类中心点。?再计算其聚类新中心。?重复以上步骤直到满足收敛要求。(通常就是确定的中心点不再改变).该算法的最大优势在于简洁和快速。 劣势在于对于一些结果并不能够满足需要，因为结果往往需要随机点的选择非常巧合。5、回归分

14、析6、方差分析7、逻辑回归8、 Bayes 统计分析9、 C4.510、KNNKNN 最邻近规则，主要应用领域是对未知事物的识别，即判断未知事物属于哪一类，判断思想是，基于欧几里得定理，判断未知事物的特征和哪一类已知事物的的特征最接近；如果一个样本在特征空间中的k 个最相似 (即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K-NN 可以说是一种最直接的用来分类未知数据的方法。明就可以明白K-NN 是干什么的基本通过下面这张图跟文字说简单来说， K-NN 可以看成：有那么一堆你已经知道分类的数据，然后当一个新数据进入的时候，就开始跟训练数据里的每个点求距离，然后挑离

15、这个训练数据最近的 K 个点看看这几个点属于什么类型，然后用少数服从多数的原则，给新数据归类。算法步骤：step.1- 初始化距离为最大值step.2- 计算未知样本和每个训练样本的距离diststep.3- 得到目前 K 个最临近样本中的最大距离maxdiststep.4- 如果 dist 小于 maxdist ，则将该训练样本作为K- 最近邻样本step.5- 重复步骤 2 、 3 、4 ，直到未知样本和所有训练样本的距离都算完step.6- 统计 K- 最近邻样本中每个类标号出现的次数step.7- 选择出现频率最大的类标号作为未知样本的类标号KNN - 不足该算法在分类时有个主要的不足

16、是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K 个邻居中大容量类的样本占多数。 因此可以采用权值的方法（和该样本距离小的邻居权值大）来改进。该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的 K 个最近邻点。 目前常用的解决方法是事先对已知样本点进行剪辑，对分类作用不大的样本。 该算法比较适用于样本容量比较大的类域的自动分类，事先去除而那些样本容量较小的类域采用这种算法比较容易产生误分。11、支持向量机支持向量机 (Support Vector Machine 表现出许多特有的优

17、势，并能够推广应用到， SVM)在解决小样本、非线性及高维模式识别中函数拟合 等其他 机器学习 问题中。支持原因支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的 超平面 的两边建有两个互相平行 的超平面。 建立方向合适的分隔超平面 使两个与之平行的超平面间的距离最大化。其假定为， 平行 超平面 间的距离或差距越大，分类器的总误差越小。SVM 的关键在于核函数。低 维空间 向量集通常难于划分，解决的方法是将它们映射到高维空间 。但这个办法带来的困难就是计算复杂度 的增加， 而核函数 正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数 ，就可以得到

18、高维空间 的分类函数。在SVM 理论中，采用不同的核函数 将导致不同的SVM 算法。问题定义设样本属于两个类，用该样本训练svm 得到的最大间隔超平面。在超平面上的样本点也称为支持向量.我们考虑以下形式的个点的测试集,。其中是或者。超平面的数学形式可以写作:。其中是超平面上的点，是垂直于超平面的向量。根据几何知识， 我们知道向量垂直于分类超平面。 加入位移 b 的目的是增加间隔。如果没有 b 的话，那超平面将不得不通过原点， 限制了这个方法的灵活性。由于我们要求最大间隔，因此我们需要知道支持向量以及（与最佳超平面）平行的并且离支持向量最近的超平面。 我们可以看到这些平行超平面可以由方程族：。来

19、表示。 由于 只是超平面的法向量，长度未定，是一个变量，所以等式右边的 1 和-1 只是为计算方便而取的常量，其他常量只要互为相反数亦可。如果这些训练数据是线性可分的， 那就可以找到这样两个超平面， 在它们之间没有任何样本点并且这两个超平面之间的距离也最大。 通过几何不难得到这两个超平面之间的距离是 2/| w| ，因此我们需要最小化 | w| 。同时为了使得样本数据点都在超平面的间隔区以外，我们需要保证对于所有的满足其中的一个条件这两个式子可以写作：原型 (Primal form)现在寻找最佳超平面这个问题就变成了在（1）这个约束条件下最小化w| |.这是一个 二次规划 QP(quadrat

20、ic programming)最优化中的问题。更清楚的表示：，满足其中。1/2 这个因子是为了数学上表达的方便加上的。解如上约束问题 ,通常的想法可能是使用非负拉格朗日乘数于下式此式表明我们寻找一个鞍点。这样所有可以被分离的点就无关紧要了，因为我们必须设置相应的为零。这个问题现在可以用标准二次规划技术标准和程序解决。 结论可以表示为如下训练向量的线性组合，其中只有很少的会大于 0.对应的就是支持向量 ,这些支持向量在边缘上并且满足.由此可以推导出支持向量也满足:。 因此允许定义偏移量.在实际应用中，把所有支持向量的偏移量做平均后鲁棒性更强:。对偶型（ Dual Form ）把原型的分类规则写作

21、对偶型，可以看到分类器其实是一个关于支持向量（即那些在间隔区边缘的训练样本点）的函数。根据，并且带入，可以得到支持向量机的对偶型如下：满足且12、K-Means在数据挖掘中，K-Means 算法是一种cluster analysis 的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。K-means算法是将样本聚类成k 个簇（ cluster），具体算法描述如下：1、 随机选取 k 个聚类质心点（ cluster centroids）为。2、 重复下面过程直到收敛对于每一个样例i，计算其应该属于的类对于每一个类j ，重新计算该类的质心K 是我们事先给定的聚类数，代表样

22、例i 与 k 个类中距离最近的那个类，的值是 1到 k 中的一个。质心代表我们对属于同一个类的样本中心点的猜测，拿星团模型来解释就是要将所有的星星聚成k 个星团，首先随机选取k 个宇宙中的点（或者k 个星星）作为k 个星团的质心，然后第一步对于每一个星星计算其到k 个质心中每一个的距离，然后选取距离最近的那个星团作为，这样经过第一步每一个星星都有了所属的星团；第二步对于每一个星团，重新计算它的质心（对里面所有的星星坐标求平均）。重复迭代第一步和第二步直到质心不变或者变化很小。K-Means 的算法如下：1 、随机在图中取K 个种子点。2 、然后对图中的所有点求到这 K 个种子点的距离，假如点 Pi 离种子点 Si 最近，那么 Pi 属于 Si 点群。3 、接下来，我们要移动种子点到属于他的“点群 ”的中心。（见图上的第三步）4 、 然后重复第2）和第 3）步，直到，种子点没有移动.我这里想告诉大家另三个求中心点的的公式：1） Minkowski Distance公式 可以随意取值，可以是负数，也可以是正数，或是无穷大。2） Euclidean Distance公式 也就是第一个公式 =2的情况3） CityBlock Distance公式 也就是第一个公式 =1的情况K-Means 主要有两个最重大的缺陷 都和初始值有关：? K