《数学建模》实验指导书1.doc

数学建模实验指导书刘 凤 秋哈理工应科院应用数学系2008年9月实验二 聚类与判别实验项目名称：利用Matlab进行聚类和判别分析实验项目性质：普通实验所属课程名称：数学建模实验参考资料：实验计划学时：4一、实验目的：1、利用MATLAB进行聚类分析和判别分析；2、通过实际例题学习用聚类和判别分析解决相关简单的实际问题；3、理解判别分析误判率含义，应用判别模型进行预测。二、实验内容2.1 聚类分析1、工厂产品问题（教材220页例题9.3）；2、工人身高体重问题 （教材239页习题9.1）；2.2 判别分析1、 雨天非雨天问题（教材231页例9.5）；2、 蠓的分类 （教材234页）；三、实验方法、步骤及结果分析简要提示 3.1 基础知识一、聚类在MATLAB中通过pdist、linkage、dendrogram、cluster等函数来完成此种方法。层次聚类的过程如下：1、 相似性度量 确定对象（实际上就是数据集中的每个数据点）之间的相似性，实际上就是定义一个表征对象之间差异的距离，例如最简单的平面上点的聚类中，最经常使用的就是欧几里得距离。使用pdist来实现，具体用法如下: Y = pdist（X，distance）根据距离distance来计算X中各点之间的距离Y。 其中X为数据集，distance可以取为欧氏距离，马氏距离，切比雪夫距离。 对于具有M个点的数据集X，pdist之后的Y将是具有M*(M-1)/2个元素的行向量。 例1-1：Y=pdist（X）举例。 X=randn(6,2)X = -0.4326 1.1892 -1.6656 -0.0376 0.1253 0.3273 0.2877 0.1746 -1.1465 -0.1867 1.1909 0.7258plot(X(:,1),X(:,2),bo) %画出X的散点图（图1）图1 Y=pdist(X) %计算X的第一个点与与2-6点、第2点与3-6点,.距离Y = Columns 1 through 151.7394 1.0267 1.2442 1.5501 1.6883 1.8277 1.9648 0.5401 2.9568 0.2228 1.3717 1.1377 1.4790 1.0581 2.5092例子中X数据集可以看作包含6个平面数据点，pdist之后的Y是一个行向量，15个元素分别代表X的第1点与2-6点、第2点与3-6点,.这样的距离。则Y为具有个元素的行向量。注：（1）Y这样的显示虽然节省了内存空间，但对用户来说不是很易懂，如果需要对这些距离进行特定操作的话，也不太好索引。MATLAB中可以用squareform把Y转换成方阵形式，方阵中位置的数值就是X中第i和第j点之间的距离，显然这个方阵应该是个对角元素为0的对称阵。 squareform(Y)ans = 0 1.7394 1.0267 1.2442 1.5501 1.6883 1.7394 0 1.8277 1.9648 0.5401 2.9568 1.0267 1.8277 0 0.2228 1.3717 1.1377 1.2442 1.9648 0.2228 0 1.4790 1.0581 1.5501 0.5401 1.3717 1.4790 0 2.5092 1.6883 2.9568 1.1377 1.0581 2.5092 0注：（2）pdist可以使用多种参数，指定不同的距离算法。另外，当数据规模很大时，可以想象pdist产生的Y占用内存将是很吓人的，比如X有10k个数据点，那么X占10k*8*2Bytes=160K，这看起来不算啥，但是pdist后的Y会有10k*10k/2*8Bytes=400M。因此，使用MATLAB的层次聚类来处理大规模数据，大概是很不合适的。2、聚类树的产生确定好了对象间的差异度（距离）后，就可以用Z=linkage(Y)产生层次聚类树。 Z=linkage(Y)表示为6+1类，即第7类Z = 3.0000 4.0000 0.2228表示为6+2类，即第8类 2.0000 5.0000 0.5401 1.0000 7.0000 1.0267 6.0000 9.0000 1.0581 8.0000 10.0000 1.3717对于6个元素的X， Y是1行6*(6-1)/2的行向量，Z则是(6-1)*3的矩阵。Z数组的前两列是索引下标列，最后一列是距离列。如上例中表示在产生聚类树的计算过程中，第3和第4点先聚成一类，他们之间的距离是0.2228，以此类推。要注意的是，为了标记每一个节点，需要给新产生的聚类也安排一个标识，MATLAB中会将新产生的聚类依次用6+1,6+2,.依次来标识。比如第3和第4点聚成的类以后就用7来标识，第2和第5点聚成的类用8来标识，依次类推。通过linkage函数计算之后，实际上二叉树式的聚类已经完成了。Z这个数据数组不太好看，可以用dendrogram(Z)来可视化聚类树。 dendrogram(Z) 注：（3） dendrogram默认最多画30个最底层节点，当然可是设置参数改变这个限制，比如dendrogram(Z,0)就会把所有数据点索引下标都标出来，但对于成千上万的数据集合，这样的结果必然是图形下方非常拥挤。3、聚类树的检验（Verifying the Cluster Tree）* 初步的聚类树画完后，还要做很多后期工作的，包括这样的聚类是不是可靠，是不是代表了实际的对象分化模式，对于具体的应用，应该怎样认识这个完全版的聚类树，产生具有较少分叉的可供决策参考的分类结果呢？这都是需要考虑的。 MATLAB中提供了cluster, clusterdata, cophenet, inconsistent等相关函数。cluster用于剪裁完全版的聚类树，产生具有一定cutoff的可用于参考的树。 clusterdata可以认为是pdist,linkage,cluster的综合，当然更简易一点。cophenet和inconsistent用来计算某些系数，前者用于检验一定算法下产生的二叉聚类树和实际情况的相符程度（就是检测二叉聚类树中各元素间的距离和pdist计算产生的实际的距离之间有多大的相关性），inconsistent则是量化某个层次的聚类上的节点间的差异性（可用于作为cluster的剪裁标准）。后面这些的理解，大概需要对聚类有一个更深刻更数学的认识。在一个层次聚类树中，在原数据集中任何两个对象最终是某种程度上联结在一起。联结的高度代表了包含这两个对象两个组之间的距离。这个高度就是两个对象间的分类距离。对于由linkage函数产生的聚类树，一种衡量其优劣的方式就是比较由linkage和pdist产生的距离。如果聚类有效，在分类树中，对象的联结与距离向量中的对象将会具有强关联性。Cophenet函数比较了这些值所在的两个集合并且计算它们的相关性，返回值称为分类相关系数，此值越接近1，说明对数据聚类的结果越能精确。例如：图4 将20工厂的值赋给16和21工厂的聚类结果根据图4可见，聚类结果为：第一次计算两个样品的最小距离是1，所以把距离为1的点合成一类： 17，18，19，12，13，5，6，11，7，8，9，1，2第二次计算两个类间的最短距离为。把距离不大于的类归为一类，则得5个扩大的新类： 20，17，18，19， 5，6，11，3，7，8，9，10第三次计算两个类间的最小距离为2，则有新类 12，13，15，1，2，3，4第四次计算两个类间的最小距离为2.2361，则将所有的点（除16和21），归在四类中：12，13，15，14，1，2，3，4，5，6，11，7，8，9，10，17，18，19，20二、判别 能将数据模型进行分类的特征曲线称作分类器。对于一种已知的分类器而言，源于训练数据。然后基于此分类器对新的样本进行分类。两个总体的判别法参数化的方法，例如判别分析根据训练数据拟合出参数模型，然后代入新的数据对其进行分类。非参数化的方法，如分类树的方法使用其它的方式去确定分类器。判别分析使用训练数据去估计关于预测变量的判别函数。在预测空间中，判别函数确定不同类之间的界限。1、距离判别法 以G1和G2分别表示两总体，设它们是取值于R p中的随机变量，它们的数学期望和协方差矩阵分别为，问题：设有一个样本，问x属于总体G1还是属于总体G2？距离判别法是根据x与G1、G2的距离决定x的归属。其原则是：若x与G1距离小，则x属于G1；若x与G2的距离小，则x属于G2。即（）如果，则判断；（）如果，则判断。其中，为马氏距离，即， class,err,POSTERIOR = classify(sample,training,group,type)说明：sample样本数据； training训练数据集。Classify将训练集training中的每行样本sample数据进行分类， sample与training必须是具有相同列数的矩阵； group训练数据所对应的类集合； type判别函数的类型；可选以下类型： （1）linear 线性分类器，为缺省时默认值。 （2）diaglinear 对角线性分类器，类似于 linear, 但其具有一对角协方差矩阵估计 (naive Bayes classifiers). （3）quadratic Fits multivariate normal densities with covariance estimates stratified by group. （4）diagquadratic 类似于quadratic，但具有一个对角协方差矩阵估计。 Similar to quadratic, but with a diagonal covariance matrix estimate (naive Bayes classifiers).（5）mahalanobis 使用马氏距离及协方差估计。返回值class对sample的分类结果； err基于训练数据的误判率估计；POSTERIOR后验概率矩阵的估计值，即已知第i个样本观察值条件下，其来源于第j各类的概率Pr(group j|obs i)。马氏判别法时不计算此后验概率。2、费希尔判别法费歇判别法是借助于方差分析导出线性判别函数。设有个总体，从总体中取个维观察数据，得： ： ：其中，为维列向量。样本总数为。费歇准则下的线性判别函数为，其中为(2)式的最大特征根所对应的最大特征向量(对应的判别效率为)。因此, 费歇的判别思想是利用投影，将组维数据投影到某一个方向，使得它们的投影组之间尽可能地分开。在时，由(4)式可取 （5）3、判别准则的评价误判概率当一个判别准则提出之后，很自然的问题就是它们的优良性如何？通常，我们用它的误判概率来衡量，即在一定判别准则下，将一个样品判错的概率称为该判别准则的误判概率，简称误判率。设两个总体和，与为分别来自于和的容量分别为和的训练样本，以全体训练样本作为+ 个新样本，逐个代入已经建立的判别准则中判别其归属，这个过程称为回判。将回判结果连同其实际分类列表如下：表1 两总体的回判结果实际归类 回判情况 合计 其中：属于的样品被正确判归的个数；：属于的样品被错误判归的个数；：属于的样品被错误判归的个数；：属于的样品被正确判归的个数。显然有+=，+=，+ 为两总体训练样品的总数，+为总的误判个数。误判率的回代估计为。在一定程度上反映了某判别准则的误判率且对任何判别准则都易于计算，但其只是误判率一种近似，当样本容量较大时，还是具有一定的参考价值。4、多总体的距离判别法*基本思路：若有k各n维总体，其均值向量和协方差矩阵（或样本均值和样本协方差矩阵）均已知。类似于两总体距离判别法，计算新样本到各总体的距离，比较所得到的距离的大小，判定x属于与其距离最短的总体（若最短距离不唯一，可将其归于任一个与其具有最短距离的总体）。详细内容请参考数理统计与MATLAB工程数据分析，清华大学出版社，王岩等编著。3.2 实验2.1详细提示 M程序文件： X=randn(6,2); plot(X(:,1),X(:,2),bo) Y=pdist(X); squareform(Y) Z=linkage(Y) dendrogram(Z)图1 最后的聚类结果3.3 实验2.2-1详细提示M程序文件：clearclcload rainday.mat me=X1;X2;Y1 = me(1:end,1);Y2 = me(1:end,2);A=ones(9,1);B=ones(9,1)*2;group=A;B;h1 = gscatter(Y1,Y2,group,rb,v,off); set(h1,LineWidth,2)legend(rain,rainless,. Location,NW) X,Y = meshgrid(linspace(-15,10),linspace(-20,15);X = X(:); Y = Y(:); C,err,P,logp,coeff = classify(X Y,Y1 Y2,. group,mahalanobis);hold on;gscatter(X,Y,C,rb,.,1,off); K = coeff(1,2).const;L = coeff(1,2).linear; Q = coeff(1,2).quadratic;f = sprintf(0 = %g+%g*x+%g*y+%g*x2+%g