Matlab笔记——模糊聚类分析资料报告原理及实现023

1、23. 模糊聚类分析原理及实现聚类分析，就是用数学方法研究和处理所给定对象， 按照事物间的相似性进行区分和分类的过程。传统的聚类分析是一种硬划分， 它把每个待识别的对象严格地划分到某个类中，具有非此即彼的性质， 这种分类的类别界限是分明的。随着模糊理论的建立，人们开始用模糊的方法来处理聚类问题，称为模糊聚类分析。 由于模糊聚类得到了样本数与各个类别的不确定性程度，表达了样本类属的中介性， 即建立起了样本对于类别的不确定性的描述，能更客观地反映现实世界。本篇先介绍传统的两种 （适合数据量较小情形， 及理解模糊聚类原理）：基于择近原则、模糊等价关系的模糊聚类方法。（一）预备知识一、模糊等价矩阵定义

2、 1 设 R=(r ij)nn 为模糊矩阵， I 为 n 阶单位矩阵，若R 满足i) 自反性： I R （等价于 rii =1）；ii) 对称性： RT=R;则称 R 为模糊相似矩阵，若再满足niii)传递性：R2R（等价于(rik k 1rkj )rij）则称R 为模糊等价矩阵。定理 1 设 R 为 n 阶模糊相似矩阵，则存在一个最小的自然数 k （kn）, 使得 Rk 为模糊等价矩阵， 且对一切大于 k 的自然数 l，恒有Rl=Rk. Rk 称为R 的传递闭包矩阵，记为t(R).二、模糊矩阵的-截矩阵定义2 设A=(aij )nm 为模糊矩阵，对任意的0,1,作矩阵Aaij( ) n m其

3、中，aij( )1,aij0,aij称为模糊矩阵A 的 -截矩阵。显然， A为布尔矩阵，且其等价性与与A一致。意义：将模糊等价矩阵转化为等价的布尔矩阵， 可以得到有限论域上的普通等价关系， 而等价关系是可以分类的。 因此，当 在0,1上变动时，由 A得到不同的分类。若 12,则 A1A2, 从而由 A2 确定的分类是由A1 确定的分类的加细。当 从 1 递减变化到 0 时，A的分类由细变粗， 逐渐归并，形成一个分级聚类树。例 1 设 U= u1, u2, u3, u4, u5, 对给定的 U 上的模糊等价关系让 从 1 到 0 变化，观察分类过程。(1) 当 =1 时，1000001000R1

4、001000001000001分类结果为 5 类：（每行代表一类， 1 代表对应元素在该类） u1, u2, u3, u4, u5(2) 当 =0.8 时，1010001000R0.8101000001000001分类结果为 4 类： u1, u3, u2, u4, u5(3) 当 =0.6 时，1010001000R0.6101000001100011分类结果为 3 类： u1, u3, u2, u4, u5(4) 当 =0.5 时，1011101000R0.5101111011110111分类结果为 2 类： u1, u3, u4, u5, u2(4) 当 =0.4（R 中的最小值）时，1

5、111111111R0.4111111111111111分类结果为 1 类： u1, u2, u3, u4, u5整个动态分类过程如下：（二）基于择近原则的模糊聚类择近原则就是利用贴近度来实现分类操作， 贴近度用来衡量两个模糊集 A 和 B 的接近程度，用 N( A, B) 表示。贴近度越大，表明二者越接近。设论域有限或者在一定区间，即U= u1, u2, un 或 U=a,b, 常用的贴近度有以下三种：(1) 海明贴近度N (A, B)11n| A(ui )B(ui) |n i 11bN( A,B) 1| A(ui ) B(ui ) | duba a(2) 欧氏贴近度n112N(A,B) 1

6、 A(ui ) B(ui ) 2ni 11b1N(A,B) 12a A(ui ) B(ui ) 2 dub a(3) 格贴近度N ( A, B)( AB)( AcB c )n其中， ABA(ui )B(ui ) .i 1Matlab 实现：格贴近度的实现函数fuz_closing.mfunctiony=fuz_closing(A,B,type)%要求 A与B列数相同的行向量m,n=size(A);switchtypecase1%海明贴近度y=1-sum(abs(A-B)/n;case2%欧氏贴近度y=1-(sum(A-B).2)(1/2)/sqrt(n);case3%格贴近度y1=max(mi

7、n(ones(m,n)-A,ones(m,n)-B);%ones(m,n)-A等于 Acy2=max(min(A,B);y=min(y1,y2);end例 2 设某产品的质量等级分为 5 级，其中一级有 5 种评判因素 u1, u2, u3, u4, u5. 每一等级的模糊集为B1=0.5 0.5 0.6 0.4 0.3B2=0.3 0.3 0.4 0.2 0.2B3=0.2 0.2 0.3 0.1 0.1B4=0.1 0.1 0.2 0.1 0B5=0.1 0.1 0.1 0.1 0假设某产品各评判因素的值为A=0.4 0.3 0.2 0.1 0.2,问该产品属于哪个等级？代码：A=0.4

8、0.3 0.2 0.1 0.2;B=0.5 0.5 0.6 0.4 0.3;0.3 0.3 0.4 0.2 0.2;0.2 0.2 0.3 0.1 0.1;0.1 0.1 0.2 0.1 0;0.1 0.1 0.1 0.1 0;fori=1:5haiming(i)=fuz_closing(A,B(i,:),1);oushi(i)=fuz_closing(A,B(i,:),2);ge(i)=fuz_closing(A,B(i,:),3);endhaimingoushige运行结果：haiming = 0.78000.92000.90000.86000.8400oushi =0.50810.910

9、60.86580.68700.6422ge =0.40000.30000.20000.20000.1000可见样本 A 与各等级的格贴近度分别为0.4, 0.3, 0.2,0.2, 0.1,故可认为该产品属于B1 等级。若按令两种贴近度判断，该产品属于B2等级。（三）基于模糊等价关系的模糊聚类一、算法步骤1. 样本数据归一化设 X= x1, x2, xn 为要分类的 n 个样本，每个样本有 m 个指标，即xi= xi 1, xi2, xim,i=1,2,.,n得到原始数据矩阵X=( xij )nm.由于不同指标的数据量纲不同， 为了使数据能够比较， 要先对 X 做归一化处理。2. 建立模糊相似

10、矩阵 R先建立样本 xi 与 xj 相似程度 r ij, 进而构造模糊相似矩阵R=(rij )nn建立 rij 常用的方法有：(1) 相似系数法mxikxjk夹角余弦法： rijk 1mmxik2x2jkk 1k 1m| xikxi | | x jk x j |k 1相关系数法： rijmm( xikxi )2( x jk x j ) 2k 1k 1(2)距离法一般取 rij =1-c(d(xi,xj), 其中 c 和 为适当选取的参数，使得0rij 1. 常用的距离有：m海明距离：d ( xi , xj )| xik x jk |k1mxjk )2欧氏距离： d ( xi , x j )(

11、xikk 1切比雪夫距离： d ( xi , x j )max | xik x jk |1 km(3) 贴近度法m(xikxjk )最大最小法： rijk1m(xikxjk )k1m( xikx jk )算术平均最小法：rijk11m( xikx jk )2 k 1m( xikxjk )k 1几何平均最小法： rijmxikxjkk 13. 求出 R 的传递闭包 t(R)即改造相似关系为等价关系：令R2RR,再令R4R2R2,直到满足 R2lRlRl 与 Rl 相等，即为 t(R), 仍记为 R.4. 选取合适的 , 利用 -截矩阵 R进行分类（参考例 1）。二、 Matlab 实现求模糊相似

12、矩阵R 的函数： fuz_distance.mfunctionR=fuz_distance(x,type)%x为归一化的数据矩阵 , type选择计算相似程度的方法%返回模糊相似矩阵 Rn,m=size(x);%距离法的选择参数 c 和 a,需要根据具体情况修改以保证R(i,j)属于 0,1c=0.1;a=1;fori=1:nforj=1:nswitchtypecase1%夹角余弦法R(i,j)=(x(i,:)*x(j,:)/(norm(x(i,:),2)*norm(x(j,:),2);case2%相关系数法Dxi=abs(x(i,:)-mean(x(i,:);Dxj=abs(x(j,:)-m

13、ean(x(j,:);R(i,j)=(Dxi*Dxj)/(norm(Dxi,2)*norm(Dxj,2);case3%海明距离法d=sum(abs(x(i,:)-x(j,:);R(i,j)=1-c*da;case4%欧氏距离法d=norm(x(i,:)-x(j,:),2);R(i,j)=1-c*da;case5%切比雪夫距离法d=max(abs(x(i,:)-x(j,:);R(i,j)=1-c*da;case6最大最小 ( 贴近度 ) 法R(i,j)=sum(min(x(i,:);x(j,:)/sum(max(x(i,:);x(j,:);case7算术平均最小 ( 贴近度 ) 法R(i,j)=

14、2*sum(min(x(i,:);x(j,:)/sum(x(i,:)+x(j,:);case8%几何平均最小 ( 贴近度 ) 法R(i,j)=sum(min(x(i,:);x(j,:)/sum(sqrt(x(i,:).*x(j,:);endendend求 R 的传递闭包 t(R)的函数： tran_R.mfunctionB,k=tran_R(R)%R为模糊相似矩阵 ,循环构造满足传递性的 t(R)%k为满足 R2k = Rk的最小的自然数 kn=length(R);B=zeros(n,n);flag=0;k=1/2;whileflag=0B=fco(R,R);%做模糊合成运算k=2*k;ifB

15、=Rflag=1;elseR=B;%循环计算 R传递闭包endend上面的函数 tran_R.m 调用函数矩阵模糊合成算子函数：fco.mfunctionB=fco(Q,R)%实现模糊合成算子的计算,要求 Q的列数等于 R的行数n,m=size(Q);m,l=size(R);B=zeros(n,l);fori=1:nfork=1:lB(i,k)=max(min(Q(i,:);R(:,k);endend求 t(R)的 -截矩阵的函数： fuz_lamda.mfunctiony=fuz_lamda(X,m)%用 - 截矩阵将样本分成 m类, m 总样本数lamda=unique(X);%根据 R中

16、的值取值%unique 函数取矩阵不重复元素组成向量并从小到大排好序X(find(X=lamda(m)=1;y=X;例 3 某地区设有 11 个雨量站，其分布如图所示：10 年来各雨量站测得的年降雨量表如下：现因经费问题， 希望撤销几个雨量站， 问撤销哪些雨量站而不会太多地减少降雨信息？分析：对 11 个雨量站进行模糊聚类，同一类的只需保留一个即可。比如，已知该市决定撤销 6 个只保留 5 个雨量站，则模糊聚类为5 类。代码：load data ;%数据归一化X,ps=mapminmax(data,0,1);X=X;%选择计算相似程度的方法type=3;%c=0.1, a=1,此时也称绝对值减

17、数法%求模糊相似矩阵 R0R0=fuz_distance(X,type)%将模糊相似矩阵 R0改造成模糊等价矩阵 RR,k=tran_R(R0)%求将样本分成 8 类的 - 截矩阵R_lamda=fuz_lamda(R,8)运行结果及说明：归一化后的数据矩阵X:模糊相似矩阵 R0:由 R0 改造成的模糊等价矩阵R:k =8 说明 R16 =R8.将样本分为 5 类的 -截矩阵 R_lamda:可以判断 5 类分别是： x1,x7 x2, x4,x5,x6 x3, x9 x8, x11 x10注：对于这类C 均值模糊聚类问题，也可以直接调用Matlab 自带的模糊聚类函数fcm.m 求解。调用方

18、式：center,U, obj_fcn,=fcm(data,cluster_n)其中， data 为归一化后的样本数据，每一行是一个样本； cluster_n 为聚类数；center 返回最终的聚类中心矩阵； U 为最终的模糊分区矩阵； obj_fcn 为迭代过程中的目标函数值（越小越好） 。代码：（X 为前面已归一化的样本数据）center,U, obj_fcn=fcm(X,5)maxU=max(U);index1 = find(U(1,:)=maxU);%第一类index2 = find(U(2,:)=maxU);%第二类index3 = find(U(3,:)=maxU);%第三类index4 = find(U(4,:)=