模式识别大作业--模糊C均值算法实现

1、模式识别大作业-C均值算法 模糊C均值算法 算法简述：C均值聚类算法：C-均值算法属于动态聚类算法，动态聚类算法有以下三个要点：1.选定某种距离度量作为样本间的相似性度量。2.确定某个评价聚类结果质量的准则函数。3.给定某个初始分类，然后用迭代算法找出使准则函数取极值的最好聚类结果。C均值算法的基础是误差平方和准则。若将N个样本x1,xN划分到k个类C1,Ck中，k为一正整数，目标：使得各个数据与其对应聚类中心点的误差平方和最小。设mi是这些样本的均值。设Ji 为第 i 类聚类的目标函数，且满足下列条件：k为聚类个数x是划分到类Ci的样本m1,mk 是类C1,Ck的质心（均值向量），那么有：J

2、是误差平方和聚类准则，它是样本集和类别集的函数。J度量了用k个聚类中心代表的k个样本子集所产生的总的误差平方。C均值聚类算法流程：1. 初始化：随机选择k个样本点，并将其视为各聚 类的初始中心m1,mk ；2. 按照最小距离法则逐个将样本x划分到以聚类中 心m1,mk为代表的k个类C1,Ck中；3. 计算聚类准则函数J，重新计算k个类的聚类中心 m1,mk ；4. 重复Step 2和 3直到聚类中心m1,mk无改变 或目标函数J不减小。模糊C均值算法：C均值算法的目的是把n个样本划分到c个类别中的一个中，使各个样本与其所在类均值的误差平方和最小。而将这种硬分类变为模糊分类，就可得到模糊c均值算

3、法。设j(xi)是第i个样本xi属于第j类Gj的隶属度, 利用隶属度定义的准则函数为 其中, b>1是一个可以控制聚类结果的模糊程度的常数。 进一步, 要求一个样本属于各个聚类的隶属度之和为1, 即其中, i(i=1, 2, , N)为拉格朗日乘子。 分别求L对mi、 i和j(xi)的梯度(或偏导), 并置为0, 可得必要条件: 模糊C均值算法采用迭代方法求解式(8-62)和式(8-63), 其步骤如下: (1) 设定聚类数目C、 参数b和一个适当的小数>0, 通常取1<b5。(2) 设置初始模糊分类矩阵U(0), 令s=0。(3) 根据式(8-62)计算U(s)的聚类中心m

4、(s)j, j=1, 2, , C。 (4) 按下面的方法更新U(s)为U(s+1): 计算Ii和 ，其中（i=1,2,N） 计算xi的新隶属度。 如果Ii为空集, 则按式(8-63)计算隶属度; 否则, 并取(5) 选取一个适当的矩阵范数, 如果U(s)U(s+1)<, 则停止迭代, 否则s=s+1, 返回(3)。 当模糊C均值算法收敛时, 就得到了各类的聚类中心和各个样本属于各类的隶属度, 也就完成了模糊聚类。 进一步, 可以将模糊聚类结果去模糊化, 把模糊聚类变为确定性分类。源代码及测试结果：C均值算法：#include <iostream>#include <f

5、stream>#include <math.h>using namespace std;void Cmeans(double *Date);double Distance(double *,double *);int main()int i,j;double *IrisDate=new double*150;for(i=0;i<150;i+)IrisDatei=new double4;ifstream file;file.open("Iris.txt");if(file.fail()cout << "File doesn'

6、;t exist!" << endl;file.close();cin.get();elsefor(i=0;i<150;i+)for(j=0;j<4;j+)file>>IrisDateij;file.close();return 0;void Cmeans(double *Date)int i,j;int N; /分类数cout << "Input how many group you want to divide：n" ;cin >> N;int equl=0;int *count=new intN;

7、/每类样本数for(i=0;i<N;i+)counti=0;double *dist=new double*150;for(i=0;i<150;i+)disti=new doubleN;double *C=new double*N;for(i=0;i<N;i+)Ci=new double4;/初始化聚类中心for(i=0;i<N;i+)for(j=0;j<4;j+)Cij=Dateij; /以前N个样本作为聚类中心double *NC=new double*N;for(i=0;i<N;i+)NCi=new double4;for(i=0;i<N;i+)

8、for(j=0;j<4;j+)NCij=Cij; /初始化int I=1; /迭代次数while(equl!=4*N && I<200)for(i=0;i<N;i+)counti=0; /迭代前每类样本数清0for(i=0;i<150;i+)double min=999.9;int w; /记录第i个样本的类别for(j=0;j<N;j+)distij=Distance(Datei,Cj); /计算第i个样本到第j个聚类中心的距离for(j=0;j<N;j+)if(distij<min)min=distij;w=j;countw+;fo

9、r(j=0;j<4;j+)NCwj+=Dateij;for(i=0;i<N;i+)for(j=0;j<4;j+)NCij=NCij/(double)counti; /计算新的聚类中心for(i=0;i<N;i+)for(j=0;j<4;j+)if(NCij!=Cij)Cij=NCij;elseequl+;I+;cout << endl;cout << "The result is：" << endl;cout << endl;for(i=0;i<N;i+)cout << &quo

10、t;Group " << i+1 << " icude " << counti << " samples，the center vector is：( "for(j=0;j<4;j+)cout << Cij << " "cout << ")" << endl;cout << endl;double Distance(double *A,double *B)double sum=0.0;for(

11、int i=0;i<4;i+)sum+=pow(Ai-Bi),2.0);return sum;（使用的IDE为Codeblocks+GNC GCC Complier）模糊C均值算法：/读取数据（同Cmeans）int i,j;double *IrisDate=new double*150;for(i=0;i<150;i+)IrisDatei=new double4;ifstream file;file.open("Iris.txt");if(file.fail()cout << "File doesn't exist!"

12、<< endl;file.close();cin.get();elsefor(i=0;i<150;i+)for(j=0;j<4;j+)file>>IrisDateij;file.close();/读取Iris数据FuzzyC(IrisDate); return 0;/构造矩阵（同Cmeans）/构造距离矩阵 150*Ndouble *dist=new double*150;for(i=0;i<150;i+)disti=new doubleN;/构造聚类中心矩阵 N*4double *C=new double*N;for(i=0;i<N;i+)Ci

13、=new double4;/初始化聚类中心for(i=0;i<N;i+)for(j=0;j<4;j+)Cij=Dateij; /隶属度函数int i,j;double *sum=new double4;for(j=0;j<4;j+)double dj=0;for(i=0;i<k;i+)dj=dj+Uij;sumj=dj;for(i=0;i<150;i+)for(j=0;j<4;j+)uij=Uij/sumj;)/迭代过程int i,j,t;double *p=NULL;for(i=0;i<150;i+)for(j=0;j<4;j+)uij=pow(uij,2);/根据隶属度矩阵计算聚类中心p=MatrixMul(u,k,row,data,row,col);for(i=0;i<150;i+)double si=0;for(j=0;j<4;j+)si+=uij;for(t=0;t<4;t+)centerit=pit/si; double* a=new double4; double* b=new double4; double*dis=new double*1