模式识别最近邻法和k近邻法MATLAB实现

1、学号： 02105120 姓名：吴林 一 . 基本概念：最近邻法：对于未知样本x，比较x与N个已知类别的样本之间的欧式距离，并决策x与距离它最近的样本同类。K近邻法：取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把x归为哪一类。K取奇数，为了是避免k仁k2的情况。二. 问题分析：要判别x属于哪一类，关键要求得与x最近的k个样本(当k=1时，即是最近邻法)，然后判别这 k 个样本的多数属于哪一类。可采用欧式距离公式求得两个样本间的距离s=sqrt ( X1-X2)A2+(y1-y2)A2 )三. 算法分析：该算法中任取每类样本的一半作为训练样本，其余作为测试样本。例如iris 中取每类

2、样本的 25 组作为训练样本，剩余 25 组作为测试样本，依次求得与一测试样本 x 距离最近的 k 个样本，并判断 k 个样本多数属于哪一类，则 x 就属于哪类。 测试 10 次，取 10 次分类正确 率的平均值来检验算法的性能。四. MATLAB弋码：最近邻算实现对 Iris 分类clc;totalsum=0;for ii=1:10data=load( );data1=data(1:50,1:4);%任取 Iris-setosa 数据的 25 组rbow1=randperm(50);trainsample1=data1(rbow1(:,1:25),1:4);rbow1(:,26:50)=so

3、rt(rbow1(:,26:50);%剩余的 25 组按行下标大小顺序排列testsample1=data1(rbow1(:,26:50),1:4);data2=data(51:100,1:4);%任取 Iris-versicolor 数据的 25 组rbow2=randperm(50);trainsample2=data2(rbow2(:,1:25),1:4); rbow2(:,26:50)=sort(rbow2(:,26:50);testsample2=data2(rbow2(:,26:50),1:4);data3=data(101:150,1:4);%任取 Iris-virginica

4、数据的 25 组rbow3=randperm(50);trainsample3=data3(rbow3(:,1:25),1:4); rbow3(:,26:50)=sort(rbow3(:,26:50);testsample3=data3(rbow3(:,26:50),1:4); trainsample=cat(1,trainsample1,trainsample2,trainsample3);%包含 75 组数据的样本集testsample=cat(1,testsample1,testsample2,testsample3);newchar=zeros(1,75);sum=0;i,j=size

5、(trainsample);%i=60,j=4u,v=size(testsample);%u=90,v=4 for x=1:ufor y=1:i result=sqrt(testsample(x,1)-tra in sample(y,1)A2+(testsample(x,2)-tra in sample(y ,2)A2+(testsample(x,3)-trai nsample(y,3)A2+(testsample(x,4)-trai nsample(y,4)A2); %欧式距离newchar(1,y)=result;end;new,Ind=sort(newchar);class1=0;cla

6、ss2=0;class3=0;if Ind(1,1)25&Ind(1,1)class2&class1class3m=1;ty= Iris-setosa ;elseif class2class1&class2class3m=2;ty= Iris-versicolor ;elseif class3class1&class3class2m=3;ty= Iris-virginica ;elsem=0;ty= none ;endif x0%$类,rbow1(:,x+25),ty);%$类,rbow1(:,x+25), none)%$类,50+rbow2(:,x),ty);%$类,50+rbow2(:,x

7、), none)%$类,100+rbow3(:,x-25),ty);disp(sprintf(第4组数据分类后为elseif x25&x0disp(sprintf(第4组数据分类后为elseif x25&x50&x0disp(sprintf(第4组数据分类后为elseif x50&x=75&m=0disp(sprintf(第 4组数据分类后为 $类，100+rbow3(:,x-25),none);endif (x25&x50&x=75&m=3) sum=sum+1;endenddisp(sprintf(第 畝分类识别率为 ,ii,sum/75);totalsum=totalsum+(sum/7

8、5);enddisp(sprintf( 10 次分类平均识别率为 %,totalsum/10);测试结果：第 3 组数据分类后为 第 5 组数据分类后为 第 6 组数据分类后为 第 7 组数据分类后为 第 10组数据分类后为 第 11 组数据分类后为 第 12组数据分类后为 第 14 组数据分类后为 第 16 组数据分类后为 第 18 组数据分类后为 第 19 组数据分类后为 第 20 组数据分类后为 第 23 组数据分类后为 第 24 组数据分类后为 第 26 组数据分类后为 第 28 组数据分类后为 第 30 组数据分类后为 第 31 组数据分类后为 第 34 组数据分类后为 第 37 组

9、数据分类后为 第 39 组数据分类后为 第 41 组数据分类后为 第 44 组数据分类后为 第 45 组数据分类后为 第 49 组数据分类后为 第 51 组数据分类后为Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类

10、Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-setosa类Iris-versicolor 类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类类第 53 组数据分类后为 第 54 组数据分类后为 第 55 组数据分类后为 第 57 组数据分类后为 第 58 组数据分类后为 第 59 组数据分类后为 第 60 组数据分类后为 第 61 组数据分类后为 第 62 组数据分类后为 第 68 组数据分类后为 第 70 组数据分类后为 第 71 组数据分类后为

11、第 74 组数据分类后为 第 75 组数据分类后为 第 77 组数据分类后为 第 79 组数据分类后为 第 80 组数据分类后为 第 84 组数据分类后为 第 85 组数据分类后为 第 92 组数据分类后为 第 95 组数据分类后为 第 97 组数据分类后为 第 98 组数据分类后为 第 99 组数据分类后为 第 102 组数据分类后为 第 103 组数据分类后为 第 105 组数据分类后为 第 106 组数据分类后为 第 107 组数据分类后为 第 108 组数据分类后为 第 114 组数据分类后为 第 118 组数据分类后为 第 119 组数据分类后为 第 124 组数据分类后为 第 12

12、5 组数据分类后为 第 126 组数据分类后为 第 127 组数据分类后为 第 128 组数据分类后为 第 129 组数据分类后为 第 130 组数据分类后为 第 133 组数据分类后为 第 135 组数据分类后为 第 137 组数据分类后为 第 138 组数据分类后为Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-

13、versicolor Iris-virginica Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-virginica Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolor Iris-versicolorIris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-versicolor Iris-vir

14、ginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica Iris-virginica第 142 组数据分类后为 第 144 组数据分类后为 第 148 组数据分类后为 第 149 组数据分类后为 第 150 组数据分类后为 、/Iris-virgini

15、ca类 、/Iris-virginica类 、/Iris-virginica类 、/Iris-virginica类 、/Iris-virginica类k 近邻法对 wine 分类：clc;otalsum=0;for ii=1:10%循环测试 10 次data=load( ); %导入 wine 数据 data1=data(1:59,1:13);%任取第一类数据的 30 组rbow1=randperm(59);trainsample1=data1(sort(rbow1(:,1:30),1:13);rbow1(:,31:59)=sort(rbow1(:,31:59);%剩余的 29 组按行下标大小

16、顺序排列testsample1=data1(rbow1(:,31:59),1:13);data2=data(60:130,1:13);%任取第二类数据的 35 组rbow2=randperm(71);trainsample2=data2(sort(rbow2(:,1:35),1:13); rbow2(:,36:71)=sort(rbow2(:,36:71);testsample2=data2(rbow2(:,36:71),1:13); data3=data(131:178,1:13);%任取第三类数据的 24 组rbow3=randperm(48);trainsample3=data3(sor

17、t(rbow3(:,1:24),1:13); rbow3(:,25:48)=sort(rbow3(:,25:48);testsample3=data3(rbow3(:,25:48),1:13);train_sample=cat(1,trainsample1,trainsample2,trainsample3);%包含 89 组数据的样本集test_sample=cat(1,testsample1,testsample2,testsample3);k=19; %19近邻法 newchar=zeros(1,89);sum=0;i,j=size(train_sample);%i=89,j=13u,v

18、=size(test_sample);%u=89,v=13for x=1:ufor y=1:iresult=sqrt(test_sample(x,1)-train_sample(y,1)F2+(test_sample(x,2)-train_samp le(y,2)F2+(test_sample(x,3)-train_sample(y,3)A2+(test_sample(x,4)-train_sampl e(y,4)A2+(test_sample(x,5)-tra in _sample(y,5)A2+(test_sample(x,6)-tra in _sample (y,6)A2+(test_s

19、ample(x,7)-train_sample(y,7)A2+(test_sample(x,8)-train_sample( y,8)A2+(test_sample(x,9)-train_sample(y,9)A2+(test_sample(x,10)-train_sample( y,10)A2+(test_sample(x,11)-train_sample(y,11)A2+(test_sample(x,12)-train_samp le(y,12)A2+(test_sample(x,13)-train_sample(y,13)A2);%欧式距离newchar(1,y)=result;end;

20、new,Ind=sort(newchar);class1=0;class 2=0;class 3=0;for n=1:kif Ind(1,n)30&Ind(1,n)= class 2& class1= class3m=1;elseif class2= class1& class2= class3m=2;elseif class3= class1& class3= class2m=3;endif x29&x65&x=89disp(sprintf(第4组数据分类后为第 4类,130+rbow3(:,x-41),m);endif (x29&x65&x=89&m=3) sum=sum+1;endend

21、disp(sprintf(第 畝分类识别率为 ,ii,sum/89);totalsum=totalsum+(sum/89);enddisp(sprintf( 10 次分类平均识别率为 %,totalsum/10);第 2 组数据分类后为第 1 类第 4 组数据分类后为第 1 类第 5 组数据分类后为第 3 类第 6 组数据分类后为第 1 类第 8 组数据分类后为第 1 类第 10组数据分类后为第1 类第 11组数据分类后为第1 类第 14组数据分类后为第1 类第 16组数据分类后为第1 类第 19 组数据分类后为第1 类第 20组数据分类后为第3 类第 21组数据分类后为第3 类第 22组数据

22、分类后为第3 类第 26组数据分类后为第3 类第 27组数据分类后为第1 类第 28 组数据分类后为第1 类第 30组数据分类后为第1 类第 33组数据分类后为第1 类第 36组数据分类后为第1 类第 37组数据分类后为第1 类第 43组数据分类后为第1 类第 44组数据分类后为第3 类第 45组数据分类后为第1 类第 46组数据分类后为第1 类第 49 组数据分类后为第1 类第 52组数据分类后为第1 类第 54组数据分类后为第1 类第 56组数据分类后为第1 类第 57组数据分类后为第1 类第 60组数据分类后为第2 类第 61组数据分类后为第3 类第 63组数据分类后为第3 类第 65组

23、数据分类后为第2 类第 66组数据分类后为第3 类第 67组数据分类后为第2 类第 71组数据分类后为第1 类第 72组数据分类后为第2 类第 74组数据分类后为第1 类第 76组数据分类后为第2 类第 77 组数据分类后为第 2 类 第 79 组数据分类后为第 3 类 第 81 组数据分类后为第 2 类 第 82 组数据分类后为第 3 类 第 83 组数据分类后为第 3 类 第 84 组数据分类后为第 2 类 第 86 组数据分类后为第 2 类 第 87 组数据分类后为第 2 类 第 88 组数据分类后为第 2 类 第 93 组数据分类后为第 2 类 第 96 组数据分类后为第 1 类 第 98 组数据分类后为第 2 类 第 99 组数据分类后为第 3 类 第 102 组数据分类后为第 2 类 第 104 组数据分类后为第 2 类 第 105 组数据分类后为第 3 类 第 106 组数据分类后为第 2 类 第 110 组数据分类后为第 3 类 第 113 组数据