模式识别报告纹理特征提取贝叶斯决策线性判别.doc

1、目录实验一纹理特征提取 .2一、实验目的 .2二、实验软件 .2三、算法原理 .23.1灰度共生矩阵 .2四、实验结果 .44.1实验代码 .44.2结果分析 .6实验二贝叶斯决策理论 .7一、实验目的 .7二、实验软件 .7三、算法原理 .7实验三线性判别函数 .14一、实验目的 .14二、实验软件 .14三、算法原理 .14实验一纹理特征提取一、实验目的通过编程计算灰度共生矩阵来实现纹理特征的提取方法。二、实验软件Matlab三、算法原理1.3.1灰度共生矩阵灰度共生矩阵是像素距离和角度的矩阵函数，它通过计算图像中一定距离和一定方向的两点灰度之间的相关性，来反映图像在方向、 间隔、变化幅度

2、及快慢上的综合信息。取图像 (N N)中任意一点 （ x，y）及偏离它的另一点 （ x+a，y+b），设该点对的灰度值为 （ g1，g2）。令点（ x，y） 在整个画面上移动， 则会得到各种 （ g1，g2）值，设灰度值的级数为 k ，则（g1，g2） 的组合共有 k 的平方种。对于整个画面，统计出每一种（g1，g2）值出现的次数，然后排列成一个方阵，再用（ g1，g2） 出现的总次数将它们归一化为出现的概率 P（g1，g2） ，这样的方阵称为灰度共生矩阵。距离差分值（ a，b） 取不同的数值组合，可以得到不同情况下的联合概率矩阵。（a，b） 取值要根据纹理周期分布的特性来选择，对于较细的纹理

3、，选取（ 1，0）、（1，1）、（ 2， 0）等小的差分值。当 a=1 ，b=0 时，像素对是水平的，即 0 度扫描；当 a=0， b=1 时，像素对是垂直的，即 90 度扫描；当 a=1 ，b=1 时，像素对是右对角线的，即 45 度扫描；当 a=-1 ， b=1 时，像素对是左对角线，即 135 度扫描。这样，两个象素灰度级同时发生的概率，就将 （ x，y）的空间坐标转化为“灰度对” （g1，g2）的描述，形成了灰度共生矩阵。实验中对灰度共生矩阵进行了如下的归一化：，P( g1,g2)，=N(N 1)或R0=90P( g1g 2)(N 1)2=45或 =135R3.1基于灰度共生矩阵的纹理

4、特征（ 1）能量：是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度。 如果共生矩阵的所有值均相等， 则 ASM值小；相反，如果其中一些值大而其它值小， 则 ASM值大。当共生矩阵中元素集中分布时， 此时 ASM值大。 ASM值大表明一种较均一和规则变化的纹理模式。（ 2）对比度：反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多， 这个值越大。灰度公生矩阵中远离对角线的元素值越大， CON越大。n 1 n 1CON(ij )2 Pdi , j（ 3）相关：它度量空

5、间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。 当矩阵元素值均匀相等时， 相关值就大； 相反，如果矩阵像元值相差很大则相关值小。 如果图像中有水平方向纹理，则水平方向矩阵的 COR大于其余矩阵的 COR值。COR(ijPd i , jxy ) / x yi j（ 4）熵：是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量， 当共生矩阵中所有元素有最大的随机性、 空间共生矩阵中所有值几乎相等时， 共生矩阵中元素分散分布时， 熵较大。它表示了图像中纹理的非均匀程度或复杂程度。ENTPd (i, j )log( i, j)ij（ 5）角

6、二阶矩 (Second order angular moment )：主对角方向元素值。n 1n 1ASM( Pd i , j ) 2i 0j 0（ 6）方差：SD(i) 2 Pd i , j ij四、实验结果1.4.1实验代码for i=1:GrayLayersfor j=1:GrayLayers% 角二阶矩SeAngH=SeAngH+(pMatrixH(i,j)2;SeAngRD=SeAngRD+(pMatrixRD(i,j)2;SeAngV=SeAngV+(pMatrixV(i,j)2;SeAngLD=SeAngLD+(pMatrixLD(i,j)2;% 对比度ContrastH=Con

7、trastH+(i-j)2*pMatrixH(i,j);ContrastRD=ContrastRD+(i-j)2*pMatrixRD(i,j);ContrastV=ContrastV+(i-j)2*pMatrixV(i,j);ContrastLD=ContrastLD+(i-j)2*pMatrixLD(i,j);% 反差分矩InDifH=InDifH+pMatrixH(i,j)/(1+(i-j)2);InDifRD=InDifRD+pMatrixRD(i,j)/(1+(i-j)2);InDifV=InDifV+pMatrixV(i,j)/(1+(i-j)2);InDifLD=InDifLD+p

8、MatrixLD(i,j)/(1+(i-j)2);%EntPx熵EntPxH(1,i+j-1)=EntPxH(1,i+j-1)-pMatrixH(i,j);EntPxRD(1,i+j-1)=EntPxRD(1,i+j-1)-pMatrixRD(i,j);EntPxV(1,i+j-1)=EntPxV(1,i+j-1)-pMatrixV(i,j);EntPxLD(1,i+j-1)=EntPxLD(1,i+j-1)-pMatrixLD(i,j);endend%EntH 熵mEnt=2:1:2*GrayLayers;EntH=sum(mEnt.*EntPxH);EntRD=sum(mEnt.*EntP

9、xRD);EntV=sum(mEnt.*EntPxV);EntLD=sum(mEnt.*EntPxLD);%相关i=1:1:GrayLayers;uxH=sum(i.*sumRowH);uxRD=sum(i.*sumRowRD);uxV=sum(i.*sumRowV);uxLD=sum(i.*sumRowLD);sumColH=sum(pMatrixH,2);sumColH=sumColH;sumColRD=sum(pMatrixRD,2);sumColRD=sumColRD;sumColV=sum(pMatrixV,2);sumColV=sumColV;sumColLD=sum(pMatri

10、xLD,2);sumColLD=sumColLD;uyH=sum(i.*sumColH);uyRD=sum(i.*sumColRD);uyV=sum(i.*sumColV);uyLD=sum(i.*sumColLD);iH=(i-uxH).2;iRD=(i-uxRD).2;iV=(i-uxV).2;iLD=(i-uxLD).2;sigmaxH=sum(iH.*sumRowH);sigmaxRD=sum(iH.*sumRowRD);sigmaxV=sum(iH.*sumRowV);sigmaxLD=sum(iH.*sumRowLD);jH=(i-uyH).2;jRD=(i-uyRD).2;jV=

11、(i-uyV).2;jLD=(i-uyLD).2;sigmayH=sum(jH.*sumColH);sigmayRD=sum(jH.*sumColRD);sigmayV=sum(jH.*sumColV);sigmayLD=sum(jH.*sumColLD);CorH=0;CorRD=0;CorV=0;CorLD=0;for i=1:GrayLayersfor j=1:GrayLayersCorH=CorH+i*j*pMatrixH(i,j);CorRD=CorRD+i*j*pMatrixRD(i,j);CorV=CorV+i*j*pMatrixV(i,j);CorLD=CorLD+i*j*pM

12、atrixLD(i,j);endendCorH=(CorH-uxH-uyH)/sigmaxH/sigmayH;CorRD=(CorRD-uxRD-uyRD)/sigmaxRD/sigmayRD;CorV=(CorV-uxV-uyV)/sigmaxV/sigmayV;CorLD=(CorLD-uxLD-uyLD)/sigmaxLD/sigmayLD;1.4.2结果展示本实验使用的图片如图1.1 。取原始织物图像尺寸为256256, 生成灰度共生矩阵的最佳像素距离为1, 经直方图均衡化后 , 最佳灰度等级为8。图 1.1图 1.104590135角二阶矩0.05170.06790.04800.04

13、80对比度1.3781.22301.95351.9535相关性4.70564.70864.71004.7151反差分矩0.65270.72600.61660.6166熵125.5938125.5726125.5749125.5749实验二贝叶斯决策理论一、实验目的在下列条件下，求待定样本x=(2,0) T 的类别，画出分界线，编程。1、二类协方差相等， 2、二类协方差不等。图 2.1 实验条件二、实验软件Matlab三、算法原理2.3.1贝叶斯决策理论与方法基本概念给定一个 m模式类 ( 1 , 2 . m ) 的分类任务以及各类在这 n 维特征空间的统计分布 , 要区分出待识别样本 属于这

14、m类样本中的哪一类问题。假设一个待识别的样本用 n 个属性观察值描述， 称之为 n 个特征，从而组成一个 n 维的特征向量，而这 n 维征向量所有可能的取值范围则组成了一个 n 维的特征空间。 特征空间的统计分布。(1)i,i =1,2,m 的先验概率：P(m )(2) 类条件概率密度函数：P( x |i )（可解释为当类别i已知的情况下， 样本x的概率分布密度函数）(3) 后验概率：生成 m 个条件后验概率 P( i | x) ， =1 ， 2， ， m。也就是对于一个特征向量 x ，每一个条件后验概率 P( i | x) 都代表未知样本属于某一特定类 i 的概率。2.3.2基于最小错误率的

15、贝叶斯判别方法(1) 两类情况两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。 用 i , i =1, 2 表示样本 x （一般用列向量表示）所属的类别。 假设先验概率 P( 1 ) , P( 2 ) 已知。 ( 这个假设是合理的，因为如果先验概率未知，可以从训练特征向量中估算出来，即如果N 是训练样本总数，其中有N1, N2 个样本分别属于,2，则相应的先验概率：P( 1)N1/N, P(2)N2/N ) 假设（类）条件概率密度函数p( x |i ), i =1，2 已知，用来描述每一类中特征向量的分布情况。如果类条件概率密度函数未知，则可以从可用的训练数据中估计出来。(2)

16、贝叶斯判别方法贝叶斯分类规则描述为：如果 P( | x) P(2| x), 则 x1如果 P(| x) P(2| x) , 则 x1贝叶斯分类规则就是看 x的可能性大，还是 x的可能性大。 P( i | x) ，i =1,2解释为当样本 x 出现时，后验概率 P(1 | x) 和 P(2 | x) 的大小从而判别为属于1或属于 2 类。3、贝叶斯公式：p( x |i ) P( i )P( i | x) =p( x )其中， p( x) 是 x 的概率密度函数（全概率密度） ，它等于所有可能的类概率密度函数乘以相应的先验概率之和。2p( x)p( x |i ) P( i )i 1因为 p( x)

17、 对于所有的类都是一样的, 可视为常数因子，它并不影响结果，不考虑。故可采用下面的写法比较后验概率的大小：p(x |1)P(1)p( x |2) P(2)则有x12四、实验结果2.4.1实验代码(1) 两类X1=1,1;1,0;2,-1;X2=-1,1;-1,0;-2,-1;C1=cov(X1);%计算协方差C2=cov(X2);U1=mean(X1,2);% 计算列向量均值U2=mean(X2,2);W1=-0.5*(inv(C1);%d*d矩阵W2=-0.5*(inv(C2);w1=(inv(C1)*U1;%d 维向量w2=(inv(C2)*U2;w10=-0.5*U1* (inv(C1)

18、*U1-0.5*log(det(C1);w20=-0.5*U2* (inv(C2)*U2-0.5*log(det(C2);syms x1 x2;x=x1;x2;X=x*(W1-W2)*x+(w1-w2)*x+(w10-w20);%value1=subs(X,x1,x2,2 0) ;%figure;ezplot(X);hold on;plot(X1(:,1),X1(:,2),bo);%plot(X2(:,1),X2(:,2),ks) ;plot(2,0,r.);决策面方程把待定样本点 2 0绘制样本点所在位置带入函数X%2类协方差相同时C=C1+C2;%协方差之和w=(inv(C)*(U1-U2

19、);x0=0.5*(U1-U2);X=w*(x-x0);value2=subs(X,x1,x2,2 0);figure;ezplot(X);hold on;plot(X1(:,1),X1(:,2),bo);%绘制样本点所在位置plot(X2(:,1),X2(:,2),ks) ;plot(2,0,r.);(2) 三类贝叶斯决策X1=0,0;2,1;1,0;X2=-1,1;-2,0;-2,-1;X3=0,-2;0,-1;1,-2;C1=cov(X1);%协方差C2=cov(X2);C3=cov(X3);inC1=inv(C1);% 协方差的倒数inC2=inv(C2);inC3=inv(C3);U

20、1=mean(X1,2);% 列向量求和U2=mean(X2,2);U3=mean(X3,2);W1=-0.5*inC1;W2=-0.5*inC2;W3=-0.5*inC3;w1=inC1*U1;w2=inC1*U2;w3=inC1*U3;w10=-0.5*U1* (inC1)*U1-0.5*log(det(C1);w20=-0.5*U2* (inC2)*U1-0.5*log(det(C2);w30=-0.5*U3* (inC3)*U1-0.5*log(det(C3);syms x1 x2 real;x=x1;x2;X12=x*(W1-W2)*x+(w1-w2)*x+(w10-w20);%分界

21、线函数X13=x*(W1-W3)*x+(w1-w3)*x+(w10-w30);X23=x*(W2-W3)*x+(w2-w3)*x+(w20-w30);XX1=x*W1*x+w1*x+w10;%判别函数XX2=x*W2*x+w2*x+w20;XX3=x*W3*x+w3*x+w30;v1=subs(XX1,x1,x2,-2,2);v2=subs(XX2,x1,x2,-2,2);v3=subs(XX3,x1,x2,-2,2);figure;hold on;h=ezplot(X12);set(h,color,r);h=ezplot(X13);set(h,color,b);h=ezplot(X23);s

22、et(h,color,g);plot(X1(:,1),X1(:,2),ko);plot(X2(:,1),X2(:,2),ks);plot(X3(:,1),X3(:,2),kp);plot(-2,2,rp);%三类协方差相同时C=C1+C2+C3;%协方差之和inC=inv(C);W1=-0.5*inC;W2=W1;W3=W1;w1=inC*U1;w2=inC*U2;w3=inC*U3;w10=-0.5*U1* (inC)*U1-0.5*log(det(C);w20=-0.5*U2* (inC)*U1-0.5*log(det(C);w30=-0.5*U3* (inC)*U1-0.5*log(de

23、t(C);syms x1 x2 real;x=x1;x2;X12=x*(W1-W2)*x+(w1-w2)*x+(w10-w20);%分界线函数X13=x*(W1-W3)*x+(w1-w3)*x+(w10-w30);X23=x*(W2-W3)*x+(w2-w3)*x+(w20-w30);XX1=x*W1*x+w1*x+w10;%判别函数XX2=x*W2*x+w2*x+w20;XX3=x*W3*x+w3*x+w30;v1=subs(XX1,x1,x2,-2,2);v2=subs(XX2,x1,x2,-2,2);v3=subs(XX3,x1,x2,-2,2);figure;hold on;h=ezp

24、lot(X12);set(h,color,r);h=ezplot(X13);set(h,color,b);h=ezplot(X23);set(h,color,g);plot(X1(:,1),X1(:,2),ko);plot(X2(:,1),X2(:,2),ks);plot(X3(:,1),X3(:,2),kp);plot(-2,2,rp);2.4.2结果展示实验结果如图所示， 由图可知通过贝叶斯分类可以很好的划出分类界面，并根据训练样本判断出待定样本所属分类。图 2.1两类贝叶斯决策图 2.2三类贝叶斯决策实验三线性判别函数一、实验目的随机产生两类二维样本，编写程序用 Fisher 线性判别函

25、数和感知器准则函数对其进行分类。二、实验软件Matlab三、算法原理3.3.1线性判别函数的基本概念(1) 一般表达式g (x)W T x0式中 X 是 d 维特征向量，又称样本向量，W称为权向量：0 是一个常数，是一个阈值权。(2) 两类情况下的决策规则令g (X )1x12 x20g (x)0, 则决策 X1如果g( x)0, 则决策 X2g( x)0, 可将 X 任意分到某一类，或拒绝g ( x)1x12 x20x12x2 8：0AB g( x)如图所示，0正则： g ( x)负则： g ( x)0图 3.1两类线性分类示意图决策面方程： g( x)g1( x) g2 ( X )0WT(

26、X1X 2 ) 0, X X pW ,W式中 X p： X 在 H 上的投影向量，r： X 到 H 的垂直距离，g ( X ), r0w0,w0： W 方向上的单位向量。r=WWWg(X)=WT ( X pr W )0r W TWr WWW图 3.2 线性判别函数3.2.2 fisher线性判别函数(1) 基本原理一般情况下，我们总可以找到某个方向，使得这个方向的直线上，样本的投影能分开的最好，而Fisher法所要解决的基本问题就是找到这条最好的、最易于分类的投影线。先从 d 维空间到一维空间的一维数学变换方法。假设有一集合X 包含 N个 d维样本 x1, x2,., xN ，其中 N1 个属

27、于1 类的样本记为子集X1 ， N 2 个属于2 类的样本记为 X 2 。若对 xN 的分量做线性组合可得标量ynwT xn ， n1,2,., Ni这样便得到N 个一维样本 yn 组成的集合，并可分为两个子集Y1 和 Y2 。 w 的绝对值是无关紧要的，它仅使yn 乘上一个比例因子，重要的是选择w 的方向，从而转化为寻找最好的投影方向w* ，是样本分开。(2) 基本方法先定义几个基本参量：（1）各类样本均值向量 mimi1x, i 1,2N x Xi（2）样本类内离散度矩阵Si 和总类内离散度矩阵SS( xm )(xm )T,i 1,2ix X iiiSS1S2（3）样本类间离散度矩阵SbS

28、b(m1m2 )(m1m2 ) T我们希望投影后，在低维空间里个样本尽可能的分开些，即希望两类均值(m1m2 ) 越大越好，同时希望各类样本内部尽量密集，即 Si 越小越好。因此，我们定义 Fisher 准则函数为(m1m2 )2J F ( w)S1S2但 J F (w) 不显含 w ，因此必须设法将J F (w) 变成 w 的显函数。由式子mi1y1wT x wT ( 1x) wT miNi y YiNi x XiNi x X i(m1m2 ) 2(wT m1wT m2 )2wT (m1m2 )( m1m2 )T w wT Sb wS( y m ) 2( wT x wT m )2 wT( x

29、 m )( x m )Tw wT S wiiiiiiy Yiy Yi从而得到J F (w)wT Sb w ，wT S w采用 Lagrange 乘子法求解它的极大值 w*L( w, ) wT Sbw (wT S w c)对其求偏导，得 Sb w*S w*0 ，即Sb w*S w*从而我们很容易得到w*S 1( Sbw* ) S 1 (m1 m2 ) R,其中 R (m1 m2 )T w*w*R S 1( m1m2 )忽略比例因子 R /，得w*S 1 (m1m2 )这就是我们 Fisher 准则函数 J F (w) 取极大值时的解。3.2.3感知器准则1. 假设已知一组容量为 N 的样本集 y

30、1 ， y2 ， ， yN ，其中 yN 为 d 维增广样本向量，分别来自 1 和 2 类。如果有一个线性机器能把每个样本正确分类，即存在一个权向量a ，使得对于任何y1 ，都有 aT y 0，而对一任何 y2 ，都有 aT y 0。因此，我们令ynyi , 对一切 yi1- y j , 对一切 y j2那么，我们就可以不管样本原来的类型标志，只要找到一个对全部样本yn 都满足 aT y 0， n 1,2,3, N 的权向量 a 就行了。此过程称为样本的规范化，yn 成为规范化增广样本向量，后面我们用y 来表示它。我们的目的是找到一个解向量 a*，使得aT yn0, n 1,2,., N为此我

31、们首先考虑处理线性可分问题的算法。先构造这样一个准则函数J p ( a)( aT y)yk式中 k 是被权向量 a 错分类的样本集合。错分类时有aT y 0 ，或 aT y0因此 J p a 总是大于等于 0, 。下一步便是求解使 aT y0 达到极小值时的解向量a* 。这里我们采用梯度下降法。首先对 a 求梯度，这是一个纯量函数对向量的求导问题，不难看出J p (a)J p (a)(y)ayk梯度下降法的迭代公式为 a(k 1)a(a) kJ ，将上式代入得a( k1) a(k )kyyk这样，经过有限次修改，一定能找到一个解向量a*。其中任意给定权向量 a(1) 。四、实验结果3.4.1实

32、验代码N1=10;N2=8;m1=1;n1=50;m2=50;n2=100;%X1=m1+(n1-m1)*rand(2,N1);%产生随机数 1C%X2=m2+(n2-m2)*rand(2,N2); X1=m1+(n1-m1)*rand(1,N1);m2+(n2-m2)*rand(1,N1); X2=m2+(n2-m2)*rand(1,N2);m1+(n1-m1)*rand(1,N2); M1=mean(X1,2);%计算行向量均值M2=mean(X2,2);S1=zeros(2,2);S2=zeros(2,2);for i=1:N1J=X1(:,i)-M1;S1=S1+J*J;end;for

33、 i=1:N2J=X2(:,i)-M2;S2=S2+J*J;end;Sw=S1+S2;invSw=inv(Sw);W=invSw*(M1-M2);m1=W*M1;m2=W*M2;y0=(m1-m2)/2;syms x1 x2;x=x1;x2;Y=W*x;%判别函数figure(1);hold on;plot(X1(1,:),X1(2,:),bo);plot(X2(1,:),X2(2,:),ks);ezplot(Y);%感知器准则A=zeros(3,1);Pk=1;P1=Pk*ones(1,N1);P2=Pk*ones(1,N2);Xw1=P1;X1;Xw2=P2;X2;Xw12=Xw1,-Xw

34、2;% 产生第一类和第二类样本向量的规范化增广样本向量集Xw12Y=zeros(1,size(Xw12,2);k=0;%迭代次数while any(Y=0)for i=1:size(Y,2)Y(i)=A*Xw12(:,i);endA=A+(sum(Xw12(:,find(Y=0);k=k+1;end;figure(2);hold on;plot(X1(1,:),X1(2,:),bo);plot(X2(1,:),X2(2,:),ks);xmin=min(min(X1(1,:),min(X2(1,:);xmax=max(max(X1(1,:),max(X2(1,:);%ymin=min(min(X

35、1(2,:),min(X2(2,:);%ymax=max(max(X1(2,:),max(X2(2,:);xindex=xmin-1:(xmax-xmin)/100:xmax+1;yindex=-A(2)*xindex/A(3)-A(1)/A(3);plot(xindex,yindex);%syms x1 x2;%x=1,x1,x2;%Y=A*x;%figure(2);%hold on;%plot(X1(1,:),X1(2,:),bo);%plot(X2(1,:),X2(2,:),ks);%ezplot(Y);3.4.2结果展示实验随机生成10 个 150 的数据作为 N1,8 个 50100

36、 的数据作为 N2。图 3.3 和3.4 分别显示了通过fisher线性判别函数和感知器准则得到的分类结果，由图可知这两种方法都能较好的将所产生的随机数进行分类。图 3.3 fisher 线性判别图 3.4 感知器准则实验四非线性判别函数一、 实验目的设在一个二维空间随机产生两类训练样本，如图 A 类有三个训练样本， 图中用红点表示， B 类四个样本，图中用蓝点表示。请按近邻法分类,给出这两类的分界面，画出分界面。4.1 近邻法分类二、 实验软件Matlab三、 算法原理近邻法是最小距离分类器的一种极端情况，以全部训练样本作为代表点，计算测量样本与所有样本的距离，并以最邻近者的类别作为决策。4

37、.3.1最近邻法最邻近法是一种根据全部样本提供的信息， 绕开概率的估计而直接决策的方法，所以它是非参数决策方法的一种。其基本思想是：设有一组N个样本?= X 1,X 2,X N其中每个样本都已标以类别标志。 如果在这 N 个样本中与待分样本 X 相距最近的一个样本为 Xi ?，则把 X 分到 Xi 所在的类别中去。设有 C 类模式样本，1, 2,c每类有 N 个样本 (i=1,2,c) ，则最近邻法的 ( 类) 判别函数为 :iigi ( X ) minXXik(k1,2,.,N i ) 式中k表示 i 类中的第 k 个样本。对应的决策规则为：如果 gi ( X )min g j (X )(j

38、1,2,.,c)j则决策 Xi即只要将待分样本 X 与全部 N (ci 1 N i ) 个已知类别的样本进行欧氏距离之间的比较，然后将X 归到离它最近的类别中。由于这种方法只根据离待分样本 X 最近的一个样本的类别而决定其类别，所以通常称为 1- 最近邻法 ( 亦称 1-NN方法 )4.3.2 K-近邻法K-近邻算法的思想如下： 首先，计算新样本与训练样本之间的距离， 找到距离最近的 K 个邻居；然后，根据这些邻居所属的类别来判定新样本的类别， 如果它们都属于同一个类别， 那么新样本也属于这个类； 否则，对每个后选类别进行评分，按照某种规则确定新样本的类别。取未知样本 X 的 K 个近邻，看着 K 个近