KNN算法原理及应用(最新整理)

1、knn 分类算法（理论）目录1. knn 算法12. knn 算法描述13. knn 主要的应用领域24. knn 算法的优、缺点21. knn 算法knn 算法，右又叫 k 最邻近分类算法，是数据挖掘分类技术中最简单的方法之一。所谓 k 最近邻，就是 k 个最近的邻居的意思，说的是每个样本都可以用它最接近的 k 个邻居来代表。knn 算法概括来说，就是已知一个样本空间里的部分样本分成几个类，然后，给定一个待分类的数据，通过计算找出与自己最接近的 k 个样本，由这 k 个样本投票决定待分类数据归为哪一类。 knn 算法在类别决策时，只与极少量的相邻样本有关。由于 knn 方法主要靠周围有限的邻

2、近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，knn 方法较其他方法更为适合。2. knn 算法描述一个比较经典的 knn 图如下：从上图中我们可以看到，图中的有两个类型的样本数据，一类是蓝色的正方形，另一类是红色的三角形。而那个绿色的圆形是我们待分类的数据。如果 k=3，那么离绿色点最近的有 2 个红色三角形和 1 个蓝色的正方形，这03 个点投票，于是绿色的这个待分类点属于红色的三角形。如果 k=5，那么离绿色点最近的有 2 个红色三角形和 3 个蓝色的正方形， 这 5 个点投票，于是绿色的这个待分类点属于蓝色的正方形。3. knn 主要的

3、应用领域文本分类、聚类分析、预测分析、模式识别、图像处理。knn 算法不仅可以用于分类，还可以用于预测。通过找出一个样本的 k 个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)， 如权值与距离成反比。4. knn 算法的优、缺点优点(1) 简单，易于理解，易于实现，无需估计参数，无需训练；(2) 适合对稀有事件进行分类；(3) 特别适合于多分类问题(multi-modal,对象具有多个类别标签)， knn 比svm 的表现要好。缺点(1) 当样本不平衡时，如一个类的样本容量很大，而其他类样本容

4、量很小时， 有可能导致当输入一个新样本时，该样本的 k 个邻居中大容量类的样本占多数。1(2) 计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的 k 个最近邻点。(3) 可理解性差，无法给出像决策树那样的规则。2“”“”at the end, xiao bian gives you a passage. minand once said, people who learn to learn are very happy people. in every wonderful life, learning is an eternal theme. as a prof

5、essional clerical and teaching position, i understand the importance of continuous learning, life is diligent, nothing can be gained, only continuous learning can achieve better self. only by constantly learning and mastering the latest relevant knowledge, can employees from all walks of life keep up with the pace of enterprise development and innovate to meet the needs of the market. this document is also edited by my studio professionals