《机器学习Python实战》课件 06-项目3 KNN 算法基本原理讲解_第1页
《机器学习Python实战》课件 06-项目3 KNN 算法基本原理讲解_第2页
《机器学习Python实战》课件 06-项目3 KNN 算法基本原理讲解_第3页
《机器学习Python实战》课件 06-项目3 KNN 算法基本原理讲解_第4页
《机器学习Python实战》课件 06-项目3 KNN 算法基本原理讲解_第5页
已阅读5页，还剩13页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

机器学习Python实战

项目3KNN算法实战1KNN算法的原理2KNN算法的流程目录CONTENTS3KNN算法的关键01KNN算法的原理KNN算法的原理待分类的数据KNN(K-NearestNeighbor，KNN)算法的核心思想就是距离的比较，即离谁近，就和谁属于同一分类。KNN算法的原理如果K=3，圆点最邻近的3个邻居是2个小三角形和1个小正方形，少数从服从多数，基于统计的方法，判定圆点属于三角形一类。如果K=5，圆点最邻近的5个邻居是2个三角形和3个正方形，还是少数服从多数，基于统计的方法，判定圆点属于正方形一类。KNN算法的原理在KNN算法中，所选择的邻居都是已经正确分类的对象。新来的待分类样本：找到离它最近的K个样本，按照少数服从多数原则，哪个类别多就把它归为哪一类。KNN算法的原理KNN算法，即给定一个已标注的训练集，对于新的输入样本，在训练集中找到与该样本距离最近的k个样本，统计这k个样本中各个类别的样本数量，将输入样本归为出现次数最多的那个类别。02KNN算法的流程计算待预测数据点与训练集中所有已知类别样本的距离（常用欧氏距离）Step1按距离从近到远对训练样本排序Step2取距离最近的k（k为预设参数）个样本Step3统计这k个邻居中各类别的出现次数Step4将出现次数最多的类别作为待预测数据点的分类结果Step5KNN算法的流程03KNN算法的关键k=1KNN算法的关键k太小了，比如等于1模型太复杂

很容易学习到噪声，也就非常容易判定为噪声类别1.KNN算法中k的选取K最近邻算法关键1.KNN算法中k的选取k=N此时的模型非常简单，相当于直接统计各训练数据的类别，找最多的而已，完全忽略了训练数据中的大量有用信息。K最近邻算法关键1.K最近邻算法中k的选取如果我们选取的k值很大，相当于用较大邻域中的训练数据进行预测，这时与待分类数据点较远的（不相似）训练数据也会对预测起作用，使预测发生错误，k值的增大意味着整体模型变得简单。。K最近邻算法关键1.K最近邻算法中k的选取选取不同的k值，会对结果造成很大的影响，那么我们一般怎么选取呢？k值的选取，既不能太大，也不能太小，何值为最好，需要实验调整参数确定。K最近邻算法关键2.距离的度量

KNN算法定义中所说的“最近邻”是如何度量的呢？“最近邻”的度量依赖于距离函数的选择，即计算数据点之间的相似性或差异性，常用的是欧氏距离函数。K最近邻算法关键欧式距离就是应用勾股定理计算两个点的直线距离。二维空间的公式，P为点（x1，y1）与点（x2，y2）之间的欧式距离。

N维空间的公式:

小结

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论