机器学习基础与应用 课件 第四章 基于KNN算法的二手车价格预测

第四章基于KNN算法的二手车价格预测目

录KNN算法的定义KNN算法实现流程KNN算法的优缺点010203KNN算法的定义01KNN算法的定义KNN（K-nearestneighbor）也被称为K-近邻算法，是目前机器学习领域中最简单的算法之一，既可用于分类任务也可用于回归任务。KNN算法，即给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例。使用KNN算法处理分类任务时，如果K个实例的多数属于某个类，就把该输入实例分类到这个类中；使用KNN算法处理回归任务时，输入实例的预测值就是K个实例的平均值。01KNN算法的定义图中的正方形表示第一类、深色圆点表示第二类、浅色圆点表示新的实例（未分类的样本）。当我们进行分类时，如果K=3，则新实例属于深色圆点类别；当我们进行回归时，如果K=3，则新实例预测值为最近3个实例的平均值。01KNN算法实现流程02KNN算法实现流程KNN算法的指导思想是“近朱者赤，近墨者黑”，它通过你的“邻居”来推断出你的类别或者预测你的值。首先计算待分类样本与已知类别的训练样本之间的距离，找到距离与待分类样本数据最近的K个邻居；再根据这些邻居所属的类别来判断待分类样本数据的类别。如果用空间内两个点的距离来度量，距离越大，表示两个点越不相似；距离越小，表示两个点越相似。02KNN算法实现流程KNN算法实现回归预测任务时的基本流程：02计算已知数据集中的点与当前点之间的距离1选取与当前点距离最小的K个点3返回前K个点的平均值，以此作为回归预测的结果5按照距离递增的顺序进行排序2确定前K个点并计算K个点的平均值4KNN算法实现流程02距离的计算方法计算方法含义二维公式（例：A(x1,y1)、B(x2,y2)）欧式距离计算两点之间最短距离的方法曼哈顿距离两点在南北方向上的距离加上在东西方向上的距离线段a代表的是欧式距离；线段b、c、d代表的是曼哈顿距离。欧式距离和曼哈顿距离的计算方法不仅可以应用在二维数据中，同样也可以应用于三维、多维数据中KNN算法实现流程02K值的选取构建KNN算法模型的一个核心要素是K值的选择，K值的选取对模型的准确率至关重要。K值的选择通常取决于数据集的实际情况。如果K值太小，分类结果易受噪声点影响，模型过于复杂，会发生过拟合而忽略数据的真实分布；如果K值太大，模型将过于简单而忽略训练数据实例中的大量有用信息。在应用中，一般会先取一个较小的K值，然后再慢慢进行调整。KNN算法实现流程02K值的选取例：正方形和六边形是训练数据点，而五角星则是需要分类或者回归预测的数据。假如K=3，在离五角星最近的3个数据点中：（1）有2个六边形，1个正方形；（2）使用KNN算法进行分类时，应该把五角星分到六边形这一组；使用KNN进行回归预测时，应该把2个六边形、1个正方形进行相加，然后求平均值，即可得到预测结果。KNN算法实现流程02K值的选取例：正方形和六边形是训练数据点，而五角星则是需要分类或者回归预测的数据。假如K=5，在离五角星最近的5个数据点中：（1）有2个六边形，3个正方形；（2）使用KNN算法进行分类时，应该把五角星分到正方形这一组；使用KNN算法进行回归预测时，应该把2个六边形、3个正方形进行相加，然后求平均值，即可得到预测结果。KNN算法的优缺点03KNN算法的优缺点03KNN算法的优点01KNN算法通过选取K个邻近值来判断分类，对异常值有较高的容忍度，对噪声数据的容忍能力较强，即噪声数据对分类算法效果影响不大。0203KNN算法不需要复杂的训练过程，新样本数据可直接加入样本数据集而不必进行重新训练。KNN算法的分类过程直接利用了样本之间的关系，因此降低了因类别特征的不当选择对分类结果造成的影响，可以最大程度地降低分类过程中的误差项。KNN算法的优缺点03KNN算法的缺点计算量较大，速度慢成因：每一个待分类的样本均需要计算出它到所有已知样本的距离后，才能求得该样本的K个邻居。解决方法：对样本数据预处理，先对已知样本点进行裁剪，去除对分类作用不大的样本。成因：随机选定的K值可能会导致分类错误或误差较大。解决方法：通常需要多次选择K值以达到最佳分类效果。样本数量不均衡时，数量多的类别会靠“