机器学习原理与应用电子教案 5.4K近邻

备课日期：年月日授课时间课时（理论+实验）周次星期:节次:授课课题K近邻教学目标1.理解K近邻算法的基本原理。2.掌握K近邻算法中数据归一化、距离加权与距离类型选择等处理的含义。3.利用Python实现K近邻算法。教学重点1.K近邻基本思想；2.数据归一化。教学准备PPT、点名册等。教学方法指导阅读、案例法。教学过程设计备注课题引入【思考】“近朱者赤，近墨者黑”的含义？【关键】特征相似度。【时间】分钟。教学步骤及主要内容【主板书】§3.4.K近邻---------------------------------------------------------------------------一、基本原理【主板书】基本原理1.基本思想：已知训练样本集中每个样本对应的类别，当对新样本进行分类时，首先将新样本的特征与训练样本集中的样本特征进行比较，进而提取K个与其最相似（即在特征空间中最邻近）的已知类别的样本，然后将K个已知类别样本中包含样本数最多的类别标识分配给新样本。【副板书】K值不同导致分类结果不同。〖PPT〗K值对分类结果的影响。【思政】少数服从多数民主制的现实意义。2.基本步骤。3.存在问题与解决办法。（1）数据不平衡时，如何解决？【强化与拓展】距离权重。〖PPT〗数据不平衡问题与距离加权。（2）采用什么距离？【强化与拓展】距离类型（马式距离与欧氏距离之间的差异）。〖PPT〗距离类型。（3）特征取值之间的偏差？【强化与拓展】将所有的数据映射同一尺度。（1）Min-Max归一化：公式、优点与缺点。（2）Z-score归一化：公式、优点与缺点。例1：体重与身高的两特征向量的归一化。X1=[80,1.6]X2=[60,1.7]（4）K值选择？【强化与拓展】交叉验证：选择模型验证中精度最高的K值作为最优K值。【时间】分钟。【提问】。二、Scikit-learn库的使用【主板书】Scikit-learn库的使用1.产生数据与数据可视化：不同图形表示不同的类别。2.库引入KNeighborsClassifier（利用K个指定数量的距离新样本的最近邻样本进行分类）、RadiusNeighborsClassifier（利用距离新样本指定半径内样本进行分类）。fromsklearn.neighborsimportKNeighborsClassifier3.模型构建。class

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,

weights=‘uniform’,

p=2,

metric=‘minkowski’)【强化与拓展】参数说明：n_neighbors：相邻样本的数量（默认值为5）。weights（权重）：用于预测的权重函数（默认为‘uniform’）。可选参数有‘uniform’（在每一个邻居区域里的点的权重都是一样的）、‘distance’（权重点等于他们距离的倒数）。p：用于Minkowski距离参数（默认值为2）；p=1,相当于使用曼哈顿距离；p=2，相当于使用欧几里得距离。4.常用方法。nb.fit(x,y)：根据样本x与类别标识y对数据进行拟合。nb.predict(x)：输出测试集x的预测类别。5.结果可视化。〖PPT〗Scikit-learn库具体应用过程。【时间】分钟。【提问】。课堂练习其他无小结与作业课堂小结K近邻算法原理简单、易于实现，无需参数估计且对异常值不敏感；此算法对K值的选择与不平衡的样本较为敏感，因而通常需要通过交叉验证获取较好的K值，同时采用距离加权等方法提高其分类可靠性；此外，由于对每一个待分类的样本都要计算它与全体已知类别样本的距离以求得K个最近邻的样本，因而整体效率偏低。本课作业利用Scikit-learn库生成make_moons数据并将数据划分为训练数据与测试数据两部分。fromsklearn.datasetsimportmake_moonsx,y=make_moons(100,noise=0.5)#产生数据fromsklearn.model_selectionimporttrain_test_splitx_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.4)#训练与测试数据划分（测试数据点40%）

请完成以下实验：（1）K值对K-近邻算法的影响。设距离为欧式距离，将K值设置为1-50，求取测试数据的预测精度并画出相应的变化曲线。（2）距离类型对K-近邻算法的影响。设K=[5,