《机器学习项目开发实战》-课件 4. 项目二 - 任务三

监督学习分类实战-图像分类K近邻（KNN）算法实现CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：K近邻（KNN）算法实现在本任务中，你将实现K近邻（KNN）算法来对图像数据进行分类。你需要从数据预处理开始，选择合适的特征，实现KNN算法，并调整参数以优化模型性能。/02知识储备KNN是什么KNN算法，全称K-NearestNeighbor，即K最近邻算法，是一种在数据挖掘和机器学习中广泛使用的监督学习算法。KNN工作原理13425输入样本筛选样本统计样本预测样本KNN实现流程在建立训练集时，就要确定训练数据及其对应的类别标签；然后把待分类的测试数据与训练集数据依次进行特征比较；从训练集中挑选出最相近的k个数据，这k个数据中投票最多的分类，即为新样本的类别。欧式距离曼哈顿距离余弦相似度余弦相似度的取值范围为[−1,1]，其中1表示两个向量完全相似，-1表示两个向量完全相反，0表示两个向量无关。K值选择方法经验法则根据经验和数据集的特点，常用的K值有1、3、5等。1交叉验证将样本数据按照一定比例拆分为训练集和验证集。选取较小的K值开始，不断增加K的值，选择表现最好的K值作为最优解。2网格搜索在给定的K值范围内进行搜索，尝试所有可能的K值组合。3/03任务实施KNN算法实现fromsklearn.neighborsimportKNeighborsClassifierfromsklearn.metricsimportaccuracy_scoreknn=KNeighborsClassifier(n_neighbors=3)knn.fit(X_train,y_train)y_pred=knn.predict(X_test)accuracy=accuracy_score(y_test,y_pred)print(f"Accuracy:{accuracy:.4f}")导入库创建模型评估模型模型调优1k_values=range(1,21)#从1到20，2best_accuracy=03best_k=04forkink_values:5knn=KNeighborsClassifier(n_neighbors=k)scores=cross_val_score(knn,X_train,y_train,cv=5,scoring='accuracy’)mean_accuracy=scores.mean()8print(f"K={k},Cross-ValidationAccuracy:{mean_accuracy:.4f}")9ifmean_accuracy>best_accuracy:10best_accuracy=mean_accuracy11best_k=k12print(f"BestK:{best_k},BestCross-ValidationAccuracy:{best_accuracy:.4f}")/04任务评价任务评价1.是否成功加载了KNeighborsClassifier及accuracy_score库？2