KNN算法期末练习题（含详细答案解析）

KNN算法期末练习题（含详细答案解析）适用场景：机器学习课程随堂测试、期末复习、笔试刷题题型说明：满分100分，包含选择题、填空题、简答题、计算题，无偏题怪题，贴合本科教学核心考点一、单项选择题（每题3分，共30分）1.KNN算法的核心思想是（）A.基于概率模型预测样本类别B.根据邻近样本的类别判断待测样本类别C.通过训练迭代优化模型参数D.构建决策树完成分类任务2.下列关于KNN算法的说法，正确的是（）A.属于有参数监督学习算法B.必须经过训练拟合过程才能预测C.属于惰性学习算法，无显式训练阶段D.只能用于分类任务，无法用于回归3.K值的选取对KNN模型影响极大，若K值过小，会出现的问题是（）A.过拟合B.欠拟合C.运算速度变慢D.分类结果过于平滑4.若K值选取过大，下列说法错误的是（）A.容易引入远距离噪声样本B.模型泛化能力下降C.容易出现欠拟合现象D.模型对异常样本更敏感5.常用的KNN距离度量公式中，欧式距离适用于（）A.离散特征、稀疏数据B.连续型数值特征C.仅二分类数据D.高维海量数据6.在KNN算法中，对特征数据做归一化处理的主要目的是（）A.加快模型训练速度B.消除量纲影响，避免数值大的特征主导距离计算C.提升模型拟合能力D.降低数据维度7.下列距离公式中，属于曼哈顿距离的是（）A.各维度差值的平方和开根号B.各维度差值的绝对值之和C.各维度差值的最大值D.向量夹角余弦值8.加权KNN相较于普通KNN的优势是（）A.计算速度更快B.弱化远距离样本的干扰，提升预测精度C.无需选取K值D.不需要数据归一化9.关于KNN算法的优缺点，下列描述错误的是（）A.对小样本数据集友好，模型简单易实现B.对高维数据适配性差C.预测阶段速度极快D.对异常数据敏感10.网格搜索选取最优K值时，核心评价依据是（）A.训练集准确率最高B.验证集准确率最高C.模型训练耗时最短D.K值越大越好二、填空题（每空2分，共20分）1.KNN的中文全称是__________。2.KNN算法属于__________（监督/无监督）学习算法，可用于分类和__________任务。3.常规KNN采用__________投票原则判定样本类别，加权KNN则根据__________分配权重。4.常用的三种KNN距离度量方式：欧式距离、__________、__________。5.KNN无训练过程，预测时需遍历所有训练样本计算距离，因此属于__________学习。6.为避免K值选取的偶然性，通常采用__________方法筛选最优K值。三、简答题（每题10分，共30分）1.简述KNN算法的完整执行步骤。2.详细说明K值大小对KNN模型效果的影响，并给出K值选取的通用原则。3.分析KNN算法的优缺点，并说明其适用场景与不适用场景。四、计算题（每题20分，共20分）现有一组二维特征分类数据集，已知训练样本如下：样本A(2,3)类别：正例样本B(4,5)类别：正例样本C(1,1)类别：反例样本D(5,2)类别：反例待测样本X(3,3)，采用欧式距离、K=3的普通KNN算法，判断待测样本X的类别（需写出完整计算过程）。参考答案及详细解析一、单项选择题答案及解析1.B解析：KNN即近邻算法，核心逻辑是通过待测样本周围K个最近邻样本的类别，投票确定自身类别。A为贝叶斯算法特点，C为梯度下降类参数模型特点，D为决策树特点。2.C解析：KNN是无参数、惰性监督学习算法，无训练拟合过程，预测时直接比对样本；同时支持分类和回归任务。3.A解析：K值过小，模型仅参考极少量近邻样本，极易学习到训练集的噪声和细节，导致过拟合，泛化能力差。4.D解析：K值过大，会纳入大量远距离样本，稀释局部特征，模型决策过于平滑、容易欠拟合；对异常样本敏感度会降低，而非升高。5.B解析：欧式距离基于数值差值计算，适配连续型数值特征；离散、稀疏数据更适合曼哈顿距离或余弦距离。6.B解析：不同特征量纲不同（如身高cm、体重kg），数值量级差异大，会导致距离计算被大数值特征主导，归一化可统一量纲、保证特征权重公平。7.B解析：A是欧式距离，C是切比雪夫距离，D是余弦相似度。曼哈顿距离为各维度绝对差值之和，也叫街区距离。8.B解析：加权KNN根据样本距离远近分配权重，距离越近权重越高，距离越远权重越低，可有效削弱远距离噪声样本的干扰，提升预测准确率。9.C解析：KNN无训练过程，但预测阶段需要遍历所有训练样本计算距离，数据集量大时预测速度很慢。10.B解析：选取K值不能依赖训练集（易过拟合），需以验证集最优效果为标准，保证模型泛化能力。二、填空题答案1.K近邻算法2.监督；回归3.多数；样本距离（距离远近）4.曼哈顿距离；切比雪夫距离5.惰性（基于实例）6.网格搜索（交叉验证）三、简答题详细答案1.KNN算法完整执行步骤（1）数据预处理：对原始数据集清洗、去噪，对数值特征做归一化/标准化，统一特征量纲；划分训练集和测试集。（2）确定超参数：选定K值和距离度量方式（常用欧式距离）。（3）距离计算：针对每一个待测样本，计算其与训练集中所有样本的距离。（4）筛选近邻：将所有训练样本按距离从小到大排序，选取距离最近的前K个样本。（5）决策预测：分类任务采用多数投票原则，票数最多的类别为预测结果；回归任务取K个近邻样本的均值为预测结果。2.K值大小对模型的影响及选取原则（1）K值过小：模型复杂度高，仅依赖局部少量样本，极易拟合训练集噪声，出现过拟合，测试集泛化能力差，对异常数据极度敏感。（2）K值过大：模型复杂度低，会纳入大量远距离无关样本，弱化局部核心特征，决策结果过于平滑，出现欠拟合，无法精准捕捉数据规律。（3）选取原则：优先采用网格搜索+交叉验证筛选最优K值；常规场景下K取奇数（避免投票平局）；小数据集选较小K值，大数据集选偏大K值。3.KNN算法优缺点及适用场景优点：原理简单、易实现、无参数训练过程；对小样本、非线性数据适配性好；对异常值不极端敏感（K值合适时）；既能做分类也能做回归。缺点：预测效率低，大数据集下计算成本极高；高维数据效果差，易受维度灾难影响；对特征量纲敏感，必须做数据归一化；对不平衡数据集适配性差。适用场景：小样本数据集、低维特征数据、对训练速度要求高、预测速度要求低的场景（如图像简单分类、用户画像匹配、文本相似度匹配）。不适用场景：海量大数据、超高维数据、实时高速预测场景、类别极度不平衡的数据集。四、计算题详细解题过程已知条件：待测样本X(3,3)，K=3，欧式距离公式：d=1.计算X与所有训练样本的欧式距离与A(2,3)：d与B(4,5)：