《人工智能基础与应用》课件-项目六：手写数字识别案例

云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-1：分类器介绍工作原理）CONTENTS目录分类器介绍工作原理6.1.101理解分类的基本概念掌握分类问题和分类器的核心定义，理解分类在机器学习中的地位02掌握分类器工作原理理解分类器的训练过程和预测过程，知道数据如何驱动分类决策03认识特征与标签理解特征（输入）和标签（输出）的含义，知道它们在分类中的作用04了解常见分类算法对决策树、K近邻、支持向量机等算法建立初步认知，为后续学习铺垫2什么是分类？分类（Classification）分类是机器学习中最基础的任务之一。它的目标是：根据已有数据，学习一个模型（分类器），该模型能够将新的数据样本划分到预定义的类别中。输入已知类别的训练数据过程从数据中学习分类规律输出能够对新数据进行分类的模型📐形式化理解：给定训练数据集D={(x₁,y₁),(x₂,y₂),...,(xₙ,yₙ)}，其中：

•xᵢ是特征向量（即描述样本的各种属性）

•yᵢ是类别标签（即样本属于哪一个类别）

分类的目标是学习一个函数f，使得对于新的样本x，f(x)能预测其正确的类别y。4📧垃圾邮件过滤邮箱系统自动将邮件分为"正常邮件"和"垃圾邮件"

依据：发件人地址、邮件内容关键词、附件特征等🏥医疗诊断辅助根据检查指标判断患者是否患有某种疾病

依据：体温、血压、血液指标、影像特征等📱人脸解锁手机手机识别使用者面部，区分"机主"和"非机主"

依据：面部特征点、五官比例、纹理信息等💡分类的本质：根据事物的特征，将其归入预定义的类别——这是人类和机器共有的能力5分类器是什么？分类器（Classifier）是一个能够将输入数据划分到不同类别中的数学模型。

它是机器学习分类任务的"决策者"——接收特征数据，输出类别判断。分类器像什么？🎯裁判观察比赛，根据规则

做出"得分有效"或"无效"的判断🏷️分拣员观察包裹信息，快速

将其放入正确的分类箱📋考官根据学生答案特征，

判断"通过"还是"不通过"6分类器的工作原理（一）——整体流程阶段一：训练阶段（Learning）①准备训练数据

(特征+标签)→②数据预处理

(清洗、标准化)→③选择分类算法

(决策树/KNN等)→④训练模型

(从数据中学习规律)阶段二：预测阶段（Prediction）①输入新样本

的特征数据→②数据预处理

(与训练一致)→③模型推理

(运用学到的规律)→④输出预测

的分类结果7分类器的工作原理（二）——训练过程详解训练=让模型「学会」规律•训练数据包含"问题"和"答案"

•模型通过反复"看"数据来找规律

•就像学生做题：先看例题（特征+答案），

总结解题方法（规律），再应对新题目

•训练完成后，规律被"记住"在模型中

（模型参数/决策边界/训练样本）🎓学习类比训练数据=带答案的练习题模型训练=学生刷题总结规律训练完成=学生掌握了方法🔑训练过程的关键要素：●数据质量数据越多、越准确，模型学到的规律越可靠●特征选择选择合适的特征（描述数据的属性）至关重要●算法选择不同算法有不同的"学习方式"，适应不同场景8分类器的工作原理（三）——预测过程详解新样本

输入一个未知类别的

数据到达→特征

提取提取与新样本

相关的特征值→模型

推理分类器根据学到的

规律做出判断→置信度

计算计算每个类别的

可能性（概率）→输出

结果选择置信度最高的

类别作为预测结果📋预测过程示例（手写数字识别）：输入：一张28×28像素的手写数字图片→提取784个像素值作为特征→分类器分析特征，计算每个数字(0~9)的概率→输出概率最高的数字作为预测结果9核心概念：特征与标签📊特征（Feature）——"输入"特征是用来描述样本的各种属性，是分类器的"眼睛"。

•鸢尾花分类：花瓣长度、花瓣宽度、花萼长度、花萼宽度

•手写数字识别：784个像素点的灰度值

•垃圾邮件过滤：关键词出现频率、发件人信誉分

💡好的特征=好的分类效果🏷️标签（Label）——"输出"标签是样本所属的类别，是分类器要预测的"目标"。

•鸢尾花分类：Setosa/Versicolour/Virginica

•手写数字识别：0,1,2,...,9（共10个类别）

•垃圾邮件过滤：垃圾邮件/正常邮件

💡分类器的目标：准确预测标签特征→标签的映射关系：输入：特征向量

(FeatureVector)→分类器→输出：类别标签

(ClassLabel)10常见分类器类型概览🌳决策树

DecisionTree像"流程图"一样

逐层判断，分支决策

本章任务6-2详解👥K近邻

K-NearestNeighbors"近朱者赤，近墨者黑"

看最近的K个邻居

多数决定类别

本章任务6-3详解📐支持向量机

SVM寻找最优"分界线"

最大化类别间隔

适合高维数据🧠神经网络

NeuralNetwork模拟人脑神经元

层层提取特征

适合复杂模式识别💡本章将重点讲解其中两种经典分类器：决策树（任务6-2）和K近邻（任务6-3）11如何评价分类器的好坏？📏核心评估指标●准确率Accuracy预测正确的样本数/总样本数最直观，但不适合不平衡数据●精确率Precision预测为某类的样本中，真正属于该类的比例"宁可错过，不可错杀"●召回率Recall某类样本中，被正确找出的比例"宁可错杀，不可放过"📊混淆矩阵（ConfusionMatrix）预测：正预测：负实际：正TP✓FN✗实际：负FP✗TN✓📦数据集划分：训练集vs测试集■训练集(TrainingSet)占比：70%~80%作用：用于训练模型，让分类器"学习"■测试集(TestSet)占比：20%~30%作用：用于评估模型，检验分类器"学得怎么样"⚠重要原则：测试集绝不参与训练！就像考试题目不能在考前泄露一样。12分类器的典型应用场景📧垃圾邮件检测二分类：正常邮件vs垃圾邮件|例如：Gmail、Outlook等邮箱系统🖼️图像识别多分类：识别图片中的物体类别|例如：自动驾驶、安防监控、手机相册🏥医疗诊断二分类/多分类：疾病诊断|例如：CT分析、病理切片识别💳欺诈检测二分类：正常交易vs欺诈交易|例如：银行信用卡风险控制系统🗣️语音识别多分类：识别语音中的文字|例如：智能音箱、语音助手📝手写识别多分类(0~9)：手写数字识别|例如：邮政编码识别、表单数字化🌟分类技术已渗透到各行各业。从你每天使用的手机人脸解锁，到医院的AI辅助诊断，

从银行的风控系统，到本章要实践的手写数字识别——分类器无处不在！🎯本章聚焦：手写数字识别是计算机视觉的"HelloWorld"，

是学习和验证分类算法的经典案例。接下来我们将一步步实现它！13手写数字识别——本章案例展望📦MNIST数据集简介•1999年发布，是分类算法基准测试的经典数据集

•包含0~9共10个类别的手写数字灰度图像

•每张图片：28×28=784个像素

•每个像素取值范围：[0,255]，值越大颜色越深

•训练集含数万张已标注图片

🏆被誉为计算机视觉领域的"HelloWorld"📋数据格式第一列：标签(0~9)

第2~785列：

784个像素值

28×28像素排列：

═══行(28个)═══

∥pixel₀...pixel₂₇∥

∥.........∥

∥pixel₇₅₆..pixel₇₈₃∥🔧本章四个任务的协作关系：任务6-1理解分类器

基本原理建立理论基础→任务6-2决策树算法

分类实践掌握第一种

分类方法→任务6-3K近邻算法

详解与实践掌握第二种

分类方法→任务6-4综合案例

手写数字识别项目实战

完整流程14分类器是什么？分类器的工作原理核心概念：特征与标签如何评价分类器的好坏？分类器的典型应用场景云计算技术应用省级专业教学资源库谢谢观看Thankyouforwatching云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-2：决策树算法）CONTENTS目录决策树算法6.2.1决策树简介–生活中的决策树女孩相亲的决策树决策树简介决策树是一种树形结构树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果决策树的建立过程1.特征选择：选取有较强分类能力的特征。2.决策树生成：根据选择的特征生成决策树。3.决策树也易过拟合，采用剪枝的方法缓解过拟合。1、女孩相亲过程中，更看重哪些特征呢？年龄>长相>收入>是否公务员2、机器学习算法中，选择数据集中的哪些特征进行分裂，会更好呢？信息熵熵Entropy熵越大，数据的不确定性度越高，信息就越多熵越小，数据的不确定性越低举个栗子：数据

α：ABCDEFGH数据

β：AAAABBCD数据α包含了8种信息，数据

β包含了4种信息，特征α的信息熵大于特征β的信息熵。信息论中代表随机变量不确定度的度量信息熵计算方法

栗子1-1：计算数据

α（ABCDEFGH）信息熵，其中A、B、C、D、E、F、G、H出现的概率为：1/8

栗子1-2：计算数据

β（AAAABBCD）信息熵

其中A出现的概率为1/2，B出现的概率为1/4，C、D出现的概率为1/8

ID3决策树-信息熵栗子2-1：假如数据集有三个类别，分别占比为：{⅓,

⅓,

⅓}，信息熵：栗子2-2：假如数据集有三个类别，分别占比为：{1/10,

2/10,

7/10}，信息熵：

栗子2-3：假如数据集有三个类别，分别占比为：{1,

0,

0}，信息熵：

信息增益概念数学公式特征a对训练数据集D的信息增益g(D，a)，定义为集合D的熵H(D)与特征a给定条件下D的熵H(D|a)之差。信息增益=熵-条件熵g(D,

A)

=

H(D)-H(D|A)

条件熵信息增益特征a目标值αAαAβBαAβBαB3A3B3A1B2B已知6个样本，根据特征A：α部分对应的目标值为：AAABβ部分对应的目标值为：BBαβ条件为α熵：-3/4*math.log(3/4,2)-1/4*math.log(1/4,2)=0.81

条件为β熵：

-(2/2）*math.log(2/2,2)=0条件熵：#α部分占了4/6，β部分占了2/6(4/6)*0.81+(2/6)*0=0.54熵：-3/6*math.log(3/6,2)–3/6*math.log(3/6,2)=1信息增益：熵–条件熵：1.0–0.54=0.46生活中的决策树决策树简介信息熵信息增益云计算技术应用省级专业教学资源库谢谢观看Thankyouforwatching云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-2：决策树算法）CONTENTS目录决策树算法6.2.2

ID3决策树已知某一个论坛客户流失率数据需求考察性别、活跃度特征哪一个特征对流失率的影响更大分析15条样本：5个正样本、10个负样本1计算熵2计算性别信息增益3计算活跃度信息增益4比较两个特征的信息增益

ID3决策树计算每个特征的信息增益使用信息增益最大的特征将数据集

拆分为子集使用该特征（信息增益最大的特征）作为决策树的一个节点使用剩余特征对子集重复上述（1，2，3）过程

ID3决策树–信息增益案例计算熵计算性别条件熵(a="性别")

计算性别信息增益(a="性别")

ID3决策树–信息增益案例计算活跃度条件熵(a=“活跃度")

计算活跃度信息增益(a=活跃度")

结论：活跃度的信息增益比性别的信息增益大，对用户流失的影响比性别大。1、下列关于决策树的概念描述错误的是？A）决策树算法需要构建树结构B）决策树上的每一个节点代表一个判断条件C）决策树上的每一个叶节点代表一种分类结果D）通过决策树不能明确特征的重要性程度答案解析：决策树要根据特征重要性进行分裂答案：D。2、下列关于熵和信息熵的描述错误的是？A）熵越大，系统的混乱程度越小B）信息熵是用来描述信息的完整性和有序性的C）信息的有序状态越一致、数据越集中，信息熵越小，反之越大答案解析：信息越混乱熵越大答案：A答案：ABD。3、下列关于信息增益的描述正确的是？（多选）A）表达的是在用某个特征对数据集进行分裂B）是ID3算法中的核心C）消除的不确定性越大，信息增益越小，表示这个特征越不重要D）对类别数较多的特征比较青睐

C4.5决策树ID3树的不足偏向于选择种类多的特征作为分裂依据举个栗子特征b特征a目标值1αA2αA3βB4αA5βB6αB特征a有2个取值特征b有6个取值1

特征M作为分裂特征，会构造一棵深度为2的决策树，该树的预测准确率可能非常高2但整棵树过于依赖少数的特征（只根据少数特征进行学习），导致过拟合信息增益率信息增益率=信息增益/特征熵信息增益率的本质特征的信息增益➗特征的内在信息相当于对信息增益进行修正，增加一个惩罚系数特征取值个数较多时，惩罚系数较小；特征取值个数较少时，惩罚系数较大。惩罚系数：数据集D以特征a作为随机变量的熵的倒数。

计算方法信息增益率已知数据集特征b特征a目标值1αA2αA3βB4αA5βB6αB需求：求特征a、b的信息增益率

结论：特征a的信息增益率大于特征b的信息增益率，根据信息增益率，应该选择特征a作为分裂特征1信息增益率的作用信息增益偏向于选择种类多的特征作为分裂依据缓解ID3树中存在的不足2信息增益率信息增益率=信息增益/特征熵相当于对信息增益进行修正，增加一个惩罚系数1、下列关于信息增益率的说法错误的是？A能有效缓解信息增益所带来的弊端B是在信息增益的基础上除以当前特征的固有值C是C4.5算法中的核心D倾向于选择取值多的特征答案：D2、在机器学习中，信息增益率是用来衡量什么的？

A属性对分类的贡献

B分类的准确度

C样本的数量

D计算机存储空间的使用率答案：AID3决策树ID3树的构建流程C4.5决策树C4.5树的构建流程信息增益率

云计算技术应用省级专业教学资源库谢谢观看Thankyouforwatching云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-2：决策树算法）CONTENTS目录决策树算法6.2.4

CART回归决策树CART回归树和CART分类树的不同之处在于CART分类树预测输出的是一个离散值，CART回归树预测输出的是一个连续值CART分类树使用基尼指数作为划分、构建树的依据，CART回归树使用平方损失分类树使用叶子节点多数类别作为预测类别，回归树则采用叶子节点里均值作为预测输出CART回归树的平方损失栗子：根据平方损失，构建CART回归树已知：数据集只有1个特征x,目标值值为y分析：因只有1个特征，所以只需选择该特征的最优划分点，并不需要计算其他特征。

CART回归决策树1先将特征x的值排序，并取相邻元素均值作为待划分点，如下图所示：2计算每一个划分点的平方损失，例如：划分点1.5的平方损失计算过程为：1019按照1.5划分目标值左子树预测值5.56

右子树预测值7.50

CART回归决策树3以此方式计算2.5、3.5...等划分点的平方损失，结果如下所示：4当划分点s=6.5时,m(s)最小。所以第1个划分变量：特征为X,切分点为6.55对左子树的6个节点计算每个划分点的平方式损失，找出最优划分点6s=3.5时，m(s)最小，所以左子树继续以3.5进行分裂eg：以x=1.5作为切分点，左子树c1输出为5.56，右子树c2输出(5.7+5.91+6.4+6.8+7.05)/5

=

6.37

CART回归决策树7.假设在生成3个区域之后停止划分，以上就是最终回归树。

每一个叶子节点的输出为：挂在该节点上的所有样本均值。1、选择一个特征，将该特征的值进行排序，取相邻点计算均值作为待划分点2、根据所有划分点，将数据集分成两部分：R1、R23、R1和R2两部分的平方损失相加作为该切分点平方损失4、取最小的平方损失的划分点，作为当前特征的划分点5、以此计算其他特征的最优划分点、以及该划分点对应的损失值6、在所有的特征的划分点中，选择出最小平方损失的划分点，作为当前树的分裂点CART回归树构建过程小结

CART决策树–案例：线性回归与回归决策树对比

已知数据需求分别训练线性回归、回归决策树模型，并预测对比分析训练模型，并使用1000个[0.0,

10]之间的数据，让模型预测，画出预测值图线从预测效果来看：1、线性回归是一条直线2、决策树是曲线3、树的拟合能力是很强的，易过拟合案例：线性回归与回归决策树对比

案例：线性回归与回归决策树对比

importnumpyasnp

importpandasaspd

fromsklearn.treeimportDecisionTreeRegressor#回归决策树

fromsklearn.linear_modelimportLinearRegression

importmatplotlib.pyplotaspltdefdm01_回归分类():

#1准备数据

x=np.array(list(range(1,11))).reshape(-1,1)

y=np.array([5.56,5.70,5.91,6.40,6.80,7.05,8.90,8.70,9.00,9.05])

print(‘x-->\n’,x)

print(‘y-->\n’,y)

#2实例化模型模型训练

model1=DecisionTreeRegressor(max_depth=1)

model2=DecisionTreeRegressor(max_depth=3)

model3=LinearRegression()

model1.fit(x,y)

model2.fit(x,y)

model3.fit(x,y)

#3模型预测#等差数组-按照间隔

x_test=np.arange(0.0,10.0,0.01).reshape(-1,1)

y_pre1=model1.predict(x_test)

y_pre2=model2.predict(x_test)

y_pre3=model3.predict(x_test)

print(y_pre1.shape,y_pre2.shape,y_pre3.shape)

#4结果可视化

plt.figure(figsize=(10,6),dpi=100)

plt.scatter(x,y,label='data')

plt.plot(x_test,y_pre1,label='max_depth=1')#深度1层

plt.plot(x_test,y_pre2,label='max_depth=3')#深度3层

plt.plot(x_test,y_pre3,label='linear')

plt.xlabel('data')

plt.ylabel('target')

plt.title('DecisionTreeRegressor')

plt.legend()

plt.show()以下哪项是回归决策树说法正确的是（多选）？可以处理非线性关系可以处理多个输入变量可以处理分类和回归问题可以避免过拟合在回归决策树中，如何选择最佳的分割点？根据信息增益选择根据基尼指数选择根据均方误差选择根据叶节点样本数量选择答案为：AB答案为：C决策树正则化–剪枝为什么要剪枝？决策树剪枝是一种防止决策树过拟合的一种正则化方法；提高其泛化能力。把子树的节点全部删掉，使用用叶子节点来替换剪枝剪枝方法预剪枝：指在决策树生成过程中，对每个节点在划分前先进行估计，若当前节点的划分不能带来决策树泛化性能提升，则停止划分并将当前节点标记为叶节点;后剪枝：是先从训练集生成一棵完整的决策树，然后自底向上地对非叶节点进行考察，若将该节点对应的子树替换为叶节点能带来决策树泛化性能提升，则将该子树替换为叶节点。剪枝思想已知训练集和验证集剪枝原理预剪枝基于预剪枝策略从上表数据所生成的决策树如上图所示，其验证集精度为71.4%.决策树正则化–剪枝的基本工作原理–后剪枝1先利用训练集完整的生成一颗树，有6个内部节点。分别考察这些节点作为叶子节点模型的准确率，若准确率上升，则剪掉，否则保留。1

剪枝？把叶子节点、子节点删掉，用更大的叶子节点（子树）替换叶子节点2

预剪枝和后剪枝？预剪枝：指在决策树生成过程中，对每个节点在划分前先进行估计，若当前节点的划分不能带来决策树泛化性能提升，则停止划分并将当前节点标记为叶节点;后剪枝：是先从训练集生成一棵完整的决策树，然后自底向上地对非叶节点进行考察，若将该节点对应的子树替换为叶节点能带来决策树泛化性能提升，则将该子树替换为叶节点。决策树正则化–剪枝技术对比预剪枝使决策树的很多分支没有展开，不单降低了过拟合风险，还显著减少了决策树的训练、测试时间开销比预剪枝保留了更多的分支。一般情况下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝优点有些分支的当前划分虽不能提升泛化性能，但后续划分却有可能导致性能的显著提高；预剪枝决策树也带来了欠拟合的风险缺点后剪枝先生成，后剪枝。自底向上地对树中所有非叶子节点进行逐一考察，训练时间开销比未剪枝的决策树和预剪枝的决策树都要大得多。缺点优点预剪枝后剪枝1、下列关于剪枝的描述正确的是？（多选）A）剪枝是为了防止模型产生过拟合B）常用的剪枝方法有预剪枝和后剪枝C）预剪枝是提前设定树在构建过程中的限制参数，一边生成一边验证效果D）后剪枝需要等树构建完成后再遍历节点答案：ABCD。答案解析：A剪枝正则化一种方法ok

B正确C正确D描述正确CART回归决策树案例：线性回归与回归决策树对比 决策树正则化–剪枝剪枝思想云计算技术应用省级专业教学资源库谢谢观看Thankyouforwatching云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-3：K近邻算法详解）CONTENTS目录K近邻算法详解6.3.1KNNK-近邻算法（KNearestNeighbor，简称KNN）。比如：根据你的“邻居”来推断出你的类别KNN算法思想：如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别思考：如何确定样本的相似性？K-近邻算法样本相似性：样本都是属于一个任务数据集的。样本距离越近则越相似。利用K近邻算法预测电影类型序号电影名称搞笑镜头拥抱镜头打斗镜头电影类型1功夫熊猫39031喜剧片2叶问33265动作片3伦敦陷落2355动作片4代理情人9382爱情片5新步步惊心83417爱情片6谍影重重5257动作片7功夫熊猫39031喜剧片8美人鱼21175喜剧片9宝贝当家4529喜剧片10唐人街探案23317？K-近邻算法《唐人街探案》

VS《伦敦陷落》分别计算10号电影与前9个电影的距离k=5找到最相似的电影类别，来决定10号电影的类别序号电影名称搞笑镜头拥抱镜头打斗镜头电影类型距离K=5时1功夫熊猫39031喜剧片21.47√2叶问33265动作片52.013伦敦陷落2355动作片43.424代理情人9382爱情片40.575新步步惊心83417爱情片34.44√6谍影重重5257动作片43.877功夫熊猫39031喜剧片21.47√8美人鱼21175喜剧片18.55√9宝贝当家4529喜剧片23.43√10唐人街探案23317？——？K值选择K值过小：用较小邻域中的训练实例进行预测容易受到异常点的影响K值的减小就意味着整体模型变得复杂，容易发生过拟合K值过大：用较大邻域中的训练实例进行预测受到样本均衡的问题且K值的增大就意味着整体的模型变得简单，欠拟合举例：K=N（N为训练样本个数）无论输入实例是什么，只会按训练集中最多的类别进行预测,受到样本均衡的影响如何对K超参数进行调优？需要一些方法来寻找这个最合适的K值交叉验证、网格搜索KNN算法分类流程计算未知样本到每一个训练样本的距离将训练样本根据距离大小升序排列取出距离最近的K个训练样本进行多数表决，统计K个样本中哪个类别的样本个数最多将未知的样本归属到出现次数最多的类别回归流程计算未知样本到每一个训练样本的距离将训练样本根据距离大小升序排列取出距离最近的K个训练样本把这个K个样本的目标值计算其平均值作为将未知的样本预测的值解决问题：分类问题、回归问题算法思想：若一个样本在特征空间中的k个最相似的样本大多数属于某一个类别，则该样本也属于这个类别相似性：欧氏距离1、有关KNN的K值选择，以下说法中正确的是？（多选）A）若k值过小，意味着模型更易受到异常点影响，更易学习到嘈杂数据，模型有过拟合的风险。B）若k值过大，模型会变的相对简单，结果更容易受到异常值的影响。C）若k值与训练集样本数相同，会导致最终模型的结果都是指向训练集中类别数

最多的那一类，忽略了数据当中其它的重要信息，模型会过于简单。D）实际工作中经常使用交叉验证的方式去选取最优的k值，而且一般情况下，k值都是比较小的数值。答案ACD。KNN解决什么问题1）KNN：KNearestNeighbor。即解决的是寻找与未知样本_______的K个样本，并对未知样本所属的分类或者属性进行预测的问题。2）距离度量：空间中两个样本的距离通过_________来度量的。答案解析：①最近邻；②欧氏距离KNN算法API使用-分类问题

KNN分类API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)

n_neighbors：int,可选（默认=5），k_neighbors查询默认使用的邻居数fromsklearn.neighborsimportKNeighborsClassifier

defdm01_knnapi_分类():

estimator=KNeighborsClassifier(n_neighbors=1)

X=[[0],[1],[2],[3]]

y=[0,0,1,1]

estimator.fit(X,y)

myret=estimator.predict([[4]])

print('myret-->',myret)KNN算法API使用-回归问题fromsklearn.neighborsimportKNeighborsRegressor

defdm02_knnapi_回归():

estimator=KNeighborsRegressor(n_neighbors=2)

X=[[0,0,1],

[1,1,0],

[3,10,10],

[4,11,12]]

y=[0.1,0.2,0.3,0.4]

estimator.fit(X,y)

myret=estimator.predict([[3,11,10]])

print('myret-->',myret)KNN回归API：sklearn.neighbors.KNeighborsRegressor(n_neighbors=5)1）导入算法对象：fromsklearn.neighborsimportKNeighborsClassifier-----------------A2）构造数据：

x=[[0],[1],[2],[3]]y=[0,0,1,1]3）实例化算法API：estimator=KNeighborsClassifier(n_neighbors=2)---------------------B4）训练模型并预测：

estimator.fit(x,y)-------------------------------------------------------Cestimator.predict([1])---------------------------------------------------D以下关于KNN算法API的使用有误的一项是？答案解析：D。正确代码应为：estimator.predict([[1]])KNN概念KNearestNeighborKNN分类流程KNN回归流程K值的选择云计算技术应用省级专业教学资源库谢谢观看Thankyouforwatching云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-3：K近邻算法详解）CONTENTS目录K近邻算法详解6.3.2距离度量distancemeasure

–常见距离公式欧氏距离EuclideanDistance直观的距离度量方法，两个点在空间中的距离一般都是指欧氏距离

距离度量distancemeasure

–常见距离公式曼哈顿距离(ManhattanDistance)

也称为“城市街区距离”(CityBlockdistance)，曼哈顿城市特点：横平竖直

距离度量distancemeasure

–常见距离公式切比雪夫距离ChebyshevDistance国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个。国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？这个距离就叫切比雪夫距离。

距离度量distancemeasure

–常见距离公式闵可夫斯基距离

MinkowskiDistance

闵氏距离不是一种新的距离的度量方式。是对多个距离度量公式的概括性的表述两个n维变量a(x11

,x12,

…,

x1n)与b(x21,

x22,…,

x2n)间的闵可夫斯基距离定义为其中p是一个变参数：当p=1时，就是曼哈顿距离；当p=2时，就是欧氏距离；当p→∞时，就是切比雪夫距离根据p的不同，闵氏距离可表示某一类种的距离1、对于n维空间中的两个点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)来说，

下列哪个公式是闵可夫斯基距离的一般表达式？A：B：C：D：其中A是Boston距离，B是欧氏距离，C是切比雪夫距离。正确答案：D特征预处理为什么做归一化和标准化

?特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些模型（算法）无法学习到其它的特征。编号身高m体重kg视力0.2-2.0健康状况11.70671.5121.71800.8231.75701.5141.76681.2151.80801.8161.81900.62男子身高体重视力与健康关系表健康为1不健康为2特征预处理归一化：通过对原始数据进行变换把数据映射到【mi,mx】(默认为[0,1])之间特征预处理数据归一化：通过对原始数据进行变换把数据映射到【mi,mx】(默认为[0,1])之间importnumpyasnp

fromsklearn.preprocessingimportMinMaxScaler

defdm01_MinMaxScaler():

#1.准备数据

data=[[90,2,10,40],[60,4,15,45],[75,3,13,46]]#2.初始化归一化对象

transformer=MinMaxScaler()#3.对原始特征进行变换

data=transformer.fit_transform(data)#4.打印归一化后的结果

print(data)1.sklearn.preprocessing.MinMaxScaler(feature_range=(0,1)…)

feature_range缩放区间2.

fit_transform(X)将特征进行归一化缩放数据归一化API：特征预处理数据标准化：通过对原始数据进行标准化，转换为均值为0标准差为1的标准正态分布的数据mean为特征的平均值σ为特征的标准差fromsklearn.preprocessingimportStandardScalerdefdm03_StandardScaler():

#对特征值进行标准化

#1.准备数据

data=[[90,2,10,40],[60,4,15,45],[75,3,13,46]]#2.初始化标准化对象

transformer=StandardScaler()#3.对原始特征进行变换

data=transformer.fit_transform(data)#4.打印归一化后的结果

print(data)

#5打印每1列数据的均值和标准差

print('transfer.mean_-->',transfer.mean_)

print('transfer.var_-->',transfer.var_)1.sklearn.preprocessing.StandardScaler()2.

fit_transform(X)将特征进行归一化缩放数据标准化API：特征预处理正态分布是一种概率分布，大自然很多数据符合正态分布正态分布的3σ法则（68-95-99.7法则）也叫高斯分布，钟形分布。正态分布记作N(μ，σ)μ决定了其位置，其标准差σ决定了分布的幅度当μ=0,

σ=1时的正态分布是标准正态分布

标准差σ是方差开根号特征预处理数据归一化如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变应用场景：最大值与最小值非常容易受异常点影响，鲁棒性较差，只适合传统精确小数据场景sklearn.preprocessing.MinMaxScaler(feature_range=(0,1)…)数据标准化如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大应用场景：适合现代嘈杂大数据场景。(以后就是用你了）sklearn.preprocessing.StandardScaler()归一化标准化在__________

的情况下，异常值对样本的均值和标准差的影响可以忽略不计。（提示：1样本数量小2样本数量大）度量值X’容易受到样本中__________

的影响，鲁棒性差。（提示：1分布2最大值最小值3方差）填空：答案：①最大值最小值；②样本数量较大。KNN概念KNearestNeighborKNN分类流程KNN回归流程K值的选择云计算技术应用省级专业教学资源库谢谢观看Thankyouforwatching云计算技术应用省级专业教学资源库人工智能基础与应用项目六：手写数字识别案例（任务6-4：实现手写数据识别案例分析）CONTENTS目录实现手写数据识别案例分析6.4.1MNIST手写数字识别1999年发布，成为分类算法基准测试的基础MNIST仍然是研究人员和学习者的可靠资源已知数据利用KNN算法实现手写数字识别

需求从数万个手写图像的数据集中正确识别数字1数据文件train.csv和test.csv包含从0到9的手绘数字的灰度图像。2每个图像高28像素，宽28像素，共784个像素。3每个像素取值范围[0,255]，取