版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第3章 k-近邻算法目录2第一节
算法内容第二节K值选取第三节
距离度量第四节
快速检索第五节
实例
第一节算法内容算法内容给定一个训练样本集合以及一个需要进行预测的样本,k-近邻算法的思想如下:对于分类问题,k-近邻算法从所有训练样本集合中找到与x最近的k个样本,然后通过投票法选择这k个样本中出现次数最多的类别作为x的预测结果对于回归问题,k-近邻算法同样找到与x最近的k个样本,然后对这k个样本的标签求平均,得到x的预测结果。4算法内容5第二节K值选取K值选取77K值K值过小商业策略K值过大投票法的准则是少数服从多数,所以当k值很小时,得到的结果就容易产生偏差。最近邻算法是这种情况下的极端,也就是k=1时的k-近邻算法。最近邻算法中,样本x的预测结果只由训练集中与其距离最近的那个样本决定。如果k值选取较大,则可能会将大量其它类别的样本包含进来,极端情况下,将整个训练集的所有样本都包含进来,这样同样可能会造成预测错误。一般情况下,可通过交叉验证、在验证集上多次尝试不同的k值来挑选最佳的k值。第三节距离度量距离度量9对于连续变量,使用欧式距离直接进行距离度量。对于离散变量,可以先将离散变量连续化,然后再使用欧式距离进行度量。距离度量10
词嵌入
词嵌入(Wordembedding)是自然语言处理领域常用的一种对单词进行编码的方式。词嵌入首先将离散变量进行热独(one-hot)编码,假定共有5个单词{A,B,C,D,E},则对A的热独编码为,B的热独编码为,其它单词类似。11编码后的单词用矩阵表示为随机初始化一个用于词嵌入转化的矩阵,其中每一个d维的向量表示一个单词。词嵌入后的单词用矩阵表示为距离度量距离度量12矩阵E中的每一列是相应单词的词嵌入表示,d是一个超参数,M可以通过深度神经网络在其他任务上进行学习,之后就能用单词词嵌入后的向量表示计算内积用以表示单词之间的相似度。对于一般的离散变量同样可以采用类似词嵌入的方法进行距离度量。第四节快速检索快速检索当训练集合的规模很大时,如何快速的找到样本x的k个近邻成为计算机实现k-近邻算法的关键。快速检索15一个更为可取的方法是为训练样本事先建立索引,以减少计算的规模。kd树是一种典型的存储k维空间数据的数据结构(此处的k指x的维度大小,与k-近邻算法中的没有任何关系)。建立好kd树后,给定新样本后就可以在树上进行检索,这样就能够大大降低检索k个近邻的时间,特别是当训练集的样本数远大于样本的维度时。一个朴素的思想是1) 计算样本x与训练集中所有样本的距离。2) 将这些点依据距离从小到大进行排序选择前k个。第五节实例实例17sklearn中提供的k-近邻模型称为KNeighborsClassifier,下面给出了模型构造和训练代码。实例18用以下代码对上述模型进行测试。根据程序输出可以看出,模型在训练集上的准确率达到0.964,测试集上的准确率达到0.947。实例19下图展示了模型的决策边界。可以看出,几乎所有样本点都落在相应的区域之内,只有少数边界点可以落在边界以外。实例20k-近邻模型默认使用k=5。当k过小时,容易产生过拟合;当
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 小风电利用工岗前理论综合实践考核试卷含答案
- 空调器安装工岗前跨领域知识考核试卷含答案
- 康复护理中心建设规范
- 瓦斯泵工安全技能测试模拟考核试卷含答案
- 海藻制醇工变更管理竞赛考核试卷含答案
- 铝镁粉球磨工岗前内部控制考核试卷含答案
- 玻璃钢制品缠绕工岗前基础操作考核试卷含答案
- 固体废物监测员复试竞赛考核试卷含答案
- 病毒性肝炎患者的护理
- 溶剂发酵工岗位安全生产规范考核试卷含答案
- DB65T 8061-2026 既有建筑改造工程消防设计规程
- 2026年江苏省公务员《申论》真题及答案解析(A类)
- 秋冬防病小课堂 小学传染病预防课件
- 2026年中国邮政集团有限公司江苏省分公司人员招聘考试备考试题及答案
- 2026年安全教育课件小学生急救知识教育讲座课件
- 2026新教材语文 统编版语文六年级上册 第20课 文言文二则
- 钢结构厂房吊装专项施工方案
- 建筑行业施工现场安全资料管理培训
- 2026年第七届国家版图知识竞赛(中小学组)赛前必练题库(全新版)
- 空调维保服务人员配置计划方案
- 斯卡特门窗销售合同
评论
0/150
提交评论