大数据算法综述ppt课件.pptx_第1页
大数据算法综述ppt课件.pptx_第2页
大数据算法综述ppt课件.pptx_第3页
大数据算法综述ppt课件.pptx_第4页
大数据算法综述ppt课件.pptx_第5页
已阅读5页，还剩18页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

数据挖掘算法综述 大数据概述 数据挖掘算法分类 经典算法简介 1 2 3 大数据概述 大数据概述 大数据是指无法在一定时间范围内用常规的软件工具进行捕捉 管理和处理的数据集合 是由于目前存储和计算模式与能力不能满足存储与处理现有数据集规模的需求而产生的相对概念 大数据平台的设计 数据挖掘算法分类 数据挖掘 大数据的挖掘是从海量 不完全的 有噪声的 模糊的 随机的大型数据库中发现隐含在其中有价值的 潜在有用的信息和知识的过程 也是一种决策支持过程 大数据的挖掘常用的方法有分类 回归分析 聚类 关联规则 神经网络方法 Web数据挖掘等 这些方法从不同的角度对数据进行挖掘 数据挖掘算法分类 数据挖掘算法分类 经典算法简介 ID3算法 决策树是一种依托决策而建立起来的一种树 在机器学习中 决策树是一种预测模型 代表的是一种对象属性与对象值之间的一种映射关系 每一个节点代表某个对象 树中的每一个分叉路径代表某个可能的属性值 而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值 决策树仅有单一输出 如果有多个输出 可以分别建立独立的决策树以处理不同的输出 ID3算法 ID3算法是决策树的一种 它是基于奥卡姆剃刀原理的 即用尽量用较少的东西做更多的事 在信息论中 期望信息越小 那么信息增益就越大 从而纯度就越高 ID3算法的核心思想就是以信息增益来度量属性的选择 选择分裂后信息增益最大的属性进行分裂 该算法采用自顶向下的贪婪搜索遍历可能的决策空间 ID3算法 ID3算法 ID3算法 C4 5算法 C4 5相比于ID3改进的地方有 1 用信息增益率来选择属性 2 在树构造过程中进行剪枝 在构造决策树的时候 那些挂着几个元素的节点 不考虑最好 不然容易导致overfitting 3 对非离散数据也能处理 4 能够对不完整数据进行处理 K Means算法 K Means算法是聚类算法 k在在这里指的是分类的类型数 所以在开始设定的时候非常关键 算法的原理是首先假定k个分类点 然后根据欧式距离计算分类 然后取同分类的均值作为新的聚簇中心 循环操作直到收敛 K Means算法 Apriori关联算法 Apriori算法学习数据的关联规则 associationrules 适用于包含大量事务 transcation 的数据库 关联规则学习是学习数据库中不同变量中的相互关系的一种数据挖掘技术 Apriori关联算法 基本的Apriori算法有三步 1 参与 扫描一遍整个数据库 计算1 itemsets出现的频率 2 剪枝 满足支持度和可信度的这些1 itemsets移动到下一轮流程 再寻找出现的2 itemsets 3 重复 对于每种水平的项集一直重复计算 直到我们之前定义的项集大小为
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论