大数据技术导论 课件 第6章 大数据分析与挖掘_第1页
大数据技术导论 课件 第6章 大数据分析与挖掘_第2页
大数据技术导论 课件 第6章 大数据分析与挖掘_第3页
大数据技术导论 课件 第6章 大数据分析与挖掘_第4页
大数据技术导论 课件 第6章 大数据分析与挖掘_第5页
已阅读5页,还剩26页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第6章

大数据分析与挖掘目录大数据分析概述数据挖掘数据挖掘算法大数据分析介绍PART01认识大数据分析数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程什么是大数据分析大数据分析是通常是指对规模巨大的数据进行分析,其目的是提取海量数据中的有价值的内容,找出内在的规律,从而帮助人们做出最正确的决策。工业大数据分析的直接目的是获得业务活动所需各种的知识,贯通大数据技术与大数据应用之间的桥梁,支撑企业生产、经营、研发、服务等各项活动的精细化,促进企业转型升级。使用Python读取并分析物联网数据大数据分析的类型描述性统计分析运用制表和分类,图形以及计算概括性数据来描述数据特征的各项活动探索性数据分析为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充验证性数据分析注重对数据模型和研究假设的验证,侧重于已有假设的证实或证伪大数据分析的方法分类是一种重要的数据挖掘技术。分类首先从数据中选出已经分好类的训练集,并根据数据集的特点构造一个分类器,利用分类器对未知类别的样本赋予不同类别。在分类中构造分类器的过程一般分为模型训练和使用模型分类两个步骤,在训练阶段,分析训练数据集的特点,为每个类别产生一个相应数据集的准确描述或模型。在测试阶段,利用类别的描述或模型对测试数据集进行分类,测试其分类准确度。分类回归在统计学中,回归分析指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。聚类聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。聚类自动寻找并建立分组规则的方法,通过判断样本之间的相似性,把相似样本划分在一个簇中关联规则关联规则的主要目标在于发现数据中所存在的关系,这种关系会以规则的形式表现出来。在实际应用中,“商品销售”讲述了产品之间的关联性,如果大量的数据表明,消费者购买A产品的同时,也会同时购买B产品。那么A和B之间存在关联性,记为A->B。

6.2大数据挖掘大数据挖掘数据挖掘首先是搜集数据,数据越丰富越好,数据量越大越好,只有获得足够的高质量的数据,才能获得确定的判断,才能产生认知模型数据挖掘是指在大量的数据中挖掘出有用信息,通过分析来揭示数据之间有意义的联系、趋势和模式数据挖掘可以分为两类:直接数据挖掘和间接数据挖掘‌大数据挖掘数据挖掘技术就是指为了完成数据挖掘任务所需要的全部技术,是数据挖掘方法的集合。在金融、零售等企业已广泛采用数据挖掘技术,分析用户的可信度和购物偏好等。数据挖掘的基本流程可以总结为以下几个阶段:商业理解、数据理解、数据准备、数据建模、模型评估和模型部署应用大数据挖掘CRISP-DM模型是欧盟起草的跨行业数据挖掘标准流程(Cross-IndustryStandardProcessforDataMining)的简称。这个标准以数据为中心,将相关工作分成业务理解、数据理解、数据准备、建模、验证与评估、实施与运行等六个基本的步骤大数据挖掘在当今大数据时代下,数据挖掘应用到各种各样的领域中,成为高科技发展的热点问题。在软件开发、医疗卫生、金融、教育等方面都可以随处看到数据挖掘的影子,可以使用数据挖掘技术发现大数据的内在的巨大价值。

6.3数据挖掘算法K-Means算法K-Means算法也叫作k均值聚类算法,它是最著名的划分聚类算法,由于简洁和效率使得它成为所有聚类算法中最广泛使用的。其步骤是随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。图显示了K-Means算法的实现,将数据点聚为2类。决策树算法决策树算法是一种能解决分类或回归问题的机器学习算法,它是一种典型的分类方法,最早产生于上世纪60年代。决策树算法首先对数据进行处理,利用归纳算法生成可读的规则和决策树,然后使用决策对新数据进行分析,因此在本质上决策树是通过一系列规则对数据进行分类的过程。图所示是一棵结构简单的决策树,用于预测贷款用户是否具有偿还贷款的能力。贷款用户主要具备是否拥有房产、是否结婚和平均月收入这三个属性。每一个内部节点都表示一个属性条件判断,叶子节点表示贷款用户是否具有偿还能力。KNN算法KNN算法也叫作K最近邻算法,是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。图显示了KNN算法的实现。图中绿色的点就是要预测的那个点,假设K=3,那么KNN算法就会找到与它距离最近的三个点(这里用圆圈把它圈起来了),看看哪种类别多一些,比如这个图是红色三角形多一些,因此新来的绿色点就归类到红色三角一类中去了。KNN算法作为一种简单但强大的机器学习方法,在众多领域内展示了其出色的应用能力。不管是分类问题、回归问题,还是在复杂的模式识别和医疗诊断中,KNN算法基本都能提供有效的解决方案。朴素贝叶斯算法贝叶斯算法是统计模型决策中的一个基本方法,其基本思想是已知条件概率密度参数表达式和先验概率,利用贝叶斯公式转换成后验概率,再根据后验概率大小进行决策分类。贝叶斯是一种使用先验概率进行处理的模型,其最后的预测结果就是具有最大概率的那个类,在概率的计算中贝叶斯算法是一个很重要的算法。朴素贝叶斯是最常用的一种贝叶斯算法,它是基于贝叶斯公式建立的在公式中A,B是两个事件,P(A)是指没有前提条件时A发生的概率,其结果是一个常数,P(B)是指没有前提条件时B发生的概率,其结果同样是一个常数,P(A)和P(B)是先验概率。P(AB)表示的是事件A和事件B同时发生的概率朴素贝叶斯算法在文本分类中的应用尤为广泛,包括垃圾邮件过滤、新闻分类等。在这些场景中,文本数据可以被视为由一系列单词组成,每个单词都可以看作是一个特征。假设每个单词(特征)出现的概率只依赖于该文档属于某个类别(如垃圾邮件或正常邮件),而与其他单词无关,这就是所谓的“朴素”假设。主成分分析算法主成分分析(PrincipalComponentAnalysis,PCA)是利用降维的思想,在保持数据信息丢失最少的原则下,对高维的变量空间进行降维,利用正交变换把一系列可能线性相关的变量转换为一组线性不相关的新变量,即在众多变量中找出少数几个综合指标(原始变量的线性组合),并且这几个综合指标将尽可能多地保留原来指标的信息,且这些综合指标互不相关。这些综合指标就称为主成分。遗传算法遗传算法(GA,GeneticAlgorithm)是一种启发式的寻优算法,该算法是以达尔文自然选择学说理论为基础发展出来的通过观察和模拟自然生命的迭代进化,建立起一个计算机模型,通过搜索寻优得到最优结果的算法。遗传算法是模拟人类和生物的遗传进化机制,主要基于达尔文的生物进化论“物竞天择”“适者生存”和“优胜劣汰”理论。具体实现流程是首先从初代群体里选出比较适应环境且表现良好的个体;其次利用遗传算子对筛选后的个体进行组合交叉和变异,然后生成第二代群体;最后从第二代群体中选出

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论