大数据技术概论-课件

大数据技术概论目录大数据技术概论

云数据库技术数据挖掘技术商业智能10/20/20232大数据技术概论BigData名词由来20世纪90年代，数据仓库之父的BillInmon就经常提及BigData2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC抛出了BigData概念10/20/20233大数据技术概论大数据的产生21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。10/20/20234大数据技术概论数量级概念1KB=2(10)B=1024B；1MB=2(10)KB=1024KB=2(20)B；1GB=2(10)MB=1024MB=2(30)B。1TB=2(10)GB=1024GB=2(40)B1PB=2(10)TB=1024TB=2(50)B1EB=2(10)PB=1024PB=2(60)B10/20/20235大数据技术概论数量级概念Kilobyte(KB)=1024B相当于一则短篇故事的內容。Megabyte(MB)=l024KB

相当于一則短篇小說的文字內容。Gigabyte(GB)=1024MB相当于贝多芬第五交响乐的演奏视频內容。Terabyte(TB)=1024GB相当于一家大型医院中所有的X光照片信息。Petabyte(PB)=l024TB相当于50%的全美学术图书馆信息內容。Exabyte(EB)=1024PB；5EB相当于至今全世界人类所讲过的话语。10/20/20236大数据技术概论信息通讯进入新时代10/20/20237大数据技术概论摩尔定律10/20/20238大数据技术概论后摩尔时代10/20/20239大数据技术概论计算机演进10/20/202310大数据技术概论信息计算体系演进10/20/202311大数据技术概论软件技术网络化演进10/20/202312大数据技术概论传输技术的发展10/20/202313大数据技术概论从移动数据到移动流媒体10/20/202314大数据技术概论移动通信峰值速率的提升10/20/202315大数据技术概论互联网发展：从电信到泛在服务10/20/202316大数据技术概论联网主机数量10/20/202317大数据技术概论电视网络化智能化与三网合一10/20/202318大数据技术概论视频流量成为主流10/20/202319大数据技术概论全球骨干网流量10/20/202320大数据技术概论中国互联网干线带宽10/20/202321大数据技术概论中国互联网用户10/20/202322大数据技术概论移动终端功能的演进10/20/202323大数据技术概论移动互联网加快普及10/20/202324大数据技术概论智能终端引领后PC时代10/20/202325大数据技术概论移动数据流量超过话音10/20/202326大数据技术概论全球移动数据流量10/20/202327大数据技术概论移动互联网流量10/20/202328大数据技术概论互联网上1分钟10/20/202329大数据技术概论互联网上的1天10/20/202330大数据技术概论照片10/20/202331大数据技术概论大数据时代到来10/20/202332大数据技术概论大数据定义10/20/202333大数据技术概论大数据例子10/20/202334大数据技术概论科学研究催生大数据10/20/202335大数据技术概论物联网催生大数据10/20/202336大数据技术概论安全监控的数据量10/20/202337大数据技术概论环境监测催生大数据10/20/202338大数据技术概论医疗病历隐藏大数据10/20/202339大数据技术概论国际关注大数据10/20/202340大数据技术概论大数据的4V特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效10/20/202341大数据技术概论大数据的4V10/20/202342大数据技术概论大数据的划分10/20/202343大数据技术概论大数据技术挑战10/20/202344大数据技术概论大数据技术挑战10/20/202345大数据技术概论大数据平台技术10/20/202346大数据技术概论分布式存储与架构10/20/202347大数据技术概论大数据的并行处理10/20/202348大数据技术概论大数据并行处理分析10/20/202349大数据技术概论大数据可视化分析10/20/202350大数据技术概论虚拟化与可视化10/20/202351大数据技术概论大数据可视化10/20/202352大数据技术概论目录大数据技术概论云数据库技术数据挖掘技术商业智能10/20/202353大数据技术概论Google云数据库10/20/202354大数据技术概论Google云数据库10/20/202355大数据技术概论Google云数据库10/20/202356大数据技术概论Google云数据库GFS架构10/20/202357大数据技术概论Google云数据库10/20/202358大数据技术概论Google云数据库10/20/202359大数据技术概论Google云数据库10/20/202360大数据技术概论Google云数据库10/20/202361大数据技术概论Google云数据库10/20/202362大数据技术概论Google云数据库10/20/202363大数据技术概论GoogleVsHadoop10/20/202364大数据技术概论Haddop是什么10/20/202365大数据技术概论Hadoop发展编年10/20/202366大数据技术概论10/20/202367大数据技术概论Hadoop子项目10/20/202368大数据技术概论Hadoop特性10/20/202369大数据技术概论10/20/202370大数据技术概论Hadoop物理部署10/20/202371大数据技术概论Hadoop集群10/20/202372大数据技术概论Hadoop用户10/20/202373大数据技术概论HDFS10/20/202374大数据技术概论HDFS10/20/202375大数据技术概论HDFS能做什么适合不适合10/20/202376大数据技术概论HDFS组件10/20/202377大数据技术概论HDFS主要组件功能10/20/202378大数据技术概论HDFS架构10/20/202379大数据技术概论HDFS文件10/20/202380大数据技术概论HDFSNameNode10/20/202381大数据技术概论10/20/202382大数据技术概论HDFSDataNode10/20/202383大数据技术概论HDFS可靠性保障10/20/202384大数据技术概论HDFS可靠性保障10/20/202385大数据技术概论HDFS可靠性保障10/20/202386大数据技术概论提升性能的措施10/20/202387大数据技术概论HDFS：节点失效是常态10/20/202388大数据技术概论DataNode磁盘挂了10/20/202389大数据技术概论DataNode机器挂了10/20/202390大数据技术概论NameNode挂了10/20/202391大数据技术概论10/20/202392大数据技术概论Client挂了10/20/202393大数据技术概论MR+HBase10/20/202394大数据技术概论WhyMapReduce?10/20/202395大数据技术概论大规模数据分析10/20/202396大数据技术概论大规模数据处理10/20/202397大数据技术概论MR特性10/20/202398大数据技术概论M+R10/20/202399大数据技术概论10/20/2023100大数据技术概论MR编程10/20/2023101大数据技术概论10/20/2023102大数据技术概论10/20/2023103大数据技术概论10/20/2023104大数据技术概论10/20/2023105大数据技术概论单一Reduce处理10/20/2023106大数据技术概论多个Reduce处理10/20/2023107大数据技术概论MR流程10/20/2023108大数据技术概论10/20/2023109大数据技术概论目录大数据技术概论云数据库技术数据挖掘技术商业智能10/20/2023110大数据技术概论数据挖掘技术的由来大量信息在给人们带来方便的同时也带来了一大堆问题：第一：是信息过量，难以消化；第二：是信息真假难以辨识；第三：是信息安全难以保证；第四：是信息形式不一致，难以统一处理。

网络之后的下一个技术热点

10/20/2023111大数据技术概论数据挖掘技术的由来“要学会抛弃信息”“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？”数据开采和知识发现（DMKD）技术应运而生

网络之后的下一个技术热点

10/20/2023112大数据技术概论数据挖掘技术的由来

随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。

目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。数据爆炸但知识贫乏10/20/2023113大数据技术概论数据挖掘技术的由来海量数据搜集强大的多处理器计算机数据挖掘算法支持数据挖掘技术的基础

10/20/2023114大数据技术概论数据挖掘技术的由来从商业数据到商业信息的进化

进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机,磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库（RDBMS）,结构化查询语言（SQL）,ODBC,Oracle,Sybase,Informix,IBM,MicrosoftOracle,Sybase,Informix,IBM,Microsoft在记录级提供历史性的、动态数据信息数据仓库；决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）,多维数据库,数据仓库Pilot,Comshare,Arbor,Cognos,Microstrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法,多处理器计算机,海量数据库Pilot,Lockheed,IBM,SGI,其他初创公司提供预测性的信息10/20/2023115大数据技术概论数据挖掘技术的由来数据挖掘逐渐演变的过程

算法学习专家系统机器学习10/20/2023116大数据技术概论数据挖掘的定义

数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

技术上的定义及含义

10/20/2023117大数据技术概论数据挖掘的定义数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题技术上的定义及含义

10/20/2023118大数据技术概论数据挖掘的定义

数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。

商业角度的定义

10/20/2023119大数据技术概论数据挖掘的定义数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.

数据挖掘与传统分析方法的区别

10/20/2023120大数据技术概论数据挖掘的定义

数据仓库是为决策支持而不是为事务处理所设计的数据库，它是将不同来源的事务处理数据库中对决策有用的数据提取出来而建立。

数据仓库的发展是数据挖掘的动力之一。但数据挖掘既可以在数据仓库中进行，也可以在传统的事务型数据库中进行。数据挖掘和数据仓库

10/20/2023121大数据技术概论数据挖掘的定义数据挖掘和数据仓库

数据源数据仓库各分公司数据集分析数据集数据挖掘数据集10/20/2023122大数据技术概论数据挖掘的定义在线分析处理(OLAP,On-Lineanalyticalprocessing)是一种增强的查询技术，是决策支持领域的一部分。但又不同于传统的查询技术。传统的查询和报表工具是告诉你数据库中都有什么（whathappened），OLAP则更进一步告诉你下一步会怎么样（Whatnext）、和如果我采取这样的措施又会怎么样（Whatif）。用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确。数据挖掘和在线分析处理

10/20/2023123大数据技术概论数据挖掘的定义比如，一个分析师想找到什么原因导致了贷款拖欠，他可能先做一个初始的假定，认为低收入的人信用度也低，然后用OLAP来验证他这个假设。如果这个假设没有被证实，他可能去察看那些高负债的账户，如果还不行，他也许要把收入和负债一起考虑，一直进行下去，直到找到他想要的结果或放弃。

数据挖掘和在线分析处理

10/20/2023124大数据技术概论数据挖掘的定义

数据挖掘与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性，而是在数据库中自己寻找模型。他在本质上是一个归纳的过程。数据挖掘和在线分析处理

比如，一个用数据挖掘工具的分析师想找到引起贷款拖欠的风险因素。数据挖掘工具可能帮他找到高负债和低收入是引起这个问题的因素，甚至还可能发现一些分析师从来没有想过或试过的其他因素，比如年龄。10/20/2023125大数据技术概论数据挖掘的定义数据挖掘，机器学习和统计分析

数据挖掘统计分析预测简单的方法复杂的方法10/20/2023126大数据技术概论数据挖掘的定义数据挖掘，机器学习和统计分析

数据挖掘统计方法模式识别人工智能封装预测10/20/2023127大数据技术概论数据挖掘的定义软硬件发展对数据挖掘的影响

存贮性能的提高计算能力的提高并行处理技术10/20/2023128大数据技术概论数据挖掘应用欺诈侦测

AT&T使用根据数据挖掘开发的系统来侦测盗打国际电话的行为。由HNC公司开发的队LCON欺诈评估系统用于提示可能存在的盗用信用卡的交易。金融犯罪执法网络Al系统（FAIS）使用包括数据挖掘在内的几种技术，识别大型现金交易中可能存在的洗钱行为。个人通讯高级安全（AdvancedsecurityforPersonalcommunications）欧洲研究组织己经利用无指导聚类侦测移动电话网络中的欺诈。对每个用户，系统储存用户的历史和使用特征文件。在当前使用与用户的历史情况有明显区别时，怀疑为欺诈行为。

10/20/2023129大数据技术概论数据挖掘应用卫生保健Merck-MedcoManagedcare,Merck的一个医药保险和处方电邮订购单位，使用数据挖掘来帮助找出对某种类型的病人减少费用但疗效相同的治疗方法。生物信息或基因数据挖掘则完全属于另外一个领域，在商业上很难讲有多大的价值，但对于人类却受益非浅。例如，基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因,这都需要数据挖掘技术的支持。10/20/2023130大数据技术概论数据挖掘应用商业和金融Farmer‘sGroup有限公司如何使用数据挖掘方法得出拥有跑车的人不具有高事故风险的假设。美国银行（BankofAmerica）使用数据挖掘侦测哪个客户正在使用美国银行的哪种产品，以便他们能够提供正确的产品和服务组合，更好地满足客户的需求。美国西部通信（USWestCommunications）根据诸如家庭的大小、家庭成员的平均年龄和所在地这些特征，使用数据挖掘和数据仓库来确定客户的倾向和需要。20世纪Fox公司分析票房收入来确定哪个演员、情节和电影在各市场环境中更容易为观众接受。10/20/2023131大数据技术概论数据挖掘应用科学应用

γ射线爆是短暂的伽玛射线反射，它来源于我们太阳系之外。有关事件的记录已经超过1000次。科学界普遍认为存在两种γ射线爆。Mukherjee等人使用统计聚类分析法（一种数据挖掘方法）发现了第3类γ射线爆。

10/20/2023132大数据技术概论数据挖掘应用运动和游戏大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件AdvancedScout系统来优化他们的战术组合。例如Scout就因为研究了魔术队队员不同的布阵安排，在与迈阿密热队的比赛中找到了获胜的机会。博彩产业将客户赌博方式的历史模型结合起来，确定客户在光顾他们喜欢的赌场时，会花（输）多少钱。10/20/2023133大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习

我们用归纳形成基本概念定义。我们看到代表动物、植物、建筑物和诸如此类的概念实例后，我们听到为这些个别实例做的标记，并选择我们认定的定义概念的特性（属性）形成我们自己的分类模型。这以后，我们使用模型帮助我们进一步来区分结构相似的对象。这种类型的学习称为基于归纳的有指导的概念学习，或简称有指导的学习(supervisedlearning）10/20/2023134大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习ID喉咙痛发烧淋巴肿充血头痛诊断1YesYesYesYesYes链球菌感染喉炎2NoNoNoYesYes敏感症3YesYesNoYesNo感冒4YesNoYesNoNo链球菌感染喉炎5NoYesNoYesNo感冒6NoNoNoYesNo敏感症7NoNoYesNoNo链球菌感染喉炎8YesNoNoYesYes敏感症9NoYesNoYesYes感冒10YesYesNoYesYes感冒10/20/2023135大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习10/20/2023136大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习如果病人淋巴肿，诊断为链球菌感染性咽炎。如果病人没有淋巴肿的症状，但发烧，诊断为感冒。如果病人没有淋巴肿，也不发烧，诊断为敏感症。

10/20/2023137大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习（1）IF淋巴肿=Yes

THEN诊断=链球菌感染性咽炎（2) IF淋巴肿=No&发烧=Yes

THEN诊断=感冒（3）IF淋巴肿=No&发烧=No

THEN诊断=敏感症

产生式规则10/20/2023138大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习未知分类的数据实例ID喉咙痛发烧淋巴肿充血头痛诊断11NoNoYesYesYes?(链球菌感染喉炎)12YesYesNoNoYes?(感冒)13NoNoNoNoYes?(敏感症)10/20/2023139大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习准确度在检验集中符合产生式规则条件的实例正确显示规则所指定结果的比率。覆盖率在检验集中显示规则所指定结果的实例符合产生式规则条件的比率。

产生式规则应用效果的评价指标10/20/2023140大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习分类学习是有指导的。因变量是分类的。重点在于建立模型，将新的实例指派给一组定义明确的类中的一个。有指导学习的类型10/20/2023141大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习分类任务的例子确定用于区分患过心脏病的人和从未患过心脏病的人的特征。开发一个“成功”人士的特征文件。确定一次信用卡购物是否为盗用。将一次购车贷款申请归类为具备良好的或者不良的信用风险。开发一个特征文件来区别女性与男性中风患者。

有指导学习的类型10/20/2023142大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习估计 与分类模型相似，估计模型的目的在于确定一个未知输出属性的值。然而，不同于分类模型的是，对一个估计问题，其输出属性值（一个或多个）是数值的而不是分类的。

有指导学习的类型10/20/2023143大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习估计任务的例子估计暴风雨到达某个给定地点所需要的分钟数。估计拥有一辆跑车的人的收入。估计信用卡已被盗的可能性。估计伽马射线爆的长度。

有指导学习的类型10/20/2023144大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习预测 与分类模型和估计模型不同，预测模型的目的在于确定未来的输出结果而不是当前的行为。预测模型的输出属性（一个或多个）可以是分类的或数值型的。

有指导学习的类型10/20/2023145大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习预测任务的例子预测2002年全美橄榄球联盟（NFL）赛季中跑卫的触地总得分。确定一个信用卡客户是否可使用其信用卡账单提供的优惠。预测下周道琼斯工业指数的收盘价格。预测在未来的3个月内，哪些电话用户最有可能改变他们的供应商。

有指导学习的类型10/20/2023146大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习Acme信用卡公司信用卡促销数据库收入范围杂志促销手表促销寿险促销信用卡保险性别年龄40-50,000YesNoNoNoMale4530-40,000YesYesYesNoFemale4040-50,000NoNoNoNoMale4230-40,000YesYesYesYesMale4350-60,000YesNoYesNoFemale3820-30,000NoNoNoNoFemale5530-40,000YesNoYesYesMale3520-30,000NoYesNoNoMale2730-40,000YesNoNoNoMale4330-40,000YesYesYesNoFemale4140-50,000NoYesYesNoFemale4320-30,000NoYesYesNoMale2950-60,000YesYesYesNoFemale3940-50,000NoYesNoNoMale5520-30,000NoNoYesYesFemale1910/20/2023147大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习

假设Acme信用卡公司己经批准了一个与上表所列的以前的促销相似的新的寿险促销活动。这个促销材料将作为信用卡账单的一部分发送给非零余额的所有信用卡持有者。我们将使用数据挖掘来帮助我们把账单发送到选定的一组客户手中，他们当前没有信用卡余额，但有可能利用促销机会。

我们的问题要求有指导数据挖掘使用寿险促销作为输出属性。我们的目的是开发一个可能利用寿险促销的客户的特征文件，该寿险促销是通过该客户下一次信用卡结算表来宣传的。

10/20/2023148大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习IF性别=Female&19<=Age<=43

THEN寿险促销=Yes 规则准确度：100.00% 规则覆盖率：66.67%

IFSex=Male&IncomeRange=40-50K

THEN寿险促销=No 规则准确度：100.00% 规则覆盖率：50.00%

10/20/2023149大数据技术概论数据挖掘的基本技术有指导的数据挖掘技术——有指导的学习IF信用卡保险=Yes

THEN寿险促销=Yes 规则准确度：100.00% 规则覆盖率：33.33%IF收入=30-40K&手表促销=Yes

THEN寿险促销=Yes 规则准确度：100.00% 规则覆盖率：33.33%10/20/2023150大数据技术概论数据挖掘的基本技术无指导数据挖掘技术——无指导聚类

与有指导学习不同，无指导聚类（unsupervisedclustering）为无预定义类数据建立模型。数据实例根据聚类系统定义的相似分类机制进行分组，在一种或多种评估技术的支持下，最终由我们确定所构造聚类的含义。

10/20/2023151大数据技术概论数据挖掘的基本技术无指导数据挖掘技术——无指导聚类

Acme投资有限公司代理帐户数据客户编号帐户类型保证金帐户交易方式月交易量性别年龄爱好收入1005JointNoOnline1.25F30Tennis40-50K1013CustodialNoBroker0.5F50Skiing80-99K1245JointNoOnllne3.6M20Golf20-39K2110IndividualYesBroker22.3M30Fishing40-59K1001IndividualYesOnline5.0M40Golf60-79K10/20/2023152大数据技术概论数据挖掘的基本技术无指导数据挖掘技术——无指导聚类

有指导学习的典型问题我可以开发一个在线投资人的一般特征文件吗？如果可以，区分在线投资者和使用经纪人的投资者的特征是什么？有一个新客户，他最初并没有开设交易保证金账户，我是否可以确定他在将来会开设这样的账户？我们能建立一个准确预测新投资人每月交易平均数的模型吗？女性和男性投资人有什么不同特征？

10/20/2023153大数据技术概论数据挖掘的基本技术无指导数据挖掘技术——无指导聚类

无指导聚类的典型问题哪些属性相似性决定Acme投资公司的客户分组？属性值的哪些不同之处分割了客户数据库？

10/20/2023154大数据技术概论数据挖掘的基本技术无指导数据挖掘技术——无指导聚类

通过无指导聚类将客户划分为3类IF保证金帐户=Yes&年龄=20—29&收入=40-59KTHENCluster=1 准确度＝0.80 覆盖率＝0.50IF帐户类型=Custodial&爱好=Skiing&收入=80-90KTHENCluster=2 准确度=0.95 覆盖率=0.35IF帐户类型=Joint&交易量/月>5&交易方式=OnlineTHENCluster=3 准确度＝0.82 覆盖率＝0.6510/20/2023155大数据技术概论数据挖掘的基本技术关联规则挖掘技术

关联规则（associationrule）挖掘技术用于发现数据库中属性之间的有趣联系。和传统的产生式规则不同，关联规则可以有一个或多个输出属性。同时，一个规则的输出属性可以是另一规则的输入属性。关联规则分析有时也叫购物篮分析，是因为它可以找寻出潜在的令人感兴趣的所有的产品组合。由此，有限数目的属性可能生成上百条关联规则。

10/20/2023156大数据技术概论数据挖掘的基本技术关联规则挖掘技术通过apriori关联规则挖掘算法，从Acme公司信用卡促销数据库可以得到以下关联规则：IF性别=Female&年龄=over40&信用卡保险=NoTHEN寿险促销=YesIF性别=Male&年龄=over40&信用卡保险=NoTHEN寿险促销=NoIF性别=Female&Age=over40THEN信用卡保险=No&寿险促销=Yes

10/20/2023157大数据技术概论数据挖掘的基本算法其它数据挖掘算法

K-平均值算法（一种无指导聚类算法）遗传算法（可用于有指导学习的算法）神经网络算法（可用于有指导学习的算法）

10/20/2023158大数据技术概论目录大数据技术概论云数据库技术数据挖掘技术商业智能10/20/2023159大数据技术概论BI理解数据商务智能是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助企业进行决策支持。数据信息知识决策获取管理使用10/20/2023160大数据技术概论BI概念商业智能（BusinessIntelligence，简称BI）的概念最早是GartnerGroup于1996年提出来的。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。

目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

10/20/2023161大数据技术概论商业智能是一种解决方案，关键是从许多来自不同的企业运作系统的数据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。10/20/2023162大数据技术概论外部数据库MSSQLORACAL外部文件ETL工具大数据平台，数据仓库元数据数据挖掘OLAP分析信息表现查询报表数据仓库数据模型BI系统用户元数据库元数据数据描述用法结构安全设置数据数据数据查询请求商业智能基本过程图

10/20/2023163大数据技术概论信息孤岛各自为政，互相独立财务分析运营分析客户分析财务系统营销系统服务系统10/20/2023164大数据技术概论帮助企业提高战略决策建立业务单一视图、消除信息孤岛、多角度审视业务数据提高服务水平和客户满意度敏锐洞悉市场机会加强企业监管、防范欺诈内部效益考核优化资源科学决策数据仓库10/20/2023165大数据技术概论商务智能对企业的作用和价值理解业务：网络资源分析产品结构及组合分析服务质量分析业务发展分析理解客户：客户贡献度分析客户群体划分客户行为分析制订市场营销策略风险分析：客户流失的测算信用分析欺诈分析内部绩效考核：产品、部门利润分析资源分配资源成本分析谁是最好的客户?如何扩大利润?如何避免风险?收入/成本如何分配?大数据平台、数据仓库10/20/2023166大数据技术概论数据质量控制数据重新组织EII解决方案数据展现数据管理数据获取数据迁移作业分配数据清洗数据仓库元数据管理数据集市管理安全性、分析管理企业商务智能体系架构规划最终用户数据质量控制数据重新组织ETL/DQ解决方案数据抽取、迁移、加载周数据加载日常数据增加日周期数据源ETL/EII数据存储管理业务模型数据展现利润成本分析资产分析营