《数据挖掘原理与应用 第2版 》课件 第1-5章 绪论-关联分析

第1章绪论信息爆炸与大数据原始时期农业社会工业社会2原子时代信息时代人类已进入一个崭新的信息时代3信息社会计算机互联网大数据感知智能……数据量呈现出指数增长的态势4大数据的概念520世纪90年代，数据仓库之父BillInmon，经常提及BigData2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC抛出了BigData概念。所以，很多人认为，2011年是大数据元年。大数据的特点数据的体量巨大6大数据的特点数据的体量巨大数据类型繁多7大数据的特点数据的体量巨大数据类型繁多商业价值高，而价值密度却较低8大数据的特点数据的体量巨大数据类型繁多商业价值高，而价值密度却较低数据产生速度快9大数据的概念10数据的体量巨大数据类型繁多商业价值高，而价值密度却较低数据产生速度快处理速度快大数据的特点数据的体量巨大数据类型繁多商业价值高，而价值密度却较低数据产生速度快数据的真实性数据的波动性数据的复杂性11大数据的特点12大数据的特点13大数据的概念14体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。"大数据"的概念远不止大量的数据和处理大量数据的技术，或者所谓的"4个V"之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。大量信息带来问题信息过量，难以消化信息真假难以辨识信息安全难以保证信息形式不一致，难以统一处理大量信息带来问题信息不处理就成为“信息垃圾”各行业各领域政府、企业等组织也滋生出信息处理、数据处理的需求提升管理提升服务提升竞争力16商业企业要处理信息大量数据被收集、存储在数据库\数据仓库中Web数据，电子商务商场，实体店银行/信用卡业务数据竞争压力越来越大提供更好的、更为突出的个性化服务（例如CRM）计算机越来越便宜，功能越来越强大17科研院所要处理信息数据以极快的速度收集和存储(GB/hour)卫星上的远程传感器射电望远镜空间扫描产生基因表达数据的微阵列科学仿真（产生以TB计的数据量）数据挖掘可能帮助科学家进行数据的分类和划分生成假设传统的技术难以处理这些海量原始数据18金融机构要处理信息积累了海量的业务数据互联网金融业务银行卡/信用卡交易数据国民经济运行数据通过数据处理和应用，完成电信欺诈预警反洗钱个性化服务19信息处理的理论与技术发展数据库技术与系统可以高效地实现数据的录入、查询、统计等功能但无法发现数据中存在的关系和规则无法根据现有的数据预测未来的发展趋势20随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多；海量数据被收集、存放在大型数据库中，且呈快速增长的趋势；如果不进行处理和利用，则成为“数据坟墓”。信息处理的理论与技术发展专家系统由于专家系统工具过分依赖用户或专家人工地将知识输入知识库中，而且分析结果往往带有偏差和错误，再加上耗时、费用高，故不可行。21专家系统：智能计算机程序系统，管理大量的某领域专家水平的知识与经验，能够利用人类专家的知识和解决问题的方法来处理该领域问题。专家系统是一个具有大量的专门知识与经验的程序系统，应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题，简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。信息处理的理论与技术发展KDD（KnowledgeDiscoveryinDatabase）从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程22数据矿山信息金块数据挖掘工具信息处理的理论与技术发展KDD的发展23基于数据库的知识发现（KDD）一词首次出现在国际人工智能联合大会IJCAI-89Workshop上。19891995第一届KDD国际学术会议（KDD’95）加拿大蒙特利尔召开1997第一本学术刊物《KnowledgeDiscoveryandDataMining》创刊KluwersPublishers出版信息处理的理论与技术发展KDD的内容数据分类数据聚类衰退和预报关联和相关性顺序发现描述和辨别时间序列分析24信息处理的理论与技术发展KDD的过程问题的理解和定义相关数据收集和提取数据探索和清理数据工程算法选择运行数据挖掘算法结果的评价25信息处理的理论与技术发展KDD也会被称为数据挖掘（datamining）知识抽取（informationextraction）信息发现（informationdiscovery）智能数据分析（intelligentdataanalysis）探索式数据分析（exploratorydataanalysis）信息收获（Informationharvesting）数据考古（dataarchaeology）26KDDvs数据挖掘数据挖掘是KDD过程的一个基本步骤包括特定的从数据库中发现模式的挖掘算法KDD过程使用数据挖掘算法根据特定的度量方法和阈值从数据库中提取或识别出知识包括对数据库的预处理、样本划分和数据变换。27商业数据到商业信息的进化

进化阶段商业问题支持技术产品厂家产品特点数据搜集

(60年代)过去五年中我的总收入是多少？计算机、磁带和磁盘IBMCDC提供历史性的、静态的数据信息数据访问

(80年代)在新英格兰的分部去年三月的销售额是多少？关系数据库(RDBMS)结构化查询语言(SQL)ODBCOracleSybaseInformixIBMMicrosoft在记录级提供历史性的、动态数据信息数据仓库决策支持

(90年代)在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？联机分析处理(OLAP)多维数据库数据仓库PilotComshareArborCognosMicrostrategy在各种层次上提供回溯的、动态的数据信息数据挖掘

（正在流行）下个月波士顿的销售会怎么样？为什么？高级算法多处理器计算机海量数据库PilotLockheedIBMSGI其他初创公司提供预测性的信息数据挖掘的发展趋势视频和音频数据挖掘科学和统计数据挖掘数据挖掘的应用探索可伸缩的数据挖掘方法数据挖掘与数据库系统、数据仓库和Web数据库系统的集成数据挖掘语言的标准化可视化数据挖掘复杂数据类型挖掘的方法Web挖掘数据挖掘中的隐私保护与信息安全end30数据挖掘的产生：数据vs信息随着大数据库的建立和海量数据的不断涌现，必然提出对强有力的数据分析工具的迫切需求。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象，也就是现实情况的“数据十分丰富，而信息相当贫乏”。需要从海量数据库和大量繁杂信息中提取有价值的知识，进一步提高信息的利用率挖掘大型数据集：动机常常有些信息“隐藏”在数据中,并非显而易见的人分析需要数周\数月,才能发现有用的信息许多数据根本未曾分析过32TheDataGapKDD、DM出现产生了一个新的研究方向：基于数据库的知识发现KDD（KnowledgeDiscoveryinDatabase），以及相应的数据挖掘DM（DataMining）理论和技术的研究KDD已成为人工智能研究热点目前，关于KDD的研究工作已经被众多领域所关注，如过程控制、信息管理、商业、医疗、金融等领域。作为大规模数据库中先进的数据分析工具，KDD的研究已经成为数据库及人工智能领域研究的一个热点。发展：数据挖掘的发展过程1988ExpertSystems19951990ExpertSystems2004……数据挖掘界简史1989IJCAIWorkshoponKnowledgeDiscoveryinDatabases(Piatetsky-Shapiro)KnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994WorkshopsonKnowledgeDiscoveryinDatabasesAdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-1998InternationalConferencesonKnowledgeDiscoveryinDatabasesandDataMining(KDD’95-98)JournalofDataMiningandKnowledgeDiscovery(1997)1998ACMSIGKDD,SIGKDD’1999-2001conferences,andSIGKDDExplorationsMoreconferencesondataminingPAKDD,PKDD,SIAM-DataMining,(IEEE)ICDM,etc.36第1章绪论什么是数据挖掘数据挖掘的定义商业应用角度数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据处理技术角度（本书定义）数据挖掘(DataMining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程38许多不同定义数据挖掘的定义JiaWeiHan的定义从大型数据集中提取有趣的(非平凡的,蕴涵的,先前未知的并且是潜在有用的)信息或模式其他定义在大型数据存储库中，自动地发现有用信息的过程。Exploration&analysis,byautomaticorsemi-automaticmeans,oflargequantitiesofdatainordertodiscovermeaningfulpatternsNon-trivialextractionofimplicit,previouslyunknownandpotentiallyusefulinformationfromdata39数据挖掘de定义数据挖掘是从大量数据中提取或“挖掘”知识。类似但不完全相同的术语：从数据库中发现知识（KDD）知识提取（Knowledgeextract）数据/模式分析（Data/Modelanalysis）数据考古数据捕捞数据挖掘de特点数据挖掘是多学科的产物数据挖掘统计学数据库技术可视化高性能计算机器学习人工智能、模式识别统计学的抽样、估计和假设检验数据库系统提供有效的存储、索引和查询处理支持可视化算法和高性能计算（最优化、进化计算）机器学习的搜索算法、建模技术和学习理论人工智能、模式识别和分布式技术也能帮助处理海量数据信息论、信号处理、可视化和信息检索数据挖掘de特点数据挖掘是多技术的产物数据挖掘模式识别算法应用信息检索数据仓库异常检测概念区分数据挖掘vs知识发现数据挖掘vs联机分析OLAP数据挖掘vs统计学数据挖掘vs数据仓库数据挖掘vs数据分析数据挖掘vs知识发现数据挖掘（DataMining）知识发现（KDD）从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。是用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后隐藏的知识，称为数据库中的知识发现。数据挖掘vs知识发现KDD是将未加工的数据转换为有用信息的整个过程45数据挖掘vs联机分析处理OLAPOLAP-联机分析处理，是一种软件技术，可使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。具有共享多维信息的快速分析的特征。数据挖掘vs联机分析OLAPOLAP分析过程在本质上是一个演绎推理的过程，是决策支持领域的一部分用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确传统的查询和报表工具是告诉你数据库中都有什么(whathappened)OLAP则更进一步告诉你下一步会怎么样(Whatnext)和如果采取这样的措施又会怎么样(Whatif)数据挖掘vs联机分析OLAP数据挖掘在本质上是一个归纳推理的过程与OLAP不同的地方是，数据挖掘不是用于验证某个假定的模式(模型)的正确性，而是在数据库中自己寻找模型。数据挖掘和OLAP具有一定的互补性。在利用数据挖掘出来的结论采取行动之前，OLAP工具能起辅助决策作用。而且在知识发现的早期阶段，OLAP工具用来探索数据，找到哪些是对一个问题比较重要的变量，发现异常数据和互相影响的变量。这都有助于更好地理解数据，加快知识发现的过程。数据挖掘vs统计学数据挖掘利用了统计分析的进步所带来的好处。这两门学科都致力于模式发现和预测。数据挖掘不是为了替代传统的统计分析技术。相反，它是统计分析方法学的延伸和扩展。数据挖掘vs统计学统计分析技术基于完善的数学理论和高超的技巧，预测的准确度令人满意的，但对使用者的要求很高随着计算机技术发展，可以利用计算机强大的计算能力，结合相对简单和固定的方法完成同样的功能在数据挖掘领域，促进了新的数据处理技术的发明和应用人工神经网络、支持向量机……如果数据充分和计算能力强大，可自动完成处理，得出结论数据挖掘vs统计学数据挖掘就是充分利用了统计学应用程序，并把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。数据挖掘分析海量数据许多数据库都不适合统计学分析需要数据挖掘vs数据仓库数据仓库(DataWarehouse)，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。单个数据存储，为分析性报告和决策支持目的而建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据挖掘vs数据仓库数据源数据仓库各分公司数据集市分析数据集市数据挖掘数据集市数据挖掘vs数据仓库外部数据业务数据系统文档资料数据源抽取

清理装载

刷新数据仓库管理系统数据集市数据存储与管理元数据管理服务数据分析数据报表数据挖掘OLAP服务器前端应用数据挖掘vs数据仓库不必为了数据挖掘非得建立数据仓库，它不是必需的建立一个庞大的数据仓库，是一项巨大的工程把各个不同源的数据统一在一起解决所有的数据冲突问题然后把所有的数据导到一个数据仓库内可能要用几年的时间花上百万的钱才能完成。可以把一个或几个事务数据库导到一个只读的数据库中，就把它当作数据集市，以此进行数据挖掘小结数据挖掘是一个综合的、复杂的、需要运用各种技术的、与管理和业务相关的过程56第1章绪论数据挖掘的任务数据挖掘de任务：分类和预测1）定义分类(classification)：是找出描述并区分数据类或概念的模型(或函数)，以便能够使用模型预测类标记未知的对象的过程。注：导出模型（或函数）是基于对训练数据集（即其类标记已知的数据对象）的分析。2）分类模型的导出方式分类规则（IF-THEN）、决策树、数学公式、神经网络等。3）相关分析(relevanceanalysis)一般情况下，相关分析需要在分类和预测之前进行，它试图识别对于分类和预测无用的属性，且这些属性应被排除。数据挖掘de任务：分类定义给定一批记录----训练集(trainingset)Eachrecordcontainsasetofattributes,oneoftheattributesistheclasslabel(类标号).任务:建立一个模型(model)类标号属性是其他属性值的函数目标:previouslyunseenrecordsshouldbeassignedaclassasaccuratelyaspossible.Atestset(检验集)isusedtodeterminetheaccuracyofthemodel.Usually,thegivendatasetisdividedintotrainingandtestsets,withtrainingsetusedtobuildthemodelandtestsetusedtovalidateit59分类:例子60categoricalcategoricalcontinuousclassTestSetTrainingSetModelLearnClassifier分类:应用1DirectMarketingGoal:Reducecostofmailingbytargetingasetofconsumerslikelytobuyanewcell-phoneproduct.Approach:Usethedataforasimilarproductintroducedbefore.Weknowwhichcustomersdecidedtobuyandwhichdecidedotherwise.This{buy,don’tbuy}decisionformstheclassattribute.Collectvariousdemographic,lifestyle,andcompany-interactionrelatedinformationaboutallsuchcustomers.Typeofbusiness,wheretheystay,howmuchtheyearn,etc.Usethisinformationasinputattributestolearnaclassifiermodel.61分类:应用2FraudDetectionGoal:Predictfraudulentcasesincreditcardtransactions.Approach:Usecreditcardtransactionsandtheinformationonitsaccount-holderasattributes.Whendoesacustomerbuywhatdoeshebuyhowoftenhepaysontime,etcLabelpasttransactionsasfraudorfairtransactions.Thisformstheclassattribute.Learnamodelfortheclassofthetransactions.Usethismodeltodetectfraudbyobservingcreditcardtransactionsonanaccount.62分类:应用3SkySurveyCatalogingGoal:Topredictclass(starorgalaxy)ofskyobjects,especiallyvisuallyfaintones,basedonthetelescopicsurveyimages(fromPalomarObservatory).3000imageswith23,040x23,040pixelsperimage.Approach:Segmenttheimage.Measureimageattributes(features)-40ofthemperobject.Modeltheclassbasedonthesefeatures.SuccessStory:Couldfind16newhighred-shiftquasars,someofthefarthestobjectsthataredifficulttofind!63分类:应用364Attributes:Imagefeatures,Characteristicsoflightwavesreceived,etc.EarlyIntermediateLateDataSize:72millionstars,20milliongalaxiesObjectCatalog:9GBImageDatabase:150GB

Class:StagesofFormationCourtesy:决策树决策树提供了一种展示类似“在什么条件下会得到什么值”这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，为了解决这个问题而建立的一棵决策树，从中我们可以看到决策树的基本组成部分：决策节点、分支和叶子。决策树中最上面的节点称为根节点，是整个决策树的开始。决策树决策树是一个类似树形结构的流程图，每个内部节点表明在一个属性上的测试，树枝描述测试结果，叶子节点指明分类或分类的分布情况。构造决策树的方法采用自上而下递归的方式，如果训练例子集合中的所有例子是同类的，就将其作为一个叶子节点，节点内容为该类别的标记。

否则，根据某种策略确定一个测试属性，并按属性的各种取值把实例集合划分为若干个子集合，使每个子集上的所有实例在该属性上具有相同的属性值。

然后，再依次递归处理各个子集，直到得到满意的分类属性为止。

决策树数据挖掘de任务：聚类分析1）定义聚类(clustering)：与分类和预测不同，它主要分析数据对象，而不考虑已知的类标记。一般情况下，训练数据中不提供类标记，因为不知道从何开始。聚类可以用于产生这种标记。2）聚类或分组的原则“最大化类内的相似性、最小化类间的相似性”对象的簇（聚类）的形成办法为：使得在一个簇中的对象具有很高的相似性，而与其它簇中的对象很不相似。所形成的每个簇可以看作一个对象类，由它可以导出规则。聚类（Clustering）

聚类（Clustering）是将物理或抽象的对象集合分成多个组的过程，聚类生成的组称为簇（Cluster），即簇是数据对象的集合。聚类就是要让生成的簇内部的任意两个对象之间具有较高的相似度，而属于不同簇的两个对象间具有较高的相异度。

聚类IntraclusterdistancesareminimizedInterclusterdistancesaremaximized聚类分析从统计学的观点看，聚类分析是对数据建模，从而简化数据的一种方法，作为多元统计分析的主要分支之一，聚类分析已被研究了很多年，主要集中在基于距离和基于相似度的聚类方法。从机器学习的观点看，簇相当于隐藏模式，聚类是搜索簇的无监督学习过程。从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。数据挖掘领域主要研究面向大型数据库、数据仓库的高效和实用的聚类分析算法。聚类分析主要的数据挖掘聚类方法有：划分的方法、层次的方法、基于密度的方法、基于网格的方法、基于模型的方法等。聚类:定义给定一组具有多个属性的数据点，以及点与点的相似性衡量方法，则聚类即为使同一个簇中的点较与其他簇中的点更相似不同簇中的点比同一个簇中的点的相似性更弱相似性测度:欧几里得距离（对于连续属性）其他针对不同问题的测度方法73聚类:应用1MarketSegmentation:Goal:subdivideamarketintodistinctsubsetsofcustomerswhereanysubsetmayconceivablybeselectedasamarkettargettobereachedwithadistinctmarketingmix.Approach:Collectdifferentattributesofcustomersbasedontheirgeographicalandlifestylerelatedinformation.Findclustersofsimilarcustomers.Measuretheclusteringqualitybyobservingbuyingpatternsofcustomersinsameclustervs.thosefromdifferentclusters.74聚类:应用2DocumentClustering:Goal:Tofindgroupsofdocumentsthataresimilartoeachotherbasedontheimportanttermsappearinginthem.Approach:Toidentifyfrequentlyoccurringtermsineachdocument.Formasimilaritymeasurebasedonthefrequenciesofdifferentterms.Useittocluster.Gain:

InformationRetrievalcanutilizetheclusterstorelateanewdocumentorsearchtermtoclustereddocuments75文档聚类:例ClusteringPoints:3204ArticlesofLosAngelesTimes.SimilarityMeasure:Howmanywordsarecommoninthesedocuments(aftersomewordfiltering).76CategoryTotalArticlesCorrectlyPlacedFinancial555364Foreign341260National27336Metro943746Sports738573Entertainment354278数据挖掘de任务：关联分析:定义用来发现描述数据中强关联特征的模式，所发现的模式通常用蕴涵规则或特征子集的形式表示。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有趣的模式;找出具有相关功能的基因组、识别一起访问的Web页面、理解地球气候系统不同元素之间的联系.RulesDiscovered:

{Diaper}-->{Milk}{Diaper,Milk}-->{Beer}关联规则:定义关联规则(associationrule)Givenasetofrecordseachofwhichcontainsomenumberofitemsfromagivencollection;Producedependencyruleswhichwillpredictoccurrenceofitemsbasedonoccurrencesofotheritems.78RulesDiscovered:

{Milk}-->{Coke}

{Diaper,Milk}-->{Beer}关联规则:应用1MarketingandSalesPromotion:Lettherulediscoveredbe

{Bagels,…}

-->

{PotatoChips}PotatoChips

asconsequent=>Canbeusedtodeterminewhatshouldbedonetoboostitssales.Bagelsintheantecedent=>Canbeusedtoseewhichproductswouldbeaffectedifthestorediscontinuessellingbagels.Bagelsinantecedent

and

Potatochipsinconsequent

=>CanbeusedtoseewhatproductsshouldbesoldwithBagelstopromotesaleofPotatochips!79关联规则:应用2Supermarketshelfmanagement.Goal:Toidentifyitemsthatareboughttogetherbysufficientlymanycustomers.Approach:Processthepoint-of-saledatacollectedwithbarcodescannerstofinddependenciesamongitems.Aclassicrule--Ifacustomerbuysdiaperandmilk,thenheisverylikelytobuybeer.So,don’tbesurprisedifyoufindsix-packsstackednexttodiapers!80异常检测识别特征显著不同于其他数据的观测值应用:检测欺诈网络攻击疾病的不寻常模式生态系统扰动异常检测82异常检测83异常检测任务：识别其特征显著不同于其他数据的观测值这样的观测值称为异常点（anomaly）或离群点（outlier）发现真正的异常点，而避免错误地将正常的对象标注为异常点应用信用卡欺诈检测网络入侵检测84人工神经网络神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。神经网络可以很容易的解决具有上百个参数的。神经网络常用于两类问题：分类和回归。支持向量机需特别指出的是，在一般情况下，统计学习理论和支持向量机（SVM）比一般的神经网络更有效，而且可将SVM看作是广义化的神经网络。其优点是，具有深厚的数学基础，算法可靠、推广能力强，适用于小样本数据集的知识（或规则）发现。数据挖掘的应用数据库分析和决策支持市场分析和管理针对销售(targetmarketing),顾客关系管理,购物篮分析,交叉销售(crossselling),市场分割(marketsegmentation)风险分析与管理预测,顾客关系,改进保险,质量控制,竞争能力分析欺骗检测与管理其它应用文本挖掘(新闻组,email,文档资料)流数据挖掘(Streamdatamining)Web挖掘.DNA数据分析87市场分析与管理(1)用于分析的数据源在哪?信用卡交易,会员卡,打折优惠卷,顾客投诉电话,(公共)生活时尚研究针对销售(Targetmarketing)找出顾客群,他们具有相同特征:兴趣,收入水平,消费习惯,等.确定顾客随时间变化的购买模式个人帐号到联合帐号的转变:结婚,等.交叉销售分析(Cross-marketanalysis)产品销售之间的关联/相关基于关联信息的预测88市场分析与管理(2)顾客分类(Customerprofiling)数据挖掘能够告诉我们什么样的顾客买什么产品(聚类或分类)识别顾客需求对不同的顾客识别最好的产品使用预测发现什么因素影响新顾客提供汇总信息各种多维汇总报告统计的汇总信息(数据的中心趋势和方差)89法人分析和风险管理财经规划和资产评估现金流分析和预测临时提出的资产评估交叉组合(cross-sectional)和时间序列分析(金融比率(financial-ratio),趋势分析,等.)资源规划:资源与开销的汇总与比较竞争:管理竞争者和市场指导对顾客分类和基于类的定价在高度竞争的市场调整价格策略90欺骗检测和管理(1)应用广泛用于健康照料,零售,信用卡服务,电讯(电话卡欺骗),等.方法使用历史数据建立欺骗行为模型,使用数据挖掘帮助识别类似的实例例汽车保险:检测这样的人,他/她假造事故骗取保险赔偿洗钱:检测可疑的金钱交易(USTreasury'sFinancialCrimesEnforcementNetwork)医疗保险:检测职业病患者,医生和介绍人圈91欺骗检测和管理(2)检测不适当的医疗处置澳大利亚健康保险会(AustralianHealthInsuranceCommission)发现许多全面的检查是请求做的,而不是实际需要的(每年节省100万澳元).检测电话欺骗电话呼叫模式:通话距离,通话时间,每天或每周通话次数.分析偏离期望的模式.英国电讯(BritishTelecom)识别频繁内部通话的呼叫者的离散群,特别是移动电话,超过数百万美元的欺骗.零售分析家估计,38%的零售业萎缩是由于不忠诚的雇员造成的.92第1章绪论数据挖掘的应用数据挖掘的应用市场分析与管理数据集及来源产品的生产和销售数据电商网页的访问和点击数据信用卡交易会员卡打折优惠卷顾客投诉(公共)生活时尚研究94-生产与商务领域数据挖掘的应用市场分析与管理目标营销(targetmarketing)由兴趣,收入水平,消费习惯等确定顾客群，进行精准营销购物篮分析啤酒尿布案例确定顾客随时间变化的购买模式个人帐号到联合帐号的转变：结婚等交叉销售分析(Cross-marketanalysis)产品销售之间的关联/相关基于关联信息的预测95-生产与商务领域数据挖掘的应用市场分析与管理识别顾客需求对不同的顾客识别最好的产品使用预测发现什么因素影响新顾客顾客关系管理CRM市场分割(marketsegmentation)顾客分类(Customerprofiling)数据挖掘能够告诉我们什么样的顾客买什么产品(聚类或分类)96-生产与商务领域数据挖掘的应用市场分析与管理提供汇总信息各种多维汇总报告统计的汇总信息(数据的中心趋势和方差)97-生产与商务领域数据挖掘的应用市场分析与管理风险分析与管理风险分析与预测改进保险业务的品种和细则生产过程及产品的质量控制企业和行业的竞争能力分析98-生产与商务领域数据挖掘的应用市场分析与管理风险分析与管理欺骗检测与管理汽车保险:检测这样的人,他/她假造事故骗取保险赔偿洗钱:检测可疑的金钱交易(USTreasury'sFinancialCrimesEnforcementNetwork)医疗保险:检测职业病患者,医生和介绍人圈99-生产与商务领域检测不适当的医疗处置澳大利亚健康保险会(AustralianHealthInsuranceCommission)发现许多全面的检查是请求做的,而不是实际需要的(每年节省100万澳元).检测电话欺骗电话呼叫模式:通话距离,通话时间,每天或每周通话次数.分析偏离期望的模式.英国电讯(BritishTelecom)识别频繁内部通话的呼叫者的离散群,特别是移动电话,超过数百万美元的欺骗.零售分析家估计,38%的零售业萎缩是由于不忠诚的雇员造成的.数据挖掘的应用市场分析与管理风险分析与管理欺骗检测与管理企业运营与管理财经规划和资产评估资源规划竞争100-生产与商务领域其它应用文本挖掘(新闻组,email,文档资料)流数据挖掘(Streamdatamining)Web挖掘DNA数据分析101案例

-电信行业客户关系管理客户消费模式分析客户市场推广分析客户欠费分析和动态防欺诈客户流失分析102案例

-金融企业应用CredilogrosCíaFinancieraS.A.阿根廷第五大信贷公司，资产估计价值为9570万美元。一项重要工作就是识别与潜在预付款客户相关的潜在风险，以便将承担的风险最小化。搭建信贷申请系统公司核心系统+信用报告公司系统交互的决策引擎来处理信贷申请低收入客户群体的风险评分工具整合数据挖掘软件SPSSModeler，快速处理Credilogros平均每月使用该系统处理35000份申请，仅在3个月后就将贷款失误减少了20%103案例-物流企业帮助DHL实时跟踪货箱温度DHL是国际快递和物流企业美国FDA要求，药品运送装运温度必须达到标准递送各个阶段实时跟踪集装箱的温度对于最终客户来说，能够使医药客户对运送过程中出现的装运问题提前做出响应以较低的成本全面切实地增强了运送可靠性，提高了客户满意度和忠实度为保持竞争差异奠定坚实的基础，成为重要的新的收入增长来源104GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。通过数据挖掘的方法使库存成本比原来减少了3.8%应用：零售商店美国国内税务局需要提高对纳税人的服务水平……合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务应用：税务局汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户……营销费用减少了30％应用：银行应用：竞技运动美国NBA教练利用IBM公司提供的IBMAdvancedScout数据挖掘工具，分析NBA的统计数据(阻挡投篮,助攻,和犯规)，临场决定替换队员，获得了对纽约小牛队和迈艾米热队的竞争优势数据挖掘揭示13个隐藏的NBA球员位置应用：天文借助于数据挖掘的帮助，JPL和PalomarObservatory发现了22颗类星体(quasars)109JPL(JetPropulsionLaboratory)是位于加州帕萨迪那美国国家航空航天局的一个下属机构，负责为NASA开发和管理无人空间探测任务。PalomarObservatory（帕洛马山天文台）位于美国加州圣地亚哥的帕洛马山的山顶，海拔1706米，于1928年建立。著名的苏梅克-列维9号彗星就是在此发现的，与威尔逊天文台合称海尔天文台。应用：生物信息生物信息或基因数据挖掘基因的组合千变万化，得某种病的人的基因和正常人的基因到底差别多大？能否找出其中不同的地方，进而对其不同之处加以改变，使之成为正常基因？这都需要数据挖掘技术的支持。应用：生物信息生物信息或基因的数据挖掘，在数据的复杂程度、数据量还有分析和建立模型的算法上，都非常复杂从分析算法上讲，更需要一些新的和好的算法正在研究，尚未成熟第1章绪论数据挖掘的系统结构与技术数据挖掘系统结构113数据库数据清洗和集成过滤数据库或数据仓库服务器数据挖掘引擎模式评价图形用户接口数据仓库知识库数据挖掘技术预测(Prediction)根据其他属性的值，预测特定属性的值描述(Description)导出概括数据中潜在联系的模式114PredictiveDescriptive数据挖掘任务分类（Classification）回归（Regression）关联规则发现（AssociationRuleDiscovery）序列模式发现（SequentialPatternDiscovery）聚类（Clustering）异常/偏差检测（Anomaly/DeviationDetection）115PredictivePredictivePredictiveDescriptiveDescriptiveDescriptive数据挖掘算法分类决策树基于规则贝叶斯支持向量机人工神经网络……数据挖掘算法关联AprioriFP-Growth……数据挖掘算法聚类K-MeansDBSCAN层次聚类BIRCHCURE……数据挖掘算法回归一元线性回归多元线性回归非线性回归……回归：定义回归(regression)Predictavalueofagivencontinuousvaluedvariablebasedonthevaluesofothervariables,assumingalinearornonlinearmodelofdependency.Greatlystudiedinstatistics,neuralnetworkfields.120xyy=x+1X1Y1Y1’回归：分析回归：应用Examples:Predictingsalesamountsofnewproductbasedonadvertisingexpenditure.Predictingwindvelocitiesasafunctionoftemperature,humidity,airpressure,etc.Timeseriespredictionofstockmarketindices122关联分析1）定义关联分析(associationanalysis)：发现关联规则，这些规则展示“属性—值”频繁地在给定数据集中一起出现的条件。孤立点分析定义孤立点(outlier)：数据库中的那些与数据的一般行为或模型不一致的数据对象。大部分数据挖掘方法将孤立点视为噪声或异常而将其丢弃，然而，在一些实际应用中（如欺骗检测、军事情报分析等），罕见点事件可能比正常出现的那些更有趣。孤立点数据分析称为孤立点挖掘(outliermining)。孤立点分析孤立点的检测方法统计试验检测方法假定一个数据分布或概率模型，并使用距离度量，到其它聚类的距离很大的对象被视为孤立点。基于偏差点方法通过考察一群对象主要特征上的差别识别孤立点。演变分析数据演变分析(evolutionanalysis)描述行为随时间变化的对象的规律或趋势，并对其建模。演变分析包括时间相关数据的特征化、区分、关联、分类或聚类最主要有三种演化分析方法：时间序列数据分析序列或周期模式匹配基于类似性的数据分析第1章绪论数据挖掘所面临的挑战数据挖掘所面临的挑战了解应用背景领域、行业管理活动企业的业务和规模充分的掌握数据的应用了解数据的基本情况明确数据所代表的意义数据的质量数据之间的关联数据与业务的关联关系等等。了解计算机相关技术128数据挖掘所面临的挑战可伸缩高维性异种数据和复杂数据数据的所有权和分布非传统数据数据挖掘所面临的挑战可伸缩数据规模变化较大，海量数据集越来越普遍算法必须是可伸缩的（scalable）例如，当要处理的数据不能放进内存时，可能需要非内存算法使用抽样技术或开发并行和分布算法也可以提高可伸缩程度可伸缩可能还需要新的数据结构，以有效的方式访问个别记录130数千兆字节(terabytes)数据挖掘所面临的挑战高维性具有数以百计或数以千计属性的数据集生物信息学：涉及数千特征的基因表达数据不同地区温度测量：维度（特征数）的增长正比于测量的次数为低维数据开发的数据分析技术不能很好地处理高维数据某些数据分析算法，随着维度（特征数）的增加，计算复杂性迅速增加131数据挖掘所面临的挑战异种数据和复杂数据传统的数据分析方法只处理包含相同类型属性的数据集非传统的数据类型的出现需要能够处理异种属性的技术半结构化文本和超链接的Web页面信息具有序列和三维结构的DNA数据地球表面不同位置上的时间序列测量值（温度、气压等）的气象数据数据中的联系如时间和空间的自相关性、图的连通性、半结构化文本和XML文档中元素之间的父子联系132数据挖掘所面临的挑战数据的所有权与分布数据地理上分布在属于多个机构的资源中需要开发分布式数据挖掘技术协调访问权限分布式数据挖掘算法面临的主要挑战包括如何降低执行分布式计算所需的通信量？如何有效地统一从多个资源得到的数据挖掘结果？如何处理数据安全性问题？133数据挖掘所面临的挑战非传统的分析传统的统计学方法：假设-检验模式提出一种假设，设计实验来收集数据，然后针对假设分析数据当前的数据分析任务常常需要产生和评估数以千计的假设希望自动地产生和评估假设导致了一些数据挖掘技术的开发134第1章绪论数据挖掘样例数据和相关资料DASLTheDataAndStoryLibrary(DASL)网址：/136UCIUCIMachineLearningRepository网址：http:///mlUCIKnowledgeDiscoveryinDatabasesArchive(UCIKDDArchive)网址：/137WEKAWekaDatasets网址：https://www.cs.waikato.ac.nz/~ml/weka/datasets.html138其他EarthSystemData网址：https:///psd/dataKDNuggets网址：/datasets/UniversityofWashington(ComputerScienceandEngineering学院)网址：/research/jair/home.html139交流论坛GitHub网址：https://StackOverflow网站网址：https://Kaggle网址：insideKaggleyou’llfindallthecode&datayouneedtodoyourdatasciencework.Useover19,000publicdatasetsand200,000publicnotebookstoconqueranyanalysisinnotime.140相关论文JMLR：JournalofMachineLearningResearch网址：http://141第2章数据挖掘的过程数据挖掘项目过程143数据分析vs数据挖掘144数据分析等级模型数据分析能力的8个等级常规报表即席查询多维分析警报统计分析预报预测型建模优化数据智能程度竞争优势回答：发生了什么？什么时候发生的？示例：月度或季度财务报表报表一般是定期生成，回答在某个特定的领域发生了什么。常规报表有其用途，但无法用于制定长期决策。回答：有多少数量？发生了多少次？在哪里？示例：一周内每天各种门诊的病人数量报告。即席查询的最大好处是让使用者不断提出问题并寻找答案。数据分析能力的8个等级数据智能程度竞争优势常规报表即席查询多维分析警报统计分析预报预测型建模优化回答：问题到底出在哪里？应该如何寻找答案？示例：对各种手机类型的用户进行排序，探查他们的呼叫行为。通过多维分析(OLAP)的钻取功能，可以有初步的发现。钻取功能如同层层剥笋，发现问题所在。回答：什么时候该有所反应？现在该做什么？示例：当销售额落后于目标时，销售总监将收到警报。

可以警示什么时候出了问题，并当问题再次出现时及时示警。警报可以通过多种途径来展示。数据分析能力的8个等级数据智能程度竞争优势常规报表即席查询多维分析警报统计分析预报预测型建模优化

回答：为什么会出现这种情况？错失了什么机会？示例：银行可以弄清楚为什么重新申请房贷的客户在增多。可以进行一些复杂的分析，比如频次分析模型或回归分析等等。统计分析是在历史数据中进行统计并总结规律。回答：如果持续这种发展趋势，未来会怎么样？还需要多少？什么时候需要？示例：零售商可以预计特定商品未来一段时间在各个门店的需求量。预报可以说是最热门的分析应用之一，各行各业都用得到。特别对于供应商来说，能够准确预报需求，就可以让他们合理安排库存，既不会缺货，也不会积压。数据分析能力的8个等级数据智能程度竞争优势常规报表即席查询多维分析警报统计分析预报预测型建模优化回答：接下来会发生什么？它对业务的影响程度如何？示例：酒店和娱乐行业可以预测哪些VIP客户会对特定度假产品有兴趣。如果客户数量众多，并希望展开一次市场营销活动，那么哪些人会是最可能响应的客户呢？如何划分出这些客户？哪些客户会流失？预测型建模能够给出解答。回答：如何把事情做得更好？对于一个复杂问题来说，那种决策是最优的？示例：在给定了业务上的优先级、资源调配的约束条件以及可用技术的情况下，给出IT平台优化的最佳方案，以满足每个用户的需求。优化带来创新，同时考虑到资源与需求，帮助找到实现目标的最佳方式。149数据挖掘的过程数据挖掘de过程商业问题行业经验数据工具知识商业决策数据挖掘数据挖掘的商业思路数据挖掘de过程数据挖掘的技术思路数据数据挖掘算法数据预处理(隐含)模型数据挖掘de过程数据挖掘是一个反复迭代的人机交互处理过程。该过程需要经历多个步骤，并且很多决策需要由用户提供从宏观上看，数据挖掘过程主要由三个部分组成，即数据整理、数据挖掘和结果的解释评估。

转换后数据

知识目标数据数据预处理后数据数据准备数据挖掘解释评估模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

数据集成中，应了解数据挖掘应用领域的有关情况，熟悉相关的背景知识，确定用户需求。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

数据选取的目的是确定目标数据，根据用户的需要从原始数据库中选取相关数据或样本。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

对选出的数据再处理，检查数据的完整性及一致性，消除噪声，滤除与数据挖掘无关的冗余数据，根据时间序列和已知的变化情况，利用统计等方法填充丢失的数据。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

根据知识发现的任务对经过预处理的数据进行再处理，主要是通过投影或利用数据库的其他操作减少数据量。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

根据用户的要求，确定数据挖掘要发现的知识类型。因为对数据挖掘的不同要求会在具体的知识发现过程中采用不同的知识发现算法。如分类、总结、关联规则、聚类等。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

根据确定的任务选择合适的知识发现算法，包括选取合适的模型和参数。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

运用选定择的算法，从数据集中提取用户感兴趣的知识，并以一定的方式表示出来（如产生式规则等）。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

对在数据挖掘中发现的模式（知识）进行解释。经用户或计算评估后，例如可能会发现存在冗余模式或无关的模式，则予以剔除。若模式不能满足用户的要求，则需返回到前面的某些处理步骤中反复提取。数据准备数据挖掘解释评估转换后数据

知识目标数据数据预处理后数据模式数据源

数据挖掘解释评估数据选择数据集成预处理数据转换

最终，将发现的知识以用户能了解的方式呈现给用户。数据准备数据挖掘解释评估数据挖掘de过程1.数据准备2.数据选取3.数据预处理4.数据变换5.确定数据挖掘目标6.选择算法7.数据挖掘算法（模型）8.模式解释9.知识评价数据挖掘算法占据非常重要的地位，它主要是利用某些特定的知识发现算法，在一定的运算效率范围内，从数据中发现出有关知识，决定了整个数据挖掘过程的效果与效率。数据挖掘过程模型数据挖掘过程模型SEMMA5ACRISP-DM第2章数据挖掘的过程数据挖掘的过程模型CRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布CRossIndustryStandardProcessforDataMiningCRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布明确要达到的业务目标，并将其转化为数据挖掘主题。要从商业角度对业务部门的需求进行理解，并把业务需求的理解转化为数据挖掘的定义，拟定达成业务目标的初步方案。具体包括：商业背景分析、商业成功标准的确定、形势评估获得企业资源清单、获得企业的要求和设想评估成本和收益、评估风险和意外初步理解行业术语确定数据挖掘的目标和制定数据挖掘计划CRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布是找出可能的影响主题的因素，确定这些影响因素的数据载体、数据体现形式和数据存储位置。从数据收集开始，然后熟悉数据，具体包括以下工作内容：检测数据质量，对数据进行初步理解简单描述数据，探测数据意义对数据中潜藏的信息和知识提出拟用数据加以验证的假设。CRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布是将前面找到的数据进行变换、组合，建立数据挖掘工具软件要求格式和内容的宽表。要从原始数据中形成作为建模分析对象的最终数据集。具体工作主要包括：数据制表、记录处理、变量选择数据转换、数据格式化和数据清理等各项工作并不需要预先规定好执行顺序，而且数据准备工作还有可能多次执行。CRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布使用软件工具，选择合适的建模方法，对准备好的数据表格进行处理，找出数据中隐藏的规律选择和使用各种建模方法，并将模型参数进行优化对于同样的业务问题和数据，可能有多种数据挖掘技术方法可供选用，可优选提升度高、置信度高、简单而易于总结业务政策和建议的数据挖掘技术方法在建模过程中，还可能会发现一些潜在的数据问题，这是需要回到数据准备阶段重复进行建立模型阶段的具体工作包括：选择合适的建模技术进行检验设计建造模型CRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布从业务角度和统计角度对模型结论进行评估。要求检查建模的整个过程，以确保模型没有重大错误，并检查是否遗漏重要的业务问题。当模型评估阶段结束时，应对数据挖掘结果的发布计划达成一致。CRISP-DMCRISP-DM流程-跨行业数据挖掘标准过程商业理解数据理解数据准备建模模型评估结果发布也称为模型部署，建立模型本身并不是数据挖掘的目标，虽然模型使数据背后隐藏的信息和知识显现出来，但数据挖掘的根本目标是将信息和知识以某种方式组织和呈现出来，并用来改善运营和提高效率。在实际的数据挖掘工作中，根据不同的企业业务需求，模型发布的具体工作可能简单到提交数据挖掘报告，也可能复杂到将模型集成到企业的核心运营系统中去。SEMMA方法SEMMA方法/模型是由SASInstitute提出来的。SASInstitute是一家美国跨国的分析软件开发企业，也是世界上最大的私营软件企业，财富500强企业中有很大一部分使用的都是该公司的管理与分析软件。SASInstitute开发并推出了一系列的分析软件，称为SAS。SAS软件起源于美国北卡罗来纳州立大学所开发的一个统计分析系统，可以完成对数据进行获取、管理、分析并形成报告，以便于帮助决策。173SEMMA方法SAS所推出的主要模块中，与数据挖掘相关的模块有：SASWarehouseAdministrator数据仓库模块EnterpriseMiner企业数据挖掘模块MDDBServerOLAP多维数据库产品可视化、应用开发和决策支持表现工具等相关的模块。174SEMMA方法1751Sample数据抽样2Explore数据探索3Modify

数据调整4Model模型研发5Assess综合评价通过数据抽样，检验数据质量，根据业务需求精选样本数据子集。SEMMA方法1761Sample数据抽样2Explore数据探索3Modify

数据调整4Model模型研发5Assess综合评价探索数据规律、趋势、相关性以及可区分的类别，发现其数据特征，并进行分析和预处理。SEMMA方法1771Sample数据抽样2Explore数据探索3Modify

数据调整4Model模型研发5Assess综合评价明确和量化要解决的问题，调整数据以适应问题的需要。SEMMA方法1781Sample数据抽样2Explore数据探索3Modify

数据调整4Model模型研发5Assess综合评价根据数据特征和实现目标选择和调整相关技术手段和方法，进行模型的研发以及知识的发现。SEMMA方法1791Sample数据抽样2Explore数据探索3Modify

数据调整4Model模型研发5Assess综合评价模型和知识的综合解释和评价。通过综合评价，找出效果最优模型，并结合业务对模型进行针对性的解释和应用。5A1801

Assess评价需求2

Access