大数据时代的数据挖掘与商务智能(四)课件

1大数据时代的

数据挖掘与商务智能1大数据时代的

数据挖掘与商务智能2第四部分数据管理与数据挖掘概论23数据挖掘概况从20世纪80年代中后期，知识发现的方法、技术和系统，从不同角度、不同领域和不同学科进行了研究和实践，主要的学科有数据库、统计学和机器学习。1989年在底特律第11届IJCAI会议上的KDD研讨会。1991年MIT出版社出版了一本书“KnowledgeDiscoveryinDatabases”。1994年召开了一个国际会议(KDD94),并于1996年由MIT出版社又出版了一本书“AdvancesinKnowledgeDiscoveryandDataMining”。3数据挖掘概况从20世纪80年代中后期，知识发现的方法、技术4数据挖掘概况1995年在加拿大的蒙特利尔召开KDD95，作为第一届国际KDD会议，以后每年一次，原为AAAI组织，1999年由ACM组织，改为SIGKDD。2006年、第12届在美国费城（Philadelphia）。2007年在美国加州圣何塞（SIGKDD07)2008年在美国LASVEGAS(SIGKDD08)。

“DataMiningandKnowledgeDiscovery”1997年创刊。(Springer，1997，2006）。国外相应的研究小组的建立，接着数据挖掘公司风起云涌。一些大公司建立数据挖掘小组和开发各种产品。国内研究小组的建立，一些公司也开始了数据挖掘项目。4数据挖掘概况1995年在加拿大的蒙特利尔召开KDD95，作5数据挖掘概况数据挖掘是20世纪80年代后期发展起来的一种新兴技术。它是商业、企业竞争和技术发展的需求的结果，数据挖掘技术是多种学科的交叉的产物。数据挖掘5数据挖掘概况数据挖掘是20世纪80年代后期发展起来的一种新6数据挖掘任务数据挖掘任务技术分类预测（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律数据挖掘的具体任务关联分析序列模式分类（预测）聚集异常检测6数据挖掘任务数据挖掘任务技术分类7数据挖掘任务描述性分析聚类分析关联分析异常点分析、可视化……预测性分析分类（离散）回归分析（连续）时间序列分析……7数据挖掘任务描述性分析8数据挖掘概况数据挖掘技术基本内容框架数据预处理（1）数据清理（2）数据变换（3）数据集成（4）数据归约（5）数据离散化数据挖掘基本方法（1）关联规则（2）分类与预测（3）聚类数据挖掘的深入内容（1）时间序列和序列（2）空间数据挖掘（3）文本挖掘（4）Web挖掘（5）多媒体挖掘（6）可视化8数据挖掘概况数据挖掘技术基本内容框架9数据挖掘概况由于任务不同，要求不同，数据不同，没有单一的数据挖掘软件可适用所有的情形。造成了各种方法都在快速发展，各种数据挖掘软件不断增多。但商家近年来有逐渐减少的趋势，大公司的介入，一些大的有实力的公司开始更多占领市场。基本方法如上所述。软件功能和性能有很大差异。选软件应考虑的因素很多。9数据挖掘概况由于任务不同，要求不同，数据不同，没有单一的数10数据挖掘概况

从问题回答的角度：有些问题可明确和准确回答（要求这样）有些问题是给出可能的回答有些问题可能给出不太明确的回答有些问题可能给出可能错误的回答。这些回答从数据的角度：有些是查询，有些是统计，有些是归纳，有些是推断，有些预测，有些是分析。数据挖掘要回答那些不是简单查询和统计回答问题。10数据挖掘概况从问题回答的角度：11数据挖掘概况无法准确回答的问题信贷中信用评估，信用卡评级，信用卡欺诈销售一个产品广告材料邮寄给谁保留客户,争取客户交叉销售违规操作，欺诈行为发现，异常发现货架货物的摆放国民经济各指标间的关系疾病,症状,药物,疗效之间的关系DNA序列的相似分析导致各种疾病的特定基因序列模式凭理论，经验，群体分析，凭数据分析，挖掘11数据挖掘概况无法准确回答的问题12数据挖掘概况各种部门都面临不同的挑战一些面临竞争的部门与企业：银行，电信，保险，证券，商场，各种企业。这些企业关心的问题：争取客户，增大销售，提高利润。一些垄断部门与企业：电力，税务，社保。面对抱怨，面对抗争，面对欺诈。政府和企业面临科学决策12数据挖掘概况各种部门都面临不同的挑战13数据挖掘概况数据仓库和数据挖掘项目提到日程数据分析、决策支持系统、商业智能（BI）、知识管理、客户关系管理(CRM)、物流与供应链管理(SCM)、企业资源计划(ERP)、各种预测。政府、科技部门、大型企业（工厂，公司，商场），经济部门、金融机构（银行、证券、保险）、电子商务、电子政务、各种“金”工程。13数据挖掘概况数据仓库和数据挖掘项目提到日程14数据挖掘概况数据仓库将不同数据源、多年的数据经“整合”成一个有组织的便于分析的结构化的数据环境。

组织数据方法。数据挖掘：从数据中找出（推出，归纳出，预测、挖掘）有用的信息，规律，知识。

分析数据方法。14数据挖掘概况数据仓库15数据库集成：数据仓库技术所有的数据在物理上集中在一起虚拟数据库技术数据表面上或者在逻辑上是集成在一起，然而它们的物理存贮则是分散在Internet不同的数据服务器上数据挖掘概况15数据库集成：数据挖掘概况16从两种数据库集成技术来看：数据仓库技术实用于数据库变动不太频繁、数据库中数据类型和使用方法比较接近的情况。虚拟数据库技术实用于数据更新速度快、数据类型和使用方法完全不一样的情况。数据挖掘概况16从两种数据库集成技术来看：数据挖掘概况17联机分析处理60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了OLAP概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。

OLTP数据 OLAP数据

原始数据 导出数据 细节性数据 综合性和提炼性数据当前值数据 历史数据 可更新 不可更新，但周期性刷新 一次处理的数据量小 一次处理的数据量大 面向应用，事务驱动 面向分析，分析驱动 面向操作人员，支持日常操作面向决策人员，支持管理需要

17联机分析处理60年代，关系数据库之父E.F.Codd提出18OLAP定义OLAP(联机分析处理)

是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义)OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。18OLAP定义OLAP(联机分析处理)是使分析人员、管理19数据仓库与数据挖掘所处地位决策支持系统OLAP数据挖掘数据仓库数据库各种信息系统各种管理系统搜索、抽取过滤万维网信息发布信息检索ACRMCRM19数据仓库与数据挖掘所处地位决策支持系统OLAP数据挖掘数20数据挖掘发现知识类型

广义型知识：反映同类事物共同性质的知识特征型知识：反映事物各方面特征的的知识差异型知识：反映不同事物之间属性差别的知识关联型知识：反映事物之间依赖和关联的知识偏差型知识：揭示事物偏离常规的异常现象的知识预测型知识：根据历史与当前数据推测未来数据20数据挖掘发现知识类型广义型知识：反映同类事物共同性质的21(B)DataInformation(A)Knowledge(Arrangement)(Transmit)Knowledgetransmittedbycharacter,sign,voice,etc.(B)DataarrangedtobeusefulfordecisionmakingINFORMATION(Recognition)(C)Knowledge(C)Recognitionmemorizedpersonallyorsocially(D)JudgmentorasystemofjudgmentwhichhasobjectivevalidityKNOWLEDGE(D)Knowledge(Judgment)(D)Knowledge(Judgment)Whatistheenergytobringsuchtransformation?(E)Computers’abilitytojudgethingsautomatically(F)People’sabilitytounderstandandlearnthingsINTELLIGENCEInformationScienceManagementScienceKnowledgeScience+Information,Knowledge,andIntelligence21(B)DataInformation(A)Knowl22Atheoryoforganizationalknowledgecreation,whichsuggeststhatnewknowledgeiscreatedbytheinteractionbetweenexplicitandtacitknowledgethroughthespiralofSocialization,Externalization,Combination,andInternalization.Sharedmentalmodelsortechnicalskills1Metaphors,analogies,concepts,hypotheses,ormodels2Linkingexplicitknowledge3Learningbydoing4I.NonakaandH.TakeuchiTheKnowledge-CreatingCompany.HowJapaneseCompaniesCreatetheDynamicsofInnovation.OxfordUniversityPress,1995.GroupexplicitknowledgeIndividualexplicitknowledgeIndividualtacitknowledgeGrouptacitknowledgeCombinationInternalizationSocializationExternalizationKeyFactorinEstablishingtheSchoolProf.Nonaka22Atheoryoforganizationalk23应用市场分析、预测和管理行销策略,客户关系管理(CRM),购货篮分析,市场分割风险分析、预测和管理风险预警,客户挽留,改进的保险业,质量控制,竞争分析欺诈检测和管理证券违规操作，税务偷漏，瞒报，信用卡欺诈行为判断信用评估银行信贷评估，信用卡评估23应用市场分析、预测和管理24应用宏观经济(指标之间关联,经济指标的预测,预警)电信（客户细分，客户流失，客户挽留）金融（信用评估，洗钱，欺诈…)情报（文本挖掘，新闻组,电子邮件,文档)Web挖掘（信息过滤,个性化服务，异常行为，…)DNA数据分析（一些引起疾病的DNA序列，…)人力资源配置（如何有效进行人力分配）医疗诊断中药配伍规律零售业科学（天气预报，灾难预测…24应用宏观经济(指标之间关联,经济指标的预测,预警)25KDnuggets

对数据挖掘各种情况进行了调查

从应用领域使用工具使用方法数据挖掘组的地位数据库的大小（10G以上，100-1000G)数据格式（文本和工具特定格式居多）25KDnuggets

对数据挖掘各种情况进行了调查

从应用26银行17%生物/基因8%E商务/Web15%欺诈检测8%保险6%投资/股票4%药品5%零售业6%科学数据8%电信11%其他11%

应用领域情况（2001）26银行17%

应用领域情况（2001）27应用领域情况

2

0

0

627应用领域情况

2

0

0

628应用领域情况（2008）[170voters]28应用领域情况（2008）[170voters]29数据挖掘软件

(May

2008)

[347voters]29数据挖掘软件(May2008)

[347vote30数据挖掘软件

(May2008)

30数据挖掘软件(May2008)2012年R以30.7%的得票率荣登榜首312012年R以30.7%的得票率荣登榜首3132从技术看数据挖掘使用技术情况[784votestotal](Feb2005)

DecisionTrees/Rules(107)决策树

14%Clustering(101)聚类

13%Regression(90)回归

11%Statistics(80)统计

10%Visualization(63)可视化

8%NeuralNets(61)神经网络

8%Associationrules(54)关联规则

7%NearestNeighbor(34)最近邻

4%SVM(Supportvectormachine)(31)支持向量机

4%Bayesian(30)贝叶斯

4%Sequence/Timeseriesanalysis(26)序列/时间序列分析

3%Boosting(25)增强

3%Hybridmethods(23)混合方法

3%Bagging(20)袋装

3%Geneticalgorithms(19)遗传算法

2%Other(20)其他

3%32从技术看数据挖掘使用技术情况DecisionTrees33数据挖掘任务类型

(

Dec

2007)

[170voters]33数据挖掘任务类型(Dec2007)

[170v34数据类型

(Sep

2008)

34数据类型(Sep2008)35数据挖掘系统的典型架构数据仓库

数据清理与数据集成过滤

数据库数据库、数据仓库管理系统数据挖掘引擎模型、模式评价可视化用户界面数据挖掘方法库其它数据源用户知识库World-WideWebOtherInfoRepositories35数据挖掘系统的典型架构数据仓库数36各行业电子商务网站算法层商业逻辑层行业应用层商业应用商业模型挖掘算法CRM产品推荐客户细分客户流失客户利润客户响应关联规则、序列模式、分类、聚集、神经元网络、偏差分析…WEB挖掘网站结构优化网页推荐商品推荐。。。基因挖掘基因表达路径分析基因表达相似性分析基因表达共发生分析。。。银行电信零售保险制药生物信息科学研究。。。相关行业综合的数据挖掘解决方案（复旦）36各行业电子商务网站算商行商业应用商业模型挖掘算法CRM关371.业务分析DataSourceDataSource

2.数据收集与整理3数据分析与处理4.财务指标展示6.数据挖掘结果的解释和展示7.系统建设8.尝试应用5.数据挖掘建模商业银行客户违约模型建立371.业务分析DataSourceDataSourc38数据挖掘在我国的前景国外数据挖掘已相当普遍，各大数据库公司与典型产品（IBM,Oracle,Microsoft…)SPSS,SAS,BO……国内情况如何：应用普遍性？对其相信程度？制约的因素？（市场规范程度？消费者成熟程度？人为因素程度？）国内尚处发展阶段，（周期长，效益不明显，数据积累不够，人的认识程度，…）38数据挖掘在我国的前景国外数据挖掘已相当普遍，各大数据库公39为什么没有广泛使用？数据挖掘正在快速的发展技术的研究和开发已经走在很前沿的地方数据挖掘应用面已经扩充了很多但是仍然没有希望的高，为什么？希望在多少年内达到数十亿元的盈利？是一种增值服务（Notbread-and-butter）不能认为高不可攀，所以不去过问是一门年轻的技术，需要和实际结合，解决现实问题39为什么没有广泛使用？数据挖掘正在快速的发展40数据挖掘国内应用存在的问题数据积累不充分、不全面业务模型构建困难缺少有经验的实施者40数据挖掘国内应用存在的问题数据积累不充分、不全面41数据挖掘的方法论41数据挖掘的方法论42知识发现（KDD）的过程42知识发现（KDD）的过程431.数据的选择与抽样根据用户的需要从数据库中选择或抽样一部分数据。2.数据预处理（1）数据的过滤：除噪声去冗余（2）数据的添补（3）数据归约与约简3.数据转换：

数据转换的主要目的是消减数据维数或维数缩减4.数据挖掘：挖掘方法的使用5.结果的评价（1）可视化表示（2）解释（3）知识的使用6.循环431.数据的选择与抽样44KDD过程数据挖掘:KDD过程的核心。DataCleaningDataIntegrationDatabasesDataWarehouseKnowledgeTask-relevantDataSelectionDataMiningPatternEvaluation44KDD过程数据挖掘:KDD过程的核心。DataCle45数据挖掘的方法论有许多数据挖掘的方法论，比较典型有CRISP-DM

（CrossIndustryStandardProcessforDataMining）SAS提出的数据挖掘方法论

SEMMA(Sample,Explore,Modify,ModelAccess)IBM提出的通用数据挖掘方法

（Thegenericdataminingmethod)45数据挖掘的方法论有许多数据挖掘的方法论，比较典型有46数据挖掘的方法论KDnugets调查情况：各组织机构、公司、个人进行数据挖掘时使用的方法论(Aug2007)

46数据挖掘的方法论KDnugets调查情况：47CRISP-DMNCRSPSS等公司提供CRISP-DM（跨行业数据挖掘标准）数据挖掘方法论实现。主要包括以下六个主要环节：问题（业务）理解(BusinessUnderstanding)数据理解(DataUnderstanding)数据准备(DataPreparation)建立模型(Modeling)模型评估(Evaluation)方案实施(Deployment)47CRISP-DMNCRSPSS等公司提供CR48CRISP-DM1.业务问题理解（BusinessUnderstanding）要解决哪类问题：在数据挖掘之前，收集与该项目有关的信息，确定数据挖掘要解决哪类问题。并把要解决的问题转化为数据挖掘问题。资源的评估：硬件资源，软件资源，数据资源，人力资源（管理人员，业务人员，技术人员）数据评估：数据数量，数据质量评估。项目成功估计：成功后的效益，相应人员（分析、维护）的增加。48CRISP-DM1.业务问题理解（BusinessUn49如：一个电信领域的数据挖掘项目问题可为：一些优质客户有什么特征？哪些是不良客户，他们有什么特征？在欠费客户中，哪些是恶意的欠费，哪些是善意的欠费。哪些客户可能会有最好的潜力？通过什么样的标准来细分客户？如何来衡量客户带来的价值？哪些是高价值客户？如何去保住他们。49如：一个电信领域的数据挖掘项目问题可为：50CRISP-DM2.理解数据（DataUnderstanding）从哪里进行数据的收集数据来源有那些各数据源数据描述：格式，含义数据质量外来数据有那些对数据的含义一定要有深刻的理解才有可能从中找出（挖掘）规律和知识。50CRISP-DM2.理解数据（DataUnders51CRISP-DM3.准备数据（DataPreparation）数据选择数据清理数据重构数据整合规格化：定出范围标准化：解决不一致数据准备会占用整个项目50%以上时间51CRISP-DM3.准备数据（DataPrepara52CRISP-DM4.建立模型（Modeling）数据汇总概念描述关联规则相关分析分类与预测聚类52CRISP-DM4.建立模型（Modeling）53CRISP-DM5.方案评估（Evaluation）挖掘结果（获得知识的）评估挖掘过程的评估来决定是否要反复，KDD是迭代过程53CRISP-DM5.方案评估（Evaluation）54迭代过程54迭代过程55CRISP-DM6.方案实施(Deployment)发布挖掘结果（获得知识的）评估决定实施计划Crisp-DM1.0CRISP-DM2.0SIGWORKSHOPANNOUNCED–CHICAGO,SEPTEMBER26,

200655CRISP-DM6.方案实施(Deployment)C56CRISP-DM各阶段占用时间和重要性1%10%方案实施5%10-20%建立模型和模型评估15%50%数据准备

5%10-20%数据理解

70%10%问题理解占项目成功的重要性花费时间56CRISP-DM各阶段占用时间和重要性1%10%方案实施57数据挖掘需要的人员

业务分析人员：要求精通业务，能够解释业务对象，并根据各业务对象确定出用于数据定义和挖掘算法的业务需求。数据分析人员：精通数据分析技术，并对统计学有较熟练的掌握，有能力把业务需求转化为数据挖掘的各步操作，并为每步操作选择合适的技术。数据管理人员：精通数据管理技术，并从数据库或数据仓库中收集数据。57数据挖掘需要的人员业务分析人员：要求精通业务，能够解释58数据挖掘软件58数据挖掘软件59数据挖掘软件的现状（国外）DataMining/AnalyticSoftwareTools[534voters](May2007)

59数据挖掘软件的现状（国外）DataMining/A60数据挖掘软件的现状（国内）60数据挖掘软件的现状（国内）61数据挖掘软件的发展代特征数据挖掘算法集成分布计算模型数据模型第一代作为一个独立的应用支持一个或者多个算法独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次不能放进内存的数据数据管理系统，包括数据库和数据仓库同质、局部区域的计算机群集有些系统支持对象,文本和连续的媒体数据第三代和预测模型系统集成

多个算法数据管理和预测模型系统intranet/extranet网络计算支持半结构化数据和web数据第四代和移动数据/各种计算设备的数据联合

多个算法数据管理、预测模型、移动系统移动和各种计算设备普遍存在的计算模型RobertGrossman的观点

(NationalCenterforDataMining,UniversityofIllinoisatChicago)61数据挖掘软件的发展代特征数据挖掘算法集成分布计算模型数据62数据挖掘软件的发展第一代数据挖掘软件62数据挖掘软件的发展第一代数据挖掘软件63第一代数据挖掘软件

CBA新加坡国立大学基于关联规则的分类算法，能从关系数据或者交易数据挖掘关联规则，使用关联规则进行分类和预测63第一代数据挖掘软件64数据挖掘软件的发展第二代数据挖掘软件特点与数据库管理系统（DBMS）集成支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性能够挖掘大数据集、以及更复杂的数据集通过支持数据挖掘模式（dataminingschema）和数据挖掘查询语言增加系统的灵活性典型的系统如DBMiner，能通过DMQL挖掘语言进行挖掘操作缺陷只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发64数据挖掘软件的发展第二代数据挖掘软件特点65数据挖掘软件的发展第二代数据挖掘软件DBMiner65数据挖掘软件的发展第二代数据挖掘软件DBMiner66数据挖掘软件的发展第二代软件SASEnterpriseMiner66数据挖掘软件的发展第二代软件SASEnterpris67数据挖掘软件的发展第三代数据挖掘软件特点和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决策支持的功能能够挖掘网络环境下（Internet/Extranet）的分布式和高度异质的数据，并且能够有效地和操作型系统集成

缺陷不能支持移动环境67数据挖掘软件的发展第三代数据挖掘软件特点68数据挖掘软件的发展第三代软件SPSSClementine以PMML的格式提供与预言模型系统的接口68数据挖掘软件的发展第三代软件SPSSClemen69数据挖掘软件的发展第四代数据挖掘软件特点目前移动计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（ubiquitous）计算设备产生的各种类型的数据第四代数据挖掘原型或商业系统刚刚起步，PKDD2001上Kargupta发表了一篇在移动环境下挖掘决策树的论文，Kargupta是马里兰巴尔的摩州立大学（UniversityofMarylandBaltimoreCounty）正在研制的CAREER数据挖掘项目的负责人，该项目研究期限是2001年4月到2006年4月，目的是开发挖掘分布式和异质数据（Ubiquitous设备）的第四代数据挖掘系统。

69数据挖掘软件的发展第四代数据挖掘软件特点70数据挖掘软件的发展第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷第三、四代系统强调预言模型的使用和在操作型环境的部署第二代系统提供数据管理系统和数据挖掘系统之间的有效接口第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖掘系统，比如IBMIntelligentScoreService。第四代数据挖掘原型或商业系统刚刚起步。70数据挖掘软件的发展第一代系统与第二代相比因为不具有和数据71数据挖掘软件的发展数据挖掘软件发展的三个阶段独立的数据挖掘软件横向的数据挖掘工具集纵向的数据挖掘解决方案GregoryPiatetsky-Shapiro的观点（thePresidentofKDnuggets

）71数据挖掘软件的发展数据挖掘软件发展的三个阶段Gregor72数据挖掘软件的发展独立的数据挖掘软件（95年以前）特点独立的数据挖掘软件对应第一代系统，出现在数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘算法，就形成一个软件。这类软件要求用户对具体的算法和数据挖掘技术有相当的了解，还要负责大量的数据预处理工作。比如C4.5决策树，平行坐标可视化（parallel-coordinatevisualization）。

72数据挖掘软件的发展独立的数据挖掘软件（95年以前）特点73横向的数据挖掘工具集（95年开始）发展原因随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软件需要和以下三个方面紧密结合：1）数据库和数据仓库；2）多种类型的数据挖掘算法；3）数据清洗、转换等预处理工作。随着数据量的增加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。现实领域的问题是多种多样的，一种或少数数据挖掘算法难以解决挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型

73横向的数据挖掘工具集（95年开始）发展原因74横向的数据挖掘工具集（95年开始）发展过程随着这些需求的出现，1995年左右软件开发商开始提供称之为“工具集”的数据挖掘软件特点此类工具集的特点是提供多种数据挖掘算法

包括数据的转换和可视化由于此类工具并非面向特定的应用，是通用的算法集合，可以称之为横向的数据挖掘工具（HorizontalDataMiningTools）由于此类工具并非面向特定的应用，是通用的算法集合，所以称之为横向的数据挖掘工具典型的横向工具有IBMIntelligentMiner、SPSS的Clementine、SAS的EnterpriseMiner、SGI的MineSet、OracleDarwin等

74横向的数据挖掘工具集（95年开始）发展过程75横向的数据挖掘工具集（95年开始）IBMIntelligentMinerSPSS的ClementineSAS的EnterpriseMinerSGI的MineSetOracleDarwin75横向的数据挖掘工具集（95年开始）76纵向的数据挖掘解决方案（99年开始）发展原因随着横向的数据挖掘工具的使用日渐广泛，人们也发现这类工具只有精通数数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的模型从1999年开始，大量的数据挖掘工具研制者开始提供纵向的数据挖掘解决方案（VerticalSolution），即针对特定的应用提供完整的数据挖掘方案对于纵向的解决方案，数据挖掘技术的应用多数还是为了解决某些特定的难题，而嵌入在应用系统中76纵向的数据挖掘解决方案（99年开始）发展原因77纵向的数据挖掘解决方案（99年开始）在证券系统中嵌入神经网络预测功能在欺诈检测系统中嵌入欺诈行为的分类/识别模型在客户关系管理系统中嵌入客户成簇/分类功能或客户行为分析功能在机器维护系统中嵌入监/检测或识别难以定性的设备故障功能在数据库营销中嵌入选择最可能购买产品的客户功能在机场管理系统中嵌入旅客人数预测、货运优化功能在基因分析系统中嵌入DNA识别功能在制造/生产系统中嵌入质量控制功能等77纵向的数据挖掘解决方案（99年开始）78纵向的数据挖掘解决方案（99年开始）KD1（主要用于零售业）Options&Choice(主要用于保险业)HNC（欺诈行为侦测）UnicaModel1(主要用于市场营销)78纵向的数据挖掘解决方案（99年开始）KD1（主要用于零售79选择数据挖掘软件和工具需要考虑的问题由厂商提供的数据挖掘技术应用范围是什么？产品可扩展性如何？对于数据大小、用户数目、数据中字段数目及使用的硬件是否都能扩展。能提供多层次的用户界面吗？产品对其产生的模型能提供可理解的解释吗？产品支持图形，可视化及报告工具吗？产品与环境中其他软件（如软件包，数据库）交互情况良好吗？产品能处理不同的数据类型吗？适应现有计算机环境程度如何？根据任务要求来决定软件要求，然后选取软件。79选择数据挖掘软件和工具需要考虑的问题由厂商提供的数据挖掘80谢谢！8081大数据时代的

数据挖掘与商务智能1大数据时代的

数据挖掘与商务智能82第四部分数据管理与数据挖掘概论283数据挖掘概况从20世纪80年代中后期，知识发现的方法、技术和系统，从不同角度、不同领域和不同学科进行了研究和实践，主要的学科有数据库、统计学和机器学习。1989年在底特律第11届IJCAI会议上的KDD研讨会。1991年MIT出版社出版了一本书“KnowledgeDiscoveryinDatabases”。1994年召开了一个国际会议(KDD94),并于1996年由MIT出版社又出版了一本书“AdvancesinKnowledgeDiscoveryandDataMining”。3数据挖掘概况从20世纪80年代中后期，知识发现的方法、技术84数据挖掘概况1995年在加拿大的蒙特利尔召开KDD95，作为第一届国际KDD会议，以后每年一次，原为AAAI组织，1999年由ACM组织，改为SIGKDD。2006年、第12届在美国费城（Philadelphia）。2007年在美国加州圣何塞（SIGKDD07)2008年在美国LASVEGAS(SIGKDD08)。

“DataMiningandKnowledgeDiscovery”1997年创刊。(Springer，1997，2006）。国外相应的研究小组的建立，接着数据挖掘公司风起云涌。一些大公司建立数据挖掘小组和开发各种产品。国内研究小组的建立，一些公司也开始了数据挖掘项目。4数据挖掘概况1995年在加拿大的蒙特利尔召开KDD95，作85数据挖掘概况数据挖掘是20世纪80年代后期发展起来的一种新兴技术。它是商业、企业竞争和技术发展的需求的结果，数据挖掘技术是多种学科的交叉的产物。数据挖掘5数据挖掘概况数据挖掘是20世纪80年代后期发展起来的一种新86数据挖掘任务数据挖掘任务技术分类预测（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律数据挖掘的具体任务关联分析序列模式分类（预测）聚集异常检测6数据挖掘任务数据挖掘任务技术分类87数据挖掘任务描述性分析聚类分析关联分析异常点分析、可视化……预测性分析分类（离散）回归分析（连续）时间序列分析……7数据挖掘任务描述性分析88数据挖掘概况数据挖掘技术基本内容框架数据预处理（1）数据清理（2）数据变换（3）数据集成（4）数据归约（5）数据离散化数据挖掘基本方法（1）关联规则（2）分类与预测（3）聚类数据挖掘的深入内容（1）时间序列和序列（2）空间数据挖掘（3）文本挖掘（4）Web挖掘（5）多媒体挖掘（6）可视化8数据挖掘概况数据挖掘技术基本内容框架89数据挖掘概况由于任务不同，要求不同，数据不同，没有单一的数据挖掘软件可适用所有的情形。造成了各种方法都在快速发展，各种数据挖掘软件不断增多。但商家近年来有逐渐减少的趋势，大公司的介入，一些大的有实力的公司开始更多占领市场。基本方法如上所述。软件功能和性能有很大差异。选软件应考虑的因素很多。9数据挖掘概况由于任务不同，要求不同，数据不同，没有单一的数90数据挖掘概况

从问题回答的角度：有些问题可明确和准确回答（要求这样）有些问题是给出可能的回答有些问题可能给出不太明确的回答有些问题可能给出可能错误的回答。这些回答从数据的角度：有些是查询，有些是统计，有些是归纳，有些是推断，有些预测，有些是分析。数据挖掘要回答那些不是简单查询和统计回答问题。10数据挖掘概况从问题回答的角度：91数据挖掘概况无法准确回答的问题信贷中信用评估，信用卡评级，信用卡欺诈销售一个产品广告材料邮寄给谁保留客户,争取客户交叉销售违规操作，欺诈行为发现，异常发现货架货物的摆放国民经济各指标间的关系疾病,症状,药物,疗效之间的关系DNA序列的相似分析导致各种疾病的特定基因序列模式凭理论，经验，群体分析，凭数据分析，挖掘11数据挖掘概况无法准确回答的问题92数据挖掘概况各种部门都面临不同的挑战一些面临竞争的部门与企业：银行，电信，保险，证券，商场，各种企业。这些企业关心的问题：争取客户，增大销售，提高利润。一些垄断部门与企业：电力，税务，社保。面对抱怨，面对抗争，面对欺诈。政府和企业面临科学决策12数据挖掘概况各种部门都面临不同的挑战93数据挖掘概况数据仓库和数据挖掘项目提到日程数据分析、决策支持系统、商业智能（BI）、知识管理、客户关系管理(CRM)、物流与供应链管理(SCM)、企业资源计划(ERP)、各种预测。政府、科技部门、大型企业（工厂，公司，商场），经济部门、金融机构（银行、证券、保险）、电子商务、电子政务、各种“金”工程。13数据挖掘概况数据仓库和数据挖掘项目提到日程94数据挖掘概况数据仓库将不同数据源、多年的数据经“整合”成一个有组织的便于分析的结构化的数据环境。

组织数据方法。数据挖掘：从数据中找出（推出，归纳出，预测、挖掘）有用的信息，规律，知识。

分析数据方法。14数据挖掘概况数据仓库95数据库集成：数据仓库技术所有的数据在物理上集中在一起虚拟数据库技术数据表面上或者在逻辑上是集成在一起，然而它们的物理存贮则是分散在Internet不同的数据服务器上数据挖掘概况15数据库集成：数据挖掘概况96从两种数据库集成技术来看：数据仓库技术实用于数据库变动不太频繁、数据库中数据类型和使用方法比较接近的情况。虚拟数据库技术实用于数据更新速度快、数据类型和使用方法完全不一样的情况。数据挖掘概况16从两种数据库集成技术来看：数据挖掘概况97联机分析处理60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了OLAP概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。

OLTP数据 OLAP数据

原始数据 导出数据 细节性数据 综合性和提炼性数据当前值数据 历史数据 可更新 不可更新，但周期性刷新 一次处理的数据量小 一次处理的数据量大 面向应用，事务驱动 面向分析，分析驱动 面向操作人员，支持日常操作面向决策人员，支持管理需要

17联机分析处理60年代，关系数据库之父E.F.Codd提出98OLAP定义OLAP(联机分析处理)

是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义)OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。18OLAP定义OLAP(联机分析处理)是使分析人员、管理99数据仓库与数据挖掘所处地位决策支持系统OLAP数据挖掘数据仓库数据库各种信息系统各种管理系统搜索、抽取过滤万维网信息发布信息检索ACRMCRM19数据仓库与数据挖掘所处地位决策支持系统OLAP数据挖掘数100数据挖掘发现知识类型

广义型知识：反映同类事物共同性质的知识特征型知识：反映事物各方面特征的的知识差异型知识：反映不同事物之间属性差别的知识关联型知识：反映事物之间依赖和关联的知识偏差型知识：揭示事物偏离常规的异常现象的知识预测型知识：根据历史与当前数据推测未来数据20数据挖掘发现知识类型广义型知识：反映同类事物共同性质的101(B)DataInformation(A)Knowledge(Arrangement)(Transmit)Knowledgetransmittedbycharacter,sign,voice,etc.(B)DataarrangedtobeusefulfordecisionmakingINFORMATION(Recognition)(C)Knowledge(C)Recognitionmemorizedpersonallyorsocially(D)JudgmentorasystemofjudgmentwhichhasobjectivevalidityKNOWLEDGE(D)Knowledge(Judgment)(D)Knowledge(Judgment)Whatistheenergytobringsuchtransformation?(E)Computers’abilitytojudgethingsautomatically(F)People’sabilitytounderstandandlearnthingsINTELLIGENCEInformationScienceManagementScienceKnowledgeScience+Information,Knowledge,andIntelligence21(B)DataInformation(A)Knowl102Atheoryoforganizationalknowledgecreation,whichsuggeststhatnewknowledgeiscreatedbytheinteractionbetweenexplicitandtacitknowledgethroughthespiralofSocialization,Externalization,Combination,andInternalization.Sharedmentalmodelsortechnicalskills1Metaphors,analogies,concepts,hypotheses,ormodels2Linkingexplicitknowledge3Learningbydoing4I.NonakaandH.TakeuchiTheKnowledge-CreatingCompany.HowJapaneseCompaniesCreatetheDynamicsofInnovation.OxfordUniversityPress,1995.GroupexplicitknowledgeIndividualexplicitknowledgeIndividualtacitknowledgeGrouptacitknowledgeCombinationInternalizationSocializationExternalizationKeyFactorinEstablishingtheSchoolProf.Nonaka22Atheoryoforganizationalk103应用市场分析、预测和管理行销策略,客户关系管理(CRM),购货篮分析,市场分割风险分析、预测和管理风险预警,客户挽留,改进的保险业,质量控制,竞争分析欺诈检测和管理证券违规操作，税务偷漏，瞒报，信用卡欺诈行为判断信用评估银行信贷评估，信用卡评估23应用市场分析、预测和管理104应用宏观经济(指标之间关联,经济指标的预测,预警)电信（客户细分，客户流失，客户挽留）金融（信用评估，洗钱，欺诈…)情报（文本挖掘，新闻组,电子邮件,文档)Web挖掘（信息过滤,个性化服务，异常行为，…)DNA数据分析（一些引起疾病的DNA序列，…)人力资源配置（如何有效进行人力分配）医疗诊断中药配伍规律零售业科学（天气预报，灾难预测…24应用宏观经济(指标之间关联,经济指标的预测,预警)105KDnuggets

对数据挖掘各种情况进行了调查

从应用领域使用工具使用方法数据挖掘组的地位数据库的大小（10G以上，100-1000G)数据格式（文本和工具特定格式居多）25KDnuggets

对数据挖掘各种情况进行了调查

从应用106银行17%生物/基因8%E商务/Web15%欺诈检测8%保险6%投资/股票4%药品5%零售业6%科学数据8%电信11%其他11%

应用领域情况（2001）26银行17%

应用领域情况（2001）107应用领域情况

2

0

0

627应用领域情况

2

0

0

6108应用领域情况（2008）[170voters]28应用领域情况（2008）[170voters]109数据挖掘软件

(May

2008)

[347voters]29数据挖掘软件(May2008)

[347vote110数据挖掘软件

(May2008)

30数据挖掘软件(May2008)2012年R以30.7%的得票率荣登榜首1112012年R以30.7%的得票率荣登榜首31112从技术看数据挖掘使用技术情况[784votestotal](Feb2005)

DecisionTrees/Rules(107)决策树

14%Clustering(101)聚类

13%Regression(90)回归

11%Statistics(80)统计

10%Visualization(63)可视化

8%NeuralNets(61)神经网络

8%Associationrules(54)关联规则

7%NearestNeighbor(34)最近邻

4%SVM(Supportvectormachine)(31)支持向量机

4%Bayesian(30)贝叶斯

4%Sequence/Timeseriesanalysis(26)序列/时间序列分析

3%Boosting(25)增强

3%Hybridmethods(23)混合方法

3%Bagging(20)袋装

3%Geneticalgorithms(19)遗传算法

2%Other(20)其他

3%32从技术看数据挖掘使用技术情况DecisionTrees113数据挖掘任务类型

(

Dec

2007)

[170voters]33数据挖掘任务类型(Dec2007)

[170v114数据类型

(Sep

2008)

34数据类型(Sep2008)115数据挖掘系统的典型架构数据仓库

数据清理与数据集成过滤

数据库数据库、数据仓库管理系统数据挖掘引擎模型、模式评价可视化用户界面数据挖掘方法库其它数据源用户知识库World-WideWebOtherInfoRepositories35数据挖掘系统的典型架构数据仓库数116各行业电子商务网站算法层商业逻辑层行业应用层商业应用商业模型挖掘算法CRM产品推荐客户细分客户流失客户利润客户响应关联规则、序列模式、分类、聚集、神经元网络、偏差分析…WEB挖掘网站结构优化网页推荐商品推荐。。。基因挖掘基因表达路径分析基因表达相似性分析基因表达共发生分析。。。银行电信零售保险制药生物信息科学研究。。。相关行业综合的数据挖掘解决方案（复旦）36各行业电子商务网站算商行商业应用商业模型挖掘算法CRM关1171.业务分析DataSourceDataSource

2.数据收集与整理3数据分析与处理4.财务指标展示6.数据挖掘结果的解释和展示7.系统建设8.尝试应用5.数据挖掘建模商业银行客户违约模型建立371.业务分析DataSourceDataSourc118数据挖掘在我国的前景国外数据挖掘已相当普遍，各大数据库公司与典型产品（IBM,Oracle,Microsoft…)SPSS,SAS,BO……国内情况如何：应用普遍性？对其相信程度？制约的因素？（市场规范程度？消费者成熟程度？人为因素程度？）国内尚处发展阶段，（周期长，效益不明显，数据积累不够，人的认识程度，…）38数据挖掘在我国的前景国外数据挖掘已相当普遍，各大数据库公119为什么没有广泛使用？数据挖掘正在快速的发展技术的研究和开发已经走在很前沿的地方数据挖掘应用面已经扩充了很多但是仍然没有希望的高，为什么？希望在多少年内达到数十亿元的盈利？是一种增值服务（Notbread-and-butter）不能认为高不可攀，所以不去过问是一门年轻的技术，需要和实际结合，解决现实问题39为什么没有广泛使用？数据挖掘正在快速的发展120数据挖掘国内应用存在的问题数据积累不充分、不全面业务模型构建困难缺少有经验的实施者40数据挖掘国内应用存在的问题数据积累不充分、不全面121数据挖掘的方法论41数据挖掘的方法论122知识发现（KDD）的过程42知识发现（KDD）的过程1231.数据的选择与抽样根据用户的需要从数据库中选择或抽样一部分数据。2.数据预处理（1）数据的过滤：除噪声去冗余（2）数据的添补（3）数据归约与约简3.数据转换：

数据转换的主要目的是消减数据维数或维数缩减4.数据挖掘：挖掘方法的使用5.结果的评价（1）可视化表示（2）解释（3）知识的使用6.循环431.数据的选择与抽样124KDD过程数据挖掘:KDD过程的核心。DataCleaningDataIntegrationDatabasesDataWarehouseKnowledgeTask-relevantDataSelectionDataMiningPatternEvaluation44KDD过程数据挖掘:KDD过程的核心。DataCle125数据挖掘的方法论有许多数据挖掘的方法论，比较典型有CRISP-DM

（CrossIndustryStandardProcessforDataMining）SAS提出的数据挖掘方法论

SEMMA(Sample,Explore,Modify,ModelAccess)IBM提出的通用数据挖掘方法

（Thegenericdataminingmethod)45数据挖掘的方法论有许多数据挖掘的方法论，比较典型有126数据挖掘的方法论KDnugets调查情况：各组织机构、公司、个人进行数据挖掘时使用的方法论(Aug2007)

46数据挖掘的方法论KDnugets调查情况：127CRISP-DMNCRSPSS等公司提供CRISP-DM（跨行业数据挖掘标准）数据挖掘方法论实现。主要包括以下六个主要环节：问题（业务）理解(BusinessUnderstanding)数据理解(DataUnderstanding)数据准备(DataPreparation)建立模型(Modeling)模型评估(Evaluation)方案实施(Deployment)47CRISP-DMNCRSPSS等公司提供CR128CRISP-DM1.业务问题理解（BusinessUnderstanding）要解决哪类问题：在数据挖掘之前，收集与该项目有关的信息，确定数据挖掘要解决哪类问题。并把要解决的问题转化为数据挖掘问题。资源的评估：硬件资源，软件资源，数据资源，人力资源（管理人员，业务人员，技术人员）数据评估：数据数量，数据质量评估。项目成功估计：成功后的效益，相应人员（分析、维护）的增加。48CRISP-DM1.业务问题理解（BusinessUn129如：一个电信领域的数据挖掘项目问题可为：一些优质客户有什么特征？哪些是不良客户，他们有什么特征？在欠费客户中，哪些是恶意的欠费，哪些是善意的欠费。哪些客户可能会有最好的潜力？通过什么样的标准来细分客户？如何来衡量客户带来的价值？哪些是高价值客户？如何去保住他们。49如：一个电信领域的数据挖掘项目问题可为：130CRISP-DM2.理解数据（DataUnderstanding）从哪里进行数据的收集数据来源有那些各数据源数据描述：格式，含义数据质量外来数据有那些对数据的含义一定要有深刻的理解才有可能从中找出（挖掘）规律和知识。50CRISP-DM2.理解数据（DataUnders131CRISP-DM3.准备数据（DataPreparation）数据选择数据清理数据重构数据整合规格化：定出范围标准化：解决不一致数据准备会占用整个项目50%以上时间51CRISP-DM3.准备数据（DataPrepara132CRISP-DM4.建立模型（Modeling）数据汇总概念描述关联规则相关分析分类与预测聚类52CRISP-DM4.建立模型（Modeling）133CRISP-DM5.方案评估（Evaluation）挖掘结果（获得知识的）评估挖掘过程的评估来决定是否要反复，KDD是迭代过程53CRISP-DM5.方案评估（Evaluation）134迭代过程54迭代过程135CRISP-DM6.方案实施(Deployment)发布挖掘结果（获得知识的）评估决定实施计划Crisp-DM1.0CRISP-DM2.0SIGWORKSHOPANNOUNCED–CHICAGO,SEPTEMBER26,

200655CRISP-DM6.方案实施(Deployment)C136CRISP-DM各阶段占用时间和重要性1%10%方案实施5%10-20%建立模型和模型评估15%50%数据准备

5%10-20%数据理解

70%10%问题理解占项目成功的重要性花费时间56CRISP-DM各阶段占用时间和重要性1%10%方案实施137数据挖掘需要的人员

业务分析人员：要求精通业务，能够解释业务对象，并根据各业务对象确定出用于数据定义和挖掘算法的业务需求。数据分析人员：精通数据分析技术，并对统计学有较熟练的掌握，有能力把业务需求转化为数据挖掘的各步操作，并为每步操作选择合适的技术。数据管理人员：精通数据管理技术，并从数据库或数据仓库中收集数据。57数据挖掘需要的人员业务分析人员：要求精通业务，能够解释138数据挖掘软件58数据挖掘软件139数据挖掘软件的现状（国外）DataMining/AnalyticSoftwareTools[534voters](May2007)

59数据挖掘软件的现状（国外）DataMining/A140数据挖掘软件的现状（国内）60数据挖掘软件的现状（国内）141数据挖掘软件的发展代特征数据挖掘算法集成分布计算模型数据模型第一代作为一个独立的应用支持一个或者多个算法独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次不能放进内存的数据数据管理系统，包括数据库和数据仓库同质、局部区域的计算机群集有些系统支持对象,文本和连续的媒体数据第三代和预测模型系统集成

多个算法数据管理和预测模型系统intranet/extranet网络计算支持半结构化数据和web数据第四代和移动数据/各种计算设备的数据联合

多个算法数据管理、预测模型、移动系统移动和各种计算设备普遍存在的计算模型RobertGrossman的观点

(NationalCenterforDataMining,UniversityofIllinoisatChicago)61数据挖掘软件的发展代特征数据挖掘算法集成分布计算模型数据142数据挖掘软件的发展第一代数据挖掘软件62数据挖掘软件的发展第一代数据挖掘软件143第一代数据挖掘软件

CBA新加坡国立大学基于关联规则的分类算法，能从关系数据或者交易数据挖掘关联规则，使用关联规则进行分类和预测63第一代数据挖掘软件144数据挖掘软件的发展第二代数据挖掘软件特点与数据库管理系统（DBMS）集成支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性能够挖掘大数据集、以及更复杂的数据集通过支持数据挖掘模式（dataminingschema）和数据挖掘查询语言增加系统的灵活性典型的系统如DBMiner，能通过DMQL挖掘语言进行挖掘操作缺陷只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发64数据挖掘软件的发展第二代数据挖掘软件特点145数据挖掘软件的发展第二代数据挖掘软件DBMiner65数据挖掘软件的发展第二代数据挖掘软件DBMiner146数据挖掘软件的发展第二代软件SASEnterpriseMiner66数据挖掘软件的发展第二代软件SASEnterpris147数据挖掘软件的发展第三代数据挖掘软件特点和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时