数据挖掘与决策支持讲义.ppt

,数据挖掘与决策支持,王星wx99scy.Tel:86-10-62511333,自我介绍,王星，毕业于中国人民大学统计学院，获经济学博士学位。中国人民大学统计学院数据挖掘中心副主任,2003年曾赴台湾辅仁大学管理学院进修3个月。擅长SPSSClementine、SASEM等软件的使用，具备较强的市场研究和数据分析能力。数据挖掘-客户关系管理的科学与艺术的作者，该书于2004年1月出版，中国财政金融出版社。,今天我们不得不生活在全球化和信息技术革命影响下的世界，企业要生存，只有两个选择：适应它或被他抛弃。英特尔公司主席：安德鲁.格鲁夫,课程目标,数据挖掘的产生与发展数据挖掘与企业决策支持的关系数据挖掘的一些基本工具与算法数据挖掘流程数据挖掘软件,1.数据挖掘的产生与发展,数据？,文字书籍,期刊,.,备忘录,刊载/参考胶卷照片,其它影像广播,电视电话通讯数据库,数据挖掘技术的由来,从技术的角度来看：数据挖掘被称为继网络之后的下一个技术热点；从生产的角度来看：由于人工费用提升，产品和服务成本降低，管理和服务过程的信息化是必然的。从数据的管理和利用来看：单纯的存取功能不再适应，待管理的数据量正在以指数增长。,纽约时报由60年代的1020版扩张至现在的100200版，最高曾达1572版；北京青年报也已是1648版；国家图书馆有1000万册图书，一个公司就可能拥有这些数据；统计流程控制通过成千上万个传感器不断读取和记录数据；电话系统，网络系统一个月的记录可能需要1012条记录超过1000gigabyte。,数据的突出特点,产生的问题,信息过量；信息真假难以辨识；信息安全难以保证；信息形式不一致，难以统一处理。,数据挖掘的演变过程,机器学习,类神经网络,知识发现,数据挖掘,60年代,70年代,80年代,90年代,数据可以产生商业价值,可以想象在老年杂志上登载怎样的广告？如何防止信用卡盗用？地质采矿婴儿纸尿布和啤酒的故事,数据挖掘的定义,.Dataminingisthenon-trivialprocessofidentifyingvalid,novel,potentiallyuseful,andultimatelyunderstandablepatternsindata.Fayyad.Dataminingistheprocessofextractingpreviouslyunknown,comprehensible,andactionableinformationformlargedatabasesandusingittomakecrucialbusinessdecisions.Zekulin,远古至今即存在数据挖掘,月晕知风晚上起雾第二天晴天看到妈妈拿鞭子逃跑這些在我們的传统用法称之为：经验法则,数据挖掘-从大量数据中寻找规律技术，是统计学、数据库技术和人工智能技术等的综合。,数据挖掘的功能,分类:DecisionTree,NeuralNetworketc.推估:Regression&NeuralNetworketc.预测:DecisionTree,NeuralNetworketc.关联分组:GRI,Apriorietc.聚类:K-means&KohonenNetwork,需要数据挖掘的5条理由,Largenumberofrecords(cases)(108-1012bytes)Highdimensionaldata(variables)(10-104attributes)Onlyasmallportion,typically5%to10%,ofthecollecteddataiseveranalyzed.Datathatmayneverbeexploredcontinuestobecollectedoutoffearthatsomethingthatmayproveimportantinthefuturemaybemissing.Magnitudeofdataprecludesmosttraditionalanalysis(moreoncomplexitylater).,数据挖掘的重要性,TechnologyReview杂志2002年公布改变未来的十项新兴趋势：机器与人脑的接口塑料晶体管数据挖掘(Datamining)数字权利管理生物测量学(Biometrics)语音识别处理微光学技术(Microphotonics)破解程序代码(Untanglingcode)机器人设计微应用流体学(Microfluidics),数据挖掘与数据查询,表面知识（ShallowKnowledge）：可以利用数据库查询语言找到所有使用信用卡购买烤箱的某大型商场的客户列表。多维的知识（Multidimensionalknowledge）：多表的连接操作跨国电信公司的客户呼叫模式分析：话费清单，客户帐户数据等。隐藏的知识（Hiddenknowledge）将不良风险的人和能按时还贷的人区分开来。地下知识（Deepknowledge）,电信公司的长话业务数据分布,数据挖掘与专家系统,数据挖掘并不总是有效，特别没有优质的数据来源，数据挖掘可以被由一个或多个模仿专家解决问题的程序部分代替。,专家系统,数据,数据挖掘工具,知识，规则,2.数据挖掘的应用,数据挖掘,保险客户,证券客户,银行客户,电信客户,零售客户,人类基因,植物基因,动物基因,特殊群体基因,基因序列基因表达谱基因功能基因制药.,数据挖掘在中国内地市场规模未来五年内将达百亿,科学研究,天文学：SKICAT基因工程：GRAIL,GeneID,Geneparser,人类基因,植物基因,动物基因,特殊群体基因,基因序列基因表达谱基因功能基因制药.,商业领域的数据挖掘,作为研发工具:制药业predicttheeffectivenessofsurgicalproceduremedicaltestmedication改进生产过程:6市场营销.客户关系管理.金融投资欺诈甄别,客户细分,Web挖掘,文档的自动分类帮助寻找用户感兴趣的新闻设计电子新闻和垃圾邮件过滤系统,市场营销,Marketing-whoslikelytobuy?Forecasts-whatdemandwillwehave?Loyalty-whoslikelytodefect?Credit-whichloanswereprofitable?Fraud-whendiditoccur?,数据挖掘与决策支持,业务数据,交易数据,外部数据,数据仓库,决策支持系统,顾客分析,行销管理,挑选客户名册,产品分析,应用系统,客服行销,3.数据挖掘的流程（6步法）,如何定义有兴趣的模式,从人口数据库中很容易得到如下的知识或规则：如果“某人的家庭角色是丈夫”=“此人的性别是男性”；Datamining=“garbagein,garbageout”?,数据挖掘流程与美食制作,芦笋百合,六步之一：商业理解,商业目标问题范围可能的解决方案以及各自的优缺点,花费时间：20%30%重要性:,电信行业几个重要的营销问题：个别消费者通话模式高利润的服务,六步之二：数据理解,数据概念描述（格式等）；收集数据；数据探索性研究；,花费时间：20%30%重要性:,通话明细数据可以从以下几个渠道获得：直接交换机记录(directswitchrecording)计费系统的输入数据(inputsintothebillingsystem)。数据仓储提供的基础数据(Datawarehousefeeds)。其他有关客户的数据,六步之三：数据准备,花费时间：50%70%重要性:,数据清理；数据转换；数据整合；格式化数据,六步之四：建立模型与模式,数据的描述与汇总细分分类预测关联,更深层次的问题是：哪些客户对价格比价敏感,有监督的数据挖掘（学习）,用归纳形成概念模型，使用模型帮助区分结构相似的对象。这类学习称为基于归纳的有指导的概念学习(supervisedlearning）,有监督的数据挖掘模型例,根据历史行销记录，推测谁最有可能对我们下一次推荐产品做出响应。根据经验，最合适的医疗处方是什么？下一个最有可能被淘汰的机器是哪一种型号？在未来的六个月里，哪些客户最有可能离开？根据历史欺诈，哪些交易行为最有可能发生欺诈？某人申请信用卡或某项保险的资格是否可以获批？,Diagonosis=咽炎,No,Yes,Yes,No,淋巴肿,发烧,感冒,敏感症,无监督的数据挖掘,无监督的数据挖掘是在数据中寻找新的模式。这些模式使我们更深入地了解数据，了解数据本身就有可能生成有用的信息。无监督数据挖掘和有监督的数据挖掘在数据挖掘中是同等的重要。无监督的数据挖掘经常用于数据探索阶段。比如，数据中有什么？它描述了怎样的信息？数据中是否存在不寻常的模式？数据对客户细分有怎样的建议？哪些产品应根据指定目录放在一起？找到对书籍和音乐方面，有相同品位的读者和听众。为市场行销人员找到真正的客户群体。,35.00=Age=43.00andLifeInsPromo=Yes:ruleaccuracy100.00%:rulecoverage100.00%35.00B支持度为:A与B同时出现的概率P(A,B)例子:数据库中的交易纪录如下:t1:(,面包,牛奶,)t2:(,面包,.)t3:(,面包,牛奶,)t4:()请问：面包=牛奶的支持度为多少?,3）序列模式,顾客通常在购买某类商品后，经过一段时间，会再购买另一类商品例如:买过“棉被、枕头、床单”之后，经过一段时间，通常会再购买“纸尿裤、奶粉”,序列模式例,例如:先买20再买30再买60,70203060,70,4）.聚类,5).类神经网络,好处对问题的假定、要求较少。可以实现特征空间较为复杂的划分缺点训练速度慢需要更多的训练数据无法对结果进行透彻的理解,6.数据挖掘软件发展现状,二、数据挖掘软件的发展,第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷第三、四代系统强调预言模型的使用和在操作型环境的部署第二代系统提供数据管理系统和数据挖掘系统之间的有效接口第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖掘系统，比如IBMIntelligentScoreService。第四代数据挖掘原型或商业系统尚未见报导,第二代数据挖掘软件,特点与数据库管理系统（DBMS）集成支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性能够挖掘大数据集、以及更复杂的数据集通过支持数据挖掘模式（dataminingschema）和数据挖掘查询语言增加系统的灵活性典型的系统如DBMiner，能通过DMQL挖掘语言进行挖掘操作缺陷只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发,数据挖掘软件的发展,数据挖掘软件发展经历了三个阶段独立的数据挖掘软件横向的数据挖掘工具集纵向的数据挖掘解决方案,GregoryPiatetsky-Shapiro的观点,独立的数据挖掘软件（95年以前）,特点独立的数据挖掘软件对应第一代系统，出现在数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘算法，就形成一个软件。这类软件要求用户对具体的算法和数据挖掘技术有相当的了解，还要负责大量的数据预处理工作。比如C4.5决策树，平行坐标可视化（parallel-coordinatevisualization）。,通用数据挖掘软件的盛行（95年开始）,发展原因随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软件需要和以下三个方面紧密结合：1）数据库和数据仓库；2）多种类型的数据挖掘算法；3）数据清洗、转换等预处理工作。随着数据量的增加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。现实领域的问题是多种多样的，一种或少数数据挖掘算法难以解决挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型,通用数据挖掘工具集(95年开始),特点提供多种数据挖掘算法包括数据的转换和可视化典型的横向工具有IBMIntelligentMinerSPSS的ClementineSAS的EnterpriseMinerSGI的MineSetOracleDarwin等,第二代数据挖掘软件DBMiner,第二代软件SASEnterpriseMiner,第三代软件SPSSClementine,以PMML的格式提供与预言模型系统的接口,发展原因随着横向的数据挖掘工具的使用日渐广泛，人们也发现这类工具只有精通数数据挖掘算法的专家才能熟练使用，如果对算法不了解，难以得出好的模型从1999年开始，大量的数据挖掘工具研制者开始提供纵向的数据挖掘解决方案（VerticalSolution），即针对特定的应用提供完整的数据挖掘方案对于纵向的解决方案，数据挖掘技术的应用多数还是为了解决某些特定的难题，而嵌入在应用系统中,行业数据挖掘解决方案（99年开始）,行业数据挖掘解决方案（99年开始）,KD1（主要用于零售业）Options&Choice(主要用于保险业)HNC（欺诈行为侦测）UnicaModel1(主要用于市场营销),行业数据挖掘解决方案（99年开始）,在证券系统中嵌入神经网络预测功能在欺诈检测系统中嵌入欺诈行为的分类/识别模型在客户关系管理系统中嵌入客户成簇/分类功能或客户行为分析功能在机器维护系统中嵌入监/检测或识别难以