数据挖掘技术介绍.ppt

数据挖掘技术简介,演讲人：钟云飞Email：peter2002年7月19日,大纲什么是数据挖掘数据挖掘的标准流程：CRISPDM数据挖掘工具SPSSClementine简介,第一部分：什么是数据挖掘？,数据挖掘都干了些什么？,英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。,使直邮的回应率提高了100,数据挖掘都干了些什么？,GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。,通过数据挖掘的方法使库存成本比原来减少了3.8%,数据挖掘都干了些什么？,汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。,营销费用减少了30,数据挖掘都干了些什么？,美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象。,发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本,数据挖掘都干了些什么？,美国国内税务局需要提高对纳税人的服务水平。,合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务,通过数据挖掘您可以,发现最有价值的客户,通过数据挖掘您可以,使组合销售更有效率,通过数据挖掘您可以,留住那些最有价值的客户,通过数据挖掘您可以,用更小的成本发现欺诈现象,通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。数据挖掘能够帮助你选择正确瞄准潜在目标，向现有的客户提供额外的产品，识别那些准备离开的好客户。,什么是数据挖掘,电信：流失银行：聚类（细分）,交叉销售百货公司/超市：购物篮分析（关联规则）保险：细分，交叉销售，流失（原因分析）信用卡：欺诈探测，细分电子商务：网站日志分析税务部门：偷漏税行为探测警察机关：犯罪行为分析医学：医疗保健,数据挖掘应用领域,数据挖掘效益分析(直邮）(BigBank&CreditCardCompany),目的：发现新客户,第二部分：数据挖掘标准流程CRISP-DM,CRISPDM简介,CRISPDM是CRoss-IndustryStandardProcessDataMining的缩写由SPSS、NCR、Daimler-Benz在1996年制定CRISP是当今数据挖掘业界通用流行的标准之一它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是把数据挖掘局限在研究领域,CRISPDM,商业理解数据理解数据准备建立模型模型评估模型发布,商业理解（BusinessUnderstanding),找问题确定商业目标对现有资源的评估确定问题是否能够通过数据挖掘来解决确定数据挖掘的目标制定数据挖掘计划,数据理解(DataUnderstanding),确定数据挖掘所需要的数据对数据进行描述数据的初步探索检查数据的质量,数据准备(DataPreparation),选择数据清理数据对数据进行重建调整数据格式使之适合建模,建立模型（Modeling),对各个模型进行评价选择数据挖掘模型建立模型,模型评估(Evaluation),评估数据挖掘的结果对整个数据挖掘过程的前面步骤进行评估确定下一步怎么办？是发布模型？还是对数据挖掘过程进行进一步的调整，产生新的模型,模型发布（Deployment）,把数据挖掘模型的结果送到相应的管理人员手中对模型进行日常的监测和维护定期更新数据挖掘模型,第三部分：数据挖掘工具SPSSClementine简介,Makeadifferencewiththepredictivepowerofdatamining,应用Clementine达到你数据挖掘的目标,图形化的界面、数据流的形式建立模型，保证了应用Clementine进行数据挖掘关注商业更甚于关注技术本身开放式的技术是更好的保护您的投资的保障高度的扩展性保证对数据库中大量的数据进行挖掘业界领先的发布技术使数据挖掘结果更好的传递到相应管理人员手中,把你的商业经验溶入数据挖掘过程是数据挖掘成功的关键,丰富的数据挖掘算法,PredictionNeuralnet,C5.0ClassificationNeuralnet,C5.0SegmentationKohonen,Kmeans,C5.0AssociationApriori,GRI,WebgraphSequenceCaprI,NeuralNet,Regression,与SPSS及AnswerTree无缝集成提供更多的算法,LogisticRegressionDiscriminantAnalysisFactorAnalysisManymore.,C&RTCHAIDExhaustiveCHAIDQUEST,使你在数据仓库上的投资得到最大的回报,SybaseDB2InformixOpenIngressOracleSQLServer,+ODBCdriversforothers+ODBCsocketfornativedrivers,开放的建模性能,在Clementine中通过CEMI加入新的算法,Clementine的系统结构,ClementineServerdelivershugeperformancegains,Generatingadistributiongraph995secondswhenprocessedonthedesktop69secondswhenprocessedontheserver19secondswhenpushedbackintothedatabase,In-databaseprocessingdeliversbetterperformanceasdatasetsgetlarger,Shedatabase,ClementineServercutsmodelbuildingtimeupto90%,Modelbuildingtimeneededforbuildingmodelsontheserverasapercentageofthetim