商务数据挖掘与应用案例分析ppt课件

0,2020/5/18,商务数据分析,1,2020/5/18,参考资料,参考书：蒋盛益.商务数据挖掘与应用案例分析.北京：电子工业出版社.2014.1蒋盛益等.数据挖掘原理与实践.北京：电子工业出版社.2011.8(美)贝里，(美)利诺夫著，袁卫等译.数据挖掘客户关系管理的科学与艺术.中国财经出版社,2004.1(美)贝里，(美)利诺夫著.别荣芳等译.数据挖掘技术：市场营销、销售与客户关系管理领域应用.机械工业出版社.2006.7(美)奥尔森(Olson，D)，(中)石勇著，吕巍等译.商业数据挖掘导论.机械工业出版社.2007.8熊平.数据挖掘算法与Clementine实践.清华大学出版社.2011.1相关网站：中国统计网：,2,2020/5/18,第1章绪论,1.1引例1.2数据挖掘产生的背景及概念1.3数据挖掘任务及过程1.4数据挖掘常用软件简介1.5数据挖掘在商业领域中的应用1.6数据挖掘技术的前景,3,2020/5/18,1.1引例,1.1.1超市货架组织1.1.2广告精准投放1.1.3客户流失分析1.1.4智能搜索1.1.5免费用户到付费用户的转化,4,2020/5/18,超市货架组织,关联销售!,原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。这种现象就是卖场中商品之间的关联性，研究“啤酒与尿布”关联的方法就是购物篮分析，购物篮分析是沃尔玛秘而不宣的独门武器，购物篮分析可以帮助超市在销售过程中找到具有关联关系的商品，并以此获得销售收益的增长！,货架的组织会影响商品的销售！超市商品按什么原则摆放？尿布与啤酒被摆在一起。为什么？,5,2020/5/18,广告精准投放,随着Web2.0应用的推广，网络社区服务SNS(SocialNetworkService)已成为互联网关注的热点。通过挖掘网络中潜在的社区人群，企业可以更好地搜索潜在消费者和传播对象，将分散的目标顾客和受众精准地聚集在一起，精确地把广告投放给目标客户，这不但有效降低单人营销费用，而且可以减少对非目标客户的干扰，提高广告的满意度，最终实现网络广告投放策略的真正价值。,6,2020/5/18,客户流失分析,在激烈竞争的市场，往往采取名目繁多的促销活动和层出不穷的广告宣传来吸引新客户、留住老客户；研究发现：发展一个新客户比保持一个老客户的费用要高出5倍以上。客户流失分析是以客户的历史消费行为数据、客户的基础信息、客户拥有的产品信息为基础，通过研究综合考虑流失的特点和与之相关的多种因素，以此建立可以在一定时间范围内预测客户流失倾向的预测模型，以便对流失进行预测、并对流失的后果进行评估,7,2020/5/18,智能搜索,Web信息检索，即搜索引擎，是能有效解决通过网络来快速发现有用信息的重要工具。传统的搜索引擎(百度、Google、Bing、搜搜等)，在用户输入关键词进行查询后，返回的是成千上万的相关结果，往往需要用户花费大量时间浏览与选择，不能满足用户快速获取信息的愿望。因此大量学者以及研究人员开始研究行业化、个性化、智能化的第三代搜索引擎。,8,2020/5/18,免费用户到付费用户的转化,在网络游戏试玩初期，游戏运营商为了测试和完善网络游戏以及快速扩大玩家群，通常都会推出一段相对较长的免费试玩期。因此，在网络游戏正式运营前就会存在大量的注册用户，这些注册用户会在网络游戏运行后存在很长一段时间。如何把这些注册用户转化成付费客户，真正为游戏运营商带来收益呢？数据挖掘技术的应用使网络游戏运营商能够对注册用户采取差别化营销，对正确的注册用户采用合适的营销手段，从而提高市场营销活动效果，使企业利润得到最大化。,9,2020/5/18,1.2数据挖掘产生的背景及概念,1.2.1数据挖掘产生的背景1.2.2数据挖掘概念,10,2020/5/18,1.2.1数据挖掘产生的背景,信息的快速增长带来的问题：(1)信息过量，难以消化；(2)信息真假难以辨识；(3)信息安全难以保证；(4)信息形式不一致，难以统一处理。现象：“数据过剩”、“信息爆炸”与“知识贫乏”苦恼:淹没在数据中，难以制定合适的决策!数据挖掘的迅速发展，使商业受益匪浅，如市场营销组织应用客户细分来识别那些对不同形式营销传媒敏感的客户群，许多公司应用数据挖掘技术来识别高价值客户，从而为他们提供所需的服务以留住他们。时代的挑战、市场的需求,11,2020/5/18,案例1-1：梅隆银行的数据挖掘,12,2020/5/18,案例1-2：Yahoo!数据挖掘案例,13,2020/5/18,1.2.2数据挖掘概念,技术层面：数据挖掘是探查和分析大量数据以发现有意义的模式和规则的过程。商业层面：数据挖掘就是一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据。,14,2020/5/18,1.3数据挖掘任务及过程,1.3.1数据挖掘任务1.3.2数据挖掘过程,15,2020/5/18,1.3.1数据挖掘任务(1),（1）预测任务根据其它属性的值预测特定属性的值，如分类、回归、离群点检测。（2）描述任务寻找概括数据中潜在联系的模式，如聚类分析、关联分析、序列模式挖掘。,16,2020/5/18,1.3.1数据挖掘任务(2),(1)聚类(Clustering)分析“物以类聚，人以群分”。聚类分析技术试图找出数据集中的共性和差异，并将具有共性的对象聚合在相应的类中。聚类可以帮助决定哪些组合更有意义，广泛应用于客户细分、定向营销、信息检索等等。(2)分类(Classification)分析分类分析，通过分析示例数据库中的数据为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用此分类规则对其它数据库中的记录进行分类。分类分析广泛应用于用户行为分析(受众分析)、风险分析、生物科学等。,17,2020/5/18,1.3.1数据挖掘任务(3),(3)关联(Association)分析关联分析，发现特征之间的相互依赖关系，通常是从给定的数据集中发现频繁出现的模式知识(又称为关联规则)。关联分析广泛用于市场营销、事务分析等领域。(4)离群点(Outlier)检测离群点检测就是发现与众不同的数据。可应用于商业欺诈行为的自动检测，网络入侵检测，金融欺诈检测，反洗钱，犯罪嫌疑人调查，海关、税务稽查等。,18,2020/5/18,1.3.1数据挖掘任务(4),(5)回归(Regression)分析回归分析是确定两种或两种以上变数间相互依赖的定量关系的一种分析方法。其可应用于风险分析、作文自动评分等领域。(6)序列模式(SequentialPattern)挖掘序列模式挖掘是指分析数据间的前后序列关系，包括相似模式发现、周期模式发现等。其应用领域包括客户购买行为模式预测、Web访问模式预测、疾病诊断、网络入侵检测等。,19,2020/5/18,1.3.2数据挖掘过程(1),从商业的角度看，数据挖掘过程可分为三个阶段:(1)数据准备：数据收集(集成)和预处理。知识是从海量数据里提取出来的，因此要挖掘知识必须得收集一定量的数据。收集到的原始数据一般存在缺失值、错误值等问题，不能直接用作知识提取的数据源，需要进行数据预处理。(2)知识提取：基于经过预处理的数据，使用数据挖掘方法(如分类、聚类、关联分析等)进行知识提取，这是数据挖掘的核心部分。(3)知识辅助决策：数据挖掘技术已被广泛地应用于各领域，其提取出来的知识可以很好地辅助决策者做出良好的决策。,20,2020/5/18,1.3.2数据挖掘过程(2),图1-1数据挖掘过程,21,2020/5/18,1.4数据挖掘常用软件简介,比较著名的商用数据挖掘软件有SPSSClementine、SASEnterpriseMiner、IBMIntelligentMiner、SQLServer2005DataMining、OracleDM等，它们都能够提供常规的挖掘过程和挖掘模式。Matlab，Excel(DatamininginExcel:XLMiner)等提供了数据挖掘模块。开源数据挖掘工具有Weka、RapidMiner(YALE)、R语言、ARMiner以及AlphaMiner等。,22,2020/5/18,商用软件（1）,(1)SPSSClementineClementine是ISL(IntegralSolutionsLimited)公司的数据挖掘工具平台。1999年SPSS公司收购了ISL公司，2009年10月，IBM收购了SPSSInc。来自KDnuggets(,23,2020/5/18,商用软件（2）,(2)SAS/EnterpreiseMiner支持SAS统计模块，通过大量数据挖掘算法增强了那些模块。使用SEMMA方法学以提供一个能支持包括关联、聚类、决策树、神经元网络和统计回归在内的数据挖掘工具。既方便被初学者使用（可视化操作），也能为有经验的用户使用（高效的编程）。GUI界面是数据流驱动的，且易于理解和使用。允许一个分析者通过构造一个使用链接连接数据结点和处理结点的可视数据流图建造一个模型，允许把处理结点直接插入到数据流中。支持多种模型，允许用户比较(评估)不同模型并利用评估结点选择最适合的。提供了一个能产生被任何SAS应用程序所访问的评分模型的评分结点。,24,2020/5/18,商用软件（3）,(3)MicrosoftSQLServer2005DataMiningMicrosoftSQLServer2005DataMining(数据挖掘)属于商务智能技术，它可帮助您构建复杂的分析模型，并使其与您的业务操作相集成。MicrosoftSQLServer2005分析服务中构建了新的数据挖掘平台一个易于使用、容易扩展、方便访问、非常灵活的平台。对于以前从未考虑过采用数据挖掘的组织机构，这无疑是个非常容易接受的解决方案。,25,2020/5/18,开源软件（1）,(1)WekaWeka的全名是怀卡托智能分析环境(WaikatoEnvironmentforKnowledgeAnalysis)，是基于JAVA环境下开源机器学习(machinelearning)与数据挖掘(dataminining)软件。Weka的特点：公开的数据挖掘工作平台集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则在新的交互式界面上的可视化开发者可使用Java语言，利用Weka的架构上开发出更多的数据挖掘算法,26,2020/5/18,开源软件（2）,(2)RapidMinerRapidMiner(前身是YALE)是基于Weka构建的一个十分流行的开源数据挖掘软件，它不仅提供了一个GUI的数据处理和分析环境，还提供了JavaAPI以便将它的能力嵌入其他应用程序。(3)R语言R语言是一款优秀的开源统计分析和数据挖掘软件，是交互式数据分析和探索的强大平台。R语言可以在UNIX、Windows和MacOS等多种平台下运行，主要以命令行操作，也有人开发了图形用户界面。R语言能处理多源数据，提供了丰富多样的数据分析技术（线性和非线性建模、时间序列分析、分类、聚类.）和绘图技术。R的功能能够通过由用户撰写的软件包增强（增加的功能有特殊的统计技术、绘图功能，以及编程接口和数据输出输入功能），软件包更新快，资源丰富。近年来R得到了广大数据分析和数据挖掘用户的青睐。R提供的功能和丰富的扩展包使它成为已有昂贵数据挖掘工具的替代软件，R的自由和开放源码特性，使其成为数据挖掘的最佳选择之一。,27,2020/5/18,1.5数据挖掘在商业领域中的应用（1）,1.5.1市场营销1.5.2交叉销售与交叉营销1.5.3客户关系管理1.5.4个性化推荐与个性化服务1.5.5风险分析与控制1.5.6欺诈行为检测和异常模式的发现1.5.7供应链库存管理中的需求预测1.5.8人力资源管理,28,2020/5/18,1.5数据挖掘在商业领域中的应用（2）,在商业领域，知识的价值主要体现在两个方面：(1)通过降低成本提高利润；(2)通过增加收入提高利润。作为有远见的公司需要做到：(1)注意客户正在做什么？(2)记住公司及其客户曾经做过什么？(3)学习、挖掘客户与公司交易过程中留下的信息。(4)按照获得的知识进行商业活动使顾客更加受益。,29,2020/5/18,1.5数据挖掘在商业领域中的应用（3）,某客户对公司的忠诚度怎样？谁可能流失？什么产品应该以何种定位面世？是什么决定某个客户是否对某种产品做出回应？哪种电话销售方式最适合某个客户？某个客户需要的下一种产品或者服务是什么？下一个分支机构应该设置在哪里？类似这些问题的答案就隐藏在公司运营数据中，数据挖掘能为这些问题提供强有力的答案，是解决这方面问题的一种极其有效的工具。,30,2020/5/18,1.5数据挖掘在商业领域中的应用（4）,数据挖掘技术在商业领域已经得到了广泛的应用。很多企业成功地应用了数据挖掘，如：(1)沃尔玛(walmart)公司将其5000家商店的销售点详细数据整合到一起，通过数据挖掘系统，沃尔玛能十分准确地预测每个商店、每种产品的销售情况，从而极大地降低了库存费用并从促销活动中获得巨大收益。(2)美国AutoT是世界上最大的汽车销售站点，通过运用SAS软件对用户在网站上的点击信息进行分析，找出用户的访问模式，判断用户对不同产品的喜欢程度，以此设特定服务，取得了成功。(3)BassExport是世界最大的啤酒进出口商之一，每个星期传送23000份定单，通过使用IBM的IntelligentMiner了解每个客户的习惯(如品牌的喜好等)来匹配客户的需求。,31,2020/5/18,1.5数据挖掘在商业领域中的应用（5）,在商业领域中，数据挖掘典型的应用是商业智能。所谓商业智能BI(BusinessIntelligence)是能够帮助企业确定客户的特点，使企业能够为客户提供有针对性的服务，对自身业务经营做出正确明智决定的工具，是目前国内外企业界和软件开发界广泛关注的一个研究方向。商业智能技术的核心是数据挖掘，其解决的典型商业问题包括以下几个方面：市场营销，交叉销售与交叉营销，客户关系管理，个性化推荐与个性化服务，风险分析与控制，欺诈行为检测和异常模式的发现，供应链库存管理中的需求预测，人力资源管理。,32,2020/5/18,1.5.1市场营销,数据挖掘技术可以用于市场营销，其基本假定是“消费者过去的行为是其今后消费倾向的最好说明”。通过收集、加工和处理能够反映消费者消费行为的大量信息，来确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销。案例1-3：数据库营销(DatabaseMarketing),33,2020/5/18,1.5.2交叉销售与交叉营销,所谓交叉销售(CrossSelling)，就是发现现有客户的多种需求，并通过满足其需求而实现销售多种相关的服务或产品的营销方式。促成交叉销售的各种策略和方法即“交叉营销”(CrossMarketing)。交叉销售是在同一个客户身上挖掘、开拓更多的顾客需求，也就是说服现有的顾客去购买另一种产品，也是根据客人的多种需求，在满足其需求的基础上实现销售多种相关的服务或产品的营销方式。可口可乐与电影、银行、主题公园、餐厅、音乐、体育等领域合作实现“交叉营销”。案例1-4：交叉销售创造巨额利润,34,2020/5/18,1.5.3客户关系管理,客户关系管理的目标是缩减销售周期和销售成本、增加收人、寻找扩展业务所需的新的市场和渠道，以及提高客户的价值、满意度、赢利性和忠实度。数据挖掘处于客户关系管理系统的核心地位，数据挖掘技术在客户关系管理的价值体现在以下三个阶段：获得客户(发现最有价值的潜在客户)、提高客户的价值、保持有效益的客户都有重要作用。案例1-5：谁有可能对新产品感兴趣？,35,2020/5/18,1.5.4个性化推荐与个性化服务,在个性化推荐服务中，主要包含两个阶段：客户兴趣收集和产品服务推荐。案例1-6：个性化信息服务,36,2020/5/18,1.5.5风险分析与控制,客户信用风险分析对企业的财务安全非常重要，利用数据挖掘中的关联分析、离群点检测等技术对企业经营管理数据进行分析，预测可能发生风险的地点与原因。案例1-7:数据挖掘在信用卡风险控制中的应用,37,2020/5/18,1.5.6欺诈行为检测和异常模式的发现,利用历史数据建立欺诈行为模型，并使用数据挖掘帮助识别类似例子。基于离群点检测、分类模型的方法可广泛应用于保险、零售业、信用卡服务、电信等行业。如：汽车保险:检测出那些故意制造车祸而索取保险金的人；医疗保险:检测出潜在的病人；洗钱:发现可疑的货币交易行为；银行信用卡和保险行业:识别信用卡、保险欺诈者；股市：股票交易过程中不良操作、违规交易、异常交易的发现；电信:电话呼叫欺骗行为检测。案例1-8：SAS全面提升汇丰银行反欺诈系统,38,2020/5/18,1.5.7供应链库存管理中的需求预测,供应链管理是一种集成系统的管理思想和方法，通过对供应链中从供应商到最终消费者的物流、信息流、资金流进行计划、协调和控制等管理活动，使得供应链上各企业成为一个协调发展的有机体。建立一条具有竞争力的供应链成为企业成败兴衰的重要因素，而库存问题己逐渐成为供应链管理中的首要问题。需求预测是库存管理中必不可少的环节，需求预测的准确性与供应链成本有着直接的关系。案例1-9：联想电子商务供应链管理实践案例,39,2020/5/18,1.5.8人力资源管理,求职应聘者的哪些关键特质最有助于企业的成功？员工某些素质的提升是否与他们业绩的提升有明显的关联？是否福利的不同选项明显影响员工队伍的稳定？是否某些特定的受教育程度明显地最切合本企业的发展？本企业里最有代表性的最合理的职业发展道路是怎样的路径？员工的提升过程与服务年限是否有明确的关系？哪些个人品质可以确保一个员工成为合格的在家上班者(这种人可以在家里，不必要来公司，自觉完成甚至高效完成本来要在单位上班完成的工作任务)？缺勤与工作业绩是否有必然联系？企业是否有必要提供员工(子女)的日托服务？提前退休计划是否能为企业带来好的效益？案例1-10：数据挖掘在人力资源管理中的应用案例,40,2