数据挖掘与数据分析.ppt

1、Data Mining：Concept, technical and method,NCR Data Mining Team 2005/06,议程,数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键,议程,数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效

2、的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键,“无所不能”的数据挖掘？,提高客户的利润贡献度,哪些客户最可能离开,这个客户可能购买什么其他的产品,哪个客户可能不会付款,什么是接触我客户的最好渠道,谁最有可能购买此类产品,?,判断交易是否为欺诈,对一个特殊的产品有什么特殊需求,大规模市场.一对一市场,哪些是最有利润的客户,金融业成功案例,客户流失预测,Model,客户生态细分,Target: 2,000 Take Rate: Overall 2% Segment: 4% Saving = $750,000 = $15*100,000-$15*50,000,客户响应模型

3、Right channel for right customer,预测信用卡客户延滞行为,Segment,议程,数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键,Data Mining is for power users to follow a proven methodology to discover action-oriented insights from detail ope

4、rations data to improve business. 数据挖掘是分析专家使用已验证的方法在经营数据中发掘可采取行动的改善企业的洞察力。,什么是数据挖掘?,数据挖掘: 多学科的融合,数据挖掘,数据库技术,统计学,其它学科,信息科学,机器学习,可视化,从海量的数据库中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程 -Fayyad，Piatetsky Shapiror 1996 若干种术语： 数据挖掘、数据库中的知识发现（KDD），知识抽取，数据/模式分析，数据考古，数据捕捞，商业智能等 最常用的术语是“数据挖掘”和“知识发现” 数据挖掘：流行于统计界（最早出现于统

5、计文献中）、数据分析、数据库和管理信息系统界 知识发现：主要流行于人工智能和机器学习界。,数据挖掘潜在应用,数据库分析和决策支持 市场分析和管理 目标营销，客户关系管理，购物篮分析，交叉销售，市场分群、客户保持 欺诈检测与管理 其它应用 文本挖掘（新闻组，电子邮件，文档）和Web分析 智能询问解答(QA)系统,市场分析和管理 (1),分析的数据源在哪里 信用卡交易，积分卡，折扣优惠券，客户抱怨电话，以及（公众）生活方式研究 目标营销 发现具有相同特征的客户群模型：兴趣，收入水平，消费习惯等 判别客户的序列购买模式 从单身账户到共有账户的转变：结婚 交叉销售分析 产品销售之间的关联 基于关联信息

6、而进行的预测,市场分析和管理 (2),构造客户特征 客户如何选择和使用我们的产品和服务？ 识别出客户需求 识别出适合不同客户的最佳产品 通过预测来发现吸引新客户的因素 提供综合信息 各种各样的多维综合报表 统计上的综合信息（数据的集中趋势和变化）,欺诈检测和管理 (1),应用 广泛用于健康卫生，零售，信用卡服务，电信（电话卡欺诈）等行业 方法 使用历史数据来构造欺诈行为模型，同时利用数据挖掘来辅助识别出类似案例 示例 汽车保险: 检测出那些伪造事故来骗取保险金的人群 洗钱: 检测可疑的金钱交易（美国财政部的金融犯罪执行网络） 医疗保险: 检测出职业病人,欺诈检测和管理 (2),检测出不必要的医

7、疗处理 澳大利亚医疗保险委员会查出在许多案例中病人都要求blanket screening tests(每年节省一百万澳元)。 检测电话欺诈 通话模型：对端号码，通话时长，每天（周）通话次数。分析那些偏离预期的通话模式。 英国电信检测出频繁进行集团内部通话（特别是用手机通话）的一些犯罪集团，成功避免了数百万美元的欺诈。 零售 分析家估计大约38%的零售额减少是由于不诚实的员工造成的,其它应用,体育 IBM Advanced Scout分析了NBA比赛的统计数据（阻攻, 助攻, 犯规等)，帮助纽约尼克斯队和迈阿密热队提高竞争优势 天文学 JPL和Palomar天文台借助数据挖掘技术发现了22颗类

8、星体 因特网冲浪辅助 IBM Surf-Aid利用数据挖掘算法来分析与销售有关的Web访问日志，发现用户的偏好和行为，分析电子商务的有效性，改善网站的结构等,客户为中心，市场为导向,客户获取,客户保有,交叉销售,客户提升,提升销售,客户迁移,Fraud,常见的业务问题,业务目标模型 - 钱包份额/争取新客户 (Wallet Share/Acquisition) 预测客户购买新产品的倾向Cross-Sell Response Model 预测客户扩展服务用量的倾向Up-sell Response Model 预测客户升级服务的倾向Upscale Response Model 客户挽留及保育 (R

9、etention) 预测哪些客户会终止服务的使用Churnsentry Solution 改善挽留行动的效率Response Model 欺诈/拖欠侦测 (Fraud/Delinquency) 预测客户拖欠账单支付的倾向Propensity to Delinquent 预测拖欠客户对催缴的响应Propensity to Collect 欺诈侦测及管理Fraudsentry Solution 基础/知识 (Infrastructure/Knowledge) 了解客户购买不同产品的情况Product Affinity 评估客户对运营商的利润贡献度Value Score 评估客户的价格敏感度Pric

10、e Sensitivity Profiling 预测客户称为高价值客户的倾向Propensity to be VIP 客户信用度评估Credit Scoring/Credit Model 客户分群Psycho-demographic Profiling 预测营收变化趋势Revenue Forecast 预测客户的服务使用量变化趋势Usage Forecast,常用的技术,业务目标分析方法/技术 - 钱包份额/争取新客户 (Wallet Share/Acquisition) 预测客户购买新产品的倾向决策树/对数回归 预测客户扩展服务用量的倾向决策树/对数回归 预测客户升级服务的倾向决策树/对数回

11、归 客户挽留及保育 (Retention) 预测哪些客户会终止服务的使用决策树/对数回归 改善挽留行动的效率描述型分析/响应模型 欺诈/拖欠侦测 (Fraud/Delinquency) 预测客户拖欠账单支付的倾向对数回归 预测拖欠客户对催缴的响应决策树 欺诈侦测及管理规则归纳 基础/知识 (Infrastructure/Knowledge) 了解客户购买不同产品的情况关联规则 评估客户对运营商的利润贡献度ABC成本核算 评估客户的价格敏感度描述型分析/聚类 预测客户称为高价值客户的倾向对数回归 客户信用度评估描述型分析 客户分群聚类分析 预测营收变化趋势线性回归 预测客户的服务使用量变化趋势线

12、性回归,常用的数据挖掘技术,数据挖掘分类,一般功能 描述型数据挖掘 预测型数据挖掘 不同角度, 不同分类 挖掘的数据库类型 挖掘的知识类型 所用的技术 应用的领域,数据挖掘分类,数据挖掘,描述,预测,统计回归,关联分析,决策树,可视化,聚类分析,时序分析,特征分析,神经网络,分类,预测,根据过去的数据预测将来要发生什么 问题描述：预测客户流失可能性 结果描述: 决策树,决策数模型基本假设: 近朱者赤，近墨者黑,依赖变量 (因变量),独立变量 (自变量),量化两个连续变量之间的关系的统计技术,回归,线性回归 Logistic回归,拟合一条穿过数据的线，线上的点使对应数据点的方差最小,线性回归,与

13、线形回归相似，它的依赖变量(因变量)不是连续的，而是离散的,Logistic回归,Log ( p/ (1-p) = 4.9 + 0.911 * 收入,逻辑回归模型(Logistic regression),系数绝对值越大，对目标(欠款)影响力越显重要,描述,聚类 物以类聚，人以群分 无指导学习 不同类间的个体相似度尽可能大，不同类之间的尽可能小 主要聚类分析方法分类 划分的方法 层次的方法 基于密度的方法 基于网格的方法 基于模型的方法,Short Dark Hair, Smiling,Work in Consulting,Males with no Jacket,Glasses,Suits,

14、K-均值算法,任意选择k个对象作为初始的类中心； 循环： 根据类中对象的平均值，将每个对象（重新）赋给最类似的类 更新类的平均值，即计算每个类中对象的平均值； 终止：类中心不再发生变化聚类,X1,X2,Seed 1,Seed 2,Seed 3,K-均值算法,X1,X2,Seed 1,Seed 2,Seed 3,经过一次迭代,客户分群(Clustering),“啤酒与尿布”,1981年NCR为Wal-Mart超市集团建立数据仓库，目前容量超过130TB； 利用数据仓库，Wal-Mart分析哪些商品顾客最有希望一起购买： “啤酒与尿布”；,关联规则,问题描述： 如何决定超市中商品的摆放来增加销售额

15、 结果描述: 可视化,关联规则,age(X, “20.29”) income(X, “20.29K”) buys(X, “PC”) support = 2%, confidence = 60%,关联规则-购物车,Rule A D C A A C B 少量数据探索和转换功能, V9.0版本推进In-Dbs Mining) 通过ODBC访问Teradata Teradata Warehouse Miner In-Dbs Mining先锋, 完备稳定的数据探索和转换功能 避免数据迁移带来的空间时间开销以及数据管理问题,数据挖掘工具-特性,Teradata Warehouse Miner 充分利用Te

16、radata的并行处理能力, 性能极佳 避免数据迁移 扩展能力强, 随Teradata线性扩展 SAS Enterprise Miner 处理前需将数据保存到SAS数据文件, 扩展能力受限 相对原始和有限的并行处理能力, 性能受限 在小数据样本(小于1050GB)上的最佳选择 SPSS Clementine 声称支持In-Dbs Mining, 但仅限有少量数据预处理功能 其它挖掘分析功能仍需在应用服务器上运行 (需要数据抽取) 适用于小数据样本,Teradata Warehouse Miner的发展背景,1997年数据挖掘实验室成立 NCR专业服务人员具备多年数据挖掘应用实施的经验 金融业

17、零售业 电信业 开发团队拥有多年数据挖掘产品的设计开发经验 Clementine OEM SAS “Analytic Templates” CRISP-DM数据挖掘方法论 携手合作产生了In-dbs(场内挖掘)挖掘的先锋Teradata Warehouse Miner,议程,数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键,1997年，数据挖掘实验室已经开发和验证了数据挖掘的方法论: 当

18、时使用第三方分析工具 SAS/SPSS/Quadstone,Teradata Warehouse Miner诞生的目标,TeraMiner Stats 1.0 and 2.0 1998-1999 描述统计/数据转换/矩阵生成 与第三方分析软件的互补 Teradata Warehouse Miner 3.x 2000-2003 分析型算法 开发Cubes和Reports, 联调,启动,议程,数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键,知识必将替代暴力、金钱，成为所有力量中最强有力的力量。 托夫勒力量的转移,营销(