第1章数据挖掘概述

1、数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编 邓松李文敬刘海涛编著 电子(dinz)工业出版社共三十二页11数据挖掘的社会(shhu)需求现实情况：人类积累的数据量以每月高于15%的速度增加，如果不借助强有力的挖掘工具，仅依靠人的能力来理解这些数据是不可能的。现在人们已经评估出世界上信息的数量(shling)每二十个月翻一番，并且数据库的数量(shling)与大小正在以更快的速度增长。共三十二页11数据挖掘的社会(shhu)需求 著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。于是经理当机立断，重新布置货架，把啤酒

2、类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品(shpn)，同时还把男士日常用品就近布置。这样，上述几种商品的销量大增。共三十二页1.2 数据挖掘的定义(dngy)技术定义(dngy) 数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道(zh do)的、但又是潜在有用的信息和知识的过程。共三十二页1.2 数据挖掘的定义(dngy)技术定义(dngy)数据挖掘和信息检索： 信息检索和数据挖掘的相同点是从档案文件或数据库中抽取(chu q)感兴趣的数据和信息。区别在于数据检索对信息的抽取规则是事先定义好的，抽取

3、的是外在信息。据挖掘于挖掘寻找现象之间事先未知的关系和关联 。共三十二页1.2数据挖掘的定义(dngy)商业定义(dngy) 按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效(yuxio)的方法。数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程。它可以帮助企业对数据进行微观、中观乃至宏观的统计、分析、综合和推理，从而利用已有数据预测未来，帮助企业赢得竞争优势。 共三十二页1.2数据挖掘的定义(dngy)商业定义(dngy) 应用实例：某经营公司对多年来的客户资料进行挖掘后发现(fxin)，大多数购买电脑的客户具有下

4、面的特点：1、年轻（2045岁之间）；2、收入高；3、居住地：城市；4、学历高；基于此，此经营公司可以根据这些客户的特点有目的的做一些广告或者促销。共三十二页1.3数据挖掘的发展(fzhn)历史历史发展(fzhn)1989 IJCAI会议： 数据库中的知识发现讨论专题(zhunt)Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)1991-1994 KDD讨论专题Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Pia

5、tetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996)1995-1998 KDD国际会议 (KDD95-98)Journal of Data Mining and Knowledge Discovery (1997)1998 ACM SIGKDD, SIGKDD1999-2002 会议,以及SIGKDD Explorations数据挖掘方面更多的国际会议PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc.共三十二页1.3数据挖掘的发展历史(lsh)国内现状大部分处于科研阶段

6、各大学(dxu)和科研机构从事数据挖掘算法的研究国内著作的数据挖掘方面的书较少（翻译的有）数据挖掘讨论组（）有一些公司在国外产品基础上开发的特定的应用IBM Intelligent MinerSAS Enterprise Miner自主知识产权的数据挖掘软件复旦德门（）等共三十二页1.3数据挖掘的发展(fzhn)历史未来发展(fzhn)数据库人工智能统计学 上述学科的发展决定(judng)着数据挖掘的发展未来和方向共三十二页1.4数据挖掘的系统分类 数据挖掘是一个交叉学科领域，受多个学科影响，包括数据库系统、统计学、机器学习(xux)、可视化和信息科学 。图1-2 数据挖掘受多门学科影响的示意

7、图共三十二页1.4数据挖掘的系统分类技术分类预言（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律数据挖掘技术关联分析序列发现分类（预言）聚集异常检测汇总回归(hugu)时间序列分析共三十二页1.5数据挖掘的应用领域金融领域营销(yn xio)领域电子政务电信领域工业生产生物和医学共三十二页1.5数据挖掘的应用(yngyng)领域应用(yngyng)调查共三十二页1.5数据挖掘的应用领域金融(jnrng)信用卡分析业务(yw)模型客户信用等级评估客户透支分析客户利润分析客户消费行为分析 客户消费异常行为分析共三十二页1.5数据挖掘的应用领域金融(jn

8、rng)数据挖掘在反洗钱系统(xtng)中的应用共三十二页1.5数据挖掘的应用领域营销(yn xio)关联分析-市场篮子分析，用于了解顾客的购买习惯和偏好，有助于决定市场商品的摆放和产品(chnpn)的捆绑销售策略；序列模式与市场篮子分析相似，不过是用某时间点发现的产品购买或其他行为模式来预测将来购买产品或服务类别的概率；聚类用于市场细分，将顾客按其行为或特征模式的相似性划分为若干细分市场，以采取有针对性的营销策略；分类用于预测哪些人会对邮寄广告和产品目录、赠券等促销手段有反应,还可用于顾客定级、破产预测等。 共三十二页1.5数据挖掘的应用领域营销(yn xio)数据挖掘在营销(yn xio)

9、中的应用流程共三十二页1.5数据挖掘的应用领域营销(yn xio)应用实例1：美国运通公司(American Express)有一个用于记录信用卡业务的数据库，通过对这些数据进行挖掘，制定了“关联结算(Relationship Billing)优惠”的促销策略(cl)，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋,就可以得到比较大的折扣，既增加了商店的销售量，也可以增加运通卡在该商店的使用率。共三十二页1.5数据挖掘的应用领域营销(yn xio)应用实例2：美国的读者文摘(Reader s Digest)出版公司运行着一个积累了40年的业务数据库,其中容纳有遍布全球

10、的一亿多个订户的资料，并保证数据不断得到实时(sh sh)的更新，基于对客户资料数据库进行数据挖掘的优势，使读者文摘出版公司能够从通俗杂志扩展到专业杂志、书刊和声像制品的出版和发行业务，极大地扩展了自己的业务范围。共三十二页1.5数据挖掘的应用领域电子政务电子政务数据挖掘是把数据挖掘及时折射到政府部门，使政府部门的内部信息与外部信息进行有效地整合，以便政府部门可以更好、更有效地将信息发布给最希望得到它们的公众，从而使政府部分更好地服务与公众。另外,由于政府各部门自动化的实现,产生了大量的数据，对这些数据进行收集和分析，可以获得(hud)影响政府部门工作的关键因素，从而为政府部门决策提供依据，帮

11、助政府部门提高政府信息化水平，促进整个社会的信息化。共三十二页1.5数据挖掘的应用领域电信(dinxn)目前,数据挖掘技术在电信CRM系中的应用有以下几个方面:客户获得交叉销售(Cross_selling)客户保持(boch) 一对一营销 共三十二页1.5数据挖掘的应用领域工业生产在生产工业领域，大部分工厂都积累了大量的实际生产数据，这些(zhxi)数据大多以数据库、数据文件、生产记录等形式存在，它们蕴涵了与生产设备、生产过程相关的许多规律性知识和生产决策、操作人员的操作决策和控制经验。 应用方法：(1)建立过程输入输出模型，以此模型为指导寻求最优的操作和控制条件；(2)构造数据样本后，根据某

12、种评估分类方法选出优选样本，根据优选样本的分布确定可探最优区，确定优化方向。 共三十二页1.5数据挖掘的应用领域工业生产数据挖掘在工业生产中的应用(yngyng)示意图共三十二页1.5数据挖掘的应用领域生物医学海量的生物信息学信息，如基因；远程数据库的出现；万维网上涌现出大量的生物学数据库 ；美国(mi u)国立生物技术信息中心网站 （NCBI）共三十二页1.6数据挖掘规范(gufn)和标准产生的模式种类的多少解决(jiju)复杂问题的能力 多种模式 多种算法 数据选择 可视化 扩展性 易操作性 数据存取能力 与其他产品的接口 共三十二页1.7数据挖掘面临(minlng)的挑战和局限性处理不同

13、种类的数据(shj) 数据挖掘算法的效率及扩展性 数据挖掘结果的可用性、确定性及可表达性 各种数据挖掘结果的表达 多抽象层交互挖掘知识 从不同的数据源中挖掘信息 隐私保护及数据安全 共三十二页1.8数据挖掘(wju)的发展趋势WEB挖掘(wju)Web 数据的收集，结构转换等预处理技术的研究；现有的数据挖掘方法在适应性和时效性方面(fngmin)的研究基于Web 挖掘和信息检索的智能搜索引擎及相关技术的研究；Web 挖掘在特定领域如电子商务领域的应用研究；半结构化文档挖掘。共三十二页1.8 数据挖掘发展趋势数据源十分丰富，数据量非常庞大，数据类型多，存取方法复杂；应用领域十分广泛，只要与空间位

14、置相关的数据，都可对其进行挖掘；挖掘方法(fngf)和算法非常，而且大多数算法比较复杂，难度大；知识的表达方式多样，对知识的理解和评价依赖于对人对客观世界的认知程度。-空间(kngjin)数据挖掘（SDM）的特点共三十二页1.8 数据挖掘发展趋势数据清理DNA 序列相似搜索和比对 基因组特征及基因序列的分析路径分析生物数据可视化和数据挖掘生物文献(wnxin)的挖掘基于隐私保护的数据挖掘-生物信息(xnx)或基因的挖掘共三十二页谢谢(xi xie)大家共三十二页内容摘要数据挖掘原理与SPSS Clementine应用宝典。于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同