尿布与啤酒与数据挖掘技术.ppt

“尿布与啤酒“与数据挖掘技术 1 在一家超市，有个有趣的 现象：尿布和啤酒赫然摆在 一起出售，但是这个“奇怪的 举措”却使尿布和啤酒的销量 双双增加了。 故事 2 总部位于美国阿肯色州的世界著名商业零售连 锁企业沃尔玛（Wal Mart）拥有世界上最大的数据 仓库系统。为了能够准确了解顾客在其门店的购买 习惯，沃尔玛利对其顾客的购物行为进行购物篮分 析，想知道顾客经常一起购买的商品有哪些。沃尔 玛数据仓库里集中了其各门店的详细原始交易数据 。在这些原始交易数据的基础上，沃尔玛利用NCR 数据挖掘工具对这些数据进行分析和挖掘。一个意 外的发现是：“跟尿布一起购买最多的商品竟是啤 酒！“ 故事 3 这是数据挖掘技术对历史数据进行分析 的结果，反映数据内在的规律。那么这个结 果符合现实情况吗？是否是一个有用的知识 ？是否有利用价值？ 分析 4 沃尔玛派出市场调查人员和分析师对这 一数据挖掘结果进行调查分析。经过大量实 际调查和分析，揭示了隐藏在“尿布与啤酒” 背后的美国人的一种行为模式：在美国，一 些年轻父亲下班后经常要到超市去买婴儿尿 布，而他们中有30%到40%的人同时也为自 己买一些啤酒。产生这一现象的原因是：美 国的太太们常叮嘱她们的丈夫下班后为小孩 买尿布，而丈夫们在买尿布后又随手带回了 他们喜欢的啤酒。 分析 5 既然尿布与啤酒一起被购买的机会 很多，于是沃尔玛就在其一个个门店将尿布 与啤酒摆放在一起，结果，尿布与啤酒的销 售量双双增长。 分析 6 按常规思维，尿布与啤酒风马牛不相及 ，若不是借助数据挖掘技术对大量交易数据 进行挖掘分析，沃尔玛是不可能发现数据内 在这一有价值的规律的。 是什么让沃尔玛发现了尿布和啤酒之间 的关系呢？正是商家通过对超市一年多原始 交易数字进行详细的分析，才发现了这对神 奇的组合。 分析 7 数据挖掘是从大量数据中寻找其规律的技术， 主要有数据准备、规律寻找和规律表示三个步骤。 但在具体实施数据挖掘应用时，还要有一个步 骤就是结果评价。这是因为数据算法寻找出来的是 数据的规律，其中有些是人们感兴趣的有用的，还 有一些可能是不感兴趣的没有用的。这就要对寻找 出的规律进行评估。例如：“跟尿布一起购买最多 的商品是啤酒“这样一条规律是否有用呢？这就需 要市场调查和评估工程师根据实际情况做出评估判 断。这是一个人工步骤，还难以自动化。 数据挖掘是什么样的技术 8 数据挖掘分为描述性和预测性两类。 v描述性数据挖掘提供数据的一般规律 v预测性数据挖掘产生关于数据的预测。 数据挖掘分类 9 关联分析：寻找数据项之间感兴趣 的关联关系。例如：我们可以通过对 交易数据的分析可能得出“86%买啤酒 的人同时也买尿布“这样一条“啤酒“ 和“尿布“之间的关联规则。 数据挖掘的主要内容 10 演变分析：描述时间序列数据随时 间变化的数据的规律或趋势，并对其 建模。包括时间序列趋势分析、周期 模式匹配等。例如：通过对交易数据 的演变分析，可能会得到“89%情况股 票X上涨一周左右后，股票Y会上涨“这 样一条序列知识。 数据挖掘的主要内容 11 聚类分析：根据最大化类内的相似性 、最小化类间的相似性的原则将数据对象 聚类或分组，所形成的每个簇（聚类）可 以看作一个数据对象类，用显式或隐式的 方法描述它们。也就是我们常说的物以类 聚人以群分。 数据挖掘的主要内容 12 分类分析：找出描述并区分数据类的模型 （可以是显式或隐式），以便能够使用模型预 测给定数据所属的数据类。 例如：信用卡公司可以将持卡人的信誉度 分类为：良好、普通和较差三类。分类分析通 过对这些数据类的分析给出一个信誉等级的显 式模型：“信誉良好的持卡人是年收入在30000 元到50000元之间，年龄在30至45岁之间，居 住面积达90M2 左右的人“。这样对于一个新的 持卡人，就可以根据他的特征预测其信誉度。 数据挖掘的主要内容 13 异常分析：一个数据集中往往包含 一些特别的数据，其行为和模式与一 般的数据不同，这些数据称为“异常“ 。对“异常“数据的分析称为“异常分析 “。它在欺诈甄别、网络入侵检测等 领域有着广泛的应用。 数据挖掘的主要内容 14 数据挖掘应用领域非常广阔 先期将在数据 积累比较充分的领域银行、证券、电信等领域 到应用，以后将在各行各业各领域中获得应用 。只要数据积累充分，就需要数据挖掘技术。 数据挖掘技术的应用前景 15 数据挖掘技术将被社会长期使用 随着信息 化工作的深入发展，计算机中积累的数据只会 越来越多，人们会越来越重视对这些信息的挖 掘利用，所以对数据挖掘技术的需求也会越来 越大。当然，数据挖掘技术本身会不断发展进 步，该技术将被长期使用。 数据挖掘技术的应用前景 16 数据挖掘技术的应用前景 17 身边的数据挖掘 18 身边的数据挖掘 19 在Excel2007进行数据挖掘 20 21 22 vSQLServer2008_DMAddin.msi 23 24 25 Associate表的部分数据 26 购物篮分析窗口 27 购物篮分析窗口 28 购物篮分析过程 29 购物篮捆绑销售商品 30 购物篮推荐 v解释：购买Mountain Tire Tube的人常常也会购 买Sport-100。 v所选商品的销售情况：说明有多少个事务包含了 选中的项。有1782个事务包含Mountain Tire Tube v