数据挖掘概述与

北风网项目实战培训讲师：艾伦（北风网版权所有)玩转大数据–深入浅出数据挖掘技术数据挖掘概述从商业角度看数据挖掘大量数据被挖掘和入库网页数据，电子商务商业环境中的销售数据银行信用卡的转账业务电脑越来越便宜，越来越强大市场竞争压力越来越大全力提供更好，更定制化的服务（例如，客户关系管理领域）从科学角度看数据挖掘大量数据正在被高速传输和储存（GB/小时）人造卫星的远程传感器望远镜扫描天空微阵列产生基因表达数据科学模拟生成数据传统技术不足以处理原始数据数据挖掘可以帮助科学家分类和分割数据做出假设挖掘大数据集的动机信息往往“隐藏”在数据下，人们不容易察觉分析员往往要花数周来挖掘有用的信息尚有大量数据根本没有被利用和分析0500,0001,000,0001,500,0002,000,0002,500,0003,000,0004,000,0003,500,00019951996199719981999大数据鸿沟自1995年的数据总量（TB）分析员数量什么是数据挖掘从数据中非平凡地提取隐含的，先前未知的，潜在有用的信息用自动或半自动的手段，探索与分析大量数据以便及时发现更有意义的模式什么是数据挖掘什么不是数据挖掘？在电话本中查找电话号码在网络搜索引擎中搜索“亚马逊”什么是数据挖掘？某些人的名字在某些地方较为普遍（姓马的人在内蒙古比较多）搜索引擎根据语境自动匹配相关文档的功能（亚马逊森林，亚马逊网站……）数据挖掘的起源绘制想法从机器学习/人工智能，模式识别，统计，数据库系统传统的技术不适用于：庞大的数据高密度的数据异构分布的自然数据机器学习/模式识别统计/人工智能数据挖掘数据库系统数据挖掘的任务预测使用一些变量去预测未知的或者是其他变量未来的值描述找到人可以接受的模式来描述数据数据挖掘的任务分类[预测]聚类[描述]发现关联规则[描述]发现序列模式[描述]回归[描述]偏差检测[描述]分类：定义分类一些记录每个记录包含一些属性Attribute，其中一个属性称之为类Class通常情况下，给定的数据集分分为训练集和测试集：训练集用于建立模型，测试集用于验证模型。找到一个从多个属性推导出类的函数，称之为模式Model目的：该模式可以用于尽量准确地预测其他的数据分类器范例TidRefundMaritalStatusTaxableIncomeCheat1YesSingle125KNo2NoMarried100KNo3NoSingle70KNo4YesMarried120KNo5NoDivorced95KYes6NoMarried60KNo7YesDivorced220KNo8NoSingle85KYes9NoMarried75KNo10NoSingle90KYes10RefundMaritalStatusTaxableIncomeCheatNoSingle75K?YesMarried50K?NoMarried150K?YesDivorced90K?NoSingle40K?NoMarried80K?10测试集训练集模式学习分类器分类：应用1精准营销目标：给最有可能买新手机的目标客户发邮件销售以减少成本方法：使用之前推出类似产品的数据作为属性。了解导致客户执行购买决策的因素。这些买与不买的决策形成了属性类。收集所有这些客户的人口统计学业正，生活方式和与公司互动的相关信息。商务类型，住址，收入等用这些信息作为输入属性来得到一个类模型分类：应用2欺诈检测目标：预测在信用卡交易中的欺诈行为方法：使用信用卡交易和其帐户持有人的信息作为属性消费者的消费时间，消费物品，消费频率等标签过去的交易成欺诈或公平交易。这就形成了属性类用交易的类获取一个模型通过观察一个帐户信用卡交易，使用这个模型来检测欺诈。分类：应用3客户流失/流失：目标：预测消费者是否会流失至竞争者处。方法：用每一个过去和现在的客户的交易细节作为属性交易频率，交易地点，什么时间交易得最多，收入状况，婚姻状况。标签消费者为忠诚或不忠诚为忠诚客户建立一个模型分类：应用4天体调查分类目标：基于望远镜调查影像（从帕洛马山天文台），预测天空对象的类（恒星或星系），尤其是视觉不能看见的那些。3000张图像，每幅图像像素23,040

x23,040。方法：分割图像测量图像的属性（特征）-每个对象40个属性根据属性形成一个类的模型成功案例：找到了16个新的非常难找到的红移类星球聚类：定义给定的一组数据点，每一个都具有一组属性，以及它们之间的相似性度量，找到簇，使得同一个簇中的数据点相似。不同簇中的数据点不同。相似度测量：欧氏距离非欧距离其他测量方法聚类演示在3D空间中的欧氏距离聚类簇间距离最小化簇间距离最小化簇内距离最大化簇内距离最大化聚类：应用1市场细分：目标：尽量准确地细分市场客户，并选择其中任何一个子集作为市场目标。方法：采集客户的地理位置、生活方式等信息作为基本的属性通过聚类算法找到类似的客户比较不同类别的用户的购买行为来找到市场细分最佳的类别聚类：应用2文件聚类：目标：找到相似的一组文件。方法：确定每个文档中的频繁内容作为属性利用聚类算法根据文件属性来分类类别总数正确分类金融555364外文341260国家27336城市943746运动738573娱乐354278案例：3204篇洛杉矶时报分类关联分析：定义给定一组记录，并每一个记录都包含一些对象基于出现频率找到某些对象之间的关联TIDItems1Bread,

Coke,

Milk2Beer,

Bread3Beer,

Coke,

Diaper,

Milk4Beer,

Bread,

Diaper,

Milk5Coke,

Diaper,

MilkRulesDiscovered:{Milk}

-->

{Coke}{Diaper,

Milk}

-->

{Beer}RulesDiscovered:{Milk}

-->

{Coke}{Diaper,

Milk}

-->

{Beer}关联分析：应用1市场营销：假设关联的结果是{尿布}->{啤酒}啤酒作为关联结果：可以用于确定促销的对象尿布作为关联前提：可以了解商场的有潜力的销售对象关联关系：可以打包销售关联分析：应用2超市货架管理。目标：确定能够一起被购买的销售对象。方法：处理销售点与条形码扫描仪收集的数据，发现对象之间的依赖关系。一个经典的规则-如果一个客户购买尿布和奶粉，那么他很可能买啤酒。所以，如果你发现六包尿布旁边堆