数据挖掘之关联分析.ppt

数据挖掘关联分析,概念,数据挖掘(Data Mining) 是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。 数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。 关联分析是指如果两个或多个事物之间存在一定的关联,那么其中一个事物就能通过其他事物进行预测.它的目的是为了挖掘隐藏在数据间的相互关系 。,数据挖掘能做什么,分类 （Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a. 信用卡申请者，分类为低、中、高风险 b. 故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。,数据挖掘能做什么,估计（Estimation） 估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类 数据挖掘 的类别是确定数目的，估值的量是不确定的。 例子： a. 根据购买模式，估计一个家庭的孩子个数 b. 根据购买模式，估计一个家庭的收入 c. 估计real estate的价值 一般来说，估值可以作为分类的前一步工作。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 01）。然后，根据阈值，将贷款级别分类。,数据挖掘能做什么,预测（Prediction） 通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。,数据挖掘能做什么,相关性分组或关联规则 （Affinity grouping or association rules） 决定哪些事情将一起发生。 例子： a. 超市中客户在购买A的同时，经常会购买B，即A = B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析）,数据挖掘能做什么,聚类（Clustering） 聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 例子： a. 一些特定症状的聚集可能预示了一个特定的疾病 b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群,数据关联,我们会发现很多网站都具备了内容推荐的功能，这类功能无疑在帮助用户发现需求，促进商品购买和服务应用方面起到了显著性的效果。,那么这类的推荐是怎么得到的呢？,数据关联,关联推荐在营销上被分为两类： 向上营销(Up Marketing)：根据既有客户过去的消费喜好，提供更高价值或者其他用以加强其原有功能或者用途的产品或服务。 交叉营销(Cross Marketing)：从客户的购买行为中发现客户的多种需求，向其推销相关的产品或服务。,数据关联,向上营销是基于同类产品线的升级或优化产品的推荐，而交叉营销是基于相似但不同类的产品的推荐。,数据关联,关联推荐在实现方式上也可以分为两种： 以产品分析为基础的关联推荐 以用户分析为基础的关联推荐,比如Web Analytics和Web Analytics 2.0的作者都是Avinash Kaushik，而且书名都包含Web Analytics，都是网站分析类的书籍，同时也可能是同一个出版社那么基于产品的关联就可以向购买了Web Analytics的用户推荐Web Analytics 2.0。,数据关联,关联推荐在实现方式上也可以分为两种： 以产品分析为基础的关联推荐 以用户分析为基础的关联推荐,基于用户分析的推荐是通过分析用户的历史行为数据，可能会发现购买了Web Analytics的很多用户也买了The Elements of User Experience这本书，那么就可以基于这个发现进行推荐。,关联规则,数据关联,经典案例：沃尔玛的啤酒和尿布的故事,关联规则,基于用户行为分析的关联推荐,更有利于发现用户的潜在需求，帮助用户更好的选择它们需要的产品，并由用户决定是否购买，也就是所谓的“拉式”营销。通过向用户推荐产品或服务，激发用户的潜在需求，促使用户消费，更加符合“以用户为中心”的理念。 以电子商务网站为例来说明一下关联规则的具体实现: 目前大部分电子商务网站都提供用户注册的功能，而购物的用户一般都是基于登录的条件下完成的，所以这里为用户识别提供了最为有效的标示符用户ID；同时网站会把所有用户的购物数据储存在自己的运营数据库里面，这个为用户行为分析提供了数据基础用户历史购物数据。,基于用户行为分析的关联推荐,关联规则的实现原理: 从所有的用户购物数据中（如果数据量过大，可以选取一定的时间区间，如一年、一个季度等），寻找当用户购买了A商品的基础上，又购买了B商品的人数