关联规则分析及应用

1、2012-10-12,1,data mining关联规则分析及应用,2012-10-12,2,目录,基本概念,关联规则挖掘过程,分类,关联规则的价值衡量,4,1,2,3,挖掘算法,关联规则的应用,5,6,2012-10-12,3,绪论,在购买铁锤的顾客当中，有70的人同时购买了铁钉。 年龄在40 岁以上，工作在a区的投保人当中，有45的人曾经向保险公司索赔过。 在超市购买面包的人有70%会购买牛奶,2012-10-12,4,绪论,2012-10-12,5,一、基本概念,设 i=i1,i2,in 是项的集合。 任务相关数据d：是事务（或元组）的集合。 事务t：是项的集合，且每个事务具有事务标识符

2、tid。 项集a：是t 的一个子集，加上tid 即事务。 项集(items)：项的集合，包含k个项的项集称为k-项集，如二项集i1,i2。 支持度计数(support count)：一个项集的出现次数就是整个数据集中包含该项集的事务数,2012-10-12,6,一、基本概念,d,t,a,b,in（n=1,2,）指具体项目，如购物篮分析中： i1=苹果 i2=面包 i3=牛奶 i4=尿布 i5=啤酒 support-count(i1)=6,2012-10-12,7,一、基本概念,关联规则:形如 a = b 的蕴涵式，其中a i , bi,并且 ab =。 支持度:关联规则在d中的支持度(supp

3、ort)是d中事务同时包含a、b的百分比，即概率。规则代表性、重要性衡量 support(a b)=p ( a b ) = support _ count(ab) count (t) 频繁项集：若一个项集的支持度大于等于某个阈值,2012-10-12,8,一、基本概念,置信度c:是包含a的事务中同时又包含b的百分比，即条件概率。规则准确性衡量 confidence ( a b ) = p ( b | a) 强关联规则：同时满足用户定义的最小支持度阈值（min_sup）和最小置信度阈值(min_conf)的规则称为强规则,9,2012-10-12,9,二、关联规则挖掘过程,两个步骤： 找出所有频

4、繁项集。 由频繁项集生成满足最小信任度阈值的规则。 挖掘模式,min_sup,min_conf,2012-10-12,10,二、关联规则挖掘过程,关联规则挖掘举例： 假定数据包含频繁项集 m=i1，i2，i5。可以由m 产生哪些关联规则,2012-10-12,11,二、关联规则挖掘过程,m 的非空真子集有i1，i2、i1，i5、i2，i5、i1、i2和i5。则结果关联规则如下，每个都列出置信度,6 7 6 2 2,i1 i2 i3 i4 i5,2012-10-12,12,二、关联规则挖掘过程,i1 i2 i5, i1 i5 i2, i2 i5 i1, i1 i2 i5, i2 i1 i5, i

5、5 i1 i2,confidence = 2/4 = 50 % confidence = 2/2 = 100 % confidence = 2/2 = 100 % confidence = 2/6 = 33% confidence = 2/7 = 29% confidence = 2/2 = 100 ,2012-10-12,13,二、关联规则挖掘过程,如果最小置信度阈值为70%，那么只有第2、3、6个规则可以作为最终的结果输出，因为只有这些是产生的强关联规则,i1 i5 i2, i2 i5 i1, i5 i1 i2,confidence = 2/2 = 100 % confidence = 2

6、/2 = 100% confidence = 2/2 = 100,2012-10-12,14,二、关联规则挖掘过程,对强关联规则的批评： eg,在5000个学生中，3000个打篮球，3750个喝麦片粥，2000个学生既打篮球又喝麦片粥。 打篮球 = 喝麦片粥 40%, 66.7%是错误的，因为全部学生中喝麦片粥的比率是75%，比打篮球学生的66.7%要高。 打篮球 = 不喝麦片粥 20%, 33.3%这个规则远比上面那个要精确，尽管支持度和置信度都要低的多,2012-10-12,15,二、关联规则挖掘过程,兴趣度（作用度）：描述了项集a对项集b的影响力的大小，即a与b的相关程度。 p(ab)

7、p(a)p(b) 若i(a b)=1,即p(a)p(b)=p(ab)，a与b相互独立； 若i(a b)1,表示a出现和b出现是正相关的。意味着a的出 现蕴含b的出现。 小结：只有兴趣度大于1，该规则才具有实际价值,i(a b),2012-10-12,16,三、关联规则的分类,基于规则中处理的变量的类别 布尔型：布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系； b. 数值型：数值型关联规则可以和多维关联或多层 关联规则结合起来，对数值型字段进行处理。 eg： 性别=“女”=职业=“秘书” 性别=“女”=avg（收入）=2300,2012-10-12,17,三、关联规则的分

8、类,基于规则中处理的变量的类别 布尔型:布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系； b. 数值型 :数值型关联规则可以和多维关联或多层 关联规则结合起来，对数值型字段进行处理。 eg： 性别=“女”=职业=“秘书” 性别=“女”=avg（收入）=2300,2012-10-12,18,三、关联规则的分类,基于规则中数据的抽象层次： 单层关联规则:所有的变量都没有考虑到现实的数据是具有多个不同的层次的； 多层关联规则:对数据的多层性已经进行了充分的考虑。 层：大类是否细分的问题，如上衣可以细分为 衬衣、夹克、风衣等。 eg: ibm台式机=sony打印机 台式机=so

9、ny打印机,2012-10-12,19,三、关联规则的分类,分层示例,2012-10-12,20,三、关联规则的分类,基于规则中数据的维数： 单维关联规则:只涉及到数据的一个维，如用户购买的物品； 多维关联规则:要处理的数据将会涉及多个维。 eg: 啤酒=尿布 性别=“女”=职业=“秘书,2012-10-12,21,四、关联规则的价值衡量,对关联规则的评价与价值衡量涉及两个层面： a.系统客观的层面 使用“支持度和信任度”框架可能会产生一些不正确的规则。 b.用户主观的层面 只有用户才能决定规则的有效性、可行性。 如果把某些约束条件与算法紧密结合，既能提高数据挖掘效率，又能明确数据挖掘的目标,2012-10-12,22,五、关联规则的挖掘算法,apriori算法 挖掘或识别出所