《数据挖掘与数据分析（财会）》商品零售购物篮分析及应用

商品零售购物篮分析及应用CONTENTS目录4.1背景与挖掘目标4.2了解关联规则4.3分析过程与方法014.1背景与挖掘目标关联分析关联分析是数据挖掘中一种简单而实用的技术通过深入分析数据集，寻找事物间的关联性，挖掘频繁出现的组合，并描述组合内对象同时出现的模式和规律在商品推荐领域广泛使用，在医疗、保险、电信和证券等行业同样大有可为“购物篮分析”是关联规则应用最常见的一个场景：通过对顾客的购买记录数据库进行分析，发掘商品与商品之间的关联关系，找出顾客的购买行为特征和购买习惯的内在共性4.1背景与挖掘目标本章目标基于金融产品的销售数据，利用关联规则中的Apriori算法发现不同金融产品的关联关系，将关系较强的产品组合销售构建金融产品的Apriori关联规则模型分析产品之间的关联性根据模型结果给出销售建议4.1背景与挖掘目标024.2了解关联规则024.2.1基本概念

4.2.1基本概念数据集实例：TID项集1{面包，牛奶}2{面包，尿布，啤酒，咖啡}3{牛奶，尿布，啤酒，可乐}4{牛奶，面包，尿布，啤酒}5{牛奶，面包，尿布，可乐}4.2.1基本概念1）

关联规则（AssociationRules）：关联规则是形如A→B蕴含的表达式，其中A和B是不相交的项集，A称为规则的前件（antecedent），而B称为规则的后件（consequent），如{牛奶，尿布}→{啤酒}，{牛奶，尿布}为规则的前件，{啤酒}为规则的后件。2）

项集（Itemset）：包含0个或多个项的集合，如在表中{牛奶}构成一个一项集，{牛奶，尿布，啤酒}构成一个三项集。4.2.1基本概念

4.2.1基本概念5)频繁项：在多个事务中频繁出现的项就是频繁项。6)频繁项集（FrequentItemset）：假设有一系列的事务，将这些事务中同时出现的频繁项组成一个子集，且子集满足最小支持度阈值（MinimumSupport），这个集合称为频繁项集。假设最小支持度为0.2，则由于项集{牛奶,尿布,啤酒}的支持度为0.4大于0.2，因此项集{牛奶,尿布,啤酒}为频繁项集。4.2.1基本概念

4.2.1基本概念

4.2.1基本概念9)关联规则的强度：（1）支持度，确定项集的频繁程度，表示项集的重要程度；（2）置信度，确定B在包含A的事务中出现的频繁程度，表示关系的可信程度；（3）提升度，在含有A的条件下同时含有B的可能性，与没有这个条件下项集中含有的B的可能性之比。规则的提升度的意义在于度量项集{A}和项集{B}的独立性，即Lift(A->B)=1，{A}、{B}相互独立。1）若该值=1，说明事务A与事务B是独立的。2）若该值<1，说明事务A与事务B是互斥的。3）若该值>1，说明事务A与事务B是强项关联。一般在数据挖掘中当提升度大于3时，我们才承认数据挖掘的关联是有价值的。4.2.1基本概念024.2.2实现方法1.Apriori算法（1）Apriori算法原理如果一个项集是频繁的，则它的所有子集也一定是频繁的；反之，如果一个项集是非频繁的，则它的所有超集也一定是非频繁的。基于Apriori原理，一旦发现某项集是非频繁的，即可将整个包含该超集的子集剪枝。这种基于支持度度量修剪指数搜索空间的策略称为基于支持度的剪枝。4.2.2实现方法1.Apriori算法（1）Apriori算法原理若D为非频繁项集，则颜色加深部分就是被剪枝的超集，也就是非频繁项集。4.2.2实现方法（2）Apriori算法具体步骤扫描数据库，生成候选项集和频繁项集；从2项集开始循环，由频繁(k-1)项集生成频繁k项集：频繁(k-1)项集两两组合，判定是否可以连接，若能则连接生成k项集；对k项集中的每个项集检测其子集是否频繁，舍弃掉不是频繁项集的子集；扫描数据库，计算前一步中过滤后的k项集的支持度，舍弃掉支持度小于阈值的项集，生成频繁k项集。若当前k项集中只有一个项集时，循环结束4.2.2实现方法（3）Apriori算法优缺点优点：Apriori算法是关联规则最常用也是最经典的分析频繁项集的算法，算法已大大压缩了频繁项集的大小，并可以取得良好性能。缺点：Apriori算法每次计算支持度与置信度都需要重新扫描所有数据。其次，算法有的多次扫描事务数据的缺陷，在每一步产生候选集时循环产生的项集过多，没有排除不应该参与组合的元素。适用场景：Apriori算法除了适用在商品零售购物篮分析外，近年来也广泛应用在金融行业中，可以成功预测银行客户的需求；还应用于网络安全领域，检测出用户行为的安全模式进而锁定攻击者。此外，Apriori算法还可应用于高校管理、移动通讯、中医证型等领域。4.2.2实现方法2.FP-Growth算法（1）FP-Growth算法原理算法的基本思路：把数据集中的事务映射到一棵FP-tree上面，再根据这棵树找出频繁项集。FP-Growth算法被用于挖掘频繁项集，将数据集存储为FP树的数据结构，以更高效地发现频繁项集或频繁项对。相比于Apriori算法对每个潜在的频繁项集都扫描数据集，判定是否满足支持度，FP-Growth算法只需要对数据库进行两次遍历，就可以高效发现频繁项集，因此，它在大数据集上的速度要优于Apriori算法。4.2.2实现方法（2）FP-Growth算法步骤FP-Growth算法的步骤，大体上可以分成两步：第一步，FP-tree的构建；第二步，在FP-Tree上挖掘频繁项集。扫描第一遍数据库，找出频繁项；将记录按照频繁项集的支持度由大到小顺序重新排列；扫描第二遍数据库，产生FP-tree；从FP-tree挖掘得到频繁项集。4.2.2实现方法024.2.3评价方法

4.2.3评价方法1）客观标准（1）提升度与兴趣因子进行度量兴趣因子的局限性：当规则的置信度与规则后件支持度数值大小相近时，因为比率的形式掩盖了分子、分母本身的数值大小，提升度就不足以说明问题。尤其是当后件的支持度本身很小时，如果再除以后件的支持度，相当于乘了一个很大的数，会让兴趣因子很模糊。4.2.3评价方法1）客观标准（2）相关分析进行度量相关分析是一种基于统计学的技术，对于连续型变量，相关度可以采用皮尔森相关系数表示。相关度的值从-1（完全负相关）到+1（完全正相关），如果变量是相互独立的，那么相关度为0。如果变量是正相关，相关度大于0，同理，如果变量负相关，相关度小于0。相关分析进行度量的局限性：相关分析中把事务记录中项的出现与不出现视为同等重要，因此相关分析更适合于分析对称的二元变量。4.2.3评价方法

4.2.3评价方法2）主观标准常见的将主观信息加入到模式发现任务的方法有以下几种：（1）可视化方法：将数据中蕴含的信息通过数据可视化方法进行呈现，需要友好的环境，以及用户的参与，允许领域专家解释和检验发现的模式，只有符合观察到的信息的模式才被认为是有趣的。（2）基于模板的方法：该方法通过限制提取的模式类型，只有满足指定模板的模式被认为是有趣的提供给用户，而不报告所有提取的所有模式。（3）主观兴趣度量：该方法基于领域信息定义一些主观度量，例如：企业的利润，概念的分层等；利用主观度量来过滤显而易见和没有实际价值的模式。4.2.3评价方法034.3分析过程与方法金融产品关联规则挖掘的总体流程4.3分析过程与方法034.3.1数据探索分析4.3.1数据探索分析探索数据特征是了解数据的第一步。分析产品销售情况和结构，是为了更好地实现企业的经营目标,也是产品管理中不可或缺的一部数据特征data.info()#查看数据属性4.3.1数据探索分析数据特征data.head()#查看前5行数据用户编号购买产品0华小智2号产品,华小智4号产品,华小智5号产品,华小智6号产品1华大智1号产品,华大智2号产品,华大智5号产品,华大智6号产品2华小智9号产品,华小智10号产品,华小智12号产品3华大智1号产品,华大智5号产品4华大智5号产品,华大智6号产品4.3.1数据探索分析2.销售情况分析观察金融产品组合的销售情况，对所有用户购买的金融产品组合进行统计4.3.1数据探索分析2.销售情况分析把用户购买的产品组合进行拆分，统计金融产品的类别、销售总数量和每一种产品的销售数量034.3.2数据预处理4.3.2数据预处理通过对数据探索分析发现数据完整，并不存在缺失值。建模之前需要转变数据的格式，才能使用Apriori函数进行关联分析。对数据进行转换，将其变为双重列表结构#转换为双重列表结构products=data['购买产品'].tolist()034.3.3模型构建4.3.3模型构建1．金融产品关联规则模型构建4.3.3模型构建2．通过apyori库分析关联关系调用apyori库中的apriori()函数进行关联关系分析4.3.3模型构建3.通过mlxtend库分析关联关系调用mlxtend库中的apriori()函数进行关联关系分析034.3.4结果分析4.3.4结果分析fromto支持度置信度lift(华中智2号产品)(华中智1号产品)0.0540000.5078374.340487(华中智3号产品)(华中智1号产品)0.0643330.5467424.67301(华中智1号产品)(华中智3号产品)0.0643330.5498584.67301(华中智4号产品)(华中智1号产品)0.0553330.5015114.286415(华中智6号产品)(华中智1号产品)0.0586670.5072054.335082(华中智1号产品)(华中智6号产品)0.0586670.5014254.335082(华中智2号产品)(华中智3号产品)0.0573330.5391854.582308(华中智2号产品)(华中智6号产品)0.0540000.5078374.390522(华中智4号产品)(华中智3号产品)0.0563330.5105744.339156(华中智5号产品)(华中智3号产品)0.0570000.5059174.299579(华中智3号产品)(华中智6号产品)0.0606670.5155814.45747(华中智6号产品)(华中智3号产品)0.0606670.5244964.45747(华大智1号产品)(华大智6号产品)0.0663330.5574234.447