我国社会经济发展综合评价指数研究ppt课件

1、关联规那么-CARMA Continuous Association Rule Mining Algorithm报告人：徐启元指点教师:谢邦昌日期：2007年11月30日目录关联规那么根本概念CARMA算法简介CARMA模块的根本概念案例分析及Clementine操作步骤购物篮分析-Tabular类型数据网络日志分析-Transactional类型数据值得留意的问题CARMA算法原理参考关联规那么算法简介关联分析的目的是寻觅数据项间的相关性常用技术：关联规那么：即寻觅在同一个事件中出现的不同工程的相关性 例如：找出顾客经常同 时购买哪些商品。网民 阅读的网页之间有没有 什么关联性。CARMA算

2、法简介CARMA是一种比较新的关联规那么算法，它是1999年由Berkeley大学的Christian Hidber教授提出来的。1234可以处置在线延续买卖流数据仅需一次，最多两次对数据的扫描就可以构造出结果集允许在算法执行过程中按需求重新设置支持度占用内存少CARMAOn-lineCARMA模块中的根本概念Antecedent&Consequent 它们指的是规那么的前项和后项。Instances对于每一条规那么，它的Instances值指的是一切记录中包含该规那么的antecedent的记录的数量。面包牛奶前项Antecedent后项ConsequentIDP1P2P3P41breadc

3、heesebutterwater2watermilkbreadnoodle3orangenoodlemeatbeer4fishsoftdrinkfrozenmealbread总共4条购买数据，其中有三条都包含bread，那么该条规那么的instances等于3CARMA模块中的根本概念Support 它的定义和instances很接 近，不同的是support描画 的不是数量，而是比例。Rule Support 它在Support定义的根底 上更进一步，它指的是 一切记录中既包含某规 那么的antecedent，又包含 consequent的记录所占 的比例。IDP1P2P3P41breadc

4、heesebutterwater2watermilkbreadnoodle3orangenoodlemeatbeer4fishsoftdrinkfrozenmealbreadSupport=3/4100%=75%四条记录中只需一条既包含了前项bread，又包含了后向milk，所以Rule Support=1/4100%=25%CARMA模块中的根本概念Confidence Confidence = Rule Support / Support 该目的反映的是规那么预测的 准确程度。Deployability Deployability = Support Rule Support 它的作用与c

5、onfidence类似。IDP1P2P3P41breadcheesebutterwater2watermilkbreadnoodle3orangenoodlemeatbeer4fishsoftdrinkfrozenmealbread根据规那么“面包=牛奶，那么购买了面包的第一、二及四行都会被预测购买了牛奶，但现实上这三个预测只需第二个是正确的，所以confidence=1/3100%=33.3%CARMA模块中的根本概念Lift在知某规那么的consequent发生的先验概率的情况下，某规那么的Lift被定义为Confidence和该先验概率的比率值。IDP1P2P3P41breadchees

6、ebutterwater2watermilkbreadnoodle3milknoodlemeatbeer4fishsoftdrinkfrozenmealbread那么对于一条记录，那么不采用任何规那么进展预测，随意猜测该顾客能否该买牛奶的正确率是50%知有50%的人购买了牛奶：假设采用“面包=牛奶的规那么进展预测的话，正确率，即confidence=33.3%比随意猜测的正确率还低。那么此时的Lift值为多少呢？ Lift=33.3%/50%=66.6%1的规那么才是有意义的规那么源数据格式CARMA模块可以处置一下两种格式的数据Tabular数据格式 Transactional数据格式 案例

7、研讨之购物篮分析数据预备运用数据为clementine自带的Baskets1n数据集；该数据集样本量为1000，每笔买卖包含了顾客的卡号、性别、年龄、收入、付款方式等一系列个人信息，以及其购买的各种食品清单；该数据集为Tabular格式的数据。研讨目的为超市货架的摆放提供科学的根据；为超市商品促销决策提供支持。案例研讨购物篮分析参与type模块对变量类型进展设置。先点击Read Values将各个变量实例化。购物篮分析将CARMA 模块参与 流中，并双 击翻开进展 参数设置。点击点击购物篮分析对Model选项卡进展设置。修正Rule Support、Rule Confidence以及Rule

8、Size的大小。点击此处，翻开Model选项卡编辑对这三个选项进展编辑以控制输出的规那么的数目购物篮分析对Expert选项卡进展设置，假设对CARMA算法比较了解的用户，可以对该选项卡进展设定以获得使CARMA模块具有更好的性能。选择此项，那么输出的规那么中后项consequent只能由一个元素。选择该选项可以让CARMA算法周期性的剔除掉当前不太重要的规那么，加速建模。设定周期的大小，周期设定的越小，那么越省内存，但是CARMA算法执行时间常；反之，那么短。设定该选项可以加速CARMA算法的执行。其大致思想是：一开场先给定一个较高的support值，将不显著的规那么排除在外，然后再一次降低s

9、upport值。设定support值降低的速度选择该项，那么CARMA模型会输出不包含antecedent的规那么。购物篮分析执行后建立的模型 会显示在Canvas内。共产生16条规那么每一行分别显示了一组规那么，以及度量该规那么的一组目的，如：Lift、support等。点击该图标可以按指定规那么挑选出本人想要的规那么。生成对应规那么集的节点，包括三种节点：Select Node、Filtered Node以及Rule set节点。购物篮分析置信度Confidence最高的前三个规那么：Cannedveg & BeerFrozenmealFrozenmeal & BeerCannedvegC

10、annedveg & FrozenmealBeerFrozenmealConnedvegBeer促销购物篮分析CARMA模型可以直接放在流中对数据进展打分预测scoring。在打分之前可以双击模型翻开Settings选项卡进行相关的参数设置。设定用于预测的规那么个数为选取规那么设定规范，从而可以根据该规那么选出最显著的n条规那么，n由上一个选项设定。设定该项，那么允许用于预测的n条规那么可以有一样的后项，即可以允许几条规那么有一样的预测结果。勾选该项，那么在运用规那么进展预测之前，系统会剔除掉不符合要求的数据行，不对其进展预测。购物篮分析对CARMA模型设置好了以后就可以将CARMA模型参与流

11、中对数据进展预测了，本文仅用一条规那么进展预测，结果存入表中见下页。购物篮分析预测值预测置信度所运用规那么的编号购物篮分析用CARMA模型预测顾客的购买行为ConfectioneryFreshmeatDairyWine购物篮分析除了直接运用生成的CARMA模型进展预测外，还有一种预测方式即使用Rule Set。 运用Generate菜单生成想要的Rule Set节点，并将该节点放入流中进展预测。点击确定以后可以生成一个规那么集节点，将该节点参与流中就可以进行预测了。案例研讨之网络日志分析数据预备运用数据为某网站五天的访问日志；该数据集记录数为173665，每行记录对运用户对效力器的一个页面恳求

12、，记录了用户IP地址、恳求时间、恳求页面URL、访问协议、恳求形状以及端口号等信息。本文为了简化仅引入前三个变量，且页面曾经过分类，访问已按事务划分；该数据集为Transactional格式的数据。研讨目的找出用户的访问方式，为网站构造上的调整和网站运营决策提供支持。网络日志分析加载数据集网络日志分析运用CARMA模块来处置Transactional格式的网络日志数据，并从中找出关联规那么。双击翻开翻开Fields选项卡进展编辑。勾选该项，将CARMA模型处置的数据格式改为Transactional格式指定数据的独一标识，标识一样的记录属于同一个事务该栏用以指定买卖数据字段，本文中这里指定的是

13、当前恳求的页面种类。网络日志分析双击翻开Model选项卡进展编辑，设定Rules Support、Rule Confidence以及Rule Size等参数。网络日志分析查看CARMA模型生成的规那么集网络日志分析数据中定义的第一类页面为文娱新闻版面，第二类是灌水版面。访问文娱新闻版面访问灌水版访问灌水版面访问文娱新闻版整合访问量将灌水版和文娱新闻版整合为一个“我主文娱新版值得留意的问题CARMA模型运算速度不是最快的，但是它只需求对数据集一至两遍的扫描就可以构造规那么集；CARMA模型及可以处置Tabular格式的数据，也可以处置Transactional格式的数据；CARMA模型中需求设定

14、的Rule Support的大小，而不是Support；CARMA模型不能处置数值型的数据。CARMA算法原理Carma算法也包括两个部分寻觅频繁项集在频繁项集的根底上产生关联规那么Carma寻觅频繁项集的过程又分为Phase I和Phase IIPhase I：产生频繁项集的超集，即产生潜在频繁项集V在Phase I中可以随时调整最小支持度Phase II：对潜在频繁项集V进展删减得到最终的频繁项集CARMA算法原理初始V为空集，将事务按照序号排序,逐条读入事务数据，并计算以下三个整数存储在V的支持格(Support Lattice)中：Count(v)：v被插入V以后在事务数据库中出现的次

15、数firstTrans(v)：v被插入V时所在事务的事务序号maxMissed(v)：v被插入V之前已读入的事务个数例如：项集a,b在j时辰进入V,当j时辰时以上三个整数的情况CARMA算法原理根据 Count(v)、maxMissed(v)定义了v项集的支持度的上限和下限：minSupport(v)是项集的实践支持度maxSupport(v)用来判别项集v用来能否可以保管在V中CARMA算法原理Phase I中V产生的根本过程：初始V为空集(此时只可添加1-项集)，读入第i条事务数据v，给出当前的最小支持度i,在计算过程中，算法自动调整最小支持度，即给每个事务以一个最小支持度，会构成一个最小

16、支持度序列t个事务(1,2 , 3,)假设v是1-项集:假设第一次出现，那么令Count(v)1, maxMissed(v) 0(1-项集的maxMissed(v)规定为0), firstTrans(v) i,且将v参与V(1-项集自动进入V)假设不是第一次出现，那么Count(v)Count(v)+1; CARMA算法原理假设v是k-项集(k=2)，那么先按前述方式处置包含的一切1-项集，且：假设第一次出现，判别该k-项集能否可以进入V，且令Count(v)1, firstTrans i,且假设不是第一次出现，那么项集各子集的Count(v)Count(v)+1; “修剪，默许每读入500个

17、事务作一次修剪(从效率角度思索，其实可以读入一条修剪一次)，即判别支持格中一切k-项集的maxSupport(v)，假设小于当前的最小支持度i ,那么剔除相应项集出VCARMA算法原理在Phase I阶段，k-项集v进入V的主要原那么假设一个项集是频繁项集，那么其一切子集必定也是频繁项集；反之，如一个项集的某个子集不是频繁项集，那么该项集必定也不是频繁项集；Carma在决议k-项集v进入频繁项集V时，应确保v的一切真子集已在当前事务之前进入V中，这是v进入V的条件之一要看一切子集，假设2项无所谓，假设3项那么需求检验其2项子集能否也在内。项集v参与V的必要条件表述为：i为当前的事务序号，即v的

18、一切真子集w都是频繁项集且已在当前事务之前进入V中CARMA算法原理在Phase I阶段，k-项集v进入V的主要原那么判别v的真子集时应从包含工程较多的子集开场判别，假设包含工程较多的子集已在V中，那么包含工程较少的子集也一定在V中。因此，不用检查一切子集，只需求检验那些包含工程最多的子集即可。为提高效率不用检验一切真子集，只需求检查那些：其中：|w|、 |v|为所包含的工程数kCARMA算法原理计算maxSupport(v)的关键是计算maxMissed(v)maxMissed计算的根据一：其最大子集的频繁程度在第i个时辰， v的具有最大firstTrans的真子集w(|w|=|v|-1)，

19、其支持度一定大于v的，即：此时i是相等的明显然CARMA算法原理计算maxSupport(v)的关键是计算maxMissed(v) 根据二：用户以往定义的最小支持度的情况在i+1时辰，以往最小支持度序列表示为i(1,2 , 3, i)Carma中定义了关于i的天花板(ceiling of )序列，记为天花板的含义是：当j i时(j=1,2,.i-1)：当j i时(j=1,2,.i-1)：例如：(0.3,0.7,0.9,0.5)CARMA算法原理计算maxSupport(v)的关键是计算maxMissed(v) 根据二：用户以往定义的最小支持度的情况总之有：主要取决于以往的一系列最小支持度b(0,1,3)1,1CARMA算法原理Phase I举例事务序列T=(a,b,a,b,c,b,c),定义的支持度阀值序列=(0.3,0.9,0.5)Vt1=a,b1=0.3Va,bt2=a,b,c2=0.9Va,b,c,a,ba,b的maxSupport均大于0.3,不能剔除出Va(0,1,1)1,1b(0,1,1)1,1a(0,1,2)1,1b(0,1,2)1,1c(0,2,1)0.5,0.5a,b(1,2,1)0.5,1t3=b,cVa,b,c,a,b,b,c1=0.5a(0,1,2)0.66,0.66c(0,2,2)0.66,0.66a,