清华大学大数据课程数据挖掘技术学习教案

1、会计学1清华大学清华大学(qn hu d xu)大数据课程数大数据课程数据挖掘技术据挖掘技术第一页，共145页。第1页/共145页第二页，共145页。第2页/共145页第三页，共145页。第3页/共145页第四页，共145页。Not previously known, surprising (used to remove redundant rules) 第4页/共145页第五页，共145页。1.数据量大2.缺乏理论知识3.数据挖掘可以帮助产生新的假说或者(huzh)使数据变得有意义第5页/共145页第六页，共145页。 苦恼: 淹没在数据中 ; 不能制定合适的决策! n模式模式n趋势趋势n事

2、实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府n人口统计人口统计n生命周期生命周期第6页/共145页第七页，共145页。数数据据挖挖掘掘辅辅助助社社会会管管理理促促进进民民生生改改善善支支持持商商业业决决策策推推动动科科技技进进步步第7页/共145页第八页，共145页。第8页/共145页第九页，共145页。Debt$40KQ QQ QQ QQ QI II I1 12 23 34 45 56 6factor 1factor 2factor n神经网络

3、神经网络 Neural Networks Neural Networks聚类分析聚类分析 Clustering ClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列序列(xli)(xli)分析分析 Sequence Analysis Sequence Analysis决策树决策树 Decision Trees Decision Trees 倾向性分析(fnx) 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 Association Association 市场

4、组合分析 套装产品分析 目录设计 交叉销售第9页/共145页第十页，共145页。知识表示（可视化和知识表示技术）第10页/共145页第十一页，共145页。correct?可解释性:how easily the data can be understood?第11页/共145页第十二页，共145页。第12页/共145页第十三页，共145页。第13页/共145页第十四页，共145页。第14页/共145页第十五页，共145页。第15页/共145页第十六页，共145页。第16页/共145页第十七页，共145页。smooth by fitting the data into regression fun

5、ctions第17页/共145页第十八页，共145页。Managing categorical attributes can be tricky.第18页/共145页第十九页，共145页。第19页/共145页第二十页，共145页。 每个簇中的数据用其中心值代替 忽略孤立点 先通过(tnggu)聚类等方法找出孤立点。这些孤立点可能包含有用的信息。 人工再审查这些孤立点第20页/共145页第二十一页，共145页。 通过构造函数来符合数据变化的趋势，这样可以用一个变量(binling)预测另一个变量(binling)。 线性回归 多线性回归 非线性回归XY2211XXY33221XXXYxyy =

6、x + 1X1Y1Y1第21页/共145页第二十二页，共145页。第22页/共145页第二十三页，共145页。使之落入一个小的特定区间。最小-最大、Z-Score、按小数定标规范化。第23页/共145页第二十四页，共145页。 平滑，聚集 数据概化，规范化 属性(shxng)构造(特征构造)有限(yuxin)区间的归一化：无限区间的归一化：模糊隶属度：minmaxminvvvev11第24页/共145页第二十五页，共145页。仍接近保持原数据的完整性。对归约后的数据集挖掘将更有效，并产生相同（或几乎相同）的结果。第25页/共145页第二十六页，共145页。第26页/共145页第二十七页，共14

7、5页。第27页/共145页第二十八页，共145页。第28页/共145页第二十九页，共145页。第29页/共145页第三十页，共145页。第30页/共145页第三十一页，共145页。第31页/共145页第三十二页，共145页。第32页/共145页第三十三页，共145页。第33页/共145页第三十四页，共145页。第34页/共145页第三十五页，共145页。第35页/共145页第三十六页，共145页。如果认为模型的准确率可以接受，就可以用它对类标号未知的数据元组或对象进行分类。第36页/共145页第三十七页，共145页。TrainingDataClassificationAlgorithmsIF

8、rank = professorOR years 6THEN tenured = yes Classifier(Model)NAMERANKYEARSTENUREDMikeAssistant Prof3noMaryAssistant Prof7yesBill Professor2yesJimAssociate Prof7yesDaveAssistant Prof6noAnneAssociate Prof3no第37页/共145页第三十八页，共145页。ClassifierTestingDataN A M ER A N KY E A R S TE N U R E DTomA ssistant P

9、 rof2noM erlisaA ssociate P rof7noG eorge P rofessor5yesJoseph A ssistant P rof7yesUnseen Data(Jeff, Professor, 4)Tenured?第38页/共145页第三十九页，共145页。涉及学习模型提供的理解和洞察的层次第39页/共145页第四十页，共145页。第40页/共145页第四十一页，共145页。第41页/共145页第四十二页，共145页。第42页/共145页第四十三页，共145页。第43页/共145页第四十四页，共145页。（a）类定义）类定义(dngy)（b）待分类）待分类(fn

10、li)样例样例 （c）分类结果）分类结果第44页/共145页第四十五页，共145页。Jaccard：还有信息熵、相关系数等其他(qt)的度量方法(|xiyi|pi1n)1/pInner(x,y) x,y xiyiicosqx1x2y1y2x12y12x22y22J(A,B)|AB|AB|第45页/共145页第四十六页，共145页。算法通过对每个元组和各个类的中心来比较算法通过对每个元组和各个类的中心来比较(bjio)，从而可以找出他的最近的类中心，得到确定的类，从而可以找出他的最近的类中心，得到确定的类别标记。别标记。第46页/共145页第四十七页，共145页。第47页/共145页第四十八页，

11、共145页。第48页/共145页第四十九页，共145页。（11）c=class to which the most uN. 第49页/共145页第五十页，共145页。q第50页/共145页第五十一页，共145页。第51页/共145页第五十二页，共145页。第52页/共145页第五十三页，共145页。例如，在贷款申请(shnqng)中，要对申请(shnqng)的风险大小做出判断。收入收入40000高负债高负债工作时间工作时间5年年是是否否是是否否“年收入大于￥40000”并且(bngqi)“高负债”的用户被认为是“高风险”；“年收入小于￥40000”但“工作时间大于5年”的申请，是“低风险”；N

12、YYNNY第53页/共145页第五十四页，共145页。buys_computer的决策树示意的决策树示意(shy) Age? Credit_rating? student? yes no yesyes no 40 3040yes no fairexcellent 第54页/共145页第五十五页，共145页。第55页/共145页第五十六页，共145页。第56页/共145页第五十七页，共145页。第57页/共145页第五十八页，共145页。用信息增益这种信息论的理论方法，用信息增益这种信息论的理论方法，使得对一个对象分类所需要的期望使得对一个对象分类所需要的期望测试数目达到最小，并确保找到一测试数

13、目达到最小，并确保找到一棵简单的树。棵简单的树。第58页/共145页第五十九页，共145页。第59页/共145页第六十页，共145页。miiimppsssI1221log,其中其中pipi是任意是任意(rny)(rny)样本属于样本属于CiCi的概率，可用的概率，可用si/ssi/s来估计来估计第60页/共145页第六十一页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优

14、不买1 老中否优买第61页/共145页第六十二页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买决策(juc)属性“买计算机？”。该属性分两类：买/不买S1(买)=641 S2（不买）= 383S=S1+S2=1024P1=641/1024=0.6260P2=383/1024=0.3740I(S1,S2)=I(641,383) =-P1Log2P1-P2

15、Log2P2 =-(P1Log2P1+P2Log2P2) =0.9537第第1步计算步计算(j sun)决策属性的熵决策属性的熵第62页/共145页第六十三页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第2步计算条件步计算条件(tiojin)属性的熵属性的熵条件属性共有4个。分别是年龄、收入、学生、信誉。分别计算不同(b tn)属性的信息增益。第6

16、3页/共145页第六十四页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第2-1步计算步计算(j sun)年龄的熵年龄的熵年龄共分三个组： 青年(qngnin)、中年、老年青年(qngnin)买与不买比例为128/256S1(买)=128 S2（不买）= 256S=S1+S2=384P1=128/384P2=256/384I(S1,S2)=I(128

17、,256) =-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0.9183第64页/共145页第六十五页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第2-2步计算步计算(j sun)年龄的熵年龄的熵年龄共分三个组： 青年、中年、老年(lonin)中年买与不买比例为256/0S1(买)=256 S2（不买）= 0S

18、=S1+S2=256P1=256/256P2=0/256I(S1,S2)=I(256，0) =-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0第65页/共145页第六十六页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第2-3步计算步计算(j sun)年龄的熵年龄的熵年龄共分三个组： 青年、中年、老年(lonin

19、)老年(lonin)买与不买比例为125/127S1(买)=125 S2（不买）=127S=S1+S2=252P1=125/252P2=127/252I(S1,S2)=I(125，127) =-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0.9157第66页/共145页第六十七页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1

20、老中否优买第第2-4步计算步计算(j sun)年龄的熵年龄的熵年龄共分三个组： 青年、中年、老年所占比例青年组 384/1025=0.375中年组 256/1024=0.25老年组 384/1024=0.375计算年龄的平均信息期望(qwng)E（年龄） 0.25*0+ =0.6877G（年龄信息增益） =0.9537-0.6877 =0.2660 （1）第67页/共145页第六十八页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老

21、中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第3步计算步计算(j sun)收入的熵收入的熵收入共分三个组： 高、中、低E（收入）=0.9361收入信息(xnx)增益=0.9537-0.9361 =0.0176 (2)第68页/共145页第六十九页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第4步计算步计算(j

22、sun)学生的熵学生的熵学生(xu sheng)共分二个组： 学生(xu sheng)、非学生(xu sheng)E（学生(xu sheng)）=0.7811年龄信息增益=0.9537-0.7811 =0.1726 （3）第69页/共145页第七十页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第5步计算步计算(j sun)信誉的熵信誉的熵信誉分二个

23、组： 良好，优秀(yuxi)E（信誉）= 0.9048信誉信息增益=0.9537-0.9048 =0.0453 （4）第70页/共145页第七十一页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买第第6步计算步计算(j sun)选择节点选择节点 年龄信息(xnx)增益=0.9537-0.6877 =0.2660 （1）收入信息(xnx)增益=0.9537

24、-0.9361 =0.0176 （2）年龄信息(xnx)增益=0.9537-0.7811 =0.1726 （3）信誉信息(xnx)增益=0.9537-0.9048 =0.0453 （4）第71页/共145页第七十二页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128青中否良不买64青低是良买64青中是优买年龄年龄(ninlng)青年(qngnin)中年老年买/不买买买/不买叶子第72页/共145页第七十三页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128青中否良不买64青低是良买64青

25、中是优买青年(qngnin)买与不买比例为128/256S1(买)=128 S2（不买）= 256S=S1+S2=384P1=128/384P2=256/384I(S1,S2)=I(128,256) =-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0.9183第73页/共145页第七十四页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128青中否良不买64青低是良买64青中是优买如果选择收入(shur)作为节点分高、中、低平均信息期望(qwng)（加权总和）： E(收入）= 0.3333 * 0 + 0.

26、5 * 0.9183 + 0.1667 * 0 = 0.4592Gain(收入) = I(128, 256) - E(收入)=0.9183 0.4592 = 0.4591I(0,128)=0 比例: 128/384=0.3333I(64,128)=0.9183 比例: 192/384=0.5I(64,0)=0比例: 64/384=0.1667 注意第74页/共145页第七十五页，共145页。计数年龄收入学生信誉归类：买计算机？归类：买计算机？64青高否良不买64青高否优不买128中高否良买60老中否良买64老低是良买64老低是优不买64中低是优买128青中否良不买64青低是良买132老中是良买

27、64青中是优买32中中否优买32中高是良买63老中否优不买1 老中否优买年龄年龄(ninlng)青年(qngnin)中年老年学生买信誉叶子否否是是优优良良买不买买/不买买叶子叶子叶子第75页/共145页第七十六页，共145页。第76页/共145页第七十七页，共145页。第77页/共145页第七十八页，共145页。P(C|X)P(X|C)P(C)P(X)第78页/共145页第七十九页，共145页。第79页/共145页第八十页，共145页。)()()|()|(XPCPCXPXCPiii第80页/共145页第八十一页，共145页。)|()|(1inkkiCxPCXP概率(gil)P(x1|Ci)，P

28、(x2|Ci)，P(xn|Ci)由训练样本估值。第81页/共145页第八十二页，共145页。，。即X被指派到其P(X|Ci)*P(Ci)最大的类。第82页/共145页第八十三页，共145页。希望希望(xwng)分类的未知分类的未知样本为样本为:X=（age=“=30”，income=“medium”，student=“yes”，credit_rating=“fair”）思路思路:计算每一个类的计算每一个类的P(Ci|X)=P(X|Ci)P(Ci)/P(X) , Ci代表代表(dibio)任意一个类任意一个类，X代表代表(dibio)需要判断需要判断的查询条件的查询条件第83页/共145页第八十

29、四页，共145页。，2。每个类的先验概率P(Ci)可以根据(gnj)训练样本计算：P(buys_computer=”yes”)=9/14=0.643，P(buys_computer=”no”)=5/14=0.357。第84页/共145页第八十五页，共145页。第85页/共145页第八十六页，共145页。X=（age=“ buys(x, “beers”) 0.5%, 60%nmajor(x, “CS”) takes(x, “DB”) = grade(x, “A”) 1%, 75%第119页/共145页第一百二十页，共145页。交易ID购买的商品2000A,B,C1000A,C4000A,D500

30、0B,E,F买尿布的客买尿布的客户户二者都买二者都买的客户的客户买啤酒的客户买啤酒的客户第120页/共145页第一百二十一页，共145页。寻找关联规则。寻找关联规则。n第第1 1个子问题是近年来关联规则个子问题是近年来关联规则挖掘算法研究的重点。挖掘算法研究的重点。第121页/共145页第一百二十二页，共145页。TIDItemset1001，3，42002，3，53001，2，3，54002，5 1994年，年，Agrawal 等人提出了著名等人提出了著名(zhmng)的的Apriori 算法。算法。第122页/共145页第一百二十三页，共145页。TID Items100 1 3 4200

31、 2 3 5300 1 2 3 5400 2 5Database DC1L1L2C2Scan DL3Scan DC3Scan DC4Scan DScan DL4L3是最大频繁是最大频繁(pnfn)项目集项目集第123页/共145页第一百二十四页，共145页。Rule-generate（L，minconf）（1） FOR each frequent itemset lk in L（2） genrules（ lk ， lk）;关联规则的生成关联规则的生成(shn chn)(shn chn)问题问题第124页/共145页第一百二十五页，共145页。序号序号lkxm-1ConfidenceSuppor

32、t规则（是否是强规则）规则（是否是强规则）1235267%50%235（否）（否）2235367%50%325（否）（否）3235567%50%523（否）（否）423523100%50%235（是）（是）52352567%50%253（否）（否）623535100%50%352（是）（是）包含包含2,35的事务的事务(shw)与包含与包含2的事务的事务(shw)的比值的比值,即即2:3同时同时(tngsh)满足支持度和可信度满足支持度和可信度TIDItemset1001，3，42002，3，53001，2，3，54002，5第125页/共145页第一百二十六页，共145页。第126页/共14

33、5页第一百二十七页，共145页。第127页/共145页第一百二十八页，共145页。TIDItemset1f,c,a,m,p2f,c,a,b,m3f,b4c,b,p5f,c,a,m,p样本样本(yngbn)数据库数据库下面下面(xi mian)看一个例子来说明看一个例子来说明FP-Tree的增长过程的增长过程,最小支持度阈值为最小支持度阈值为3。TIDItemset1f,a,c,d,g,i,m,p2a,b,c,f,l,m,o3b,f,h,j,o4b,c,k,s,p5a,f,c,e,l,m,p, nItemfrequencyf4c4a3b3m3p3L扫描数据库一次生成扫描数据库一次生成1-频繁项目集（在数据库中出现频繁项目集（在数据库中出现3次或次或3次以上的），并按频度降序排序，放入次以上的），并按频度降序排序，放入L列表