数据挖掘复习笔记

1、学习必备欢迎下载CourseReview1Introductiontodatamining,somedefinition(Ch1,Ch3)2DatapreprocessingCh2(Han,dataminingbook)Whypreprocessthedata?Datacleaning清理Dataintegration集成Datatransformation变换Datareduction约简Datadiscretization离散化3DataWarehouseandOLAPTechnology:AnOverviewCh2Whatiswarehouse?Differencebetweenware

2、houseanddatabase4ClassificationandPredictionCh4Distancebasedalgorithm:KNN(K-NearestNeighbors)ClassificationbyDecisionTreeInduction:ID3strategyClassificationbyBayesianPredictionbylinearregression5ClusterAnalysis(Ch5)Distancemeasure:Euclideandistance,ManhattandistanceHierarchicalMethods:Agglomerative,

3、DivisivePartitioningMethods:k-Means,k-Medoid/PAM(PartitionAroundMedoids)ClusteringClusterbasedonattribute:ROCKClusteringinlargedatabase:BIRCH,DBSCAN,CURE6AssociationRules(Ch6)Basicconcept:Support,confidence,correlationEfficientandScalableFrequentItemsetMiningMethods:ApriorialgorithmImprovingtheEffic

4、iencyofApriori:partitioning,sampling,FP-growthwithoutcandidategenerationMiningVariousKindsofAssociationRules:Multi-level,Multidimensional,QuantitativeFromAssociationMiningtoCorrelationAnalysis:StrongRulesAreNotNecessarilyInteresting学习必备欢迎下载Introductiontodatamining,somedefinition(Ch1,Ch3)1 Datamining

5、(knowledgediscoveryfromdata)(数据挖掘的定义)Extractionofinteresting(non-trivial,implicit,previouslyunknownandpotentiallyuseful)patternsorknowledgefromhugeamountofdataL4.2数据挖掘的定义从技术库度看，推搜掘早速噂单单一不察全的-方目於竣班小一晤.蜓际型推中.擢取隐含龙而小函：人们所噌知话第;但又是潜在有用我情意和斯顼的过僮.从商业应用角度看，一据挖掘是一种崩新的同II5口处理母本,其主要特好噩踹靛罐雌学蠹鼻*典1+数据挖掘与只是发现的异同 知

6、识发现(KD)，输出的是规则 数据挖掘(DM)输出的是模型 共同点，两种方法输入的都是学习提(learningsets目的都是尽可能多的口动化数据挖掘过程一数据挖掘过程并不能完全自动化，只能半自动化从大量的数据中提取非平凡的，先前不知道的，潜在有用的模式的过程。ExpertsystemsorsmallML/statisticalprograms专家系统是数据处理小程序2数据挖掘的应用Marketanalysisandmanagement（市场分析与管理）Targetmarketing,customerrelationshipmanagement（CRM）,marketbasketanalysi

7、s,marketsegmentationRiskanalysisandmanagement（风险分析与管理）Forecasting,customerretention,improvedunderwriting,qualitycontrol,competitiveanalysisFrauddetectionanddetectionofunusualpatterns（outliers）其他应用web挖掘流式数据挖掘3IntegrationofMultipleTechnologies（数据挖掘是多学科的交叉）学习必备欢迎下载4数据挖掘的功能A描述性的任务B预测性的任务技术分类预音(Predicati

8、on)；用历史预测未来描述(Description)：了解数据中潜在的规律数据挖掘技术七联分析序列膜式分类(预言)聚集异常检测5数据挖掘的过程数据清理数据集成数据选择数据转换数据挖掘模式评估知识表达工KDD的步骤1愚据治理工数据集成3.数弼选择4数据交换5,数榭挖掘&模代if估工知以表示数据挖掘功能对于指出数据挖掘任务中要找的模式案型口一般地,数据挖掘任务可以分两类:描述和颈洌.据述性挖掘任务剌划数据阵中数据的般鞫性.顼料挖掘任务在当前数据上避打指断.以进什预4U73.数据预处现力法：胞助清理，集成.交换，门约学习必备欢迎下载hl看Evaluation5数据挖掘的多维视角Datatobemin

9、edKnowledgetobeminedCharacterization,discrimination,association,classification,clustering,trend/deviation,outlieranalysis,etc.Multiple/integratedfunctionsandminingatmultiplelevelsTechniquesutilizedDatabase-oriented,datawarehouse(OLAP),machinelearning,statistics,visualization,etc.ApplicationsadaptedR

10、etail,telecommunication,banking,fraudanalysis,bio-datamining,stockmarketanalysis,Webmining,etc.6数据挖掘能做什么ClusterClassifyCategorical,RegressionSummarizeSummarystatistics,SummaryrulesLinkAnalysis/ModelDependenciesAssociationrulesSequenceanalysisTime-seriesanalysis,SequentialassociationsDetectDeviations

11、7数据仓库和数据库的区别DataWarehouseandOLAPTechnology:AnOverviewCh2Whatiswarehouse?Differencebetweenwarehouseanddatabase学习必备欢迎下载照辨所挖提的政据库分类X系数据原，承方数出与，而式M据.如向附单数提庠.刈第士第数叠碑.敝第仕库.空间救去*.时奇就规阵,丈木般拥晦.匕姆伟的累乩.异蜘般弱阵，历史轨掰斯.IW机翻检翻的知也关型材此外桁.因牙，发取寺新，仆类，聚类.乖工点力护/演变守析*祠止分析安等.T看种右詹的正也和学层次艳刷股期挖物所用的技求看面数其库的检掘T掘仓埠，一叽机器学；L境讦苧、制化

12、等等一眄眼用挖况所用的周用口金St电布.颦忙即吊:兮布，BNX暂机段票巾墙.N的掩黜等踮.打次是数罪强庠F超点仓阵的5_义眼书.但却根币行种严格的定义它近一个掘供淡藐上珞功生的热据原，它9公司的坡作班期庠势开辘护.为统一的历史眩期号析提供毕售的平台r一花处理瞳佻支蒋“数第仓库在一上削向主总的、处成的.砧;IM而餐化叼、小容易失的数雄聚合，文持甘印都”的决悔过代T.H.biEh秋榭他阵内造方间的曾夫设,讣前上建前数类也西(inconsistent:containingdiscrepanciesincodesornames已交一Aae-Birtbdav=03/07/1997”e.a.Wasrati

13、nsnowratinnA.B.C”Noqualitydata,noqualityminingresults!Qualitydecisionsmustbebasedonqualifydatae.g.duplicateormissdngdatamaycauseincoiTectorevenmisleadingstatistics.产DatawarehouseneedsconsistentintegrationofJqualitydataDataextraction,cleaning,andtransformationcomprisesthemajorityoftheworkofbuildingad

14、atawarehouse2数据清理任务：Datacleaningtasks Fillinmissinsvalues- Identifyoutliers. Smoothoutnoisvdata Correctinconsistentdata|学习必备欢迎下载丢失数据处理的办法：两种办法：Ignorethetuple:usuallydonewhenclasslabelisllUSSmg(assumingthetasksinclassificationnoteffectivewhenthepercenrageofmissingvaluesperanributevariesconsiderably)F

15、illinthemissingvaluemanually:tedious+infeasible?Fillinitautomaticallywithaalobalconstant:e.a.unknown,anewclass?!JJFJ, theattributemean theattributemeanforallsamplesbelongingtotliesameclass:smarterthemostprobablevalue:inference-basedsuchasBayesianformulaordecidontree噪声的处理办法：Binning分箱method firstsoild

16、ataandpartitiouinto(eqiii-depth)bins thenonecansmoothbybinmeans,smoothbybinmedian,smoothbvbinboundaries,etc.VClusteringdetectandremoveoutliersCombinedcomputerandhumaninspectiondetectsuspiciousvaluesandcheckbyhuman(e.g.dealwithpossibleoutliers)Regression00smoothbvfittinsthedataintoresiessionfunctions

17、k-.分箱的两种划分学习必备欢迎下载Equal-width(distance)partitioning:DividestherangeintoNintervalsofequalsize:unifonngridifAandBarethelowestandhiahesrvaluesoftheattribute,thewidthofintervalswillbe:W=(B-A);N.Themost也hforward,buroutliersmavdominaiepresentationSkeweddaraisnothandledwellEqual-depth(frequency)partitionin

18、g:DividestherangeiiiroNinturvak.eachcontainingapproximatelysamenumberofsamplesGooddatascalingMana口inrcateaoiicalattributescanbetrick分享平滑的三种方法：一 Sorteddata(u.g“byprice)-458.9,If.21,21524525,26528s29534 Partitioninto(equi-deptli)bins:-Bin1:4t8,215-Bin2:2L2L24.25-Bin3:26：28,29,34 Smoothinabvbillmeans:-

19、Bini:9,9,9,9-Bin2:23.23.23.23-Bin3：29,29,29,29 Smoothinebybinboundaries:-Bill1：4,4,4.15-Bin2:21?21?25?25Bin3：26,26,26,34数据不一致的处理方法:纠正3数据集成任务：学习必备欢迎下载Dataintegration:D combinesdatafromnmltiplesourcesintoacoherentstoreSchemaintegration inrearatemetadatafromdifferenTsources Entityidentificationproblem:

20、idenrif57realworldentitiesfrommultipledatasouices.e.g,A,cust-id=B.cust-NoDetectingandresolvingdatavalueconflicts forthesamerealworldentity,attributevaluesfromdifferentsourcesaredifferent possiblereasons:differentrepresenralions,differentscales4数据变换任务removenoisefromdata:summarization,datacubeSmoothin

21、s（平滑）:Aggregation（聚集）constructionDatageneralization京理喇匕concepthierarchyclimbingNonnalization（归一化）:scaledtofallwithinasmaltspecifiedrange min-maxnormaliiarion z-scorenormalization nonnalizatioubvdecimalscaling一$-一-JAttributefeamreconstmction（特征提取）aNewattributesconstructedfromthegivenones数据归一化的三种方法:学习

22、必备欢迎下载v-mitu-niiru min-maxnormalizationHiaxx-neyvmin DatacubeasaresationJ，JJ Dimensionalityreductionicmoveunimportantattributes DataCoiiipressionl Numeiositvreduction-fitdataintomodels Discretizationandconceptliieraichygeneration数据立方体维数规约数据压缩建立模型概念分层维数约减的方法:学习必备欢迎下载Featureselection（ie,attributesubse

23、tselection）: Selectaminimumsetoffeaturessuchthattheprobabilitrdistributionofdifferentclassesaiventhevaluesforthose reduceNo.ofpatternsintliepatterns,easiertoundeistandHeuristic（启发式）methods（duetoexponentialNo.ofchoices）: step-wiseforwardselection step-wisebackwardelimination（消除） combiiiinafoivardsele

24、ctionandbachvardelimmationJ derision-treeinduetioti建立模型：Parametricmethods:regressionandlog-linearmodelsAssumethedatafitssomemodel,estimatemodelparameters,storeonlytheparameters,anddiscardthedata（exceptpossibleoutliers）Non-parametric（参数）methods:histograms,clustering,sampling（抽样）rDonotassumemodels离散化D

25、ataDiscretizationThreetypesofattributes: Nominal:valuesfiomanunorderedset Ordinal:valuesfromanorderedset Continuous:realnumbers学习必备欢迎下载卜面是重要的三个章节：关联规则，分类，聚类第三章关联规则关联规则的两种方法AprioriFP-GROWYHApriori1支持度置信度Transaction-idItemsbought10A,B.C20e%C30A,D40FB，E,FMin.support50号Min,confidence50%ForruleQFrequentp

26、atternSupportWP75%50%Q50%Crso%support=support(74uC)=50%confidence=support(/lu6)/support(l)=666%平凡项集-频繁项集的定义如果顶集满足后小支持度,则称之为腕繁项集（高频丽柒）.频繁项集的基本特征任何瞬箫项集的非空子集均为频繁项集.例加上AMHM!零顼集,则AH、AC、BC均为痴繁项集.反之t如AB不是频能项品，胴ABC不可能是频繁项集具体步骤:学习必备欢迎下载ItemsetsupA2m33supscEGscandatabaseTDBItemsetB.QgEQEEHemet瓦町3rdscanItemset

27、supE2rkJlnli4EB，G氏EJEApriori方法- 是一种称作逐层搜索的迭代方法中- 用1项集探求（k+i）-项集，- 具体地：首先找出频繁卜项集，该集合记为L；用L找出频繁2-项桀的集合L4如此维续下去.直到找到最大频繁顶集,- 该方法，主要有连接和剪枝两步构成。HieApriuriAloriilun一AnExample产生候选集的方法（剪枝）学习必备欢迎下载望Candidateitemsetofsizek:frequentitemsetofsizekLj=frequentitems);fork=1;*!=0；k+)dobeginCktI-candidatesgeneratedf

28、rom。foreachtransactionfirdatabasedoincrementthecountofallcandidatesinthatarecontainedint=candidatesinCk+withmin_supportendreturnu#&由频繁项集产生美联规则两步对鹭个频繁项集U,产生U的所有非空真子集对U属氧一个非空真子集5.supportcount(u)/supportcount(s)=minconf则输出：(u-s)例如：频繁项集u=B,&E,产生所有非空真子集6个，对应由个可能的规则，分别计算每一条规则的算法的缺陷和提高效率的办法学习必备欢迎下载提高Aprior

29、i方法的有效性9Challenges Multiplescansoftransactiondatabase Hugenumberofcandidates Tediousworkloadofsupportcountingforcandidates ImprovingApriori:generalideas Reducepassesoftransactiondatabasescans Shrinknumberofcandidates Facilitatesupportcountingofcandidates 改进方法，包括：散列、划分、抽样0.J.-I,*_dIBWUifrn.一日Jj_.上一一J

30、iVs.i_/一,.一一fj8困难：多次扫描数据库大量的候选集候选集重复计数提高策略：减少扫描数据库减少候选集改进候选集的支持度技术的方法方法1:基于hash表的项集计数将每个项集通过相应的hash函数映射到hash表中的不同的桶中，这样可以通过将桶中的项集计数跟最小支持计数相比较先淘汰一部分项集。提高Apriori算法的有效性(2)方法2：事务压缩(压缩进一步迭代的事务数)不包含任何k-项集的事务不可能包含任何(k+1)-项集，这种事务在下一步的计算中可以加上标记或删除。方法3:划分挖掘频繁项集只需要两次数据扫描D中的任何频繁项集必须作为局部频繁项集至少出现在一个部分中。第一次扫描：将数据划

31、分为多个部分并找到局部频繁项集第二次扫描：评估每个候选项集的实际支持度，以确定全局频繁项集提高Apriori算法的有效性(3)方法4：选样(在给定数据的一个子集挖掘)基本思想：选择原始数据的一个样本，在这个样本上用Apriori算法挖掘频繁模式通过牺牲精确度来减少算法开销，为了提高效率，样本大小应该以可以放在内存中为宜，可以适当降低最小支持度来减少遗漏的频繁模式学习必备欢迎下载可以通过一次全局扫描来验证从样本中发现的模式可以通过第二此全局扫描来找到遗漏的模式算法复杂度On*nFP-GROWTH因此，在挖掘效率上FP-growth算法明显优于Apriori算法，特别是在稠密数据库中，频繁项集的长

32、度很大的情况下，FP-growth算法的优势越明显。FP-growth算法的缺点是需要递归生成条件数据库和条件FP-tree,因此内存开销大，它也只能挖掘单维的布尔关联规则。FP-growth算法使用一种紧缩的数据结构来存储查找频繁项目集所需要的全部信息。将提供频繁项目集的数据库压缩到一颗频繁模式树(或FP树)，但保留项集关联信息；然后，将压缩后的数据库分成一组条件数据库，每个关联一个频繁项目集。在1994年RakeshrnAgrawal提出了Apriori算法之后，关联规则挖掘技术的可用性得到了很大的提高。而且因为关联规则挖掘与生俱来的商业意义，使得它迅速成为了一个非常热门的研究领域，新的算

33、法也不断地涌现出来。这其中，实用性比较强的一个算法，是由韩家玮教授提出的FP-Growth算法。FP-Growth算法在2000年发表的这个paperMiningFrequentPatternswithoutCandidateGeneration里有详细的介绍。读这篇paper,我个人建议一定要同时把引文也都看一看，2000年之前与关联规则挖掘相关的重要paper,基本上都在里面了。FP-Growth算法的核心是FP-Tree(FrequentPatternTree,频繁模式树)的构建，这个特殊的数据结构，是FP-Growth算法与Apriori算法相比，性能显著提高的原因所在。不过，仔细分析

34、一下FP-Tree的实现，可以发现它与字符串处理算法中常用的PrefixTree算法,有着异曲同工之妙。FP-Tree通过合并一些重复路径，实现了数据的压缩，从而使得将频繁项集加载到内存中成为可能。之后以树遍历的操作，替代了Apriori算法中最耗费时间的事务记录遍历，从而大大提高了运算效率。详细的理论讲解可以阅读上面的论文，我这里还是把其中的例子翻译一下。rn某数据库DB里有5条事务记录，取最小支持度(minsupportthreshold)为3,则生成FP-Tree的过程如下：1、rn扫描一遍数据库，获取所有频繁项，删除频率小于最小支持度的项。在此操作的过程中，还可以得到每个项的出现频率，

35、供后续步骤使用。这一步完成之后，我们得rn到以下频繁项，(c:4),(f:4),(a:3),(b:3),(m:3),(p:3)rn,:之后的数字表示对应项的出现频率。这个结果是排好顺序的，首先按照频率从达到小排序，再按照字母顺序排序。需要注意的是这里的排序非常重要，之rn后每个事务中的项都要按照这个顺序进行排列，这个是有效合并重复路径的前提。处理之后的数据库记录为：学习必备欢迎下载TID原始事务数据处理后数据100f.a.cHdg.i,mpc,f.a.p200ab.c.f.I.moc,f.a.bm300bf.hjof.b400bc.k.s.pc,t).ptoo3.f.c,e.Lp.m.nc,f

36、.a,m.p2、第二次扫描数据库，在第一次处理完成的结果基础上，构建FP-Tree。1)取出第一条事务数据，构建FP-Tree的第一条路径，c,f,a,m,p)。注意其中项的排序与第一步中得到的频繁项集合的排序是一致的。2)rn取出第二条事务数据，c,f,a,b,m)，不难发现，它与第一条路径共享了部分数据c,f,arn)。因此，可以重复利用已有的路径，只需要将其计数加1,即(c:2),(f:2),(a:2)rn)。而对于后面不同的部分，我们创建新的路径，(b:1),(m:1)，其中，b为a的子节点，m为b的子节点。3)rn取出第三条事务数据，f,b,发现没有重复路径存在。但f点是存在的，因此

37、，可以重复利用f点，新建一个b节点，作为frn的子节点，得到路径f:3,(b:1)。注意，之前已经存在的b节点无法重复使用，因为其父节点为ao4)取出第四条事务数据，c,b,p,发现没有重复路径存在。因此，从现有c点出发，构建一条新路径(c:3),(b:1),(p:1)o5)取出第五条事务数据，c,f,a,m,p,同上原理构建路径，(c:4),(f:4),(a:3),(m:2),(p:2)。经rn过两遍数据库扫描，完成了FP-Tree的构建。在此例中，c点为整个FP-Treern的唯一根节点，但其实多数情况下，根节点并不是唯一的，即有多棵子树。因此，为了方便树结构的遍历，可以人为添加一个超级根

38、节点，通常标记为rnroot。参照下图，可以更清楚的理解整个过程。学习必备欢迎下载root课件中的说明TmHext、g科wk*q?左妹曲/ry仃打以此而，皿,100200300400500从凡Gd,g,i,mtpgb,ctftlfmto泣工瓦Gw也J为*p加Zg弓4pt叫2.ScanDBonce,findfrequentl*itemset(singleitempattern)Sortfrequentitemsinfrequencydescendingorder,f-listMGa,p)次叫a,b,fff)f.b(G瓦PKG叼叫pHeaderTableItemfreaueiicrhead3,Sc

39、anDBaqconstructFlain,P-treeitthtutpp0rr=3F-list=f-c-a-b-m*p学习必备欢迎下载临A：一棵田&法建正的用Tm鬻;前白的软繁集调IIJFP-gTnwih（TYre3iullIF面是对地秤FP-即m山的曲码描述.PincedureFP-ftrnwthTrei?,）（ifTep只有条路行Pth*时P中的节点的母个等I台记为用帼口）（1）产生频繁集的风并且把它的支持度指定为a中节点的鼠小支持接，七Ise打不我的头表从我尾到表头的每一个表项（汜为a）Wb（5）Q）产生频繁蕖0=a5,并且支符度为a的支持度（3）建立口的条件模式库匕口mHiinriHlpahphibaw）和的条件树（mndili口nalFP-trw）Trw2*HTrec2t=0（5）thrn调用FP小机叫仃工阴学习必备欢迎下载于什么是条件帙式点Erd