数据挖掘4章挖掘原语语言和体系结构.ppt

挖掘原语，语言和体系结构,数据挖掘原语数据挖掘语言数据挖掘系统体系结构总结,数据挖掘原语划分,挖掘相关的数据挖掘的知识类型背景知识模式的兴趣度量结果的表示与可视化,任务相关数据,数据库（或数据仓库）名称例如：AllElectronics_db数据库表（或数据仓库的立方体）例如：表item,customer,purchase,items_sold数据选择条件例如：选取本年度加拿大地区购买商品的数据选取条件可能在概念上层次高于DB/DW的数据如：”type=homeentertainment”，DB/DW中数据tv,cdplayer,vcr有关的属性（或维）例如：item表的name,price属性;customer表的income,age属性。系统应具备自动选取相关属性的机制，比如通过评估各属性与特定操作的相关程度。数据分组的标准例如：根据日期进行分组,挖掘的知识类型,描述(characterization)区别分析(discrimination)关联(association)分类/预测(classification/prediction)聚类(clustering),例:用户如果想发掘AllElectronics数据库中用户的购买习惯，可能会选择下面关联规则：P(X:customer,W)Q(X,Y)=buys(X,Z)X是customer表的主键，P,Q是谓词变量(在相关数据中定义)，W,Y,Z是目标变量。可能的挖掘结果是：age(X,”3039”)income(X,”40k49k”)=buys(X,”VCR”)2.2%,60%accupation(X,”student”)age(X,”2029”)=buys(X,”computer”)1.4%,70%,背景知识：概念层次,概念层次模式层次(schemahierarchy)例：Streetcityprovince_or_statecountry集合-分组层次(set-groupinghierarchy)例：young,middle_aged,seniorall(age)20-39=young,40-59=middle_aged基于操作层次(operation-derivedhierarchy)包括信息解码，复杂数据对象的信息提取，数据聚类，数据分布分析算法等例：emailaddress:login-namedepartmentuniversitycountry基于规则层次(rule-basedhierarchy)例：low_profit_margin(X)buys(X,Z):=mineclassificationasanalyze例：mineclassificationasclassifyingCustomerCreditRatinganalyzecredit_info:=Minepredictionasanalyzesetattribute_or_dimention_i=例：minepredictionaspredictItemPriceanalyzepricesetcategory=“TV”andbrand=“SONY”,概念层次语法,语法：Usehierarchyfor不同概念层次采用不同定义方式模式概念层次definehierarchytime_hierarchyondateasdate,monthquarter,year集合-分组概念层次definehierarchyage_hierarchyforageoncustomeraslevel1:young,middle_aged,seniorlevel0:alllevel2:20,.,39level1:younglevel2:40,.,59level1:middle_agedlevel2:60,.,89=100withnoisethreshold=0.05displayastable,其它数据挖掘语言,关联规则语言MSQL(Imielinski&Virmani99)MineRule(MeoPsailaandCeri96)Queryflocks基于Datalog语法(Tsuretal98)OLEDBforDM(Microsoft2000)和OLEDB,OLEDBforOLAP一起致力于DB,DW,DM的标准化到2000年3月止，已经完成了predictivemodeling(classification&Prediction),clustering,还未包含characterization,discrimination,associationmodeling等。CRISP-DM(CRoss-IndustryStandardProcessforDataMining)是一个国际性项目，包含数据库公司，数据仓库公司，用户公司(usercompanies)目的在于提供有效数据挖掘的平台和过程结构(processstructure)强调运用数据挖掘技术来解决商业问题,挖掘原语，语言和体系结构,数据挖掘原语数据挖掘语言数据挖掘系统体系结构总结,数据挖掘系统体系结构,数据挖掘系统与DB/DW系统的耦合程度零耦合用文件作为数据源和存放结果数据,不推荐松散耦合用DB/DW作数据源，查询结果写入文件或DB/DW；但不使用DB/DW的提供的数据结构和查询优化方法。半紧耦合提升挖掘系统性能部分挖掘原语在DB/DW中实现，如sorting,indexing,aggregation,histogramanalysis,multiwayjoin,precomputationofsomestatisticfunctionssuchascount,sum,max,min,standarddeviation.紧耦合一个统一的信息处理环境DM被集成到DB/DW系统，作为信息系统的一个组成部分；并利用DB/DW的数据结构，索引模式查询处理过程对挖掘查询进行优化。,挖掘原语，语