数据挖掘5概念描述特征化与比较课件

概念描述2022/12/231概念描述2022/12/171特征化和比较什么是概念描述?数据概化和基于汇总的特征化解析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/232特征化和比较什么是概念描述?2022/12/172什么是概念描述?描述性vs.预测性数据挖掘描述性数据挖掘:预测性数据挖掘:概念描述:特征化:对所选择的数据集给出一个简单明了的描述，汇总比较:提供对于两个或多个数据集进行比较的描述2022/12/233什么是概念描述?描述性vs.预测性数据挖掘2022/1概念描述和OLAP区别概念描述:

能够处理复杂的数据类型和各种汇总方法

更加自动化OLAP:只能限制于少量的维度和数据类型用户控制的流程2022/12/234概念描述和OLAP区别概念描述:2022/12/174特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/235特征化和比较什么是概念描述?2022/12/175数据概化和基于汇总的特征化数据概化将大量的相关数据从一个较低的概念层次抽象、转化到一个比较高的层次方法:OLAP方法：面向属性的归纳2022/12/236数据概化和基于汇总的特征化数据概化2022/12/176OLAP方法在数据立方体上进行计算和存储结果优点效率高能够计算多种汇总如：count,average,sum,min,max还可以使用roll-down和roll-up操作限制只能处理非数值化数据和数值数据的简单汇总。只能分析，不能自动的选择哪些字段和相应的概念层次2022/12/237OLAP方法在数据立方体上进行计算和存储结果2022/12/面向属性的归纳KDDWorkshop(89)中提出不限制于种类字段和特定的汇总方法方法介绍：使用SQL等收集相关数据通过数据属性值删除和属性值概化来实现概化聚集通过合并相等的广义元组，并累计他们对应的计数值进行和使用者之间交互式的呈现方式.2022/12/238面向属性的归纳KDDWorkshop(89)中提出2022基本方法数据聚焦:选择和当前分析相关的数据，包括维。属性删除:如果某个属性包含大量不同值，但是1)在该属性上没有概化操作，或者2）它的较高层概念用其它属性表示。属性概化:如果某个属性包含大量不同值，同时在该属性上有概化操作符，则运用该操作符进行概化。属性阈值控制:

typical2-8,specified/default.概化关系阈值控制:控制最终关系的大小2022/12/239基本方法数据聚焦:选择和当前分析相关的数据，包括维。2022基本算法InitialRel:

得到相关数据，形成初始关系表PreGen:

通过统计不同属性的含有的不同值的个数决定是丢弃该属性还是对其进行汇总。PrimeGen:根据上一步的计算结果，对属性概化到相应的层次，计算汇总值，得到主概化关系。结果的表示:概化关系、交叉表、3D立方体2022/12/2310基本算法InitialRel:得到相关数据，形成初始关系表示例DMQL:

use

Big_University_DBminecharacteristicsas“Science_Students”inrelevancetoname,gender,major,birth_place,birth_date,residence,phone#,gpafrom

studentwherestatusin“graduate”相应的SQL:Selectname,gender,major,birth_place,birth_date,residence,phone#,gpafromstudentwhere

statusin{“Msc”,“MBA”,“PhD”}2022/12/2311示例DMQL: 2022/12/1711类特征化：示例PrimeGeneralizedRelationInitialRelation2022/12/2312类特征化：示例PrimeGeneralizedRelat概化结果的表示概化关系:一个表格，其中有属性字段，后附汇总方法。交叉表:二维交叉表可视化方法:Piecharts,barcharts,curves,cubes,andothervisualforms.量化特征规则:(上表与136页例4.26)2022/12/2313概化结果的表示概化关系:2022/12/1713表达方式-概化关系(133页例4.22)2022/12/2314表达方式-概化关系(133页例4.22)2022/12/17表达方式—交叉表(133页例4.23)2022/12/2315表达方式—交叉表(133页例4.23)2022/12/171使用Cube技术进行实现对给定的数据动态创建数据立方体：便于有效的下钻操作可能增加响应时间解决方法：实现存储一些较高层次的统计信息。使用预定义的数据立方体：预先构建数据立方体Cube计算的花费和额外的存储空间2022/12/2316使用Cube技术进行实现对给定的数据动态创建数据立方体：20特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2317特征化和比较什么是概念描述?2022/12/1717属性相关性分析why?哪些维需要包括?需要概化到什么层次?减少属性；从而容易理解模型结果What?使用统计的方法进行数据预处理过滤掉一些不相关或者相关性比较弱的字段保留并对相关属性进行排序相关性和维度、层次有关分析特征化，分析比较2022/12/2318属性相关性分析why?2022/12/1718属性相关性分析步骤：数据收集使用保守的AOI进行预相关分析相关性分析，删除不相关和弱相关属性使用AOI产生概念描述2022/12/2319属性相关性分析步骤：2022/12/1719相关性度量标准相关性度量标准决定了如何对属性进行判断的标准方法信息增益informationgain(ID3)增益比gainratio(C4.5)Gini索引giniindex不确定性相关系数2022/12/2320相关性度量标准相关性度量标准决定了如何对属性进行判断的标准2Entropy和InformationGain集合S中类别Ci的记录个数是si

个i={1,…,m}期望信息属性A的熵是信息增益2022/12/2321Entropy和InformationGain集合S中一个例子(131页例5.9)任务使用分析特征化来了解研究生的一般特征属性名称

gender,major,birth_place,birth_date,phone#,andgpaGen(ai)=concepthierarchiesonaiUi=attributeanalyticalthresholdsforaiTi=attributegeneralizationthresholdsforaiR=attributerelevancethreshold2022/12/2322一个例子(131页例5.9)任务2022/12/1722例子：分析特征化（续）1.数据收集targetclass:graduatestudentcontrastingclass:undergraduatestudent2.使用Ui分析概化属性删除removenameandphone#属性概化generalizemajor,birth_place,birth_dateandgpaaccumulatecounts候选关系:gender,major,birth_country,age_rangeandgpa2022/12/2323例子：分析特征化（续）1.数据收集2022/12/1723例子：分析特征化(2)CandidaterelationforTargetclass:Graduatestudents(=120)CandidaterelationforContrastingclass:Undergraduatestudents(=130)2022/12/2324例子：分析特征化(2)Candidaterelation例子：分析特征化(3)3.相关性分析计算期望信息计算每个属性的熵Numberofgradstudentsin“Science”Numberofundergradstudentsin“Science”2022/12/2325例子：分析特征化(3)3.相关性分析Numberof例子：分析特征化(4)得出每个属性的熵计算每个属性的InformationGainInformationgainforallattributes2022/12/2326例子：分析特征化(4)得出每个属性的熵2022/12/17例子：分析特征化(5)4.Initialworkingrelation(W0)derivationR=0.1删除不相关或者弱相关的属性=>dropgender,birth_country删除比较类的关系5.在W0进行AOI分析InitialtargetclassworkingrelationW0:Graduatestudents2022/12/2327例子：分析特征化(5)4.Initialworking特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2328特征化和比较什么是概念描述?2022/12/1728挖掘类比较比较:比较两个或者更多类.方法:

将相关的数据分成目标类和比较类。将两个类别的数据概化到相同的层次。用相同层次的描述对元组进行比较。对于每个元组展现其描述和两个衡量标准:support-distributionwithinsingleclasscomparison-distributionbetweenclasses将差异很大的元组特别显示出来相关性分析:发现最能体现类别之间差异的属性.2022/12/2329挖掘类比较比较:比较两个或者更多类.2022/12/1729例子：分析性比较(133页例5.10)Task使用区别规则来分析本科生和研究生DMQLqueryuseBig_University_DBminecomparisonas“grad_vs_undergrad_students”inrelevanceto

name,gender,major,birth_place,birth_date,residence,phone#,gpafor“graduate_students”wherestatusin“graduate”versus“undergraduate_students”wherestatusin“undergraduate”analyzecount%fromstudent2022/12/2330例子：分析性比较(133页例5.10)TaskuseBig例子：分析性比较(2)条件：attributesname,gender,major,birth_place,birth_date,residence,phone#andgpaGen(ai)=concepthierarchiesonattributesaiUi=attributeanalyticalthresholdsforattributesaiTi=attributegeneralizationthresholdsforattributesaiR=attributerelevancethreshold2022/12/2331例子：分析性比较(2)条件：2022/12/1731例子：分析性比较(3)1.数据收集目标类和比较类2.属性相关性分析removeattributesname,gender,major,phone#3.同步概化controlledbyuser-specifieddimensionthresholdsprimetargetandcontrastingclass(es)relations/cuboids2022/12/2332例子：分析性比较(3)1.数据收集2022/12/1732例子：分析性比较(4)Primegeneralizedrelationforthetargetclass:GraduatestudentsPrimegeneralizedrelationforthecontrastingclass:Undergraduatestudents2022/12/2333例子：分析性比较(4)Primegeneralized例子：分析性比较(5)4.在目标和比较类别上，Drilldown,rollupandotherOLAPoperations，确定概化层次.5.展现方式generalizedrelations,crosstabs,barcharts,piecharts,orrules比较性的度量，以体现目标类和比较类之间的差别e.g.count%2022/12/2334例子：分析性比较(5)4.在目标和比较类别上，Dril量化区分规则Cj=目标类qa=概化元组也覆盖比较类别的元组d-weight范围:[0,1]量化区别规则2022/12/2335量化区分规则Cj=目标类2022/12/1735例子:量化区别规则量化区别规则(135页例5.11)where90/(90+120)=30%Countdistributionbetweengraduateandundergraduatestudentsforageneralizedtuple2022/12/2336例子:量化区别规则量化区别规则(135页例5.11)Cou类别描述量化特征规则必要量化区别规则充分量化描述规则必要和充分2022/12/2337类别描述量化特征规则2022/12/1737例子:量化描述规则(136页例5.13)对于目标类Europe的量化描述规则(137页例5.14)Crosstabshowingassociatedt-weight,d-weightvaluesandtotalnumber(inthousands)ofTVsandcomputerssoldatAllElectronicsin19982022/12/2338例子:量化描述规则(136页例5.13)Crosstab特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2339特征化和比较什么是概念描述?2022/12/1739挖掘数据散布特征动机更好的了解数据:集中趋势,差别和分布数据散布特征

median,max,min,quantiles,outliers,variance,等.2022/12/2340挖掘数据散布特征动机2022/12/1740衡量中心趋势平均值带权平均中位数:一个整体度量如果是奇数，则为中间数，偶数则为中间两数的平均用插值的方法进行估计模出现次数最多的值Unimodal,bimodal,trimodalEmpiricalformula:2022/12/2341衡量中心趋势平均值2022/12/1741衡量离散趋势四分位数,异常和盒图四分位数:

Q1(25thpercentile),Q3(75thpercentile)中间四分位区间:

IQR=Q3–

Q1五数概括:

min,Q1,M,

Q3,max盒图:

endsoftheboxarethequartiles,medianismarked,whiskers,andplotoutlierindividually异常:

usually,avaluehigher/lowerthan1.5xIQR方差和标准差Variance

s2:(algebraic,scalablecomputation)Standarddeviationsisthesquarerootofvariances22022/12/2342衡量离散趋势四分位数,异常和盒图2022/12/174

盒图分析五数概括:Minimum,Q1,M,Q3,Maximum盒图数据用盒子的形式表现盒子的两端分别是两个分位数，i.e.,theheightoftheboxisIRQ中位数用一条线来表示。延长线:从盒子延长到最大和最小值2022/12/2343盒图分析五数概括:2022/12/1743ABoxplotAboxplot2022/12/2344ABoxplotAboxplot2022/12/1744数据分布的可视化：盒图分析2022/12/2345数据分布的可视化：盒图分析2022/12/1745在大型数据库中挖掘统计信息方差标准差:方差的平方根衡量分散程度当且仅当所有值一样的时候为0。方差和标准差都是代数的2022/12/2346在大型数据库中挖掘统计信息方差2022/12/1746直方图（频率直方图）图形化表示类描述的基本统计信息频率直方图2022/12/2347直方图（频率直方图）图形化表示类描述的基本统计信息2022/分位数图2022/12/2348分位数图2022/12/1748分位数-分位数(Q-Q)图2022/12/2349分位数-分位数(Q-Q)图2022/12/1749散布图2022/12/2350散布图2022/12/1750Loess曲线2022/12/2351Loess曲线2022/12/1751图形化的表示基本统计描述直方图:盒图:分位数图:

eachvaluexi

ispairedwithfiindicatingthatapproximately100fi%ofdataare

xi

分位数-分位数图(q-q):graphsthequantilesofoneunivariantdistributionagainstthecorrespondingquantilesofanother散布图:

eachpairofvaluesisapairofcoordinatesandplottedaspointsintheplaneLoess(localregression)曲线:

addasmoothcurvetoascatterplottoprovidebetterperceptionofthepatternofdependence2022/12/2352图形化的表示基本统计描述直方图:2022/12/1752特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2353特征化和比较什么是概念描述?2022/12/1753面向属性的归纳vs.示例学习方法原理和基本假设的不同机器学习：正负样本。概念描述：只有正样本。训练样本集的大小机器学习：训练样本集小概念描述：训练样本集大。概化方法的不同机器学习：按照元组概化概念描述：按照属性概化2022/12/2354面向属性的归纳vs.示例学习方法原理和基本假设的不同20特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2355特征化和比较什么是概念描述?2022/12/1755概念描述2022/12/2356概念描述2022/12/171特征化和比较什么是概念描述?数据概化和基于汇总的特征化解析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2357特征化和比较什么是概念描述?2022/12/172什么是概念描述?描述性vs.预测性数据挖掘描述性数据挖掘:预测性数据挖掘:概念描述:特征化:对所选择的数据集给出一个简单明了的描述，汇总比较:提供对于两个或多个数据集进行比较的描述2022/12/2358什么是概念描述?描述性vs.预测性数据挖掘2022/1概念描述和OLAP区别概念描述:

能够处理复杂的数据类型和各种汇总方法

更加自动化OLAP:只能限制于少量的维度和数据类型用户控制的流程2022/12/2359概念描述和OLAP区别概念描述:2022/12/174特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2360特征化和比较什么是概念描述?2022/12/175数据概化和基于汇总的特征化数据概化将大量的相关数据从一个较低的概念层次抽象、转化到一个比较高的层次方法:OLAP方法：面向属性的归纳2022/12/2361数据概化和基于汇总的特征化数据概化2022/12/176OLAP方法在数据立方体上进行计算和存储结果优点效率高能够计算多种汇总如：count,average,sum,min,max还可以使用roll-down和roll-up操作限制只能处理非数值化数据和数值数据的简单汇总。只能分析，不能自动的选择哪些字段和相应的概念层次2022/12/2362OLAP方法在数据立方体上进行计算和存储结果2022/12/面向属性的归纳KDDWorkshop(89)中提出不限制于种类字段和特定的汇总方法方法介绍：使用SQL等收集相关数据通过数据属性值删除和属性值概化来实现概化聚集通过合并相等的广义元组，并累计他们对应的计数值进行和使用者之间交互式的呈现方式.2022/12/2363面向属性的归纳KDDWorkshop(89)中提出2022基本方法数据聚焦:选择和当前分析相关的数据，包括维。属性删除:如果某个属性包含大量不同值，但是1)在该属性上没有概化操作，或者2）它的较高层概念用其它属性表示。属性概化:如果某个属性包含大量不同值，同时在该属性上有概化操作符，则运用该操作符进行概化。属性阈值控制:

typical2-8,specified/default.概化关系阈值控制:控制最终关系的大小2022/12/2364基本方法数据聚焦:选择和当前分析相关的数据，包括维。2022基本算法InitialRel:

得到相关数据，形成初始关系表PreGen:

通过统计不同属性的含有的不同值的个数决定是丢弃该属性还是对其进行汇总。PrimeGen:根据上一步的计算结果，对属性概化到相应的层次，计算汇总值，得到主概化关系。结果的表示:概化关系、交叉表、3D立方体2022/12/2365基本算法InitialRel:得到相关数据，形成初始关系表示例DMQL:

use

Big_University_DBminecharacteristicsas“Science_Students”inrelevancetoname,gender,major,birth_place,birth_date,residence,phone#,gpafrom

studentwherestatusin“graduate”相应的SQL:Selectname,gender,major,birth_place,birth_date,residence,phone#,gpafromstudentwhere

statusin{“Msc”,“MBA”,“PhD”}2022/12/2366示例DMQL: 2022/12/1711类特征化：示例PrimeGeneralizedRelationInitialRelation2022/12/2367类特征化：示例PrimeGeneralizedRelat概化结果的表示概化关系:一个表格，其中有属性字段，后附汇总方法。交叉表:二维交叉表可视化方法:Piecharts,barcharts,curves,cubes,andothervisualforms.量化特征规则:(上表与136页例4.26)2022/12/2368概化结果的表示概化关系:2022/12/1713表达方式-概化关系(133页例4.22)2022/12/2369表达方式-概化关系(133页例4.22)2022/12/17表达方式—交叉表(133页例4.23)2022/12/2370表达方式—交叉表(133页例4.23)2022/12/171使用Cube技术进行实现对给定的数据动态创建数据立方体：便于有效的下钻操作可能增加响应时间解决方法：实现存储一些较高层次的统计信息。使用预定义的数据立方体：预先构建数据立方体Cube计算的花费和额外的存储空间2022/12/2371使用Cube技术进行实现对给定的数据动态创建数据立方体：20特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2372特征化和比较什么是概念描述?2022/12/1717属性相关性分析why?哪些维需要包括?需要概化到什么层次?减少属性；从而容易理解模型结果What?使用统计的方法进行数据预处理过滤掉一些不相关或者相关性比较弱的字段保留并对相关属性进行排序相关性和维度、层次有关分析特征化，分析比较2022/12/2373属性相关性分析why?2022/12/1718属性相关性分析步骤：数据收集使用保守的AOI进行预相关分析相关性分析，删除不相关和弱相关属性使用AOI产生概念描述2022/12/2374属性相关性分析步骤：2022/12/1719相关性度量标准相关性度量标准决定了如何对属性进行判断的标准方法信息增益informationgain(ID3)增益比gainratio(C4.5)Gini索引giniindex不确定性相关系数2022/12/2375相关性度量标准相关性度量标准决定了如何对属性进行判断的标准2Entropy和InformationGain集合S中类别Ci的记录个数是si

个i={1,…,m}期望信息属性A的熵是信息增益2022/12/2376Entropy和InformationGain集合S中一个例子(131页例5.9)任务使用分析特征化来了解研究生的一般特征属性名称

gender,major,birth_place,birth_date,phone#,andgpaGen(ai)=concepthierarchiesonaiUi=attributeanalyticalthresholdsforaiTi=attributegeneralizationthresholdsforaiR=attributerelevancethreshold2022/12/2377一个例子(131页例5.9)任务2022/12/1722例子：分析特征化（续）1.数据收集targetclass:graduatestudentcontrastingclass:undergraduatestudent2.使用Ui分析概化属性删除removenameandphone#属性概化generalizemajor,birth_place,birth_dateandgpaaccumulatecounts候选关系:gender,major,birth_country,age_rangeandgpa2022/12/2378例子：分析特征化（续）1.数据收集2022/12/1723例子：分析特征化(2)CandidaterelationforTargetclass:Graduatestudents(=120)CandidaterelationforContrastingclass:Undergraduatestudents(=130)2022/12/2379例子：分析特征化(2)Candidaterelation例子：分析特征化(3)3.相关性分析计算期望信息计算每个属性的熵Numberofgradstudentsin“Science”Numberofundergradstudentsin“Science”2022/12/2380例子：分析特征化(3)3.相关性分析Numberof例子：分析特征化(4)得出每个属性的熵计算每个属性的InformationGainInformationgainforallattributes2022/12/2381例子：分析特征化(4)得出每个属性的熵2022/12/17例子：分析特征化(5)4.Initialworkingrelation(W0)derivationR=0.1删除不相关或者弱相关的属性=>dropgender,birth_country删除比较类的关系5.在W0进行AOI分析InitialtargetclassworkingrelationW0:Graduatestudents2022/12/2382例子：分析特征化(5)4.Initialworking特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2383特征化和比较什么是概念描述?2022/12/1728挖掘类比较比较:比较两个或者更多类.方法:

将相关的数据分成目标类和比较类。将两个类别的数据概化到相同的层次。用相同层次的描述对元组进行比较。对于每个元组展现其描述和两个衡量标准:support-distributionwithinsingleclasscomparison-distributionbetweenclasses将差异很大的元组特别显示出来相关性分析:发现最能体现类别之间差异的属性.2022/12/2384挖掘类比较比较:比较两个或者更多类.2022/12/1729例子：分析性比较(133页例5.10)Task使用区别规则来分析本科生和研究生DMQLqueryuseBig_University_DBminecomparisonas“grad_vs_undergrad_students”inrelevanceto

name,gender,major,birth_place,birth_date,residence,phone#,gpafor“graduate_students”wherestatusin“graduate”versus“undergraduate_students”wherestatusin“undergraduate”analyzecount%fromstudent2022/12/2385例子：分析性比较(133页例5.10)TaskuseBig例子：分析性比较(2)条件：attributesname,gender,major,birth_place,birth_date,residence,phone#andgpaGen(ai)=concepthierarchiesonattributesaiUi=attributeanalyticalthresholdsforattributesaiTi=attributegeneralizationthresholdsforattributesaiR=attributerelevancethreshold2022/12/2386例子：分析性比较(2)条件：2022/12/1731例子：分析性比较(3)1.数据收集目标类和比较类2.属性相关性分析removeattributesname,gender,major,phone#3.同步概化controlledbyuser-specifieddimensionthresholdsprimetargetandcontrastingclass(es)relations/cuboids2022/12/2387例子：分析性比较(3)1.数据收集2022/12/1732例子：分析性比较(4)Primegeneralizedrelationforthetargetclass:GraduatestudentsPrimegeneralizedrelationforthecontrastingclass:Undergraduatestudents2022/12/2388例子：分析性比较(4)Primegeneralized例子：分析性比较(5)4.在目标和比较类别上，Drilldown,rollupandotherOLAPoperations，确定概化层次.5.展现方式generalizedrelations,crosstabs,barcharts,piecharts,orrules比较性的度量，以体现目标类和比较类之间的差别e.g.count%2022/12/2389例子：分析性比较(5)4.在目标和比较类别上，Dril量化区分规则Cj=目标类qa=概化元组也覆盖比较类别的元组d-weight范围:[0,1]量化区别规则2022/12/2390量化区分规则Cj=目标类2022/12/1735例子:量化区别规则量化区别规则(135页例5.11)where90/(90+120)=30%Countdistributionbetweengraduateandundergraduatestudentsforageneralizedtuple2022/12/2391例子:量化区别规则量化区别规则(135页例5.11)Cou类别描述量化特征规则必要量化区别规则充分量化描述规则必要和充分2022/12/2392类别描述量化特征规则2022/12/1737例子:量化描述规则(136页例5.13)对于目标类Europe的量化描述规则(137页例5.14)Crosstabshowingassociatedt-weight,d-weightvaluesandtotalnumber(inthousands)ofTVsandcomputerssoldatAllElectronicsin19982022/12/2393例子:量化描述规则(136页例5.13)Crosstab特征化和比较什么是概念描述?数据概化和基于汇总的特征化分析特征化:分析属性之间的关联性挖掘类比较:获取不同类之间的不同处在大型数据库中挖掘描述统计度量讨论总结2022/12/2394特征化和比较什么是概念描述?2022/12/1739挖掘数据散布特征动机更好的了解数据:集中趋势,差别和分布数据散布特征

median,max,min,quantiles,outliers,variance,等.2022/12/2395挖掘数据散布特征动机2022/12/1740衡量中心趋势平均值带权平均中位数:一个整体度量如果是奇数，则为中间数，偶数则为中间两数的平均用插值的方法进行估计模出现次数最多的值Unimodal,bimodal,trimodalEmpiricalformula:2022/12/2396衡量中心趋势平均值2022/12/1741衡量离散趋势四分位数,异常和盒图四分位数:

Q1(25thpercentile),Q3(75thpercentile)中间四分位区间:

IQR=Q3–

Q1五数概括:

min,Q1,M,

Q3,max盒图:

endsofthe