数据挖掘概念和技术第三版部分习题答案解析

1、完美WORD格式编辑1.4数据仓库和数据库有何不同？有哪些相似之处？答：区别：数据仓库是面向主题的，集成的，不易更改且随时间变化的数据集合，用来支持 管理人员的决策，数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成，是面向 操作型的数据库，是组成数据仓库的源数据。它用表组织数据，采用ER数据模型。相似：它们都为数据挖掘提供了源数据，都是数据的组合。1.3定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。使用你熟 悉的现实生活的数据库，给出每种数据挖掘功能的例子。答：特征化 是一个目标类数据的一般特性或特性的汇总。例如，学生的特征可被提出，形成所有 大学的计算机

2、科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩(GPA： Gradepoint aversge) 的信息，还有所修的课程的最大数量。区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。例如， 具有高GPA的学生的一般特性可被用来与具有低GPA的一般特性比较。最终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA的学生的75%是四年级计算机科学专业的学生，而具有低GPA的学生的65%不是。关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。例如， 一个数据挖掘系统可能发现的关联规则为：major(X,“computing scie

3、nce ”)? owns(X,“ personal computer ” ) support=12%, con fide nce=98%其中，X是一个表示学生的变量。这个规则指出正在学习的学生，12%(支持度)主修计算机科学并且拥有一台个人计算机。这个组一个学生拥有一台个人电脑的概率 是98% (置信度，或确定度)。分类与预测 不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功 能)，而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的相似性 是他们都是预测的工具： 分类被用作预测目标数据的类的标签，而预测典型的应用是预测缺失的数字型数据的值。聚类分析的

4、数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间 的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织 形式，将观测组织成类分 层结构，把类似的事件组织在一起。数据演变分析描述和模型化随时间变化的对象的规律或趋势，尽管这可能包括时间相关数据 的特征化、区分、关联和相关分析、分类、或预测，这种分析的明确特征包括时间序列数据分析、 序列或周期模式匹配、和基于相似性的数据分析2.3假设给定的数据集的值已经分组为区间。区间和对应的频率如下。年龄频率1520051545015203002050150050807008011044计算数据的近似中位数值

5、。解答：先判定中位数区间：N=200+450+300+1500+700+44=3194; N/2=1597/ 200+450+300=95015972450=950+1500 ; 2050对应中位数区间。学习指导参考资料我们冇：Zi-20p 4=3197,巒)尸9刃供如防E使用公式(23)：tnedtan - Lwidth =20 +广 3197/2-95x 30 = 32.97/ media n=32.97 岁。22 假定用于分析的数据包含属性age。数据元组的age值(以递增序)是：13, 15, 16,16,19, 20， 20， 21， 22， 22， 25， 25， 25， 25，

6、30， 33， 33， 35， 35， 35， 35， 36， 40， 45， 46， 52， 70。答：(a)该数据的均值是什么？中位数是什么？均值=(13+15+16+16+19+20+20+21+22+22+25+25+25+25+30+33+33+35+35+35+35+36+40+45+46+52+70)/=29.96=X09 / 27 = 29.96 竺 3027公式2,1 K中位数应是第14个,即x14=25=Q2。(b) 该数据的众数是什么？讨论数据的峰(即双峰、三峰等)。这个数集的众数有两个：25和35,发生在同样最高的频率处，因此是双峰众数。(c) 数据的中列数是什么？数据

7、的中列数是最大数和最小数的均值。即：midra nge=(70+13)/2=41.5 。(d) 你能(粗略地)找出数据的第一个四分位数(Q1)和第三个四分位数(Q3吗？数据集的第一个四分位数应发生在25%处，即在(N+1)/4= (27+1)/4=7处。所以：Ql=20。而第三个四分位数应发生在 75%处,即在3X (N+1)/4=21 处。所以：8=35(e) 给出数据的五数概括。一个数据集的分布的5数概括由最小值、第一个四分位数、中位数、第三个四分位数、和最 大值构成。它给出了分布形状良好的汇总+并且这些数据是：13、20、25、35、70。(f) 画出数据的盒图。(g) 分位数一分位数图

8、与分位数图的不同之处是什么？分位数图是一种用来展示数据值低于或等于在一个单变量分布中独立的变量的粗略百分比。 这样,他可以展示所有数的分位数信息，而为独立变量测得的值(纵轴)相对于它们的分位数(横轴)被描绘出来。但分位数一分位数图用纵轴表示一种单变量分布的分位数，用横轴表示另一单变量分布的分位数。两个坐标轴显示它们的测量值相应分布的值域，且点按照两种分布分位数值展示。一条线(y=x)可画到图中+以增加图像的信息。落在该线以上的点表示在y轴上显示的值的分布比x轴的相应的等同分位数对应的值的分布高。反之，对落在该线以下的点则低。2.4假设医院检测随机选择的18个成年人年龄和身体脂肪数据，得到如下结

9、果：232327273941474950%fatP 9.5P 26.5P 7.817.831-425.927.427,23L2咻525454565758586061%fat34.642.528.833.430.234.132.941,235J(a) 计算年龄和脂肪百分比的均值、中位数和标准差年龄均值=(23+23+27+27+39+41+47+49+50+52+54+54+56+57+58+58+60+61)/18=836/18=46.44，中位数=(50+52)/2=51，标准差=方差的平方根=开根号(1/n刀(Xi) 2-1/n(刀Xi) 2)=开根号1/182970.44=12. 85.

10、脂肪百分比均值=28. 78，中位数=30.7，标准差=8.99.(b) 绘制年龄和脂肪百分比的盒图曙.53-IE-2DI&10(c)根据这两个属性，绘制散布图，各q-q图q-q(d)根据 z-scoresea tftir plotQO图规范化来规范化这两个属性(散布图232327273941474950-L83-LS3-1.51-L51-0.58-0,420.040.200,28%fflt9*52G.57,817.831.425.927427.23L2-214-0.25-2.：U-1+220.29-1).32-045-0.180,275254545657585860mz-aqe0.430.5

11、90.590,740.820.900.901.061.13%fat3丄642.52&833,430.234132.941.235,7z- %fat(J.G51.53o.uU.51().16(J. 59().461.380.77P46)(e)计算相关系数(皮尔逊积矩系数).这两个变量是正相关还是负相关？r 步刀(ai-A)(b i-B)/Nra tb=(刀(aib)-NAB ) /Nratb=(刀(a i bi )-18*46.44*28. 78)/18*12 .85*8.99=0.82相关系数是0.82。变量呈正相关。3.3使用习题2.4给出的age数据回答下列问题：(a)使用分箱均值光滑对以

12、上数据进行光滑，箱的深度为定的数据，该技术的效果。3。解释你的步骤。评述对于给(b) 如何确定数据中的离群点？(c) 对于数据光滑，还有哪些其他方法? 解答：(a) 使用分箱均值光滑对以上数据进行光滑，箱的深度为3。解释你的步骤。评述对于给定的数据，该技术的效果。用箱深度为3的分箱均值光滑对以上数据进行光滑需要以下步骤：步骤1对数据排序。(因为数据已被排序，所以此时不需要该步骤。)步骤2:将数据划分到大小为 3的等频箱中。箱 1 : 13, 15, 16箱 4: 22, 25, 25箱 7： 35, 35, 35箱 2: 16, 19, 20箱 5: 25, 25, 30箱 & 36, 40,

13、 45箱3:箱6:箱9:20, 21, 2233, 33, 3546, 52, 70步骤3:计算每个等频箱的算数均值。步骤4:用各箱计算出的算数均值替换每箱中的每个值。箱1：44/3 , 44/3 , 44/3箱 2 : 55/3 , 55/3 ,55/3箱3:21, 21 , 21箱4:24, 24, 24箱 5: 80/3, 80/3 , 80/3箱 6 :101/3101/3 , 101/3箱7：35, 35, 35箱 8: 121/3 , 121/3,121/3箱9:56, 56, 56(b)如何确定数据中的离群点？聚类的方法可用来将相似的点分成组或“簇”，并检测离群点。落到簇的集外的

14、值可以被视为离群点。作为选择，一种人机结合的检测可被采用，而计算机用一种事先决定的数据分布来区 分可能的离群点。这些可能的离群点能被用人工轻松的检验，而不必检查整个数据集。(c)对于数据光滑，还有哪些其他方法？其它可用来数据光滑的方法包括别的分箱光滑方法，如中位数光滑和箱边界光滑。 作为选择,等宽箱可被用来执行任何分箱方式，其中每个箱中的数据范围均是常量。除了分箱方法外，可以 使用回归技术拟合成函数来光滑数据，如通过线性或多线性回归。分类技术也能被用来对概念分 层，这是通过将低级概念上卷到高级概念来光滑数据。3.5如下规范化方法的值域是什么？答：(a) mi n-max 规范化。值域是new_

15、min, new_max。(b) z-score规范化。值域是(old_min mean)/ c, (old_max mean)/，总的来说，对于所有可能的数据集的值域是(一 OO, +8 )。(c) 小数定标规范化。值域是(1.0,1.0)。3.7 使用习题2.4给岀的age数据，回答以下问题：(a) 使用min-max 规范化将age值35变换到0.0 , 1.0区间。(b) 使用z-score 规范化变换 age值35，其中age的标准差为12.94 岁。(c) 使用小数定标规范化变换age值35。(d) 对于给定的数据，你愿意使用哪种方法？陈述你的理由。解答：(a)使用mm-max观范

16、化将age值35变换到0.6 L0区阿.*/max=70t new_miii=0.0( new_inax=1.0T jfii -3 51 min max 寸min(went1 _max new35-1370-13(1.0-0.0)+0,0 = 03860(b)使用z-score规范化变换age值35.其中age的标准签为12.94头一 13 + 15 + 2x16 + 19 + 2x20 + 21 + 2x22 + 4x25A =2730+2x33 + 4x35 + 36 + 40+45 + 46 + 52 + 70+27809=29.963275 =后=127002成_ 35-29.963

17、_ 5.03712.7002 一 12.7002=0.3966 弋 0.400v/=JiV-J 35-29.96312.94215.03712.9421= 0.3S92 走 0.39(c)便用小数宦标规范化变换畔芒值3咒v 3勺由于最大的绝对值为娥所以j.心而二丽“势3.9假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15 , 35 ,50, 55, 72，92，204，215。使用如下每种方法将其划分成三个箱。(a) 等频(等深)划分。(b) 等宽划分。(c) 聚类。解答：(a) 等频(等深)划分。bi n15,10,11,13bi n115,35,50,55bin1

18、72,91,204,215(b) 等宽划分。完美WORD格式编辑3个箱。分层 抽876543210152535455565每个区间的宽度是： (215-5)/3=70bi n15,10,11,13,15,35,50,55bi n191bi n1204,215(C) 聚类。我们可以使用一种简单的聚类技术：用2个最大的间隙将数据分成bi n15,10,11,13,1bi n1535,50,55,72,9bi n1T204,2153.11使用习题2.4给岀的age数据，(a) 画岀一个等宽为10的等宽直方图；(b) 为如下每种抽样技术勾画例子：SRSWQRSRSWR,聚类抽样, 样。使用大小为 5的

19、样本和层“青年”，“中年”和“老年”。解答：(a)画岀一个等宽为10的等宽直方图;学习指导参考资料抽样(b) 为如下每种抽样技术勾画例子：SRSWQRSRSWR聚类抽样，分层 使用大小为5的样本和层“青年”，中年”和“老年”元组:T113T 1022T 1935T215T 1125T 2035T316T 1225T 2135T416T1325T 2236T519T 1425T 2340T620T1530T 2445T720T1633T2546T821T1733T 2652T922T 1835T 2770SRSWOF和SRSWR不是同次的随机抽样结果可以不同，但前者因无放回Sample2Samp

20、le5所以不能有相同的元组。SRSWOR(n=5)SRSWR(n=5)T416T720T620T720T io22T 2035Tii25T 2135T 2652T2546聚类抽样：设起始聚类共有6类，可抽其中的 m类。Sample1Sample2Sample3Sample4Sample5Sample6T113T620T 1125T1633T 2135T 2652T215T720T 1225T1733T 2236T 2770T316T821T1325T 1835T 2340T416T922T 1425T 1935T 2445T519T 1022T 1530T 2035T2546T620T2135

21、T720T2236T821T2340T922T2445T 1022T2546Sample2 Sample5T113youngT 1022youngT 1935middle ageT215youngT 1125youngT 2035middle ageT316youngT 1225youngT 2135middle ageT416youngT1325youngT 2236middle ageT519youngT 1425youngT 2340middle ageT620youngT1530middle ageT 2445middle ageT720youngT1633middle ageT254

22、6middle ageT821youngT1733middle ageT 2652middle ageT922youngT 1835middle ageT 2770seniorT416youngT 1225youngT1733middle ageT2546middle ageT 2770Senio r4.3假定数据仓库包含三维：time,doctor 和patient; 和两个度量：count和charge;其中，charge是医生对病人一次诊治的收费。(a) 列举三种流行的数据仓库建模模式答：三类模式一般用于建模数据仓库架构的星形模型，雪花模型和事实星座模型。(b) 使用 列举的模式之一，画

23、出上面的数据仓库的模式图timefioctordimension tabletabledimensian (rtble数据仓库的星形模型为列出2004年每位医生的收费总数, 上卷”至U department 。应当执行(C)由基本方体day,doctor,patient开始,哪些OLA操作？沿课程(course )维从course_id沿时间(time )维从 day 上卷”到 year。取time=2004，对维time作“切片” 操作沿病人(patient )维从 个别病人 上卷”到 全部病人。(d) 为得到同样结果，写一个SQ查询。假定数据存放在关系数据库中，其模式为fee (day,

24、mon th, year, doctor , hospital , patie nt , count, charge)。 答：SQL查询语句如下：select doctor, SUM(charge)from feewhere year=2004 group by doctor4.4 假定 BgUniversity的数据仓库包含如下4个维:student(student_name,area_id , major, status,university), course(course_name,department) , semester(semester, year) 和口 i nstructor

25、(dept, rank) ； 2 个 度量：count 和avg_grade。在最低概念层，度量avg_grade 存放学生的实际课程成绩。在较高概念层，avg_grade存放给定组合的平均成绩。(a)为该数据仓库画出雪花形模式图(b) 由基 本方体student,course, semester,instructor开始，为列岀BigUniversity每个学生的CS课程的平均成绩，应当使用哪些特殊的OLAP操作。(C如_果每_维_有5_层(包括 all ), 如“ studentmajorstatusuniversityvall,该立方体包含多少方体？解答:a)为该数据仓库画岀雪花形模式图

26、。雪花模式如图所示。courseutuvstudent维表事实表錐表b) 由基本方体student, 始，为列岀 BigUniversity 用哪些特殊的 OLAP操作course, semester, in structor每个学生的 CS课程的平均成绩，应当使这些特殊的联机分析处理（OLAP ）操作有：i. 沿课程（course ）维从 course_id上卷”至U department。ii. 沿学生（student ）维从student_id上卷”至U university。iii. 取 department= “ CS”和 university= “ Big University”沿

27、课程(course )维和学生(student )维切片iv. 沿学生（student ）维从 university下钻至U student_namec）如果每维有5 层(包括all ）,如”该立方体包含多少方stude ntmajorstatusu niversity Hf 单元可*产$3-14#SM的单jc*iSfffefiWin#的+ 竇卡忖井电3心“一孑牛単元*P ft f - 却 厦毕元了上柱血= *扌心直2牛计+破九它是由单元1禅元】产生检 pr* 4k-.去耐有1刊豪国力它畏由单无1和单元产生的】(3)(tf-.*. *.-.氐轴 自小讣樹，周冲它芯乐单亓,I轨m亍2 4牛“：(

28、J) ( V.rft 去理心自3 “5 8(,闵为它茎屮单元1.牟瓦】和单兀彳归元r昆湮牟元，On第T不龙单元d优潯盘屋单瓦r力对韦u 匸孑舟 1詞非* 上惨棧f中：“卮刃、d5貝勾憎屮支上.= 7 体是焦制击雅陀誑咸的的骄菇之专体-谖寛仝立万隧自姜少戌$无？花右7卜円牟i, H(1) .岛1贰：1 =(2) 側-也叫宀，74 1；町】$(4J 化匕阮业.氐g 2t 代舐” “.鼻3 2：樹轴S. 4轴h(7)(*，*.-3 儿+ 2舟1題表娶前：苫曙J NT氏.如弄弐W MuiTj-西网恭BUC : n.R -r F . BRWJSt wubinpHLW01.栃单馆擠述这三？T方捷 (卸用一

29、器廿贰ttWjfth丼在以下豪悴下比牧它帕的軒抒怪和性能.U)讣H忸笄Wit-小于3布几密闻U喧戸方* 讣1T鼻乜宵旦鄭散费疥井在庄 W 山口7严山育寺陣，(c) irW-H I阿应，经订1仞帯九碑曲搀口二有览”M*出箸札議林科肖穿冃丁一料将罰怦丫巧傑说专厅桂的耶EEH马吋芒工诙诂 .丑石曙的珞中*.TV-，方体同下葩.Mutinyt 口良向rC7.冋：1貴白匿蛍、左宝W订)1曲耒、上；lit卜址序认 札buc. :旳、丄耳迥十心乩环哥 其単耳肇.Suruhit!；优叵军T缪玲台“顶舸下门氏可卜们讣即模审” ft Apnai 奚民率计禅同诃连厅.0)讣歸怪I侧如 豪于8)MCoftj?-黑 S

30、-Cflbag fft： BUC ifP=. 讣JT二凸Pi囲Al取社舟辱壬氏k的2厂二再山才齐耳-MuJaWa?-ii H就叩产戸再I耳噫曲刑捫折专.抽 support count(s),此外，con fide nee (s ) = (l-s )con fide nce (s) = (I- s )所以，规则 先八=：-川卞的置信度不可能大于。6.6 设数据库有 5 个事务。设 min_sup =60%, min_conf=80%TIDitefris-buuyhtT100T200T300T400T500M, O. N, K, E, D O, N, K； E, Y M, A, K, E M, U

31、, C, K, Y C, O, O, K, 1 ,E分别使用Apriori和FP增长算法找出所有频繁项集。比较两种挖掘过程的效率。Apriori:m3o3n2k54y3d1a1u1c211L1Ill303k5e4y3mo1ink3me2my2ok3oe3oy9ke4ky3ey2L2ink3ok3oc3ke4ky3C3oke3key2ukc3FP-growth: See Figure 5.2 for the FP-tree,itemconditional pattern baseconditional treefieqiiriit patterny k,ejm.o:l. kjC?o:ltk:3k

32、Ty：3Jo kTe,m:l, k芦2k:3Te:3(k,o:3: c.o:3, k,c?o:3111 k严2, k：0 k:3k,m: 3e阻4 k：4 k,e：4 效率比较：Apriori需多次扫描数据库而FP增长建立FP树只需一次的扫描。在Apriori算法中产生候选是 昂贵的（由于联接），而 FP增长不产生任何候选。（b）列举所有与下面的元规则匹配的强关联规则（给出支持度 S和置信度C）,其中，X是代表顾客的变量， item i是表示项的变量（如：“ A、“ B”等）：答：k,o qo.6,1e,o k 0.6,16.8 .数据库有4 个事务，设 min_sup =60%, min_c

33、onf=80%:ust iDTIDitems-bought (in the form of brand-itemcategory)0TTKM)KingMrah. SunsevMilk, 1 ryland-Chccsc,02T200 Best-Cheese- Dairy landl-Milk, Golden farm- Apple? Tasty-Pie；, Wonder-Br-eiad()1Vcstcnast-A pplef 1 )airyland-Mi 1 kY WenndlCT-Breads Tasty-Pie03T400 onder- B read - Sunset-Milk. Dai r

34、y J an d-?heese （a）在item_category 粒度（例如，item i可以是Milk ”），对于下面的规则模板VX E transactionitemj） Aj, c对最大的k,列出频繁k项集包含最大的k的频繁k项集的所有强关联规则（包括它们的支持度S和置信度c）.（b）在 粒度（例如：item i可以是Sunset-Milk ”）对于下面的规则模板VX E customer, bityaX, itcmi） Aitem2）对最大的k,列出频繁k项集（但不输出任何规则）。A = 3 Mbd ilir3-iirciL-i i 族屮1 H心Th、门山十廿,75%, 100%75%, 100%7596, 100%6.14下面的相依表汇总了超级市场的事务数据。其中, 含热狗的事务，hamburgers表示包含汉堡包的事务，hot dogs表示包含热狗的事务，hot dogs表示不包hamburgers表示不包含汉堡包的事务，Bread A Cheese = M ilk. Chee A Milk =? Bread, Cheesy Al ilk A Bread.hot d