数据挖掘习题及解答-完美版

1、Data Mining Take Home Exam顾客ID性别车型衬衣尺码类11男家用P 小C02男运动中C03男运动中C04男运动大C05男运动加大C06男运动加大C07女运动小C08女运动小C09女运动中C010女豪华大C011男家用大C112男家用加大C113男家用中C114男豪华加大C115女豪华小C116女豪华小C117女豪华中C118女豪华中C119女豪华中C120女豪华大C1学号：xxxx姓名:xxx1. (20分)考虑下表的数据集(1)计算整个数据集的Gini指标值。(2)计算属性性别的Gini指标值(3)计算使用多路划分属性车型的 Gini指标值(4)计算使用多路划分属性衬

2、衣尺码的 Gini指标值(5)下面哪个属性更好，性别、车型还是衬衣尺码？为什么?Gini=1-(6/10)A2-(4/10)A2*1/2*2=0.48 车型家用运动豪华c0181c1307Gini=1-(1/4)A2-(3/4)A2*4/20+1-(8/8)A2-(0/8)A2*8/20+1-(1/8)A2-(7/8)A2*8/20 =26/160=0.1625尺码小中大加大c0332I?c12422Gini=1-(3/5)A2-(2/5)A2*5/20+1-(3/7)A2-(4/7)A2*7/20+1-(2/4)A2-(2/4)A2*4/20 *2=8/25+6/35=0.4914(5)比较

3、上面各属性的Gini值大小可知，车型划分Gini值0.1625最小，即使用车型 属性更好。2. (20分)考虑下表中的购物篮事务数据集顾客ID事务ID购买项1001a,d,e10024a,b,c,e20012a,b,d,e20031a,c,d,e30015b,c,e30022b,d,e40029c，d40040a,b,c50033a,d,e50038a,b,e(1)将每个事务ID视为一个购物篮，计算项集e , b,d和b,d,e的支持度。(2)使用(1)的计算结果，计算关联规则 b,d -e和e 一b,d的置信(3)将每个顾客ID作为一个购物篮，重复(1)。应当将每个项看作一个二元变量(如果一

4、个项在顾客的购买事务中至少出现一次，则为 1,否则，为0)。(4)使用(3)的计算结果，计算关联规则b,d 一e剂e 一b,d的置信度。答：(1)由上表计数可得e的支持度为8/10=0.8;b, d的支持度为2/10=0.2;b,d,e的支书寺度为2/10=0.2。(2) cb,d -e=2/8=0.25;ce -b,d=8/2=4。(3)同理可得：e的支持度为4/5=0.8, b,d的支持度为5/5=1, b,d,e的支 持度为4/5=0.8。(4) cb,d e=5/4=1.25, ce 一b,d=4/5=0.8。3. (20分)以下是多元回归分析的部分 R输出结果 ls1=lm(yx1+

5、x2) anova(lsl)DfSum SqMean SqF valuePr(F)x1110021.210021.262.0380.0001007 *x214030.94030.924.9540.0015735 *Residuals71130.7161.5 ls2 anova(ls2)DfSum SqMean SqF valuePr(F)x213363.43363.420.8220.002595 *x1110688.710688.766.1708.193e-05 *Residuals 7 1130.7161.5(1)用F检验来检验以下假设 (a = 0.05)Ho： 31 = 0 Ha: wo

6、 计算检验统计量；是否拒绝零假设，为什么？(2)用F检验来检验以下假设 (& = 0.05)Ho:四=0Ha：色 W0计算检验统计量；是否拒绝零假设，为什么？(3)用F检验来检验以下假设 (& = 0.05)Ho:=白=0Ha：向和白并不都等于零计算检验统计量；是否拒绝零假设，为什么？解：(1)根据第一个输出结果 F=62.083F (2, 7) =4.74, pF(2,7)=4.74, pF=(2,7)=4.74，即拒绝原假 设，得到的和瓦并不都等于0。4. ( 20 分)考虑下面1-20.00-0.5166-0.561-0.92811 -0.3770.83016 1.1381.08720

7、个观测值：-1.249 -0.51025.000-0.0230.7140.3740.8380.874 -1.306-1.4892.5240.713（ 1）用3*S 标准来检测该数据中是否存在异常值。（ 2）用1.5*IQR 标准来检测该数据中是否存在异常值。要求提供均值、标准差、 IQR 值和所用的区间，以及你判断的依据。解：数据放入R 运行得 hhh=c(-20.00,-0.516,-1.249,-0.510,25.000,+ + -0.561,-0.928,-0.023,0.714,0.374,+ + -0.377,0.830,0.838,0.874,-1.306,+ + 1.138,1.

8、087,-1.489,2.524,0.713) mean(hhh)1 0.35665 sqrt(var(hhh)1 7.405346 jjj which(abs(jjj)=3)1 5 Q1=quantile(hhh,0.25) Q3=quantile(hhh,0.75) IQR=Q3-Q1 Q125%-0.65275 Q375%0.847 IQR75%1.49975 kk ll which(hhh which(hhhll)1 5( 1)由以上数据处理可得第五个数据25.00 为异常值。(2)由数据分析可以得出第一个-20.00和第五个 25.00均为异常值。5. 简述题 （ 20 分） 。（

9、1） 在这门课中你学习了几种聚类分析的算法？简述这几种算法的基本工作原理。答： （ 1） 学习了三种聚类分析算法， 分别为系统聚类分析、 K 均值分析和 DBSCAN分析。其中系统聚类又分为许多种计算规则，主要的有最短距离法、最长距离法、重心法、 离差平方和法及类平均法等， 其主要思想是在不同方法下把客观认为最相近的两类合并为一类， 再次执行并类步骤， 那么就可以把所有的观测值都聚为一类， 对于想要知道分多少类的具体情况有很大的帮助， 可以依照树状聚类图得到清晰的表示。K- 均值聚类原理是依一定观测值的均值来确定聚类中心， 从而根据其他的观测值和中心的距离来判断归为哪一类中。 该聚类方法事先需要确定要分的类别数据， 计算量要小得多， 效率比层次聚类要高。 但对于想要知道其他几类的分类情况就需要重新计算分析。DBSCAN 分析算法工作原理是对一组观测值优先聚合靠的最近的