数据挖掘实验报告

1、数据挖掘实验报告学院名称 计算机科学与技术学院专业名称学生姓名学号5指导教师实验内容实验一一、实验原理（1）.缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理通过 R 语言提供的方法确定哪些有缺省值，哪些是异常值，并把异常置为缺失值来 处理，通过表格形式打印出来。将数据集分成完整数据和缺失数据两部分。（2）.用均值替换：求变量未缺失部分的均值，用均值替换缺失。回归查补： 是把缺失属性作为因变量， 其他相关属性作为自变量， 利用他们之间的关 系建立回归模型的来预测缺失值，以此完成缺失值插补的方法。（3）. 多重查补： 多值插补的思想来源于贝叶斯估计， 认为待插补的值是随机的， 它的值

2、来 自于已观测到的值。 具体实践上通常是估计出待插补的值， 然后再加上不同的噪声， 形成多 组可选插补值。根据某种选择依据，选取最合适的插补值。多重插补方法分为三个步骤：为每个空值产生一套可能的插补值，这些值反映了无 响应模型的不确定性； 每个值都可以被用来插补数据集中的缺失值， 产生若干个完整数据集 合。每个插补数据集合都用针对完整数据集的统计方法进行统计分析。对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。二、实验目的掌握数据预处理的基本方法。三、实验内容1、R 语言初步认识（掌握 R 程序运行环境）2、实验数据预处理。（掌握 R 语言中数据预处理的使用） 对给定的测试

3、用例数据集，进行以下操作。1）、加载程序，熟悉各按钮的功能。2）、熟悉各函数的功能，运行程序，并对程序进行分析。对餐饮销量数据进统计量分析，求销量数据均值、中位数、极差、标准差，变异系 数和四分位数间距。对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。3）数据预处理缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理对连续属性离散化：用等频、等宽等方法对数据进行离散化处理四、实验步骤1. 将数据加载，通过函数计算所需的值2. 对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。3. 数据预处理。分别采用等宽离散化，等频离散化，聚类离散化来实现，画出图示结

4、果。五、实验结果1销售数据的加载以及对于函数的计算中检砺准差芟异系 故1/4分 准燧3/4*12755,2152655.85MS4,44751X2&8027253482451.3753020.125574.152画出帕累托图兰$血黒眦題O需D Lroso gQ詈O零二無0战 Cl 9LOS-口003对数据的预处理(1)缺省值的处理sale?dale34+2190石33K.11397iaeB3744.11374060.31S5104060.3185113614.718313他5占1921323J3.11S114209011ISO2352 117Q163056 317B(2)对连续属性离散

5、化六、思考与分析1、异常值的存在会对挖掘结果带来什么样的不良影响？对异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除的把异常值包括进数据的计算分析过程中，会给结果带来不良影响2、为什么需要对数据进行规范化？进行规范化的目地：规范化目的是使结构更合理，消除存储异常，使数据冗余尽量小，便于插入、删除和更新实验一、基本原理分类算法是解决分类问题的方法。分类算法通过对已知类别训练集的分析，从中发现分类规则，以此预测新数据的类别。分类算法的应用非常广泛，银行中风险评估、客户类别分类、文本检索和搜索引擎分类、安全领域中的入侵检测以及软件项目中的应用等等。二、

6、实验目的：掌握CART决策树构建分类模型。三、实验内容告警及线损数据和该用户在当天是否窃漏电的标291个样本数据，得到专家样本，使用CART20%作为测试样本。对所有窃漏电用户及真诚用户的电量、 识，按窃漏电评价指标进行处理并选取其中 决策树实现分类预测模型。注意：数据的80%作为训练样本，剩下的四、实验步骤1对数据进行预处理2、把数据随机分为两部分，一部分用于训练，一部分用于测试。3、 使用tree包里的tree函数以及训练数据构建CART决策树模型，使用predict函数和构建 的CART决策树模型分别对训练数据和测试数据进行分类。4、使用nnet包里面的nnet函数以及训练数据构建神经网

7、络模型，使用predict函数和构建的神经网络模型分别对训练数据和测试数据进行分类。5、对比分析CART决策树和神经网络模型对数据处理的结果。五、实验结果1、划分后的决策树TH 35aJHimlg 1 ?iiImrjalarm iihJ 25002、运行的nnet脚本4 weights!51.mtialvalue175.274797it亡h10value74.S7S9S4iter20value32.71S723iter30valueSO.534392Itervalue50 55&722iter50value50411731:it："60value50.1237S6irer70

8、value50.413564IterSOvalue50 * 123238iter30value4.969205iter1<JOvalue49.957947finalvalue 4 9i. 9S7547二匸口匸匸亡d ftei 10Q ivczavicns六、思考与分析1尝试采用神经网络对数据进行分类，并与CART决策树的结果进行比较。比较结果如下图显示False positive rate实验三一、实验原理K- mea ns算法是硬聚类算法， 是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规 则。K-mean

9、s算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标 J最小。算法采用误差平方和准则函数作为聚类准则函数。二、实验目的：1、利用R实现数据标准化。2、利用R实现K-Meams聚类过程。三、实验内容1、依据航空公司客户价值分析的LRFMC模型提取客户信息的 LRFMC指标。对其进行标准差标准化并保存后，采用 k-mea ns算法完成客户的聚类，分析每类的客户特征，从而获得每类客户的价值。编写R程序，完成客户的 k-means聚类，获得聚类中心与类标号，并统计每个类别的客户数四、实验步骤1、对已有的数据进行数据清理，对处理后的数据进行保存。2、数据探索，确定探索分

10、析的变量，去掉日期型变量，最终输出变量最值、缺失情况。3、将数据进行标准化处理。4、进行聚类分析，得出类别分布。五、实验结果1、数据清理结果f tKSr_H-KH l_DAI EGLNULRFFV_TO *ttOftK.UTYWORKJHtAIMCEUFtK.LXMJl£POK/li/24男aCM2细眄2OTV2/1C2 DO 7/1/3snUF匚阳35I1D0JM7/2/1JDO7/V3OflitsCN4211男合Ljqs Angele iCAUS5.ML L-.CH5597?£廿亠"斗N74492420GK/3/2Z2D05/J/2SJI5号常IFB匚N226

11、312DI 0/479TB'噩忡在CN32157201I/&/72QH1/7/1矣5；DRAMCVRS2、聚类分析结果1X5584LOL-0.1 16S3Q41R0.0(b65l 5 54QF-0 008600261M-a.M64U0H25c-O.QIOIQSO5218617.00.1 SI 643630.02842155070.01 19658210.01 06254020.01 17677634343400.090300970.024004S0920.0219702900 0175010240 0195402746206.0D.ll 785.1 72 7-0.01 1 1

12、11 25SS0.01 2SS04710.008034310 01D6622b531026 50.013289070.0006473 5250.0142538150.0086981920.01025627六、思考与分析1、使用不同的预处理对数据进行变化，再使用k-means 算法进行聚类，对比聚类的结果。k-means 算法接受参数 k ；然后将事先输入的 n 个数据对象划分为 k 个聚类以便使得所 获得的聚类满足： 同一聚类中的对象相似度较高； 而不同聚类中的对象相似度较小。 聚类相 似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。优点： 1. 计算时间段，速度快

13、； 2. 容易解释； 3. 聚类效果还不错。实验四一、实验原理Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情 节的向下封闭检测两个阶段来挖掘频繁项集。该算法的基本思想是：首先找出所有的频集， 这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则， 其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递归的方法。二、实验目的掌握R

14、语言实现Apriori算法的过程。三、实验内容1、用R导入案例的事务集，每一行为一个事务集。调用其中的关联规则算法函数，输入算法的最小支持度与置信度， 获得中医症型系数与患者 TNM分期的关联规则，并将规则保存。四、实验步骤1、对数据进行离散化的处理，取六种证型列数，然后对每单个属性列进行聚类操作，结果 保存用来后面的实验结果分析。2、对已处理好的数据实行Apriori算法，生成关联规则。五、实验结果1、支持度和置信度的值如下图所示1 win appear anew ”0don* 0,0011.let trflmsctton? ,., 2B itf , 9J0 tran<actidone

15、 0, OOsJ -iortlng 石 nd recoding itemsdone 0,00s ,匚 renting rans action Treedone ro, QOs.匚heckirq subsets af size 1 2 3 40.ODs.hr 1 c I ng2 rdone ODs.Ing 乂 object 0. ODs.> rul«申爻庭飙巩笔浙5ft of ? rulz> irrpFCTt trk es)*观训|111亡941 关序规刖IhsrhssupparttdnfidenesL1J 冲性尖WliE型累数Y丄，户肯用壺订型票枝# 刀-> Td分

16、則-H 4 0.07t>ib2 Q.a/SO(X)D 2三耶蜡证塑麋数-A d.JF目明楼证里斥炊-+ 3 -> TN*號绷-H 4 Q.W删彌员O.B7951S1ltfL：i.qfiflRd?2 1. 70?£B六、思考与分析1、Apriori算法的关键步骤是找频繁集与根据置信度筛选规则，明白这两部后，可以按照自 己的思路编写与优化关联规则程序。代码如下library(arules) # 加载 arules 程序包data(Groceries) #调用数据文件freque ntsets=eclat(Groceries,parameter=list(support=0.0

17、5,maxle n=10) #求频繁项集in spect(freque ntsets1:10) # 察看求得的频繁项集inspect(sort(frequentsets,by=” support ”根据支持度对求得的频繁项集排序并察看(等价于in spect(sort(freque ntsets)1:10)rules=apriori(Groceries,parameter=list(support=0.01,c on fide nce=0.01) #求关联规贝 0summary(rules) #察看求得的关联规则之摘要_|x=subset(rules,subset=rhs%in% ” whole milk ” &氓>=求所需要的关联规则子集inspect(sort(x,by=” support ”根据支持度对求得的关联规则子集排序并察看lhs rhs support con fide nce lift |1 other vegetables => whole