数据挖掘实验教案(共9页)

1、精选优质文档-倾情为你奉上实验三： Naive Bayes算法实现分类分析一、 实验目的通过实验使学生掌握Naive Bayes算法的基本原理。通过实验，初步培养学生对Naive Bayes算法的分类分析，学会Naive Bayes算法输入命令字符语句的编写，为后续课程的学习奠定基础。二、 实验内容本实验的主要内容是通过对wake软件系统的实验，了解Naive Bayes算法分类分析的原理以及具体的实验步骤。三、 实验设备（一）实验设备1、计算机控制系统，包括计算机、wake软件等（二）软件环境1、服务器采用 Java 操作系统；2、操作软件：wake软件四、 试验步骤1、运行weka，打开e

2、xplorer后选择open file，找到我们的weather文件，选择文件后效果如下图所示：2、选择算法。如下图，选择Classify： 之后点击Choose，选择NaiveBayes算法。如下图所示：3、现在可以进行算法参数的设定，点击Choose后的文本框，出现下图：在此，参数采用默认值，点击Start按钮，就可得出MultilayerPerceptron算法对weather.arff的实现结果，如下图所示：4、有关实验结果的解读：从实验结果中，我们得到在14个实例中，有9个被正确预测、5个被错误预测。而下列矩阵：表示的是，被预测yes中的9个实例，有8个是被正确预测，1个是被错误预测

3、；被预测no中的5个实例，有4个是被错误预测，1个是被正确预测（从而也验证了之前的14个实例，有9个被正确预测，5个被错误预测）。五、 实验报告实验结束后，学生对模拟操作进行总结，编写出实验报告。实验报告包括如下内容：1、实验题目2、实验的目的和要求；3、实验仪器4、实验步骤5、实验结论6、本次实验取得的主要收获和体会，结合所学的理论知识谈谈Naive Bayes算法应用的好处以及还有哪些应用前景。实验四： 决策树算法分析分类与回归1、 实验目的1、通过wake模拟，让学生直观的观察决策树算法分析分类与回归的过程； 2、锻炼学生对相关设备的操作水平；3、通过模拟和讨论，确保学生深刻体会决策树算

4、法对分类的重要性。二、实验内容本实验的主要内容是通过对wake软件系统的实验，了解决策树算法分析分类与回归实验原理以及具体的实验步骤。三、实验设备（一）实验设备1、计算机控制系统，包括计算机、wake软件等（二）软件环境1、服务器采用Microsioft Windows Java 操作系统；2、操作软件：wake软件四、选择算法我们使用C4.5决策树算法对bank-data建立起分类模型。训练集数据使用bank.arff，待预测集数据使用bank-new.arff。五、试验步骤1、我们用“Explorer”打开训练集“bank.arff”，切换到“Classify”选项卡，点击“Choose”

5、按钮后可以看到很多分类或者回归的算法分门别类的列在一个树型框里。树型框下方有一个“Filter.”按钮，点击可以根据数据集的特性过滤掉不合适的算法。我们数据集的输入属性中有“Binary”型（即只有两个类的分类型）和数值型的属性，而Class变量是“Binary”的；于是我们勾选“Binary attributes”“Numeric attributes”和“Binary class”。如下图所示：点击“Choose”右边的文本框，弹出新窗口为该算法设置各种参数。点“More”查看参数说明，点“Capabilities”是查看算法适用范围。这里我们把参数保持默认。现在来看左中的“Test Op

6、tion”。为了保证生成的模型的准确性而不至于出现过拟合（overfitting）的现象，我们有必要采用10折交叉验证（10-fold cross validation）来选择和评估模型。2、训练数据集选上“Cross-validation”并在“Folds”框填上“10”。点“Start”按钮开始让算法生成决策树模型。如下图：很快，用文本表示的一棵决策树，以及对这个决策树的误差分析等等结果出现在右边的“Classifier output”中。同时左下的“Results list”出现了一个项目显示刚才的时间和算法名称。如果换一个模型或者换个参数，重新“Start”一次，则“Results l

7、ist”又会多出一项。我们看到“J48”算法交叉验证的结果之一为：Correctly Classified Instances 206 68.6667 % 如下图所示：也就是说这个模型的准确度只有69%左右。也许我们需要对原属性进行处理，或者修改算法的参数来提高准确度。右键点击“Results list”刚才出现的那一项，弹出菜单中选择“Visualize tree”，新窗口里可以看到图形模式的决策树。建议把这个新窗口最大化，然后点右键，选“Fit to screen”，可以把这个树看清楚些。如下图所示：解释一下“Confusion Matrix”的含义。 这个矩阵是说，原本“pep”是“YE

8、S”的实例，有74个被正确的预测为“YES”，有64个错误的预测成了“NO”；原本“pep”是“NO”的实例，有30个被错误的预测为“YES”，有132个正确的预测成了“NO”。74+64+30+132 = 300是实例总数，而(74+132)/300 = 0.68667正好是正确分类的实例所占比例。这个矩阵对角线上的数字越大，说明预测得越好。3、训练集应用：在test option中 选择 supplied test set选择要预测的数据集bank-new.arff后运行显示：= Predictions on test data =inst# actual predicted error

9、prediction ()1 1:? 1:YES 0.752 1:? 2:NO + 0.7273 1:? 1:YES 0.954 1:? 1:YES 0.8815 1:? 2:NO + 0.8426 1:? 2:NO + 0.7277 1:? 2:NO + 0.6678 1:? 2:NO + 0.79 1:? 1:YES 0.88110 1:? 2:NO + 0.711 1:? 2:NO + 112 1:? 2:NO + 113 1:? 2:NO + 0.84214 1:? 2:NO + 0.84215 1:? 2:NO + 0.77816 1:? 1:YES 0.8814、有关预测的解释：这里的第一列就是我们提到过的“Instance_number”，第二列则是“bank-new.arff”中原来的“pep”值（这里都是“?”缺失值）。第三列就是刚才的“predictedpep”，第五列对预测结果的置信度（confidence ）。比如说对于实例1，我们有75%的把握说它的“pep”的值会是“YES”，对实例5我们有84.2%的把握说它的“pep”值会是“NO”。 5、扩展训练将bank-data.csv文件分割成两部分，一大部分作为训练集，一小部分作为预测集。数据集离散化后，保存为arff文件。注意这两个a