河北工业大学数据挖掘实验报告

1、word实验一 数据预处理 一、实验目的 1、熟悉 VC+编程工具和完全数据立方体构建、联机分析处理算法。 2、浏览拟被处理的的数据，发现各维属性可能的噪声、缺失值、不一致性等，针对存在的问题拟出采用的数据清理、数据变换、数据集成的具体算法。3、用 VC+编程工具编写程序，实现数据清理、数据变换、数据集成等功能。 4、调试整个程序获得清洁的、一致的、集成的数据，选择适于全局优化 的参数。 5、写出实验报告。二、实验原理 1、 数据预处理现实世界中的数据库极易受噪音数据、遗漏数据和不一致性数据的侵扰，为提高数据质量进而提高挖掘结果的质量，产生了大量数据预处理技术。数据预处理有多种方法：数据清理，

2、数据集成，数据变换，数据归约等。这些数据处理技 术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要 的时间。2、数据清理 数据清理例程通过填写遗漏的值，平滑噪音数据，识别、删除离群点，并解 决不一致来“清理数据。 3、数据集成 数据集成将数据由多个源合并成一致的数据存储，如数据仓库或数据立方 体。 4、数据变换 通过平滑聚集，数据概化，标准化等方式将数据转换成适用于数据挖掘的形式。 5、数据归约使用数据归约可以得到数据集的压缩表示，它小得多，但能产生同样或几乎同样的分析结果。常用的数据归约策略有数据聚集、维归约、数据压缩和数 字归约等。三、实验内容和步骤1、实验内容1、用

3、VC+编程工具编写程序，实现数据清理、数据变换、数据集成等功能，并在实验报告中写出主要的预处理过程和采用的方法。 2、产生清洁的、一致的、集成的数据。 3、在试验报告中写明各主要程序片段的功能和作用。2、实验步骤 1仔细研究和审查数据，找出应当包含在你分析中的属性或维，发现数据 中的一些错误、不寻常的值、和某些事务记录中的不一致性。2进行数据清理，对遗漏值、噪音数据、不一致的数据进行处理。 例如： 1、日期中的缺失值可以根据统一的流水号来确定。 2、购置的数量不能为负值。 3进行数据集成和数据变换和数据归约，将多个数据源中的数据集成起来， 减少或防止结果数据中的数据冗余或不一致性。并将数据转换

4、成适合挖掘的形 式。 例如： 1、进行完数据清理后发现购置数量、销售价格、总额是相互关联的项可以 去掉总额。 2、三个流水表日期的格式不一样应统一成相同的日期格式。 3、门号和 pos 机号码一样，可以去掉一个。 4、附加：同一购物篮的商品序号应该是顺序递增的。四、实验结果源程序：#include <iostream>#include <string>#include <fstream>#include <algorithm>using namespace std;class Salespublic:string serial;int marke

5、t;int posno;string date;int sn;int id;float num;float price;float total;void print()cout<<serial<<" "<<market<<" "<<posno<<" "<<date<<" "<<sn<<" "<<id<<" "<<num&l

6、t;<" "<<price<<" "<<total<<endl;int main()ofstream outfile("fl.txt",ifstream:app);if (!outfile)cout<<"open error!"<<endl;exit(1);char name50;ifstream infile;cout<<"输入要翻开的txt文件名：1019.txt，1020.txt，1021.txt"&

7、lt;<endl;/int N=3;/for (int k=0;k<N;k+)/cout<<"输入要翻开的第"<<k+1<<"个文件名"<<endl;cin>>name;infile.open(name,ios:in);/ifstream infile("1019.txt",ios:in);cin.clear();/*string contents;*/if (infile.fail()cout<<"error open!"<

8、<endl;/ofstream outfile("fl.txt",ofstream:app);/ofstream outfile("fl.txt",ios:out);/if (!outfile)/cout<<"open error!"<<endl;/exit(1);/Sales sal13000;int sal_size=0;while (!infile.eof()infile>>salsal_size.serial>>salsal_size.market>>salsa

9、l_size.posno>>salsal_size.date>>salsal_size.sn>>salsal_size.id>>salsal_size.num>>salsal_size.price>>salsal_size.total;sal_size+;cout<<"文档"<<name<<"的长度是："<<sal_size<<endl;/char Tc;/Tc=getchar();/cout<<Tc<&l

10、t;endl;int I;for (int i=0; i<sal_size;i+)/sali.print();if (sali.num<0)sali.num=-sali.num;sali.date.assign(sali.serial,0,8);outfile<<sali.serial<<"t"<<sali.market<<"t"<<sali.date<<"t"<<sali.sn<<"t"<<sa

11、li.id<<"t"<<sali.num<<"t"<<sali.price<<endl;I=i;cout<<"文档fl.txt的长度是："<<sal_size<<"t"<<I<<endl;char TTc;cin>>TTc;/TTc=getchar();cout<<TTc<<endl;infile.close();/outfile.close();return

12、0;运行结果： 实验二 数据立方体与联机分析处理构建 一、实验目的 1、熟悉 VC+编程工具和根本数据立方体构建、联机分析处理算法。 2、建立一致的高质量的关系型数据库。 3、在建立的数据库根底上建立根本数据立方体。 4、写出实验报告。 二、实验原理 1、关系型数据库 关系数据库，是创立在关系模型根底上的数据库，借助于集合代数等数学概 念和方法来处理数据库中的数据。关系模型由关系数据结构、关系操作集合、关 系完整性约束三局部组成。 2、数据立方体 一种多维数据模型，允许以多维对数据建模和观察。它由维和事实定义。 维是一个单位想要的透视或实体。每个维可以有一个与人相关联的表，称为维表，它进一步描

13、述维，如 item 维的维表包含属性 Name、time、type 等。 事实：多维数据模型围绕诸如销售这样的主题组织，主题用事实表示， 事实是数值度量的。 3、OLAP 操作 上卷：沿着一个维的概念分层向上攀升或通过维归约在数据立方体上进行聚集。 下钻：上卷的逆操作，可能过沿维的概念分层向下或引入附加的维来实现。 切片：在给定的数据立方体的一个维上进行选择，导致一个子立方体。就是数据立方体的某一层数据。 切换：在两个或多个维上选择，定义子立方体。就是数据立方体某一层 数据中的某一块。4、数据仓库的设计 选取待建模的商务处理：都有哪些商务过程，如订单、发票、发货、库 存、记账管理、销售或一般分

14、类账。 选取商务处理的粒度：对于商务处理，该粒度是根本的，在事实表中是 数据的原子级，如单个事务、一天的快照等。 选取用于每个事实表记录的维：典型的维是时间、商品、顾客、供给商、 仓库、事务类型和状态。 选取将安放在每个事实表记录中的度量：典型的度量是可加的数值量， 如 dollars_sold 和 units_sold。三、实验内容和步骤 1、实验内容1、用 VC+编程工具编写程序，建立关系型数据存储结构，建立数据立方体，并在实验报告中写出主要的过程和采用的方法。 建立的数据立方体的维度为 3，分别是商品大类、商店编号和时间。 具体要求：1、建立三个存储表格txt 文件分别存储 1019、1

15、020、1021 的数据； 2、每个 txt 文件横向为商品大类商品 ID 前五位10010 油、 10020 面制品、10030 米和粉、10088 粮油类赠品； 3、每个 txt 纵向为日期 13-19 这一个星期表中存储的值为总销 售额。 2、进行简单的 OLAP 数据查询 具体要求：能查出 2022 商店 10010 油类商品 13 日总的销售额； 能计算出 2022 商店 10030 米和粉总的销售额； 能查询出指定商店指定种类商品的销售额；附加题2、实验步骤 1仔细研究和审查数据，找出应当包含在你分析中的属性或维去掉不需要 的数据。 2选择适宜的存储结构，实现数据的存储访问，并实现

16、相应的功能。3经过数据预处理后的数值已经补充了缺失值，并统一了格式。4读取预处理数据的商品 ID、日期、计算出销售额。四、实验结果源程序：#include<iostream>#include<string>#include<fstream>#include<algorithm>using namespace std;class Sales_npublic:string serial;int market;char date10;int sn; int id;float num;float price;int main()char name150,

17、name250;ifstream infile;cout<<"输入实验一中经过预处理的数据文件：fl.txt"<<endl;cin>>name1;infile.open(name1,ios:in); /*string contents;*/if(infile.fail()cout << "error open!" << endl;cout<<"输入实验二要保存的存有数据立方体的文件名：cube3.txt"<<endl;cin>>name2;

18、ofstream outfile;outfile.open(name2,ios:out);if(!outfile)cout<<"open eror!"<<endl;exit(1);Sales_n sal10000;int sal_size=0;int i=sal_size;float total3105=0;while(!infile.eof()infile >> salsal_size.serial >> salsal_size.market >> salsal_size.date>> salsal_

19、size.sn>> salsal_size.id>> salsal_size.num>> salsal_size.price;cout<<"i: "<<i<<endl;for (int k=0;k<3;k+) /此for循环默认店号是从1019连续增加的3个整数int Km=1019+k;/cout<<"Km: "<<Km<<endl;if (sali.market=Km)char p= sali.date7;if(sali.id/100=1

20、0010 )switch(p)case '3':totalk00+=sali.num*sali.price;break;case '4':totalk10+=sali.num*sali.price;break;case '5':totalk20+=sali.num*sali.price;break;case '6':totalk30+=sali.num*sali.price;break;case '7':totalk40+=sali.num*sali.price;break;case '8':tot

21、alk50+=sali.num*sali.price;break;case '9':totalk60+=sali.num*sali.price;break;if(sali.id/100=10020 )switch(p)case '3':totalk01+=sali.num*sali.price;break;case '4':totalk11+=sali.num*sali.price;break;case '5':totalk21+=sali.num*sali.price;break;case '6':totalk3

22、1+=sali.num*sali.price;break;case '7':totalk41+=sali.num*sali.price;break;case '8':totalk51+=sali.num*sali.price;break;case '9':totalk61+=sali.num*sali.price;break;if(sali.id/100=10030)switch(p) case '3':totalk02+=sali.num*sali.price;break;case '4':totalk12+=s

23、ali.num*sali.price;break;case '5':totalk22+=sali.num*sali.price;break;case '6':totalk32+=sali.num*sali.price;break;case '7':totalk42+=sali.num*sali.price;break;case '8':totalk52+=sali.num*sali.price;break;case '9':totalk62+=sali.num*sali.price;break;else if(sa

24、li.id/100=10088)switch(p) case '3':totalk03+=sali.num*sali.price;break;case '4':totalk13+=sali.num*sali.price;break;case '5':totalk23+=sali.num*sali.price;break;case '6':totalk33+=sali.num*sali.price;break;case '7':totalk43+=sali.num*sali.price;break;case '

25、;8':totalk53+=sali.num*sali.price;break;case '9':totalk63+=sali.num*sali.price;break;if (sal_size<5000)sal_size+;i=sal_size;elsesal_size=0;i=sal_size;/cout<<"sal_size+="<<sal_size<<endl;/sal.clear();/if (outfile)for (int kk=0;kk<3;kk+)cout<<"k

26、k"<<kk<<endl;cout<<"销售日期"<<'t'<<"10010油 "<<"10020面制品 "<<"10030米和粉 "<<"10088粮油类赠品 "<<endl;int j = 20030413;/for (int i=0;i<7;+i)outfile<<" "<< totalkki0<<

27、;'t'<<totalkki1<<'t'<<totalkki2<<'t'<<totalkki3<<'t'<<endl;cout<<j<<" "<< totalkki0<<'t'<<totalkki1<<'t'<<totalkki2<<'t'<<totalkki3<<

28、;'t'<<endl;j+;/else/cerr<<"无法翻开文件！"<<endl;/ifstream infile2("cube2.txt",ios:in);/int m=0;/while(!infile.eof()/infile >> totalm0 >> totalm1 >>totalm2>>totalm3;/m+;/if(infile2.fail()/cout << "error open!" << en

29、dl;/float sum=0.0;/for(int i=0;i<7;+i)/sum+=totali2;/cout<<"2022号商铺10010油类商品14日销售额为："<<total10<<endl;/cout<<"2022号商铺10030米和粉类商品销售总额为："<<sum<<endl;infile.close();/关闭文件outfile.close();/关闭文件system( "PAUSE ");运行结果：实验三 应用 Apriori 算法挖掘频繁

30、项集一、实验目的1熟悉 VC+编程工具和 Apriori 频繁项集挖掘算法。 2根据管理层的需求，确定数据挖掘的任务，明确数据挖掘的功能，也 就是明确要挖掘什么。 3由确定的数据挖掘任务，从实验一处理后的结果中，采用切块或切片 等联机分析处理技术，选择出挖掘任务相关数据。 4用 VC+编程工具编写 Apriori 算法的程序，对任务相关数据运行 Apriori 算法，挖掘出所有的频繁项集。 5写出实验报告。 二、实验原理 1、Apriori 算法 Apriori 使用一种称作逐层搜索的迭代方法，k 项集用于探索k+1项集。 首先，通过扫描数据库，累计每个项的计数，并收集满足最小支持度的项， 找

31、出频繁 1 项集的集合。该集合记作 L1。然后，L1 用于找频繁 2 项集的集合 L2，L2用于找 L3，如此下去，直到不能再找到频繁 k 项集。找每个 Lk 需要一次 数据库全扫描。 2、提高频繁项集逐层产生的效率 Apriori 性质：频繁项集的所有非空子集也必须是频繁的。三、实验内容和步骤 1、实验内容 在给定的数据中提取统一购物篮购置的商品信息，由这些数据构成事务数据 库 D，挖掘其中的频繁项集 L。 挖掘频繁项集的算法描述如下： Apriori 算法：使用逐层迭代找出频繁项集 输入：事务数据库 D；最小支持度阈值。 输出：D 中的频繁项集 L。 1 L1 = find_frequen

32、t_1-itemsets(D); / 挖掘频繁 1-项集，比拟容易 2 for (k=2;Lk-1 ;k+) 3 Ck = apriori_gen(Lk-1 ,min_sup); / 调用 apriori_gen 方法生成候选频繁 k-项集分为两步：合并、减枝 4 for each transaction t D / 扫描事务数据库 D 5 Ct = subset(Ck,t); 6 for each candidate c Ct 7 c.count+; / 统计候选频繁 k-项集的计数 8 9 Lk =c Ck|c.countmin_sup / 满足最小支持度的 k-项集即为频 繁 k-项集

33、10 11 return L= k Lk; / 合并频繁 k-项集k>0 算法在根据频繁 k-1 项集生成频繁 K 项集过程中要计算频繁 K 项集中每个 元素的支持度，并计算 K 项集中每个 k-1 项子集是否在 Fk-1中，上述两条任何一 条不满足，那么删去这个 K 项集中的元素2、实验步骤 1翻开试验用数据，读取出同一流水号的商品 ID 并取前 5 位，生成以行为 单位生成事务数据集 transitions; 2ind_frequent_1-itemsets 生成频繁一项集 foreach transaction in transitions for(eachitem intrans

34、action oneItemSet； oneItemSet.count+；/对 1 项集进行计数 3、apriori-gen (Lk-1) 候选集产生算法 For all itemset pLk-1 do For all itemset qLk-1 do If p.item1=q.item1, p.item2=q.item2, ,p.itemk-2=q.itemk-2, p.itemk-1!=q.itemk-1 then begin c=pq/p、q 合并后任意的 Lk-1子集 if has_infrequent_subset(c, Lk-1) then delete c /存在 c 不属于

35、Lk-1剪枝 else add c to Ck End Return Ck 4、has_infrequent_subset(c, Lk-1判断候选集的元素 For all (k-1)-subsets of c do If Not(SLk-1) THEN return TRUE; Return FALSE;四、实验结果源程序：#include<iostream>#include<string>#include<fstream>#include<algorithm>using namespace std;class Sales_npublic:str

36、ing serial;int market;16char date10;int sn;int id;float num;float price;int main()/翻开并创立txt 文件/char name150,name250;ifstream infile;cout<<"选择要翻开的文件：1019n.txt 1020n.txt 1021n.txt"<<endl;cin>>name1;infile.open(name1,ios:in);/*string contents;*/if(infile.fail()cout <<

37、"error open!" << endl;cout<<"要保存的文件名："<<endl;cin>>name2;ofstream outfile(name2,ios:out);if(!outfile)cout<<"open eror!"<<endl;exit(1);/访问预处理文件/Sales_n sal10000;int sal_size=0;int ser_size=0;int m = 0,n = 1;int new1340020=0; /暂时储存商品IDwh

38、ile(!infile.eof()infile >> salsal_size.serial >> salsal_size.market >> salsal_size.date>> salsal_size.sn>>salsal_size.id>> salsal_size.num>> salsal_size.price;sal_size+;/取统一流水的商品ID 前三位按升序无重复的保存起来/new100=sal0.id/10000;for (int i =1;i<sal_size;i+)if (sali.s

39、erial=sali-1.serial)new1mn=sali.id/10000; /流水号相同n+;/outfile<<sali.id/100<<'t'else/排序/for(int k = 0;k<n;k+)for(int j = 0;j < n-k-1;j+)if(new1mj > new1mj+1)int t = new1mj;new1mj = new1mj+1;new1mj+1 = t;for(int l= 0;l< n;l+)if(new1ml-1!=new1ml)outfile<<new1ml<&l

40、t;'t'outfile<<endl;m+;n = 0;new1mn=sali.id/10000;n+;infile.close();/关闭文件outfile.close();/关闭文件system( "PAUSE ");Apriori 算法挖掘频繁项集support = 2#include <iostream>18#include <fstream>#include <string>#include <vector>#include <map>#include <cmath>

41、;#include <bitset>#include <algorithm>#include <iomanip>using namespace std;const int minsup=2; /设置最小支持度map<string,int> items_count; /统计各个项集的数目vector<string> mergeItem(vector<string> vect1,vector<string> vect2,int round); /合并生成新的候选项集int isExist(vector<str

42、ing> item,vector<vector<string> >items); /判断项集item 是否已经存在候选项集集合items 中,存在那么返回vector<string> mergeItem(vector<string> vect1,vector<string> vect2,int round) /判断两个项集是否可以合并(要求只有一项不同)成一个新的项集做为候选集/剪枝工作/int count=0; /统计两个vector 中相同的项的数目vector<string> vect;map<strin

43、g,int> tempMap; /辅助判断两个vector 中重复的项for(vector<string>:size_type st=0;st<vect1.size();st+)tempMapvect1st+;vect.push_back(vect1st);for(int st=0;st<vect2.size();st+)tempMapvect2st+;if(tempMapvect2st=2) /表示这两项相同count+;elsevect.push_back(vect2st);if(count+1)!=round) /要求两个工程集只有一个工程不相同，其他都相同

44、vect.clear();return vect;19int isExist(vector<string> item,vector<vector<string> >items) /判断项集item 是否已经存在候选项集集合items 中,存在那么返回int count; /统计相同的项的数目if(!items.empty()for(vector<vector<string> >:size_type ix=0;ix!=items.size();ix+)count=0;for(vector<string>:size_type

45、iy=0;iy!=itemsix.size();iy+)for(vector<string>:size_type iz=0;iz!=item.size();iz+)if(itemiz=itemsix.at(iy)count+;if(count=item.size() /表示存在return 1;return 0;int main()vector<vector<string> > datavec; /原始数据项集vector<vector<string> > candidatevec; /候选项集vector<vector<

46、string> > frequentvec; /频繁项集vector<map<string,int> > bitmap; /判断某个工程在某一个事务中是否存在，存在那么值为1，反之为0long trancount=0; /原始事务总数char name150;ifstream file;cout<<"选择要翻开的文件：new1.txt new2.txt new3.txt"<<endl;cin>>name1;file.open(name1,ios:in); /翻开数据文件if(!file) /检查文件是否

47、翻开成功cout<<"Fail to open data file!"<<endl;20return 1;elsestring temp;vector<string> item; /项集的临时vectorint begin,end;while(getline(file,temp) /一行一行读入数据trancount+;begin=0;temp.erase(0,temp.find_first_not_of("rtn "); /去除字符串首部的空格temp.erase(temp.find_last_not_of(&quo

48、t;rtn")+1);while(end=temp.find('t',begin)!=string:npos) /每一个事务中的项是以't'为分隔符的item.push_back(temp.substr(begin,end-begin); /将每一个项插入item 中begin=end+1;item.push_back(temp.substr(begin); /一个事务中的最后一项datavec.push_back(item); /将一个事务中的所有项当成一个整体插入另一个大的vector中item.clear(); /清空itemcout<&l

49、t;"Press Enter to continue the processing" /pausegetchar();map<string,int> item_map;for(vector<vector<string> >:size_type ix=0;ix!=datavec.size();+ix)for(vector<string>:size_type iy=0;iy!=datavecix.size();+iy)items_countdatavecix.at(iy)+; /该项集的计数加item_mapdatavecix.a

50、t(iy)=1; /表示该工程在该事务中存在，值为1，否那么默认为0bitmap.push_back(item_map);item_map.clear(); /这里一定要清空一下map<string,int>:const_iterator map_it=items_count.begin();cout<<"候选项集1:"<<endl;while(map_it!=items_count.end() /输出候选1 项集cout<<""<<map_it->first<<"&

51、quot;<<endl;map_it+;cout<<"Press Enter to continue the processing" /pause21getchar();map_it=items_count.begin();cout<<"频繁1 项集(minsup=2):"<<endl;while(map_it!=items_count.end() /频繁1 项集if(map_it->second>minsup) /支持度大于2cout.setf(ios:fixed);cout<<&

52、quot;"<<map_it->first<<""<<" 支持度:"<<setprecision(6)<<map_it->second<<endl;item.push_back(map_it->first);frequentvec.push_back(item); /插入候选项集的vector 中item.clear();map_it+;if(!frequentvec.empty() /判断频繁项集是否为空，为空那么退出cout<<"

53、Press Enter to continue the processing" /pausegetchar();int round=1; /生成候选项集轮次int found; /是否包含有非频繁的子集,为表示含有，有的话进行剪枝string tempstr;vector<string> tempvec;do/生成下一轮的候选项集vector<vector<string> >:size_type st=frequentvec.size();candidatevec.clear(); /去除上一轮的候选项集for(vector<vector&l

54、t;string> >:size_type st1=0;st1<st;st1+)for(vector<vector<string> >:size_type st2=st1+1;st2<st;st2+)found=0;item=mergeItem(frequentvecst1,frequentvecst2,round); /调用函数合并生成下一轮的候选项集if(!item.empty()&&!isExist(item,candidatevec) /假设经过判断处理后返回的vector 不为空且还不存在该项集，那么作为候选项集参加候选

55、vector 中/实现剪枝/string teststr;int testint;tempvec=item;sort(tempvec.begin(),tempvec.end();while(next_permutation(tempvec.begin(),tempvec.end() /遍历所有的组22合for(vector<string>:size_type tempst=0;tempst!=tempvec.size();tempst+) /拼接出该字符串组合tempstr+=tempvectempst;for(map<string,int>:const_iterato

56、rtempit=items_count.begin();tempit!=items_count.end();tempit+)if(tempit->second<minsup) /非频繁项集if(tempstr.find(tempit->first)!=string:npos) /表示包含有非频繁子项集found=1;teststr=tempit->first;testint=tempit->second;break;tempstr.erase();if(found) /包含非频繁子项集break;if(!found) /只有不包含有非频繁子项集才参加候选项集中，否那么剪枝掉candidatevec.push_back(item);found=0; /重置frequentvec.clear(); /去除上一轮的频繁项集round+;cout<<"候选"<<round<<"项集:"<<endl;for(vector<vector<string> >:size_type ix=0;ix!=candidatevec.size();+ix) /输出候选项集23cout<&l