湖南大学人工智能实验三

1、朴素贝叶斯算法班级：计科1302姓名：阳芹 学号：201308010220一、朴素贝叶斯分类的工作过程如下：设d是训练元组和相关联的类标号的集合，每个元组使用一个n维屈性向 量x表示，* =（%冷压），描述冇n个屈性比-如-禺对元组的测量。假定有m个类给定元组x,分类法将预测x具有最高后验概率 （条件xt）的类。朴素贝叶斯分类法预测x屈于类q,当且仅当p（g | x） > p（c.x）a<j<ma<i<mj 工 i（公式3）这样，最需要最大的g 闪。其中* 闪最大的类g称为最大后验假设。 根据贝叶斯定理（公式1）有：p（x|cjf（cj（jf（x）（公式4）弘幻对

2、所有的类为常数，因此 只需要p（x|cjp（g）最大即可。档类别的先 验概率未知时，认为它们是相等的，即p（g） = p（q）="（g）,此时只需要 pec）最大化即可。类的先验概率也可以通过4g）=（公式5） 估计，呵为样本总数，为d中类别为g的样本的数量。的计算使用如下的公式:np（xc:）= ypc:）（公式6）为了预测x所属的类别，对每个类别g,计算p(xcjp(cj ,最大值是的g 被认为是x最可能属于的类别。二、实验过程1. 根据汽车评估数据集构建数据结构2. 建立数据后，计算每类样木的先验概率3. 找出最大先验概率，即口j判断此类样本最口j能属于哪一类三、分类结果0.2

3、512560.2914570.2763820.180905process exited after 0.9327 seconds with return ualue 0拮按任意键继续 最大概率是第二类,classvalue二” acc四、时间空间复朵度分析算法时间主要消耗在扫描数据，假设数据属性x=xl, x2,，xn, 数据类规模为m,则时间复朵度为m2n；需耍用数组保存数据信息，空间复 杂丿殳为nirio五、思考题a)两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？决策树拥有最高的的完美的准确率和相对较好的标准误差，但是这 种完美背后是以较人的错误率为代价，而朴索贝叶斯算法的准

4、确率较低, 而标准误差也较高。b)捉岀一种捉高分类器性能的方法并通过实验验证。adaboost元算法捉高分类器性能adaboost的强大之处，在于它能够继承多个弱分类器，形成一个强分类器。所谓弱分类器就是分类错误率大丁五成的分类器，比随机分类还渣。（但是 它的分类算法是确定的，这点和随机分类器不同。显然你无法通过集成随机分 类器得到什么有价值的东西）其具体步骤大致如下：1. 对每个样本给定一个权重do2. 基于权重向量d调用一次弱分类器并得出这次统计的分类器权重值 alpha （注意是分类器权重值，上一步的）3. 基于分类器权重值alpha更新各个样本的权重向量4. 循环2 - 3直到错误率为

5、0或者循环到了指定的次数5. 1-4为训练部分算法，训练好了之后，便可带入样本进行分类。分类的 方法是依次带入训练集中的各个分类器中求出分类结果，然后各部分结果乘以 其对应的分类器权重值alpha再累加求和。六、总结由于实现其他算法的过程屮已经实现了一些通用的数据处理函数，这个算 法实现起来非常的简单。从实验结果看到，朴素贝叶斯分类法的止确率很高 （虽然也冇可能与学习样本和测试样本的分布有关，但是相对与原始的1d3算 法，正确率高了很多）。朴素贝叶斯分类准确率虽然很高但是分类的时候需要 全部学习样木的信息。附代码：trainmultinomialnb(c,d) vextract vocabulary (d)counttokens(d)for each cecnccounttokensi nclass(d,c)priorc/cnc/ntext。concatenat etext of aiidocslnclass(d,c)for each tevtct-counttokensofterm (textc,t)for each tgv con dprobtc/c<return v,prior,condprobapply mu it inomialnb(c,v, prior 3condprob5d) w4extracttokensfrom doc(v,d)f