《模式识别原理、应用及实现》 课件 2.6朴素贝叶斯算法-实验

模式识别1/justinruan/Learning-ML学以致用，知行合一（实践篇）朴素贝叶斯2分多类的朴素贝叶斯

3

多维正态分布的特征向量在大多数情况下，类条件概率可以采用多维变量的正态密度函数来模拟

4

多维正态分布条件下的贝叶斯分析

5朴素贝叶斯与NumPy6基于最小错误率的Bayes分类器

7生成数据集8训练9

预测10样本属于第[2]类，对数概率为：[[-14.98168285-5.23171548-43.93222521]]

可视化

11朴素贝叶斯与sk-Learn12手写数字识别NaïveBayesclassifierFeatures integers0-1613高斯朴素贝叶斯Sklearn的GaussianNB实现了运用于分类的高斯朴素贝叶斯算法。特征的可能性(即概率)假设为高斯分布。classsklearn.naive_bayes.GaussianNB(priors=None)Priorprobabilitiesoftheclasses.类的先验概率。如果指定，则不根据数据调整先验。相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。14naive_bayes.BernoulliNB([alpha,

binarize,

…])NaiveBayesclassifierformultivariateBernoullimodels.伯努利分布naive_bayes.GaussianNB([priors])GaussianNaiveBayes(GaussianNB)高斯分布的朴素贝叶斯naive_bayes.MultinomialNB([alpha,

…])NaiveBayesclassifierformultinomialmodels多项式分布模型训练15Classificationreportforclassifier16学习曲线17多项式分布(MultinomialDistributions)伯努利分布(bernoulidistribution)一次随机试验，成功概率为p，失败概率为q=1-p。二项式分布(binomialdistrubution)扔硬币，硬币正面朝上概率为p,重复扔n次硬币，k次为正面的概率即为一个二项分布概率。多项式分布(multinomialdistribution)二项分布的推广。二项分布的试验结果只有两个(成功和失败)，而多项分布的试验结果则多于两个。网上资料：/Math-Probability-5-2-the-Bernoulli-and-Binomial-Distributions//Math-Probability-5-9-Multinomial-Distribution/18文档分类用MultinomialNB来实现文档自动分类。下载数据20news-18828.tar.gz，解压得到“379”目录，以及此目录下的3个子目录。用train目录下的文档进行模型训练（13180个）用test目录下的文档进行测试（5648个）19数据来源:20news-18828description:20newsgroupsdatasetfordocumentclassification(/jrennie/20Newsgroups)format:DocumentClassificationMultinomialNB假设特征的先验概率为多项式分布文档分类在train目录下包含20个子目录，每个子目录代表一种文档和类型，子目录下的所有文档都属于目录名称所标识和文档类型。20文档的数学表达TF-IDF(TermFrequency-InverseDocumentFrequency,词频-逆文件频率)是一种用于资讯检索与资讯分析的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。一个词语在一篇文章中出现次数越多,同时在所有文档中出现次数越少,越能够代表该文章.21词频(termfrequency,TF)词频(termfrequency,TF)指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数),以防止它偏向长的文件。需要注意,一些通用的词语对于主题并没有太大的作用,反倒是一些出现频率较少的词才能够表达文章的主题,所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作.22

逆向文件频率(IDF)逆向文件频率(inversedocumentfrequency,IDF)如果包含词条w的文档越少,IDF越大，则说明词条具有很好的类别区分能力。23

TF-IDF=TF*IDF某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。词语的重要性随着它在文档中出现的次数呈正比例增加，但同时会随着它在语料库中出现的频率呈反向下降。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。24计算TF-IDF1.加载语料库，生成字典（所有出现过的词语）。2.计算每个文档中出现过的每个词语的TF-IDF。3.将文档表示为一个向量，包括词语和对应的TF-IDF.一个文档只会由词典的一小部分词语构成，意味着这个文档向量中的大部分元素都是0.使用sklearn的文本特征提取工具来实现。25feature_extraction.text.TfidfVectorizer([…])ConvertacollectionofrawdocumentstoamatrixofTF-IDFfeatures.1.加载训练语料库26自己本地目录的路径2.计算TF-IDF,得到训练集X_train27计算TF-IDF字典有130274个词语第一个文档非零元素为108个训练集X_train训练集X_train，该数据集矩阵的每一行表示一个数据样本（一篇文档）矩阵的每一列表示一个特征（语词）它是一个维度为13180（文档数）x130274（词语数）的稀疏矩阵28模型训练用MultinomialNB多项式分布的模型进行训练alpha:float,optional(default=1.0)Additive(Laplace/Lidstone)smoothingparameter(0fornosmoothing).29加载测试集30计算测试集的TF-IDF向量31用模型进行预测predict:E:/CloudSpace/Data/mlcomp/379/test\rec.autos\7429-103268isincategoryrec.autos