机器学习从原理到应用Chp7-朴素贝叶斯分类器

第7章

朴素贝叶斯分类器生成式分类器vs.判别式分类器

大纲生成式分类器简介朴素贝叶斯分类器朴素贝叶斯分类器vs.判别式分类器

生成式分类器vs.判别式分类器

生成式分类器大纲生成式分类器简介朴素贝叶斯分类器朴素贝叶斯分类器vs.判别式分类器朴素贝叶斯(NaiveBayesClassifier,NBC）

朴素贝叶斯模型训练：参数估计

朴素贝叶斯模型训练：参数估计

朴素贝叶斯的训练：先验分布

朴素贝叶斯的训练：先验分布

朴素贝叶斯的训练：先验分布

多类分类任务中类先验分布的参数估计

两类分类任务中类先验分布的参数估计

最大后验估计后验均值估计朴素贝叶斯模型训练：参数估计

NBC——二值特征

textinformationidentifyminingminedisusefultofromappledeliciousD1111101110001D2110011101001D3000001000110

Sklearn中的实现：BernoulliNBNBC

——二值特征朴素贝叶斯大大减少了模型的参数量无独立假设：条件独立假设：

…NBC

——二值特征

朴素贝叶斯模型训练：参数估计

NBC

——类别型特征

Sklearn中的实现：CategoricalNB

例：社区账号的真实性判断例：社区账号的真实性判断——模型训练例：SNS账号真实性判断日志密度好友密度是否使用真实头像账号是否真实ssnonoslyesyeslmyesyesmmyesyeslmyesyesmlnoyesmsnonolmnoyesmsnoyesssyesno

2.类条件：

例：社区账号的真实性判断——模型训练例：SNS账号真实性判断日志密度好友密度是否使用真实头像账号是否真实ssnonoslyesyeslmyesyesmmyesyeslmyesyesmlnoyesmsnonolmnoyesmsnoyesssyesno1.类先验

2.类条件：

例：社区账号的真实性判断——模型训练例：SNS账号真实性判断日志密度好友密度是否使用真实头像账号是否真实ssnonoslyesyeslmyesyesmmyesyeslmyesyesmlnoyesmsnonolmnoyesmsnoyesssyesno1.类先验分布的参数

2.类条件分布的参数：

例：社区账号的真实性判断——测试模型训练好后，对新的用户

日志密度为m，好友密度为m，使用真实头像判断该用户的社区帐号是否真实

是真实账号

朴素贝叶斯模型训练：参数估计

NBC——多项分布特征

Sklearn中的实现：MultinomialNB朴素贝叶斯模型训练：参数估计

当特征取值为连续值，且在类边缘分布为高斯分布时，注意：不是所有的连续特征均可假设为高斯分布NBC——连续特征（高斯分布）

Sklearn中的实现：GaussianNB

NBC——连续特征（高斯分布）

似然函数对参数求偏导数：NBC——连续特征（高斯分布）

似然函数对参数求偏导数：NBC——连续特征（高斯分布）

Sklearn中的朴素贝叶斯实现

案例：新闻文档分类NBC_News.ipynb新闻类别PrecisionRecallF1-scoreSupportalt.atheism0.970.940.9589comp.graphics0.790.840.8199comp.os.ms-windows.misc0.890.910.90130comp.sys.ibm.pc.hardware0.860.800.83109comp.sys.mac.hardware0.920.920.92117comp.windows.x0.920.890.91118misc.forsale0.850.950.90117rec.autos0.950.940.95121rec.motorcycles0.960.970.97119rec.sport.baseball0.981.000.99113rec.sport.hockey1.000.960.98129sci.crypt0.960.990.98109sci.electronics0.910.930.92120sci.med0.990.910.95123sci.space0.970.970.97119soc.religion.christian0.930.980.95128talk.politics.guns0.970.960.97120talk.politics.mideast1.001.001.00100talk.