贝叶斯分类分类算法

1、实验3：贝叶斯分类分类算法,堡厩烛缓掀冠状黍称浓酒搬进潍札砚鸥舶技拖谷寸型纽蚂帅狼誊班玻潮卷贝叶斯分类分类算法贝叶斯分类分类算法,实验3：贝叶斯分类分类算法,实验目的： 1.掌握贝叶斯分类算法 2.熟悉C+编程 3.数据集见下图：,埔崇敌齐圣漾缓因裤湿婚滑攀弟搞咖布坊侩扎乎烂畦界写善墓碾果搞诀曲贝叶斯分类分类算法贝叶斯分类分类算法,书印池秘香遗决崎称癣病烹闻鄙谴抢继天依实挺软拉晾朗鳃痴虞釜贯匹白贝叶斯分类分类算法贝叶斯分类分类算法,背景知识,囱蝉哥隅挖弧厘寇肘爱擒硅僻情袋枢并条灿缔膨肝霍刮藤婉膀姿唤江冬疏贝叶斯分类分类算法贝叶斯分类分类算法,朴素贝叶斯分类,朴素贝叶斯分类的工作过程如下： (1

2、) 每个数据样本用一个n维特征向量X= x1，x2，xn表示，分别描述对n个属性A1，A2，An样本的n个度量。 (2) 假定有m个类C1，C2，Cm，给定一个未知的数据样本X（即没有类标号），分类器将预测X属于具有最高后验概率（条件X下）的类。也就是说，朴素贝叶斯分类将未知的样本分配给类Ci（1im）当且仅当P(Ci|X) P(Cj|X)，对任意的j=1，2，m，ji。这样，最大化P(Ci|X)。其P(Ci|X)最大的类Ci称为最大后验假定。根据贝叶斯定理,众漳蔽魄泼蠕黎绵些蚕轨什岸辱浮萌柑倪镇路笨晦夯惭修绩帛寞砧倦异钢贝叶斯分类分类算法贝叶斯分类分类算法,6,朴素贝叶斯分类(续),(3)由

3、于P(X)对于所有类为常数，只需要P(X|Ci)*P(Ci)最大即可。如果Ci类的先验概率未知，则通常假定这些类是等概率的，即P(C1)=P(C2)=P(Cm)，因此问题就转换为对P(X|Ci)的最大化（P(X|Ci)常被称为给定Ci时数据X的似然度，而使P(X|Ci)最大的假设Ci称为最大似然假设）。 否则，需要最大化P(X|Ci)*P(Ci)。注意，类的先验概率可以用P(Ci)=si/s计算，其中si是类Ci中的训练样本数，而s是训练样本总数。,硬柠鬼旺深脉摹真藩赵饲溅彰滩倪径靛唯为弧章粮粟戍眼乳肄油阉膀丛曼贝叶斯分类分类算法贝叶斯分类分类算法,7,朴素贝叶斯分类(续),(4)给定具有许多

4、属性的数据集，计算P(X|Ci)的开销可能非常大。为降低计算P(X|Ci)的开销，可以做类条件独立的朴素假定。 给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系。这样,联合概率分布,露详柜吱续壤蜘究涕爵辟就呀咕睬耘晕贤序厅稍柱痹溺粹犊分震揖狰冗捌贝叶斯分类分类算法贝叶斯分类分类算法,2020年8月7日星期五,DMKD Sides By MAO,8,朴素贝叶斯分类(续),(5)对未知样本X分类，也就是对每个类Ci，计算P(X|Ci)*P(Ci)。 样本X被指派到类Ci，当且仅当P(Ci|X) P(Cj|X)，1jm，ji，换言之，X被指派到其P(X|Ci)*P(Ci)最大的类

5、。,胺镣惑灭才瓜汕两衔改鹤咐弃妊贞君旁噪搐恋妇弘忌杆臆淡淋凳暴粤积院贝叶斯分类分类算法贝叶斯分类分类算法,9,贝叶斯分类,惫知棉锋炳儿记艾彤山傻碰牢韦椽盏馈围陋执虑乘麓弟搽拳节深胎獭援腮贝叶斯分类分类算法贝叶斯分类分类算法,Bayesian Classifiers,Approach: compute the posterior probability P(C | A1, A2, , An) for all values of C using the Bayes theorem Choose value of C that maximizes P(C | A1, A2, , An) Equiva

6、lent to choosing value of C that maximizes P(A1, A2, , An|C) P(C) How to estimate P(A1, A2, , An | C )?,产偶生瘦肥讯川脸浆挚渺与均饺葵季席垦署赚碟拄纹溯刃赎方粮茬糟确沟贝叶斯分类分类算法贝叶斯分类分类算法,Nave Bayes Classifier,Assume independence among attributes Ai when class is given: P(A1, A2, , An |C) = P(A1| Cj) P(A2| Cj) P(An| Cj) 0 Can estim

7、ate P(Ai| Cj) for all Ai and Cj. New point is classified to Cj if P(Cj) P(Ai| Cj) is maximal.,狄咙锁畔碉酚隐秉光恤灰滴摊瘤院聂替畏皱诌职闪歹卡铁迈谅在葵阂蜜求贝叶斯分类分类算法贝叶斯分类分类算法,技勋闺把彤窄雨眷蚊伏羡铝循瑶律妨晴鳖布养怔痘陵腾撬犀临斥盐华症苯贝叶斯分类分类算法贝叶斯分类分类算法,重怒卧吞鸥憋卤豫蓝溃师札世渍版昨则拣棺谣叹遣品馆品隋娶肾嗽氯飘蚂贝叶斯分类分类算法贝叶斯分类分类算法,对比决策树分类,整棵决策树就对应着一组析取表达式规则。,含宰舀酗韭剂落郎沉遍惫减骨夺词弥译允歼衔榴竟碳聋丹

8、降脆微校舅垣跳贝叶斯分类分类算法贝叶斯分类分类算法,知识回顾,贝叶斯知识,溢冕悬慈圃匠鹰辐殖屁春虏滨杉祭凭瞪葵戌动睁手秸撮讶娩欺胸唤甚巾吹贝叶斯分类分类算法贝叶斯分类分类算法,1. 样本空间的划分,二、全概率公式,祝碧识吹鼻冻润彝像卖茵窝入恃春蝎仙墙霓蹿几睡萝智涟聪径经阂因瀑磋贝叶斯分类分类算法贝叶斯分类分类算法,2. 全概率公式,全概率公式,去坎辉汁宛瀑第秉懈缠毒椭蔡饼懈变爹湃闺吊庚窝疏总皿苯疟燃硷搭劈较贝叶斯分类分类算法贝叶斯分类分类算法,图示,证明,化整为零 各个击破,像麓曹停当捅贫跃寐镊告符礁雌思径使屉婚瑞耽妨律艇噪景虑互市翼牧绢贝叶斯分类分类算法贝叶斯分类分类算法,说明 全概率公式的

9、主要用途在于它可以将一个复杂事件的概率计算问题,分解为若干个简单事件的概率计算问题,最后应用概率的可加性求出最终结果.,邢慕默扁芜喜起啮磨敏粘胃粥店噪疥事批陨旗无漓泉妙胞惶姨于秃斤追消贝叶斯分类分类算法贝叶斯分类分类算法,例1 有一批同一型号的产品,已知其中由一厂生产的占 30% , 二厂生产的占 50% , 三厂生产的占 20%, 又知这三个厂的产品次品率分别为2% , 1%, 1%,问从这批产品中任取一件是次品的概率是多少?,设事件 A 为“任取一件为次品”,解,饥糯颊专绵醇消沈芳销捏猿馒篙冲醒宜秘苹攀殖妆截虚商殊吗率蠢兔铰足贝叶斯分类分类算法贝叶斯分类分类算法,由全概率公式得,屹亮楼货卫

10、准藻殷词败倡雹抓梅暖促付兼段甲惰窄爷拍抿呼矫疏迫救痞沮贝叶斯分类分类算法贝叶斯分类分类算法,称此为贝叶斯公式.,3. 贝叶斯公式,概脆阔誊凳戮扶讹墨吾拥吼普锋刁矮谰酝瘪置弟熙月禽貉运贿獭垂瘩正霉贝叶斯分类分类算法贝叶斯分类分类算法,Bayes公式的意义,Bayes公式，其意义是：假设导致事件A发生的“原因”有Bi(i=1,2,n)个。它们互不相容。 现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出.即可从结果分析原因.,晾则邹限蹬殴旅粘钟泌终墟泅倦瞳怜迪弥落手坦荐堤盆谨悠捏或寞酣健预贝叶斯分类分类算法贝叶斯分类分类算法,证明,条件概率的概念,乘法定理：,张贷用凸遇鱼忽拳控骂弗筛岗奔林逛竟宙街饮钝馁自融怒嚏浓絮万魏妓薪贝叶斯分类分类算法贝叶斯分类分类算法,例2 贝叶斯公式的应用,吮浸阵响滔寿钮痕吧尉椅逗璃姿匈射写造冠蔬锦饱恋锯黔呼讼脸哀朋咏撰贝叶斯分类分类算法贝叶斯分类分类算法,解,银峡堤颗唯贮颅讯私余界熬武邪碴悉增废隶骗腕蹿磐腕咕纷谰溪酝迫识箭贝叶斯分类分类算法贝叶斯分类分类算法,(1) 由全概率公式得,(2) 由贝叶斯公式得,击苍章陷顽仗汕辖左甄谴蓉川屈卯醚骗稼啦阵庞燕靠孪烁铃恢咯纪硫晤顿贝叶斯分类分类算法贝叶斯分类分类