第讲贝叶斯决策论

第7讲贝叶斯决策论文志强计算机与通信学院1主要内容引言贝叶斯决策论-连续特征最小误差率分类分类器、判别函数及判定面正态密度资料来自：RichardO.Duda,李宏东等译.《模式分类》,机械工业出版社.2003.27.1引言1）贝叶斯决策论的概念贝叶斯决策论：利用概率的不同分类决策与相应的决策代价之间的定量折中。假设：决策问题可以用概率的形式来描述，并假设所有有关的概率结构均已知。2）鱼类分类的例子：鲈鱼，鲑鱼（续）3（女鲑抵鱼炒）（膏鲈悄鱼剃）4使驰用搁长肺度甚作兄为赌特咱征（就鲑归鱼危）（不鲈阀鱼冠）5使核用曾光柿泽纸度流作冈为罪特饺征（鸡鲑驻鱼库）（巧鲈更鱼拨）6判千别的边宿界决摘策箩理遣论召的畅任卡务热是富：痰使彩总残体细代胖价鲜函猜数吸最愤小露。（洽鲈蓝鱼射）（旅鲑周鱼械）7使寇用片光逮泽伟度倍和畅宽公度叙特旨征垂的腐散栗布哨图（唉鲈逢鱼觉）（莲鲑若鱼军）8复跟杂倡模振型9最草优归折权中C福e善n凑t活e镇r颈p蚁r元o铲b利l伍e凭m狠i刃n锹p勉a保t裕t辟e餐r悼n义r高e减c蛛o秒g锣n扬i暑t隶i谁o马n1袖03）资几践个款概攻念如脆果传用w表骄示衰类逐别扇状解态舍，启那缩慧么卧当w=w1时搁是倚鲈详鱼剂，廊当w=w2时听是慕鲑世鱼旋，专可不由绩概袜率垮来疤描驳述市特取性贤的锹随沟机麦变挥量订。先招验工概似率鬼：P(w1)表族示糟鲈趋鱼省的喊先筝验侵概朗率义，P(w2)表同示河鲑盗鱼偷的音先珍验贝概夕率便，社满沃足P(w1)+P(w2)谋=茂1。类垦条最件裕概石率寄密鲜度余：深假雾设x是罚一屡连缺续妹随纱机县变季量更，芽其宴分航布而取免决川于要类紧别惨的蔽状幻玉态谅，篇表制示毯成p(x|w)的默形拣式擦，磁也颤称切状沙态撕条团件繁密台度火。1班1图7壤-耽1假向定推的投类权条舞件傻概愿率过密添度洪函冰数舒图万，霞显袖示榆了给模妹式吼处丈于赢类骂别wi时滚的拒观正测娱某岩个鲁特圆定愉特础征魂值x的茶概蓬率躺密拢度督。俘如研果x代竖表雹鱼芒的窑长愈度垄，姨那撇么偶这驼两卷条刻曲签线景可辜描化述女两诞种揉鱼娱的渣长似度狸区轰别支。膝概琴率矩函固数廊已免归犁一锄化敌。粥因士此佩每晚条孔曲装线返下飘的散面遵积画为1。1允2假逝设秋已俱知岭先敲验伙概羊率P(wj)，脸也锤知玩道隐条乒件拌概偿率询密惯度p(x|wj)，庄且j=绸1亏,姑2。绘通站过必观岛察岁和怖测晨量络，遇发撇现愧某类个售特夜征价（候一索条汇鱼搂的丘光涂泽朴度塞）绸为x。慨则鲁联致合眯概匆率苹密忘度相可敌写睡成p(wj,x)搏=P(wj|x)p(x)置=p(x|wj)P(wj)于玩是挎可辫得蓄贝铜叶顷斯抗公胁式栗：P(wj|x)毒=p(x|wj)P(wj)直/p(x)在厦两箩类偶问悉题添下遇：贝蜻叶哨斯烧公往式医可慎用志非篇正软式久的鼠英留语扛表杯示傲成其依中糕，p(x|wj)称纠为wj关葬于x的翻似捞然险函狐数纪。嗽证姿据杠因灵子p(x)可待看搞成兽一则个律标锅量顶因嫩子净。1籍3图7舰-败2在露先勉验握概准率P(w1)即=绞2欺/魂3，P(w2)冻=忽1查/棚3及鲁图7诞-宗1给煤出参的泡类唇条芝件危概由率昨密据度甜的寒条滑件面下姐的蔬后燃验欺概颤率晃图.1怜44）服决岔策灶规付则-葵-最易小利化纸误疗差言概舱率穗条弱件暴下带的态贝拿叶植斯鄙决们策亦规吧则决质策黑规毕则：猫如球果稠某镰个扮观搁测汇值x使筒得P(w1|x)比P(w2|x)大嫁，揭则稍判答断充类疯别爆是w1，镜反练之荒，娘则霸判蛾断w2。误两差但概原率推：（4）平神均历误浙差（4）式待可宋写陈成赢：可授得添到驴完港全捡等舟价劲的眯判壮断缸规育则1悔57功.棉2掌贝子叶取斯蜓决慎策忽论命-些连告续寻特区征推访广涂：允坚许检使唐用伐多河于打一则个冰特稿征允想许此多书于恼两保种颂类测别测状奥态狮的匹情魄形允罪许丛有帝其幸他悦行联为马而态不类是消仅垦仅线判耐断瓜类碌别通衫过胜引唉入饲一夹个哗更塑一蓝般孙的剖损鸭失触函蚀数僵来您替嫩代腰误扶差伍概诸率注惠：损翅失尾函县数锁：李精后确怕地倾阐提述各了长每昌种摔行模为变所罗付贸出食的涨代牲价淘大亿小涌，佩并拥且展用乔于那将搂概刮率然转允换榜为母一甩种观判静决羞。1棉6令{w1,葬…处,wc}表旱示虑有要限捎个c个间类袄别欧集两，{α1,作…洋,αa}表怒示傍有杜限站的a种兽可糖能晶采尺取糕的退行浅为水集午，俭风恋险暗函厨数λ(αi|wj)描尿述遣类屡别射状兄态租为wj时慰采嫩取单行长动αi的蝴风赵险颈。财特缓征诊向者量x表窃示协一班个d维填随鼻机属变扛量念。肾令p(捉x屡|wj)表谊示x的饲状粱态多条铃件素概抵率征密服度雨函含数榴，盗则语后叉验马概疯率念可缩慧表埋示酸成闲：证嫁据湾因棍子龄已竞知1抱7如张果羞观讨测碗到沿某稻个年特烂定油模在式x并烈且灿采孝取蔑行傲为αi，毛如落果岗真宜实访的门类语别做为wj，商通炭过指定葱义广将岭有激损科失λ萍(αi|wj)，沿则傲相颗应路损塔失隶为称予为魄条拆件垒风方险可鞋以完通殊过疼选调择盗最章小奔化谋条邀件絮风氧险赞的键行付为票来涝使求预宰期泻的纠损萄失材最昌小皆化员。贝连叶负斯隶决到策柿过丙程捞实占际比上泽提炊供半了苍一省个驶总密风谣险四的洁优芝化递过年程彩。总窃风捞险存为泻：1割8两团类膨分郊类钉问库题λi书j=λ(αi|wj)表笑示沸当碌前翁实歇际拼类预别昌为wj时葱误芳判熊为wi所梢引泽起就的绢损拜失毯。条榆件腐风俗险客为浑：如到果也扑表咳述物为毫：宾如普果则信判债定为w11妥9利信用阔贝李叶粮斯郑规土则静，锦则吧等左价惰于如雕果则耐判持定为w1。另旬一鄙种的表北达浓方躬式柿为车：博如担果揭下砌式矮成头立丛，永则疾判晃定杂为w1。似狡然躁比称墨为2举07蝴.悲3最川小披误贺差匆率拣分车类如服果裳采筛取蚂行龄为αi，韵而锹实爽际窃类校别支为wj，茅那纪么盾在i=j的卧情桂况伙下裂判眉定岭是诉正粘确挺的担，瓣如呜果i≠j，滑则献产琴生仁误潜判畅。俱如秀果饱要便避珠免技误皮判伶，搭自批然貌要射寻冶找闻一晴种乔判碧决制规卫则伴使润误魄判否概姓率乳最叹小何化茂。对刘称志损炼失眯函功数别或0技-冰1损浆失洒函牲数条镜件筹风岁险选：悠相晓当鹊于婚平茶均位误吓差从概跌率为琴了敬最会小泥化拦平历均罪误冷差帽概惊率看，中需削要选选钟取i使灿得剖后额验墓概殖率P摩(wi|犬x垫)最泊大嘴，宗也娘即这基喉于京最虾小性误寸差巾概淋率灵，演有2肝1图7饥-邻3图7扰-魂1所责示东的梅分透布钞的他似飘然比函述数恐比p(x|w1)催/p(x|w2)。旅如顿果腿引疲入兔一冠个0寒-熊1损弦失散或帽分宜类副损寒失宜，套那谦么油判刘决挤边族界蔬将抗由θa决茂定2锅27根.界4分初类形器宽、包判来别伯函衡数本及袍判粗定肉面7蜘.芳4尼.自1多招类撞情位况常矿用束的烈判台别项函广数别为gi(笑x束)外,i=训1睁,逼…哲,c的流形涌式影，掉如泼果敢对星于撞所婶有收的j≠i，市有gi(疯x纤)税>gj(典x辈)则助此近分奖类呼器遇将护这咱个登特搏征友向扬量x判协为wi分宫类屯器怠可辱视戚为死一宰个扰网台络刑或席机智器跳（餐图7其-板5）跨。2殖3图7即-屯5一芳个村包万含d个哭输它入c个埋判棒决睛函乏数gi(仿x倾)的尊一丑般盖的亿统械计丝式模君式势分养类抢器禽的仓体轧系描结算构鬼。鲜接虾下扛来赴的流步据骤莫是柱确俩定唯哪参个醉判宅别夹函迁数倘值群最苹大蝇，党并浸相悼应往的习对愤输多入剖作宗分宏类坚。付箭精头敏表曾示贫信谎息扁流占的通方虫向虾。2诸4具拾有暂一筐般只风伐险这的纹情疏况和下昼，添让gi(x)胸=初-R(αi|x)在凭最塞小象误心差落概逐率绑情最况机下宪，蝴让gi(x)萌=P(wi|x)在磁最仪小镇误吴差嗓概就率忘情豪况巨下即，肠一僚些驳常洲用悄选附择馅：2村5图7律-押6在际这四个奇二屿维兼的隆两赵类畜问峰题夕的伍分访类蚂器缓中坊，荷概录率减密躁度会为税高铅斯题分穿布际，眉判誓决皂边丙界纺由钢两承个崭双测曲咐线咱构动成由，嫩因险此余判钥决夫区钻域R2并洲非缎是候简南单姿的辫连苍通写的棋。亲椭饿圆起轮券廓许线筋标寨记序出1焰/e乘乱以撤概皮率刚密屿度睁的亭峰怨值朝。2扯67俭.润4板.拍2两车类捆情伟况佩：任二安类恐分表类歌器判逼别秤函绍数如随果朴则俭判吃为w1，桥否穴则粗判橡为w2。常给用猫的吐个g(x)函践数臣如葱下昨：2误77怎.版5协正患态颈密门度f(x)的闲数跃学笛期浆望2责87寸.申5端.生1熟单逝变架量昆密葱度温函呜数单罢变笨量唯正炉态骨密州度穷函留数期诞望终值止：方画差念：记荡为鞭：2满9图7更-刺7单布变姐量仅正顽态的分沉布绣大口约第有9容5粱%的辩区昏域顿在|x-μ|辆≤蕉2σ范桨围叙内郊，昏如鼻图覆所是示态。倒此个分惰布施的成峰响值禁为3盐07刷.延5撤.饭2布多丙元功密僻度绿函姐数d维亭多顿元鞭正泰态睬密园度燃的窑形痰式其身中记愤为协肥方草差贩矩算阵着：3舰1图7省-诞8特届征叫空款间向中哥的住一爪个昆线笑性银变漠换逼将技一季个胖任览意储正幅态买分炉布狗变炼换跃成顷另距一途个壶正百态高分案布矮。正匀态锡分楚布拢的果性羡质族：服肚从留正夕态殊分肠布麻的夕随亡机葱变贪量剩的众线管性买组采合坏还兆是睡一丽个朋正训态歪分窗布完。白售化训变谢换直仁线程投杂影3员2图7袜-券9从藏一响个旷以阴均复值μ为切中魂心桶的洒云匆团征内鼠的众二估维刮高帆斯姑分领布容中故取责出婆的逗样籍本钢。丹椭礼圆慌显垃示鸡了够等获概届率食密激度咱的故高潮斯厨分慈布夸轨棵迹铲。多绢元帽正带态迁密融度托完波全拜由d+d(d+祝1皇)桌/猛2个盗参曾数烧确娇定壤。继从翁一赔正停态女分耳布除中爬所碗抽个取感的退样蚕本麦点占趋沟向萌于逼落舟在纤一言个吓单锤一读的案云絮团摆或兵聚果类户中垂。尝等翼密谋度锦点瓣的狸轨腔迹峡为哄一决超生椭脂圆堵体贞，坏这晴些普椭能圆团体分的凶主炭轴贤由Σ的器本普征似向包量穗给怎出至，机本戚征似值朝决跑定厉这亮些戴长偶轴善的获长收度纹。3铸3称场为没从x到μ的M篮a扩h再a膀l稠a凉n仁o曲b毅i超s距旁离喇或旷马荷氏爹距陆离浇。等滥密都度佳分夜布润的笑边糖界贱是算一革些筐到未的铸恒部定寇马县氏裙距晴离泰的雨超皆椭基圆辉体霞，砍且正这销些围超益椭膏圆顷体俯的户体论积校决唉定岛了炕均栗值僻附料近傅的唉样间本滑的油离疮散灾程闯度搬。与M朴a龟h李a盟l介a初n陷o仓b敞i担s距旅离r对虑应震的蓄超辰椭敲圆傅体禁的屯体算积傍为其早中Vd是猛一腊个d维姻单强位原超裂球馒体赞的柔体众积3热47钩.镰6盛正族态踢分趣布欲的香判愿别统函载数可留获依得杜：下活面烫分肠几雕种幸特嗽殊千情袖况精来述讨容论最聋小叔误钱差毯概描率红分末类烟可榜通茂过全使败用薪判薯决粮函茎数油获额得3针5情撤况方1省班略帽无面关舌常阻数够后炼，朗可莫得才简置单繁的伙判司别魄函兆数表丘示爽欧具几暮里灰德惠范谱数二吸次贪型躁展索开狠可打得羡：，和3竹6可痕得碎等扁价斥的稿线肢性馋判庆别示函闭数wi0称暂为嘱第i个客方候向闯的抵阈检值乏或裙偏详置错。3巡寿7超奋平寒面象此睁方燃程队可尤写例成图7率-原1表0如坏果座两哭种痕分图布纵的伙协宏方虹差踪蝶矩话阵鸡相虚等泪并剂且阶与殃单冈位宇阵搁成惨比移例脂，拐那毒么丑它辱们姥成d维蓄球是状脂分乐布磁，票其楚判枣决碗边扒界纤是豆一嚼个d-故1维味归良一搁化泛超屿平想面批，贷垂章直泉于革两真个吐中悦心转的蛛连管线杠。露在抄这捎些足一爬维狠，晋二脚维阿，户三替维谜的弟例无子趴中鹊，柱是糠假亲设野在P街(w1)议=隙P象(w2)的冶情扎况护下亿来给显觉示p(x|wi)和维判窄决荒边扑界辈的决。其圈中3阿8情俯况篮2可彻简战化秒为将引二驾次漆型绳展她开叮，排可图得荐线师性搅判悬别新函摆数诱：3寻9边柴界浊面稍方瞒程鞋为判唐决瞎边池界擦是届超病平浸面4叙0图7柿-各1除1随偿着游先瓦验债概登率鲜的塌改顾变池，波判待决睛边怖界鸡也阔随李之彩改止变婆；颠对蓝于劣差丙别幸较秆大竖的萝离撤散珠先蒸验援概较率匀而工言剂，薄判饲决雾边显界视不蓝会绑落农于寨这题些改一贞维绪，社二距维殊及限三奶维究球圈状耻高搭斯晚分员布命的呈中福心巨点拉之症间4鸭1图7昂-程1尸2相爹等马但疲非扁对筐称己的辱高茫斯极分见布米的美概锐率偏密峡度围及溜判叹决链区悲域姐。没判柿决定超犹平剩面雪未亦必蹦和拆均终值状连匹线央垂帅直绝正连交4壁2情土况己3去希掉紫常思量私后乞，忠判晓别季函帮数插为夺二控次提型澡：其象中在赖两凯类遮问诱题篮中乌，杨对少应只的畅判食定饮面迟是库超农二脚次笑曲禁面轮。4报3图7陡-良1访3在扩方鞠差却不矩相刻等泻的聚一素维见高分斯乡丰分训布盾情敢况迷下才，援可搜能流产织生端并消非国单代连蚕通俩的疑判傍决死区波域跳，祥如P端(靠w扑1飞)伤=阴P僚(鹿w共2怠)时马这毕里挨所穷示幻玉的充情贝况判客