概率密度函数的估计市公开课获奖课件

1、第3章 概率密度函数预计 3.1 引言3.2 参数预计基本概念3.3 最大似然预计3.4 贝叶斯预计与贝叶斯学习3.5 两种预计办法比较3.6 错误率预计问题3.7 讨论1第1页第1页第3章 关于概率密度函数预计2第2页第2页第3章 概率密度函数预计3.1 引言 3第3页第3页第3章 概率密度函数预计3.1 引言 4第4页第4页第3章 概率密度函数预计3.1 引言 5第5页第5页第3章 概率密度函数预计3.1 引言本章主要讨论三个问题: 6第6页第6页第3章 概率密度函数预计7第7页第7页第3章 概率密度函数预计8第8页第8页第3章 概率密度函数预计9第9页第9页第3章 概率密度函数预计3.1

2、 引言从样本集推出总体概率分布办法: 10第10页第10页第3章 概率密度函数预计11第11页第11页第3章 概率密度函数预计3.1 引言从样本集推出总体概率分布办法: 12第12页第12页第3章 概率密度函数预计3.2 参数预计基本概念 13第13页第13页第3章 概率密度函数预计3.2 参数预计基本概念 14第14页第14页概率密度函数预计-引言参数预计基本概念:15第15页第15页概率密度函数预计-引言参数预计基本概念:16第16页第16页3.2.1 最大似然预计17第17页第17页3.2.1 最大似然预计18第18页第18页3.2.1 最大似然预计19第19页第19页3.2.1 最大似

3、然预计20第20页第20页3.2.1 最大似然预计21第21页第21页3.2.1 最大似然预计22第22页第22页3.2.1 最大似然预计23第23页第23页3.2.1 最大似然预计24第24页第24页3.2.1 最大似然预计25第25页第25页3.2.1 最大似然预计26第26页第26页3.2.1 最大似然预计27第27页第27页3.2.1 最大似然预计28第28页第28页3.2.1 最大似然预计29第29页第29页3.2.1 最大似然预计30第30页第30页3.2.1 最大似然预计31第31页第31页3.2.1 最大似然预计32第32页第32页3.2.1 最大似然预计33第33页第33页3

4、.2.1 最大似然预计34第34页第34页3.2.2 正态分布下最大似然预计35第35页第35页3.2.2 正态分布下最大似然预计36第36页第36页3.2.2 正态分布下最大似然预计37第37页第37页3.2.2 正态分布下最大似然预计38第38页第38页3.2.2 正态分布下最大似然预计39第39页第39页3.2.2 正态分布下最大似然预计40第40页第40页3.2.2 正态分布下最大似然预计41第41页第41页3.2.2 正态分布下最大似然预计42第42页第42页3.2.2 正态分布下最大似然预计43第43页第43页3.2.2 正态分布下最大似然预计44第44页第44页3.2.2 正态分

5、布下最大似然预计45第45页第45页3.2.贝叶斯预计和贝叶斯学习46第46页第46页3.2.贝叶斯预计和贝叶斯学习47第47页第47页3.2.贝叶斯预计和贝叶斯学习48第48页第48页3.2.贝叶斯预计和贝叶斯学习49第49页第49页3.2.贝叶斯预计和贝叶斯学习50第50页第50页3.2.贝叶斯预计和贝叶斯学习51第51页第51页3.2.贝叶斯预计和贝叶斯学习52第52页第52页3.2.贝叶斯预计和贝叶斯学习53第53页第53页3.2.贝叶斯预计和贝叶斯学习54第54页第54页3.2.贝叶斯预计和贝叶斯学习55第55页第55页3.2.贝叶斯预计和贝叶斯学习56第56页第56页3.2.贝叶斯

6、预计和贝叶斯学习57第57页第57页3.2.贝叶斯预计和贝叶斯学习58第58页第58页3.2.贝叶斯预计和贝叶斯学习59第59页第59页3.2.贝叶斯预计和贝叶斯学习60第60页第60页3.2.贝叶斯预计和贝叶斯学习61第61页第61页第3章 概率密度函数预计3.2.贝叶斯预计和贝叶斯学习62第62页第62页第3章 概率密度函数预计3.2.贝叶斯预计和贝叶斯学习63第63页第63页第3章 概率密度函数预计3.2.贝叶斯预计和贝叶斯学习64第64页第64页第3章 概率密度函数预计3.2.贝叶斯预计和贝叶斯学习65第65页第65页3.2.贝叶斯预计和贝叶斯学习66第66页第66页3.2.贝叶斯预计

7、和贝叶斯学习67第67页第67页3.2.贝叶斯预计和贝叶斯学习68第68页第68页3.2.贝叶斯预计和贝叶斯学习69第69页第69页3.2.贝叶斯预计和贝叶斯学习70第70页第70页3.2.贝叶斯预计和贝叶斯学习71第71页第71页3.2.贝叶斯预计和贝叶斯学习72第72页第72页3.2.贝叶斯预计和贝叶斯学习73第73页第73页3.2.贝叶斯预计和贝叶斯学习74第74页第74页3.2.贝叶斯预计和贝叶斯学习75第75页第75页第3章 概率密度函数预计最大似然预计、贝叶斯预计和贝叶斯学习之间关系76第76页第76页第3章 概率密度函数预计最大似然预计、贝叶斯预计和贝叶斯学习之间关系77第77页

8、第77页第3章 概率密度函数预计3.2 贝叶斯预计和贝叶斯学习最大似然预计、贝叶斯预计和贝叶斯学习之间关系78第78页第78页3.3 正态分布监督参数预计3.3.1最大似然预计示例79第79页第79页3.3 正态分布监督参数预计3.3.1最大似然预计示例80第80页第80页3.3 正态分布监督参数预计3.3.1最大似然预计示例81第81页第81页3.3 正态分布监督参数预计3.3.1最大似然预计示例82第82页第82页3.3 正态分布监督参数预计3.3.1最大似然预计示例83第83页第83页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例84第84页第84页3.3 正态分布监督

9、参数预计3.3.2贝叶斯预计和贝叶斯学习示例85第85页第85页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例86第86页第86页3.3.2贝叶斯预计和贝叶斯学习示例87第87页第87页3.3.2贝叶斯预计和贝叶斯学习示例88第88页第88页3.3.2贝叶斯预计和贝叶斯学习示例89第89页第89页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例90第90页第90页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例91第91页第91页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例92第92页第92页3.3 正态分布监督参数预计3.

10、3.2贝叶斯预计和贝叶斯学习示例93第93页第93页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例94第94页第94页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例95第95页第95页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例96第96页第96页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例97第97页第97页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例98第98页第98页3.3 正态分布监督参数预计3.3.2贝叶斯预计和贝叶斯学习示例99第99页第99页3.3 正态分布监督参数预计3.3.2贝叶斯

11、预计和贝叶斯学习示例100第100页第100页最大似然办法和贝叶斯办法比较总结101第101页第101页最大似然办法和贝叶斯办法比较总结102第102页第102页最大似然办法和贝叶斯办法比较总结103第103页第103页最大似然办法和贝叶斯办法比较总结104第104页第104页3.4 非监督参数预计105第105页第105页3.4.1 非监督最大似然预计中几种问题106第106页第106页3.4.1 非监督最大似然预计中几种问题107第107页第107页3.4.1 非监督最大似然预计中几种问题108第108页第108页3.4.1 非监督最大似然预计中几种问题109第109页第109页3.4.1

12、 非监督最大似然预计中几种问题110第110页第110页3.4.1 非监督最大似然预计中几种问题111第111页第111页3.4.1 非监督最大似然预计中几种问题112第112页第112页3.4.1 非监督最大似然预计中几种问题113第113页第113页3.4.1 非监督最大似然预计中几种问题114第114页第114页3.4.1 非监督最大似然预计中几种问题115第115页第115页3.4.1 非监督最大似然预计中几种问题116第116页第116页3.4.1 非监督最大似然预计中几种问题117第117页第117页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题见后页推导过程:1

13、18第118页第118页119第119页第119页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题120第120页第120页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题见后页推导过程:121第121页第121页122第122页第122页123第123页第123页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题124第124页第124页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题125第125页第125页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题126第126页第126页第3章 概率密度函数预计3.4.

14、1 非监督最大似然预计中几种问题127第127页第127页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题128第128页第128页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题129第129页第129页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题130第130页第130页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题131第131页第131页第3章 概率密度函数预计3.4.1 非监督最大似然预计中几种问题132第132页第132页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计133第133页第133页第3章

15、 概率密度函数预计3.4.2 正态分布下非监督参数预计134第134页第134页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计135第135页第135页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计136第136页第136页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计137第137页第137页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计138第138页第138页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计139第139页第139页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计140第140页第140页第3

16、章 概率密度函数预计3.4.2 正态分布下非监督参数预计141第141页第141页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计142第142页第142页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计143第143页第143页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计144第144页第144页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计145第145页第145页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计146第146页第146页第3章 概率密度函数预计3.4.2 正态分布下非监督参数预计147第147页第147页第

17、3章 概率密度函数预计3.5 总体分布非参数预计 参数预计要求已知总体分布形式。然而，诸多实际问题并不知道总体分布形式，或总体分布不是一些通常碰到典型分布，不能写成一些参数函数，在这样情况下，设计贝叶斯分类器，仍然需要总体分布知识，于是提出一些直接用样本预计总体分布办法，即预计分布非参数法。148第148页第148页第3章 概率密度函数预计3.5.1 基本办法149第149页第149页第3章 概率密度函数预计3.5.1 基本办法150第150页第150页第3章 概率密度函数预计3.5.1 基本办法151第151页第151页第3章 概率密度函数预计3.5.1 基本办法152第152页第152页第

18、3章 概率密度函数预计3.5.1 基本办法153第153页第153页第3章 概率密度函数预计3.5.1 基本办法154第154页第154页第3章 概率密度函数预计3.5.1 基本办法155第155页第155页第3章 概率密度函数预计3.5.1 基本办法156第156页第156页第3章 概率密度函数预计3.5.1 基本办法157第157页第157页第3章 概率密度函数预计3.5.1 基本办法158第158页第158页第3章 概率密度函数预计3.5.1 基本办法159第159页第159页第3章 概率密度函数预计3.5.1 基本办法160第160页第160页第3章 概率密度函数预计3.5.1 基本办

19、法161第161页第161页第3章 概率密度函数预计3.5.1 基本办法162第162页第162页第3章 概率密度函数预计3.5.1 基本办法163第163页第163页第3章 概率密度函数预计3.5.1 基本办法164第164页第164页第3章 概率密度函数预计3.5.2 Parzen窗法165第165页第165页第3章 概率密度函数预计3.5.2 Parzen窗法166第166页第166页第3章 概率密度函数预计3.5.2 Parzen窗法167第167页第167页第3章 概率密度函数预计3.5.2 Parzen窗法168第168页第168页第3章 概率密度函数预计3.5.2 Parzen窗

20、法169第169页第169页第3章 概率密度函数预计3.5.2 Parzen窗法170第170页第170页第3章 概率密度函数预计3.5.2 Parzen窗法171第171页第171页第3章 概率密度函数预计3.5.2 Parzen窗法172第172页第172页第3章 概率密度函数预计3.5.2 Parzen窗法173第173页第173页第3章 概率密度函数预计3.5.2 Parzen窗法174第174页第174页第3章 概率密度函数预计3.5.2 Parzen窗法175第175页第175页第3章 概率密度函数预计3.5.2 Parzen窗法176第176页第176页第3章 概率密度函数预计3

21、.5.2 Parzen窗法177第177页第177页第3章 概率密度函数预计3.5.2 Parzen窗法178第178页第178页第3章 概率密度函数预计3.5.2 Parzen窗法179第179页第179页180第180页第180页第3章 概率密度函数预计3.5.2 Parzen窗法181第181页第181页第3章 概率密度函数预计3.5.2 Parzen窗法182第182页第182页第3章 概率密度函数预计3.5.2 Parzen窗法183第183页第183页184第184页第184页第3章 概率密度函数预计3.5.2 Parzen窗法185第185页第185页第3章 概率密度函数预计3.

22、5.2 Parzen窗法186第186页第186页第3章 概率密度函数预计3.5.3 kN近邻预计187第187页第187页第3章 概率密度函数预计3.5.3 kN近邻预计188第188页第188页第3章 概率密度函数预计3.5.3 kN近邻预计189第189页第189页第3章 概率密度函数预计3.5.3 kN近邻预计190第190页第190页第3章 概率密度函数预计3.5.3 kN近邻预计191第191页第191页第3章 概率密度函数预计3.5.3kN近邻预计192第192页第192页第3章 概率密度函数预计3.5.3 kN近邻预计193第193页第193页第3章 概率密度函数预计3.6 关

23、于分类器错误率预计问题 分类器错误率计算问题更多是依赖于试验,利用样本来预计错误率。分为两种情况:（1）对于已设计好分类器，利用样本来预计错误率。这种只用来预计分类器错误率样本集为检查（样本）集或考试（样本）集。（2）对于未设计好分类器，需要将样本分成两部分：设计集和检查集。分别用来设计分类器和预计错误率。用来预计分类器样本集为设计（样本）集。194第194页第194页第3章 概率密度函数预计3.6.1 关于已设计好分类器时错误率预计问题利用样本来预计错误率，直观上能够认为在N个考试样本中错分样本数越多，则错误率越大 。因此可用错分样本数与总考试样本数比作为错误率预计。需要进一步回答问题：（1

24、）这种预计是最好预计吗？（2）假如是，预计量性质如何？（3）当考试样本数增长时，预计结果有所改进吗？表现在什么地方？195第195页第195页第3章 概率密度函数预计3.6.1 关于已设计好分类器时错误率预计问题196第196页第196页第3章 概率密度函数预计3.6.1 关于已设计好分类器时错误率预计问题197第197页第197页第3章 概率密度函数预计3.6.1 关于已设计好分类器时错误率预计问题198第198页第198页第3章 概率密度函数预计3.6.1 关于已设计好分类器时错误率预计问题199第199页第199页200第200页第200页第3章 概率密度函数预计3.1 引言 201第2

25、01页第201页202第202页第202页203第203页第203页204第204页第204页第3章 概率密度函数预计3.2 参数预计 205第205页第205页第3章 概率密度函数预计3.2 参数预计 206第206页第206页第3章 概率密度函数预计3.2 参数预计 207第207页第207页第3章 概率密度函数预计3.2 参数预计 208第208页第208页第3章 概率密度函数预计3.2 参数预计 209第209页第209页第3章 概率密度函数预计3.2 参数预计 210第210页第210页第3章 概率密度函数预计3.2 参数预计 211第211页第211页第3章 概率密度函数预计3.2 参数预计 212第212页第212页第3章 概率密度函数预计3.2 参数预计 213第213页第213页第3章 概率密度函数预计3.2 参数预计 214第214页第214页第3章 概率密度函数预计3.2 参数预计 215第215页第215页第3章 概率密度函数预计3.2 参数预计 216第216页第216页第3章 概率密度函数预计3.2 参数预计 217第217页第217页第3章 概率密度函数预计3.2 参数预计 218第218页第218页第3章 概率密度函数预计3.2 参数预计 219第219页第219页220第220页第220页2