模式识别概率密函数的估计学习教案

1、会计学1模式识别概率密函数的估计模式识别概率密函数的估计第一页，编辑于星期二：点 五十一分。第1页/共50页第二页，编辑于星期二：点 五十一分。第2页/共50页第三页，编辑于星期二：点 五十一分。1,Nd xx 1,iiNxxi第3页/共50页第四页，编辑于星期二：点 五十一分。21,dd第4页/共50页第五页，编辑于星期二：点 五十一分。12(,.)Tip j第5页/共50页第六页，编辑于星期二：点 五十一分。NkiXkPiXPiiXPii1)|()|().|(NkikikNkXPXP11)|(log)|(log第6页/共50页第七页，编辑于星期二：点 五十一分。0)|(log.11Nkik

2、pXP0)|(log.0)|(log111ikNkpikNkXPXPP(Xi/i)，即为的估值利用上式求出ii第7页/共50页第八页，编辑于星期二：点 五十一分。)|(iiXP0)|(log1XPkNk111log (|)log 2|22nTkkkPXXX NkkX110NkkX1101i待估参数为代入上式得 110)(NkkNXNkkXN11所以，有这说明未知均值的极大似然估计正好是训练样本的算术平均。第8页/共50页第九页，编辑于星期二：点 五十一分。21211,1222212log21)|(logXXPkik0)(1)|(log11211XXPkNkikNk代入02)(21)|(log1

3、2212212NkkikNkXXPNkkXN1111NkXkN122121第9页/共50页第十页，编辑于星期二：点 五十一分。NkkXN111XTXNkNkk121XXkTk第10页/共50页第十一页，编辑于星期二：点 五十一分。dPXPPXPXPiii)()|()().|()|(（证明略）求贝叶斯估计dXPi)|(第11页/共50页第十二页，编辑于星期二：点 五十一分。dPXPPXPXPiii)()|()().|()|(第12页/共50页第十三页，编辑于星期二：点 五十一分。1( |)(| ). ( )NikkPaP XPXdPXPai)()|(12200101111(|)expexp222

4、2NkikXPaX 21exp10022NkkXa)1(2)1(21exp 200122202NkkXNa第13页/共50页第十四页，编辑于星期二：点 五十一分。211(|)exp22NiNNPX2220022210111NNNkkNNX第14页/共50页第十五页，编辑于星期二：点 五十一分。22002222100NNkkXNN2220220NN( |), iPdX求 的估计。2N第15页/共50页第十六页，编辑于星期二：点 五十一分。02202222001NNkNkXNN111NNkkXNNidXP)|( 2第16页/共50页第十七页，编辑于星期二：点 五十一分。(|)(| ) ( |)(|

5、 ) ( |)iiiP X XP XPX dP XPX d第17页/共50页第十八页，编辑于星期二：点 五十一分。第18页/共50页第十九页，编辑于星期二：点 五十一分。( |)( | )( |)iiP x xP xPx d2211( |)(|)exp2211( |)exp22iiNNNPPxxxP x服从正态分布第19页/共50页第二十页，编辑于星期二：点 五十一分。( |)( | )( |)( |)(|)iiiP xP xPdP xPdxxx代入221111expexp2222NNNxd222222222222111expexp222NNNNNNNNxxd 21exp2122222NNNx

6、为正态函数),(22NNN第20页/共50页第二十一页，编辑于星期二：点 五十一分。22N2222N第21页/共50页第二十二页，编辑于星期二：点 五十一分。21exp)|(1NNNTiaxP).(.1011ANN111001().(B)NkNNkx其中a与无关第22页/共50页第二十三页，编辑于星期二：点 五十一分。 NANN10:)(011式得由110001111( )()()01NkNkBxNNNN 代入式得：( |)( |) (|)NiiP xP xPdxxBayes将代入就可以设计分类器第23页/共50页第二十四页，编辑于星期二：点 五十一分。RP(x)RxPdxxPPRr)(第24

7、页/共50页第二十五页，编辑于星期二：点 五十一分。1N kkkkNPCPPNkP NkNkdxxPPR) (NkVxPdxxPPR)() (RdxV第25页/共50页第二十六页，编辑于星期二：点 五十一分。NkPVxP )(VNkxP)(Nk1NkPVVNkxP1)(0V0)(VNkxP0kVNkxP)(第26页/共50页第二十七页，编辑于星期二：点 五十一分。NNNKN(x)PV第27页/共50页第二十八页，编辑于星期二：点 五十一分。0limVNNKNNlim0limNKNN第28页/共50页第二十九页，编辑于星期二：点 五十一分。NhVNNKN第29页/共50页第三十页，编辑于星期二：

8、点 五十一分。hVdNN其他.021| , 1)(uu|exp)(uu 方窗函数指数窗函数21exp21)(2uu正态窗函数(u) (u)(u)hN 正态窗函数第30页/共50页第三十一页，编辑于星期二：点 五十一分。22hxxhxxNiNi1212|hhhxxNNNiNiNiNhxxK1)|(NiNiNNNNhxxVNVNKxP1)|(11)(第31页/共50页第三十二页，编辑于星期二：点 五十一分。)|(hxxNihxxNi|)|(hxxNi第32页/共50页第三十三页，编辑于星期二：点 五十一分。|()0|() ()0iNiNiixNNxxhxxxxdxhhh1)(0)(dxxPxPNN

9、第33页/共50页第三十四页，编辑于星期二：点 五十一分。)21exp(21)(2uu)|(21exp21)|()(2hxxhxxuNiNi0123456x6x5x3x1x2x4x第34页/共50页第三十五页，编辑于星期二：点 五十一分。5 . 0665 . 0VN665 . 0h,NhhV11NNN，其中选 2121113.20.134exp20.511.1 0.134exp20.5NiNiNNxxxPxNVhx第35页/共50页第三十六页，编辑于星期二：点 五十一分。第36页/共50页第三十七页，编辑于星期二：点 五十一分。)|(21exp21)|(2hxxhxxNiNiNhh1N设211

10、1111|111 |( )()exp22NNiiNiiNNxxNxxPxNNhhhh第37页/共50页第三十八页，编辑于星期二：点 五十一分。v用 窗法估计单一正态分布的实验Parzen001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1第38页/共50页第三十九页，编辑于星期二：点 五十一分。第39页/共50页第四十页，编辑于星期二：点 五十一分。025. 01)(xP-2.5x-20 x2其它NhhuuN12,21exp2

11、1)(x-2.5-210.2502P(x)第40页/共50页第四十一页，编辑于星期二：点 五十一分。001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1v用 窗法估计两个均匀分布的实验Parzen第41页/共50页第四十二页，编辑于星期二：点 五十一分。结论：结论： 由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。 要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。第

12、42页/共50页第四十三页，编辑于星期二：点 五十一分。NkN取,VNk(x)PNNN第43页/共50页第四十四页，编辑于星期二：点 五十一分。KNNlim0limNKNN)(11)()(111|VxPVVNKxPxPNNNN，所以因为V1为N=1时的VN值NVNxPxPNNxPNKxPNKVNKNNNNN1)(1)()()(时，当第44页/共50页第四十五页，编辑于星期二：点 五十一分。NVVNKNN1VNkxPNNN)()()|(),(iiNiiNPxPvNkxP第45页/共50页第四十六页，编辑于星期二：点 五十一分。MjiNiNNiiiiiiNxPxPPxPPxPxP11),(),()()|()()|()|(VNkxPxPNNMjjN1),()(VNkxPNiiN),(kkxPNiiN)|(后