统计决策理论

1、1Chp12：统计决策理论n用不同方法可能得到多个不同的估计，哪个估计更好一些？n统计决策理论：比较统计过程的形式化理论2损失函数n损失函数：度量真值 与估计 之间的差异n损失函数举例平方误差损失绝对误差损失损失0-1损失Kullback - Leibler损失 2,L ,L ,pL 0 ,1 ifLif ;,log;fxLfxdxfx pL3风险函数n注意：估计 是数据的函数，有时记为n风险函数：平均损失n估计 的风险定义为n对平方误差损失，风险为MSEn风险是 的函数n比较不同的估计，转化为比较不同估计的风险n但并不能清楚地回答哪个估计更好,;RLLf xdx E 22,RMSEbias

2、EVX4风险比较n例12.3：令 ，n损失函数：平方误差损失n估计1：极大斯然估计：n偏差bias=0，所以 1,nXXBernoulli p1 pX111,pppR p ppnV5风险比较n例12.3（续）:估计2：贝叶斯估计，先验为 ，则估计为n风险为n当 时，其中2Ypn,Beta 1niiYX2222222, 1 ppppR p ppbiaspYYpnnnppnppnnVVE4n2224,4YnnpR p pnnnn6风险比较没有一个估计的风险在所有的p值都超过另外一个7风险比较n风险函数的两个单值概述n最大风险n贝叶斯风险n其中 为的先验。 sup,RR ,r fRfd f8风险比较

3、n例12.5：n最大风险函数：n ，所以根据最小最大风险， 更好一些11010111max,max4ppppR pR p pnn 22220101max,max44ppnnR pR p pnnnn 11,ppRp pn22,4nRp pnn21R pR p2 p9风险比较n例12.5：n贝叶斯风险：先验为n当 时， n所以根据最小贝叶斯风险， 更好一些问题：需要先验，尤其对复杂问题的话，确定先验可能很困难 1fp 1111,6ppr f pR p pdpdpnn2222,44nnr f pR p pdpdpnnnn20n 21,r f pr f p1 p11,ppRp pn22,4nRp pn

4、n10决策规则(Decision Rules)n决策规则是估计的别名n最小化贝叶斯风险的决策规则称为贝叶斯规则或贝叶斯估计，即 为对应先验 f 的贝叶斯估计n其中下界是对所有的估计 计算n最小化最大风险的估计称为最小最大规则n其中下界是对所有的估计 计算f,inf,fr fr f inf sup,RR 11贝叶斯估计n估计 的后验风险：n贝叶斯风险与后验风险：n其中 为X的边缘分布n 为最小化后验风险 的的值n则 为贝叶斯估计n给定一个模型（先验和似然）和损失函数，就可以找到贝叶斯规则 x()()()|,|rxLfx dqq qqq=()()( ),|fr frx m x dxqq=( )()

5、() ( ),|m xfx df xfdqqqqq=蝌 x()|rxq()()( )() ( )() ( ),|f xf xffxf xf xfdqqqqqqq=12()()( )()()( )( )()()()( )( )()() ( )( )()()( )()() ( )( )()()()( ),|, ,| ,| , ,| ,| |fffr frx m x dxr fRfdLxf xdx fdLxf xfdxdLxf xdxdLxfx m x dxdLxfx dm x dxrqqqq qqqq qqqqq qqqqq qqqq qqqq qqqq=蝌蝌蝌蝌蝌()( )x m x dx证明：

6、()() ( ),|f xf xfqqq=()() ( )( ),|m xf xfx f xqq=13贝叶斯估计n一些简单损失函数对应的贝叶斯规则n若 ，则贝叶斯规则为后验均值n若 ，则贝叶斯规则为后验中值n若 为0-1损失，则贝叶斯规则为后验众数(MAP) 2,L ,L ,L |fxfx dXxE14最小最大规则n找最小最大规则、或者证明一个估计是最小最大估计是一件很困难的事情。n本节主要讲述一个简单的方法：有些贝叶斯估计（风险为常数）是最小最大估计n令 对应先验 f 的贝叶斯估计：n假设n则 为最小最大估计，且f 称为最小受欢迎先验( least favorable prior)。n上述结

7、论一个简单的结论：如果一个贝叶斯规则的风险为常数 ，则它是最小最大估计。f,inf,fr fr f, ffRr f f,fR fc15正态分布的最小最大规则n定理12.14：令 ，n则 是关于任意损失函数的最小最大规则n且这是唯一有此性质的估计1,1nXXNX16MLE为近似最小最大估计n对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常n根据Cramer-Rao 不等式，这是所有无偏估计的方差的下界。 212,O nO nRbias V V 1nI17MLE为近似最小最大估计n因此对所有估计 ，有n对大数n， MLE为近似最小最大估计。n因此，对大多数参数模型，

8、当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。nMany Normal Means 情况不成立（不是大样本）,RR 18可接受性(Admissibility)n一个估计如果在所有值上都比其它估计的风险大，则该估计不是我们所希望的。如果存在一个其它的规则 ，使得n则该估计 是不可接受的。n否则， 是可接受的。,RRRR 19贝叶斯规则是可接受性n可接受性是与其他表示估计好坏的方法有何关系？n在一些正则条件下，如果 为贝叶斯规则且有有限风险，则它是可接受的。n定理12.20：令 ，在均方误差损失下， 是可接受的。n风险为f1,1nXXNX21,RXnn V20可接受性n如果 的风险为常数且

9、是可接受的，则它是最小最大估计。n定理12.22：令 ，在均方误差损失下， 是最小最大估计。n风险为n虽然最小最大估计不能保证是可接受的，但它是“接近可接受的”。1,1nXXNX21,RXnn V21多正态均值(Many Normal Means)nMany Normal Means是一个原型问题，与一般的非参数估计问题等价。对这个问题，以前许多关于极大似然估计的正面的结论都不再满足。n令 ， 表示数据， 表示未知参数，nc0，这里参数的数目与观测数据的数目一样多2,1,.,iiYNinn1,.,nYYY1,.,n2211,.,: nnniic 2 : ffxdx ( )( )1,niiir xw x Y=22Many Normal MeansnMLE为 ，损失函数为 MLE的风险为n最小最大估计的风险近似为 ，且存在这样一个估计 能达到该风险。n 存在风险比MLE更小的估计，因此MLE是不可接受的。n因此对高维问题或非参数问题，MLE并不是最优估计。另外在非参数场合，MLE的鲁棒性也不是很好。1,.,nYYY21,niiiL 221|niiiyfydy222c21,|niiiRLfy