贝叶斯统计与经典统计异同.doc

1贝叶斯统计与经典统计的异同曹正最近初步接触了在与经典统计的争论中逐渐发展起来的贝叶斯统计。贝叶斯派不同于频率派的地方在于他们愿意作出不是基于数据的假定，也就是说他们的观点来自何处并没有严格的限定。我觉得Bayes 统计的思想非常有意思，根据课堂上老师的指导，我清楚了Bayes的基本观点：1.认为未知参数是一个随机变量，而非常量。2.在得到样本以前，用一个先验分布来刻画关于未知参数的信息。3. Bayes 的方法是用数据，也就是样本，来调整先验分布，得到一个后验分布。4.任何统计问题都应由后验分布出发。为了更好的理解两种统计思想，我查阅了一些参考文献，整理出以下一些结论：以往，经典统计方法占据着统计学的主导地位，但是，贝叶斯方法正在国外迅速发展并得到日益广泛的应用，可以说“二十一世纪的统计学是贝叶斯的时代”。假设检验问题是统计学的一类重要问题，以下我们从这个角度对两大学派的假设检验思想进行一些比较，以揭示两种思想的区别与联系，并着重探讨贝叶斯方法的优势。在经典统计中处理假设检验问题，用的是反证的思想进行推断，即：在认定一次实验中小概率事件不会出现的前提下，若观察到的事件是0 H 为真时的小概率事件，则拒绝0 H 。具体的步骤是：1.建立原假设0 1 H Q vs 备择假设 1 2 H Q ；2.选择检验统计量T = T(x)，使其在原假设0 H 为真时概率分布是已知的，这在经典方法中是最困难的一步。3.对给定的显著水平a ，确定拒绝域，使犯第一类错误的概率不超过a 。4.当样本观测值落入拒绝域 W 时，就拒绝原假设0 H ，接受备择假设1 H ；否则就保留原假设。2而在Bayes 统计中，处理假设检验问题是直截了当的，依据后验概率的大小进行推断。在获得后验分布p (q | x)后，即可计算两个假设 0 H 和1 H 的后验概率0 a 和1 a ，然后比较两者的大小，当后验概率比（或称后验机会比） 0 a / 1 a 1时接受 0 H ；当0 a / 1 a ，按照经典统计学方法，若取a = 0.05，则拒绝域为 *1 x : x 100 u x : x 116.45 a s + = 。尚不能认为该儿童智商高于平均水平。对第二问，经典方法需要进行两次分别针对a、b 的单侧检验。过程与第一问相似，这里不再叙述。. 用贝叶斯方法解答在贝叶斯学派中，当iq 未知时，将其看作随机变量，与q 具有相同的分布，这是贝叶斯学派与经典学派的一个重大区别。3根据贝叶斯理论，q 的先验分布是N(100, 225)，测验结果 * X N(q ,100)，儿童智商的后验分布为正态分布N(110.38,69.23)（具体计算过程请参见参考茆老师的贝叶斯统计P14-15）。对第一问，同样设0 H ： 100 * q 1 H ： 100 * q ，查正态分布表可以得到：( : 100 | 115) *0 P H q x = =0.106， ( : 100 | 115) *1 P H q x = =0.894。 根据风险最小原则拒绝0 H ，接受1 H 。对第二问，设0 H ：a * q b 1 H ： * q a 或* q b，查正态分布表可以分别得到 : | 115 *0 P H a q b x = 和 : b | 115 * *1 P H q x = ，类似第一问，依据风险最小原则做出推断。按Bayes 的观点，多重假设检验的情形并不比两个假设的检验更困难，因为它只需要多算几个后验概率即可；它同时利用了样本和_ 的先验信息，且由于导出了样本x 下的后验分布，可以对风险给出正面的回答，因而较经典方法下的间接判断更直观。事实上，两个学派的方法在一定程度上统一于贝叶斯公式。因此，当 ( ) ( ) 0 1 P H = P H ，即0 H 与1 H 居于平等地位时，经典学派与贝叶斯学派的结果是一致的。对于正态分布前提下的单侧检验： ( ,1), : 0 0 X N q H q : 0, 1 H q 经典方法得到的P 值与贝叶斯方法在无信息先验分布下的后验概率相等，此结论可以推广到正态分布前提下其他类似的单侧检验，如上例。而对于形如 : 0, : 0 1 H q = H q o ，(或 : 0 1 H q )的单侧检验，情况则不同，与下述的双侧检验有类似结果。即对形如 : 0, : 0 1 H q = H q o 的双侧检验，经典方法得到的P 值与贝叶斯方法的后验概率大不相同。在Berger 和Sellke 1987 年对正态分布前提下二者的比较研究中，当经典方法得到的P 在0.010.1 之间时，贝叶斯方法得到0 H 为真的后验概率大于P，因而此时拒绝0 H 所承担的实际风险大于P，而这个区间对于经典方法下结论是非常重要的。Hwang 和Pematle 1994 年提出，对这类双侧检验，类似结果始终存在，因而P 值应该由其他判断标准来替代。但他们还没有找到这种标准。值得注意的是，经典的犯第一，二类错误的概率通常都不与相应的假设后的概率近似，这也许是经典派实际工作者愿意用P 值代替犯第一，二类错误的原因吧。在这里我只对一个简单的单侧假设检验的例子作了一点展开，而实际中的Bayes 检验问题包括单侧检验，原假设为简单假设的检验和多重假设检验。我们可以参考的文献有很多，在James O.Berger 的统计决策论及贝叶斯分析中有着很全面和详细的叙述。4假设检验是Bayes 分析中的一个问题，Bayes 分析在运算上有不少优点，在这里要提的相关的一点是，由它得出的未知参数的最终分布（后验分布），由此可以同时解决大量的问题，这比经典统计学要方便容易得多。贝叶斯方法在先验信息的利用、风险的回答、损失的考虑以及多重假设问题的处理等方面较经典方法具有明显的优势。贝叶斯学派的理论已经成为决策论的一个基本工具，在社会学、经济学等领域发挥着重要作用，正逐步受到重视更多领域的重视。参考文献：_ James O.Berger 著