贝叶斯估计问题的处理和解决.doc

课课程程设设计计 论论文文 题题 目目贝贝叶叶斯斯估估计计 姓姓 名名 学学 号号 指指 导导 老老 师师 指指导导教教师师职职称称讲讲师师 年年级级专专业业班班级级1 12 2 信信息息与与计计算算科科学学 2 2 班班 所所 在在 学学 院院理理学学院院 2 20 01 14 4 年年 6 6 月月 1 18 8 日日 I 武汉工程大学课程设计 论文 目目录录 目录 I 摘要 II 前言 III 1贝叶斯估计 1 1 1统计推断的基础 1 1 2贝叶斯公式的密度函数形式 3 1 3 贝叶斯估计 5 1 4 共轭先验分布 7 2课题背景 8 2 1背景 8 2 2需要分析 8 2 3 意义 9 2 4 文献综述 9 3 解决问题 10 3 1问题 1 的支付函数和损失函 数 10 3 2问题 2 的支付函数和损失函 数 11 3 3 问题 2 的后验风险估 计 11 4数据图像处理 14 4 1支付函数图像 14 4 2 损失函数图像 15 4 3 后验风险图像 16 5总结 17 I 武汉工程大学课程设计 论文 致谢 18 参考文献 19 附录 程序代码 20 I 武汉工程大学课程设计 论文 摘摘要要 本课题主要是运用 Matlab7 0 的强大功能来解决 数理统计中的贝叶斯估计 问题 本文较详细地介绍了 贝叶斯的估计推导公式 本文还给出了对 贝叶斯估 计问题的数据图像处理 较为直观地反映了贝叶斯相关函数的图像功能 关键词关键词 贝叶斯估计 先验分布 后验分布 Matlab I 武汉工程大学课程设计 论文 前前言言 本文详细介绍了 贝叶斯估计 问题的处理和解决 全文共5章 第1章介绍了 贝叶斯估计的相关知识 以及它所要 解决的问题 从这章节 中 我们能够清楚地了解到贝叶斯估计的思想 第2章主要介绍了 贝叶斯估计问题的题型和分析 第3章是贝叶斯估计问题的解决方法 第4章是对解题过程中产生出来的函数进行图像说明 使其更直观地反映函 数情况 第5章是对这次课程设计的总结 重点谈到了我在本次 课程设计中的收获 与感想 全文的最后是致谢 参考文献和程序的全部源代码 XX 2014 6 18 于武汉工程大学理学院 I 武汉工程大学课程设计 论文 1 贝贝叶叶斯斯估估计计 1 11 1统计推断的基础统计推断的基础 统计推断是根据样本信息对总体分布或总体的特征数进行推断 事实上 这 是经典学派对对统计推断的规定 这里的统计推断使用到两种信息 总总体体信信息息 和样样本本信信息息 而贝叶斯学派认为 除了上述两种信息以外 统计推断还应该使用 第三种信息 先验信息 下面我们先把三种信息加以说明 总体信息 总体分布或总体所属分布族提供的信息 样本信息 抽取样本所得观测值提供的信息 先验信息 如果我们把抽取样本看作做一次试验 则样本信息就是试验中 得到的信息 一般说来 先验信息来源于经验和历史资料 先验信息在日常生活和工作中 是很重要的 先看一个例子 例 1 在某工厂的产品中每天要抽检件以确定该厂产品的质量是否 满足n 要求 产品质量可用不合格品率来度量 也可以用件抽查产品中的不合格pn 品件数表示由于生产过程有连续性 可以认为每天的产品质量是有关联的 即 是说 在估计现在的时 以前所积累的资料应该是可供使用的 这些积累的p 历史资料就是先验信息 为了能使用这些先验信息 需要对它进行加工 譬如 在经过一段时间后 就可根据历史资料对过去件产品中的不合格品件数构n 造一个分布 i iP 2 1ni 这种对先验信息进行加工获得的分布今后称为先验分布 这种先验分布是对该厂 过去产品的不合格品率的一个全面看法 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学 它与经典统计 学的差别就在于 是是否否利利用用先先验验信信息息 贝叶斯学派的基本观点是 任任一一未未知知量量都都可可看看作作随随机机变变量量 可可用用一一个个概概 I 武汉工程大学课程设计 论文 率率分分布布去去描描述述 这这个个分分布布称称为为先先验验分分布布 在获得样本之后 总体分布 样本与 先验分布通过贝叶斯公式结合起来得到一个关于未知量的新分布 后验分 布 任何关于的统计推断都应该基于的后验分布进行 信信息息处处理理 结结构构图图 I 武汉工程大学课程设计 论文 1 21 2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式 这里用随机变量的概率函数再一次叙述贝叶斯公式 并从中介绍贝叶斯学派 的一些具体想法 总体依赖于参数的概率函数在经典统计中记为 它表示参数空 xp 间中不同的对应不同的分布 在贝叶斯统计中应记为 它表示在随 xp 机变量取某个给定值时总体的 条条件件概概率率函函数数 根据参数的先验信息确定 先先验验分分布布 从贝叶斯观点看 样本的产生要分两步进行 首先 设设想想从 1n xxX 先验分布产生一个样本 这一步是 老天爷 做的 人们是看不到的 0 故用 设想 二字 第二步从中产生一组样本 这时样本 0 Xp 的联联合合条条件件分分布布概概率率函函数数 为 1n xxX n i in xpxxpXp 1 0010 这个分布综合了总体信息和样本信息 由于是设想进来的 仍然是未知的 它是按先验分布产生的 为 0 把先验信息综合进去 不能只考虑 对的其他值发生的可能性也要加以考 0 虑 故要用进行综合 这样一来 样本和参数的联联合合分分布布 为 X XpXh 这个联合分布把总体信息 样本信息和先验信息三种可用信息都综合进去了 我们的目的是要对未知参数做统计推断 在没有样本信息时 我们只能 依据先验分布对作出判断 在有了样本观测值之后 我们应依 1n xxX I 武汉工程大学课程设计 论文 据对作出判断 若把作如下分解 Xh Xh XmXXh 其中是的边际概率函数 XmX dXpdXhXm 它与无关 或者说中不含的任何信息 因此能用来对作出推断的仅 Xm 是条件分布 它的计算公式是 X dXp Xp Xm Xh X 这个条件分布称为的后后验验分分布布 它集中了总体 样本和先验中有关的一切 信息 I 武汉工程大学课程设计 论文 1 31 3 贝叶斯估计贝叶斯估计 由后验分布估计有三种常用的方法 X 使用后验分布的密度函数最大值点作为的点估计的 最最大大后后验验估估计计 使用后验分布的中位数作为的点估计的 后后验验中中位位数数估估计计 使用后验分布的均值作为的点估计的 后后验验期期望望估估计计 用得最多的是后验期望估计 它一般也简称为贝叶斯估计 记为 B 例 2 设某事件在一次试验中发生的概率为 为估计 对试验进行了A 次独立观测 其中事件发生了次 显然 即nAX nbX xn x n x xXP 1 1 0nx 假若我们在试验前对事件没有什么了解 从而对其发生的概率也没有任何A 信息 在这种场合 贝叶斯本人建议采用 同等无知 的原则使用区间 0 1 上的均匀分布作为的先验分布 因为它取 0 1 上的每一点 1 0 U 的机会均等 贝叶斯的这个建议被后人称为贝叶斯假设 由此即可利用贝叶斯公 式求出的后验分布 具体分布 先写出和的联合分布 X xnx n x xh 1 1 0nx 10 然后求的边际分布X 2 1 1 1 1 0 n xnx dxm n x xn x n x 最后求出的后验分布 1 1 1 1 1 1 1 2 xnx xnx n xm xh x 10 最后的结果说明 其后验期望估计为 1 1 xnxBex I 武汉工程大学课程设计 论文 2 1 n x xE B 假如不用先验信息 只用总体信息与样本信息 那么事件发生的概率的最大A 似然估计为 n x M 它与贝叶斯估计是不同的两个估计 某些场合 贝叶斯估计要比最大似然估计更 合理一点 I 武汉工程大学课程设计 论文 1 41 4 共轭先验分布共轭先验分布 从贝叶斯公式可以看出 整个贝叶斯统计推断只要先验分布确定后就没有理 论上的困难 关于先验分布的确定有多种途径 此处我们介绍一类最常用的先验 分布类 共轭先验分布 定定义义 设是总体分布中的参数 是其先验分布 若对任意来 xp 自的样本观测值得到的后验分布与属于同一个分布族 则称 xp X 该分布族是的共轭先验分布 族 例 3 我们知道 0 1 上的均匀分布就是贝塔分布的一个特例 其 1 1 Be 对应的后验分布则是贝塔分布 1 1 xnxBe 更一般地 设 的先验分布是 baBe 均已知 则由贝叶斯公式可以求出后验分布为baba 0 0 这说明贝塔分布是伯努利试验中成功概率的共轭先验分布 bxnaxBe 类似地 在方差已知时正态总体均值的共轭先验分布是正态分布 I 武汉工程大学课程设计 论文 2 课课题题背背景景 2 12 1背景背景 某工厂的产品每 100 件装成一箱运交顾客 在向顾客交货前面临如下两个行 动的选择 一箱中一件也不检查 一箱中逐一检查 a 2 1 a 若工厂选择行动 则可保证交货时每件产品都是合格品 但因每件产品的检 1 a 查费为 0 8 元 为此工厂要支付检查费80 元 箱 若工厂选择行动 工厂可 2 a 免付检查费 80 元 但顾客发现不合格品时 按合同不仅允许更换 而且每件要 支付 12 5 元的赔偿费 若工厂从产品检查部门发现 该厂产品的不合格品率没有超过 0 12 的记录 取为的先验分布 应该如何决策 12 0 0 U 若该厂先在每箱中抽取两件进行检查 然后再做决策 应该如何决策 2 22 2需求分析需求分析 通过贝叶斯估计 求出相关变量之间的联合分布 然后求出后验分布以及后 验分布的风险程度 I 武汉工程大学课程设计 论文 2 32 3意义意义 让我们利用已学的知识来解决实际应用问题 不仅能够提升自己的学习应用 能力 也可以巩固我们相关的知识体系 在解决问题的过程中 通过贝叶斯估 计 它也能发挥我们思考能力 2 42 4文献综述文献综述 文献 E Er rr ro or r R Re ef fe er re en nc ce e s so ou ur rc ce e n no ot t f fo ou un nd d 较详细地介绍了 贝叶斯估计的 相关知识 对于我们解决此类问题有着直接的帮助 文献 Error Reference source not found 介绍了概率论与数理统计的基 础知识 使得我们更容易理解和解决问题 I 武汉工程大学课程设计 论文 3 解解决决问问题题 3 13 1问题 问题 1 1 的支付函数和损失函数 的支付函数和损失函数 假如用表示一箱中的产品不合格率 则容易获得工厂的支付函数 2 100 5 12 1 80 aa aa aW 其中 这时相应的损失函数可由支付函数换算得 1 0 0 0 0 125080 1 aL 0 0 125080 0 2 aL 其中 064 0 0 假如工厂从产品检查部门发现 该厂产品的不合格品率没有超过 0 12 的 记录 若取区间 0 0 12 上的均匀分布作为的先验分布 又决策中使用这个 分布 则就构成了无数据的决策问题 在这个决策问题中可以分别算得行动 和的先验期望损失1a2a 箱 元 32 21 2 125080 33 8 125080 12 0 1 1 0 0 2 00 daL 33 162 12 0 1250 12 0 8033 8 125080 12 0 1 2 2 0 2 0 12 0 0 箱元 daL 按先验期望损失愈小愈好原则 应采取行动 即每箱中一件都不检查可使工2a 厂损失最小 I 武汉工程大学课程设计 论文 3 23 2问题 问题 2 2 的支付函数和损失函数 的支付函数和损失函数 假如工厂决定先在每箱中抽取两件进行检查 设X 为其不合格数 则样本 分布 然后工厂根据的取值 可能取 0 1 2 三种 再选择行动 2 bXX 或行动 这时工厂的支付函数为1a2a 2 100 5 126 1 1 80 aa aa aW 相应的损失函数为 0 0 0 1250 4 78 1 aL 0 0 1250 4 78 0 2 aL 其中 06272 0 0 3 33 3问题 问题 2 2 的后验风险计算 的后验风险计算 取均匀分布为的先验分布 则可得与的联合分布 12 0 0 U X 12 0 0 2 1 0 1 12 0 1 2 2 xxXh xx x 的边际概率函数为x dxm xx x 2 12 0 0 2 1 12 0 1 I 武汉工程大学课程设计 论文 当给定时 可以得出x 00482 0 2 1104 0 1 8848 0 0 m m m 这样就得到的边际概率函数 接着在 0 1 2 给定下 容易得出的后验xxx 分布 12 0 0 1 4183 9 0 1 12 0 1 0 22 mx 12 0 0 1 9662 150 1 1 2 12 0 1 1 mx 12 0 0 1111 1736 2 12 0 1 2 22 mx 最后在损失函数 0 0 0 1250 4 78 1 aL 0 0 1250 4 78 0 2 aL 其中 下进行后验风险计算的计算 6272 0 0 XaR 由于有两种取法 可取三个不同的值 故在这个问题中后验风险有6 个不aX 同的值 这里计算其中 2 个 其中06272 0 0 2030 22 0 1250 4 78 0 1 0 0 dxxaR I 武汉工程大学课程设计 论文 8924 36 2 1250 4 78 2 2 12 0 0 dxxaR 从表中可以看出 假如选 那么时的后验风险不是最小的 假如选 1 a0 x 1 a 那么时的后验风险不是最小的 这时最优行动随着样本观测值 2 a2 1 x 2 a 的变化而变化 即x 2 1 0 1 2 x x a a a 这表明最优行动应是样本的函数 x I 武汉工程大学课程设计 论文 4 数数据据图图像像处处理理 4 14 1支付函数图像支付函数图像 I 武汉工程大学课程设计 论文 4 24 2损失函数图像损失函数图像 I 武汉工程大学课程设计 论文 4 34 3后验风险图像后验风险图像 I 武汉工程大学课程设计 论文 5 总总结结 这次课程设计 是我与同学一起经过探讨完成不大的程序编写 开始时 我们心里根本没底 想都不敢想自已能写出一点东西来 并真正地解决这一实际 问题 但随着工作的逐渐深入 对问题的理解越来越透彻 想写的东西越来越多 信心越来越足 程序越编越大 系统的功能越做越强 当我们洋洋洒洒地撰写完 千余行代码 将一个又一个功能模块实现出来 并将它们调试通过之后 那种喜 悦感 幸福感 成就感让我感到兴奋 我终于等到了所谓 开窍 的这一刻 原来它是这样的一种感觉 此时此刻 回想一年来学习编程的经历 我明白了这 样一个道理 此时的喜悦感 幸福感 成就感 不正好是过去的沮丧 痛苦 自 卑所带来的馈赠吗 如果我们成功 我们就应该总结自己的亮点在哪里 下次我们要继续保持和 创新 如果我们失败 我们就应该总结自己失败在哪里 下次不要犯同样地错误 我想我们应该先学会失败 再想着如何成功 成功之前 毕竟伴随着失败 不是 吗 在做好这次课程设计之后 我们虽然成功了 但也暴露来了我们身上的很多 问题 平时学习不够扎实 没有刻苦的钻研 就会导致我们这次的诸多不顺 这 次的苦果是我们咎由自取 我想我们应该要更加学习了 虽然说出来比较容易 但真的要学习了 没有一个人会喜欢自己做得很差 相反地 任何人都希望做得 最好 不过 在我的词典里 没有最好 只有更好 伟大的科学家爱因斯坦说 过 成功等于 99 的努力加 1 的灵感 在得到这些荣誉的前提下 我们必须付出 珍贵的时间和辛勤的汗水 最后 感 谢我的老师的辛勤付出与授课 没有老师孜孜不倦的教导和栽培 我认为我是学不到这宝贵的知识的 感谢同学及朋友的关怀和帮助 没有那些温 情的暖和 我认为我的心也会沉迷于浮躁中 大家在一起 即是缘分 感谢大家 感谢我们能相遇在一起的缘分 无路何时 我都会倍加珍惜这份感情 再次 谢 谢大家 I 武汉工程大学课程设计 论文 致致谢谢 一份课程设计 一份对老师的感谢 他严肃的科学态度 严谨的治学精神 精益求精的工作作风 深深地感染和 激励着我们 让我们在数理统计方面得到了深入的了解 在数据统计与分析方面 得到了进一步认识和理解 在此 我 向严老师致以诚挚的谢意和崇高的敬意 同时我还要感谢我的同学们 在论文设计中 当我遇到问题时 他们都给了 我很多的建议和帮助 我不仅得到了新的知识 更得到了更深厚的友谊 最后 我还要感谢我的论文中被我引用或参考的文献的作者 正是他们的著 作 在学习中给了我很大的帮助 让我更透彻的理解了我所学的知识 也能更好 的运用 I 武汉工程大学课程设计 论文 参参考考文文献献 1 茆诗松 贝叶斯统计 北京 中国统计出版社 1999 2 陈希孺 概率论与数理统计 北京 科学出版社 1981 I 武汉工程大学课程设计 论文 附附录录 程程序序代代码码 问题 1 的支付函数 subplot 2 1 1 theta 0 0 001 1 L1 80 L2 12 5 100 theta plot theta L1 b theta L2 r hold on text 0 8 1250 L 1250 theta text 0 8 80 L 80 title 问题 1 蓝线代表 a1 下的支付函数 红线代表 a2 下的支付函数 xlabel theta 轴 横坐标 ylabel L theta a 轴 纵坐标 问题 2 的支付函数 subplot 2 1 2 theta 0 0 001 1 L1 80 L2 1 6 12 5 100 theta plot theta L1 b theta L2 r hold on text 0 8 1250 L 1 6 1250 theta text 0 8 80 L 80 title 问题 2 蓝线代表 a1 下的支付函数 红线代表 a2 下的支付函数 xlabel theta 轴 横坐标 ylabel L theta a 轴 纵坐标 I 武汉工程大学课程设计 论文 问题 1 a1 下的损失函数 subplot 2 2 1 theta 0 0 001 0 064 L 80 1250 theta plot theta L b hold on plot 0 064 0 b text 0 064 0 分界点 text 0 1 60 L 80 1250 theta theta 0 064 0 0001 1 L 0 plot theta L b title 问题 1 a1 下的损失函数 xlabel theta 轴 横坐标 ylabel L theta a 轴 纵坐标 问题 1 a2 下的损失函数 subplot 2 2 2 theta 0 0 001 0 064 L 0 plot theta L r plot 0 064 0 r text 0 064 0 分界点 text 0 5 500 L 80 1250 theta hold on theta 0 064 0 0001 1 L 80 1250 theta plot theta L r I 武汉工程大学课程设计 论文 title 问题 1 a2 下的损失函数 xlabel theta 轴 横坐标