（精密仪器及机械专业论文）基于贝叶斯理论的不确定度评定方法研究.pdf

基于贝叶斯理论的不确定度评定方法研究摘要随着科学技术的飞速发展和对外贸易的扩大，对测量数据的准确性和可靠性提出了越来越高的要求，因此测量不确定度的评定受到了越来越高的重视。根据现在通常使用的测量不确定度表示指南( g u m ) 的基本原理，本文以贝叶斯理论为基础，对测量不确定度的评定方法进行了研究。针对g u m 中测量不确定度a 类评定受测量样本容量大小的制约，及其对相关资料利用的不充分性，本文提出了基于贝叶斯理论的测量不确定度a 类评定方法；针对测量不确定度b 类评定，受评定人员的认知水平等主观判断影响较大，使不确定的b 类评定缺乏可操作性，评定质量得不到有效保证，提出了基于模糊贝叶斯方法的测量不确定度b 类评定；针对测量不确定度合成受直接测量量相关性、模型可微性和复杂性的限制，提出了基于m a t l a b 、蒙特卡罗方法的测量不确定度合成方法。应用上述理论及方法，作者进行了测量不确定度评定的实例分析。关键词：贝叶斯理论蒙特卡罗理论二级模糊综合评判测量不确定度评定s t u d yo nt h ee v a l u a t i o no fu n c e r t a i n t yb a s e do nb a y e s i a nt h e o r ya b s t r a c tn o w a d a y sw i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g ya n dt h ee x p a n do ff o r e i g nt r a d e ，t h e r ea r em o r er e q u i r e m e n t so ft h ea c c u r a c ya n dr e l i a b i l i t yo fm e a s u r e m e n t ，s ot h ee v a l u a t i o no fu n c e r t a i n t yi sg e t t i n gm o r ea n dm o r ea t t e n t i o n b a s e do nt h ee v a l u a t i o np r i n c i p l eo fu n c e r t a i n t yi ng u m ( g u i d et ot h eu n c e r t a i n t yi nm e a s u r e m e n 0 ，t h ep a p e rs t u d i e so nt h ee v a l u a t i o no fu n c e r t a i n t yb a s e do nt h eb a y e s i a nt h e o r y i na l l u s i o nt ot h el i m i tb ys a m p l es i z ea n di n s u f f i c i e n c yi nu s i n gr e l a t e dd a t ao ft y p eae v a l u a t i o no fu n c e r t a i n t yi ng u m , t h ep a p e ri n t r o d u c e st y p eae v a l u a t i o no fm e a s u r e m e n tu n c e r t a i n t yb a s e donb a y e s i a nt h e o r y ；i na l l u s i o nt ot h ep o o rm a n e u v e r a b i l i t ya n dq u a l i t yi n s u r a n c eb yt h ei n f l u e n c eo ft h es u b j e c t i v ej u d g m e n t ss u c ha st h ec o g n i t i o no fa p p r a i s e r s ，t h ep a p e ri n t r o d u c e st y p ebe v a l u a t i o no fu n c e r t a i n t yb a s e do nt w o s t e pf u z z yc o m p r e h e n s i v ee v a l u a t i o ni nf u z z ym a t h e m a t i c sa n db a y e s i a nt h e o r y ；i na l l u s i o nt ot h ec o m b i n e ds t a n d a r du n c e r t a i n t yr e s t r i c t i o ni ng u mb ym e a s u r a n d sa n dt h ed i f f e r e n t i a b i l i t ya n dc o m p l e x i t yo fm o d e l ，t h ep a p e ri n t r o d u c e st h ee v a l u a t i o no fc o m b i n e ds t a n d a r du n c e r t a i n t yb a s e do nm a t l a ba n dt h et h e o r yo fm o n t ec a r l ob a s e do nt h ea b o v et h e o r ya n dm e t h o d s ，t h ea u t h o rd i ds o m ec a s e sa n a l y s i sa b o u tt h ee v a l u a t i o no f u n c e r t a i n t y k e yw o r d s ：b a y e s i a nt h e o r yt h et h e o r yo fm o n t ec a r l ot w o s t e pf u z z yc o m p r e h e n s i v ee v a l u a t i o ne v a l u a t i o no f u n c e r t a i n t y合肥工业大学本论文经答辩委员会全体委员审查，确认符合合肥工业大学硕士学位论文质量要求。答辩委员会签名( 工作单位、职称)主席：马寸小左薇戈吾狻狻委员：导师：鳓，念舰乡犬勿技爱；知、弋叫椒大寸伽够u 吾“孝明l坍我插图清单图3 - 】基于贝叶斯理论的测量不确定度a 类评定流程图图3 2 基于模糊贝叶斯方法的不确定度b 类评定流程图图3 - 3 示值变化量直方图图4 一l 计算流程图图4 2 基于m a t l a b 的测量不确定度合成流程图图4 - 3 仿真和系统误差引入的不确定度计算流程图图5 - 1 测量不确定度蒙特卡罗法合成的基本思想示意图图5 2 蒙特卡罗方法计算不确定度合成的流程图图5 - 3 体积误差直方图图7 一l 测量均值比较图图7 - 2 x 的标准不确定度比较图图7 3 电阻器图7 - 4 六位半高精度数字万用表图7 5 测量数据直方图图7 6 用蒙特卡罗方法得到的总误差直方图1 52 22 33 03 13 23 83 94 04 64 74 74 74 84 9表格清单表3 1 分布的k s 检验值表3 2 模糊因素及其等级表7 一】测量均值和不确定度比较附表l 测量数据附表2 蒙特卡罗法得到的总误差数据2 32 34 65 65 7独创性声明本人，* 明所早交的学位论文是本人在导师指导下进行的研究：- 怍及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得金壁! ：些盘堂或其他教育机构的学位或证js 而使_ 过的材利。与我一同 ：作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解金壁王些盔堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘允许论文被查阅和借阅。本人授权盒胆工业大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权体)学位论文作者签名暂晚静签字日期：角占年夸月矽日学位论文作者毕业后去向1 + 作单位：通讯地址：导师签名签字日期：印。j 年争月2 ， 日电话邮编致谢首先感谢我的导师陈晓怀教授近三年来的悉心指导，使我的硕士论文得以顺利完成，并使得课题研究取得了很好的成果。在课题研究中遇到问题，陈老师总是耐心的给我讲解，指导，同时陈老师的渊博的知识，和严谨的治学态度，使我受益匪浅。感谢实验室的王宏涛高工，王会生和丁苏红等老师，在我做试验时给我的悉心指导。还要感谢周围同学帮我解决科研中的一些难题，同时还在生活上给我关心和帮助。最后还要感谢我的父母、兄妹和朋友对我学习的支持和理解。作者：薄晓静2 0 0 5 年4 月第一章绪论1 1 测量不确定度的发展与现状1 1 1 测量不确定度的概述和发展简述测量不确定度是评定测量结果质量高低的一个重要指标，是指测量结果变化的不肯定性，是表征被测量的真值在某个量值范围的一个估计，是测量结果含有的一个参数，用以表示被测量值的分散性。因为测量误差的存在，被测量的真值难以确定，测量结果带有不确定性。测量不确定度越小，测量结果的质量越高；测量不确定度越大，测量结果的质量越低。当报告被测量的测量结果时，应该给出表示测量结果质量高低的某些数量指标即测量不确定度，以便使用它的人能判断其可靠性。随着科学技术的飞速发展和对外贸易的不断扩大，对测量结果的准确性和可靠性提出了越来越高的要求，因此测量不确定度受到越来越高的重视。“不确定度”一词起源于1 9 2 7 年德国物理学家海森堡在量子力学中提出的不确定度关系，又称测不准关系，1 9 6 2 年美n b s 的y o u d e n 首先在计量校准系统中提出定量表示不确定度的建议，在1 9 6 3 年，美国国家标准局( n b s ) 的e i s e n h a r t 先生在研究“仪器校准系统的精密度和准确度的估计”时，就提出了定量表示不确定度的建议。2 0 世纪7 0 年代，n b s 在研究和推广测量保证方案( m a p ) 时，对不确定度的定量表示又有了进一步的发展。不确定度在测量计量领域逐渐得到使用，但是对不确定度的理解和表示方法尚缺乏一致性。1 9 7 7 年5 月，国际计量委员会( c i p m ) 下设的国际电离辐射咨询委员会( c c e m r i ) 中的x y 射线和电子组，讨论了关于校准证书上如何表达不确定度的若干不同建议，但未做出任何决议。在1 9 7 7 年7 月的c c e m r i 会议上，提出了解决这个问题的必要性和迫切性，当时c c e m r i 主席、美国n b n 局长a m b l e r 先生，同意将此问题列入送交国际计量局( b i p m ) 审议的报告，作为当时c i p l l i 的成员，他正式提出了解决测量不确定度表示的国际统一性问题的提案。1 9 7 8 年，c i p m 要求b i p m 协同各国着手解决这个问题，b i p m 就此制定了一份详细的调查表，并分发到3 2 个国家计量院及5 个国际组织征求意见，1 9 7 9 年底，收到2 1 个国家计量院的复函，1 9 8 0 年，b i p m 召集和成立了不确定度表示工作组，在征求各国意见的基础上起草了份建议书，即i n c l ( 1 9 8 0 ) ，该建议书向各国推荐了不确定度的表示原则，从而使不确定度的表示方法逐渐趋于统一。1 9 8 1 年，第七十界c i p m 批准了上述建议，并发布了一份c i p m 建议书，即c i - 1 9 8 1 。1 9 8 6 年，c i p m再次重申采用上述测量不确定度表示的统一方法，并发布了c i p m 建议书，即c i 一1 9 8 6 ，这份c i p m 建议书推荐的方法。以t n c l ( 1 9 8 0 ) 为基础，要求所有c i p m及其咨询委员会赞助下的国际比对及其他工作的参加者，在给出结果时必须使用合成不确定度。国际不确定度工作组经多年研究、讨论、征求各国及国际专业组织意见，反复修改，于1 9 9 3 年制定了测量不确定度表示指南。指南得到了b i p m 、o i m l 、i s o 、i e c 及国际理论与应用物理联合会( i u p a p ) 、国际理论与应用化学联合会( i u p a c ) 、国际临床化学联合会( i f c c ) 的批准。由i s o 出版。它已成为国际组织的重要权威文献，自出版以来，指南在计量、工业、商业、卫生等社会生活的各个方面得到了广泛的应用和发行，1 9 9 5 年刊误后又再印出，许多国际组织、国家计量机构纷纷采用和遵循指南的要求。中国计量科学研究院于1 9 9 6 年1 1 月制定了测量不确定度规范。1 1 2 测量不确定度评定的研究现状影响测量结果精度的因素有很多方面，一般情况下测量不确定度包含若干分量，目前测量不确定度的评定，按评定方法划分为a 类、b 类评定。其中一些分量由一系列观测数据的统计分析来评定，称为a 类评定：b 类评定是基于经验，对计量设备的了解，制造厂的说明书，检定证书，手册中的参考数据及其所给的不确定度等相关信息进行的评定川。所有的不确定度分量均用标准差表示，它们或是由随机误差引起，或是由系统误差引起，都对测量结果的分散性产生相应的影响。7 0 年代和8 0 年代是现代不确定度理论形成与迅速发展的时期，经过几十年的研究和发展，已形成较为完整的理论体系。它是集静态测量不确定度与动态测量不确定度、随机误差与系统误差、测量数据与测量方法、多种误差分布于一体的误差分析与数据处理理论，在理论上突破以统计学为基础的统计研究，并实现了不确定度理论与计算机应用技术的结合。近年来新理论和新方法的不断涌现，给不确定度理论研究注入了新的活力乜1 ，例如：以模糊集合理论为基础，研究动态测量数据处理中的某些问题：用灰色理论研究动态测试数据的相关性分析问题“3 ，及其将灰色系统理论用来解决测量不确定度的非统计评定、分析、判别和预报等问题”1 ；应用信息论中的熵分析法规，用误差熵来估计动态测量不确定度”1 ；利用神经网络的训练模型来对间接测量量进行估计及不确定度评定。对不确定度评定进行补充与完善，现已被学术界所共识。2 0 0 1 年4 月，在北京召开的有王大珩院士等著名专家学者参加的有关中国关于g u m 和v i m建议修改草案的讨论会，2 0 0 1 年8 月，合肥工业大学主持召开了“全国误差理论学术与教学交流研讨会”，同时为了更好地推动误差理论与不确定度研究及应用，与会专家学者经充分商讨，成立了全国测量误差与不确定度研讨会。2 0 0 1年5 月和1 1 月在法国连续召开了两次“计量学指南联合委员会( j c g m ) ”工作会议，j c g m 已注意到了g u m 9 5 所阐述的不确定度原理及评定方法在应用上具有一定的局限性。在这两次j c g m 会议上，“由时间引起的不确定度”问题不仅仅2被中国代表提出，丹麦d i f m 的代表d r l a r sn i t l s t n 及美国n i s t 的代表d r c h a r l e se h r l i c h 皆认为不确定度随时间漂移是一个比较普遍的问题弓f 起了一定反响，会议认为这一问题应引起足够的重视，并建议将其与多变量、多分布不确定度传播等问题列为未来g u m 的研究内容。1 2 测量不确定度及其评定方法简介1 2 1 测量不确定度的来源测量结果不确定度反映了对被测量值的准确知识的缺乏，即使当所有己知或认识的误差分量已计及，适当修正已作出，所说结果的修正量仍然含有不确定度，即测量不确定度代表了测量结果的不确定性。测量过程中有许多引起不确定度的来源，它们可能来自以下几个方面”；1 被测量定义不完整或不完善：2 实现被测量定义的方法不理想：3 非代表抽样一测量样本可能不代表定义的被测量；4 对测量过程受环境影响的认识不周全，或对环境条件的测量与控制不完善：5 对模拟式仪器的读数存在人为偏差( 偏移) ；6 测量仪器计量性能( 如灵敏度、鉴别力阈、分辨率、死区及稳定性等) 上的局限性；7 赋予计量标准的值和标准物质的值不准确；8 引用的数据或其它参量的不确定度：9 与测量方法和测量程序有关的近似性和假定性；10 在表面上看来完全相同的条件下。被测量重复观测值的变化。由此可见，测量不确定度一般来源于随机性或模糊性，前者归因于条件不充分，后者归因于事物本身概念不明确。因而测量不确定度一般有许多分量组成其中一些分量具有统计性，另一些具有非统计性。所有这些不确定度来源，若影响到测量结果，都会对测量结果的分散性作出贡献。1 2 2 测量不确定度的分类不确定度叙述工作组的建议书i n c l ( 1 9 8 0 ) 基于评定方法将不确定度分为两类，a 类和b 类不确定度。a 类和b 类分类目的是指出不确定度分量评定的两种不同方法，并不意味着两类评定产生的分量性质上有什么差别”3 。两类评定都基于概率分布，两类不确定度都用标准差表示。a 类评定是其中一些分量由一系列观测数据的统计分析来进行评定的；b类评定是一些分量不是用一系列观测数据的统计分析，而是基于经验或其它有关信息所认定的概率分布来进行评定的。1 2 3 测量不确定度a 类和b 类评定方法1 2 3 1 测量不确定度a 类评定方法对被测量x ，在重复条件或复现性条件下进行 次独立重复观测，观测值为x ；( f ：1 , 2 ，删) 。且各_ 值为不包含系统误差或已进行了修正后的值，也不含有粗大误差“1 。则算术平均值i 为i ：三y 托( 1 1 )n 贫i 作为被测量值的估计值即测量结果。s 阮) 为荜次测量的实验标准差，由贝塞尔公式计算得到厂了i 一“啪2 、击酚巧) 2 ( 1 - 2 )s ( i ) 为平均值的实验标准差，其值为。( i ) ：掣、ns ( 牙) 作为测量结果的标准不确定度，即a 类标准不确定度。观测次数n 充分多，才能使a 类不确定度的评定可靠，一般认为n 应大于5 ，但也不是越大越好，因为很难保证测量条件的恒定。要视具体情况而定，当该a 类不确定度分量对合成标准不确定度的贡献较大时，h 不宜太小，反之，当该a 类不确定度对合成标准不确定度的贡献较小时h 小一些影响也不大。若m 个被测量置在重复性条件下，均进行了n 次独立观测，观测值分别为x i , i ，x 。，x 。，其平均值为墨，则可得合并样本标准差即合成标准不确定度s ，为sp = 离=j 志喜黔，吲2自由度为v = t v | ( t l 一1 ) 。若m 个被测量工；所重复的次数不完全相同，各设为h ，x i 的标准差s ( _ ) 的自由度分别为1 ) i = n ，一1 ，通过m 个墨与v 。可得s 。为自由度为v = v ，f ；l1 2 3 2 测量不确定度b 类评定方法当被测量x 的估计值t 不是由重复观测得到，其标准不确定度u ( x ；) 可用x的可能变化的有关信息或资料来进行评定。b 类评定的信息来源有以下六项：( i ) 以前的观测数据：。( 2 ) 对有关技术资料和测量仪器特性的了解和经验；( 3 ) 生产部门提供的技术说明文件；4( 4 ) 校准证书、鉴定证书或其他文件提供的数据、准确度的等别，包括目前暂在使用的极限误差等：( 5 ) 手册或某些资料给出的参数数据及其不确定度；( 6 ) 规定实验方法的国家标准或类似技术文件中给出的重复性限r 或复现性限r 。具体评定方法如下：( 1 ) 根据经验和有关信息或资料，先分析或判断被测量值落入的区间旺一d ，覃+ a 】，并估计区间内被测量值的概率分布，再按置信概率p 来估计包含因子足，则b 类标准不确定度“( 工) 为：“) = ；。丘( 2 ) 如果根据制造部门的说明书、校准证书、手册或其他资料知被测量的估计值x ，并知其扩展不确定度u ( x ，) 是标准差s ( x ，) 的k 倍和包含因子的大小，则标准不确定度群如) = u ( x , ) k 。( 3 ) 如果给出了置信区间的半宽u 。和置信概率p ，除非另有说明，一般按正态r ，分布考虑评定其标准不确定度“o ，) t 则标准不确定度为群( 葺) = ，k ，为置信耳p概率p 和分布类型所对应的包含因子。( 4 ) 已知扩展不确定度u ，以及置信概率p 与有效自由度的f 分布，则标准不，确定度为u ( x ) = 。t ，( 哳，( 5 ) 在输入量x ，可能值的下界a 一和上界口+ 相对于其最佳估计值而不对称的情r 况下，其标准不确定度近似为“( 一) = 坚掣。( 6 ) 当测量仪器鉴定证书上给出准确度级别时，可按鉴定系统或鉴定规程所规定的该级别的最大允许误差进行评定。假定最大允许误差为爿，一般采用均匀分布，得到示值允差引起的标准不确定度分量为“= 牟。4 3不确定度b 类评定，要确定概率分布类型，包含因子或者置信区间等，因此要求评定者有深入的专业知识和工作经验。由于缺乏一定的方式可以遵循。并且都受评定者主观因素的限制，因此使评定质量受到影响，使不确定度b 类评定缺乏可操作性。1 3 基于贝叶斯理论的不确定度评定方法的研究现状1 3 1 贝叶斯理论发展与应用简介b a y e s 统计起源于英国学者贝叶斯( b a y e st r 1 7 0 2 一1 7 6 1 ) 死后于1 7 6 3年发表的一片论文“论有关机遇问题的求解”。在忿文中提出著名的b a y e s 公式和一种归纳推理方法，从而贝叶斯方法和理论逐渐被人理解和重视起来，尽管贝叶斯方法可以推导出一些有意义的结果，但在理论上和实际应用中也还是出现了各种各样的问题，因而在1 9 世纪并未被大家普遍接受。2 0 世纪初，意大利的菲纳特( b d ef i n e t t i ) ，稍后一些英国的杰弗莱( j e f f r e y s h ) 都对贝叶斯学派的理论作出了重要的贡献。第二次世界大战后，瓦尔德( w a l d ，a )提出了统计的决策理论，在这一理论中贝叶斯方法占有重要的地位；信息论的发展也对贝叶斯学派作出了新的贡献；更重要的是在一些实际应用的领域中，尤其是在社会科学、经济商业活动中，贝叶斯方法取得了成功，贝叶斯学派已成了一股不容忽视的力量。1 9 5 8 年英国历史最悠久的统计杂志b i o m e t r i k a 全文重新刊登贝叶斯的论文，这就是一个明证。2 0 世纪5 0 年代，以罗宾斯( r o b b i n s ，h ) 为代表，提出了经验贝叶斯方法，把贝叶斯方法和经典方法结合。引起了统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的个方向“。经过许多学者的工作，贝叶斯方法成为一个统一的理论体系和方法论，它具有一般性，现在贝叶斯方法在工程技术、管理科学、系统运筹、医疗诊断等领域中得到广泛应用。1 3 2 基于贝叶斯理论的不确定度评定方法的研究现状目前也有不少学者尝试了将贝叶斯统计原理应用于误差理论中不确定度的评定问题，并取得了一定的效果。但是在基于贝叶斯统计理论的不确定度评定中，没有区分测量不确定度表示指南中规定的a 类和b 类评定，只是笼统地进行了介绍，而且对评定中先验分布的确定方法没有做详细介绍。在文献 2 中，将贝叶斯理论应用于多变量测量不确定度的评定；及其基于贝叶斯理论的动态测量不确定度的研究等。1 4 课题来源及主要研究内容1 4 1 课题来源本课题是国家自然科学基金资助项目“动态测量误差分解与溯源及不确定度研究”( 项目编号：5 0 1 7 5 0 4 7 ) 的重要研究内容。本课题研究的意义：以贝叶斯理论为基础对测量不确定度的a 类和b 类评定进行研究，应用蒙特卡罗、m a t l a b 等方法进行不确定度合成的研究，对动态测量不确定度进行探讨。从而提出有实用价值的不确定度评定理论，对于完善测量精度理论，而且对拓展测量不确定度表示指南( , g u m ) 的应用范围，促进g u m 的广泛应用，具有重要的科学意义和实用价值。1 4 2 主要研究内容本课题的主要研究内容包括：1 基于贝叶斯理论的测量不确定度a 类评定。针对基于经典统计方法的测6量不确定度a 类评定的局限性，提出了以贝叶斯理论为基础的不确定度a 类评定，它能充分利用所获得的信息( 包括总体信息、样本信息和先验信息) ，从而使不确定度a 类评定合理、可靠，最后用实例进行分析。2 基于模糊贝叶斯方法的测量不确定度b 类评定。由于g u m 中的不确定度b 类评定通常借助于经验和相关资料假定分布类型，因此受评定人员的认知水平等主观判断影响较大，使不确定度b 类评定缺乏可操作性，评定质量得不到有效保证。针对这种情况提出了用模糊贝叶斯方法进行评定，该方法能够把人的主观判断和经验结合到分布识别中，把具有模糊性的因素定量化，综合考虑各种因素，避免了识别时对单个因素的偏激观点和信息丢失等现象。3 基于m a t l a b 的测量不确定度的合成。由于g u m 中的测量不确定度的合成受相关性和模型复杂性等条件的限制，使不确定度的合成存在着不足之处，而使用m a t l a b 进行随机模拟较好地解决了上述存在的问题，该方法不受相关性、可微性和模型复杂程度的限制，同时受问题条件限制的影响小，并且可以在计算机上实现不确定度的合成。4 基于蒙特卡罗方法的测量不确定度的合成。相对于基于m a t l a b 的测量不确定度的合成，它是实际情况的再现，和实际情况比较接近，而且不受直接测量量相关性的限制，由于蒙特卡罗方法使用的是输入量的概率密度函数，而非其平均值、标准差及自由度，因而它避免了g u s t 中的一些近似。5 动态测量不确定度评定初探。针对动态测量数据，提出用贝叶斯常均值动态线性模型进行其不确定度评定，它能够融先验信息与样本信息与一体，并且当获得新的测量数据时，能在以前数据的基础上进行评定，而且对小容量样本也有较好的评定效果。6 测量不确定度评定的实例分析。采用三坐标测量机、量块和高精度万用表等仪器进行测量实践，并应用本论文提出的理论及方法进行不确定度评定。第二章贝叶斯理论及其贝叶斯建模2 1 贝叶斯理论概述贝叶斯理论是基于总体信息、样本信息和先验信息得到的后验信息所进行的统计推断。总体信息是总体分布或者总体所属分布族所提供的信息：样本信息是从总体抽取的样本或者通过实验所得到的试验结果绘我们提供的信息，这是较新的信息，并且样本信息越多对于计算和分析较为有益，人们一般是通过样本信息对总体的统计特征做出统计推断，没有样本就没有统计学而言：先验信息是在抽样之前或者实验之前有关问题的一些信息，一般来说，先验信息主要来源于经验、手册、说明书或者相关历史资料等。后验信息综合了上述三种信息，因此所含信息量大，信息比较完整。贝叶斯统计学与经典统计学的主要区别是利用了先验信息，贝叶斯学派很重视先验信息的收集、挖掘和加工，并使之数量化，形成先验分布，参加到统计推断中来，以提高统计推断的可靠性和有效性，忽视先验信息的利用，有时是一种资源浪费，甚至会导出不合理的结论。贝叶斯学派最基本的观点是：任一未知量都可以看作随机变量，可用一个概率分布去描述，这个分布是在抽样或者试验之前就有的关于参数的先验信息，称其为先验分布，它反映了人们根据经验对该事件发生可能性所给出的个人信念，先验信息主要来源于经验和相关资料等。在进行参数估计时，把样本信息和先验信息综合起来得到后验信息，从后验信息所得到的分布称为后验分布，贝叶斯学派认为对参数所作的任何估计和统计推断( 参数估计、假设检验等)必须基于且只能基于参数的后验分布来进行，因为后验分布综合了更多的信息，先验分布反映了试验前对参数的认识，后验分布反映了在得到样本信息后对参数认识的深化，它们的差异是样本信息出现后，人们对参数认识的一种调整，因此根据后验分布对参数所做出的估计和推断更为合理和可靠“1 。贝叶斯学派与经典学派的主要分歧为：第一，经典学派视参数为未知常数，而贝叶斯学派视参数为随机变量且具有先验分布。第二，经典学派视概率为事件大量独立重复试验频率的稳定值，而贝叶斯学派赞成主观概率，将事件的概率理解为认识主体对事件出现可能性大小的相信程度，这不依赖于事件能否重复，当然对于可以独立重复试验的事件，概率仍可视为频率稳定值。但是应用主观概率也不是给使用者完全的自由，因为给出的主观概率必须满足概率公理，并且要求人们对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家。2 2 贝叶斯统计模型概率中的贝叶斯模型为”3 ：吼阱。坐j 盟，扛1 厶埘1 )e b a 研爿j其中，事件a i4 ：，a 。构成互不相容的事件完备组。先验信息以 p a 】，i = 1 2 ，月i 奎_ - q e 验概率给出，后验信息以 p a ，i b 】，i = 1 , 2 ，h ) 体现出来。贝叶斯公式体现了先验分布向后验分布的转化。对于连续分布的情况，贝叶斯模型以下列形式给出：圳加器占其中， z r ( o ) ：口0 为先验分布的概率密度函数， ，( 工i 臼) ：口0 为样本分布族的概率密度函数，后验分布的概率密度函数h ( o l x ) 反映了得到观测值x后，0 取各种可能值概率大小的薪认识。当x 为连续型，口为离散型时有删加熹贝叶斯公式可以形象地表示为：先验信息0 样本信息j 后验信息2 3 贝叶斯模型的简化表示若随机变量x 的密度函数为f ( x ) = e g ( x ) ，其中c 为与工无关的数，则可记厂( z ) * g ( z ) ，g ( x ) 称为密度函数f ( x ) 的核。当给定样本x = ( x ，x ：。，x 。) 7 ，记x = o 。，x ：，x 。) 7 ，可以用似然函数l ( o l x ) 表示概率密度函数f ( x l o ) = ，( ，t ，p ) 。则贝叶斯理论可以简单地表示为：h ( 口b ) 瞳p ( o ) ( o l x )( 2 - 2 )式中，h ( 口k ) 为后验密度函数，p ( o ) 为先验密度函数，( o l x ) 为似然函数。贝叶斯理论的主要观点也可以表述为，将参数0 看作随机变量，并具有反映实验前关于0 所有信息的先验分布，而在得至4 测量样本x = ( x ，x ：，x 。) 后，由x 与先验分布得到0 的后验分布，对0 所作的任何统计推断必须依据0 的后验分布，因为后验分布包含了参数0 的所有信息。由( 2 - 2 ) 式可以得出：当第一阶段测量样本为x 时：h ( o t x ，) 2p ( o ) ( 纠五)当第二阶段测量样本为x ，时：h ( o x l ，z 2 ) h ( o x 。) ( 6 1 x 2 )依此类推可得：9h ( o l x ，x ：，x 。一。，x 。) 0 c h ( o x ，也，工。一。) l ( o l x 。)( 2 3 )测量样本x 。，x ：，x 。相互独立，其中t , ( o l x 。，x ：，屯一。) 包含了x t ，z ：，矗一t与先验信息，新观测值z 。t 献n n 息包含在l ( o l x 。) 中，它们组合起来构成h ( o l x 。，x ：，+ z 。) ，它包含了先验和样本信息，由( 2 3 ) 式可看出上次的后验分布，可以作为下次计算的先验分布。2 4 先验分布的确定先验分布是贝叶斯统计模型的重要组成部分，使用贝叶斯方法的关键是确定先验分布，只有选择正确的先验分布，才能得出正确的后验分布，才能做出正确的统计推断。下面介绍一些常用的确定先验分布的方法”“”“”。2 4 1 用主观概率确定先验分布贝时斯学派认为，一个事件的概率是入 f j 根据经验对该事件发生的可能性所给出的个人信念，由此所得到的概率称为主观概率。主观概率的给出决不是随意的，而是要求人们对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家，并能够对周围的信息和相关信息进行仔细分析，在这个基础上所得到的概率就比较符合客观实际，此时先验分布可以用主观概率表示。确定主观概率的常用方法有：1 用对立事件的比较确定主观概率；2 用专家意见确定主观概率，关键对专家本人要了解，以便作出适当的修正，形成自己的主观概率；3 向多位专家咨询后，综合考虑历史资料、个人经验和别的相关资料得到主观概率；4 用模糊贝叶斯方法确定主观概率( 见第三章) 。但是不管用什么方法确定的主观概率，都必须符合下列条件；( 1 ) 非负性公理；( 2 ) 正则性公理，必然事件的概率为1 ：( 3 ) 可列可加性公理。2 4 2 利用先验信息确定先验分布当总体参数是连续时，并且可以得到参数的足够信息( 经验和历史数据等) ，可以用下面的方法确定先验分布：1 直方图；2 选定先验密度函数形式再估计其超参数：3 定分度法与变分度法。定分度法是把参数可能取值的区间逐次分为长度相等的小区间，每次在每个小区间上请专家给出主观概率。变分度法是把参数可能取值的区间逐次分为机会相等的两个小区间，区间的划分是由富有经验的专家来确定的。2 4 3 无信息先验分布1 均匀无信息先验参数8 的无信息先验分布是指除参数口的取值范围和参数8 在总体分布中的地位之外，再也不包含参数的任何信息的先验分布。不包含参数目的任何信息是指对口在取值范围内取任何可能值都相同，没有偏爱，都是同样是无知的。因此参数口的先验分布选为均匀分布，即：万( 们：j 。，船【0 ，口匹o其中o 是参数目的取值范围，c 是一个容易确定的常数。对于参数口是无限区间的情况，常选用露 a ) = l 作为先验密度。贝叶斯统计学家为了把这种不正常的均匀分布纳入先验分布的行列，特地给出广义先验分布的概念。设总体x f ( x l o ) ，口e 。若0 的先验密度x ( o ) 满足下列条件：( 1 ) 万( 口) 0 ，且l 石( 口) d 口= 0 0 ：( 2 ) 由此决定的后验密度石( 日i x ) 是正常的密度函数，则称x ( o ) 为p 的广义先验密度。2 位置参数的无信息先验分布具有下列形式的密度函数族称为位景参数族： ，o o ) ：一 8 0 ，盯称为尺度叮盯参数。尺度参数族的无信息先验分布为：厅( 仃) o c , 土，仃 0 。2 5 贝叶斯动态模型下面分别介绍几种动态贝叶斯模型 4 ”，它们叠加组合得到的总模型一般能很好地处理时间序列问题。2 5 1 常均值模型常均值模型是下面所介绍的动态线性模型的一个特例，该模型是一种应用最为广泛且又很简单的时间序列模型。对每一时刻f ，常均值模型记为：d l m l ，l ，v 。，w 。) ，模型如下：观钡0 方程： = t ，+ v ，u 川o ，一】状态方程：麒= a t i + c o , ，c o , 研o ，彬】初始信息：胁l d 。n ( m 。，c o )其中，“是f 时刻序列的水平，v ，是观测误差项或噪声项，( 1 9 ，是状态误差项。并且假定观测误差和状态误差都服从正态分布，对所有的f 和s ，当t s 时，v和v，卯。和。相互独立，且u与o。相互独立，方差k和彬是已知的。t均值m 。是水平1 。的一个估计值，方差c 0 是关于均值m 。的一种不确定性的度量。关于信息集合，假设口一，是由d o ( 包括m 。、c o 以及所有时刻t 的值r 和暇等) 和观测值y 。，y 。，y ，所组成。2 5 2 动态线性模型一般动态线性模型的特征是对每一个t 对应个四元素 f ，g ，v ，w 。= f ，g ，一，彬) ，其中，尸是已知的( 艄，) 矩阵；g 是已知的( 月h ) 矩阵；r 是已知的( ，x ，) 矩阵；彬是已知的( r l 肛) 矩阵。动态线性模型为：观澳4 方程：y t = e q + u ，u o ，巧】状态方程：只= g ，只一，+ c o , ，c o t n o ，彬】其中，误差序列v , - f f m , 独立，且相互独立。t 时刻y ，的期望值，即为均值鸬= 只。只。2 5 3 阶多项式趋势模型( 线性增长趋势模型)一般的时间序列中的局部趋势可由低阶多项式很好的逼近，特别是在短期预测中，用不超过二阶的多项式趋势模型就能给出较好的对局部变化趋势的拟合。一阶多项式模型为：观钡4 方程：y ，= 卢，+ v ，状态方程：鸬= 以。i + 屈一l + q ip t = p + nq = ( q i ，c o , 2 )其中，麒表示序列的水平，屈一，表示水平的变化。2 5 4 季节模型在许多时间序列中都有周期或循环特性，我f f n - q - 以用季节模型表示这种周期性。模型如下：观测方程：y ，= e ：妒，+ v ，状态方程：，= p 虬+ q其中，e 。= ( 1 , 0 ，o ) 1 2p =010 0o ol- o0 oo 10 oo 0= ( e 。是p x l 维向量，矩阵p 是p 。p 维置换矩阵，它的周期为p ，并满足p “。”= p ，( = 1 , 2 ，p ；n 0 ) tp ”= f 。2 5 5 回归模型回归建模，就是将回归变量x ，对序列y ，的影响进行数学和统计上的描述。一般我们不能得到回归变量和响应变量之间的精确关系，在建模时只要抓住它们之间的主要关系既可。多元回归d l m 模型如下：对于h 个回归变量置，以及序列y 。，假设第i 个变量墨在t 时刻是已知的，记为x n ，i = l ，2 ，n ；t = 1 , 2 ，。令回归向量只= ( 彳，j 0 )则含有h 个回归变量x ，以的回归d l m 定义为：，一，彬) 。模型可写为：观测方程：y ，= 只只+ v ，v ，n ( o ，k )状态方程：b = 只一i + c o , ，g o t n ( o ，形)其中b = ( 吼，氏) 为h x l 的回归参数向量，误差序列v ，q 满足独立性假设。2 5 6 噪声模型假设噪声序列仇是平稳的零均值序列，并且是可观测的，则一般的a r m a ( p ，q ) 模型为口口编= 妒，吼一，+ 帮，岛一，+ qr 4 jr * l令h = m a x ( p ，q + 1 ) 且设在r p 时，”= 0 ，r q 时丌，= 0 。引入n 维状态向量口。，它的第一个分量为叩f ，定义下列各量：f = e = ( 1 ，0 ，0 ) ig =y liy 20：。10y 。0o 01 0：0 1o 0出，= ( 1 ，疗i c j 厅h ) 可以证明，a r 凇( p ，q ) 的动态线性模型可以写为：观测方程：r , = f 口状态方程：鼠= g o , 一i + ，第三章基于贝叶斯理论的测量不确定度评定3 1 基于贝叶斯理论的测量不确定度a 类评定3 1 1 引言目前常用的不确定度评定方法是由1 9 9 5 年颁布并实施的测量不确定度表示指南( g u m 9 5 ) 中提出的不确定度a 类和b 类评定方法。测量不确定度a类评定是基于经典统计方法获得的标准差来表示标准不确定度，即该方法是基于频率的概率统计理论来评定不确定度，因此测量样本容量的大小成为制约评定精度的主要因素之一，通常的a 类评定只基于当前所测样本来对不确定度进行评定，而没有利用历史测量数据和相关资料，从而造成了资源的浪费。针对目前不确定度a 类评定存在的不足之处，提出了基于贝叶斯理论的测量不确定度a 类评定方法。”。目前也有不少学者尝试了将贝叶斯统计原理应用于测量不确定度的评定问题，并取得了一定的效果。但是在基于贝叶斯统计理论的不确定度评定中，没有区分测量不确定度表示指南中规定的a 类和b 类评定，并且只进行了笼统地介绍，而且对评定中先验分布的确定方法没有做详细介绍。3 1 2 评定原理及特点由g u m 可知，当测量结果取n 次测量数据的平均值时，标准不确定度为平均值的标准差。因此，我们可对测量均值利用h ( p l x ) 。cp ( p ) l ( k ) 进行建模，用测量均值的后验密度函数h ( b ) 的期望e h ( 卜) 来表示被测量真值的估计，标准差d ( i x ) 来表示标准不确定度。假如根据历史测量数据得先验均值。和均值的先验标准差r ，并设测量数据服从正态分布，因此可以认为p ( p ) - n ( 。，f 2 ) ，所以均值卢的先验密度函数为：p ( ) 2 考孑e x p 一专( p 一z 。) 2 )( 3 - 1 )r 2 疗2 f ”如果当前测量样本x = ( x ，x ：，x 。) ，则样本x 的均值为：一1 舀x 一2 = 己葺样本x 的标准差估计值为：厂t i 一s = 击( 一只) 2”v 忑备一) 则当前样本的联合密度函数( 似然函数) 为：“p 曲叫去re x p 一言善( - 刊2 ) ( 3 - 2 )把( 3 - 1 ) 和( 3 - 2 ) 式代入( 2 - 2 ) 式得后验分布为1 4h w l z ) e x p 一( 一p ) 2 2 仃2 】其中，p = e h ( p i x ) = ( 形：瓦+ 钐z ) ( 形：+ 形：)( 3 3 )仃2 = d h ( 乒i z ) 等_ 了( 3 - 4 )nf十8即被测量真值的估计为丘，其标准不确定度为仃。值得注意p 还可以表示为肛赢风+ ( 1 - 鑫弦。5 r 。+ s ：f + s 二s ：以由此可以看出，真值估计值p 是先验均值风和样本均值夏的加权之和，且先验方差s ； f 2 时，先验均值。在p 中占的比重愈大。当样本容量n 愈大或者s ； r2时，样本均值i 在卢中占的比重也愈大，特别当n 无限增大时，先验均值风在皿中已是微不足道；表示被测量值分散性的标准不确定度盯，它综合了当前测量样本和历史测量数据信息，信息量大，对小容量样本也会有很好的评定效果。并且从( 2 3 ) 式可知，当获得新的测量数据时，可以在上一次评定的基础上，利用贝叶斯理论来对不确定度进行评定一2 4 1 。基于贝叶斯理论的不确定度a 类评定，它能充分利用先验信息，在上次评定结果的基础上，结合当前测量样本所提供的信息来进行评定，因此评定时信息量大，对当前容量小的测量样本也有较好的评定效果。因此测量不确定度的贝叶斯评定更为合理，评定精度更高。3 1 3 评定流程图基于贝叶斯理论的测量不确定度a 类评定的流程图如图3 - 1 所示：图3 - 1 基于贝叶斯理论的测量不确定度a 类评定流程图3 1 4 实例分析以电压测量重复性引起的不确定度评定为例，用万用表对晶体管直流稳压电源输出的1 0 v 直流电压进行多次重复测量，现基于贝叶斯理论对由测量重复性引起的不确定度进行评定。已知由历史测量数据所确定的先验均值胁= 9 9 9 9 8 v ，样本均值的标准差为r = 4 7 4 3 9 1 0