（概率论与数理统计专业论文）多响应线性回归模型的bayes最优设计.pdf

摘要 试验设计是以概率论和数理统计为理论基础，经济地、科学地安排试验的一项技术， 在工业生产和工程设计中有广泛的应用。b a y e s 最优设计是试验设计研究的一个重要分 支。经典的最优设计方法大多没有考虑回归参数与误差分布的先验信息、要求的预测精 度等，然而这些附加信息的运用可以使得估计更为精确，并且可以在很大程度上减少试 验次数，这个优点在小样本情况下是尤为重要的。b a y e s 决策理论是建立b a y e s 最优设计 的基础，也是本文最主要的理论依据。它定义了一个决策准则6 ，用一个损失函数l 来度 量决策准则6 的优劣，设计准则就是使得损失函数关于未知参数以及响应变量的平均值达 到最小。一般地，6 可以是未知参数的某个估计量或是响应变量的预测量。 本文研究多响应线性回归模型的b a y e s 最优设计问题。首先，以两个分布之间的距离 作为损失函数，通过预测的方法建立设计准则。在连续设计区域下讨论设计准则的凸 性，得到该准则下最优设计的等价条件，并建立相应算法求得一个两响应线性回归模型 的b a y e s 最优设计。对于离散设计区域建立相应的算法并得到与连续设计区域中相类似的 最优设计结果。 然后，以响应变量预测值的平均偏差作为损失函数，建立以均方误差为基础的设计 准则。经典最优设计理论假设响应曲面为真，但实际情况比较复杂，响应曲面很可能 存在偏差，因此经典理论得到的设计就存在一定的风险。为降低设计风险，本文将研 究b a y e s 稳健最优设计问题，并利用m i n i m a x 方法得到设计准则。考察响应变量之间的相 关系数以及未知参数先验信息对最优设计的影响，并通过研究纯方差设计与纯偏差设计 的效的差别来说明采用稳健最优设计的必要性。 关键词：b a y e s 决策理论，最优设计，多响应，稳健设计 第1 页 a b s t r a c t e x p e r i m e n t a ld e s i g ni sat e c h n i q u ef o ra r r a n g i n ge x p e r i m e n t se c o n o m i c a l l ya n ds c i e n t i f i c a l l y b a s e do nt h et h e o r i e so f p r o b a b i l i t ya n ds t a t i s t i c s ，w h i c hh a se x t e n s i v ea p p l i c a t i o n i ni n d u s t r yp r o d u c i n ga n dt h ee n g i n e e r i n gd e s i g n b a y e s i a nd e s i g ni sa ni m p o r t a n tb r a n c ho f t h ee x p e r i m e n t a l d e s i g n t h ec l a s s i c a la p p r o a c hf o re x p e r i m e n t a ld e s i g nd o e s n tt a k ea c c o u n to fp r i o rk n o w l e d g e a b o u tt h er e g r e s s i o np a r a m e t e r , t h ee r r o rd i s t r i b u t i o n ，r e q u i r e m e n t sc o n c e r n i n gt h ea c c u r a c yo f p r e d i c t i o n ，e t c h o w e v e r , t h eu s e o f s u c ha d d i t i o n a li n f o r m a t i o na l l o w sf o ram o r ep r e c i s ee s t i m a - t i o na n da p o s s i b l yc o n s i d e r a b l er e d u c t i o no fe x p e r i m e n t a le f f o r t s ，w h i c hi so fs p e c i a li m p o r t a n c e i ns m a l ls a m p l es i t u a t i o n s b a y e s i a nd e c i s i o nt h e o r yw h i c hf o r m st h es u b j e c to ft h i sp a p e ri st h e f o u n d a t i o no fb a y e s i a ne x p e r i m e n t a ld e s i g n i td e f i n e sad e c i s i o nr u l e6a n du s eal o s sf u n c t i o nl t om e a s u r et h eg o o d n e s so f * d e s i g nc r i t e r i o ni st og e tt h ed e s i g nt h a tm i n i m i z et h ea v e r a g ev a l u e o fl o s sf u n c t i o nw i t hr e s p e c t i v et ot h er e g r e s s i o np a r a m e t e ra n dr e s p o n s ev a r i a b l e s g e n e r a l l y , 6 c a nb ea ne s t i m a t o ro fr e g r e s s i o np a r a m e t e ro rap r e d i c t o ro fr e s p o n s ev a r i a b l e s w ec o n s i d e r e dt h ec o n s t r u c t i o no fb a y e s i a no p t i m a ld e s i g nf o rm u l t i r e s p o n s el i n e a rr e g r e s s i o nm o d e l s f i r s t ，w es e tt h ed i s t a n c eb e t w e e nt w op r o b a b i l i t yd i s t r i b u t i o n sa st h el o s sf u n c t i o n a n du s eap r e d i c t i v ea p p r o a c ht od e r i v et h ed e s i g nc r i t e r i o n w ed i s c u s sc o n v e x i t yo ft h ec r i t e r i o n f o rc o n t i n u o u sr e g i o na n dd e r i v et h ee q u i v a l e n tc o n d i t i o no fo p t i m a ld e s i g n a na l g o r i t h mi sc o n - s t r u c t e dt og e n e r a t et h eb a y e s i a no p t i m a ld e s i g nf o rat w o - r e s p o n s el i n e a rr e g r e s s i o nm o d e l t h e o p t i m a ld e s i g nf o rd i s c r e t er e g i o nw h i c hi sg e n e r a t e db ya n o t h e ra l g o r i t h mi sv e r ys i m i l a rw i t h t h a to fc o n t i n u o u sr e g i o n s e c o n d ，w es e tt h ea v e r a g eb i a so fr e s p o n s ep r e d i c t o ra st h el o s sf u n c t i o na n d d e r i v et h ed e s i g n c r i t e r i o nw h i c hi sb a s e do nt h em e a ns q u a r e de r r o r i nc l a s s i c a lo p t i m a ld e s i g nt h e o r y , m a n yr e s u l t s a r eo b t a i n e du n d e rt h ea s s u m p t i o no fe x a c t l yc o r r e c tr e s p o n s ea n dh o m o s c e d a s t i c i t y i nm o s t s i t u a t i o n ，h o w e v e r , t h ea s s u m p t i o ni sn o ta l w a y st r u ea n da nu n k n o w nb i a sm a y e x i s tb e t w e e nt h e a s s u m e dr e s p o n s ea n dt h et r u er e s p o n s e 。s oi t sm o r ed a n g e r o u st op u tt h ed e s i g no b t a i n e df r o m t h ei d e a lm o d e lt op r a c t i c e t or e d u c et h er i s k ，w ec o n s i d e rt h ec o n s t r u c t i o no fb a y e s i a nr o b u s t o p t i m a ld e s i g na n dd e r i v et h ec r i t e r i o nb ym i n i m a xm e t h o d t h es e n s i t i v i t yt e s t i n gi sd o n ef o rt h e c o r r e l a t i o nb e t w e e nr e s p o n s e sa n dt h ep r i o ri n f o r m a t i o no fu n k n o w np a r a m e t e r st oo b s e r v et h e i m p a c to nt h eo p t i m a ld e s i g n f i n a l l y , w ec e r t i f yt h en e c e s s i t yo f r o b u s to p t i m a ld e s i g nb ym e a n s o ft h ee f f i c i e n c yo fa l l v a r i a n c ed e s i g na n da l l b i a sd e s i g n k e yw o r d s ：b a y e s i a nd e c i s i o nt h e o r y , o p t i m u md e s i g n s ，m u l t i r e s p o n s e ，r o b u s td e s i g n s 插图目录 插图目录 2 1 预测点分别为( 一1 一1 ) ，( 一1 ，0 ) ，( o ，0 ) ，总试验次数分别为凡= 6 ，9 时的最优设计 散点图1 3 3 1纯方差设计与纯偏差设计的效( 左) ：a = 0 5 ，不i - j p 值下的最优设 计，宰表示一次试验，。表示两次试验( 右) 。2 7 3 - 2 p ：一0 5 ，f 0 9 1 1 时的最优设计( 左) ；纯方差设计与纯偏差设计的效 ( 右) 。2 8 3 3a = ( ) 9 2 ，c = 1 5 ，) 取不同值时的最优设计( 左) ；a = 0 9 2 p = 一0 5 ，c 取不同值时的最优设计( 右) 。2 9 3 4 分别为9 1 0 时纯方筹设计与纯偏等设计的效3 0 第1 v 页 表格目录 2 1 对设汁区域 ，i 一的9 个试验点按字典排序法进行编号1 6 2 2 p = - 0 5 ，预测点分别为( 一1 一1 ) ( 一1 o ) ，( 0 0 ) ，总试验次数分别为r l = 8 9 i o h , 的最优没计点，表格中的数拂；表示在相应的试验点上进行试验 的次数1 6 3 1 总试验次数为竹= 9 h j 分别基j 二a 2 一最优设计准则与 一最优设计准则的最 优没计点，表格中的数捌农示相应的试验点2 3 3 2 对于a 0 1 1 ，i n j 隔为0 o l 的再个、值，总试验次数门= 6 h , j 。例3 3 f l o 最优设 讨。，表格中的数据表示在相应的试验点上进行试验的次数2 7 3 3 对设计区域a ，中的9 个试验点按字典t 4 1 ；芋- 法进行编号2 9 3 4 对r a f 0 1 1 ，间隔为0 0 1 的各个a 值，分别秤总试验次数为 7 = 8 ，9 ：1 0 时 例3 4 a 9 最优设计，表格q j 的数据表示在相应的试验点卜进行试验的次数2 9 第v 页 关于学位论文使用授权的说明 本人完全了解上海师范大学有关保留、 还论文的复印件，允许论文被查阅和借阅； 彩用影印、缩印或其他复制手段保存论文。 使用学位论文的规定，即：学校有权保留送 学校可以公布论文的全部或部分内容，可以 ( 保密的论文在解密后应遵守此规定) 作者签名：主至舀羞 日 期一翻牡舡7 日 新签名丝 第一章引言弟一早ji 商 试验设计是以概率论和数理统计为理论基础，经济地，科学地安排试验的一项技术。 经典的试验设计方法，如d 一最优、a 一最优都是基于信息矩阵建立的，并且一般都采用 未知参数的最小二乘估计量，然而，最小二乘估计与这些设计准则都没有考虑同归参数 的先验信息、要求的预测精度等。在每一个实际问题中几乎都会得到这些附加的信息， 这些附加信息的运用可以使得估计更为精确，并且在很大程度七可以减少试验的次数， 这个优点在小样本情况下是尤为重要的。在经典的试验设计方法中，同样发展出了许多 方法将先验信息包含到设计准则中，如通过回归参数的等式或不等式约束，但这种表述 先验信息的方法并不恰当，因为在实际问题中，先验信息一般是不确定的，并且很少能 够用一个确切的公式表示。 由于经典的最优设计方法存在以上的问题和困难，本文将采用试验设计中的另一种 构造最优设计的方法一- - b a y e s 最优设计方法。它将待估参数的先验信息与观测的随机误 差同时考虑在设计准则中，从某种程度上来说，b a y e s 最优设计的理论就是在不确定性下 作出最优的决策。设计试验的目标是使得某个试验结果的期望效用达到最大，效用通常 都是以试验所能提供信息的精确性的某个度量的形式表示的( 女h s h a n n o n 信息函数) ，当 然，同样可以包含一些其他的因素，例如试验的成本等。最终得到的最优设计由所选择 的效用准则函数决定。b a r n a r d ( 1 9 5 9 ) 提出先验信息能够并且应该在试验设计问题的构造 中体现。l i n d l e y ( 1 9 6 8 ) 结合先验信息，建立以线性预测量的平方误差损失为基础的设计准 则。而w a l d ( 1 9 4 3 ) 提出的决策理论为构造试验设计问题提供了一个便捷的方法，尤其是 当先验信息给定时。p i c c i n a t o ( 1 9 8 0 ) 建立b a y e s 决策理论。p i l z ( 1 9 8 3 ) 以b a y e s 决策理论为基 础，对单响应线性模型的b a y e s 最优设计方法作出较为全面的介绍，讨论- b a y e s 最优设 计的各种性质，并且给出构造最优设计的几个算法。m o r r i s ( 1 9 9 6 ) 在单响应线性模型下， 利用b a y e s 决策理论，以预测变量的后验分布与真实分布之间的平方距离为损失函数构造 最优设计准则。本文将针对多响应线性回归模型，运用b a y e s 决策理论，讨论不同准则下 的b a y e s 最优设计。 b a y e s 最优设计方法将模型参数的先验信息表示为一个概率分布，对于以下线性回归 模型： y = f ( ) 口+ e ， 其中表示一个礼点设计，随机误差e n ( o ，) ，在b a y e s 方法下，最d , - 乘估计量口= ( f ( ) 7 f ( v n ) ) f ( v n ) 7 y 被b a y e s 估计量所代替， p 且= ( f ( ) 7 f ( ) + 圣_ 1 ) - 1 ( f ( ) 7 y + 圣o o ) ， 其中如和圣分别代表回归参数口的先验分布的均值与协方差矩阵。民总结了先验信息中回 归参数的位置，而中度量了这个先验信息的精确性以及各回归参数之间可能的相关关 系。当与巾未知时，使用最d x - - 乘估计量最大的一个缺点是设计矩阵f ( ) 必须是列满 秩的，而在实际问题中经常会遇到设计矩阵f ( ) 不是列满秩的情况，此时无法对回归 参数口进行估计，除非有附加的信息。然而，对于b a y e s 估计量就不存在这样的问题，因 为圣是正定矩阵，f ( ) 7 f ( ) + 圣- 1 总是可逆的，因此，在b a y e s 方法下可以进行单点设 计，这是一般的经典试验设计方法很难做到的。 第1 页 第一章引言 b a y e s 决策理论将设计问题作为一个统计决策问题来讨论，在这种方法下，设计问题 被看作是一个统计学家与自然的二人零和博弈。设y 是一个可观测的随机向量，可表示为 线性模型的形式，模型的随机误差的分布属于如下分布族： r = 砭功) 晦， 其中m 言表示p 阶正定矩阵全体，并且满足对于任意的1 ，2 蟛，1 2 ，有碟岫 硭沈j ，即随机误差的分布由已知参数唯一确定。根据随机误差的分布可以得到y 的条件 分布，假设它属于分布族 p ( i 口，) 旧e ，三) ，其中p 为模型的未知参数向量，为一 个设计测度，三为定义在设计区域上的概率测度的全体。下面考虑一个决策问题，决策 空间为么，决策准则6 是一个关于y 和f 的泛函，6 ( ) a ，而决策的优劣由一个损失函 数l 来度量，l 定义为如下泛函： l 6 ( v ) ，p ，】，l ：e a 兰_ 乏 从而可以定义决策准则6 的风险函数r ( 文护，) ，如下式所示： r ( 6 ，p ，) = e , y i o ，l 6 ( ) ，p ，) ( 1 - 1 ) 记珧( ) 为风险函数取有限值的决策准则6 的全体。于是，一般的最优设计问题可分为以 下两步进行：首先，对于固定的设计三得到最优决策扩，然后再根据最优决策6 求解 最优设计+ 。 以下考虑b a y e s 最优设计问题，给定一个定义在参数空间e 上的先验分布丌，定义设 计的b a y e s j 阪l , 险函数为： 从而，满足 h ( ) ：i 亿，厂冗( 正秽，莓) 7 r ( 彬) 6 e d 5 ( ) j o ( 1 - 2 ) ( 靠) = i n yh ( ) ( 1 - 3 ) f 三 的设计三称为此决策问题的关于先验分布7 r 的b a y e s 最优设计。而对于精确设计问题， 令表示一个n 点精确设计，它可被视为三中的一个离散概率分布，可以看到，最优精确 设计问题比以上提到的最优设计问题多了一个优化参数，即设计点个数n ，给定设计点 个数诧的一个取值范围n o ，并且令k 表示由全体n 点精确设计构成的集合，于是，对于任 意给定的他n o ，求解b a y e s 最优设计磙，再在所有求得i 驹b a y e s 最优设计u ：中寻找使平 均b a y e s x i , 险达到最小的那个设计，即满足 h ( 口) = m i n ! 云窠( ) ， 的设计口：称为关于先验信息7 r l 拘b a y e s 最优精确设计。 本文将以上述b a y e s 决策理论为基础，研究总试验次数n 给定时多响应线性回归模型 的b a y e s 最优设计问题。首先，以两个分布之间的距离作为损失函数，通过预测的方法建 立设计准则。在连续设计区域下讨论设计准则关于设计的凸性，并且利用等价性定理得 到该准则下最优设计的等价条件，以h a r d i n & s l o a n e ( 1 9 9 3 ) 提出的算法为基础，建立相应 第2 页 算法求解一般的多响应线性回归模型的b a y e s 最优设计。同时讨论离散设计区域下设计准 则的形式与性质，建立相应的算法求解一般的多响应线性同归模型的b a y e s 最优设计。对 于同一个两响应线性回归模型，连续设计区域与离散设计区域下的b a y e s 最优设计结果非 常相似。 下一章中，本文以响应变量预测值的平均偏差作为损失函数，建立以均方误差为基础 的b a y e s 最优设计准则。首先仅考虑抽样以及参数估计引起的误差，由此得到的准则函数 就是通常所说的己一最优。经典最优设计理论假设响应曲面为真，但实际情况比较复杂， 响应曲面很可能存在偏差，因此经典理论得到的设计就存在一定的风险。为降低设计风 险，本文将研究b a y e s 稳健最优设计问题，也就是说，设计准则除了考虑抽样以及参数估 计引起的误差之外，还将考虑拟合模型的不充足性所引起的误差，并且利用m i n i m a x 方 法得到设计准则。考察响应变量之间的相关系数以及未知参数先验信息对最优设计的 影响，并通过研究纯方差设计与纯偏差设计的效的差别来说明采用稳健最优设计的必要 性。 第3 页 第二章基于预测的b a y e s 最优设计 第一l 章基于预测的b a y e s 最优设计 2 1 设计与预测 假设观测得到的数据可表示为个随机向量y r n ，它的分布为尸( i o ，f ) ，其中0 0 为未知参数，三是一个设计测度。要预测的随机向量为z 砧，分布为s ( i o ，f ) 。对 于此决策问题，它的决策空间是定义在科上的概率测度的全体，因此，给定设计和观测 向量y = 可时，此问题的决策准则6 ( h f ) 是上的某个概率分布。设0 的先验分布为7 r ， 则由之前对y 和z 的假设可以得到，当给定设计和y = 剪时，z 的条件分布为： r q 。( z l u ，) = s ( z l o ，) q 。( d 0j y ，) 其中q 。为0 的后验分布。 m o r r i s ( 1 9 9 6 ) 定义了如下损失函数，它度量的是两个分布之间的距离。 定义在某个空间u 上的概率测度，则q 和口的平方距离可定义为： ， ， i iq p2 g ( u ，v ) a ( d u ) 一1 3 ( d u ) a ( d v ) 一p ( d ) ) j uju 其中函数k 是有界、对称、非负定的，具体定义为： 设a 和口是两个 ( 2 1 ) 定义2 1 ：设，b ) 为一个可测空间，m 似) 为，b ) 上的所有有界符号测度组成的集 合，k ( u ，u ) 是定义在纠甜上的有界、可测、复值函数，则k 称为非负定的，如果： ( i ) k ( 仳，v ) = 瓦( u ，u ) ，其中耳表示共轭复数； ( i i ) 对任意的q m 似) ，llg ( u ，v ) a ( d u ) a ( d v ) 0 。 由此，可以定义损失函数为： l ( a ，p ，) = 0a s ( i o ，) 0 2 ( 2 2 ) 其中。为定义在础上的一个概率测度， | f f 2 如( 2 1 ) 式中定义，s ( i o ，f ) 是z 的真 实分布。m o r r i s ( 1 9 9 6 ) q b 已经证明，在这类损失函数下，q 。( z l 剪，) 就是使得决策准 则6 ( i y ，f ) 的综合风险函数 们) = z 即，吣) 砌p ) = 即( ，吣坝d y i 咖( 达到最小的最优解。从而，这个预测问题i 拘b a y e s 风险函数可表示为： h ( f ) = i i 骗( 石l u ，) - s ( 1 0 ，) 1 1 2p ( d y l 8 ，) 丌( d p ) ( 2 - 3 ) 定理2 1 ：对于( e ，( ) 上的任意概率测度7 r ，令露= 厶尸( i 护) 7 r ( 棚) ，则 l i i 一p l 1 0 ) 1 1 27 r ( d o ) = li ip o 1 0 ) i i 。r r ( d 0 ) i i 赣1 1 2 其中l i 女n ( 2 1 ) 式中定义，( e ，( ) 为一个可测空间。( m o r r i s ，1 9 9 6 ) 第4 页 由于q 。( zf y ，) = f o s ( z t o ，) q 。( d o l y ，f ) ，并且q 。( e l y ，) 是( e ，e ) 上的一个概率测度， 从而可利用定理2 1 将( 2 3 ) 式化简为： rr h ( ) = l is ( i 臼，) 1 1 27 r ( d o ) 一| iq 丌( z i 可，) 1 1 2m ( d y l f ) ( 2 - 4 ) ，oj r “ 其中坂( 匆i f ) 表示y 的边际分布。在一些情况下，( 2 4 ) 式右边的第一项与设计f 无关， 则此时预测问题的b a y e s 最优设计准则可化简为选取设计使下列s 丌( ) 达到最大： ，- s 丌( ) = | lq 。( z l y ，) 酽尬，( d y 吼三 ( 2 5 ) ，r n 在下一节中，将应用此准则来讨论多响应线性回归模型的b a y e s 最优设计问题，并且分别 针对连续和离散两种设计区域得到相应的算法。 2 2 模型与符号 考虑对m 个响应变量y 1 ，y 2 ，进行n 次独立的观测( 无需互不相同) ，设它们满 足如下线性同归模型： 钆t = ( z “) 0 i + e 讥，i = 1 ，2 ，m ；u = 1 ，2 ，礼 其中妣表示第i 个响应变量第u 次试验的观测值；侠是第i 个响应模型的p i 维未知参数向 量；e u i 是第i 个响应变量第钍次试验的随机误差：鼠= ( z 。1 ，z 幽，x u k ) 7 表示第u 次试验 的k 个控制变量的值，设计区域x 是k 维欧氏空间瞅的子集；五( z ) 是胁维列向量，其元素 都是关于k 个控制变量的已知函数。 使用矩阵记号，则第1 t 次试验的模型可表示为： k = p ( z u ) p + ，u = l ，2 ，礼 其中，k = ( 讥1 ，钆2 ，玑m ) 7 表示第u 次试验的m 个响应变量的观测 值；0 = ( 咣，o 2 ，) 7 表示p 维未知参数向量，p = e 銎lp i ；f ( x u ) = d i a g ( f l ( x u ) ，尼( z 。) ，厶( z 。) ) 是pxm 阶行满秩矩阵；e 。= ( 气l ，s u 2 ，啪) 7 是m 维随 机误差向量，并且假设鼠一m ( 0 ，) ，其中为已知的矾阶正定矩阵。所以，m 个响应变 量的n 次试验的观测值的向量矩阵形式为： y = f o + ( 2 6 ) 其中y = ( ，圪，) 7 是m 礼维观测值向量，f = ( f ( z 1 ) ，f ( x z ) ，f ( z n ) ) 是m nxp 阶 矩阵，e = ( e j ，：，s ：) 7 是m n 维随机误差向量。由于n 次试验是独立的，所以随机误差 向量e 服从如下多元正态分布： 一n ( 0 ，厶o ) 从而，当给定拶时y 的条件分布为： f ( y i o ，) = m n ( f 口，厶o ) 假设z 是要预测的向量，给定9 时z 的分布为 s ( z l o ，) = 肛( t o ，2 ) 其中t 为已知的rxp 阶行满秩矩阵，2 为r 阶已知正定矩阵。 第5 页 第二章基于预测的b a y e s 最优设计 2 3 设计准则 假设回归参数0 的先验分布为如下正态分布： 丌( p ) = p ( o o ，圣) 其中垂为p 阶正定矩阵，岛为p 维已知向量，设e 为秽的参数空间。由于对于每一次观测钍= l ，礼，虼i p 一m ( f 7 ( z 。) p ，) ，所以观测值y 的样本似然函数可表示为： 则= 垂( 2 丌一i i - 1 2 e 印h k 卅础k _ f ，) 刊一盯们e 印b 喜c k 琊肛弋k 哪) ) _ ( 2 矿叫2i i - * 2e x p 一i ( y - f o ) ，( 厶。) ( y - f 8 ) ) 利用目的先验分布的密度函数，可得给定y 时目的条件分布： 西。( o l y , oo ( l ( y i o ) t r ( o ) e x p 一芝1 ( y f p ) 7 ( 厶。一1 ) ( y - f o ) + ( p 一护。) 7 西一1 ( p 一) ) e x p 一互1 ( p p ) 7 f 7 ( 厶。一1 ) f + 圣一1 ( p p ) 其中p = f 7 ( 厶oe - 1 ) f + 圣一1 1 _ 1 【f 7 ( 厶oe - 1 ) y + 圣一1 如】，所以，给定y 时p 的后验分布 为如下正态分布： o 。( e l y , o = ( p ， f p 一1 ) f + 圣一1 - 1 ) 记1 = f 7 ( 厶。e - 1 ) f + 圣，r = p + ( t 7 i 1 t + e 1 ) 一1r i 1 ( z t p ) ，从而在拟合模 型( 2 6 ) 下，给定观测向量y 时z 的后验分布为： 骗( z i k ) = s ( z l o ，o o 霄( 删y f ) ze 印h 1 陋一丁吖i 1 ( z - t 0 1 ) 州刊，1 ( 臼刊 卜 ze 印h ( 口刊巾写1 丁+ 叫p 刊卜 唧h 1 ( z 一丁i 1 ( z - t , ) 协刊，1 ( p 刊 ) o c e x p 一互1 ( z t 7 7 ) 7 i 1 ( z - t y ) + ( p 一7 7 ) 7 ( p 一，7 ) ) 将刀的表达式代入上式，得到： q 丌( z i y , oo ce z p 其中p = i 1 ( 2 一t ( t 7 彳1 t + 1 ) 一1 t 7 ) i 1 ，所以， g ( z i y , ) = 坼( q ，p 。1 ) 由此，我们可以根据求得的z 的后验分布以及之前得到的b a y e s 最优设计准则( 2 5 ) 来 构造设计准则。对于由( 2 2 ) 式定义的损失函数，为使得它具有由引理2 1 所定义的平移 不变性，设u = ，m o r r i s ( 1 9 9 6 ) 定义了如下核函数： k ( u ，u ) = e x p i t 7u v ) h ( d t ) ( 2 7 ) j r r 其中日为定义在r r 上的一个概率测度，容易验证k ( u ，口) 是非负定的。从而，对于任意有 界的符号概率测度o t ， 忙1 1 2 = k ( 乱，咖( 删q ( 删 由此，可对设计准则( 2 5 ) 进一步化简。 引理2 1 ：核函数如( 2 7 ) 式定义，那么由此核函数所定义的平方距离l i | | 具有平移不变 性，即对于任意的概率测度p 1 和p 2 ，夕，1 1 只一bl i = | l 夕r g p 2i j 。 定理2 2 ：考虑以上定义的多响应线性模型以及预测问题，当损失函数由( 2 2 ) 式定义， 且核函数为( 2 7 ) 式时，b a y e s 最优设计准则( 2 5 ) 可表示为： s u p e x p 一p _ 1 t h ( d t ) ( 2 8 ) 证：记o t = q 丌( z l r , ) ，由引理2 1 及f u b i n i 定理，可得 i l 骗( z l y , ) 1 1 2 = i i r ( o ，p - 1 ) 1 1 2 = 上，( e 印似u ) q ( d ) e 印 一u ) q ( 咖) ) 日( = 妒( ) q o ( - t ) h ( d t ) = e x p 一t 7 p - 1 t h ( d t ) 其中妒( ) 为坼( o ，p - 1 ) 的特征函数。由于i iq 。( z l y , ) l2 与y 无关，所以它就等于8 丌。口 令核函数k ( u ，u ) 中的概率测度h = r ( o ，e 3 ) ，则( 2 8 ) 式化为： s u pl 3i - 1 2 i i 1 + 2 p - 1i 。2 e 三 由于3 与设计无关，从而，将尸的表达式代入，预测问题的b a y e s 最优设计的准则为选取 使以下a 1 达到最小的设计： 人1 = j i 1 + 2 e 2 ( 2 一t ( r i 1 t + e 1 ) 一1 t 7 ) 一1 2i ( 2 9 ) 其中1 = f 7 ( 厶o _ 1 ) f + 虫一，在此设计准则中只有f 与设计有关。 第7 页 第二章基干预测的b a y e s 最优设计 2 4 连续设计区域 2 4 1 准则函数的性质 记三为定义在设计域x 上的概率测度的全体，三称为连续设计，表示一个n 点精 确设计，可视为三中的一个离散概率测度，以三表示一个单点设计，即在z x 点取概 率值为1 ，其他点都取为0 ，从而佗点精确设计可表示为= p l 如。+ 耽疋：+ + 疋。， 其中每个x i ) ( ，u n ( x i ) = p i 0 ，：1p i = 1 。假设要三是一个凸集，并且满 足三 瓦三：z x 】。记 m ( v n ) = f 7 ( 厶o 一1 ) f + 圣一1 称为p 的关于精确设计v n l 拘b a y e s 信息矩阵。 定义2 2 ：矩阵 r m ( 荨) = n f ( x ) e 一1 一( z ) ( d z ) + 圣一1 j x 称为容量为佗时，连续设计三的b a y e s 信息矩阵。记m = m ( ) ：吾) ，则朋是所有 单点设计疋的信息阵的凸包。 引理2 2 ：对于任意的兰，一定存在一个设计点有限的离散设计，使得 m ( ) = m ( v n ) ，c a r d ( s u p p 妇) r ( r + 1 ) 2 + 1 其中r 为信息矩阵的阶数。( p i l z ，1 9 8 3 ) b a y e s 最优设计是要使得b a y e s 信息矩阵的某个泛函达到最小，定义如下的设计泛函： ( m ( ) ) ，咖：m ；_ r 其中m ；表示p 阶正定矩阵全体。由引理2 2 可知只要在设计点d f f - p ( p + 1 ) 2 + 1 的离散设 计中寻找即可。通常最优问题是很难直接求解的，但可以利用西泛函的性质简化最优化问 题。 引理2 3 ：如果( m ) 按照l 0 e w n e r 偏序是递减的，即若尬一尬是非负定的，则妒( 尬) ( 尬) ，并且m 是一个凸集，那么( m ) 是定义在m 上的凸泛函。( m o r r i s ，1 9 9 6 ) 定理2 3 ：当2 t 圣t 7 时，设计准则a 1 是定义在m 上的凸泛函。即对于任意的q 【0 ，1 】，f l ，巳m ，记矗= q 1 + ( 1 一q ) 已，则a 1 满足： a - ( 靠) 口a z ( - ) + ( 1 一口) a l ( 已) 证：记q = t 7 i 1 t ，g ( m ) = 2 一t ( q + m ) _ 1r ，从而，当2 t 虫t 7 时，有 t ( q + m ) 一1 t 0 ，从而，i 1 + 2 e 2 g ( m ) 一1 2 为正定矩阵。记m ( 1 ) = 尬，m ( 已) = ， 若，则( q + 尬) - 1 ( q + ) 一，由于丁为行满秩矩阵，可得g ( m x ) g ( ) ， 又由于在已知条件下g ( m ) 为正定矩阵，从而， i 1 + 2 e 2 g ( 尬) 一1 25 i 1 + 2 e 2 a ( u j 一1 2 第8 页 再由正定矩阵及行列式的性质，可得a l ( 舰) a ，( ) ，所以，根据引理2 3 准贝i j a l 为定 义在m 上的凸泛函。口 由于准则a 1 在一定条件下满足凸性，从而可以利用f r e c h e t 导数及等价性定理得到准 则a 1 下的最优设计等价定理。 定义2 3 ：对任意的( ，享) 互量，泛函在处沿手方向f f f r e c h e t 导数为 0 毋( m ( ) ，m ( f ) ) 。鼍器羞( ( 1 一q ) + q ) 引理2 4 ：4 为一最优的充要条件是，对比营，凡( m ( 4 ) ，m ( f ) ) 0 。 定理2 4 ：设在+ 处可微，+ 为一最优的充要条件是，对v z x ， 毋( m ( + ) ，f ( x ) e _ 1f ，( z ) + 中1 ) 0 证明：必要性，由引理2 4 的必要性直接可得。充分性，由引理2 2 ，对比暑， nn m ( ) = 九m ( 屯) = ( f ( z t ) 一1 f 协t ) + 圣一1 ) t = 1i = 1 其中九 0 ，：1 九= 1 。利用f r e c h e t 导数的性质， 毋( m ( + ) ，m ( f ) ) = 九乃( m ( ) ，f ( 戤) 一1 ( 戤) + 圣一1 ) 0 仁= 1 由引理2 4 的充分性即得。口 定义2 4 ：昂称为在暑量上是线性的，如果对v ( ，手) 暑暑， ， 毋( m ( ) ，m ( ) ) = ( m ( ) ，m ( 以) ) ( 如) j x 引理2 5 ：如果乃是线性的，那么i 吐乃( m ( ) ，m ( 享) ) = i n f 毋( m ( ) ，m ( 如) ) 。 ( 二 c 定理2 5 ：设是在朋上可微的凸泛函，乃线性，则 ( 1 ) + 是一最优的营i n f 乃( m ( ) ，f ( z ) x _ 1 f 7 ( z ) + 西一1 ) = o ； ( 2 ) s u p p f + z x ：毋( m ) ，f ( x ) x 一1 f 7 ( z ) + 垂一1 ) = o ) 其中s 聊表示由设计的支撑点所构成的集合。 证明：( 1 ) 由f r e c h e t 导数性质，毋( m ( + ) ，m ( ) ) = 0 ，并由引理2 4 ，+ 为咖一最优的充要 条件为 一i n f 乃( m ( + ) ，m ( ) ) = 0 三 再由引理2 5 即得证。 ( 2 ) 设+ 有有限个支撑点z 1 ，。2 ，z n ，相应的权重分别为入1 ，a 2 ，a n ，则 毋( m ( + ) ，m ( f + ) ) = 九( m ( ) ，f ( 她) 一1 f 7 ( 既) + 西一1 ) = 0 t = l 再由定理2 4 ，即得( 2 ) 。口 第9 页 第二章基于预测的b a y e s 最优设计 定理2 6 ：准则a 1 的f r e c h e t 导数为： f a 。( m ( 1 ) ，m ( 已) ) = 2i i 1 + 2 e 2 g ( m 1 ) 1 e 2i 打 ( ；1 + 2 e 2 g ( m 1 ) 一1 2 ) x 2 g ( m 1 ) 。t ( q + m 1 ) ( m 1 一) ( q + m 1 ) 。t g ( m 1 ) 一1 e 2 ) 兵中m ( f 1 ) = m 1 ，m ( 已) = m 2 ，a ( m ( 1 ) ) = g 1 ，并且f t a 。是线性的。 证明：对于任意的q 【0 ，1 1 ，记如= ( 1 一q ) l + a f 2 ，m ( 如) = ，g ( m ( 靠) ) = g a ，则 瓦da 1 ( 地) =