（应用数学专业论文）基于算子理论的学习算法的误差分析.pdf

中文摘要 摘要 全局的学习算法是对所有的训练样本构造一个模型来预测任何一个未知点 的标记，而局部学习算法旨在某个给定点的邻域中构造算法，不同的测试点可 能构造不同的算法模型。在某些情况下，基于函数集给定的结构，利用给定数 目的观测不可能较好地逼近待求函数。在这种情况下，局部风险最小化的方法 有它的优势，这就是，它可能得到对待求函数在任意所关心的点上一个较好的 局部逼近。因为局部学习算法对某些特定的问题可能会优于全局学习算法，因 此它在理论上和实践上引起了极大的兴趣。 本文介绍了局部学习问题的相关背景知识；讨论了局部风险最小化算法及 其意义，并给出了局部学习问题的一些具体方法；将正则化算法的思想应用到 局部学习问题中，提出了局部正则化算法的学习框架；着重讨论了局部风险正 则化算法的推广性能，把用积分算子理论分析全局正则化算法的推广性的一套 理论平行地推广到局部学习问题中来；并通过实验证明了局部正则化算法对某 些特定的问题要优于全局正则化算法。 论文结构如下： 第1 章介绍局部学习问题的背景、意义和主要研究方法。 第2 章给出了全局正则化算法的一些理论结果。最初的关于正则化算法的 误差估计得到的都是与容量有关的界，由v c 维、覆盖数、r a d e m a c h e r 复杂度 来界定。对容量的分析通常能得到很好的收敛速率，容量却经常是很难确定 的。因此，s s m a l e 和d z h o u 提出了用积分算子理论分析推广误差的框架， 建立了一种与容量无关的界，对推广误差的分析有重要的指导意义。本章按 照s m a l e 和z h o u 建立的框架，用积分算子取代v c 维、覆盖数对推广误差进行分 析，在正则化框架下考虑损失为最小平方损失的情形。 第3 章主要讨论所提出的局部正则化算法的推广能力。将正则化算法与局部 风险最小化算法结合，提出一种局部正则化算法，并将全局概念中的积分算子 理论平行地推广到这类局部方法中，利用局部积分算子的估计，研究局部正则 化算法的推广误差。 第4 章的主要目的是说明局部风险正则化算法对分类问题的有效性，并通过 实验说明所提出的局部正则化算法在某些情况下是优于全局正则化算法的。 第5 章是对本文工作的总结和展望。 关键词：局部风险最小化；正则化算法：局部风险正则化：积分算子；推广误 差 一i 。 湖北大学硕士学位论文 a bs t r a c t i ng l o b a ll e a r n i n g ，w ec o n s t r u c ta l g o r i t h m so nt h eb a s i so fe m p i r i c a ld a t at os e l e c ta g o o dp r e d i c t i o nf o rt h ef u l li n p u ts p a c e ，w h i l et h el o c a ll e a r n i n ga l g o r i t h m sa i ma ts e l e c t i n gt h ef u n c t i o ni nav i c i n i t yo ft h ep o i n to fi n t e r e s t w ec a nc o n s t r u c td i f f e r e n t a l g o r i t h m sf o rd i f f e r e n tp o i n t s t h eg i v e nf u n c t i o ns e tm i g h tn o tc o n t a i nag o o dp r e d i c t o rf o rt h ef u l li n p u ts p a c e ，b u tm i g h tc o n t a i nf u n c t i o n sc a p a b l eo fg o o dp r e d i c t i o n o ns p e c i f i e dr e g i o n so fi n p u ts p a c e i ns u c hs i t u a t i o n s ，l o c a ll e a r n i n ga l g o r i t h mh a si t s a d v a n t a g e s ，t h a ti st os a y , i tc a ng e tag o o dl o c a le s t i m a t i o nf o rt h ed e s i r e df u n c t i o no n ag i v e np o i n t s i n c el o c a ll e a r n i n ga l g o r i t h mc a np e r f o r mb e t t e rt h a ng l o b a lr e g u l a r i z e d a l g o r i t h m ，i ti so fg r e a ti n t e r e s tb o t hi nt h e o r ya n di np r a c t i c e i nt h i st h e s i s ，w er e v i e wb a c k g r o u n do nl o c a ll e a r n i n ga n di n t r o d u c es e v e r a ls p e c - i f i e dm e t h o d sf o rl o c a ll e a r n i n g w ep r o p o s eal e a r n i n gs c h e m ef o rl o c a lr e g u l a r i z e d a l g o r i t h mb yp r e s e n t i n gt h er e g u l a r i z e dt h o u g h to nl o c a ll e a r n i n gs e t t i n g e r r o re s t i m a t e sf o rt h ep r o p o s e da l g o r i t h ma r ep r o v e db yu s i n gp r o b a b i l i s t i ce s t i m a t e sf o rl o c a l i n t e g r a lo p e r a t o r s ，w h i c hi sag e n e r a l i z a t i o no fg l o b a lr e g u l a r i z e da l g o r i t h m s e x p e r - i m e n t a lr e s u l t so ns e v e r a lr e a ld a t as e t ss h o wt h a tt h ep r o p o s e dl o c a lr i s kr e g u l a r i z e d a l g o r i t h my i e l d sb e t t e rp e r f o r m a n c et h a nt h eg l o b a lr e g u l a r i z e dl e a s ts q u a r ea l g o r i t h m w e o r g a n i z et h et h e s i sa sf o l l o w s ： i nc h a p t e r1 ，w ep r e s e n taq u i c ko v e r v i e wo fb a c k g r o u n d ，s i g n i f i c a n c ea n ds e v e r a l l e a r n i n gm e t h o d so fl o c a ll e a r n i n g i nc h a p t e r2 ，w eg i v es o m et h e o r e t i c a lr e s u l t so fg l o b a lr e g u l a r i z e da l g o r i t h m s t h ei n i t i a le r r o re s t i m a t e so nr e g u l a r i z e da l g o r i t h m sa r ea l lc a p a c i t y b a s e da p p r o a c h e s w i t hc a p a c i t yd e s c r i b e db yv c - d i m e n s i o n ，c o v e r i n gn u m b e r s ，r a d e m a c h e rc o m p l e x i t i e s c a p a c i t ya n a l y s i si sr a t h e rg e n e r a la n dc a n l e a dt of a s tl e a r n i n gr a t e s ，h o w e v e r , t h ed r a w b a c ki st h a tt h ec a p a c i t yi sd i f f i c u l tt oe s t i m a t e s o ，s s m a l ea n dd z h o u p r e s e n t e dag e n e r a l i z a t i o ne r r o ra n a l y s i sf r a m e w o r kb ye s t i m a t e so fi n t e g r a lo p e r a t o r s ， a n dad i m e n s i o ni n d e p e n d e n tp r o b a b i l i t ye s t i m a t ei so b t a i n e d t h e s ec o n c l u s i o n sw i l l h a v em a n ym e a n i n g st ot h ea n a l y s i so ft h eg e n e r a l i z a t i o ne r r o r i nt h i sc h a p t e r , w e s t u d yt h eg e n e r a l i z a t i o ne r r o ro ft h er e g u l a r i z e ds c h e m eb yr e p l a c i n gv c d i m e n s i o n ， c o v e r i n gn u m b e r s ，r a d e m a c h e rc o m p l e x i t i e sb yi n t e g r a lo p e r a t o r s i nc h a p t e r3 ，w ed i s c u s st h eg e n e r a l i z a t i o np e r f o r m a n c eo ft h ep r o p o s e dl o c a l r e g u l a r i z e da l g o r i t h m w ep r o p o s eal o c a lr e g u l a r i z e da l g o r i t h mb yc o m b i n i n gt h e l o c a lr i s km i n i m i z a t i o na n dt h er e g u l a r i z a t i o na l g o r i t h m ，a n ds t u d yt h eg e n e r a l i z a t i o n e r r o ro ft h ep r o p o s e dl o c a la l g o r i t h mb yg e n e r a l i z i n gt h ei n t e g r a lo p e r a t o rt h e o r yt o l o c a ll e a m i n gs c h e m e i nc h a p t e r4 ，w et e s tt h ee f f e c t i v e n e s so ft h el o c a lr e g u l a r i z e da l g o r i t h m ，a n d 英文摘要 c o m p a r et h el o c a lr i s km i n i m i z a t i o nm o d e lw i t ht h er l sa l g o r i t h ma s s o c i a t e dw i t h m e r c e rk e r n e l s e x p e r i m e n t a lr e s u l t so ns e v e r a lr e a ld a t as e t ss h o wt h a tt h ep r o p o s e d l o c a lr i s kr e g u l a r i z e da l g o r i t h my i e l d sb e t t e rp e r f o r m a n c et h a nt h eg l o b a lr e g u l a r i z e d l e a s ts q u a r ea l g o r i t h m f i n a l l y , i nc h a p t e r5 ，w es u m m a r i z et h ep a p e ra n dg i v ee x p e c t a t i o n si nt h ef u t u r e k e yw o r d s ：l o c a lr i s km i n i m i z a t i o n ；r e g u l a r i z e da l g o r i t h m ；l o c a lr i s kr e g u l a r i z a - t i o n ；i n t e g r a lo p e r a t o r s ；g e n e r a l i z a t i o ne r r o r 湖北大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得 的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承 担。 作者签名：即 签名日期：沙7 年朔矽日 学位论文使用授权说明 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本：学校有权保存并向国家 有关部门或机构送交论文的复印件和电子版，并提供目录检索与阅览服务；学 校可以允许采用影印、缩印、数字化或其它复制手段保存学位论文；在不以赢 利为目的的前提下，学校可以公开学位论文的部分或全部内容。 ( 保密论文在 解密后遵守此规定) 作者签名：聊日期：砌产明劲日 导师签名：三参撂鹰日期：2 0 _ 年。月弓j 日 第1 章引言 第1 章引言 1 1 局部风险最小化问题的提出及研究现状 人类智慧中一个很重要的方面就是从实例学习的能力，通过对已知事实的 分析总结规律，预测未知的或不能直接观测的事实。在这种学习中，重要的是 要能够举一反三，即利用学习得到的规律，不但可以较好的解释已知的实例， 而且能够对未来的现象或无法观测的现象做出正确的预测和判断。我们把这种 能力叫做推广能力( 或推广性能) 。人们在对机器智能的研究中，希望能够用机 器( 计算机) 来模拟人类的这种学习能力。这就是所谓的基于数据的学习问题， 或简单地称为机器学习问题。我们的目的是，设计某种( 某些) 方法，使之能够 通过对已知数据的学习，找到数据内在的相互依赖关系，从而对未知数据进行 预测或对其性质进行判断。同时，我们还希望这种方法能有很好的适应性。 学习是一个基于经验数据的函数估计问题。了解决这个问题，我们一般 可以利用两种不同的归纳原则一经验风险最小化( e r m ) 原则和结构风险最小 化( s r m ) 原则。这两种不同的原则应用到函数估计问题中就变成了两种不同的 问题：全局的和局部的。 为了在未来的( 测试) 样本上取得好的推广性，e r m 原则提出了最小化训 练误差( 经验风险) 的决策规则( 指示函数) 。问题是为该原则构造一套理论体 系。2 0 世纪6 0 年代末期，模式识别问题的e r m 理论就建立起来了【3 6 】。值得注 意的是，在统计学著作中以前已经多次讨论过e r m 原则。然而关键差别是， 在模式识别问题中，e r m 推理是应用到简单的函数集，即指示函数集，而在 经典的统计学中，e r m 推理是应用到各种实函数集的。因此，在接下来的1 0 年 里，e r m 原则的理论也被推广到可以应用于各种实函数集【3 7 1 。经验风险一致收 敛性的理论也在7 0 年代发展起来了，该理论的基础是一系列新的概念，即所谓 的一个时间集合的容量的概念。在这些概念中最重要的是v c 维，它刻画了时间 集合的多样性。一个重要的发现是，e r m 原则一致性的充分必要条件和收敛速 率取决于学习机器所实现的函数集的容量。 一致收敛速率的界不仅提供了e r m 推理的主要理论基础，而且促进了归纳 推理新方法的发展，导出了一种控制学习机器推广能力的新思想：为了通过控 制训练错误的大小来达到测试错误的最小界，应该采用v c 维最小的学习机器。 因此，为了找到最好解，我们必须在对训练数据的逼近精度和最小化训练错误 的学习机器的容量( v c 维) 之间取折衷。通过控制两个互相矛盾的因素来最小化 测试错误的思想可以通过引入一种新的归纳原则来表示，这就是结构风险最小 湖北大学硕士学位论文 化( s r m ) 原则。 在控制学习机器推广能力的理论中，最重要的问题是找到一个小样本集的 新归纳原则。在7 0 年代中期，人们提出了若干技术来改进传统的函数估计方 法。这些技术包括多项式回归问题中选择多项式阶数的各种规则、多维回归问 题中的各种正则化技术、解决不适定问题的正则化方法等。所有这些技术都是 基于同一个思想：为函数集提供一个结构，再在这个结构的元素中最小化风 险。在7 0 年代发现了容量控制所起的关键作用。们把这种一般思想称作s r m ， 以强调在结构的元素中最小化风险的重要性。在s r m 中，我们试图同时控制两 个参数：经验风险值和结构元素的容量。最重要的问题是：对于从小样本集估 计依耐关系，是否存在一种新的归纳原则? 尽管如此，对问题的一般解释仍然建立在大样本统计学基础上：我们的目 标是得到一个规则，使之由最低的风险。这个得到“最低风险”的目标反映了 大样本统计学的哲学：低风险的规则是好的，因为如果我们对一个大的测试集 使用这个规则，那么依高的概率，损失的均值将是小的。 结构风险最小介绍的是从小规模样本集学习的归纳原则。经验风险最小化 原则指出，我们应该不惜任何代价来最小化经验风险，与此相比，s r m 原则寻 找经验数据的数量，利用选自给定函数集的函数所得到的对经验数据逼近的品 质，以及刻画函数集的容量值之间的最优关系。s r m 可以找到一个函数，它对 于固定数量的数据可以达到保证风险的最小值。 局部风险最小化问题的求解是基于结构风险最小化( s r m ) 原则的。 在对归纳原则的研究中，关键是找到影响风险的界的新概念，并因此用它 来最小化这些界。为了利用另外一个概念，我们引入了对学习问题的一种新的 表述：局部风险最小化问题。在这种表述中，在s r m 原则的框架下，我们可以 控制三个参数：经验风险、容量和局部性。这有助于控制推广能力：通过在多 个参数上最小化界，我们可以得到比在较小参数上最小化界更小的极点。 对于从有限数量的观测估计函数的问题，我们必须找到一个结构，当训练 样本数目与学习机器函数集的v c 维之比较小时可以提供较小的经验风险值。 然而，很明显，为了找到这样的结构，我们必须具有关于所研究问题的先验信 息。我们将考虑问题的一种新的表述方式：函数的局部估计问题，即，在感兴 趣点附近的函数估计问题。以前的全局学习问题的描述是：对于给定的数据 集，找到一个函数使得风险最小。而局部学习问题旨在估计函数在给定点( 或在 给定点的某个邻域内) 的函数值。 十几年前，vv a p n i k 在文献【3 8 1 中提出了这种局部学习算法，并对此做了 一些理论分析。学习问题被归纳为从一类函数中选择一个函数，用来逼近样本 一2 第1 章引言 的输出。这就说明了，我们要用唯一的一个函数来预测所有输入空间中的点的 输出。很明显，这并不是一种好的方法，因为我们所选取的函数集中有可能不 包含一个这样的函数，可以预测所有输入空间中点的输出。但是，这个函数集 却可能包含了对输入空间的某些特殊的邻域有很好逼近的函数。也就是说，在 我们感兴趣点的某个邻域中估计函数是有可能的。 随后，vv a p n i k 在文献【4 0 及文献【5 2 】中又对这种局部学习算法进行了描 述，给出了局部风险最小化估计子的界。并根据这些界，利用结构风险最小化 原则最小化基于经验数据的局部风险泛函。这里，局部学习问题与全局学习问 题的区别是：由于局部学习问题引入了一个体现局部概念的函数，因此我们所 考虑的函数集不再是单一的指示函数集或是实函数集，而是指示函数集与实函 数集的乘积，即其中的任何一个函数都是由一个指示函数和一个实函数的乘 积，或者是考虑两个实函数集的乘积，即每个函数都由两个实函数的乘积构 成。因此，该文献中所得到的推广误差的界与每一个因子均为可分的两个函数 集的v c 维有关。文献【7 ，3 9 】中提出了局部风险最小化模型的理论框架，并将这 一方法应用到了模式识别问题和回归估计问题中。， 现在，n ge ta l 在文献 2 2 ，2 3 】中，引入了局部推广误差的概念。通过最小化 局部推广误差的界，提出了一种局部正则化方法，并通过实验证明了这种方法 的分类效果是很好的。 本文主要是将全局概念中的积分算子理论平行地推广到这类局部方法中， 用积分算子理论取代前面文献中的v c 维来研究局部算法的推广误差界。解释并 证明局部学习算法对某些问题是更有效的。 1 2 局部学习问题的意义 全局的学习算法是对所有的训练样本构造一个模型来预测任何一个未知点 的标记，而局部学习算法旨在在某个给定的点的某个邻域中构造算法，不同的 测试点可能构造不同的算法模型。因为局部学习算法仅仅只在感兴趣点的某个 特殊的邻域中训练，所以局部学习算法通常会优于全局学习算法。这表明，点 的标记能够很好地由它周围的点的标记确定。 在某些情况下，基于函数集给定的结构，利用给定数目的观测不可能较好 地逼近待求函数。在这种情况下，局部风险最小化的方法有它的优势，这就 是，它可能得到对待求函数在任意所关心的点上一个较好的局部逼近。 然而，在转到局部函数估计理论前，我们先要说明为什么局部函数估计要 优于全局函数估计。 假定，我们要估计图1 1m 】中所画出的函数。假设我们已知一个结构，它的 气 湖北大学硕士学位论文 元素是一个k 阶多项式的集合。如图所示，为了在区间【0 ，1 】上较好地逼近这一函 数，我们必须采用一个高阶多项式( 以较好地描述曲线的平坦部分) 。因此，我 们需要一个高阶多项式，以便得到一个适当的逼近精度。 现在，我们考虑两个问题：在区间 0 ，1 2 1 上估计欲求函数和在 1 2 ，1 】上估计 欲求函数。 对于这一例子，利用0 阶多项式在区间f o ，1 2 上逼近函数和1 阶多项式在区 间 1 2 ，1 1 上逼近欲求函数，就可以得到欲求函数的合理逼近精度，见图1 1 。换 句话说，通过局部的逼近函数，就可以达到较好的逼近精度。 一般而言，如果能够“巧妙”地将区间 0 ，1 】划分成( 两个或多个) 子区间， 就可能得到更好的逼近。 纵善， 一一、， 0、一 、， ； 6 ) 图1 1 ( a ) 为了在n n 0 ，1 】上较好地逼近函数，我们需要一个高阶多项式；( b ) 为了在 两个半区间上较好地逼近同样的函数，我们只需要一个低阶多项式 1 3 局部风险最小化模型 局部风险最小化方法旨在根据一个训练样本集估计感兴趣点的函数值或 在感兴趣点的某个邻域中估计函数，即局部地估计函数。已知的方法很多， 如模式识别中的k 近邻( k n n ) 方法，概率密度估计中的p a r z e n 窗及径向基函 数( r b f ) 网络等，都是局部风险最小化的特殊情况。 在以前的所有讨论中，我们已经使用了由某一变量( z ，y ) 定义的损失函数。 现在，为了引入损失函数的特定结构，我们考虑两个变量x 和y 。考虑一个包含 邻域概念的非负函数k ( x ，x o ；p ) 。这一函数与点x 0 和“局部”参数p ( 0 ，) 有 关，并满足两个条件： 0 七( z ，x o ；p ) 1 ，和k ( x o ，x o ；p ) = 1 第1 章引言 例如，满足上述条件的函数有“硬阈值”邻域函数 h c z ，z 。；p ，= - 7 理论中，得到正则化算法框架下函数的表达式。如下定 理旨在说明如何通过采样算子重构出正则化框架下的函数，z 小 定理2 1 ：若踺+ m 入j 可逆，那么厶，入存在且唯一，并且有如下表达式 ，z ，入= ( 去s ；叉+ a ，) - 1 未。蹬y ( 2 3 ) 证明：令 砌2 袁( m t ) 一矾) 2 ， 由于 ( ，( 戤) ) 2 = i i s x f l l 丕( z ) = ( s x f ，) 胆( 2 ) - ( s t s x f ，) 耳， 所以 如( f ) - - t - 入i l f l l 袭：= 去喜( m ) ) 2 _ 2 y i m 卅卅w k = 去( 蹦m 一熹委姚) k + 1 1 训k 一m = i ( ( s t x s x + m , k i ) f ，m 一未( ，鼢) k + 知洲丕( 茁) 将上式关于，求偏导，并令导数为零得， 2 m ( s t s x - - fm k i ) f 一景跏_ 0 1 3 湖北大学硕士学位论文 即得 厶，a = ( 去受+ a ，) 。去蹬秒 定理证毕。 注意到踺：粤2 ( x ) _ 冗k 具有表达式s t x c = q 魅。因此 受，= f ( x , ) g x 。= m l k ，z s x ( f ) ，冗 i = 1 其中算子三k 霉：胪( x ) 一 k 定义为 k = 去喜如， 上述算子提供了积分算子l k ：三忽_ h k ， l k f ( x ) ：= g ( x ，y ) f ( y ) d p x ( y ) ，z x jx 的一个很好的近似。 如果记 - a r g 倒r a i n k 一( ，) 一( 厶) + w 咐 ( 2 4 ) = a r g 倒r e _ i n k 1 1 一枷+ w 哪 则上式的解存在且唯一，并且由下式给出 = ( 上k + 入j ) 一1 l 耳厶 关于这一结论的证明可以类似式( 2 3 ) 的证明进行，这里就不再详细证明。 2 3 概率不等式 ( 2 5 ) 本文应用向量值的随机变m _ 的b e n n e t t 不等式来证明所需的概率估计i i 厶，a 一 厶i i 如下引理是来自于文献 2 4 1 和基本不等式t l o g ( 1 + t ) 2 t 一2l o g ( 1 + t ) 对任 意的t 0 成立。 1 4 第2 章正则化算法的推广性能 引理2 2 ：设日是h i l b e r t 空间， & ) 銎l ( m 成立。 引理2 3 ：设日是h i l b e r t 空间，是( z ，p ) 上的取值于日的m 个独立随机变量。假 定l l l l 砑 。o 几乎必然成立。记盯2 ( ) = e ( i i 1 1 2 ) ，令【忍) 罂。是依赖于p 的独立 随机变量。则对任意的0 6 则很容易得到 雌双小酬i l 掣+ 洋 1 5 ) ) 面生协k 焉磊 ，1_，、l 湖北大学硕士学位论文 依1 6 的概率成立。 2 4 误差分析 对于误差的分析我们通常是分为如下两个部分来考虑的： 丘，a f p l l k i l 厶，a 一 i i k + l i 厶一厶l 其中，不等式右边第一项与样本和假设空间有关，称作样本误差( s a m p l e e r r o r ) ，也称为估计误差( e s t i m a t i o ne r r o r ) ，第二项与随机样本无关，但依赖于假 设空间的容量和复杂性，称作逼近误差( a p p r o x i m a t i o ne r r o r ) 容易看出，对于 固定的假设空间7 - g ，当样本数仇增加时，样本误差减少。当样本数仇固定，而 假设空间爿变大时，逼近误差减小，而样本误差增大。这种特征通常称为偏差 折衷( b i a s v a r i a n c et r a d eo f f ) ，这里“b i a s ”指逼近误差，“v a r i a n c e ”指样本误 差。 对于估计误差，最好的估计是基于大数定律。然而这些估计得到的都是与 容量有关的界，由v c 维、覆盖数、r a d e m a c h e r 复杂度来界定。对容量的分析通 常能得到很好的收敛速率，容量却经常是很难确定的。例如，只有当核是多项 式核或是高斯核并且输入空间x 是有限维时，再生核h i l b e r t 空间的覆盖数才易 求，当输入空间是无限维时再生核h i l b e r t 空间的覆盖数的估计是很困难的。而 积分算子不仅能对估计误差进行估计，也能对逼近误差进行分析，得到与容量 无关的界。 观察式( 2 3 ) 及( 2 5 ) ，考虑定义在( z ，p ) 上取值于爿k 的随机变量= 可k ，我 们不难验证 熹喜淞，= 熹喜抵= 轫 e ( ) = 丘z 却( 可i z ) a p x ( z ) = 己k 厶