大数定律和强大数定律的推广.doc

大数定律和强大数定律的推广1 引言大数定律和强大数定律是概率论中两个重要的概念，围绕这两个概念有许多重要的定理，并且许多重要的定理证明和实际问题中都要应用这两个概念及其相关定理，鉴于这些定理在理论推导和实际应用方面的举足轻重的作用，很有必要推广这两个概念及其定理2 大数定律21 大数定律的叙述定义211设X为随机变量序列，它们都有有限的数学期望E(X)如果0，则称X满足大数定律定理211（马尔可夫大数定律）设X是方差有限的随机变量列，如果有则X满足大数定律推论212（切贝谢夫大数定律）若序列X两两不相关且方差有界：D(X)C(n1)，则X满足大数定律推论213（伯努利大数定律）设为n重伯努利试验中成功次数，则当n时有p定理214（辛钦大数定律）对于独立同分布随机变量列X，大数定律成立的充分必要条件是E()=a有限证明必要性是大数定律的定义所要求的只需证明充分性假定X之共同的特征函数为f(t)，则由引理28（概率论杨振明科学出版社P213）知t时有f(t)1+iat+o(t)从而的特征函数为运用如下分析事实：对复数列c而言c蕴含(1+)，便可得证根据连续性定理110（概率论杨振明科学出版社P204）及定理16（概率论杨振明科学出版社P141）便得依概率收敛到a事实上该定理证明用到了概率论中弱收敛和特征函数收敛之间的等价关系，而几种收敛性之间的互推关系是一个重要的内容，这将在本文的最后一节加以阐述2 2 大数定律的推广221大数定律定义的推广首先介绍几个引理定义称rvs序列X和Y是尾列等价的，若P(X Y，io)0称rvs序列X和Y是收敛等价的，若它们的收敛点集只相差一个零测集引理1 （等价性引理）设rvs序列X和Y满足，则下列叙述成立(1) X和Y是尾列等价的；(2) X和Y是收敛等价的；(3) 若b，则b和b是收敛等价的，且在公共收敛点上，它们的极限相同 证P(X，io)P()=0，故(1)成立，而(2)和(3)的成立是显然的定义221设 X为一列rv序列，如果存在常数列A和正常数序列B,其中B，使A0则称 X服从弱大数定律（简称大数定律）定义221是定义211的推广，但事实上我们所主要讨论的仍然是独立rv列以及B=n这种形式222X为任意rv列定理221（格涅坚科定理）对随机变量序列，若记S=(X+X+X)，a=，则X服从大数定律的充要条件是0证（充分性）令Sa=，设其分布函数为F(x)，则P()=P()=故X服从弱大数定律（必要性）X服从大数定律，所以= (*)P()=令n由(*)及的任意性可得0定理222（伯恩斯坦定理）已知随机变量序列X的方差有界：DX，并且当时，相关系数r，则满足大数定律证因当时，r，且D(X)故当时所以对于任意， 又由的任意性可知n时由定理211可知X符合大数定律223X为独立rv列定理223设 X为一列独立的rv序列，则0的充分必要条件是(i) 0；(ii) 0；(iii) 0；证令Y=XI充分性由Chebushev不等式，独立性条件(ii)，对0，我们有P()n0因而有0由条件(iii)有0(21)由条件(i)，X和Y尾列等价，由引理1得0再由(21)式即得必要性 设，以表示rvX的中位数，f表示X的cf，g(t)为的cf，则由完全收敛性准则g(t)=设c1，由命题512（）知在每个有限区间c，c上g(t)一致收敛，因此当n充分大时log0，故由弱对称化不等式及cf性质6的第二个不等式有0 (n) (22)又因为所以，注意到c1，由(22)式即得(i)由cf的性质8的第一个不等式及g(t)1，当n充分大时2=3=3log0 (23)因此(iii)成立由于，由(i)和引理1有，有chebushev不等式和(23)式，P()故从而即(i)成立224X为独立同分布rv序列推论222若X为独立同分布rv序列（简记为iid序列），则的充分必要条件是(i) nP()(ii) EXI证我们只要证明(i)能推出定理中的条件(ii)即可由于X为iid，条件(ii)等价于0(24)事实上，我们由(i)可推出 (25)这是由于EX=2=2 (26)注意到如果a0，则这一事实，由条件(i)和(26)式即知(25)式成立，从而(ii)成立如果EX存在有限，则EXI，由Chebyshev不等式知nP()EXI，因此我们可以得到推论223如果X为iidrv序列，则的充分必要条件是EX有限事实上推论223就是我们所熟悉的辛钦大数定律上面我们对于推广后大数定律的结论的讨论是遵循一定顺序的，主要是按照随机序列所满足条件的严格性的变化来讨论的，很明显，首先是在任意随机序列的基础上添加一定条件得到格捏坚科定理和伯恩斯坦定理，然后要求随机序列依次满足独立条件和独立同分布条件，得到大数定律的充分条件和充分必要条件23大数定律的进一步推广定义231 称rv序列X；n是弱稳定的，如果存在常数序列a和b，0a，使得(231)定义232称rv序列X；n服从大数定律，如果S是弱稳定的，这里S=若记X=，引入组列X；k=1，2，n，n1，2，可用组列的概念定义大数定律，并且推广一些定理定义233称rv组列X；k=1，2，k，n1，2，服从大数定律，如果存在常数列b，使得换言之，X服从大数定律，当且仅当存在常数列b，使得的分布弱收敛于退化分布 D(x)= 引入组列的概念后，就可以给出定理221的更一般的形式即下述定理定理231独立rv组列X满足无穷小条件且的充要条件是对任给的和某个我们可把“对任给和某个”换作“任给的和任给”证：3 强大数定律31 强大数定律的叙述定义311 设X为随机变量列，它们都有有限的数学期望E(X)如果0则称X满足强大数定律在独立情形下讨论强大数定律定理311柯尔莫戈洛夫强大数定律设X是独立随机变量序列，满足则强大数定律成立证明可查看由杨振明编著的概率论的P221，本定理的证明用到了概率论中非常重要的截尾法。在独立同分布条件下讨论强大数定律定理312假定X是相互独立同分布的随机变量序列，如果它们有有限的数学期望E(X)=a，则强大数定律成立，即n时有定理313波雷尔强大数定律设为n重伯努利试验中成功的次数，则n时有事实上定理313中的贝努利条件是定理312中的独立同分布条件的特例，所以定理312可以说是定理311的推广3 强大数定律的推广321强大数定律定义的推广定义321如果存在二个数列a：n与b：n且00，使得对每个n都有则称a：n且k1，2，k是托普利茨（Toeplitz）系列引理321（托普利茨引理）设a：n且kk是托普利茨系列；x：n是实数列且x(n)(i)若x (n)，则x (n)；(ii)若且x有限(n)，则x(n)证明（随机极限引论朱成熹P114）推论321设a0：n和x：n是二个数列，若b且x有限(n)则(n)证令a(n，k1，2，n)易证a，n，k1，2，n是托普利茨系列且(n)根据托普利茨引理(ii)可得(n)推论322（克罗内克Kronecker引理）设x：n及b：n是实数列且收敛而00 (n1)x0，s(n1)则=s(32)不妨设收敛于s，即，根据推论1并利用(32)即可得到(31)成立322X为任意rv列定理321设X为任意rv列c：n及b：n是满足0b的任意数列若aeP收敛则(Sa) aeP (n)其中a，S= (n)证在克罗内克Kronecker引理中，对S()有限的，取x，则 aeP定理322设X：n是任意rv列；00有，则asP其中s证由c不等式(r1)及闽科夫斯基(Minkowski)不等式(r1)知，对任意n有（E()）令n，由单调收敛定理可得再利用若0r0，使得 (K) (K) 0似的下列三级数同时收敛：(K) (K) 0使得(I)当0C时，g(x)如果X：n是独立rv列，并且，则(I)aeP收敛；或者（对应的）(II)aeP收敛证若(I)成立，则由及(G)可得故收敛另一方面，由定理的b可推知(35)成立，所以(I)aeP收敛若(II)成立，则由可得因而收敛另一方面，由定理的b可推得(35)成立，所以aeP收敛推论325设X：n是独立rv列且(i)若对每个n都有00)显然，g(x)满足条件(G)；取C1(n)且C=C=1，则对每个n及0r都有下式成立：x当0时x当x时亦即条件(G)满足，此时g(x)=x(x)+它对每个n还满足：当0r时有x对x成立；当1时有x对x成立亦即条件(G)满足（当0r时(I)成立，当1时(II)成立），根据推论324即可导得推论325成立推论326设X：n是独立rv列，X是rv且E(0r0都有q(x)q(x)则aeP收敛(r)其中q(x)=P()，q(x)=P()(x0)a=，bn证明：见随机极限引论朱成熹，南开大学出版社定理324设对每个n，g(x)满足引理322中条件(G)和(G)(i)如果两级数同时，则aeP(ii)如果下面三级数之一收敛：(I)(II)(III) (0)则aeP其中a，q（x）P() (n)事实上(ii)中的三级数与定理323（强稳定性的三级数判别法）中的三个级数是一一对应的，只是把随机序列替换为了函数列，这是对定理323（强稳定性的三级数判别法）的一个直接应用(iii)如果级数并且g进而满足条件(G)(推论324)，则aeP其中a(iv)若0r2(n)且则aeP(n)其中a特例是r(n)，这时当时可得aeP(n)其中a进而当r2且X以XEX代替时，可得结论：若，则，aeP这就是著名的柯尔莫戈洛夫强大数定律(v)设X是rv且q(x)P()，如果q(x)对一切x及n成立，并且E(0r2)，则(Sa)aeP(n)其中a(n)特例是X：n除独立性外进而还满足同分布于X，并且E=E(0r2)，则当n时有aeP其中a；aEX=EX (37)证(i)可由引理322a及定理323得到；(ii)可由引理322b及定理323得到(I)(II)条件下成立条件(III)只须在条件(II)中取g(x)=x即得；(iii)可由推论324及定理323得到；(iv)可由推论325及定理323得到；(v)可由推论326及定理323得到r时成立最后证r1的情形：因为Ek且A=时有故对任意n有另一方面，对任意1有q(x)，故k综上可得，当n时所以当n时有再根据推论326中已证，对r1下式成立(C=1)aeP收敛利用克罗内克引理可得aeP从而有aeP在独立条件下关于X部分和序列S：n强稳定化的一些充分必要条件定理325设01使得(对一切k)(38)或者nn1 (对一切k)()不缓性：存在常数C1且C使得(对一切k)，独立rv列X：n满足条件：()对每个k存在常数使得 aeP且(k)则(i)aeP(n)(ii)YE Y0aeP (k) (iii),对一切，其中Y= (k) 证明：见随机极限引论朱成熹P162事实上洛易甫(loeve)在“Probability Theory”,Springer-Verlag,New York.4th ed(1978)中把此定理的条件()减弱为：() aeP(k且C是常数)，定理仍然成立推论326如果0b且存在常数C，使得11可知条件()()满足因而可得aeP(n) YE Y aeP (k) ()在定理324的(iv)和(v)中只给出r级绝对矩在0r0：n使得且则aeP(n)证容易验证，当EX(n)时，由可导得(H)(H)满足，从而有aeP以上讨论了独立rv列的部分和强稳定性成立的一些充分性就，以及中心化数列和规范化数列的强稳定性在一定条件下的充分与必要条件，特别是条件加在各级矩上，只得到了一些充分条件下面我们继续讨论强稳定性不成立而条件加在矩上的一些充分条件定理3210(Revesz，1968)设aeP且EX (n)，若则aeP不成立证明：见Revesz“The Laws of Large Numbers”Academic PressNew York(1968)324X为独立同分布rv列延续前面研究问题的思路，我们首先最理想的仍是找出强稳定性成立的、并且能用各级绝对矩表出的充分和必要条件.定理3211设0r2(i)若E0令A(x)=：(n)，则根据波勒尔康特利引理可得再由同分布性推得可得：对任意x0设bx有x(39)其中q(t)=再令q(t)=P()利用弱对称不等式(229)（随机极限引论朱成熹P87）可得q(t)2q(t)，故由(1)知E2=2再利用c不等式可得E=E其中c证完上面定理的特例是r1，这时得到著名的苛尔莫戈洛夫强大数定律：，aeP的充要条件是aEX 有限对一般0r0)若存在r有E，则当n时(i)对任意都有aeP (ii)对任意都有aeP(iii)对任意中心化列a：n和常数0都有aeP (310)显然，对任意满足条件的规范列b：n(310)都成立定理3213(Derman和Robbin，1955)设对0有(311)(这时必有E(X)=)并且E(X)则aeP(n)更有aeP(n)(312)其中X=X，X=X定理3214设EX=0且对某个有0E，则aeP(313)证325平稳条件下的强稳定性问题定义324设X：n是(,P)上的rv列如果对任意正整数n及实数x，x，x都有F( x，x，x)=F( x，x，x) (314)对一切k成立则称X：n是平稳rv列(或平稳序列)其中F( x，x，x)=P(X，Xx，Xx)是(X，X，X)的联合分布函数；而X=(X，X，X) (k=1，2，3，)定义325设(,P)是概率空间，Q是空间到的变换（或映射）(i)如果Q()，则称Q是可测空间 ()上的可测变换；(ii)如果Q是()上的可测变换，并且P(Q(A)=P(A)，对任意A (315)则称Q是(,P)上的保测变换保测变换与平稳序列有着紧密的联系，每个保测变换都可以产生一个平稳序列；反之，任何平稳序列都可以用一个保测变换“产生”出来定义326设Q是(,P)上的保测变换(i)如果A满足Q(A)=A(或P(Q(A)=0)则称A为Q的不变事件(对应地，几乎不变事件)；(ii)如果rvX满足X()=X(Q()，则称X为Q的不变rv令A:A为Q的“不变事件”易证是域，常称它为Q的不变域，并且对P的完全化域有A:A为Q的“几乎不变事件”(316)定义327设是保测变换Q的不变域，若对所有A都有P(A)=0或1，则称Q是遍历的定义328如果保测变换Q，对所有A,B都有(317)则称Q是混合的定理3215(Birkoff各态历经定理)设Q是保测变换，X是rv且E则当n时有aeP (318)其中表X对不变事件域的条件数学期望它是的函数，也记为EX|()推论3216(平均遍历定理)设Q是保测的，rvX有E,则E=0 (319)由于我们的目的是直接给出平稳序列具有强稳定性的判别法，所以，必须把前述结果转为平稳序列的情形为此，前述有关概念也升直接由平稳序列予以定义定义329设X=X：n是平稳序列，T=0,1,2,.以及X=A：AX且A=A aeP(tT)X=A：AX且A=A (tT)(i)我们把X与X分别成为平稳序列X的不变域与几乎不变域它们中的事件分别称为X的不变事件与几乎不变事件；(ii)对于rvY，如果存在一个（R，）上的有限可测函数使得对所以k都有Y=(X，X，X，)（X）则称Y对X是不变的rv定义3210如果X中的事件服从01律，则称X是遍历的定理 3217(平稳序列的各态历经定理)若XX：n是平稳序列并且E，则aeP (320)若进而X：n满足遍历性，则aeP(321)其中FX是X：n的不变域推论3218设X：n独立同分布且E，对固定的n，令（k）则aeP326齐次马尔柯夫条件下的强稳定性定义3211如果rv列X：n满足齐次马尔柯夫条件，即对任意正整数n和B(波雷尔集类)都有P(X|X，X，X)=P(X)aeP，则称X：n是马氏列如果进而满足P(X)=P(X)aeP (n)，则称它为齐次马氏列定义3212设X：n是齐次马氏列，p(y，B)P(X|X=y)(n)我们称p(y，B)(y)为X：n的转移概率(或转移函数)定义3213设X：n是具有转移概率p(x，B)的齐次马氏列如果分布函数F(x)满足F(x)= (x)则称F是X：n(或p(x,B)的平稳初始分布事实上，对于给定的一个齐次马氏X：n（或p(x,B)）它的平稳初始分布可能不存在（这时对应的序列就是非平稳的）；也可能存在但不唯一（这时对应的序列都是平稳的，但分布可以不同）关于平稳初始分布的存在性问题，在DoobJL“Stochastic Processes”（Wiley.New York(1953)）的第5章讨论的比较详细在那里给出了一个比较一般的至少存在一个平稳初始分布的充分性条件Doeblin条件对一个具体的rv列X：n而言它的值域空间实际上不一定取遍整个数轴，而只取其一部分，例如有限个点，可数个点，某个区间等等这个实际取值的空间，称为该列的状态空间常假定它是波雷尔集并以S表之以(S)表所有波雷尔集与S的交集全体，即S定义3214设齐次马氏列X：n的状态空间为S且p(x,B)(x,B)是它的n步转移概率P(X|X=x)如果在(S，)可测空间上存在一个概率测度，一个整数n和一个数使得，对一切x及满足的B都有p(322)则称X：n满足Doeblin条件（简称条件(D)）定义3215设X：n是齐次马氏列，状态空间为S且转移概率为p(x，B)(i)如果非空集C满足对所有x都有p(x，C)=1则称C为X：n的不变集(ii)如果X：n在S上不存在二个不相交的不变集，则称X：n在S上是遍历的或不可分遍历性概念说明马氏列的状态空间不能分成二个不变子集，当其马氏列一旦进入某子集时，就不可能再跑出该子集了对于齐次马氏列和平稳马氏列又是平稳列时，这二类遍历性定义是否一致的？为方便计，在定义3215中，对马氏列定义的不变集和遍历性我们称为马氏不变集和马氏遍历性，而对上节平稳列定义的，我们称为平稳不变集(事件)和平稳遍历性下述引理回答了上述问题引理3219设X：n是平稳齐次马氏列(i)如果X：n是马氏遍历列，则它必是平稳遍历的(ii)如果存在马氏不变集C使得0P(X)0为常数，如果随机变量X和X(n)的r阶矩有限，并且有则称X为r阶平均收敛到X，简称r阶收敛，记作X当r1时可称为平均收敛，r2时称为均方收敛定义414设F(x)，F(x)(n)均为实函数如果有，任x，其中C为函数F的连续点集，则称F(x)弱收敛到F(x)，记作F定义415设随机变量X与X分别有分布函数F(x)与F(x)，且F，则称随机变量列X依分布收敛到X，仍记作F事实上关于上面定义的四种收敛性恒有的关系我们比较熟悉了，下面就仅简单列出aeP收敛依概率收敛按分布收敛平方平均收敛(简记qm收敛)一般说来，上述关系是不可逆的，但对独立rv的级数来说上述关系却可逆在下节将介绍些结论独立条件下收敛之间的逆关系定理421设X：是独立rv列，则当n时(i) S(ii) 若存在常数c0，使得对及n一致的有且EX=0，则当n时S S其中S=而S是rv；S表E在定理421(ii)中去掉一致有界条件，结论就未必成立了反例如下：例7 设X：n是独立rv列且(n)根据三级数判别法可得，aeP收敛，但E(SS)=m0 (n)故，S不成立推论422设X：n是独立rv列，若对某个r0及每个n都有E且当n，m时E(等价地，S)则，aeP收敛综上随机序列收敛性如下：aeP收敛依概率收敛按分布收敛平方平均收敛(简记qm收敛)(1)显然成立(2)不成立反例：例取区间上的几何概率空间，即=，为区间内的波雷尔集类，P为勒贝格测度令()=1; = =一般的，对每个自然数k，将等分为k个子区间，并取i=1，2，k定义X=，X，X，X=，易见X为随机变量列，由于任何有P=P=由依概率收敛定义知X实际上，此时对一切无论多么大的k，总有n，nk使而X=0就是说例中随机变量列对一切不收敛即E=但是，可以证明的是，每个依概率收敛的随机变量列必存在某个子序列几乎必然收敛到同一随机变量再由定理421可知在独立条件下(2)成立(3)成立是平凡的(4)不成立，反例：例设X，Y独立，同服从p=的伯努利分布，对一切n取X=Y，则由X与X同分布知X依分布收敛到X但是有P=P=可见X不是依概率收敛到X的但是当极限函数为常数c时，依分布收敛与依概率收敛等价，定理证明可查杨振明编著的概率论的P201事实上此条件还可以减弱，即定理421的(ii)使得(4)成立(5)成立为平凡的结果(6)不成立反例：例2 取区间上的几何概率空间()固定r0，令X()= X()易见对一切有X()用定理11（概率论杨振明科学出版社P197）知X但是E=1不趋于0，即X不是r阶收敛到X的由定理421可知在独立条件下(6)成立结论 本文通过对大数