数理统计与随机过程讲义

1、数理统计与随机过程讲义段法兵复杂性科学研究所第一章概率论回顾卜面是数理统计部分需要的掌握的，许多推导的基础知识。§1.1几种分布的由来指数分布：服务台电话呼叫时间，公交车到达一个车站时间，这些时间分布的符合指数分布。设q(t)为区间t上没有事件发生的概率，x为第一次事件发生等待的时间，那么q(t)P(xt),假设不同时间区间ti,t2相互不重叠且独立，那么P(xt1)P(xt2)P(xt1t2)q(ti)q(t2)q(tit2)q(t)et为非平凡(非零)有界解，这里为状态转移概率那么我们有分布函数F(t)P(xt)1P(xt)1q(t)1etYtt0other0因此得到指数分布两个

2、指数分布之和的分布?在x-y的空间内，满足xyz的区域如上，那么z的累计分布那么F(z)Pxyzzzy0dy°fxy(x,y)dxfz(z)竽dzz0fx(x)fy(zx)dx例如x与y为相互独立的指数分布，fx(x)e、和fy(y)e，分别为其概率分布函数，那么zx+y的分布为fz(z)fx(x)*fy(y)0exezxdxz2ez2exe(zx)dxz2ez,z0Gamma分布：N个指数分布的随机变量之和的分布为Gamma分布。例如x与y为相互独立的指数分布，fx(x)e、和fy(y)e"分别为其概率分布函数，那么zx+y的分布为fz(z)fx(x)*fy(y)0exe

3、zxdxz2ezixef(x)()0如此卷积下去，N个相互独立的指数分布相加的概率分布为Gamma分布，其概率密度函数other这里参数，0。Gamma函数1x()xedxo0性质1:利用分部积分法得到递推公式(1)(),当为整数n时，利用分部积分法得到(n1)n(n)n!,而非整数1/2,利用变量代换xy2/2,得到(1/2).所以有/1、/1、/1、/1、/3、31J、(2n1)!(n)(n)(n)(n)(n)(一)nv°222222222n性质2：1,Gamma分布为1/的指数分布；为整数n,Gamma分布为Erlang分布，如第一次故障后再次出现n2.n/2,1/1/2,Ga

4、mma分布为分布，抽样理论中一种重要分布。§1.2随机变量函数的分布因为我们在后面统计假设，检验时将遇到随机变量的函数，因此求出随机变量函数的分布是一个非常重要的基础知识。分为单输入单输出和双输入单(双)输出三种类型。类型一:设x的分布fx(x),求yg(x)的分布fy(y)如图所示，在dy区间y发生的概率为fy(y)dy,由于yg(x)不一定是单调函数，dy区间y对应了多个区间dx1,dx2,dx3,；者B满足yg(x)ydy,dy区间y发生的概率等于所对应的x所在区间发生的概率：fx(xi)dy/dxify(y)dyfx(xi)dxdx；fy(y)fx(xi)d-idy我们设xi

5、'(y)为逆函数，则fy(y)ifxhi(y)|h'i(y)|fxh(y)i|g'My)|x2的概率分布函数。1X2解：x例子：设x的分布fx(x)J2e7，求分方律检波一输出方为反函数两支，且dx/dy1/(2j9),则fy(y)fx(x)等2*dy2、y、2e221/2yey/2这个分布就是Gamma分布的(1/2,2),也是自由度为1的2分布。例子：设x的分布为均匀分布fx(x)=1/,x/2,/2,那么yarctan(x)的分布为柯西分布fy(y)1/TV逆问题1:已知x的分布fx(x),如何构造yg(x)函数使得y符合(0,1)之间的均匀分布fy(y)10由上

6、面推导知fy(y)dyfx(x)dx将fy(y)1代入上式，得出dyfx(x)dxyxfx(u)duFx(x)可以看出我们要找到函数g(x)就是x的累积分布函数Fx0应用：数字图像的直方图均衡化【Gonzalez:数字图像处理】数字图像的直方图就是图像灰度的分布，比如电子显微镜下花粉图像Matlab代码：假设你有花粉图像pollen.tif>>X=imread('pollen.tif);>>imshow(X)>>imhist(X)>>ylim('auto')原始花粉图像灰度的分布直方图可以看出图像较暗，灰度集中在较低的灰度

7、级别-偏暗端，如果将灰度调节一下,使得整个灰度范围内(0,255)内大致均匀分布，那么就达到了亮度调谐的目的。利用上面推导，g(x)就是x的累积分布函数Fx,这里是离散分布，那么就把积分改成加和的方式，设Px(xJ为不同灰度级j1,2,L灰度的概率，那么均衡化变换为kYkPx(xj)jik1,2,L,Yk就是输出图像的灰度值。这样处理:>>Y=histeq(I,256);>>imshow(Y)>>figure,imhist(Y)>>Ylim('auto')可以看出输出图像的直方图在256个灰度级都有分布，比较接近均匀分布，并不是完

8、全平坦。但是图像已经比较亮度合适了。逆问题2:已知x的分布为(0,1)之间的均匀分布fx(x)=1,如何构造yg(x)函数使得y符合任意分布fy(y)。同理，由fy(y)dyfx(x)dx,得到yxfy(u)du=Fy(y)就是xh(y)逆函数为y的累积概率密度函数Fy,自然g(x)就是Fy的逆函数:1Z、yFy(x)例子：求Rayleigh分布这个是只对于r>0有定义，求CDF那么如果设u为均匀分布(xh(y)1-U也是均匀分布，即那么得出变换关系R就是瑞利分布了Rayleigh随机数程序clearalln=input('Enternumberofpoints>'

9、);varR=3;%setpdfparameteru=rand(1,n);%generateUy_exp=sqrt(-2*varR*log(u);%transformationN_samp,r=hist(y_exp,20);%gethistogramparameterssubplot(2,1,1)bar(r,N_samp,1)%plothistogramylabel('NumberofSamples')xlabel('IndependentVariable-x')subplot(2,1,2)term1=r.*r/2/varR;%exponentray=(r/va

10、rR).*exp(-term1);%Rayleighpdfdel_r=r(3)-r(2);%determinebinwidthp_hist=N_samp/n/del_r;%probabilityfromhistogramplot(r,ray,'k',r,p_hist,'ok')%compareresultsylabel('ProbabilityDensity')xlabel('IndependentVariable-x')legend('truepdf,'samplesfromhistogram',1)15

11、01005000.40.30.20.104IndependentVariable-x4IndependentVariable-xtruepdfsamplesfromhistogramSFPmasforeDmuNWFSneDyo8Pp类型二：设x和y的联合分布fxy(x,y),那么求zg(x,y)的分布fz,这里主要考虑zxy,zxy,zx/y,以及zmax(x,y),zmin(x,y),此类问题的重要处在于二重积分的积分区问。例如：zx/y解：Px/yzPxyz|y0Pxyz|y0上述两个分割概率可以用图形表示-_/x=yz那么z的累积概率密度函数xyz0Fz(z)P-zfxy(x,y)dxd

12、yfxy(x,y)dxdyyy0xyxyz按照复合函数求导法则一、dFz，、，ofz(z)-0yfxy(x,y)dyyfxy(x,y)dydz0IyIfxy(yz,y)dy同理可得：zxy对应的分布为fz(z)fxy(zy,y)dy对于x>0分布fx(x)y>0分布fy(y)类型，比如前面的指数分布zfz(z)0fxy(zy,y)dy因为此时积分区间为F(z)Fxyzf(x,y)dxdyy0x0那么dFzzyzfz(z)(一f(x,y)dx)dyf(zy,y)dydz0z00比如两个系统x,y表示其故障发生时间，那么备用系统模型S的故障时间分布为x+y和的分布设x和丫相互独立，fX

13、y(x,y)fx(x)fy(y),zmax(x,y)的分布为fz(z)Fx(z)fy(z)fx(z)Fy(z)比如并联系统zmin(x,y)的分布为fz(z)fx(z)fy(z)Fx(z)fy(z)fx(z)Fy(z)比如用联系统wh(x,y)的联xk(z,w),类型三：已知设x和y的联合分布fxy(x,y),那么求zg(x,y),合分布fzw(z,w),这里设g和h函数连续可导，且有可逆函数ywfzw(z,w)zwPzg(x,y)zz,wh(x,y)w我们将ABCD对应的微元映射到xy概率空间上的AB'C'微沅S,那么fzw(z,w)zwfxy(x,y)S因此，我们可以解出f

14、zw(z,w)fxy(x,y)S-,问题的关键转化为求一S-,zwzw点(z,w)变换为A'点(xk(z,w),ym(z,w),那么B'点的坐标可以表示为(Xb',yB')=(k(zz,w),m(zz,w)(k(z,w)km_、一z,m(z,w)z)zzz,/k=(xz同理C'点的坐标可以表示为(xc，yc,)=(xw,w那么S的面积可以用平行四边形面积求出m、yw)wSA'B'A'C'sin(A'B'cosA'C'sinmzwkA'B'sinA'C'cosk

15、zww|J(z,w)|zw代入fzw(Z,W)zwfxy(x,y)S,我们得到fzw(z,w)|J(z,w)|fxy(x,y)fx,y(x,y)|J(x,y)|这里Jacobi矩阵|J(z,w)|J(x,y)|,二者互为逆阵。为什么这么做？因为有时候知道zg(x,y),wh(x,y),已经给出，求其反函数没有必要了。例子：求zxy的概率分布函数。解：辅助变量法，zg(x,y)xy,wh(x,y)x,那么逆函数为xk(z,w)w,ym(z,w)z/xz/w,雅克比矩阵行列式IJ(x,y)|x|w|J(z,w)|1z2w1，一，那么我们得到|w|那么边缘概率密度fzw(z,w)fx,y(w,W)|

16、J(z,w)|fxy(x,y)|w|fx,y(w,)fz(z)fzw(z,w)dwdw|w|§1.3特征函数与矩矩对于研究随机变量的性质非常重要,mnExn定义原点矩为xnf(x)dx定义中心矩为nE(xm)n(xm1)nf(x)dxmk(m1)我们熟悉的一阶原点矩就是期望均值，二阶中心矩就是方差。例如：正态随机变量f(x)t1e,2x2不，那么0,mn(2kn2k11)!n,n2k对于任意两个随机变量x和y的联系用联合矩来衡量,mkrExkyrxnyrf(x,y)dxdykrE(xmx)k(ymy)rkr(xmx)(ymy)f(x,y)dxdy这里mx,my分别表示各自的均值。那么

17、协方差为Cx,yiiE(xmx)(ymy)(xm*)(ymy)f(x,y)dxdy任意两个随机变量x和y的相关性用相关系数Cxyx,yx,y1xy两个随机变量X和y线性相关则为+1或-1,不相关为0.对于高斯分布，只要知道均值和方差，那么各阶矩都可以求出，但是对于非高斯分布，那么各阶矩是不容易求出的，但是非常重要，比如信号处理中的高阶统计量分析，因为二阶统计量不能辨识非最小相位系统，仅仅对于加性噪声处理方便。数学家引入Fourier变换来求出分布的特征函数，然后通过特征函数求取各阶矩。特征函数定义为()Eejxejwxf(x)dx性质1:若x1和*2相互独立，那么yx1x2的分布的特征函数jwyjw(3x2)jwx1jwx2iy()EeEeEeEexi()x2()n推论yx,若x相互各自独