随机变量、矢量和序列.

1、1随机变量、矢量和序列2主要内容n随机变量随机变量 统计值 常用分布n随机矢量随机矢量 随机矢量的线性变换 正态随机矢量 独立随机变量和n离散随机过程离散随机过程3随机变量n定义3.1 随机变量x()是一个映射，这个映射为每个来自抽象概率空间的结果赋予一个实数x。该映射满足的如下条件：n(1) 对于任一x，区间x()x为概率空间中的一个事件n(2) Prx()=0,且Prx()=04随机变量n随机变量映射示意图抽象空间S实数空间R随机变量随机变量x()1x(1)2x(2)3x(3)4x(4)5分布密度与密度函数n分布函数(Cummulative distribution function, c

2、df)n概率密度函数(probability density function, pdf)(Pr)(xxxFxdxxdFxfxx)()(6分布密度与密度函数n对于离散的随机变量，采用概率质量函数(probability mass function, pmf)n概率函数满足：)(Prkkxxp21)()()()(Pr1)(, 0)(1)(, 0)(, 1)(01221xxxxxxxxxxdxxfxFxFxxxdxxfxfFFxF7统计值n数学期望n数学期望具有线性特征dxxxfpxxExkkkx)()(8统计值n矩(moments)n特殊情况dxxfxxErmxxmmmx)()()(阶矩的均方值

3、阶矩为的均值阶矩为的阶矩为的,2)(,1)(10)(210 xxxxrxrxrx9统计值n中心矩n特殊情况dxxfxxEmxxmxmxmx)()()()(阶中心矩的knxkxkmkmxxxxrkmxxx) 1(0,2)(01)(10)(022210下矩和中心矩一般关系如同。时，矩和中心矩完全相当随机变量的均值为标准偏差方差阶中心矩为的阶中心矩为的阶中心矩为的10统计值n方差与矩的关系:方差主要表征随机变量围绕中心值的分布（或散布）程度的度量n倾斜度(skewness)：表明随机变量与中心分布的不对称程度。向右倾斜，其值为正，向左则其值为负。)()(22222xExErxxx33331)(xxx

4、xxxEkSkew11统计值n峰度(kurtosis)：表明随机变量在均值附近的相对平坦程度或峰值程度。相对于正态分布而言，正态分布的峰度值为0，比正态分布陡峭，则峰度值大于0，否则小于0。313)(4444xxxxxxEkSkew12均值、方差、倾斜度和峰度示意fx1(x)1fx2(x)2数学期望fx1(x)fx2(x)方差12fx1(x)fx2(x)倾斜度负正fx1(x)fx2(x)峰度负正13切比雪夫(Chebyshev)不等式n随机变量偏离其平均值k倍标准偏差的概率，小于或等于1/k2,与概率密度函数的具体形式无关：21|)(Pr|kkxxx14特征函数n定义n采用s代替将上式的j，得

5、到矩的生成函数n在 s=0处按泰勒级数展开，假设各阶矩存在dxexfeExjxxjx)()()(dxexfeEssxxsxx)()()(.!.! 21.!)(.! 2)()(1)(222)(mxmxxmsxxrmsrssmsxsxsxEeEs15特征函数n从上式可知，只要随机变量的所以矩都已知（且存在），那么可以求出生成函数，然后进行拉普拉斯反变换就可以确定密度函数n通过生成函数对s的微分可以求出矩00)()()(mxmmsmxmmxddjdssdr16累积量n累积量生成函数是矩的生成函数的自然对数n用j代替s得到第二特征函数n累积量为累积量生成函数的导数)(ln)(ln)(xjxxeEs)(

6、ln)(ln)(sxxxeEss00)()()(mxmmsmxmmxdsdjdssd17累积量n零均值随机变量的前5个累积量为235544433222111030 xxxxxxxxxxxxxxxr18常用分布均匀分布n概率密度函数pdfn累积分布函数cdf其他01)(bxaabxfxaxbxaabaxaxdvvfxFxxx10)()(abfx(x)x19常用分布均匀分布n特征函数n均值与方差)()(abjeeajbjx12)(22abba2xx和abfx(x)x20常用分布正态分布n概率密度函数pdfn特征函数n正态分布完全由均值和均方差决定，可表示为)21exp()(22xxxj2221ex

7、p21)(xxxxxxfxfx(x)x),(2xxN21常用分布正态分布n正态分布的所有高阶矩可用前两个矩来表示，换言之正态分布高于2阶的矩并不能提供额外的信息。n四阶中心矩为为奇数为偶数mmmxExmxmx0) 1(531)(20344峰度值等于由此，得出正态分布的xx22常用分布柯西分布n概率密度函数pdfn累积分布函数cdfn柯西分布的均值为。但偏差、矩等不存在22)(1)(xxfxxxFxarctan15 . 0)(23MATLAB随机函数n采用rand函数模拟01均匀分布n采用randn函数模拟高斯分布24MATLAB随机函数nx=-3.8:0.1:3.8;n%随机高斯密度ny1=r

8、andn(1,30000);nz1=hist(y1,x)/(30000*0.1);nbar(x,z1),xlabel(bar)n%标准高斯密度ny2=1/sqrt(2*pi)*exp(-x.2/2);nhold on,plot(x,y2);hold offn%均匀分布ny3=rand(1,30000);nz3=hist(y3,x)/(30000*0.1);nfigure, bar(x,z3),xlabel(bar);25随机矢量nM维随机矢量n分布函数和密度函数TMxxx)(,),(),()(21x)()(,)(Pr)()(Pr)( )(,)(Pr),(1111100111lim1xxxxxx

9、xxxFxxxxxxxxxxfFxxxxxxFmmMMMxxMMMm联合概率密度为简写为26随机矢量n边缘分布n随机变量独立，则有xxxxxxxdfddfFdxdxdxdxfxfMjxMxMjjMjx)()()()()(1111)1(1)()(),()()(),()(Pr)(Pr)(,)(Pr2121,2121,2211221121212121xfxfxxfxFxFxxFxxxxxxxxxxxxxxxx27随机矢量n均值矢量n自相关矩阵MMxExEE11)()()(xx*)()(jijijijiHr(x(xErrERxxx28随机矢量n随机矢量的协方差矩阵（二阶矩）n协方差矩阵元素n相关系数n

10、随机变量独立、正交，则)()(ijHHExxxxxxRxx*)()()()(jijijijjiiijxxExxEjiijijjiij , 029随机矢量n随机xi()、xj()不相关，则n随机xi()、xj() 正交，则0)()(*jijiijxxE0jiijij0)()(*xxErjiij30随机矢量n设x()、y()分别是M和L维随机矢量，则这两个随机矢量的互相关矩阵互相关矩阵为n交叉协方差矩阵交叉协方差矩阵)()()()()()()()(*1*1*11LMMLHyxEyxEyxEyxEExyRxyHHEyxxyyxxyRyx)()(31随机矢量n若若x()、y() 不相关，则n若若x()

11、、y()正交，则0)()(xyxyRyxRHEHyxxyxyR032随机矢量的线性变换n随机矢量x()、y() 存在如下关系nfx(x)为x()的概率密度, y() 的概率密度为)()()(Axxy gAAyAJyyxxydetdetJJacobianJ ,|det|)(|)()(111111MMMMxyxyxyxyfgff行列式为其中33随机矢量的线性变换n随机矢量x()、y() 的统计量关系xyxxxyxyxxxyxyxyxyAAARRARAxxxyRAAAARAAxxAxAxyyRAAx,)()(HHHHHHHHHHHEEEEEE34正态随机矢量nx()是M维的正态随机矢量，则n正定二次

12、型为n特征函数为)()(21exp)2(1)(12/12/xxxxxxxxTMf)exp()(xT21xTxj)()()(1111jjiMiMjiijTxxxxxxxx35独立随机变量和ny()是M个随机变量的和，即ny()的均值为)(, )()(1权值为一组系数kMkkkcxcyMkxkykc136独立随机变量和n应用独立性质，则y()的方差n怎么求y()的概率密度函数pdf？MkxkMkxkkykkcxcE122122|)(37独立随机变量和n先来看两个特殊的情况：n情况一：n对应的特征函数为：)()()(21xxy)(,)()()()()()(2121独立性质xjxjxxjyjyeEeE

13、eEeE38独立随机变量和n对应的特征函数为：n根据傅立叶卷积性质，则概率密度为)()()(2121)()(xxxjxjyeEeE)(*)()(21yfyfyfxxy39独立随机变量和n对应的第二特征函数为：nm阶累积量为)()()(21xxy21xmxmym40独立随机变量和n例3.2.1 设xk()(k=1,2,3,4)是4个独立、具有相同分布的随机变量，在-0.5,0.5上均匀分布。试计算M=2,3,4时，ny()的概率密度函数MkkMxy1)(41独立随机变量和nf(x)为随机变量xk()的概率密度函数，则n当M=2时，y()的概率密度函数为其它05 . 05 . 01)(xxf其他0

14、101011)(*)()(2yyyyyfyfyfy42独立随机变量和n当M=3时，y()的概率密度函数为其他0)()()(*)()(232122321212124321232232123yyyyyyyfyfyfyy43独立随机变量和n当M=4时，y()的概率密度函数为其他211001120)2()2()(*)()(36123213232232136134yyyyyyyyyyyfyfyfyy44当M=1，2，3，4时，y()的概率密度函数图形M=1-0.50.5M=2-11M=3-1.51.5M=3-220.75110.6745独立随机变量和n情况二：n对应的特征函数为：baxy)()(jbxj

15、bxjabaxjyeaeeEeE)()()()(46独立随机变量和n根据傅立叶卷积性质，则概率密度为)(|1)(abyfayfxy47独立随机变量和n对应的第二特征函数为：nm阶累积量为jbaxy)()(1mxmmya48独立随机变量和n综合上述两种情况 的特征函数为nm阶累积量为Mkmxmkmykc1MkkxyMkkxycckk11)()()()(第二特征函数为Mkkkxcy1)()(49独立随机变量和n所以 的概率密度函数为MxMxxycyfccyfccyfcyfM|1*|1*|1)(221121Mkkkxcy1)()(50独立随机变量和n根据卷积的性质，独立、分布相同的随机变量的和仍然保

16、持为原有的分布有：（1）有限方差：高斯随机变量（2）无限方差：柯西随机变量 从上述例子可以看出，高斯与柯西分布都具有不变性。51独立随机变量和n这种不变性的随机变量具有相同的特征函数形式： 从不变性，我们引出“稳定分布”概念。)()()(,)(Myxaak52稳定分布n定义： x1(), x2(), xM()为独立、相同分布的随机变量，分布函数为Fx(x), sM()=x1()+x2()+ xM()。如果对于每一个M，存在常数aM0,且有bM使得下式成立n并且Fx(x)不是集中在一个点上。当bM=0时，我们称为严格稳定。机变量具有相同的分布表示等式左右两边的随其中dMMdMbxas)()(53

17、稳定分布n可以证明，对任何稳定的随机变量 x (), 存在一个常数（02 ），使得aM=M 1/ 。其中称为稳定性指标或特征指数。可以称该随机变量稳定。MMMdMbxMbxas)()()(/154稳定分布n中心极限定理(CLT) 若随机 x1(), x2(), xM(): (a)相互独立,(b) 具有相同的分布, (c)各随机变量的均值与方差都存在且有限；那么当M时，归一化的随机变量和的分布就趋于一个零均值、单位标准偏差的正态随机分布。n其中，归一化的随机变量和为：MMyyMkkMxy1)()(55例子M=1-0.50.5M=2-11M=3-1.51.5M=3-220.75110.6756离散

18、时间随机过程n存在一个随机变量序列x (n,), n为离散时间，为随机变量。n如果n固定，则可以把x (n,) 视为一个随机变量。n如果固定，则可以把x (n,) 视为一个样本序列或一个实现。n如果n、 都固定，那么x (n,)为一个数。n如果n、 都变化，那么x (n,)为一个随机过程。57离散时间随机过程n随机过程抽象空间S1x(n,1)2x(n,2)3x(n,3)4x(n,4)nnnnx(n0,)58离散时间随机过程n随机过程x (n,)独立, 则n随机过程不相关，则n随机过程正交，则);();(),;,(11111kkkkkxnxfnxfnnxxf212*121211221211221211221)()(| )(|)(),()()(0)(),(nnnnnnnnnnrnnnnnnnnnnxxxxxxxx)(| )(|0| )(|)(),(21212121211221nnnxEnnnnnnnnrxxx59随