随机变量的定义及分布实用教案

1、1.1 1.1 概率的基本概率的基本(jbn)(jbn)术语术语 随机(su j)试验(Random Experiment): 满足下列三个条件的试验称为随机(su j)试验： (1)在相同条件下可重复进行； (2)试验的结果不止一个，所有可能的结果能事先明确； (3)每次试验前不能确定会出现哪一个结果。例：投掷(tuzh)硬币(Toss a coin)The outcome varies in an unpredictable fashion when the experiment is repeated under the same conditions.第1页/共68页第一页，共68页。

2、随机事件(Random Event):在随机试验中，对试验中可能出现也可能不出现、而在大量重复(chngf)试验中却具有某种规律性的事情，称为随机事件，简称为事件。如投掷硬币出现正面就是一个随机(su j)事件。第2页/共68页第二页，共68页。基本事件(Elementary Event):随机试验中最简单的随机事件称为基本事件，如投掷骰子出现1、2、.、6点是基本事件，出现偶数(u sh)点是随机事件，但不是基本事件。(简单(jindn)事件Simple Event)第3页/共68页第三页，共68页。样本空间(Sample Space)随机试验的所有基本事件组成(z chn)的集合称为样本空

3、间.Toss a coin：S=Head, Tail=H,TToss a die: S=1,2,3,4,5,6第4页/共68页第四页，共68页。关于样本空间的注释(zhsh)：离散的样本空间Toss a die: S=1,2,3,4,5,6连续(linx)的样本空间由多次子试验(shyn)构成的样本空间看下例第5页/共68页第五页，共68页。IF we toss a coin three times and let the triplet xyz denote the outcome “x on the first toss, y on the second toss, z on the th

4、ird toss”, then the sample space of the experiment isS=HHH, HHT, HTH, HTT, THH, THT, TTH, TTTThe event “ one head and two tails” is defined byE=HTT, THT, TTH第6页/共68页第六页，共68页。关于样本空间的注释(zhsh)：离散的样本空间Toss a die: S=1,2,3,4,5,6连续(linx)的样本空间, , SR or Sa b由多次子试验(shyn)构成的样本空间可数无穷的样本空间S=S1 S1 =HH, HT, TH, TT

5、, S1=H,T第7页/共68页第七页，共68页。频率和概率(gil)(Frequency and Probability):n次重复试验中，事件A发生的次数nA：-事件A的频数比值nA/n:- 事件A发生的频率nnAPAn lim)(概率频率反映了事件(shjin)A发生的频繁程度，若事件(shjin)A发生的可能性大，那么相应的频率也大，反之则较小。 第8页/共68页第八页，共68页。1.2 随机变量(su j bin lin)的定义(Definition of a random variable)设随机试验E的样本空间为S=e，如果对于每一个eS，有一个实数X(e)与之对应(duyng)

6、，这样就得到一个定义在S上的单值函数X(e)，称X(e)为随机变量，简记为X。 随机变量是定义(dngy)在样本空间S上的单值函数1. 定义第9页/共68页第九页，共68页。Interpretation of random variable:SeReal lineRandom variable is a function that assigns a numerical value to the outcome of the experiment.第10页/共68页第十页，共68页。A coin tossSe1Real line10e2Mapping of the outcome of a c

7、oin toss into the set of real number第11页/共68页第十一页，共68页。A discrete random variable is a random variable that can be take on at most a countable number of possible values根据随机变量取值的不同可以分为： 连续型随机变量(Continuous random variable) 离散型随机变量(Discrete random variable)第12页/共68页第十二页，共68页。2. 概率分布列Xx1x2.xnpkp1p2.pnPr

8、obability mass function (PMF)()()(1,2,., )XkkkPxP Xxpkn第13页/共68页第十三页，共68页。(1) (0,1)分布 随机变量(su j bin lin)的可能取值为0和1两个值，其概率分布为10( )1XpkPkpkPMF:( )XPkk0 11pp第14页/共68页第十四页，共68页。Bernoulli random variableLet A be an event of interest in some experiment, e.g., a device is not defective. We say that a “succe

9、ss” occurs if A occurs when we perform the experiment.Bernoulli random variable IA is equal to 1 if A occurs and zero otherwise. 第15页/共68页第十五页，共68页。(2) Binomial 独立地进行(jnxng)n次贝努利试验，事件A发生m次的概率刚好(gngho)是 展开的第m+1项的系数例：雷达(lid)双门限检测器第16页/共68页第十六页，共68页。Example: Transmission error in a binary communication

10、s channel .Let X be the number of errors in n independent transmissions. Find the PMF of X. Find the probability of one or fewer errors01011-1-第17页/共68页第十七页，共68页。The probability of k errors in n bits transmissions is given by the probability of an error pattern that k 1s and n-k 0s X is a binomial r

11、andom variable第18页/共68页第十八页，共68页。例：信息传输(chun sh)问题（Message Transmissions）Let X be the number of times needs to be transmitted until it arrivers correctly at its destination. Find the probability that X is an a even number.X is a discrete random variable taking on values from S=1,2,3,.(3) geometric r

12、andom variable第19页/共68页第十九页，共68页。The event X=k occurs if k-1 consecutive erroneous transmissions (failures) followed by a error-free one (success) X is called the geometric random variable第20页/共68页第二十页，共68页。泊松分布(fnb)(Poisson distribution)( )()!kXePkP Xkk,.1 , 0k0)(PX例：交通路口在单位时间(shjin)内通过的车辆数第21页/共68

13、页第二十一页，共68页。1.3 分布(fnb)函数和概率密度函数Probability Density Function, （PDF） Distribution Function or Cumulative Distribution Function, (CDF)( )()F xP Xx( )( )dF xf xdx1. 定义第22页/共68页第二十二页，共68页。0)()(12xFxF12xx 1)(0 xF)(1)(xFxXP右连续)()(xFxF2. 分布(fnb)函数的性质（Properties of the CDF）第23页/共68页第二十三页，共68页。分布(fnb)函数是右连续的

14、不减函数，在负无穷处为零，正无穷处为1。对于连续型随机变量，取某一特定值的概率是为零的。即PX=x=0第24页/共68页第二十四页，共68页。对于离散型随机变量，分布函数为阶梯(jit)函数，阶梯(jit)的跳变点出现在随机变量的取值点上，跳变的高度为随机变量取该值的概率。第25页/共68页第二十五页，共68页。对于离散型随机变量，PMF与CDF的关系为()()()XkkkkkP xpF xF xP Xxkxkp( )F xx第26页/共68页第二十六页，共68页。概率密度随机变量落入(x1,x2) 的概率 第27页/共68页第二十七页，共68页。对于离散型随机变量，它的概率密度函数(hnsh

15、)是一串函数(hnsh)之和，函数(hnsh)出现在随机变量的取值点，强度为取该值的概率。 第28页/共68页第二十八页，共68页。1x2xkx1p2pkp( )F xx1x2xkx1p( )f xx2pkp第29页/共68页第二十九页，共68页。3. 常见概率分布 正态分布（Normal），也称高斯(o s)（Gauss）分布 -4-3-2-10123400.10.20.30.40.50.60.70.8N(0,1)正态分布概率密度 21( )exp22xxxdx标准正态分布函数第30页/共68页第三十页，共68页。瑞利分布(fnb)（Rayleigh）瑞利分布(fnb)概率密度2 02468

16、101200.050.10.150.20.250.30.350.4第31页/共68页第三十一页，共68页。指数(zhsh)（Exponential）分布指数分布概率密度 0123456700.511.5第32页/共68页第三十二页，共68页。 对数(du sh)正态分布（LogNormal）高分辨率雷达杂波分布01234567891000.10.20.30.40.5对数(du sh)正态分布概率密度 为尺度参数(cnsh)为形状参数(cnsh)第33页/共68页第三十三页，共68页。1.4 多维随机变量(su j bin lin)及其分布 Multiple Random Variables a

17、nd Distributions 1. 定义(dngy)Se( ), ( )X e Y exy2R第34页/共68页第三十四页，共68页。2. 二维分布(fnb)函数和概率密度 Bivariate CDF and PDF 二维分布函数图解 ,),(yYxXPyxF定义：第35页/共68页第三十五页，共68页。二维分布函数(hnsh)性质： 0),( yF0),(xF0),(F1),(F)(),(xFxFX)(),(yFyFY边缘（Marginal）分布由二维分布函数可以求出一维分布函数 第36页/共68页第三十六页，共68页。二维概率密度： dyyxfxfX),()(dxyxfyfY),()(

18、由二维概率密度可以求出边缘概率密度第37页/共68页第三十七页，共68页。随机变量落在某个区域的概率 第38页/共68页第三十八页，共68页。3. 条件(tiojin)分布(Conditional Distribution) |)|(|xXyYPxyFXY条件分布函数yxyFxyfXYXY)|()/(|条件概率密度)()(),(yfxfyxfYX称随机变量X、Y独立第39页/共68页第三十九页，共68页。Example: Communication Channel with Discrete Input and Continuous Outputnoise voltage NU(-2,2) 通

19、信(tng xn)信道X: +1 or -1Find PX=+1, Y0Y第40页/共68页第四十页，共68页。Solution:1/2When the input X=1, the output Y is uniformly distributed in the interval Therefore( 1)1|144yyP Yy X 第41页/共68页第四十一页，共68页。1.5 随机变量的数字特征 均值(jn zh) 方差 协方差与相关系数 协方差矩阵 举例第42页/共68页第四十二页，共68页。1. 均值(jn zh)（Mean)算术平均： 所有(suyu)可能取值等概率加权统计平均值：

20、 所有(suyu)可能取值按概率加权dxxxfXE)()(连续型随机变量：11()( )NNiiiXiiiE Xx px Px离散型随机变量：第43页/共68页第四十三页，共68页。性质(xngzh)：)()(XcEcXE)()()()(2121nnXEXEXEXXXE如果X和Y相互独立，)()()(YEXEXYE如果(rgu)EXY=0，则称X和Y正交(Orthogonal)。第44页/共68页第四十四页，共68页。2. 方差(fn ch)(Variance)方差反映了随机变量(su j bin lin)X的取值偏离其均值的偏离程度或分散程度，D(X)越大，则X的取值越分散。第45页/共68

21、页第四十五页，共68页。性质(xngzh)：如果(rgu)X1,X2,.,Xn相互独立。第46页/共68页第四十六页，共68页。Variance is a nonlinear operator)()(2XDccXD1212()()()()nnD XXXD XD XD X第47页/共68页第四十七页，共68页。3. 协方差和相关系数(Covariance and Correlation coefficient)如果(rgu)X和Y相互独立，则rXY=0，| rXY|=1的充要条件是PY=aX+b=1第48页/共68页第四十八页，共68页。0XYrwe define X and Y to be u

22、ncorrelatedIf ,If X and Y are independent, then X and Y are uncorrelated.X and Y are independentX and Y are uncorrelatedTrueFalse第49页/共68页第四十九页，共68页。The correlation coefficient provides a measure of how good a prediction of the value of one of the two RVs can be formed based on an observed value of

23、the other. 1XYrYabX1 indicates a high degree of linear between X and Y+1 means b0 and -1 means b0第50页/共68页第五十页，共68页。Independent:( , )( )( )XYXYfx yfx fyUncorrelated(, )0Cov X Y Orthogonal:()0E XY 第51页/共68页第五十一页，共68页。不相关就认为(rnwi)X与Y没有关系吗？例： 为零均值正态随机变量， Y 与X相关吗？X2YXY是依赖于X的(Dependence)，但Y与X不相关(xinggun)

24、(Uncorrelated), 线性不相关(xinggun)的。第52页/共68页第五十二页，共68页。Independent implies zero covariance but zero covariance does not imply independence.Example: Uncorrelated but dependent random variablesLet be uniformly distributed in the interval (0,2)。LetcossinXY()( )0E XE Y()0E XY X and Y are uncorrelated but d

25、ependent第53页/共68页第五十三页，共68页。(cos ,sin )yx11注意(zh y)英文单词的区别:Correlation (Uncorrelated)Dependent（Independent)It can be shown that 第54页/共68页第五十四页，共68页。4. 协方差矩阵(j zhn)（Covariance Matrix）多维随机变量通常用协方差矩阵来描述随机变量之间的相互(xingh)关系。第55页/共68页第五十五页，共68页。协方差矩阵是对称(duchn)（共轭对称(duchn)）的；如果变量之间是不相关的，则K是一个对角阵。第56页/共68页第五十六页，共68页。例1: (0,1)分布(fnb)随机变量，PX=1=p,PX=0=q=1-p, 求X的均值和方差5. Expected value of some important random variableEX=1PX=1+0 PX=0=pEX2=12 PX=1+02 PX=0=pD(X)=E(X2)-(EX)2=p-p2=pq解:第57页/共68页第五十七页，共68页。例2 (a,b)上均匀分布的随机变量，求均值(jn zh)和方差 第58页/共68页第五十八页，共68页。例3 求瑞利分布随机变量的均值(jn zh)和