第一章-概率统计基础[]PPT课件

1,-,第二章：随机变量,上节课内容概率理论概率公理及推论随机事件之间的关系：条件概率、独立/条件独立、贝叶斯公式本节课内容随机变量及其分布随机变量变换常见分布族多元随机向量的分布联合分布、边缘分布、条件分布、独立,2,-,随机变量,统计推断是与数据相关的。随机变量就是将样本空间/随机事件与数据之间联系起来的纽带随机变量是一个映射，将一个实数值赋给一个试验的每一个输出例2.2：抛10次硬币，令X()表示序列中正面向上的次数，如当=HHTHHTHHTT，则X()=6。,3,-,随机变量的概率描述,事件的概率随机变量的概率描述给定一随机变量X及实数子集A，定义例2.4：抛2次硬币，令X表示正面向上的次数，则,其中X表示随机变量，x表示X可能的取值,4,-,随机变量的分布函数,随机变量X的累积分布函数(cumulativedistributionfunction,CDF)定义为CDF是一个非常有用的函数：包含了随机变量的所有信息。CDF的性质：略（见书）,有时记为F,5,-,例：随机变量的CDF,例2.6：公正地抛硬币2次，令X表示正面向上的次数，则CDF右连续、非减函数对所有实数x都有定义虽然随机变量只取0、1、2,6,-,离散型随机变量的概率函数,离散型随机变量的概率函数(probabilityfunctionorprobabilitymassfunction,pmf)定义为对所有的CDF与pmf之间的关系为：,有时记为f,7,-,例：离散型随机变量的pmf,例2.10：公正地抛硬币2次，令X表示正面向上的次数，则概率函数为：,8,-,连续型随机变量的概率（密度）函数,对连续型随机变量X，如果存在一个函数，使得对所有的x，且对任意有则函数被称为概率密度函数(probabilitydensityfunction,pdf)。CDF与pdf之间的关系：在所有可微的点x，则,注意：是可能的,9,-,例：连续型随机变量的CDF和pmf,例2.12：设X有PDF:显然有有该密度的随机变量为(0,1)上的均匀分布：Uniform(0,1)，即在0和1之间随机选择一个点。其CDF为：,10,-,分位函数(quantilefunction),令随机变量X的CDF为F，CDF的反函数或分位函数(quantilefunction)定义为其中。若F严格递增并且连续，则为一个唯一确定的实数x，使得。为增函数中值(median)：一个很有用的统计量，对噪声比较鲁棒,11,-,随机变量的变换,X：老的随机变量，Y：新的随机变量，离散：,12,-,离散型随机变量的变换,例2.45：假设Y的取值比X少，因为该变换不是一一映射。,13,-,连续型随机变量的变换,CDF方法变换的三个步骤对每个y，计算集合计算CDFPDF为,14,-,连续型随机变量的变换,当r为单调增函数/减函数，定义r的反函数，则当X、Y存在一一映射时，上述结论仍可用Jacobian方法分区间：在每个区间内为单调函数，可分区间利用上述结论,15,-,16,-,例：连续型随机变量的变换,例2.46：则令则或直接用Jacobian方法,17,-,例：连续型随机变量的变换,例：概率积分变换X有连续CDF，定义随机变量Y为，则Y为0,1上的均匀分布，即对随机数产生特别有用（Chp2第15题）,18,-,0.5,1.0,0,19,-,常见分布族,离散型随机变量Ch2,p25均匀(Uniform)分布贝努利(Bernoulli)分布二项(Binnomial)分布超几何(HyperGeometric)分布几何(Geometric)分布泊松(Possion)分布连续型随机变量Ch2,p27均匀(Uniform)分布正态(Normal)分布Gamma分布Beta分布分布指数(Exponential)分布,20,-,常见分布族,每个分布族pdf/pmf形式参数典型应用均值、方差,21,-,正态分布,亦称高斯分布，:位置（location）参数:尺度（scale）参数如图像处理中的多尺度分析,22,-,正态分布,最重要的分布之一在实际遇到的许多随机现象都服从或近似服从正态分布如考试成绩中心极限定理：随机样本的均值近似服从正态分布对任意IID样本，则,23,-,标准正态分布,当时，正态分布称为标准正态分布，通常用Z表示服从标准正态分布的变量，记为。pdf和CDF分别记为标准化变换：若，则若，则正态分布的线性组合仍是正态分布：若是独立的，则,24,-,二元随机向量的联合分布,离散型随机变量的联合分布：令X、Y为一对离散型随机变量，联合概率函数(pmf)定义为联合概率分布函数(CDF)为：,(X,Y)：随机向量,25,-,例2.18：对如下有两个随机变量的二元分布，变量X和Y取值为0、1，则。,26,-,二元随机向量的联合分布,连续型随机变量的联合分布：令X、Y对一对连续型随机变量，联合概率密度函数(pdf)定义为对任意集合联合概率分布函数(CDF)为：,27,-,边缘分布,离散型随机变量：,28,-,边缘分布,连续型随机变量：,联合分布包含了随机向量概率分布的信息联合分布唯一确定了边缘分布，但反之通常不成立,29,-,独立,PDF可以因式分解,30,-,独立,31,-,随机变量之间的关系,独立当且仅当不独立：随机变量之间的关系用条件分布描述条件分布：,32,-,条件分布,离散型随机变量的条件概率函数：对连续型随机变量，条件概率定义相同，但解释不同,第一节课中随机事件的条件概率：,33,-,条件分布,给定变量Y时，在X上的概率分布对Y的每个可能取值，对X都定义有一个概率分布是一个概率分布，满足概率分布的所有性质，如,34,-,例：条件分布,35,-,联合分布、边缘分布与条件分布,边缘分布与联合分布：条件分布与边缘分布、联合分布：联合分布与条件分布、边缘分布：,36,-,条件概率链规则（ChainRule）,链规则或,37,-,贝叶斯规则,贝叶斯规则,似然,先验,后验,38,-,贝叶斯规则中的边缘化,给定和，推导经常使用贝叶斯规则的归一化因子通过边缘化，,已知,?,39,-,边缘分布,通过使用(1)边缘化和(2)链规则，给定，可以计算：,40,-,条件独立,（绝对）独立：给定Y，不会对X增加任何信息条件独立：若在给定Z的情况下，X与Y条件独立，则一旦已知Z，Y不会对X提供额外的信息例：,41,-,联合概率,联合概率：定义了所有可能状态的概率二值变量的情况下有项用个独立变量表示非二值变量?如果这些变量是独立的，则对二值变量，用n个独立变量表示非二值变量?,42,-,联合概率,若有些变量是条件独立的话，联合概率可以用少于个变量表示例：但若Y和W在给定X下独立，且Z和W、X在给定Y下独立，则真实问题通常是这样的，贝叶斯网络就是利用了条件独立的性质,43,-,链规则推广,条件概率的定义递归定义：,2n,1242n-1,对二值变量,44,-,多元随机向量的分布,令随机向量，其中为随机变量，用表示X的pdf/pmf，先前讨论的关于二元随机向量分布的结论都可以推广到多元随机向量，如可以定义边缘分布、条件分布等当随机向量互相独立时，随机向量相互独立两两独立，但反之不成立,45,-,IID（IndependentIdenticallyDistribution）样本,当互相独立且有相同的边缘分布F时，记为，我们称为独立同分布（IndependentIdenticallyDistribution,IID）样本，表示是从相同分布独立抽样/采样，我们也称是分布F的随机样本。若F有密度f，也可记为，样本大小为n思考题：怎样对任意分布F进行采样（得到多个独立同分布的样本）？,46,-,常见多元分布,多元二项分布多元正态分布,47,-,多元二项分布,二项分布的多元变量版本其中例：从箱子中共k中颜色的球，为抽取到颜色j的概率，共抽取n次，令为颜色j出现的次数，则,48,-,多元二项分布,边缘分布：若，其中且，则的边缘分布为,49,-,多元正态分布,令，其中且互相独立则Z的协方差矩阵为单位矩阵I，记为。,50,-,多元正态分布,更一般地，其中表示矩阵的行列式，为均值向量，协方差矩阵为一个对称的正定矩阵,51,-,多元正态分布,多元正态分布有如下性质：1、若且，则2、若，则3、若，a为与X相同长度的向量，则,52,-,随机向量的变换,令，求1.对每个z，计算集