概率论与统计的基础知识（概率空间、最基本的分布、数字特征）

概率论与统计的基础知识（概率空间、最基本的分布、数字特征）1样本空间与概率概率模型每个概率模型对应⼀个试验，这个试验所产⽣的所有可能结果组成了样本空间，其中某些结果占样本空间⽐例就是它的概率。事件是结果的集合，可以是结果的交集、并集啥的都⾏。举个例⼦：波利亚罐⼦模型就是⼀种概率模型，它所产⽣的罐⼦中所有球的各⾃个数和⽐例就可以叫随机变量，⽽RC算法所找到的点具有某种性质，它所代表的事件占样本空间⽐例就是概率。举个例⼦：⼗次投硬币，我们可以关⼼10次投硬币正⾯向上的次数。（这是⼀个0，到10的样本空间，每次试验结果都是互斥的）。现实中的n重伯努利实验、⼏何分布、⼆项分布、泊松分布都是序贯模型。举个例⼦：我们已经确定了试验和对应样本空间，那么概率律就表⽰确定任何结果或者结果集合的似然程度，也就是说它给每⼀个事件⼀个概率。那么这些概率就相当于数学⾥⾯的数字了，在样本空间中，它有⾃⼰的计算⽅法。即概率的具体解释是频率，在⼤量重复试验的情况下，发⽣A事件的次数占⽐趋向于其频率。以上，我们便定义了概率论的基⽯，就是给⼤量重复试验中选择样本空间，在这个样本空间中，某种事件出现的概率，其在样本空间满⾜⾮负性、可加性、归⼀化等定理。由这些可以推导概率论中很多性质。离散模型和连续模型的不同在于样本空间的离散还是连续。考虑⼀个例⼦：我们有那么现在假设这有限个可能结果的概率是均等的，那么有考虑⼀个例⼦：都可以由三条基本定理推导出来它是指对待⼀个实验的时候，⼀定要清楚样本空间是什么。1.3条件概率先有直观的理解，后有数学定义，然后就分流了，⼀⽅⾯是纯数学的关⼼数学⼯具本⾝性质等等，另⼀⽅⾯是直接⽤数学⼯具的各种结论去应⽤。直观数学定义其纯数学⽅⾯的性质条件概率是定义在已经发⽣的事件上的概率，样本空间就是已经发⽣的事件本⾝。它就会满⾜概率的三个公理，可加性、⾮负性、归⼀性。这个跟数学发展是⼀样的，从定义和公理出发，推导出⼀切推论。⽐如定义⾃然数及其运算，这⾥是定义概率律及其运算。1.6计数法学习它，是为了解决理解多项式分布的理论困难，计数法是组合数学的⼀部分。推荐去看下《组合数学》。最基础的计数原则就是分阶段计数了，在这⾥，树形图可以很好地帮助我们得到所有可能结果的数⽬。选这才明⽩排列的意思，n中选k，与次序有关，⽐如ab和ba被认为是两种，利⽤计数准则（树形图）来解释⽐较好的，直观易懂。⽽组合，是n中选k，k个不同的序列，与次序⽆关。是⼀种集合的概念。在⼆项式分布中的属于组合。从n中选k的组合可以看做对n的分割，分割成两个集合，⼀个是k个，另⼀个是n-k个元素。这可以帮助我们理解多项式分布，从集合的⾓度分阶段，先确定⼀个集合，再确定另⼀个集合，直到确定r个集合。1.7⼩结2离散随机变量在概率论对应的实验和样本空间中，每个实验结果关联着⼀个数，这个数就是随机变量，随机变量是实验结果的⼀个实值函数。举个例⼦：⽐如在波利亚罐⼦模型中，进⾏n-1次抽取过程中，其中某种球被抽取的次数就是⼀个随机变量。它代表n-1次实验某个实验结果，关联着⼀个明显的数值（抽取次数）。很明显，它是离散的，因为它的值域只取有限多个值。举个例⼦：波利亚罐⼦模型下，n-1次抽取中，某种球被抽取次数是个随机变量，离散的。我们关⼼它关联某个数值的概率，这是它最重要的特征。我们⽤分布列描述它，这⾃然就解释了某某随机变量趋向某某分布的话。⼀种特别的随机变量，这种随机变量的实验结果只有两种，成功或者不成功。将伯努利实验进⾏n次，我们关⼼n次出现x次的概率，这个x就是⼀个⼆项随机变量。独⽴实验序列中直到实验第⼀次“成功”所需的试验次数，这个成功可以换成别的东西，⽐如波利亚罐⼦模型的抽取到某个球之类的事件。它是⼆项分布的n很⼤，p很⼩的情况。2.3随机变量的函数在某个随机变量x上，以它为⾃变量，构建函数到另⼀个随机变量y上。y也是⼀个随机变量。2.4期望与⽅差每次进⾏实验时，期望的数值是多少？这就是随机变量的期望。考虑波利亚罐⼦模型中n-1次抽取（返回不加球）中，你期望某个颜⾊球抽取的次数是多少？这就是⼆项分布啊，⽐如抽球100次，刚开始有两种颜⾊球，每个球⼀个。抽取100次中，⽩⾊球被抽取的次数是50次，那这不就是⼆项分布吗？⽽⽅差定义了随机变量在期望附近的分散程度的⼀个测度。由其公式就可以看出我对于那种某次失败，之后就不能进⾏的概率论实验不太会，我⽬前接触的都是n次实验，然后求解其中出现的某些随机变量。我是没想到⽤钱作为随机变量，来计算期望判断，这个很神奇，选择你的随机变量计算相应期望即可。有个⼩技巧，就是你想要什么，就把什么作为随机变量，分析其分布列，得到期望就好。2.5多个随机变量的联合分布列⼀个实验设计⼏个随机变量，多个随机变量是⼀个实验结果之下的多个随机变量，它们涉及的样本空间和概率是相同的。1在上图的公式中，划线部分就是概率图模型的理论基础了，因为在图上上每个点都可以认为是⼀个离散随机变量，所以计算某个节点的边缘分布，就可以利⽤上式。这是多个离散随机变量的联合分布，想要得到某个随机变量边缘分布列，就需要进⾏加法法则。将其从联合概率中加起来。通过多个离散随机变量，可以构建更多的随机变量。2.6条件已经发⽣某个事件下的随机变量的分布列。3⼀般随机变量学习这个是好奇论⽂中是如何把分⽀数⽬的离散边缘分布，给它过度到连续的贝塔分布的？借助微积分的知识来理解这个连续随机变量，解决我的问题了，因为概率密度的密度定义就是落⼊这个区间的概率，不⼀定就是某个分⽀刚好等于n/d的概率，只能表⽰某个分⽀⽐例取值某个区间的概率。所以就不能单纯⽤d乘了，4随机变量的深⼊内容4.2协⽅差和相关两个随机变量之间关系的⼤⼩与⽅向。5极限理论讨论随机变量序列的渐进性质讨论⼤数定律的内容，即随机变量序列Mn，从⼤样本意义上看，收敛于Xi的均值。5.1马尔科夫和切⽐雪夫不等式不得不说，这是⼀句显⽽易见的废话。让我康康怎么证明不看了，有点复杂马尔科夫不等式和切⽐雪夫不等式可以帮助我们获取切⽐雪夫不等式就是刻画事物偏离它本质的偏离程度的⼤⼩的概率。在随机变量分布未知的情况下，我们只知道均值和⽅差，切⽐雪夫不等式给出了x落⼊均值为中⼼的ε邻域概率的概率范围。5.2弱⼤数定律5.3依概率收敛这⾥的收敛和数列的收敛定义是不⼀样的。7马尔可夫链7.1离散马尔可夫链状态空间以及其中的转换。将其和数学分析联系就是定义是马尔可夫链，公理是其假设条件。由此后⾯都可以推导出来。在某⼀篇论⽂就认为源点到边界点的所有路径是马尔科夫链，进⽽计算该给定状态序列的概率。综合起来就是该点的最⼤似然，MAP⼀派是这样的。这个不就是当前某点为源点情况下，未来某个时期所有节点的状态概率分布的理论基础吗？也就是概率图模型DMP⼀派。7.2状态的分类8贝叶斯统计推断是从观察数据推断未知变量和未知模型的有关信息过程。举个例⼦：概率论是建⽴在第⼀章公理上⾃我完备的数学课题，假设有⼀个模型能对应现实，那么其满⾜概率公理，然后我们运⽤数学⽅法对这个概率模型进⾏量化，即可。但是统计，就存在很多合理的⽅法，有不同的结论。通过⼈们加的假设和条件，其结果都不⼀样。区别仅仅在于如何看待未知变量或者模型，贝叶斯认为它是已知的某种分布，借助数据来调整它。⽽经典统计认为它是未知的，需要估计。举个例⼦：再举个例⼦：最⼤似然估计就是经典统计推断⽅法，谣⾔源定位问题可以被看做这样⼀个问题。认为源点是⼀个参数，未知，需要估计。⽽贝叶斯map统计推断就是2018常等⼈的⽅法，这两种主流统计推断都⽤在了溯源问题。模型推断就是根据输⼊、输出来推断过程，变量推断是根据输出推断输⼊。有时候，可以两者结合。举个例⼦：溯源问题的中ML估计器就是变量推断、⽽推断传播模型就是模型推断。本章⽬录8.2点估计、假设实验、最⼤后验概率准则前⾯贝叶斯推断是⼀个贝叶斯的总体公式，该公式给出了知道先验分布、条件分布列或者概率密度函数后的后验概率结果，其实就是先验+后验数据去更新先验得到新的分布⽽已，⽽最⼤后验概率就是对任意给定的观察值，需要得到后验概率最⼤的那个参数。（通过结果去得到概率最⼤的参数））构建关于观察值X的函数，类似反函数，然后每个观察值都可以得到⼀个参数估计，如果你要取最⼤的参数估计，那就是最⼤后验，也可取条件期望。对于溯源问题来说，如果使⽤最⼤后验估计，那便是需要知道源的先验概率分布，以及数据的更新。来得到后验概率分布，这本⾝就没有解析式，但是贝叶斯思想仍然可以⽤，这算什么？1如果有解析式那就得到后验概率分布，然后数学分析其跟参数的单调性关系。或者使⽤条件期望直接计算其最⼤参数估计，两种⽅法都可以得到各⾃的最⼤参数估计，但是两者不⼀定相等。2如果没有解析式，但是还是可以⽤数学思想，那么可以使⽤数值计算、或者近似计算、或者啥的。⽐如我的问题中的MAP⼀派。没有明确解析式，那就是⾃⼰去⽤新的⽅式去建模⽹络传播，得到源点似然最⼤。假设检验是⼀种⽅法,⽬的是为了判断⼀个关于总体特征的定量的断⾔（假设）的真实性.⼈们通过从总体中抽出的随机样本来计算适当的统计量来检验⼀个假设.如果得到的统计量的实现值在假设为真时应该是罕见的（⼩概率事件）,则有理由拒绝这个假设.假设实验的理论框架（1）什么是假设检验假设检验是指预先对总体参数的取值做出假定，然后⽤样本数据来验证，从⽽做出是接受还是拒绝的结论。（2）假设检验的思考逻辑基本思路是：问题是什么？证据是什么？判断依据是什么？做出结论。基本步骤：1)、提出原假设和备择假设2)、确定适当的检验统计量3)、规定显著⽔平，查出临界值，确定拒绝域和接受域4)、计算检验统计量的值，做出统计决策。这其实就是博⼠论⽂中关于嫌疑节点的检测概率计算，就是假设有很多个嫌疑节点，然后计算正确决策总概率。感觉假设检验就是像数学证明⼀样，先假设，再得到结果，如果结果不对，那么就需要修改假设。最⼤后验概率准则就可以帮助我们根据观察空间切割成两块没有交集的区域，结果落在那个区域⾥⾯，就接受那个假设，类似于模型检验。根据最⼤后验准则选择观察结果最有可能发⽣的假设。举个例⼦：那么其实它在实验结果出来之前，就已经给定了当结果如何，就可以接受什么假设（先验分布）的设定，不过为什么这个先验分布只有分布列的形式？没有连续的吗？8.3贝叶斯最⼩均⽅差估计⽐较好的估计量的第⼆种，条件期望估计量。跟最⼤后验估计是⼀样的，最⼤后验估计是直接得到