【《狄利克雷过程概述》1300字】

狄利克雷过程概述狄利克雷过程DP由Ferguson于1973首次提出来，DP是最知名的贝叶斯非参先验。DP是概率分布的分布，即随机分布。他的定义如下：给定可测空间,我们说服从过程，如果对于的有限可测划分,...,，即两两互斥，它们的并集为整个可测空间 (2-1)从定义我们可以看到，DP是对Dirichlet分布在无限维上的扩展。一般情况下我们设定服从一个连续分布。容易看到对上任意可测集，,,可见是的期望分布，越大，越接近。如下图2-1所示，当越大时，从DP抽出来的分布越接近基准分布。这里我们设定为标准正态分布，DP样本分布通过stick-breaking过程生成。图2-1：不同下DP样本分布与基准分布的比较。注：红线表示基准分布的累积分布函数CDF，而蓝线表示DP样本分布的累积分布函数DP的最重要性质是以概率一是无穷离散。也正是DP的离散性使得其在机器学习的分类问题上有着广泛的应用。DP下的最简单的模型便是 (2-2)此时后验分布仍为DP，即是共轭的。当我们把积掉考虑分布可以得到 (2-3)假设有个类，每个类有个，此时 (2-4)这种分布又称为预测分布，它可由Blackwell-MacQueen罐子模型来描述。由此可以发现是可交换，即对于下标索引的任意排列后它们的联合概率分布保持不变。正是因为可交换性，之间的顺序并不重要，此时的分布形式与上述预测分布(2-4)一样，这极大方便了我们后验抽取样本。 可交换性在现实中很多场景都是适用的。比如，假设我们让这些变量表示在一个临床试验中对一组病人的观测结果。如果统计学家对这些病人没有任何先验信息，那么对这些变量设定可交换的先验是合理的。换句话说，我们没有理由认为第一个病人试验成功但第二个病人失败的概率会比第一个病人试验失败但第二个病人成功的概率更高。如果变量是独立的，那么连续观测到8个失败的例子并不能影响我们对第9个观测值的信念，显然这种更强的独立假设在临床试验中是不合理的。独立暗含可交换，但可交换性并不意味着独立。事实上根据deFinetti定理，如果一组变量是可交换的，那么存在一个随机分布，使得给定的情况下，变量独立同分布于该分布，反过来结论也成立。所以，对于相信可交换性的贝叶斯学者们，对观测值设定先验，等同于对潜在的分布设定先验，这个分布是永远无法被完全观测到的。如果我们引入类成员示性变量，此时上述预测分布(2-4)可相应地写成 (2-5)公式(2-5)就是著名的中餐馆过程。从公式（2-5）中我们发现，每个新来的顾客坐到已有人坐过的桌子的概率正比于该桌子已有的人数，所有这很容易造成许多桌子的人数变得越来越多。 由于DP的离散性，正如公式（2-4）或公式（2-5）看到那样，新的观测值有一个大于0的概率会与前面的观测值取相同的值，这样我们可以在个观测值得到一个随机划分。假设前个观测值产生个不同的值，那么，也就是说聚类的个数会随着样本的增加呈对数增长。但对于很多现实问题来说，这种对数增长的假设并不合理，所以一些场景下DP并不是合适的模型。 构造狄利克雷过程的方式有多种。Ferguson（1973）在首次提出DP时并给出了利用伽马过程构造DP的方式。而Sethuraman（1994）利用stick-breaking方式构造DP更是大大地推动了贝叶斯非参后续的发展。具体地，如果，，且，那么。从权重的定义可以看到，每个权