【《相依狄利克雷过程概述》1600字】

相依狄利克雷过程概述模型介绍MacEachern(1999,2000)将DDP应用到协变量相关的随机概率分布。DDP构造的核心思想是定义一系列随机测度使得边际上每个协变量相关的随机测度都服从DP过程。在这样的框架下，将协变量引入到随机分布的stickbreaking表示中从而产生相关性，即 (2-29)其中权重，是取值范围为的独立随机过程，该随机过程的索引集为,且边际分布为；同理也是以为索引集的随机过程，边际分布为。这个过程中，权重和原子是独立的。从直观地角度来看，构造的DDP可以看成以通常的DP为基础，然后根据预测变量的相关性来对DP的成分（也就是权重和原子）进行修改。给定和，该过程的建立确保了最终随机测度会随着变动而光滑变动，即当,。最常用的DDP模型将协变量相关性引入权重或者原子，而其它部分并不引入协变量相关性，比如单一权重DDP或单一原子DDP。这使得基本DP的定义被部分修改但依然保留分布性质。MacEachern最初考虑的DDP版本是让每个共享一组权重，即权重不依赖于协变量，也就是单一权重DDP。 (2-30)其中权重，独立同分布于，不同的共享同样的，正如DP的stickbreaking构造那样。的含义同上。单一权重DDP常用于回归问题。对设定相关先验的最简单形式可能是正态线性ANOVA模型。DeIorio等（2004）基于DDP构造了ANOVADDP模型。具体地，假设同样地，我们用表示一系列由协变量标记的随机分布，但在ANOVA背景下，该协变量是个类别变量组成。为了方便起见，我们假设协变量由两个类别变量组成，即,并且和。比如协变量可以表示在一个临床试验中两个不同治疗的处理水平，此时可能是每个病人的测量指标的抽样分布，或者是随机效应的分布。在有随机效应的情况下，我们需要添加新的一层来表示给定随机效应下观察结果的分布。ANOVA-DDP使用共同权重，即是单一权重的DDP。该模型假设,并且对原子施加额外的结构: (2-31)其中表示总体平均效应，表示给定因子水平的情况下的特定效应，表示给定因子水平的情况下的特定效应。这边我们没有考虑不同因子之间的交互效应。事实上该结构等价于ANOVA的因子效应形式(effectmodel)正如标准ANOVA模型那样，为了解释性我们需要引入识别约束。在标准约束下，我们可以设置控制组效应，对任意都成立。对于其它参数我们设定和,独立于不同的。那么这样的联合概率模型便为。在这样设定下，对于每个，随机分布仍然服从一个DP，该DP的精度参数为,基准分布为,该分布由决定。该模型通过定义不同原子的协方差结构来体现不同之间的相关性。如果考虑所有的ANOVA效应，让为平均效应和与的所有可能的效应的堆叠，为设计向量，用来指示对应的因子处理水平，即是多热编码(multihotencoding)，那么对于,。比如对某个个人，他被施加因子的第1个水平，因子的第二水平，那么,注意第一位代表总体平均效应，所以第一位始终为1，而第2到第表示因子的某个且仅一个水平被选择，这部分用独热编码表示(onehotencoding)，同理剩下的位置表示因子的独热编码。在此表示下，ANOVADDP可以等价地表示为 (2-32)同样地，为了处理连续型响应变量,在ANOVADDP下，我们依然要引入混合分布(以核函数为正态分布为例)，即 (2-33)借助ANOVA-DDP等价形式(2-32)，我们可以写成DPM的形式： (2-34)而DPM的形式使得我们原有关于DPM的MCMC抽样方法直接适用于ANOVADDP模型。ANOVADDP事实上可以处理任意个类别协变量组合，而且可以处理多元响应变量。当协变量包含连续性变量，我们可以基于DPM形式自然地扩展ANOVADDP，此时称该模型为ANCOVADDP。ANOVADDP自提出后，不少学者将其应用到各类现实问题，取得了不错的效果。从ANOVADDP的DPM形式来看，本质上原子由协变量与参数线性组合构成，我们可以很自然将这种做法推广到任意协变量的线性组合来表示不同协变量下分布的相依关系。 (2-35)其中为协变量向量，基本分布为多元正态分布，IG表示inversegamma分布。此时我们这样的模型称为线性DDP，即。显然ANOVADDP是LDDP的特例。等价地，通过引入隐变量,我们有 (2-36)下面我们给出LDDP具体的Gibbs抽样过程。Gibbs抽样让表示元协变量,给定时,,其中，表示类指示变量。（以下det表示矩阵的行列式）抽取：