3.3吉布斯采样方法

吉布斯采样方法Gibbs采样算法，就是用条件分布的抽样来替代全概率分布的抽样。Gibbs采样算法的步骤：1.给定一个初始样本X0={x10,x20,...,xn0}2.已知一个样本Xi={x1i,x2i,...,xni}，对于x1i+1进行抽样，x1i+1~p(x1|Xi-1)3.对于x2i+1进行抽样，x2i+1~p(x2|x1i+1,x3i,...xni)................................................................4.对于xni+1进行抽样，xni+1~p(xn|x1i+1,x2i+1,...x(n-1)i+1)5.步骤2~4可以得到X的一个样本，然后重复步骤2~4可以不断地得到X的样本。吉布斯采样（GibbsSampling）LDA的参数学习P(θ,Z,φ,W;ɑ,β)

->

P(Z,W;ɑ,β)

->

P(Z;ɑ,β)

->

P(Z(m,n);Z-(m,n)ɑ,β)Using

Gibbs

SamplerLDA的参数学习参数推断（Inference）LDA的参数学习通过模型的描述，可知模型的全概率分布如下：其中，黑体变量表示变量的向量形式。首先，𝝋和𝝷需要被积分消除掉：参数推断（Inference）vLDA的参数学习所有的相互之间是独立的，而且对ϕ也是独立的，因此，我们可以单独地处理每个𝛳和每个ϕ。现在，我们仅仅聚焦在只有𝛳的部分：参数推断（Inference）LDA的参数学习我们进一步聚焦在只有一个𝛳的部分：实际上，它是模型在第j个文档的隐藏部分。现在，我们把每个概率分布的精确表达式写出来，就得到了下面的表达式：参数推断（Inference）LDA的参数学习假设是在第j个文档中被赋予第i个主题的第r个词总个数；因此，是三维的。如果这三维里面的任何一维没有被指定一个特定值，用()的形式表示。例如

表示第j个文档中被赋予第i个主题的所有词的数量。因此，上述表达式的最右边可以被写为：参数推断（Inference）LDA的参数学习因此，对𝛳j积分可以变为：清楚地，在这个积分里面的等式与狄利克雷分布的形式一样，而参数推断（Inference）LDA的参数学习因此，参数推断（Inference）LDA的参数学习现在，我们对𝝋部分进行处理。实际上，𝝋部分的处理与𝝷部分是非常类似的，因此我们将推导结果直接列出参数推断（Inference）LDA的参数学习因此，在将ϕ和𝛳都通过积分消除之后得到的最终表达式，如下：这里，吉布斯采样的目标是要去近似分布P(Z|W;

𝛼,𝛽)。因为P(W;𝛼,𝛽)对任何的Z都是不变的，所以吉布斯采样的等式可以等价于P(Z,

W;𝛼,𝛽)。关键在于要推导出下列条件概率：参数推断（Inference）LDA的参数学习这里，Z(m,n)表示在第m个文档中的第n个词对应的隐变量。进一步，我们假设这个词是词表里面的第v个词。

Z-(m,n)

表示除了Z(m,n)之外的所有Z。注意：吉布斯采样仅仅需要采样Z(m,n)的一个值，而不需要精确解本质上，只需要概率之间的比率就可以达到求取Z(m,n)的目标，因此上述公式可以简化为：参数推断（Inference）LDA的参数学习参数推断（Inference）LDA的参数学习最终，假设与具有同样的意义，除了Z(m,n)被排除