PLDA模型的理解.docx

PLDA模型的理解1. PLDA模型的产生PLSA模型中总共定义了K个Topic，V个word。任何一篇文章是由K个Topic中多个主题混合而成，换句话说每篇文章都是topic上的一个概率分布doc(topic)。每个Topic都是word上的一个概率分布topick(word)，下标k表示为第k个topic，换句话说，文章中的每个词都是由某一个的Topic随机生成的。因此一篇文章的生成过程如下：1） 依据doc(topic)概率分布，生成一个topic；2） 依据该topic的概率分布topic(word)，生成了一个word；3） 回到第1步，重复N次，则生成了这篇文章的N个word。因此，doc(topic)是总和为N的K多项分布，topick(word)是总和为N的V多项分布。如果选择多项分布的先验分布为Dirichlet分布，该模型则成了PLDA模型。2. PLDA模型后验分布概率假设topic的先验概率分布为Dir(|)，则基于第m篇文档的topic的观察数据nmm（对文章中逐个单词对应的topic进行计数），则第m篇文章topic的后验分布概率为：Dir(|nmm+)，同时topic的生成概率为(nmm+)()。假设word的先验概率分布为Dir(|)，则基于第k个topic的word观察数据nkk（对文章中逐个单词进行计数），则第k个topic的后验分布概率为Dir(|nkk+)，同时单词的生成概率为(nkk+)()。由于每篇文章生成的topic的过程相互独立，每个topic生成word的过程相互独立，而且生成topic和生成word的过程相互独立，因此M篇文章的topic和word的联合生成概率为：pw,z,=k=1K(nkk+)()m=1M(nmm+)() (1)3. 随机变量和观测数据的确定根据文档生成的过程我们可以知道：每个word对应一个topic，因此可选（word，topic）作为Markov链的随机变量。公式（1）就是该随机变量的概率分布。因此可以采用Gibbs Sampling来获得该随机变量的稳态概率分布。根据前面的推导公式（1）为后验概率，其nmm和nkk是观测数据。nmm是对第m篇文章各个单词的topic按1-K编号进行统计计数而得到的观测数据，可以展开为nm(1)m,nm(2)m,nm(K)m，因此该计数的概率为(N,K)的多项分布，N为第m篇文章的单词总数，K为topic总数。nkk是对第k个topic各个单词按单词的编号1-V进行统计计数而得到的观测数据，可以展开为nk(1)k,nk(2)k,nk(V)k，因此该计数的概率为(N,V)的多项分布，N为第k个topic包括的单词总数，V为单词词汇总数。4. 状态转移概率的确定由于文章的topic和word的先验分布为Dirichlet分布，观测数据nmm和nkk为Multinomial分布，二者为Dirichlet-Multinomial共轭，这样某个word的topic转移概率就可以利用其它word的topic观测数据来得到后验概率了。具体计算过程如下：计算单词t的topic转移概率，nmm,t表示第m篇文章中去掉单词t对应的topic观测数据。nkk,t表示去掉单词t后第k个topic的观测数据。因此基于去掉单词t的其它单词观测数据，每篇文章topic的后验分布概率为Dir(|nmm,t+)，其估计值为nmkm,t+kk=1K(nmkm,t+k)。每个topic对word的后验分布概率为Dir(|nkk,t+)，其估计值为nktk,t+tt=1V(nktk,t+t)。从而对于单词t转移到下一个topic k的概率为：pk,t=nmkm,