机器学习 课件 第3章　主题模型

D主题建模（Topic

Modeling）主题建模的背景主题建模的背景主题建模的背景怎么办?

主题建模（Topic

Modeling）主题建模的背景大数据时代主题建模的背景文档集合主题发展历程LSI/LSApLSALDA198819992003S-LDAMM-LDALLDAHDPPAM…………主题建模的背景主题建模研究趋势quickly！主题建模的背景什么是主题？文档集合主题什么是主题?字符串概率分布人类机器容易困难困难容易计算机0.440.220.110.070.060.050.0450.0430.0420.0410.0360.0290.0180.0130.009什么是主题？主题的定义什么是主题建模？DocsTopicsHypothesisH1H2?AssumethatatopicisaprobabilityoverwordsWhatistopics？Computer0.440.220.110.070.060.050.0450.0430.0420.0410.0360.0290.0180.0130.009什么是主题建模？主题建模基本构件北大信科环境坦克GDP…一个文档北大环保军事经济…主题建模（TopicModeling）TopicsWords0.30.10.50.050.20.10.40.10.15主题分布（TopicalDistribution）词分布（WordDistribution）什么是主题建模？主题建模的核心结果两种观点看待

主题建模两种观点文档表示（Documentrepresentation）写作模拟（Simulationofwriting）主题建模的两种观点文档表示（Documentrepresentation）北大信科环境坦克GDP…Doc北大信科环境坦克GDP…Doc北大环保军事经济…VSMTopicmodelingTopicsWordsWords主题建模的两种观点如何去写一篇文章？GeneNerveLifeComputerTopicsDocsWriteChoosetopics主题建模的两种观点gene0.04dna0.02genetic0.01…life0.04evolve0.02organism0.01…brain0.04neuron0.02nerve0.01…data0.04number0.02computer0.01…GeneNerveLifeComp2.Choosetopics0.30.10.20.4PropLearned1.Docs主题建模的两种观点写作模拟主题建模的关键关键:在一个文档中含有多少个主题？主题建模的关键pLSA/pLSI(SIGIR’99)主题建模的关键LDA(JMLR’03)主题建模的关键Conceptmodel(CIKM’08)主题建模的关键Conceptmodel(CIKM’08)主题建模的关键Authormodel(SIGKDD’04)主题建模的关键LabeledLDA(EMNLP’09)主题建模的关键HLDA(nips’04)主题建模的关键PAM(ICML’06)主题建模的关键TheEndLDA的基本结构LDA的基本结构M*K的矩阵K*V的矩阵隐狄利克雷分配模型（Latent

Dirichlet

Allocation，LDA）LDA的基本结构生成过程（generative

process）TheEnd吉布斯采样方法Gibbs采样算法，就是用条件分布的抽样来替代全概率分布的抽样。Gibbs采样算法的步骤：1.给定一个初始样本X0={x10,x20,...,xn0}2.已知一个样本Xi={x1i,x2i,...,xni}，对于x1i+1进行抽样，x1i+1~p(x1|Xi-1)3.对于x2i+1进行抽样，x2i+1~p(x2|x1i+1,x3i,...xni)................................................................4.对于xni+1进行抽样，xni+1~p(xn|x1i+1,x2i+1,...x(n-1)i+1)5.步骤2~4可以得到X的一个样本，然后重复步骤2~4可以不断地得到X的样本。吉布斯采样（GibbsSampling）LDA的参数学习P(θ,Z,φ,W;ɑ,β)

->

P(Z,W;ɑ,β)

->

P(Z;ɑ,β)

->

P(Z(m,n);Z-(m,n)ɑ,β)Using

Gibbs

SamplerLDA的参数学习参数推断（Inference）LDA的参数学习通过模型的描述，可知模型的全概率分布如下：其中，黑体变量表示变量的向量形式。首先，𝝋和𝝷需要被积分消除掉：参数推断（Inference）vLDA的参数学习所有的相互之间是独立的，而且对ϕ也是独立的，因此，我们可以单独地处理每个𝛳和每个ϕ。现在，我们仅仅聚焦在只有𝛳的部分：参数推断（Inference）LDA的参数学习我们进一步聚焦在只有一个𝛳的部分：实际上，它是模型在第j个文档的隐藏部分。现在，我们把每个概率分布的精确表达式写出来，就得到了下面的表达式：参数推断（Inference）LDA的参数学习假设是在第j个文档中被赋予第i个主题的第r个词总个数；因此，是三维的。如果这三维里面的任何一维没有被指定一个特定值，用()的形式表示。例如

表示第j个文档中被赋予第i个主题的所有词的数量。因此，上述表达式的最右边可以被写为：参数推断（Inference）LDA的参数学习因此，对𝛳j积分可以变为：清楚地，在这个积分里面的等式与狄利克雷分布的形式一样，而参数推断（Inference）LDA的参数学习因此，参数推断（Inference）LDA的参数学习现在，我们对𝝋部分进行处理。实际上，𝝋部分的处理与𝝷部分是非常类似的，因此我们将推导结果直接列出参数推断（Inference）LDA的参数学习因此，在将ϕ和𝛳都通过积分消除之后得到的最终表达式，如下：这里，吉布斯采样的目标是要去近似分布P(Z|W;

𝛼,𝛽)。因为P(W;𝛼,𝛽)对任何的Z都是不变的，所以吉布斯采样的等式可以等价于P(Z,

W;𝛼,𝛽)。关键在于要推导出下列条件概率：参数推断（Inference）LDA的参数学习这里，Z(m,n)表示在第m个文档中的第n个词对应的隐变量。进一步，我们假设这个词是词表里面的第v个词。

Z-(m,n)

表示除了Z(m,n)之外的所有Z。注意：吉布斯采样仅仅需要采样Z(m,n)的一个值，而不需要精确解本质上，只需要概率之间的比率就可以达到求取Z(m,n)的目标，因此上述公式可以简化为：参数推断（Inferen