主题模型综述

主题模型概述THOMASHOFMANNth@DepartmentofComputerScience,BrownUniversity,Providence,USAUnsupervisedLearningbyProbabilisticLatent

SemanticAnalysis1精品PPT·借鉴参考第一页，共十五页。PPT内容概述主题模型概述。UnsupervisedLearningbyProbabilisticLatent

SemanticAnalysis。精品PPT·借鉴参考。Latentsemanticanalysis(LSA)。Probabilisticlatentsemanticanalysis(PLSA)。LDA(LatentDirichletAnalysis)。思想：找低阶的矩阵对terms-doc矩阵进行分解，得到doc的潜在语义。迭代法、并行方法、求NN’的特征值法。P(zk|di)：表示在di这篇文章中选择主题zk的概率。(1)E步骤：求隐含变量Given当前估计的参数条件下的后验概率。(2)M步骤：最大化Completedata对数似然函数的期望，此时我们使用E步骤里计算的隐含变量的后验概率，得到新的参数值第二页，共十五页。ContentLatentsemanticanalysis(LSA)SVDProbabilisticlatentsemanticanalysis(PLSA)ExpectMaximum(EM)LDA(LatentDirichletAnalysis)各种变种及应用（扩展部分）3精品PPT·借鉴参考第三页，共十五页。LSA主要用于文本分析思想：找低阶的矩阵对terms-doc矩阵进行分解，得到doc的潜在语义可以处理多义词和同义词的问题求解方式：SVD（奇异值分解）4精品PPT·借鉴参考第四页，共十五页。SVD奇异值分解词项文档矩阵做SVD分解求解方法：迭代法、并行方法、求NN’的特征值法5精品PPT·借鉴参考第五页，共十五页。PLSAGeneratemodel其中：P(di)：表示生成这篇文章的先验概率P(zk|di)：表示在di这篇文章中选择主题zk的概率P(wj|zk)：表示在Zk主题下选择单词wj的概率6精品PPT·借鉴参考第六页，共十五页。7精品PPT·借鉴参考第七页，共十五页。最大似然函数8精品PPT·借鉴参考第八页，共十五页。EM（期望最大化算法）EM算法的步骤是：(1)E步骤：求隐含变量Given当前估计的参数条件下的后验概率。(2)M步骤：最大化Completedata对数似然函数的期望，此时我们使用E步骤里计算的隐含变量的后验概率，得到新的参数值。两步迭代进行直到收敛。9精品PPT·借鉴参考第九页，共十五页。解决方法（MLE)10精品PPT·借鉴参考第十页，共十五页。拉格朗日乘子法11精品PPT·借鉴参考第十一页，共十五页。求解方程组得到12精品PPT·借鉴参考第十二页，共十五页。LDA13精品PPT·借鉴参考第十三页，共十五页。14精品PPT·借鉴参考第十四页，共十五页。涉及到的数学知识概率

条件概率、贝叶斯、Gamma\Beta\Dir