【《基于LDA模型的旅游在线评论主题分析案例》10000字】

53基于LDA模型的旅游在线评论主题分析案例目录TOC\o"1-3"\h\u8108基于LDA模型的旅游在线评论主题分析案例 1183441.1LDA主题模型概述 1223581.2LDA主题模型的构建 4118611.3结果分析 61111.3.1正向评论结果分析 623821.3.2负向评论结果分析 1391801.4发展建议 17LDA主题模型概述LDA(LatentDirichletAllocation，潜在狄利克雷分布)模型是一种强大的建模技术，通常用于从大量文档中的发现隐藏在其中的主题。LDA假设每条评论在多个维度有不同的概率，即每条评论以不同概率的涉及多个主题。每个主题都对应了独立一个词概率矩阵，即每个主题以概率的形式选择某些词语，与主题语义相关的词语出现频率会更高。例如，有关交通的评论可能包括司机、时间、路程等词语，而有关服务的评论可能包含工作人员、态度、耐心等词语。因此，LDA模型最终会将评论划分为多个主题，并给出每个主题对应的词概率矩阵，并基于此得到每条评论涉及的主题概率矩阵。LDA主题模型中涉及了文档、词语、主题三个集合：文档集合D=d1,d2,…,dM，其中dm是第m篇文档，m=1,2,…,M，M是文档集合中文档的总个数；词语集合W=w1,w2,…,wV，其中w图4.1LDA主题模型结构图LDA模型由三个层次组成，结构如图4.1所示。在LDA模型中，各个主题都有一个对应的词语条件概率Pwzk，其中zk表示各个主题。而条件概率Pwzk由一个遵循参数为β的多项式概率分布φk决定，其中，参数β是给定主题的K维Dirichlet随机变量。类似的，各个文档都有一个对应的主题条件概率Pzdm，其中dm表示各个主题。而条件概率Pzdm由一个遵循参数为α的多项式概率分布θm决定，其中，参数α对假设由N个词语组成的序列构成一条评论，而M条评论构成一个语料库且整个语料库中有K个维度的主题，语料的构建过程为：（1）采样主题的混合向量θm~Dirichlet(α)，其中，参数α是给定主题的K维（2）对于每条评论m中的每个词语n∈N，对主题索引进行抽样，得到各个评论m中所包含的词语n对应的主题zm,n（3）对于主题k∈K，对词语进行采样，得到每个对应的词语的分布φzm,n~Dirichlet(β)，其中，参数β是给定词语的N维Dirichlet在生成过程中，一篇包含N个词语的评论、主题的混合分布为θ以及主题索引为zn的情况下，词语集合wP评论的边际分布可以通过将联合分布中的z整合得到，如公式所示：P在LDA模型中，参数β和θ通常需要使用期望最大化算法，吉布斯采样方法或最大似然估计等方法来推断。吉布斯采样是一种用于抽样和估计多元变量联合分部的算法，算法相对简单容易实现。其核心思想是通过积分运算回避实际需要估计的参数θm和φ通过采样各个评论中所涉及的词语，根据采样结果并便可以得到模型中的θm和φP公式中，已经观测到的词wi=t，zi表示第i个词语涉及的主题索引，¬i表示排除其中的第i项后的集合，βv表示词语v的Dirichlet随机变量，nk(v)表示第k个主题中涉及词语v的频率，αz表示主题z的Dirichlet随机变量，nm(z)φθ此时便可以通过计数的方式对参数φk,t和θ首先对模型进行初始化，对每条评论随机分配一个主题。对于每条评论按照采样公式进一步采样它的主题，并对在语料中进行记录。重复这个采样过程直到吉布斯采样结果收敛不再变化。LDA主题模型的构建游客发表在旅游平台的评论基本都存在一个中心思想，此即评论文本的主题，这个主题反映了游客对于整个旅游体验和过程中的着重关注点。在评论文本数据中，如果某个潜在主题同时是多条评论的主题，则该主题便具有一定的代表性，其在极大程度上是这类在线评论共同的聚焦点。而这类评论中反复出现的高频词语，便是主题所聚焦的特征词。通过深度学习模型对旅游在线评论进行极性分类后，分别对正向和负向评论构建LDA模型并提炼对应的情感主题，并根据各主题中出现概率最高的几个词语作为对应主题的特征词。基于上一章的结果，使用深度学习模型已经将在线评论分为正向评论和负向评论两类，分别对不同类别的评论进行LDA主题模型训练，提取各自对应的主题和特征词。在使用LDA进行主题提取时，需要设置适当的模型参数以及主题个数。模型参数主要包括Dirichlet函数的先验参数α和β，其中，α主要影响主题的分散程度。较高的α值将导致主题的抽取粒度较小，往往适用于抽取较多的主题，而较低的α值将导致抽取的粒度较为粗糙，更适用于抽取几个较为核心的主题。β则主要影响词语的分散程度，较高的β值将表现出每个主题将包含语料库的大部分词。抽取到的主题将更加普遍和一般化，它们的词语概率将更加统一。而较低的β值说明要抽取更加具体的主题，即它们的词语概率将更不均匀，从而在更少的词语上设置更高的概率。此外，β还与主题数量相关联。较高的β值会导致将有更少但更普遍的主题被发现，较低的β值则适用于抽取更多、更具体的主题。由于LDA模型的超参数α，β与主题数量K都相互关联，这里将Dirichlet函数的先验参数α和β分别设置为α=0.1，β=0.01。对于最优主题数K的确定，一般使用两个指标来比较LDA主题模型的性能表现：困惑度和一致性。困惑度衡量了LDA模型预测的词语分布和实际词语分布的匹配程度。困惑度通过对比LDA假设的理论模型的结果与观察结果的匹配程度来判断模型的表现，较低的困惑度表示该模型更适合主题抽取。一致性又称为连贯性，它衡量的是一个主题中的特征词之间是否具有一致性，即是否具有语义相似性。具体而言，一致性评估了构成同一主题的特征词倾向于同时出现在文档中的概率，一致性越大，说明该模型的主题抽取效果越好。此外，若仅仅基于困惑度最小来确定最佳的的主题数K，往往会返回一个非常大的K值，大约等于文档数量的5%，经常导致产生成百上千个难以解释的主题。因此，考虑到主题建模需要让返回的主题具有一定的可解释性，本研究使用肘形法来确定最佳的主题数。随着主题数K的增加，主题的困惑度趋于降低，一致性趋于提高。当K值很小时，这种改进迅速而明显，而当K较大时，这种改进趋于缓慢。通过肘形法确定最佳主题数K对应的函数点，该点对应了函数二阶导数的最大值。然后，在此范围内，根据主题抽取结果的可解释性来确定主题数K的精确值。这意味着主题既没有被广泛地聚集，也没有冗余，避免了抽取过多的主题。按照此步骤，对于正向评论的主题模型，不同主题数对应的模型困惑度和一致性如图4.2所示。图4.2主题数量与模型指标的关系通过该图可以看到，随着主题数量的增加，LDA模型的困惑度减小且一致性增大。当K值很小时，这种改进较为明显，而当K大于15时，这种改进趋于缓慢。该结果表明主题数K过大时已经不会明显改善主题建模的效果。此时根据肘形法分析确定K的最佳值在15到20之间，然后定性评估K=15…20的模型主题结果的可解释性，最终确定正向评论的最佳主题数K值为18。图4.3主题数量与模型指标的关系对于负向评论的主题模型，不同主题数对应的模型困惑度和一致性如图4.3所示。通过肘形法确定K的最佳取值在8到14之间，然后定性评估K=8…14的模型主题结果的可解释性，确定负向评论的最佳主题数K值为12。结果分析正向评论结果分析应用上一节描述的方法和参数标准，将构建的LDA模型分别应用于正向和负向评论中，并对各个主题进行命名。对于正向评论，LDA模型确定了18个主题，每个主题中均降序显示前10个特征词及其相对权重。由于篇幅有限，表4.1展示了部分主题示例，完整的主题提取结果见附录A。为了增强各个主题的可解释性，需要对各个主题进行命名，每个主题基于其特征词之间的逻辑关系和特征词的权重排名来命名。例如，在表3中，主题名称“古镇景观”是基于词语“古镇”（权重为0.093）和“大研”（权重为0.041）来确定的，二者均位于列表的顶部。一旦确定了候选主题名称，会与前10个特征词中其他词语的逻辑连接进行进一步的判断，若与大多数特征词有逻辑联系，则保留主题名称。如果发现大多数词语与候选主题名称不符，则使用此命名规则重新对主题进行命名，直到主题名称与主题所对应的大多数特征词存在联系。表4.1正向评论的部分主题主题1：古镇景观主题2：民俗文化主题3：门票服务特征词权重特征词权重特征词权重古镇0.093中国0.034取票0.015大研0.041文化0.020方便0.014束河0.021世界0.018门票0.013古城区0.016街道0.017元0.010美0.016东巴0.017推荐0.010感觉0.015民族0.017满意0.010玉龙雪山0.013纳西0.016性价比0.009景点0.012依山傍水0.016木府0.009历史0.010有着0.015买0.009风景0.009文化遗产0.015狮子山0.009图4.4根据各个主题中不同特征词的权重，对每个主题的特征词使用词云图的方法进行可视化。每个主题中具有较高权重的词语将以更大和更明亮的字体显示，以此展示每个主题的关键属性及主题之间的差异性。图4.4正向评论主题词云图在从正向评论中提取的18个主题中，主题1和主题4分别是古镇景观和建筑景观，它们都反映的是游客对丽江古城及周边旅游景点的体验和感知。主题5主要涉及丽江古城的生活节奏，主题10主要涉及丽江古城的商业氛围，它们共同反映了游客在游览过程中对周边氛围的感知，只是侧重方向稍有不同。可以看出，LDA模型可以细粒度地划分主题，但一些主题所涉及的游客对丽江古城旅游要素的感知维度是相似的。因此，可以基于游客对丽江古城感知角度的不同，将LDA模型抽取的主题划分维度。由于不同研究目的的需要，对旅游目的地的感知维度划分存在一定的差异性，不同的目的地所涉及的游客对目的地的感知维度也有所不同。因此，本研究借鉴已有的维度体系，再结合本研究目的地丽江古城的实际情况进行调整，将LDA模型抽取的18个主题划分为6个独立的维度，每个维度涉及的主题和特征词如表4.2所示。表4.2正向评论主题及维度维度主题特征词景观Topic1古镇大研束河古城区美感觉玉龙雪山景点历史风景Topic4建筑木府水车四方街干净万古楼打卡历史特色纳西族Topic11美特别晚上夜景打卡美丽艳遇景色放松表演Topic15玉龙雪山旅行蓝时间天一起蓝天白云云南愉快累娱乐Topic6吃推荐好吃喜欢特色一定机会超级味道腊排骨Topic7酒吧音乐逛特色民谣大冰小屋一条街气息艳遇Topic8晚会篝火期待热闹非凡跳舞开心许愿欢快放松表演Topic14鲜花酒吧饼晚上店铺卖热闹花民谣表演服务Topic3取票方便门票元推荐满意性价比木府买狮子山Topic12导游安排一路司机负责态度时间旅途愉快累行程Topic9方便交通住酒店价格出行便宜民宿机场便利Topic16晚上逛白天走住路石板路热闹酒吧商业化氛围Topic5生活感觉感受慢散步适合喜欢城市小桥流水放松Topic10气息商业商铺浓厚人群歌手现在夜晚酒吧商业化Topic18风情石板路静谧溜达古朴人文现代青石板路传统静宁Topic13不错值得感觉环境一去推荐舒服整体喜欢商业化文化Topic2纳西族民族文化中国东巴风格纳西依山傍水历史文化遗产Topic17艳遇网红期待向往美好悠闲小姐姐时光遇见驻足从表中各个维度包含的主题可以发现，游客在游览丽江古城时，对不同旅游要素维度的感知存在主次之分，其中“景观”、“娱乐”、“行程”、“氛围”这四个维度是游客关注的重点，有多个主题与这四个维度相关，“文化”等维度虽然包含的主题较少，但其特征词仍然体现出丽江古城相比其他旅游景区的独特性，如“纳西族”、“东巴”、“艳遇”等词语均为丽江古城独有的元素。能够细粒度地抽取出不同维度的主题也验证了所构建LDA模型的可行性和有效性。在游客对丽江古城的感知维度中，“景观”维度主要反映的是游客对丽江古城自然景观和人文景观的感知。主题1、4、11、15均涉及了游客对景区建筑和风景的直接体验，因此将这四个主题划分到该维度中。其中，主题1和主题4是关于游客对人文景观的感知，“木府”、“束河”、“万古楼”、“四方街”等特征词均为丽江古城的标志性景点，这些景点与“打卡”一词共同出现表明丽江古城自身的“网红”属性，同时也体现出游客的从众心理和旅游的快餐化。这可能意味着游客仅仅在景点之间穿梭，进行走马观花式的旅游，对景区的灵魂内涵挖掘较少。主题11和主题15均涉及的是游客对自然景观的感知，特征词有“美”、“夜景”、“玉龙雪山”、“天”、“蓝”等，体现了傍晚的古城夜景以及玉龙雪山等周边旅游景区以蓝天、白云为主的美丽自然景观。这是游客对周边旅游地自然景观的直接感知，说明古城及周边旅游地的融合给游客带来了自然和文化的景观体验。“娱乐”维度包括主题6、7、8、14，反映了游客在游玩过程中对美食、购物、酒吧、音乐等元素的感知。其中主题6为古城的特色美食，“推荐”、“喜欢”、“特色”、“一定”等特征词表明游客对丽江古城的美食评价较高，“腊排骨”是丽江的招牌特产，说明具有地域特色的美食吸引了游客的关注。主题7和主题14涉及的是游客对酒吧和店铺的感受，特征词“音乐”、“酒吧”、“民谣”、“一条街”的同时出现刻画了集合多种元素的古城夜生活场景。主题7的特征词“大冰”、“小屋”，表明了作家大冰对游客具有一定的影响力以及游客在酒吧和音乐中寻找理想、情怀的心理追求。“服务”维度反映了游客对旅游服务的感知，主题3和主题12均涉及了服务这一属性。主题3主要反映的是游客对门票服务的感受，特征词“取票”、“方便”说明游客对于门票服务主要关注的是取票是否方便、快捷，这一评价结果主要与丽江古城实现网上订票，扫描二维码即可进入游览相关联。其次，特征词“元”、“性价比”的出现表明游客对景区门票价格存在一定的敏感度。主题12的特征词“导游”、“司机”、“负责”、“态度”反映出游客对导游安排和服务态度的关注，考虑到本文所采集的数据均来源于OTA网站，发表评论的游客中有很多选择跟团游来游览丽江古城，导游和司机的服务态度与行程安排对旅游体验的影响较大，因此游客对该维度具有较高的关注度。“行程”维度主要涉及游客对旅游景区周边交通和游览行程的感知，包括主题9和主题16。主题9中“交通”、“方便”、“便利”等特征词的出现表明游客对旅游目的地的交通状况较为满意，同时“民宿”、“价格”、“便宜”等特征词的出现说明对于客栈和民宿的价格方面的评价也较为积极。主题16反映了游客的游览行程，特征词“逛”、“走”、“石板路”、“酒吧”等刻画了游客在古城中的游览行程，说明游客的行程以逛街和娱乐为主，对于丽江古城所塑造的体验式旅游模式接受度较高。“氛围”这一维度主要反映的是游客在游览过程中对周边商业氛围、生活氛围、人群素质的感知，包括主题5、10、13、18。其中主题5涉及的是丽江古城总体的生活节奏，“慢”、“散步”、“小桥流水”、“放松”这些词的共同出现映射出部分游客来丽江古城旅游是出于对悠闲、慢节拍生活的期待。丽江古城具有一些“城市”所不具备的元素，这种“小桥流水”式的环境体验让部分游客获得心灵的放松，暂时脱离城市的快节奏生活和浮躁心态。而主题10反映的是丽江古城的商业氛围，“气息”、“商铺”、“浓厚”、“商业化”等特征词的出现表明游客对于古城的商业化氛围具有较为深刻的感知，通过查阅评论发现，“现在”这个词在评论中经常被用于和“过去”作对比，重游此地的游客对比过去，普遍认为如今古城变得更加商业化。这表明即便是对丽江古城做出积极评价的游客，仍然有部分认为古城的商业化氛围严重。主题13反映的是游客对旅游环境状况的整体感知，特征词“环境”、“不错”、“感觉”、“舒服”、“整体”反映出游客对丽江古城整体环境的表现较为满意。主题18主要涉及的是人文氛围和环境氛围，特征词“石板路”、“静谧”、“溜达”、“宁静”直接体现了游客在这里恬静悠闲的旅游生活，“传统”、“古朴”、“风情”、“人文”反映了游客对古城风土人情的总体感受，呈现出丽江古城宁静的旅游氛围和厚重的人文底蕴。“文化”维度反映的是游客对丽江古城特有文化的了解和感受。纳西族是丽江特有的民族，而东巴文化是纳西族独有的文化。主题2特征词“纳西族”、“文化”、“东巴”、“历史”反映出游客对纳西族历史和文化的关注。丽江古城荟萃了纳西族的建筑文化，保存了纳西族的原始风貌。纳西族文化主题的出现表明纳西族文化对游客具有一定的吸引力，丽江古城作为民俗文化的载体，促进了游客对古城的认识和理解。主题17主要涉及的是丽江古城的艳遇文化和游客心理。该主题特征词以“艳遇”为主导，包括“期待”、“遇见”、“向往”等词，表现了游客对于邂逅和结识异性的向往与期待。这一主题的出现表明艳遇之都已经成为丽江的名片之一，游客对于艳遇之城这一地方特征具有一定的了解与关注，抱着遇见美好的心态接触这里的人和事物。从正向评论的主题中可以看到游客对丽江古城景观、娱乐、氛围这三个因素的感知较为强烈。古城历史悠久的建筑和街道以及周边玉龙雪山等自然景区给游客带来了自然和文化的双重体验。主题分析结果还表明部分游客对丽江古城网红旅游景点这一属性的感知较为强烈，打卡等特征词的反复出现反映出游客对某些景点的体验可能仅局限于走马观花式的旅游，对景区深层的文化内涵理解和挖掘较浅。游客对于丽江古城的娱乐属性感知也较为丰富，古城中的美食、酒吧、夜生活、音乐、表演等均给游客留下了深刻的印象。主题提取结果还反映出在众多娱乐地点中游客对大冰的小屋关注度较高，表现出小屋对文艺青年的独特的吸引力和影响力。此外，另一个游客感知强烈的维度是氛围，结果表明一些游客来丽江古城旅游是为了感受悠闲从容的慢节奏生活，小桥流水的丽江古城营造了城市所不具备的悠闲放松氛围，但也有很多游客感知到浓烈的商业化氛围，近些年不断涌现的商铺让重游此地的游客认为相较过去这里变得更加商业化。负向评论结果分析同样，使用LDA模型对负向评论进行主题分析，每个主题中均降序显示前10个特征词及其相对权重，表4.1展示了部分主题示例，完整的负向评论主题提取结果见附录2。表4.3正向评论的部分主题主题1：商业氛围主题2：服务态度主题3：古城景观特征词权重特征词权重特征词权重商业0.064差0.049景区0.020气息0.053服务0.024总体0.018商业化0.035态度0.021一般般0.015浓0.026工作人员0.019古镇0.013严重0.024恶劣0.014特色0.009感觉0.020素质0.013区别0.009想象0.017很差0.009不好0.008比较0.012门票0.009维护费0.007消费0.010疫情0.008没什么0.007贵0.010印象0.007建筑0.007根据各个主题中不同特征词的权重，对每个主题的特征词使用词云图进行可视化，如图3所示。图4.5负向评论主题词云图与正向评论主题的分析方法类似，这里同样基于游客对丽江古城感知角度的不同，将LDA模型抽取的12个主题划分为5个维度，每个维度涉及的主题和特征词如表3所示。表4.4负向评论主题及维度维度主题特征词景观Topic3景点总体一般般古镇特色区别不好维护费没什么建筑Topic10楼万古木府票门票不值看不到收费全景维护费娱乐Topic5吃逛买太现在酒吧商业化住千篇一律特色Topic6购物商铺商业化卖东西不买不好玩消费酒吧商品买服务Topic2差服务态度工作人员恶劣素质很差门票疫情形象Topic4麻烦预约取票太工作人员扫刷码买时间Topic7索道买坑门票氧气瓶差价元费用差评电瓶车Topic9导游小时司机电话联系时间态度旅游团差评师傅行程Topic8时间晚上行程购物消费导游游玩白天坐车一天氛围Topic1商业气息商业化浓严重感觉想象比较消费贵Topic12人太多热闹环境艳遇感觉人多时间无聊生活方式Topic11疫情少一般般期间比较商业化环境冷清扫码原因表2表明，游客对丽江古城旅游过程中的景观、服务、氛围等维度均存在吐槽和不满，其中服务维度涉及的主题数最多，表明游客对服务维度感知较为强烈。“景观”维度涉及了主题3和主题10，主题3是对丽江古城的总体评价，“一般般”、“没什么”、“特色”、“区别”、“古镇”表明丽江古城给游客的总体感受与其他同类型景区大同小异，没有自己的品牌和特色，缺乏多元化的旅游产品和体验。主题10特征词“万古”、“楼”、“木府”等景点名称与“门票”、“不值”共同出现，表明游客认为一些景区的门票性价比较低，不值得购买。特别是“维护费”一词在主题3和主题10中均有出现，表明游客对于景区额外收取古城维护费这一举措的不满。主题5和主题6表现了游客对丽江古城“娱乐”属性的感知，主题5所包含的特征词“吃”、“逛”、“买”、“酒吧”均为古城内的主要娱乐内容，它们与“商业化”、“千篇一律”、“特色”共同出现表明过于商业化和公式化的娱乐场所让游客觉得千篇一律、千城一面。主题6则重点涉及了游客对周边酒吧和商铺的感知，较多游客认为周边除了商铺就是酒吧，且“商业化”严重。这侧面反映了古城周边娱乐内容的单一和同质化，给部分游客带来了较差的旅游体验。“服务”维度包括主题2、4、7、9，这表明游客的负面情感来源于多个方面。主题2刻画的是工作人员的服务态度，“恶劣”、“素质”、“很差”说明一些素质较差的工作人员给游客带来较深的负面印象。主题4涉及的是取票和检票服务，通过查阅该主题对应的评论文本，发现这些负面评论主要表达疫情期间出入不同景区的频繁扫码让游客感到麻烦和厌倦，尤其由于张贴不规范，一些景点需要扫描的二维码与公众号二维码混在一起，加大了游客扫码的人力成本，导致排队时间的增长。主题7主要涉及的是玉龙雪山中的索道服务，索道分为三种不同的价格，对应了三条路线，特征词“索道”、“买”、“差价”、“差评”反映出游客提出更换索道、要求旅行社退还差价时的抱怨心理。该主题下的评论文本表明一些旅游社只给游客退还了部分差价，这导致了游客的强烈不满。此外，还有一些评论描述旅行社收取了大索道费用后，游客后续被告知票量不足，被迫改换小索道，引起游客对服务的不满。“氧气瓶”、“电瓶车”是游客乘坐索道的潜在消费项目，部分游客认为这些额外花销是没有必要或性价比不高的，因此针对这些收费服务内容产生了消极评价。主题9反映了游客对导游和司机等旅行社服务人员的关注，特征词“导游”、“司机”、“时间”、“态度”、“旅游团”表现出跟团游的游客对导游的服务态度和司机行车的时间延误反应较为敏感，可能是由于这两个因素往往会直接影响游客的旅游体验。主题8表现了游客对“行程”维度的感知，其特征词有“时间”、“行程”、“购物”、“导游”、“消费”。该主题反映出部分旅游团的导游在行程中安排购物和强制消费，且由于在购物和乘车消耗过多的时间，导致在景区的停留时间较短，这些不合理的行程安排引来了游客的极大反感。“氛围”维度包括主题1、10、11，其中主题1主要凸显了游客对丽江古城商业氛围的感知。其中特征词“商业”在该主题具有极高的权重，“气息”、“商业化”、“浓”、“严重”表明商业化严重、商业氛围浓已经成为游客对丽江古城氛围的主要感知，而这也是造成旅游消极情绪的主要原因。主题10表现了游客对古城环境氛围的感知，“热闹”、“人多”是游客对环境氛围的主要感受，相较于主题1，游客在该主题下的情感表现并不明显。主题1