CN115470344B 一种基于文本聚类的视频弹幕与评论主题融合的方法 （西南财经大学）

一种基于文本聚类的视频弹幕与评论主题本发明涉及一种基于文本聚类的视频弹幕与评论主题融合的方法，所述方法包括以下步展停用词对数据进行预处理；步骤3：运用运用基于TF_IDF的k_means算法处理弹幕数据得新性地通过衡量主题之间及词与词之间的相似2第二阶段是简单地优化低维表示，使其具有尽可能接近的模糊拓扑表示，如式(5)所3义为其中ε是该点和剩余聚类中点之间的最短距离；簇的生成密度定义为λbirth是步骤3_4：使用c_TF_IDF对主题进行提取和删减，利用最大边自定义词典使词能更准确地划分，使用扩展的停用词表去除文本中无意义或不重要的词,根据文本的特性，构建自定义词典,自定义词典中的词语是根据当前流行的网络用语及节4字词的重要性与其在文本中出现的频率成正比，与其在语料库中出现的频率成反步骤4_3：运用基于TF_IDF的k_means算法算法处理降维佳簇数在聚类后展示每个聚类结果中的一些高频词汇,基于TF_IDF的k_means算法的算法2)针对数据集中每个样本计算它到k个聚类中心的距离并将其分到距离最小的聚类中56.一种基于文本聚类的视频弹幕与评论主题融合的系统，用于实现权利要求1_4任意建自定义词典实现更加精确地分词，使用扩展的停用词表去除文本中无意义或不重要的模型融合模块：根据算法计算主题簇之间的相似度再计算词与词之6聚类以及通过计算主题簇之间的相似度及词与词的相似度实现融合两模型聚类结果的问的距离尽可能的答，簇内距离尽可能小。聚类算法种类多样，各具优缺点。本发明采用7判断为近义词则只保留基准簇中的该词。若两词不同且不同词出现在基准词中则保留不8[0027]步骤3_3：使用HDBSCAN对降维的嵌入进行聚类，运用式(7)衡量点与点之间的距9认为字词的重要性与其在文本中出现的频率成正比，与其在语料库中出现的频率成反比。择最佳簇数在聚类后可以展示每个聚类结果中的一些高频词汇，k_means算法的算法步骤[0040]2)针对数据集中每个样本计算它到k个聚类中心的距离并将其分到距离最小的聚[0052]模型融合模块：根据算法计算主题簇之间的相似度再计[0054]图1是本发明的基于文本聚类的视频弹幕与评论主题融合的方法具体流程示意[0055]图2是本发明的基于文本聚类的视频弹幕与评论主题融合的方法的BERTopic模型[0056]图3是本发明的基于文本聚类的视频弹幕与评论主题融合的方法的融合算法示意[0057]图4是本发明的基于文本聚类的视频弹幕与评论主题融合的系统的模块结构示意采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的的或选择性的与其他实施例互相排斥的实施例。本发明结合示意图进行详细描述，在详述和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。本发明具体实例基于文本聚类的视频弹幕与评论主题融合的方法包括如停用词是文本中经常出现的一些衔接语句的词或者对分析没有用处的机器智能实验室停用词库四个主流词典的所有词并人工添加了部分在视频语境下不太重[0066](4)最后根据本方法提出的融合方法，先计算主题簇之间的相似度再计算词与词准编程技术_包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实以其他方式明显地与上下文矛盾。本文描述的过程存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此一个或多个组件可以存在于执行中的过程和/或线程中，并且