CN119474387A 一种基于大模型的文本热点聚类方法 （中国电子科技集团公司第十研究所）

本发明提供了一种基于大模型的文本热点语言模型对文本摘要按领域进行划分得到分类合作为输入，基于大语言模型得到热点摘要总2基于大语言模型对文本摘要按领域进行划分得将文本摘要作为输入使用向量嵌入模型得到按照业务需求形成检索条件从向量库中召回文本候选集；根据文本候选集，利用阶段最优聚类算法得到聚类结果，将使用向量嵌入模型分别计算文本摘要的向量稠密层检索分数、稀将待匹配文本q和待召回文本p的每一个字符由文本编码器转化为文本第一个特殊字符[CLS]的向量编码正则化后用以表征整qqppq>将待匹配文本q中的字符t在序列中的重要性权重w将待召回文本p中的字符t在序列中的重要性权重wpp3待匹配文本与待召回文本之间的多级向量检待匹配文本与待召回文本之间的多级向量检qqpp将向量稠密层检索分数，稀疏检索分数，多级向量检索分数加权求和rank表示混合检索分数；w1表示向量稠密将从向量库中召回的文本集合按照索引顺序构造语义向量矩阵，矩阵并行运算方式计算两两文本之间的向量相似度并构对于n篇文本对其进行向量嵌入后得到的n个k维向量，将其构造为矩阵的格式，表示利用余弦相似度计算向量矩阵M中两两向量4相似度计算向量矩阵M中两两向量之间的相似度x表示第x篇文本对应的索引信息；依次将待聚类数组L中的文本dx作为聚类中心，从相似度查询矩阵S中查询聚类中心与其他文本的相似度值，并筛选出相似度值大于相似关联阈值θ的文本存入聚类数组统计阶段聚类集合C中每个聚类数组中的聚类数量，并筛选出其中最大值对应的聚类56每个文本第一个特殊字符[CLS]的向量编码正则化后用以表征整个输入qqpp[0028]将待召回文本p中的字符t在序列中的重pp7qqpp[0055]利用余弦相似度计算向量矩阵M中两两向量之间的相似度[0058]在上述技术方案中，所述利用余弦相似度计算向量矩阵M中两两向量之间的相似8心与其他文本的相似度值，并筛选出相似度值大于相似关联阈值θ的文本存入聚类数组[0070]统计阶段聚类集合C中每个聚类数组中的聚类数量，并筛选出其中最大值对应的9[0076]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得[0077]图1是本发明一个实施例的基于大模型的文本热点聚类方法中文本结构化预处理[0078]图2是是本发明一个实施例的基于大模型的文本热点聚类方法中文本热点聚合的[0081]下面参照图1至图2来描述根据本发明一些实施例提供的基于大模型的文本热点S7为文本热点聚合。另外本公开中以大语言模型采用QWEN_72B语义大模型为例进行说明，可以理解的是，本领域技术人员也可根据本公开内容选择其他合适的大语言模型进行应[0095]混合检索则包括使用BGE_M3向量嵌入模型分别计算文本摘要的向量稠密层检索每个文本第一个特殊字符[CLS]的向量编码正则化后用以表征整个输入qqpp[0107]将待召回文本p中的字符t在序ppqqpp[0124]图2示出了文本热点聚合的流程图，在文本热点聚合中主要包括相似度计算和阶[0132]S712、利用余弦相似度计算向量矩阵M中两两向量之间的相似度得到相似度查询[0135]具体地，所述利用余弦相似度计算向量矩阵M中两两向量之间的相似度的计算方聚类中心与其他文本的相似度值，并筛选出相似度值大于相似