CN114625879B 基于自适应变分编码器的短文本聚类方法 （北京工业大学）_第1页
CN114625879B 基于自适应变分编码器的短文本聚类方法 （北京工业大学）_第2页
CN114625879B 基于自适应变分编码器的短文本聚类方法 （北京工业大学）_第3页
CN114625879B 基于自适应变分编码器的短文本聚类方法 （北京工业大学）_第4页
CN114625879B 基于自适应变分编码器的短文本聚类方法 （北京工业大学）_第5页
已阅读5页，还剩18页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

基于自适应变分编码器的短文本聚类方法涉及文本聚类技术领域。首先，对短文本使用自编码器将向量转化为低维特征向量，使用K-为变分自编码器的期望均值对于输入向量进行布的特征向量；将特征向量根据K-means算法构2S5将文本词向量使用变分自编码器进行预训练，使S8使用辅助目标分布，从当前的高置信度分配中φφ这一步聚类的目的是找到质心和每一条文本对应的文本类别k；通过类别k和质心3得到每一文本的期望均值记为N~(U;,I),因此KL散度计算为：4通过软分配和目标分布匹配来微调，为此，将目标定义为软分配和辅步骤S9：使用随机梯度下降来联合优化簇中心kcntj与SVAE中的编码器的参使用K-means将作为初始化聚类层的权重，然后使用高置信度预测来确定编码器并分5[0001]本发明涉及文本聚类技术，特别是涉及短文本的聚类以及相应的深度算法的构用深度神经网络同时学习特征表示和聚类分配的方法。DEC将数据从原始空间映射到低维6φ维度与聚类文本的聚类目标类别k相同，由于聚类类别k小于输入维度d因此得到降维编码φ7φφN~(ui,I),因此KL散度可以计算为：[0041]VAE损失函数的第二项是和普通自编码器的差别，这里的根据数据集进行改进也[0042]本发明通过推理网络μi的输出应用一个固定的批处理化(BatchNormalization，8i的分布的[0056]步骤S9：使用随机梯度下降(SGD)来联合优化簇中心kj与SVAE中的编码器的参数9[0059]使用K-means将作为初始化聚类层的权重，然后使用高置信度预测来确定编码器并分配类簇，重复步骤S7与S8，当达到迭代次数t1达到2000时，或类别标签变化率θ小于[0062]实验设置：本发明验证所采用的硬件环境为但不限于此：CPU为InterXeon的文本向量表示(paraphrase-multilingual-MiniLM-L12-v2)，该模型最大序列程度为128，可以将文本装换成384维的向量，模型大小为384MB，其使基于paraphrase-MiniLM-的聚类算法，是一种通过分层与训练获得的自动编码器，然后进一步对其进行调优；(6)神经网络将输入数据映射到表示空间，分别应用对比损失和聚类损失来优化编码器的参据集来说，SVAE在此基础上取得了最优的结果比优秀的聚类算法Self-Train中ACC上领先[0071]对于本发明使用的其他4个通用数据集上，可以看到SVAE在三种标准数据集中均[0072]其中SVAE主要参考了Self-Train算法，比Self-Train在SearchSnippets和StackOverflow上ACC分别提升了4.5％和22.4其Biomedical指标降低主要是因为本文法在SearchSnippets上ACC领先了3.6这是由于SCCL除了原始

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论