文本聚类开题报告范文

文本聚类开题报告范文文本聚类开题报告范文 文档聚类可以作为多文档自动文摘等自然语言处理应用的 预处理步骤 可以将重要新闻文本进行聚类处理 是一种处理 文本信息的重要手段 基于基于 k mean 文本聚类的研究文本聚类的研究 摘 要 文本聚类能够把相似性大的文本聚到同一类中 k means 常用来聚类文本 但是由于聚类中心的选取对聚类结果 有影响 导致聚类不稳定 因此采用一种基于聚类中心的改进 算法分析文本 通过实验 验证算法的有效性 关键词 文本聚类 k means 相似性 度量准则 中图分类号 tp391 文献标识码 b 编号 1671 489x 20xx 18 0050 03 research for text clustering based on k mean zhang yue li baoqing hu lingfang meng li abstract text clustering can make the text similarity large clustered into the same class k means usually is used in text clustering because of impacting on the cluster center which results in the clustering instability therefore this paper uses a text analysis of improved algorithm based on the clustering center through the experiment it verifies the effectiveness of the improved algorithm key words text clustering k means similarity measure criterion 文本聚类是把不同的文本分别聚在不同的类别中 是文本 挖掘的重要技术 它是一种无监督的学习技术 每个类中包含 的文本之间具有较大的相似性 不同类间的文本相似性比较小 文本聚类是数据挖掘的重要分支 它应用神经网络 机器学习 等技术 能够自动地对不同文本进行分类 在文本聚类分析中 文本特征表示一般采用向量空间模型 1 这种模型能更好表现文本 在对文本聚类的研究中 steinbach 等人研究了基于划分的方法和基于层次的方法在文本 聚类中的适用程度 2 3 得出结论 采用 k means 算法进行聚 类 不仅聚类结果较好 而且适用于数据量比较大的聚类场合 在 中根据研究者对 k means 的发现 结合实际研究 采用一种 基于 k means 的改进算法来聚类 dhillod 等人对文本聚类进行 研究发现 采用余弦夹角作为相似性度量比采用欧氏距离度量 的结果好很多 4 1 文本聚类文本聚类 文本聚类的方法很多 主要分为基于层次的方法 基于划 分的方法 基于密度的方法 基于模型的方法 基于网格的方 法 5 在这些聚类方法中 基于划分的 k mean 是最常用也是 很多改进方法的基础 中采取的改进方法也是基于 k mean 的 k mean 首先由 macqueent 6 提出 它能在大数据集中广泛 被使用 因为算法效率较高 算法执行过程理解容易 当前进 行的很多研究都是以 k mean 为基础开展进行的 它的计算复杂 度低 具有与文档数量成线性关系的特性 计算效率不仅高 而且伸缩性较强 适应大数据集的能力也很强 k mean 以 k 为 初始聚类数 然后把 n 个文本分到 k 个聚类中 这样类内的文 本具有较高的相似度 不同类间的相似度较小 k mean 具体的算法过程如下 1 首先给定 n 个数据文本 从其中任选 k 个文本 这 k 个 数据文本初始地代表了 k 个类的数据中心 2 对剩余的每个文本计算其到每个中心的距离 并把它归 到最近的中心类中 3 重新计算已经得到的各个类的中心 通常计算中心的准 则函数采用平方误差准则 这个准则能够使生成的结果类尽可 能地独立和紧凑 4 迭代执行第二步和第三步的动作直至新的中心与原中心 相等或小于指定阈值 直到算法结束 具体的算法流程如图 1 所示 2 改进的聚类算法改进的聚类算法 虽然使用 k mean 算法进行文本聚类时 具有计算复杂度低 计算效率不仅高 而且伸缩性较强 适应大数据集的能力也很 强的优点 但是实验发现 不仅初始聚类中心的选取对聚类结 果有影响 孤立点的存在对文本的相似性的判断也有很大的影 响 这就导致聚类判断不稳定 基于此 采用一种改进的方法 来进行文本聚类 改进关键点在于聚类中心的计算 用与原聚 类中心相似的文本数据来计算平均值作为该聚类中心 改进的 k means 算法描述如下所示 1 首先给定 n 个数据文本 从其中任选 k 个文本 这 k 个 数据文本初始地代表了 k 个类的数据中心 2 对剩余的每个文本计算其到每个中心的距离 并把它归 到最近的中心类中 记作 means 3 选择类中与类中心大于等于 1 a means 的文本集合 d1 d2 dk 其中 a 0 31 0 31 重新计算新文本集中 的类中心 4 迭代执行第 2 步和第 3 步的动作直至新的中心与原中心 相等或小于指定阈值 直到算法结束 3 相似度计算相似度计算 文本聚类中涉及文本的相似性计算 只有相似性大的文本 才能聚到同一类中 因此 相似性的度量对文本的聚类很关键 在文本聚类中 相似度度量方式一般有曼哈顿距离 cosine 距 离 欧式距离 其中 cosine 距离更能体现文本的相似性 主 要采用 cosine 距离 当两个文本之间的文本相似度越大 它们 之间的相关性越强 文本集用向量空间模型表示后 文本的相 似度采用向量之间距离表示 4 评价标准评价标准 文本聚类的有效性需要进行验证 中主要采用 f 度量 平 均纯度来对聚类结果进行评价 1 f 度量 f 度量把召回率和评价标准准确率结合在一起 准确率 p i r nir nr 2 召回率 r i r nir ni 3 其中 nir 是类别 r 中包含类别 i 中的文本的个数 nr 是类别 r 中实际文本的数目 ni 是原本类别 i 中应有的文本数 f 值的 计算公式 4 由公式 4 最后得到评价函数为 5 其中 n 为文本的总数 从公式看出 f 值越高 聚类效果越 好 2 平均纯度 除了用 f 度量来评价聚类 中还使用平均纯 度来度量文本聚类质量好坏 7 设类 ci 的大小为 ni 则该类的 纯度为 6 其中 nj 表示类 ci 与第 j 类的交集大小 则平均纯度公式为 7 其中 k 为最终的聚类数目 一般说来纯度越高聚类效果越 好 5 聚类实验结果分析聚类实验结果分析 中采用的实验数据主要是搜狗语料库 搜狗语料库主要包 括 10 种文本类别 军事 招聘 it 文化 健康 汽车 体育 旅游 财经 教育 搜狗语料库包含了每一类的文件夹 在文 件夹中都是 txt 文本 为了验证改进后的算法比原算法更有效 进行了多次实验 最终选取了其中一次实验结果为例子 对两 种算法的 f 度量和纯度进行比较 分别如表 1 和表 2 所示 从表 1 可以看出 改进聚类中心的 k means 算法在纯度方 面相对有一些提高 从表 2 可以看到 f 值提高明显 从两个表中的 实验结果可以看到改进的算法是有效的 6 结论结论 基于文本的聚类分析能够对大量的文本进行聚类 分析中 采用的聚类算法的改进能在很大程度上提高聚类的准确性 实 验证明达到设计的效果 同时也为后期的各种数据挖掘工作打 下基础 参考文献 1 salton g wong a yang c s a vector space model for automatic indexing j comm acm 1975 18 11 613 620 2 steinbach m karypis g kumar v a comparison of document clustering techniques c proceedings of kdd 2019 workshop on text mining 2019 1 20 3 ying zhao karypis g hierarchical clustering algorithms for document datasets j proceedings of data mining and knowledge discovery 2019 10 2 141 168 4 dhillon i s modha d s concept decompositions for large sparse text data using clustering j machine learning 2019 42 1 143 175 5 邵峰晶 于忠清 数据挖掘原理与算法 m 北京 中国水 利水电出版社 2019 6 macqueen j some methods for classification and analysis of multivariate observations