中文文本相似度分析实验报告.doc_第1页
中文文本相似度分析实验报告.doc_第2页
中文文本相似度分析实验报告.doc_第3页
中文文本相似度分析实验报告.doc_第4页
中文文本相似度分析实验报告.doc_第5页
已阅读5页,还剩3页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中文文本相似度分析一、实验目的1、了解中文文本如何分词;2. 了解如何对中文进行解码;3、掌握python的规则及用法;4、掌握求文本相似度的方法。二、设备与环境普通PC机、XP操作系统、Python2.73、 实验方案 实验内容是先对中文文本进行分词,然后求文本相似度放到一个矩阵中,最后把结果输出到一个.txt文件里,画出图像。具体方案如下:1、对中文文本进行预处理,即网上在线分词。2、构建空间向量模型,即求出词的频数。3、构建文本相似度矩阵,即用余弦函数求出文本相似度。4、结果存到.txt文件中,画出文本相似度图像。四、核心技术及具体实现1、技术介绍在此次项目设计中用到的编程工具有Python,下面就对Python进行简单的介绍:Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。它由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。Python语法简捷而清晰,具有丰富和强大的类库。它常被昵称为胶水语言,它能够很轻松的把用其他语言制作的各种模块(尤其是C/C+)轻松地联结在一起。Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承,有益于增强源代码的复用性。Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言,Python对函数式设计只提供了有限的支持。有两个标准库(functools, itertools)提供了Haskell和Standard ML中久经考验的函数式程序设计工具。2、具体实现及代码。1)把部分政府报告组建成自己的文本语料库,并在NLTK 中的PlaintextCorpusReader 帮助下载入它们。代码如下: import nltk from nltk.corpus import PlaintextCorpusReadercorpus_root = D:nltk_datacorporamycorpuswordlists = PlaintextCorpusReader(corpus_root,.*,encoding=UTF-8)2) 对语料库中的中文文本进行预处理。用PHP简易中文分词(SCWS)对政府报告进行文本分词,组成词序列。SCWS是一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。部分结果如下:原文如下图所示:分词之后如下图所示:3) 把44个政府报告文件整合到一个list中,然后进行处理使之成为频数从大到小排序的序列。序列的两个主要特点是索引操作符和切片操作符。索引操作符让我们可以从序列中抓取一个特定项目。切片操作符让我们能够获取序列的一个切片,即一部分序列。代码如下: pppp = wordlists.fileids()m5 = wordlists.words(pppp0)for i in range (1,len(pppp): m5 = wordlists.words(ppppi) + m5m4 = FreqDist(m5).keys()4) 把文本中词的频数当做文本向量的特征项,构建出n*m(n是文本的个数,m是总文本中词的个数)的词频矩阵。将总文本出现的单个词忽略不计,如果总文本中的某个词在某个特定文本中存在,则把这个词的频数插入到这个文本的list中,如果不存在,则添加0代替,最后构建成属于自己的文本向量。代码如下:allList = for i in range (0,len(pppp): listi = ; mi = findWord1(wordlists,ppppi) vi = mi.keys(); for j in range (0,len(m4): if len(m4j) 2 : continue; if(m4j in vi): listi.append(mim4j) else: listi.append(0) allList.append(listi) print i5)定义函数求文本相似度。在向量空间模型中,两个文本D1和D2之间的内容相关度Sim(D1,D2)常用向量之间夹角的余弦值表示,公式为:。 其中,W1k、W2k分别表示文本D1和D2第K个特征项的权值,我们采用的权值是词频,1=k=N。代码如下:import mathdef cos_dist(a, b): if len(a) != len(b): return None part_up = 0.0 a_sq = 0.0 b_sq = 0.0 for a1, b1 in zip(a,b): part_up += a1*b1 a_sq += a1*2 b_sq += b1*2 part_down = math.sqrt(a_sq*b_sq) if part_down = 0.0: return None else: return part_up / part_down6)调用余弦函数求各个文本的相似度,构建文本相似度矩阵,然后把结果写到文件中。代码如下:allList2 = for i in range (0,len(pppp): listi = for j in range (0 , len(pppp): listi.append(cos_dist(allListi,allListj) allList2.append(listi) print ifileHandle=open(123.txt,w+) for i in range (0,len(pppp): print i print ppppifor i in range (0,len(pppp): print i print allList2i for j in range (0,len(allList2i): fileHandle.write(%ft%allList2ij) fileHandle.write(n)fileHandle.close()5、 结果演示1、1955年、1956年、1957年,这3年的政府报告各与44个文本的相似度。系列1代表1955年,系列2代表1956年,系列3代表1957年,如下图所示:2、1978年、1979年、1980年,这3年的政府报告各与44个文本的相似度。系列1代表1978年,系列2代表1979年,系列3代表1980年,如下图所示:3、1984年、1985年、1986年、1987年、1988年,这5年的政府报告各与44文本的相似度。系列1代表1984年,系列2代表1985年,系列3代表1986年,系列4代表1987年,系列5代表1988年,如下图所示:4、1991年、1992年、1993年、1994年、1995年,这5年的政府报告各与44文本的相似度。系列1代表1991年,系列2代表1992年,系列3代表1993年,系列4代表1994年,系列5代表1995年,如下图所示:5、2008年、2009年、2010年、2011年、2012年,这5年的政府报告各与44文本的相似度。系列1代表2008年,系列2代表2009年,系列3代表2010年,系列4代表2011年,系列5代表2012年,如下图所示:6、 总结此次的人工智能程序设计项目,使我受益颇深。我对自然语言处理(NLP)和python这门语言有了更深刻的理解,对python的编程规则和用法有了进一步的掌握。除此之外,我还了解到这门课的有趣

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论