Python自然语言处理 课件 第3章 语料库基础

语料库基础Python自然语言处理第三章CONTENT目录

01语料库基础03获取语料库02自然语言处理工具包NLTK04综合案例：走进红楼梦课前回顾Python开发环境的搭建正则表达式在自然语言处理中的应用Numpy的详细使用方法语料库基础01自然语言通常是指一种自然地随文化演化的语言（如汉语、英语、日语）。自然语言是人类交流和思维的主要工具，亦是人类智慧的结晶。自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。自然语言语料，即语言材料。语料是语言学研究的内容。语料是构成语料库的基本单元。语料

语料库语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。其具备三个特点：语料库中存放的是在语言的实际使用中真实出现过的语言材料语料库是以电子计算机为载体承载语言知识的基础资源语料通常需要经过分析和处理后，才能成为有用的资源建立语料库的意义语料库是为一个或者多个应用目标而专门收集的，有一定结构和有代表性且可被计算机程序检索的具有一定规模的语料集合。本质上讲，语料库实际上是通过对自然语言运用的随机抽样，以一定大小的语言样本来代表某一研究中所确定的语言运用的总体。语料库构建原则在构建语料库时，构建的语料库应该具备代表性、结构性、平衡性、规模需求并制定语料的元数据规范，各个原则如下：1、代表性2、结构性3、平衡性4、规模性语料库划分与种类语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够在语料采集的原则和方式上有所体现。语料库大致可分成四种类型：1、异质的（Heterogeneous）：没有特定的语料收集原则，广泛收集并原样存储各种语料。2、同质的（Homogeneous）：只收集同一类内容的语料。3、系统的（Systematic）：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实。4、专用的（Specialized）：只收集用于某一特定用途的语料。小结语料库基础自然语言处理语料语料库建立语料库语料库构建原则语料库划分与种类语料库基础Python自然语言处理第三章CONTENT目录

01语料库基础03获取语料库02自然语言处理工具包NLTK04综合案例：走进红楼梦课前回顾语料库的基础自然语言处理工具包NLTK02NLTK简介安装NLTK使用NLTKStanfordNLPNLTK简介

NLTK（NaturallanguageToolkit）：自然语言工具包，Python编程语言实现的统计自然语言处理工具。

NLTK由StevenBird和EdwardLoper在宾夕法尼亚大学计算机和信息科学系开发。在NLP领域中，NLTK是最常使用的一个Python库，其收集的大量公开数据集提供了全面易用的接口，涵盖了分词、词性标注、命名实体识别、句法分析等各项NLP领域的功能，广泛应用在经验语言学、认知科学、人工智能、信息检索和机器学习。NLTK简介语言处理任务与相应NLTK模块以及功能描述如右表所示：自然语言处理工具包NLTK02NLTK简介安装NLTK使用NLTKStanfordNLP安装NLTK步骤一：查看Python版本，打开一个终端，输入命令：python，获取当前系统安装的python版本信息，如下图所示：安装NLTK步骤二：根据Python版本，在官网找到合适的安装介质进行下载安装，或者在命令行窗口直接输入命令：pipinstallnltk或pip--default-timeout=100installnltk（命令中添加--default-timeout=100可以改善安装超时问题）进行自动安装。步骤三：此步骤主要是通过将域名更换为IP地址解决Github链接无法访问的问题。使用命令sudovi/etc/hosts修改系统IP映射文件，在hosts文件最后添加一条IP映射信息，内容为：199.232.68.133，添加好后保存退出。安装NLTK步骤四：执行“importnltk”和“nltk.download()”命令下载NLTK数据包，运行成功后弹出NLTKDownloader，选中book，根据实际情况修改下载路径如：/home/ubuntu/nltk_data（book包含了数据案例和内置函数），如下图所示：

安装NLTK步骤五：环境变量配置，在/etc/profile文件最后添加命令：exportPATH=$PATH:/home/ubuntu/nltk_data，保存退出后，使用命令source/etc/profile让配置生效。步骤六：打开Python解释器输入代码“fromnltk.bookimport*”，出现以下内容则表示安装成功。

自然语言处理工具包NLTK02NLTK简介安装NLTK使用NLTKStanfordNLPNLTK加载book模块将book模块导入，操作如图所示：输入命令

fromnltk.bookimport*出现以下内容，说明环境已经装好了输入text1，显示如图内容常用统计函数常用统计函数常用统计函数的使用方法和运行结果如下所示：函数concordance

在text1一文中检索“American”，可使用concordance函数处理，它不仅可以展示全文所有“American”出现的地方及其上下文，也可以以对齐方式打印出来，便于对比分析。输入代码“text1.concordance('America')”，执行结果首先显示总共出现12次，紧接着以对齐方式展示全文所有出现“American”出现的地方及其上下文，运行效果如下所示：函数similar

在text1中检索与‘very’相似的上下文，可使用similar函数进行处理，输入代码“text1.similar('very')”即可，运行效果如下所示：函数common_contexts当需要搜索共用多个词汇的上下文，而不是检索某个单词时，可使用common_contexts函数处理，可输入代码mon_contexts(['a','very'])，运行效果如下所示：函数dispersion_plot判断词在文本中的位置，从开头算起有多少次出现，可以用离散图表示，每一列代表一个单词，每一行代表一个文本。使用代码：text1.dispersion_plot([“The”,“Moby”,“Dick”,“America”]）运行效果如图所示：函数FreqDist()对文本中词汇分布进行统计时，可以使用使用函数FreqDist进行处理，实现代码：fdist1=FreqDist(text1)，通过统计结果可以发现词汇的分布情况，运行结果如下所示：还可以指定查询某个词的使用频率，如查看“the”的使用频率，实现代码为：fdist1['the']，运行结果如下所示：函数FreqDist()还可以查看指定个数常用词的累积频率图，实现代码：fdist1.plot(50,cumulative=True)，查看text1中50个常用词的累积频率图，运行结果如图所示：NLTK频率分布类中定义的函数

NLTK频率分布类中定义的常用函数如表所示：词汇比较运算

词汇比较运算常用的函数如表所示（注意：s代表字符串）：自然语言处理工具包NLTK02NLTK简介安装NLTK使用NLTKStanfordNLPStanfordNLP简介StanfordNLP：由斯坦福大学的NLP世界知名研究小组开发，由Java实现的NLP开源工具包，对NLP领域的各类问题提供了解决办法。2004年，在NLTK中加上了对StanfordNLP工具包的支持，通过调用外部的jar文件来使用StanfordNLP工具包的功能，这样一来就变得更为方便好用。现在的NLTK中，通过封装提供了StanfordNLP中的以下几个功能：分词：StanfordTokenizer。词性标注：StanfordPOSTagger。命名实体识别：StanfordNERTagger。句法分析：StanfordParser。依存句法分析：StanfordDependencyParser。StanfordNLP安装本课程安装环境及版本说明：Python3.6.4NLTK3.5Java1.8.0_201StanfordNLP安装步骤一：stanfordNLTK安装包stanfordNLTK.zip下载（下载链接：/s/1L4gvbWX4G8H7qMaNc71W6g提取码：zryy），该链接包含所有需要的包和相关文件。StanfordNLP各功能工具包在NLTK中所依赖相关文件如下：分词依赖：stanford-segmenter.jar、slf4j-api.jar、data文件夹相关子文件。命名实体识别依赖：stanford-ner.jar。词性标注依赖：models、stanford-postagger.jar。句法分析依赖：stanford-parser.jar、stanford-parser-3.6.0-models.jar、classifiers。依存语法分析依赖：stanford-parser.jar、stanford-parser-3.6.0-models.jar、classifiers。StanfordNLP安装步骤二：NLTK工具包nltk-develop.zip下载（下载链接：/s/1xy3CUFNb5MW5kVWtMo1vmg提取码：zryy）该工具包提供StandfordNLP接口。步骤三：将stanfordNLTK和NLTK安装包解压后，复制文件夹到Python安装主路径下（本书Python安装目录为：/usr/local/bin/python3），然后进入NLTK解压文件夹下通过pythonsetup.pyinstall命令安装即可（安装路径注意根据实际情况进行修改）。StanfordNLP应用在StanfordNLP简介中了解到StanfordNLP中有几个主要功能分别是分词、词性标注、命名实体识别、句法分析、依存句法分析等，接下来对如何应用这五个常用功能进行详细的说明。StanfordNLP应用（1）分词分词功能简单可以理解为将一段完整的语料进行词语的分割功能，例如：使用StanfordSegmenter进行中文分词：将“我中午要去北京饭店，下午去中山公园，晚上回亚运村。”语句进行词语的分割，实现代码如下所示：fromnltk.tokenize.stanford_segmenterimportStanfordSegmentersegmenter=StanfordSegmenter(path_to_jar=r"/usr/local/bin/python3/stanfordNLTK/stanford-segmenter.jar",path_to_slf4j=r"/usr/local/bin/python3/stanfordNLTK/slf4j-api.jar",path_to_sihan_corpora_dict=r"/usr/local/bin/python3/stanfordNLTK/data",path_to_model=r"/usr/local/bin/python3/stanfordNLTK/data/pku.gz",path_to_dict=r"/usr/local/bin/python3/stanfordNLTK/data/dict-chris6.ser.gz")str="我中午要去北京饭店，下午去中山公园，晚上回亚运村。"result=segmenter.segment(str)print(result)运行结果为：我中午要去北京饭店，下午去中山公园，晚上回亚运村。StanfordNLP应用（2）词性标注词性标注（part-of-speechtagging）,又称为词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或者其他词性的过程，接下来使用StanfordPOSTagger进行中文词性标注。同样对“我中午要去北京饭店，下午去中山公园，晚上回亚运村。\r\n”中的名词进行词性标注，实现代码如下：fromnltk.tagimportStanfordPOSTaggerchi_tagger=StanfordPOSTagger(model_filename=r'/usr/local/bin/python3/stanfordNLTK/models/chinese-distsim.tagger',path_to_jar=r'/usr/local/bin/python3/stanfordNLTK/stanford-postagger.jar')result='我中午要去北京饭店，下午去中山公园，晚上回亚运村。\r\n’print(chi_tagger.tag(result.split()))运行结果为：[('','我#PN'),('','中午#NT'),('','要#VV'),('','去#VV'),('','北京#NR'),('','饭店#NN'),('','，#PU'),('','下午#NT'),('','去#VV'),('','中山#NR'),('','公园#NN'),('','，#PU'),('','晚上#NT'),('','回#VV'),('','亚运村#NR'),('','。#PU’)]StanfordNLP应用（3）命名实体识别命名实体识别(NamedEntityRecognition，简称NER)，又称作"专名识别"，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，接下来使用StanfordNERTagger进行中文命名实体识别。同样对“我中午要去北京饭店，下午去中山公园，晚上回亚运村。\r\n”中的名词进行识别，实现代码如下：fromnltk.tagimportStanfordNERTaggerchi_tagger=StanfordNERTagger(model_filename=r'/usr/local/bin/python3/stanfordNLTK/classifiers/chinese.misc.distsim.crf.ser.gz',path_to_jar=r'/usr/local/bin/python3/stanfordNLTK/stanford-ner.jar')result="我中午要去北京饭店，下午去中山公园，晚上回亚运村。\r\n"forword,taginchi_tagger.tag(result.split()):print(word,tag)StanfordNLP应用运行结果如下：StanfordNLP应用（4）句法分析句法分析在分析单个词的词性的基础上，尝试分析词与词之间的关系，并用这种关系来表示句子的结构。实际上，句法结构可以分为两种，一种是短语结构，另一种是依存结构。前者按句子顺序来提取句法结构，后者则按词与词之间的句法关系来提取句子结构。这里说的句法分析得到的是短语结构。进行中文的句法分析，需要指定中文的模型，可用的中文模型有以下几种，分别是：'edu/stanford/nlp/models/lexparser/chinesePCFG.ser.gz''edu/stanford/nlp/models/lexparser/chineseFactored.ser.gz''edu/stanford/nlp/models/lexparser/xinhuaPCFG.ser.gz''edu/stanford/nlp/models/lexparser/xinhuaFactored.ser.gz''edu/stanford/nlp/models/lexparser/xinhuaFactoredSegmenting.ser.gz'StanfordNLP应用其中factored包含词汇化信息，PCFG是更快更小的模板，xinhua据说是根据大陆的《新华日报》训练的语料，而chinese同时包含香港和台湾的语料，xinhuaFactoredSegmenting.ser.gz可以对未分词的句子进行句法解析。以下句法分析的代码中用的是chinesePCFG.ser.gz，使用StanfordParser进行中文句法分析，对“语料库以电子计算机为载体承载语言知识的基础资源，但并不等于语言知识。”进行句法分析，实现代码如下：fromnltk.parse.stanfordimportStanfordParserchi_parser=StanfordParser(r"/usr/local/bin/python3/stanfordNLTK/stanford-parser.jar",r"/usr/local/bin/python3/stanfordNLTK/stanford-parser-3.6.0-models.jar",r"/usr/local/bin/python3/stanfordNLTK/classifiers/chinesePCFG.ser.gz")sent=u'语料库以电子计算机为载体承载语言知识的基础资源，但并不等于语言知识。'print(list(chi_parser.parse(sent.split())))StanfordNLP应用注意：StanfordParser的初始化参数中所需要使用的文件都在StanfordNLTK安装包中，编写代码时，路径需根据实际情况进行修改。运行结果如下：StanfordNLP应用（5）依存句法分析依存语法(DependencyParsing,DP)通过分析语言单位内成分之间的依存关系揭示其句法结构。即分析识别句子中的“主谓宾”、“定状补”这些语法成分，并分析各成分之间的关系。可使用StanfordDependencyParser进行中文依存句法分析。同样对“中国载人航天工程办公室透露空间站飞行任务即将拉开序幕”进行依存句法分析，实现代码如下：fromnltk.parse.stanfordimportStanfordDependencyParserchi_parser=StanfordDependencyParser(r"/usr/local/bin/python3/stanfordNLTK/stanford-parser.jar",r"/usr/local/bin/python3/stanfordNLTK/stanford-parser-3.6.0-models.jar",r"/usr/local/bin/python3/stanfordNLTK/classifiers/chinesePCFG.ser.gz")res=list(chi_parser.parse(u'中国载人航天工程办公室透露空间站飞行任务即将拉开序幕'.split()))forrowinres[0].triples():print(row)StanfordNLP应用运行结果如下：注意：StanfordDependencyParser的初始化参数中所需要使用的文件都在StanfordNLTK安装包中，编写代码时，路径需根据实际情况进行修改。小结自然语言处理工具包NLTKNLTK简介NLTK安装NLTK使用StanfordNLP语料库基础Python自然语言处理第三章CONTENT目录

01语料库基础03获取语料库02自然语言处理工具包NLTK04综合案例：走进红楼梦课前回顾NLTK简介NLTK安装NLTK使用StanfordNLP获取语料库03国内外著名语料库网络数据获取NLTK获取语料库英文语料库BNC——英国国家语料库（BritishNationalCorpus）：/?target=http%3A//www.natcorp.ox.ac.uk/BOE——柯林斯英语语料库（theBankofEnglish）：/lanBASE——英国学术口语语料库（BritishAcademicSpokenEnglishCorpus）：http://www2.warwick.ac.uk/fac/Lextutor：http://www.lextutor.ca/MyMemory：TAUS：/index.php/中文语料库(1)北外语料库语言学：/

(2)现代汉语平衡语料库：.tw/SinicaCorpus/(3)古汉语语料库：.tw/ftms-bin/ftmsw(4)近代汉语标记语料库：.tw/Early_Mandarin/(5)树图数据库：.tw/(6)搜文解字：.tw/(7)汉籍电子文献：.tw/~tdbproj/handy1/中文语料库(8)中国传媒大学文本语料库检索系统：/RawPub/(9)哈工大信息检索研究室对外共享语料库资源：/demo/ltp/Sharing_Plan.htm(10)香港教育学院语言资讯科学中心及其语料库实验室：/index.php?lang=sc(11)中文语言资源联盟：/(12)搜狗实验室新闻|互联网数据：/labs/(13)数据堂：/(14)文国寻宝记：.tw/wen/获取语料库03国内外著名语料库网络数据获取NLTK获取语料库网络数据获取除了通过访问网络获取，还可以通过编写程序的方式访问网络和硬盘文本的方式获取，例如：通过编写程序，在线获取伤寒杂病论的语料库，实现代码如下：from__future__importdivisionimportnltk,re,pprintfromurllib.requestimporturlopenurl=r'/files/24272/24272-0.txt'raw=urlopen(url).read()raw=raw.decode('utf-8')print(len(raw))print(raw[1500:2000])网络数据获取运行结果如图：网络数据获取再例如，通过编写程序，在线获取处理HTML文本（红楼梦），实现代码如下所示：importre,nltkfromurllib.requestimporturlopenurl='/cache/epub/24264/pg24264-images.html'html=urlopen(url).read()html=html.decode('utf-8')print(html[6000:6500])网络数据获取运行结果如图：获取语料库03国内外著名语料库网络数据获取NLTK获取语料库网络和聊天文本步骤一：获取网络聊天文本，代码如下所示：fromnltk.corpusimportwebtextforfileidinwebtext.fileids(): print(fileid,webtext.raw(fileid))网络和聊天文本步骤二：查看网络聊天文本信息，代码如下所示：forfileidinwebtext.fileids(): print(fileid,len(webtext.words(fileid)),len(webtext.raw(fileid)),len(webtext.sents(fileid)),webtext.encoding(fileid))运行结果：

firefox.txt1024575646011142ISO-8859-2grail.txt16967650031881ISO-8859-2overheard.txt21841383011817936ISO-8859-2pirates.txt22679953681469ISO-8859-2singles.txt486721302316ISO-8859-2wine.txt313501497722984ISO-8859-2网络和聊天文本步骤三：获取即时消息聊天会话语料库，代码如下所示：运行结果：

fromnltk.corpusimportnps_chatchatroom=nps_chat.posts('10-19-20s_706posts.xml')chatroom[123]['i','do',"n't",'want','hot','pics','of','a','female',',','I','can','look','in','a','mirror','.']布朗语料库步骤一：查看语料库信息，实现代码如下所示：运行结果：

fromnltk.corpusimportbrownprint(brown.categories())['adventure','belles_lettres','editorial','fiction','government','hobbies','humor','learned','lore','mystery','news','religion','reviews','romance','science_fiction']布朗语料库步骤二：比较文体中情态动词的用法，实现代码如下所示：运行结果：

can:94could:87may:93might:38must:53will:389importnltkfromnltk.corpusimportbrownnew_texts=brown.words(categories='news')fdist=nltk.FreqDist([w.lower()forwinnew_texts])modals=['can','could','may','might','must','will']forminmodals:print(m+':',fdist[m])布朗语料库步骤三：NLTK条件概率分布函数，实现代码如下所示：cfd=nltk.ConditionalFreqDist((genre,word)forgenreinbrown.categories()forwordinbrown.words(categories=genre))genres=['news','religion','hobbies','science_fiction','romance','humor']modals=['can','could','may','might','must','will']cfd.tabulate(condition=genres,samples=modals)运行结果如右图：就职演说语料库步骤一：查看语料信息，实现代码如下所示：运行结果如图：fromnltk.corpusimportinaugurallen(inaugural.fileids())inaugural.fileids()58['1789-Washington.txt','1793-Washington.txt','1797-Adams.txt','1801-Jefferson.txt','1805-Jefferson.txt','1809-Madison.txt','1813-Madison.txt','1817-Monroe.txt','1821-Monroe.txt','1825-Adams.txt','1829-Jackson.txt','1833-Jackson.txt','1837-VanBuren.txt','1841-Harrison.txt','1845-Polk.txt','1849-Taylor.txt','1853-Pierce.txt','1857-Buchanan.txt','1861-Lincoln.txt','1865-Lincoln.txt','1869-Grant.txt','1873-Grant.txt','1877-Hayes.txt','1881-Garfield.txt','1885-Cleveland.txt','1889-Harrison.txt','1893-Cleveland.txt','1897-McKinley.txt','1901-McKinley.txt','1905-Roosevelt.txt','1909-Taft.txt','1913-Wilson.txt','1917-Wilson.txt','1921-Harding.txt','1925-Coolidge.txt','1929-Hoover.txt','1933-Roosevelt.txt','1937-Roosevelt.txt','1941-Roosevelt.txt','1945-Roosevelt.txt','1949-Truman.txt','1953-Eisenhower.txt','1957-Eisenhower.txt','1961-Kennedy.txt','1965-Johnson.txt','1969-Nixon.txt','1973-Nixon.txt','1977-Carter.txt','1981-Reagan.txt','1985-Reagan.txt','1989-Bush.txt','1993-Clinton.txt','1997-Clinton.txt','2001-Bush.txt','2005-Bush.txt','2009-Obama.txt','2013-Obama.txt','2017-Trump.txt']就职演说语料库步骤二：查看演说语料的年份，实现代码如下所示：运行结果：

print([fileid[:4]forfileidininaugural.fileids()])['1789','1793','1797','1801','1805','1809','1813','1817','1821','1825','1829','1833','1837','1841','1845','1849','1853','1857','1861','1865','1869','1873','1877','1881','1885','1889','1893','1897','1901','1905','1909','1913','1917','1921','1925','1929','1933','1937','1941','1945','1949','1953','1957','1961','1965','1969','1973','1977','1981','1985','1989','1993','1997','2001','2005','2009','2013','2017']就职演说语料库步骤三：条件概率分布，实现代码如下所示：运行结果如图：

importnltkcfd=nltk.ConditionalFreqDist((target,fileid[:4])forfileidininaugural.fileids()forwininaugural.words(fileid)fortargetin['america','citizen']ifw.lower().startswith(target))cfd.plot()小结获取语料库国内外著名语料库网络数据获取NLTK获取语料库综合案例：走进红楼梦Python自然语言处理第三章CONTENT目录

01语料库基础03获取语料库02自然语言处理工具包NLTK04综合案例：走进红楼梦课前回顾国内外著名语料库网络数据获取NLTK获取语料库综合案例：走进红楼梦04数据采集与预处理构建本地语料库语料操作数据采集和预处理本实验使用红楼梦作为语料，通过网络数据获取的方式采集红楼梦的相关数据，但由于该书文字太多，所以，获取时，可每10万字保存到一个文件中，同时，还需将完整内容单独保存在一个文件中。实现代码如下所示：importre,nltkimportmathimportcodecsfromurllib.requestimporturlopenurl='/cache/epub/24264/pg24264-images.html'html=urlopen(url).read()html=html.decode('utf-8')#完整内容withcodecs.open("/home/ubuntu/dict/hlm.txt",'w','utf-8')asf:f.write(html[2186:len(html)])#2186字符后是后楼梦正文

f.close()#每10万字一个文件forindexinrange(math.ceil((len(html)-2186)/100000)):filename='/home/ubuntu/dict/hlm'+str(index)+'.txt'sindex=index*100000+2186eindex=(index+1)*100000+2186withcodecs.open(filename,'w','utf-8')asf:f.write(html[sindex:eindex])f.close()数据采集和预处理运行结束后，在/home/ubuntu/dict目录下生成了11个文件，其中“hlm.txt”是红楼梦的完整内容，而其余的10个文件是每10万字保存的文件，如下图所示：综合案例：走进红楼梦04数据采集与预处理构建本地语料库语料操作构建本地语料库采集到红楼梦的相关内容后，接下来可将采集到的内容构建出自己的语料库，实现代码如下所示：fromnltk.corpusimportPlaintextCorpusReadercorpus_root=r'/home/ubuntu/dict'wordlists=PlaintextCorpusReader(corpus_root,'.*')print(wordlists.fileids())len(wordlists.words('hlm1.txt'))构建完成自己语料库之后，利用PythonNLTK内置函数都可以完成对应的操作。值得注意的是，部分方法NLTK是针对英文语料的，如果要处理中文的语料库，可以通过插件处理或者在NLTK中利用StandfordNLP工具包完成对中文语料的操作。综合案例：走进红楼梦04数据采集与预处理构建本地语料库语料操作语料操作打开Python编辑器，导出NLTK，并统计红楼梦共计多少字、查看共有多大的用字量，即不重复词和每个字的平均使用次数等，实现代码如下所示：importcodecswithcodecs.open(r"/home/ubuntu/dict/hlm.txt","r+",'utf-8')as