自然语言处理 课件 知识点1.2语料库的学习与使用_第1页
自然语言处理 课件 知识点1.2语料库的学习与使用_第2页
自然语言处理 课件 知识点1.2语料库的学习与使用_第3页
自然语言处理 课件 知识点1.2语料库的学习与使用_第4页
自然语言处理 课件 知识点1.2语料库的学习与使用_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

自然语言处理项目1初识自然语言处理

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304语料库的学习与使用什么是语料库在自然语言处理中，大多数情况下都是采用统计的方法，也就是采用机器学习的方法解决问题。机器学习需要大规模的数据作为驱动，在自然语言处理技术中，驱动机器学习的大规模数据，我们称之为语料库。在自然语言处理中，语料库起到的是语言数据库或知识库的作用，无论是全文检索、文本分类还是机器翻译，在处理过程中都要大量访问语言数据库和知识库。语言数据库中含有语言模型训练参数，这是机器学习必不可少的数据，知识库中包含词法、语法相关规则、词汇语义、语言常识、世界常识等知识，也是自然语言处理必不可少的数据支撑。010203国外语料库的建设Brown语料库：世界上第一个计算机可读的语料库，它搜集的语料来自1961年美国英语出版物上的文本，共500篇，每篇大约2000个单词，合计100万单词。TLF语料库（TremordelaLangueFrancaise），法国国家科学研究中心与美国芝加哥大学联合建成的法语语料库，包括2000书面法语文本，1.5亿词。BNC

英国国家语料库：该语料库书面语与口语并存，词容量超过一亿，由4124篇代表广泛的现代英式英语文本构成。COCA

美国当代英语语料库：是目前最大的免费英语语料库，它由包含5.2亿词的文本构成，这些文本由口语、小说、流行杂志、报纸以及学术文章五种不同的文体构成01020304国内语料库的建设BCC语料库：BCC语料库是以汉语为主，兼有英语、西班牙语、法语、德语、土耳其语等语言的语料库，其中汉语语料规模约150亿字，涵盖了报刊、文学、微博、科技、综合和古汉语等多领域语料。CCL语料库：CCL语料库中包含现代汉语语料、古代汉语语料两类单语语料，涉及的文献时间从公元前11世纪到当代。人民日报标注语料库：该语料库是我国第一个大型的现代汉语标注语料库，以《人民日报》1998年的纯文本语料为基础，完成词语切分、词性标注、专有名词标注、语素子类标注、动词和形容词特殊用法标注、短语型标注等加工工作，现已扩充至3500万字的规模。TCT语料库：清华汉语树库（TshinghuaChineseTreebank,）从包含文学、学术、新闻、应用四大体裁的200万汉字平衡语料库中提取了100万汉字规模的语料文本，经过自动断句、句法分析后再进行人工校对，形成了有完整句法结构树的汉语句法树库语料。01020304语料库的种类与构建按内容构成和目的划分：异质的语料库、同质的语料库、系统的语料库、专用的语料库。按语言种类划分：单语的语料库、双语的或多语的语料库按语料加工程度划分：具有词性标注的语料库、句法结构信息标注的语料库（又称为树库）、语义信息标

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论