语料库和词典结构

1、 语料库与词典结构语料库与词典结构小组成员：张滢，孙玉娇，柯楠，刘文强 目录目录nSogouSogou搜狗语料库搜狗语料库n国家语委语料库n中文分词词典结构全哈希词典语料库语料库n语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。应用于词典编纂，语言教学，传统语言研究，自然语言处理中基于统计或实例的研究等方面。 n分类分类 ：n依据它的研究目的和用途 ：（1）异质的 （2）同质的 （3）系统的 （4）专用的 。Sogou搜狗语料库n名称： 文本分类语料库 n关键词： 文本分类、互联网语料 n摘要： 文本分类语料库设计为基于搜狐分类目录手工编辑的网页分类结果组织成的网页、分

2、类结果及基准分类算法在内的综合数据集合。为各种从事中文文本分类工作的研究者提供一个标准的较大规模的研究平台。 Sogou搜狗语料库n介绍： 文本分类语料库来源于Sohu新闻网站保存的大量经过编辑手工整理与分类的新闻语料与对应的分类信息。其分类体系包括几十个分类节点，网页规模约为十万篇文档。n语料库统计的意义：提供一个较大规模的标准中文文本分类测试平台。n应用案例：中文文本分类，主题跟踪与检测等。Sogou搜狗语料库n说明： 语料库数据包括：n 1 用于分类的新闻语料，按照SOGOU-T网页语料库格式整理n 2 分类体系说明n 3 数据集合统计信息n数据下载声明见“SogouLab 数据使用许可

3、证”Please read the “License for Use of Sogou Lab Data” carefully before downloading. 国家语委语料库国家语委语料库n现代汉语通用平衡语料库n8800万字语料n4500万字标注语料库(词语切分词类标注)n句法树库n国家语委语料库的管理由国家语委授权语言文字应用研究所负责n语料库在线() 现代汉语语料库的主要用途及选材规模现代汉语语料库的主要用途及选材规模n主要用途p语言文字的信息处理p语言文字规范和标准的制定p语言文字的学术研究p语文教育p语言文字的社会应用n选材规模p规模较大的通用语料库，其选

4、材字数拟定在5000万字左右，包括抽样材料和整篇材料。教材字数另计。语料的通用性原则和描述性原则语料的通用性原则和描述性原则n语料的通用性原则p作为通用型语料库，现代汉语语料库应真实地反映现代汉语在文字、词汇、语法、语义等方面的全貌。n现代汉语语料库在语料的选择上，应当具有区别性特征。n有别于专业性。n有别于地域性。n有别于纯口语性。p为确保5000万字语料的质量，尽可能地提高所选语料在采字、采词、采句和采义等方面的涵盖量，选材不仅要考虑到语料的时间层次、文化层次和社会使用面层次，还应采取“抓住中心，其他补充”的方式。n时间层次。n文化层次。以具有高中文化程度的人能够阅读的语料为主，其他文化程

5、度为辅。n社会使用面层次。以社会使用面较为广泛的语料为主，其他语料为辅进行补充；以人文与社会科学为主，自然科学为辅；以门类为主，以语体为辅，对门类进行补充。 样本原则样本原则n语言材料的多样性p 选用政论性文章、新闻报道、各类文学艺术作品、科普读物、通俗读物、学术专论及各种应用文语体等现代汉语作品。n语言材料的完整性p 2000字以下的文章原则上全篇采用。报纸可采取整篇文章、整版和整张相结合的方式。n语言材料的遍历性p 选材要注意各学科，各学科分支，各行各业，以及社会生活各个领域的语言文字应用的代表性。 中文分词词典结构中文分词词典结构全哈希词典全哈希词典n全哈希词典结构n该词典包含三级索引，

6、每级索引都用哈希方法实现，其结构下图所示：n本结构用三层哈希表嵌套，每层哈希表的键(Key)域存储该层级索引值。一级索引I1是所有词条的首字哈希值，存储于外层哈希表的键域，每个单元对应一个首字的哈希值，外层哈希表的值(Value)域存放以字C0为首的所有词条。二级索引将以C0为首的所有词条按照词长分类，一种长度的诃存储在中层哈希表的一个单元中，该单元键域存放词长，值域存放所有该长度的词条。每个词条经过特定的哈希函数计算，得到唯一的哈希值(一般是整数)，这些哈希值构成了第三级索引，存储于内层哈希表的键域；而内层哈希表值域存放的是哈希值相同的词条列表。哈希算法设计哈希算法设计n哈希算法设计应该兼顾

7、以下几个原则：n(1)计算速度快，便于实现。查找词条的过程主要时间消耗在哈希值计算上，哈希算法应尽量减少这一过程的时间复杂度。n(2)散列均匀，尽可能少产生冲突。哈希算法一定为同一个对象产生唯一的哈希值，但不一定为不同的对象产生不同的哈希值，也就是一个哈希值有可能对应多个对象。哈希算法设计应该尽量使哈希值均匀分布在哈希表单元中，即使不能完全避免冲突，也应该使尽量少的对象对应同一个哈希值。n(3)提高桶利用率，节省哈希表占用空间。我们将哈希值相同的对象放在同一个桶中，每个桶对应一个哈希值，所谓桶利用率是指哈希表中已占用的桶数和已分配的桶数之比。当这个比值超过装载因子时，应该为哈希表分配若干新的单元，哈希算法应该