大学基于语料库的双语词典编纂平台

1、基于语料库的双语词典编纂平台基于语料库的双语词典编纂平台http:/ cobuildlmacmillan english dictionaryl语料库辞书编纂技术在中国语料库辞书编纂技术在中国l已经引起广泛关注l商务印书馆l南京大学l广东外语外贸大学l国家语委l总体而言，还落后于西方国家l基本上还没有基于语料库编纂的辞书(?)l缺乏大规模的用于辞书编纂的语料库l缺乏友好可用的计算机化的辞书编纂平台基于语料库的词书编纂平台基于语料库的词书编纂平台要真正发挥出语料库以及语言信息技术在词典编纂中的作用，切实提高词典编纂人员的效率和提高最终词典产品的质量，就必须认真探索计算机化的词典编纂流程和模型并建

2、立基于这些模型的软件系统。基于这一思考，我们开始了构建“基于语料库的双语词典编纂平台”的工作，期望能为我国辞书编纂技术的现代化工作做出些许尝试。 平台构建的目标平台构建的目标l提高汉英双语辞书的编纂质量l词典编纂决策基于真实语言材料(语料库)l为词典编纂提供用例以及搭配、词频等统计信息l丰富的参考词典资源l提高双语辞书的编纂效率l减轻传统词典编纂人员的非智力劳动l网络化的项目管理l为双语辞书编纂提供一个基础平台工作基础工作基础l从2001年起，开始建设汉英双语对齐语料库l双语对齐语料库是双语词典编纂不可或缺的资源之一l在互为译文的汉英两种文本之间建立了句子级的对齐关系，并全部经过人工校对l规模

3、：汉语：2000万字英语：1800万词对齐句子对：80万对l为词书编纂平台的构建提供了一个工作基础l当然，编纂平台并不限定一定使用北大的双语对齐语料库北大双语语料库工作介绍北大双语语料库工作介绍规范l基于xml标记语言l便于共享和交换l便于统一处理l容易获得广泛的软件支持l标记层次l文本属性信息l领域、语体、年代、作者、译者等l单语文本结构信息l语篇、段落、句子、词的边界、词的词性l双语对齐信息l原文、译文 句子间的对应关系和对应模式语料库标记样例（一）语料库标记样例（一）语料库标记样例（二）语料库标记样例（二）北大的双语语料库北大的双语语料库技术研究l汉英双语语料库处理软件工具集l汉英双语语

4、料段落、句子级对齐软件l汉英双语语料词汇级对齐软件l汉语文本词语切分和词性标注软件l统计汉语句法分析软件ltokenizer for english textllemmatizer for english textlpos tagger for english textl双语语料检索系统(parallel concordancer)双语词典编纂平台的结构双语词典编纂平台的结构 参参考考词词典典库库 (reference dictionary) 平平行行语语料料库库 (parallel corpus) 语语料料服服务务管管理理器器 (corpus service manager) 互互联联网网

5、(internet) 词词典典编编辑辑工工作作台台 (workbench for lexicographers) 双语词典编纂平台的基本功能l语料库的定制和索引l参考词典的定制和索引l词典编纂项目的管理l词典条目的生成和管理l释义词表的生成和管理l词典编纂任务的管理l词典编纂平台的用户管理l词典微观结构的定制和管理l结构化词条编辑界面l语料库检索、参考词典检索l基于语料库的搭配信息统计分析词典编纂平台用户词典编纂平台用户系统管理员 系统管理员系统管理员 管理资源管理资源 启停服务启停服务 身份验证身份验证 主编设定主编设定 双语语料库双语语料库 参考词典库参考词典库 词典编纂项目词典编纂项目

6、创建和管理创建和管理 词典编纂平台用户词典编纂平台用户项目负责人 导导 出出 词词 典典 定定 稿稿 一一 致致 性性 检检 查查 审审 核核 抽抽 样样 检检 查查 身身 份份 验验 证证 词词 典典 主主 编编 结结 构构 制制 定定 资资 源源 选选 择择 结结 构构 调调 整整 词词 表表 制制 定定 受受 限限 词词 表表 制制 定定 项项 目目 组组 创创 建建 角角 色色 分分 派派 (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) (13) 词典编纂平台用户词典编纂平台用户词典编写人员 词 条 修 正 词 条 查 阅 身 份

7、验 证 词词 典典 编编 辑辑 词 条 编 写 词 条 审 核 查 询 语 料 统 计 筛 选 (1) (2) (3) (4) (5) (6) (7) (8) 查 询 参 考 词 典 词典微观结构的定制词典微观结构的定制词条的格式化编写词条的格式化编写语料的检索和统计语料的检索和统计查询语言语料检索举例语料检索举例 .党派阶级的 民主民主政治的斗争. .the struggle for democracy is bound to mani. .基本的是从 民主民主政治斗争中. .the struggle for democracy . that is. .必须贯彻 民主民主的精神. .a sp

8、irit of democracy in exercising lead. .封建的缺乏 民主民主的国家，. .country that lacks democracy , it is. .它能在 民主民主政治斗争中. .the struggle for democracy , the party. .具有充分的 民主民主精神，. .fourth , since democracy constitutes the . .中的武断不 民主民主的错误，. .the struggle for democracy . first ,. .政治的开展， 民主民主教育比任何. ., education i

9、n democracy has become more. .我们要在 民主民主政治斗争中，. .the struggle for democracy we should ensure. 语料的检索语料的检索排序 .没有无产阶级的 民主民主和无产阶级的. .工作和一系列的 民主民主改革的任务. .发展这样的 民主民主政治斗争，因为它对于我们是有利无害的. .这是一个重大的 民主民主运动. .发扬 民主民主不会妨碍统一领导. .集中制，发扬 民主民主，加强集中. .，在充分发扬 民主民主的基础上，. .怎么样，这对于发扬 民主民主有好处. .，这对于发扬 民主民主，贯彻执行. .真正地发展 民主民主，民主政治斗. .有意识地去发展 民主民主政治的斗争，. 生成词频表生成词频表the 8830 and 4572 of 3990 to 3619 in 2863 we 1816 a 1727 party 1433 is 1252 should 1119 的 7952 是 2273 不 1445 在 1409 我们 1358 了 1262 党 1010 和 1005 有 974 要 958 的 u-助词 7895 是 v-动词 2269 不 d-副词 1442 在 p-介词 1408 我们 r-代词 1358 党 n-名词 1008 和 c-连词 990