各种词典、语料库的管理程序、辅助开发程序的功能与性能.doc

各种词典、语料库的管理程序、辅助开发程序的功能与性能叶嘉明：1、名称：汉英双语短语信息数据库（BABEL） 辅助工具集 包括：A、一致性检查工具功能：l 检查根据既定规则集进行的标注是否一致。目前主要用于检查：非联合结构的中心词是否唯一；汉语短语成分之间的语法关系；字段间的匹配；错误记录的文件格式l 词表生成器可统计生成每个词的每个词性的出现频度、作中心词的频度 B、英语部分中心词自动标注 出现的问题：处理过程的可视化；效率问题；正确率；整合2、名称：短语抽取软件 界面： 功能：从中英文对齐的已经标注好的文本中自动抽取中英文对齐的短语。 出现的问题：不正确的语料的处理，如何自动纠错？赖志国： 名称：术语信息网已经实现的功能：1、 搜索信息科学领域的术语的定义、用例、英文原文2、 链接到相关的英文术语网站即将实现的更多功能：1、 内容的扩展：增加字典、词库；增加术语在语料库中的用例情况2、界面的改进：全局的设计改进；具体的细节改进；logo的制定；对一个中文的多个对应英文意的选择；对客户的个性化界面2、穗志芳：名称：术语自动提取软件功能：可用于新词的抽取，对分词错误有一定的容忍性和修复性方法：迭代训练领域词库梅俏竹： 名称：分词软件包括：正向最大匹配软件；逆向最大匹配软件、正向最小匹配软件、逆向最小匹配软件、切分预处理软件、串频统计软件优点：界面统一，以文本文件输入输出、代码可复用、支持多文件批处理、操作简单柏晓静：名称：汉英双语平行语料库辅助工具1、 PreEncoder (1)负责人：吴拥华功能：1）将原始语料转换为统一的TXT格式 2）加入段落标记2、 PreEncoder (2) 负责人：吴拥华功能：按要求进行噪音、标点、空格的处理界面：3、 Encoder 负责人：侯明强功能：辅助工作人员 1）标注语料的基本属性； 2）标注语料中的错误和噪音信息等；3）对语料文本进行必要的对齐前整理；4、 Checker负责人：张化瑞功能：负责对整理后的语料文件进行检查，包括 1）检查语料属性标记有无错误 2）统计语料库中各种不同文件类型的分布情况3）语料库中自然段落数量统计，句数统计，错误标记数量统计，噪音标记数统计等5、 PASAlinger负责人：张化瑞功能：负责对整理及检查过的语料文件进行段落对齐和句子对齐界面：6、 Corrector 负责人：侯明强功能：辅助工作人员对经过段落对齐和句子对齐的语料进行人工校对界面： 7、 Concordancer 负责人：李宇功能：1）语料库组织和管理；2）统计；3）检索；4）呈现8、相关文档8、双语语料库收集整理加工任务说明书以及相关规范双语语料库整理程序说明书双语语料库整理标记工具说明书双语语料库手工整理工作手册双语语料库标记统计、检查工具要求双语语料库句子对齐辅助校对工具要求双语相关集列工具功能任务说明书双语相关集列系统实施要求李康年、王惠：名称：现代汉语语义词典辅助开发工具1、 词典编纂子系统 功能：A、 打开词典，词典中的所有词按音序排列界面：B、 在“编辑”菜单选中“排序”，允许用户以多种方式排序；在“查看”菜单中选取“用户定义”，即可打开图2的对话框，按任意指定条件检索词语，可以多种条件组合检索、模糊检索。界面：C、填写或修改词语的属性值界面：2、词典检测系统功能：A、 自动对所填入的属性值进行有效性检查，如果发现属性值漏填或超出取值范围，系统将自动报错，并给出具体的出错信息，以便开发人员立即检查、修改错误。报错界面： B、 提供其他词典的语义分类情况作为参照，利用其他词典对语义词典进行检测维护；如果需要的话，还可以从已有的词典中进行二次知识挖掘，预填语义词典的某些字段，然后进行人工校对。界面：3、 词典项目管理子系统4、总功能：对语义词典编纂项目进行管理，包括进度管理、任务管理、人员管理、质量管理。对整个词典项目进行总体管理，可方便地对任务进行分工合作，并随时对出现的问题进行监测。主要有两方面的管理：A、 数据库的自动分发/合并功能：词典编纂管理者可以很方便地根据不同的条件向词典开发人员分发任务。B、B、词典版本的自动比较 功能：在开发过程中，由于词典的属性信息一直要不断地维护和更新。通过版本比较，可以列出所有更改过的词条和字段。这样，二校及终校人员就可以全面把握前面的修订情况，及时发现并纠正各种错误，防止漏校，保证词典质量。同时，版本比较是独立于具体数据库