中文分词十年回顾_图文

1、 中 文 信 息 学 报 正 选择 在起作 用 。总 的来说 ， 实验 结果 表 明 ， 微软 亚洲 研究 院 的基 于字 标注 的分 词 系 统能 够 在 历届 料库 上达 到最佳 或 接近最 佳 （ ） 语 ： ， ： ， ， 的分 词精 度 。 表 语 料 封 闭 测 试 的 实 验 结 果 比 较 ， ， ，（ ）： ， 参 与者（ 数字为参赛 者代号） 值 ￥ 国 家技 术 监督 局中华 人 民共 和 国 国家 标 准 信 息 处 理 用 现 代 汉 语 分 词 规 范 北 京 ： 中 国标 准 出版 社 ， 第一名 （ ， ） （ ， ） ， （ ） 孙 茂 松 ， 磊 人 机 并

2、 存 ，质 ”量 ” 一 张 “ “ 合 语 言 文 字 应 用 ， （ ） ， ： 刘 开 瑛 现 代 汉语 自动 分 词 评 测 研 究 语 言 文 字 应 用 ， ， ： （ ） 分词系统 孙 茂 松 ， 嘉 彦 汉 语 自动分 词综 述 邹 当 代 语 言 学 ， ， （ ）， 杨 尔 弘 ， 莹 ， 汉 语 自动 分 词 和 词 形 评 测 中文 方 等 信 息 学 报 ， ， ： （） 结 论 十年来 ， 尤其 是 年 词 评 测开 展 分 ， ： 以来 ， 中文分 词 技术 获 得 了长 足 的进 步 。其 主要 表 现为 ：（ ） 通过 “ 分词 规 范 词 表 分 词 语 料

3、 库 ” 的 方法 ， 中文词语 在 真 实 文本 中得 到 了可 计算 的定 使 义 ， 是实 现 计 算 机 自动 分 词 和 可 比评 测 的 基 础 ； 这 （ ） 于手 规 则 的分 词方 法在 评 测 中 不 敌统 计 学 基 习方法 ；（ ） 据 上 的估 算 表 明 ， 登 录 在 数 未 词造成 的分 词精 度 失 落 至 少 比分 词 歧 义 大 倍 以 上 ； 因此 能够 大 幅度 提 高未登 录词 识别 性能 的分 （） ， ， ： ， ： ： ， ： ， ： ， ： ， 词方法 必将 带动 分词 系统整 体性 能 的提升 。基 于字 标 注 的统 计学 习 方 法 正

4、 是 在 这 种 背 景 下 崭 露 头 角 孙 茂 松 谈 谈 汉 语 分 词 语 料 库 的 一 致 性 问 题 语 言 文 字 应 用 ， ， （） 的 。 测数据 证 明 ， 评 这种 基 于字标 注 的分词 系统优 于 以往 的基于 词 （ 词典 ） 或 的分 词系 统 。 回顾 这 十年 来 分 词技 术 的进 步 ， 什 么 是可 供 有 ： 其 他 自然语 言处 理 技 术 借鉴 的经 验 呢 ？笔 者 认 为 ， 由于 自然语 言 的模糊性 和 复杂性 ， 方面 ， 于任何 一 对 ， ： ， ， 进入计 算 的语言 对象都 应 当为其 寻求 一种 可计 算 的 定义 ； 另

5、一方 面 ， 于 推动任 何 一种应 用技 术 的进步 对 来 说 ， 开 、 比的评测 都是 至关 重要 的 。语 言对 象 公 可 ， ： 的定 义和有 关这 种 对象 的 自动 评测 是 紧密 关 联 的 ， 没有可 计算 的定 义 ， 就不 会有 可信 的评测 。 也 （ ） ， ： ， ， 参考文献 ： 黄 昌宁 中 文 信 息 处 理 的 分 词 问 题 语 言 文 字 应 用 ， ， ： （ ） ： 分词 系 统 的封 闭测 试 结 果 列 低 于 的正 式 成绩 ， 因 为 在 本 文 中 使 用 了 更 简 单 的 特 征模 版 。 是 ， ， 期 黄 昌宁 等 ：中文 分

6、词 十 年 回顾 ： ， ： ， ， ， ： ， ， ： ， ： ： ， ： ， ， ， ： ， ， ： ： ， ： ， ， ， ： ， ， 黄 昌 宁 聚 焦 张 普 ， 蔺荪 ， 编 数 字 化 等 汉 语 教 学 的研 究 与应 用 香 港 城 市 大 学 ： 年 月 日 ， ： ， ： 一 ， ， ： 第 二 届 “ 语 言 与 国 家 层 论 坛 绍 兴 举行 高 在 年 月 日， 二届 “ 语 言 与 国家 第 高层 论 坛” 浙江 绍 兴举 行 。会 议 由教 育 部语 言 文字 信 在 息管理 司 主办 ， 绍兴 文理学 院承办 。 河 北 师范大 学校 长苏 宝荣 、 南师 范大 学校 长骆 小所 、 国科 技 名词 审定 委 员 会 副 主任 刘 青 、 云 全 绍兴 文 理 学 院院长 王建华 、 国社会 科 学 院民族 学 与人类 学研 究所 副所 长 黄行 等 中 余位 语 言学专 家参 加 了论坛 。国 家语委 副 主任 、 教育 部语 信 司司长 李字 明教 授作 了主题发 言