自然语言理解与机器翻译实现.pdf

第 2 5卷 第 2期 2 0 0 6年 3月 许 昌学院学报 J OURNAl OF XUCHANG UNI VERS I TY Vo 1 2 5 No 2 Ma r 2 o 0 6 文章 编 号 1 6 7 1 9 8 2 4 2 0 0 6 0 2 0 1 1 4 0 4 自然语言理解与机器翻译实现 李振 亭 任靖娟 河南师范大学 物理与信息工程学院 河南 新 乡 4 5 3 0 0 2 摘 要 计算机技术对人类社会的全方位渗透引起 了语言的重构 不断创造出不同于传统 自 然语言的计算机语言 这种语言从简单的应用到各种复杂的对话 并逐步发展到能象自然语言一 样表达和传递 但基 于语料库技术的应用潜力有限 机器翻译的人工修 正也十分必要 关键 词 自然语 言理 解 机 器翻译 人 工智 能 中图分 类号 H 3 1 5 9 文献 标识 码 A 0 引言 自然语言理解研究是实现人与计算机之间用 自然语言进行有效通信的各种理论和方法 语言信息处 理 也就是机器翻译 简称 M T 是数字计算机在非数值领域 的最早应用 自然语言理解和机器翻译是计算 机科学与人工智能领域 中的一个重要方向 随着计算机和人工智能技术的发展 自然语言理解不断取得 进展 机器翻译是自然语言理解最早的研究领域 由于早期研究中理论 和技术的局限 所开发 的机译 系统 的技术水平较低 不能满足实际应用的要求 上世纪 8 0年代之后 自然语言理解 的应用研究广泛开展 机 器学习研究又十分活跃 并出现了许多具有较高水平的实用系统 这标志着 自然语言理解在理论上和应用 上取得 了突破性进展 谈 到 自然语言理解 N L U N a t u r a l L a n g u a g e U n d e r s t a n d i n g 与机器翻译 MT M a c h i n e T r a n s l a t i o n 有关专家曾经提出这样的设想 利用现代信息技术 特别是 自然语言理解 的最新科学技术成 就 研制 面 向奥运 的多语言智能信息服务网络系统 力争在 2 0 0 8年北京奥运会期间为各国运动员 记 者 观众和来 自全世界数以百万计的旅游者提供综合 全面 多语种 可定制的信息服务 以实现 申奥报告 提出的 任何人 在任何时间 任何场所都能够安全 方便 快捷高效地获取可支付得起 的 丰富的 无语言 障碍的 个性化的信息服务 L 2 j 的承诺 这个设想非常有启发性和学科导向意义 对于从事 自然语言理解和 机器翻译技术 的工作人员提出了具有创造性的挑战和思考 1 对 自然语言理解 和机器 翻译 的认识 自然语言是在人类文明发展的漫长过程中 自然形成的 所谓 自然形成 意味着它的形成是基于每个人 所拥有的一种基本权利 自由创造语言符号和 自由约定符号语义 而 自然语言的 标准化 工作 则不得不 以自由创造成果的自然流行为基础和前提 令人眼花缭乱的网络语言虽然有点另类 但却是 自然语言这一 基本特征的有力证明 俞士汶教授曾撰文指出 自然语言理解一直是计算机科学中的一个引人人胜的 富 有挑战性的课题 由于 自然语言十分复杂 人是如何理解语言的 怎样 给 理解 下一个确切的定义是极其 困难的 J 结构主义理论认为机器的理解机制与人相 同 问题在于谁也说不清 自己理解语言的步骤 而功 能主义理论认为机器的表现与人相同 由图灵测试表明 如果通过 自然语言的问答 一个人无法识别和他 对话的是人还是机器 那么就应该承认机器具有智能 从信息处理的角度看 语言既然是信息的载体 如果 计算机实现了机器翻译或 自动文摘或人机会话等语言信息处理功能 则认为计算机具备了理解 自然语言 的能力 为 了实 现这些 功能 计算 机除 了需要 具备 会分 析输 入 给 计算 机 的文 章 或话 语 的能力 之 外 还 需 要 具备能生成语句与文章的本领 J 因此 在计算机科学 中 经常使用 自然语言处理 或 语言信息处理 这 类术语来概括这些研究内容 目前理论界公认 自然语言处理是一门交叉学科 它涉及到语言学 数学 逻辑 收稿 日期 2 0 0 5 0 5 2 3 作者简介 李振 亭 1 9 5 4一 男 河南禹州人 副教授 硕士研 究生导师 研 究方 向 现代教育技 术 计算机辅助 教育及数 字媒体创作 维普资讯 第 2 5卷 第 2期 李振 亭 等 自然语 言理 解与机 器翻 译 实现 l l 5 学 计算机学等等多个学科口 j 机 器翻 译 MT是利 用计 算 机把 一种 自然语 言转 变成 另 一种 自然语 言的过 程 用 以 完成 这一 过 程 的软 件组合叫做机器翻译系统 机器翻译的理论基础 计算机语言学有两大 目标 技术方面和心理学方面 前者借助计算机分析 和处理 自然 语言 后者则有助 于理解 人类如何处理 自然语 言 关 于机器 翻译的历 史l 5 j 可以追述到 1 6 2 9年笛卡儿主张的一种 泛语言 u n i v e r s a l l a n g u a g e 就是对各种不同语声而有相 同 含义 的词赋 以 同一个 符号 这 实 际上就 是语 言转 换 和语言 翻译 最初 的设想 到 1 9 3 9年 贝尔 试验 室 在纽 约 的世界博览会第一次演示了电子语音合成设备 1 9 5 2年 Y e h o s h u a B a r H i l l e l 作为 MI T的全职机器翻译 的 研 究员 组织 了第 一次 M T的学术 会 议 此 后长 期 以来 世 界 上许 多 国家都 一 直 在从 事 机 器 翻译 研 究 尤 其 是在上1 廿 纪 4 0年代电子计算机的诞生之 13起 就开始了将计算机应用于语言翻译的探索 但一直没有获 得 成功 到 1 9 6 6年 美 国 向全 世界 发表 了有 名 的 A L P A C报 告 宣 布 了机 器 翻译 在 可 预见 的将 来是 不 可 实 现的 由此 机器翻译走入低谷 上世纪 7 0年代中期一直到整个 8 0年代 由于需求 的推动和计算机软 硬 件技 术 的飞 速发 展 使得 机器 翻译 的研 究开 始在 世界范 围 内复苏 并 日趋走 向繁 荣 这 时 的机器 翻译 系统 主 要 采用 两种 方法 基 于转 换 的方法 与基 于 中介 语 言的方 法 这 两种 系 统都 依赖 于对 语 言 的分 析 也 就 是 某 种 程度 的 理 解 由于这 时 的系统 主要 依赖 于语 言专家 人工 编写语 言 规则 所 以这 一 类方 法又 被称 为基 于 规则 的方法 但人们也发现 由于机器翻译涉及的知识过于复杂 知识库规模庞大 规则之间的冲突变得 越来越多 翻译的正确率在达到一定程度后很难再提高 1 9 9 6年 联合国教科文组织委托 日本联合国大学 组织实施重大跨 国世纪性异种语 言 自动处理软件开发工程 通用 网络语 言 U n i v e r s a l N e t w o r k i n g L a n gua g e 简称 U N L 工程 的 研究开 发工作 受 到机器 翻 译界 的瞩 目 该项 目的最 终 目的是通 过 中间语 言 实 现 联 合 国一 百八 十多个 成员 国之 间的语 言 自动转 换 从 而 克服 语 言 障碍 达 到各 国语 言 的 网上 互通 增 进 各 成员国之间在政治 经济 科技 文化等领域的联系和交流 该项 目的提出是在机器翻译界进行 的一次有益 探索 我国的机器翻译研究从 1 9 5 6 年开始就得到了国家的高度重视 具有多方面不同知识结构人员的协同 攻关的特点 这是该项研究 自身的特点所决定的 因为它需要至少计算机科学 数学 语 言学等多方面知 识 1 9 5 9年 中国的机 器翻译 研究 者成 功地进 行 了 中国首次 机 器 翻译 试验 表 演 成 为 世 界上 第 五个 进 行这 种实验的国家 1 9 8 0 年 心理研究所李家治 陈永明建立 了机器理解汉语的 C L U S系统 语言研究所范继 淹 徐志敏开发了 R J D一 8 0汉语人机对话系统 1 9 8 3年 马希文设计 了 F I N L通用句法分析 系统 1 9 8 5年 董振东 张德王 A 研制了科译一号 1 9 8 6 1 9 9 3年 由中软总公 司 清华大学 北京语言大学 中国人民大学等 单位参加的研制了亚洲多国语机器翻译系统 1 9 9 2年 计算研究所陈肇雄等开发 了智能英汉机译系统 6 J 从 上 世纪 9 0年 代初期 至今 中国的机 器翻译 走 入 了快 速发 展的 时期 出现 了许 多商 品化 系统 近期 的 机译 系统大 体上 有这样 一些 特点 多数 配有 大规模 的 多种领 域 的专 业词 典 多数 能 在 网 上运 行 有 相 当不 错 的 方 便 用户的 界面 7 1 2 基 于语法分析和基于语 料库的机器 翻译技术 机器翻译是一个极其复杂的系统工程 它所涉及的每一个领域的发展都会严重制约机器翻译的进展 由于人工智能技术在现阶段还不成熟 与人脑机制存在很大的差距 计算机实现 自动识别 自动推理的功 能还很有限 很难在没有固定规律的语言学之中提取出我们想要的信息 现阶段的电脑没有办法 看懂 人 类的语言 而机器翻译取得突破性进展依赖于计算机技术与人工智能的发展 实际上 机器翻译的复杂性 是由人类 自然语言本身的复杂性所决定 的 是无法避免的 由于影响人类 自然语言的因素太多 包括韵律 词法 句法和语义等等 而这些因素又互相交错在一起 再加上 自然语言处理技术 N L P 需要的知识非常 复杂 理 解语 言 的过程是 动态 的而不 是静 态 N L P需 要 的 知识 大 多是 归 纳 的 而不 是 演绎 的 对 于 同 样 的语 言 现象 即使 人也 不一定 能够得 出一 致 的理解结 果 所 有这 些 因素 决定 了 N L P的非 确 定 性 加上 对歧 义 的 限制和系统的覆盖率矛盾 以及领域词典不充分等 这些都大大制约着机器翻译研究 的进展 机器 翻译之 所 以被列 为 二十 世纪 的十大科 技难题 之 一 是 因为从 目前机译 系统 的现 状看 无论 是基 于规则 的系统 还 是基于经验的系统 都无法突破高准确率这一难关 有人甚至把这个技术难题称为机器 翻译系统研究 的 哥德 巴赫猜想 现今的机器翻译实现技术原理主要有两大分支 基于语法分析和基于语料库 基于语法分析的技术就是对源语言语句的词法 语义 语法和句法进行分析并进行判断和取舍 然 后重新进行排列组合 最后生成 目标语言 这一系列过程均是模仿人脑进行翻译的过程 尽管计算机具有 维普资讯 1 l 6 许 昌学 院学报 2 0 0 6年 3月 良好 的存储 记忆 和执 行功 能 但 它 却缺少 良好 的思 维 功能 而人类 的 翻译 工 作恰 恰是 一种 极其 复杂 的逻辑 思 维过 程 要 解 决这一 矛盾 就必 须将 输入 计算 机 的语 言公式 化 规 则化 规则 设计 的实 质是 寻找 一种 规则 描述语言 用于描述 自然语言 使其能被计算机处理 由于 自然语 言具有灵活性 复杂性和开放性等特 点 规则 的建立 完善是很难的 目前用该方法做出的翻译软件 其译文的可读性不太理想 该方法在机器 翻译研究的初期 占主导地位 基于语料库技术的工作原理是利用统计学 和概率方法建立对照语料库 在翻译时 从语料库中抽取 与输入句子相类似的例句 然后模仿例句来实现源语言与目标语 言的转换 采用这种技术能够得到可读性 和准确性较好 的译文 这种技术 目前已越来越受到重视并已在很多产品的开发 中得到应用 而且成为人们 机 器 翻译 的关键技 术 为使机器翻译能更好的体现原文的意思 达到译文最优化的翻译效果应从以下几方面努力 建立基于语料库的机器翻译的运行机制 通过文本扫描 文体缓冲 文本缓 冲 译文缓 冲 最终译 文 等 四个过 程 经过计 算 机 处 理 环 节 后 源语 文本 的机 译 结 果 将 以 文 本 文 件 的 形 式 出现 在 用 户 指 定 的 文 件 夹 开发人机交互机器翻译 系统 这样在翻译过程中 把离散的 没有一定规则的工作交给人来做 使机 器 和人二 者 互补 长短 各 尽其 能 就会解 决机 器 翻译带 来 的语法 语 义 和句法 上 的歧 义 现象 l l 建立一系列面向机器翻译的语料库 句型库 文体特征库 认知知识库 开发一系列针对面向机器翻译的语料库 句型库 文体特征库 认知知识库的 自然语言处理工具 分 析 工具 检 索 工具 不断融合各种语言学理论 翻译理论和信息技术 包括人工智能技术 的最新成果 改善基于语料 库 的机器 翻译 系统 的性 能和质 量 3 人 工监控 和修正 的必要性 虽然语料库的机器翻译系统具有一系列的明显优势 但有时离开了人工修正 也很难达到对原文的 正确理解 下面我们试以 联通多语种在线翻译系统 和 雅信 C A T 2 5 为例 来分析阐述机器翻译 的缺陷 与人机互助翻译的必要性 与机器 自动翻译系统 Ma c h i n e T r a n s l a t i o n M T 不同 雅信 C A T 2 5是一种计算 机 辅 助翻译 系统 C o m p u t e r A i d e d T r a n s l a t i o n C A T 主要采用 翻译记 忆 T r a n s l a t i o n M e m o T IM 和灵 活的人 机交互技术 它的优点在于彻底改变了传统的翻译工作方式 由译员把握 翻译质量 让计算机辅助人工快 速完成工作 由此可以大幅提高翻译效率 保证译文质量 从而满足精确翻译 的要求 为了便 于理解 下面 引用一 些 翻译实 例加 以分析 范例 1 A r t i fi c i a l i n t e l l i g e n c e f o l l o w s a s t a t i s t i c o r d e r i n s t e a d o f m e c h a n i c a l l a w s 雅信系统 人工智能遵循统计命令而不是机械法律 人工修正 人工智能的行 为指向遵守统计性规则而不是机械规则 范 例 2 A s h o rt t e r m o r a n i n s t a n t v a l u e j u d g m e n t i s o n e o f t h e m o s t d i f fi c u l t p r o b l e m s i n A I r e s e a r c h 雅信系统 一短的期限或一立刻价值判断是最困难的问题之一在 a i 研究 人工修正 对于人工智能来说最难的就是即时或短期价值 的判定 范例 3 H i g h i n t e l l i g e n t c y b e r b r a i n m a d e b y m a n c a n g r e a t l y s h o rt e n a l l s c i e n t i fi c r e s e a r c h e s 雅信系统 高级 的智能的制造被可以极大地缩短全部的科学研究 人工修正 人类制造高级智能电脑可以大大缩短所有科研项 目 从以上翻译实例可以看出 机器翻译虽然能够方便快捷地处理文字材料 但离开了人工监控与修正 很难 达 到准确 翻译 的要求 甚 至会得 出 风马牛 不相 及 的结果 尤 其是 在处 理超 出 自然语 言 之外 的文 字材 料 必须考虑文化 语境的差异 在翻译时得更加小心才是 作为译者 必须保证 自己能够熟悉文本所涉及 到的相关文化意境 正确地理解原文 做出正确的语境假设 并在语境 中寻求关联 才能成功地进行 翻译 由此可以看出 机器翻译只能作为一种辅助手段 只有人机互助才能达到满意的效果 自然语言应如此 文 学语 言更应 如此 总而言之 机器翻译的难点在于 自然语言理解程度 虽然如此 不容否认的一个事实是 机器翻译 目前 已经初步走 向实用 比如 目前在我国软件市场上出现的很多英汉机器翻译软件 虽然这些系统有待完善 翻译质量还远远不能满足广大用户的要求 客观地讲 我国的机器翻译研究水平和应用程度 比起西方语言 之间 的机 器 翻译来 说还有 一定 的差 距 其 中一 个重 要 的原 因是 汉语 和 西方 语 言之 间 的 差距 比不 同种 西 方 维普资讯 第 2 5卷第 2期 李振亭 等 自然语言理解与机 器翻译 实现 l l 7 语言之问的差距要大得多 这是由汉语的独特性决定的 比女 l 汉语成语 风马牛不相及 还有地方方 中高 度 凝练 的语 言 准 我 啥 尿 采用机 器 翻译尤 论 如何也 传达 汉语 寿文 字 的意境 和神韵 4 结语 世界经济全球化 以及计算机网络的迅速普及 给机器翻译和 门然语音处理技术提出 r空前的挑战 同 时也为其发展拓展出极大的空间 基于语料库的机器翻 译系统具有一 系列 的明 优势 它将在基于 词库 的机器翻译系统基础之上 结合最新的人 I 智能技术 实现机器翻译质量的大幅度提高 可以推测 在不 远的将来 各种机器翻译和 自然语言处理软件就会像今天的文字处理软件一样 成为普通用户 日常生活中 不可 缺少 的工具 但是 我 们必须 明白一点 人类 自然语 言足 一个 极其 复 杂 的 系统 内然 语 言处 理 技 术 能达 到 的最高境 界 当然是 实现 真正 的 自然语 言理解 而达 到语 寿信 息处 理 的 自由王 国 境 界 几乎 不 是 不可 能 的事情 因为一 个基 本 的事实 是 在 人机 关 系 中 计算 机 永远 无 法 超越 或 者 替 代人 脑 人 工 智 能无 论 如 何 发 达也无 法逾 越人 类 复杂 的思维 机器 翻译 在 一些 专业 性 特 别慢 的 领域 比如 哲 学 文学 作 品的 翻译 中 永远无 法替 代人 工翻 译 但 我们 也有理 由卡 日 信 随着人 类科 学 研 究 的进 一 步发 展 完 善 机器 翻 译 会越 来 越 接近于实现真正意义上的自然语言理解 从而更好地服务与我们的生活 参考 文献 1 黄荣怀 李茂 国 沙景荣 知识工程 学 一 个新的重要研 究领域 D B O L h t t p w w w s z s s k x x c o m z y z s m o r e a s p n a m e wa n h a j c h e n g i d 3 01 6 2 邓永强 郑方 自然语 言理 解技术 智能信 息服务 的核动 力 D B O L C T I 论坛 周刊 h t t p w w w c t i f o r u m c 0 m f a c r y f o2 0 7 d Ea r d e a r 04 0 4 0 2 ht m1 3 俞士汶 自然语言理解与语 法研 究 M 北京 商务 印书馆 1 9 9 9 2 4 0 2 5 1 4 马希文 自然语 言理解 J 计算机工程 与应用 1 9 8 7 4 l 8 2 1 5 K r i s t i n D e m o s Ma c h i n e T r a n s l a t i o n S P a s t a n d F u t u r e D B O L Wi r e d M a g a z i n e h t t p w w w w ir e d c o m w i r e d a r c h i v e 8 0 5 t i me l i n e h t m1 6 姚 天顺 朱靖波 自然语 言理 解 一种让机 器懂得人类语言的研 究 第 2版 M 北京 清华 大学出版社 2 0 0 2 7 董振 东 中国机 器翻译的世纪回顾 D B O L 中国翻译 网 h t t p w w w c h i n a t r a n s l a t e n e t I T i t 4 0 0 2 h t m 1 8 吴思乐 机器翻译与人工翻译浅析 J 广 东交通职业技术 学院学报 2 0 0 3 4 8 2 8 4 9 陈光 火 翻译软件渴望 成 熟 我 国翻译 软件 的现状 与未 来 D B O L h t t p w w w b l o g c n c o m u s e r 6 0 l i u d e h u a i h a o b l o g 2 5 2 5 9 1 63 h t m1 1 O 李文翔 晏蒲柳 夏德麟 基于 内容主题的语料库 系统设计与实现 J 计算机应 用研 究 2 0 0 4 1 0 1 4 9 1 5 1 1 1 刘群 孙 建平 计算 机能理 解语 言吗 机 器翻 译和 自然语 言 处理 D B O L h t t p w w w p c w o r l d C O rn c n 2 0 0 1 b a c k i s s u e s 21 1 6 1 6 0 8a a s p 责任 编校 周 伦 A Re fle c t i o n o n t h e De v e l o p me n t a n d Ap p l i c a t i o n o f NLU M T Te c h n o l o g y L I Z h e n t i n g R E N J i n g j u a n I n s t i t u t e o fP h y s i c s I n f o r m a t i o n E n g i n e e r i n g H e n a n N o r m a l U n i v e r s i t y X i n x i a n g 4 5 3 0 0 2 C h i n a Abs t r a c t T h e o mn i b e a r i n g a p p l i c a t i o n o f mo d e m c o mp u t e r t e c h n o l o g y