基于词语对齐融合提高统计机器翻译质量.ppt

基于词语对齐融合提高统计机器翻译质量 张春越哈尔滨工业大学机器智能与翻译研究室 提纲 研究动机两种词对齐结果分析词对齐结果融合策略实验设置与结果分析结论与未来工作 研究动机 词对齐是当前主流机器翻译技术的基础目前广泛使用的是Giza 实现的IBMModel4对齐模型近年来 研究者也相继提出不少其他的词对齐方法不同的词对齐工具并没有绝对意义上的优劣之分目前学术界对词对齐质量和机器翻译性能之间的关系还没有一个明确的共识 本文切入点 给定两种差异较大的词对齐工具 在同一语料上进行词对齐获取利用这两组不同词对齐的语料共同训练机器翻译模型 是否可以提高机器翻译性能 提纲 研究动机两种词对齐结果分析词对齐结果融合策略实验设置与结果分析结论与未来工作 两种词对齐工具 IBM词对齐模型GIZA 两个方向 grow diag final 合并为n to m对齐HIT MITLAB词对齐模型统计和词典相结合贪心算法实现 SSMT07语料上对齐结果差异度分析 Step1 分别进行GIZA 词对齐 GIZA 双向一对多词对齐 然后采用 grow diag final 启发式策略获得双向词对齐 下文用 G 代称 和HIT MITLAB词对齐 下文用 H 代称 Step2 对两组词对齐结果计算其并集 H G 交集 H G 差集 H G G H Step3 合并两组词对齐语料成为合并语料 Step4 基于合并语料获取词汇概率表 lex f2n lex n2f Step5 根据词汇概率表lex f2n lex n2f 计算各个集合的词对齐关系的平均翻译分值 Step6 统计各种数据 分析两种词对齐信息是否具有明显差异 H G词对齐集合统计 GIZA 获取了超过1千万的词对齐个数而HIT MITLAB只获得7百多万词对齐个数H和G相同的词对齐数只占G本身的44 8 占H本身67 其他数据同样显示出 两者的差异非常明显 各个集合的词对齐翻译平均分数 1 假设S为一个词对齐集合 f e 为任意一个词对齐 Plex f2n和Plex n2f为词汇翻译概率表 则有 各个集合的词对齐翻译平均分数 2 两个均分都满足 H G H G H G G H H G融合两者有希望获得性能上的改善 H G词对齐平均词翻译概率统计 提纲 研究动机两种词对齐结果分析词对齐结果融合策略实验设置与结果分析结论与未来工作 词对齐结果融合策略 IBM词对齐模型实验 G HIT MITLAB词对齐模型实验 H 数据融合实验 HGdc 训练语料 将H与G两个训练语料直接合并模型融合实验 HGmc 将在H和G两组数据上分别训练得到的模型直接合并 提纲 研究动机两种词对齐结果分析词对齐结果融合策略实验设置与结果分析结论与未来工作 实验设置 实验平台Moses训练语料SSMT07 811812句开发集SSMT07汉英开发集测试集SSMT07汉英测试集 对比实验结果 HGdc比G提高了近0 7个BLEU值减少了未登录词 UNK 的数目 注 表中的PP代表后处理 PostProcessing 包括去掉UNK 以及一些标点的前向粘结 如It s it s end end H G HGdc HGmc实验结果 不同源语言短语数统计 这个短语数和UNK的个数直接相关HGdc比G多出2 240个这些短语使得HGdc的UNK个数比G的下降了114个 各组实验