基于投票平均的最小错误率训练.pdf

基于投票平均的最小错误率训练基于投票平均的最小错误率训练 王志洋 姜文斌 吕雅娟 刘群 智能信息处理重点实验室 最小错误率训练 投票平均算法 实验 讨论 小结 提纲 最小错误率训练 投票平均算法投票平均算法 实验实验 讨论讨论 小结小结 提纲 对数线性模型 log linear model 最小错误率训练 MERT 通过考察翻译结果的质量来优化权重 在整个特征空间 固定其它维权重 通过线性 搜索的方法调整该维权重 最小错误率训练 最小错误率训练 MERT 初始化权重 解码获得N best翻译候选 并记 录每个特征的得分 以候选作为搜索空间 按照线性搜索优化特征 权重 权重更新 利用更新权重重新解码 再次生成N best候 选 和之前的候选集合并 在扩展的候选集上重新调参 如此循环 直到 开发集中每一个句子没有新的翻译候选生成 最小错误率训练 MERT能很好的解决SMT中参数训练的问 题 但是它也存在一些劣势 虽然每一维的调参结果是全局最优的 但是不 能保证所有维都是全局最优 训练方法与初值有关 缺乏鲁棒性 局部最 优 或者产生很坏的结果 问题的引入 中间红心点对应理论权 重向量 周围的黑点对 应MERT训练出来的权 重 理论与现实是有差距 的 问题的引入 理论与现实是有差距 的 很难消除这种差距 那 就试着减少吧 问题的引入 将MERT产生的这些权 重 都有效的利用起 来 用来逼近理论上的 最优值 减少差距 问题的引入 最小错误率训练 投票平均算法 实验 讨论 小结 提纲 投票平均的思想源自Weighted Average Algorithm 和投票感知机的方法 可以将MERT抽象为一个函数 输入是开发集 输出是各轮参数权重 传统的MERT 取翻译表现最好的那轮权重作为最终 的特征权重 投票平均方法 保留所有有效轮的权重 根据权重对 验证集进行解码 获得该轮权重的权重 也就是得票数 然后将所有有效轮的参数进行加权平均即可 投票平均算法 本方法的思想极其简单 关键是引入了验证集 验证集类似于开发集 主要用来生成各轮权重的得票 数 可以用bleu值来表示 验证集选择 原则上 验证集与开发集越相似越好 但现存的带参考 译文的验证集不多 限NIST和IWSLT 基于n gram匹配计算文本相似度 语言模型的困惑度 启发式约束 由于MERT的非鲁棒性 可能产生较差的结果 只选择对应轮数BLEU值大于0 1的参与投票平均 投票平均算法 最小错误率训练 投票平均算法 实验 讨论 小结 提纲 领域 NIST的新闻领域和IWSLT的口语领域 方向 中文到英文 解码器设置 Bruin 基于MEBTG的短语翻译模型 Beam Search CKY 解码 将短语边界词作为特征 根据最大熵将相邻的两个短 语块分为顺序和逆序两种情形 翻译结果评价 大小写敏感的BLEU Best代表传统的MERT方法 VAA代表投票平均 方法 实验 训练语料 FBIS 24万句对 开发集 MT04 验证集 MT03 测试集 MT05和MT08 语言模型 Gigaword新华部分前1 3训练的4元 模型 实验结果 实验 NIST 训练语料 BTEC 4万句对 600K句对 开发集 IWSLT05 验证集 IWSLT04 测试集 IWSLT07 语言模型 训练语料的英文端 3元语言模型 实验结果 实验 IWSLT 最小错误率训练 投票平均算法 实验 讨论 小结 提纲 三个问题 验证集和测试集比较相似 那么使用验证集作为开发 集 结果会不会更好呢 选择多少轮参加投票比较合适 不投票 仅仅进行平均结果如何呢 讨论 验证集和测试集比较相似 那么使用验证集作为 开发集 结果会不会更好呢 实际上 为了更好的利用现成的语料 所谓相 似 只是相对的相似 实验结果也表明 使用验证集作为开发集 其 结果只是比传统方法略好一点 不如VAA的方 法 讨论 选择多少轮参加投票比较合适 在NIST MT05的实验中 我们根据BLEU值对MERT 产生的各轮权重进行排序 然后选择Top N轮参加投 票 结果如下 讨论 不投票 仅仅进行平均结果如何呢 David Chiang在EMNLP08年的文章中 提出使用 MIRA方法代替MERT 以便引入更多的训练特征 期 间提到了将各轮中间结果平均的思想 仍然以NIST实验为例 结果为 讨论 最小错误率训练 投票平均算法