词语对齐及短语抽取模块的设计与实现

词语对齐及短语抽取模块的设计与实现词语对齐模块的实现实现原理具体实例使用说明实验结果词语对齐模块的实现原理基本思想Giza++实现了基本的IBM统计翻译模型，但得到的对齐结果忽略了多对多及一对多的情况。为了解决Giza++词语对齐的问题，通常利用双向对齐的结果进行优化。优化的方法采用了以两个方向对齐结果的交集为中心点，检查其上下左右(grow)及对角(diag)相邻的8个点，若在并集中，则作为扩展的对齐点加入对齐序列中。词语对齐模块的实现代码如何实现Heuristicalignment(Koehnetal.,2003，Pharoah的训练文档)Neighboring=((-1,0),(0,-1),(1,0),(0,1),(-1,-1),(-1,1),(1,-1),(1,1))Align_Intersect=intersect(e2f,f2e);Align_Union=union(e2f,f2e);Heuristic();Heuristic():forenglishworde=0…..enforchinesewordf=0…..fnif(ealignedwithf)foreachneighboringpoint(e-new,f-new):if((e-newnotalignedandf-newnotaligned)and(e-new,f-new)inAlign_Union)addalignmentpoint(e-new,f-new)词语对齐模块的具体实例使用方法的说明输入：文件：Giza++双向训练的对齐结果文件：从汉语到英语方向，从英语到汉语方向

(默认文件为当前目录下:f2e_giza_alignment.txt,e2f_giza_alignment.txt)

参数选择：在程序运行初始，可以选择输出5种不同的优化结果作为参数：F2E(汉语到英语的对齐结果）E2F(英语到汉语的对齐结果)Union(两个方向取并集)Intersect(两个方向取交集)Heuristic(将交集点向其周围的“邻居”进行扩展)输出：按照词语对齐的语料库的格式定义，以xml文件输出。(默认文件为当前目录下：****_Alignment.xml)使用方法的说明注意事项：在进入Giza++训练之前，已将中文或英文大于100个词的句对过滤。所以在该模块默认的最大句长是100(全局变量MAX).在进行参数选择时，要按照提示中指定格式进行输入，要包含前面的代码和具体类别。如：5)Heuristic。在产生对齐结果的过程中，每处理1000句，屏幕显示一个‘．’。具体细节详见代码中注释。词语对齐实验结果训练集：IWSLT05_training(2万句对)测试集：IWSLT05_test(506句）三种对齐方法结果对比：对齐方法抽取短语数目(万)BLEUNISTIntersect1400.39508.1928Heuristic(Grow_diag)350.40068.2364Grow_diag_final(Pharaoh)310.40058.2458短语抽取模块短语抽取的目的模块定义实现原理：生成最大似然词汇化翻译表短语抽取计算概率一些说明模块定义

输入文件：词语对齐的语料库输出文件：短语翻译概率表功能说明：从词语对齐的语料库中抽取双语短语，并计算翻译概率

实现原理本模块基本实现了PHARAOH的短语抽取方法。基本思想：利用词对齐生成最大似然词汇化词典；抽取短语；对每一个短语对计算4个概率。生成最大似然词汇化翻译表没有直接使用GIZA++的原因：有的词条在GIZA++词典中找不到，会导致一些短语对的词汇化概率为0；GIZA++词典中没有w(c|NULL)和w(e|NULL)这两个概率值。生成最大似然词汇化翻译表生成思路：将对齐的词对直接抽取出；如果某个词没有与之对齐的翻译词，就认为它与NULL对齐；计算同现次数，按照下面公式分别计算出w(e|f)和w(f|e)，从而直接生成词汇化翻译表。

短语抽取抽取条件：短语必须与词对齐相容抽取方法：

提取对齐矩阵中的所有以对齐点为顶点的矩形，条件是与矩形所在行范围内的源词对齐的目标词也都在这个矩形的列范围内，反之亦然。

短语抽取一个实例：

中国化工工业保持稳定增长China

's

chemical

industry

maintains

steady

growth

短语抽取可以抽取出的短语为中国|||China's|||0-00-1中国化工|||China'schemical|||0-00-11-2中国化工工业|||China'schemicalindustry|||0-00-11-22-3中国化工工业保持|||China'schemicalindustrymaintains|||0-00-11-22-33-4中国化工工业保持稳定|||China'schemicalindustrymaintainssteady|||0-00-11-22-33-44-5中国化工工业保持稳定增长|||China'schemicalindustrymaintainssteadygrowth|||0-00-11-22-33-44-55-6化工|||chemical|||0-0化工工业|||chemicalindustry|||0-01-1化工工业保持|||chemicalindustrymaintains|||0-01-12-2化工工业保持稳定|||chemicalindustrymaintainssteady|||0-01-12-23-3化工工业保持稳定增长|||chemicalindustrymaintainssteadygrowth|||0-01-12-23-34-4工业|||industry|||0-0工业保持|||industrymaintains|||0-01-1工业保持稳定|||industrymaintainssteady|||0-01-12-2工业保持稳定增长|||industrymaintainssteadygrowth|||0-01-12-23-3保持|||maintains|||0-0保持稳定|||maintainssteady|||0-01-1保持稳定增长|||maintainssteadygrowth|||0-01-12-2稳定|||steady|||0-0稳定增长|||steadygrowth|||0-01-1增长|||growth|||0-0计算概率对已经生成的短语对计算四个概率。之所以选择词汇化概率公式而不是IBM－1，是因为这个公式利用了更多的短语间的对齐信息。计算概率计算方法：1.对所有生成的短语对分别计算英文短语、中文短语以及二者的同现次数；2.求商得到和；3.利用已经生成的最大似然词典计算两个词汇化概率。计算概率一个计算词汇化概率的实例：

lex(中国化工|China‘schemical)=(w(中国|China)+w(中国|’s))×w(化工|chemical)

中国化学China

's

chemical

一些说明本模块只是抽取出了tightp