汉语分词最大匹配方法

1、中文分词：的最大匹配方法，张月(李正华指导) 2015.9.15，中文分词的目的是把汉字序列分割成单词序列举例说明：输入文：他研究生物化学。 可能的分词：他是研究生化学家。 他是研究生，是化学家。 他研究生物化学。 合理的答案：他在研究生物化学。 分词任务从左向右寻找单词的最大一致(贪婪地寻找最长的词典词)我们有所有可能的单词，即除了单词以外，分词结果的所有单词都出现在词典中的词典。 顺向最大匹配算法、从左向右的检索词的最大匹配从当前位置向右切出最大长度，如果与构成当前词的词典中的单词一个一个地进行匹配成功，则进行下一个匹配，下一个匹配的当前位置成为本次单词之后的单词。 如果不一致，则缩短长度

2、(缩短长度)重新剪切，直到当前单词与词典中的单词一致，或当前单词是单词为止，前向最大匹配算法，从左到右单词的最大匹配，前向最大匹配算法，例如：我在中国词典中最大单词长度为3，正向最大匹配算法，例如：我是中国人第一轮：“我是中”是被选的单词，第一次在词典中找不到匹配，第三次在词典中找不到匹配：“我”是被选的单词，匹配成功，加最大匹配算法中国人第二次：第一次：“中国”是选定的单词，在词典中找不到匹配的第二次”是选定的单词，是在词典中找不到匹配的第三次”是选定的单词，匹配成功，加最大匹配算法，例如：我/是/是顺向最大匹配算法、从右向左的单词最大匹配和顺向最大匹配的不同，是从句子的末尾向左切出一定的长

3、度来进行匹配。 反向最大匹配算法，从右向左单词的最大匹配，反向最大匹配算法，例如：我是中国人的第一回合：“中国人”是选定的单词，在词典中匹配成功，反向最大匹配算法，例如：我是/中国人的第二回合因为比假定的最大单词长度小，所以在选择了“我”的词典中找不到匹配的第二次：“是”是选择的单词、单词、匹配成功，逆最大匹配算法，例如：我/是/中国人第三次：第一次：剩馀单词数小于3，假定的最大单词长度给出了反向最大匹配算法、人工标记的分词答案，并评价某种算法给出的结果。正确率(Precision)=正确识别的单词数/识别的个体总数再现率(Recall)=正确识别的个体总数/测试集中存在的个体总数f值=正确率

4、*再现率* 2/(正确率再现率)，分词算法评价：正确率/再现率/F值，思考：评价程序是utf-8为不定长度，根据左侧比特1的个数来确定占有几个字节，中文一般占有2到4字节，在utf-8编码中，gbk编码方式占有2个字节，英语占有1个字节，并基于第一个字节的最高有效比特，第一个字节如果确定两个字节连接到一个字符，则一个字节是一个字符的中文编码范围的第一个字节|第二个字节的0x 81-0x Fe (129-254 )|0x4-0x Fe (64-254 )、GBK编码、数据格式，四个程序在Linux上运行)，1 .构筑词典(3点)，构筑给一个人好的词语的文件data.conll构筑一个词典，输出到一个文件，word.dict (格式自定义)2.构筑毛的文本(2点) data.conll文件名称data.txt，4个编程任务(不论编程语言，在L