11大Java开源中文分词器的分词效果对比

1、11大Java开源中文分词器的分词效果对比动力节点java在上一篇讲了11个Java开源中文分词器使用方法，这篇就来讲讲Java开源中文分词器的分词效果对比。publicstaticMap<String,Set<String>>contrast(Stringtext)Map<String,Set<String>>map=newLinkedHashMap<>();map.put("word分词器",newWordEvaluation().seg(text);map.put("Stanford分词器"

2、;，newStanfordEvaluation().seg(text);map.put("Ansj分词器"，newAnsjEvaluation().seg(text);map.put("HanLP分词器"，newHanLPEvaluation().seg(text);map.put("FudanNLP分词器"，newFudanNLPEvaluation().seg(text);map.put("Jieba分词器"，newJiebaEvaluation().seg(text);map.put("Jcseg分

3、词器"，newJcsegEvaluation().seg(text);map.put("MMSeg4j分词器"，newMMSeg4jEvaluation().seg(text);map.put("IKAnalyzer分词器"，newIKAnalyzerEvaluation().seg(text);map.put("smartcn分词器"，newSmartCNEvaluation().seg(text);returnmap;publicstaticMap<String,Map<String,String>&g

4、t;contrastMore(Stringtext)Map<String,Map<String,String>>map=newLinkedHashMap<>();map.put("word分词器",newWordEvaluation().segMore(text);map.put("Stanford分词器"，newStanfordEvaluation().segMore(text);map.put("Ansj分词器"，newAnsjEvaluation().segMore(text);map.put

5、("HanLP分词器"，newHanLPEvaluation().segMore(text);map.put("FudanNLP分词器"，newFudanNLPEvaluation().segMore(text);map.put("Jieba分词器"，newJiebaEvaluation().segMore(text);map.put("Jcseg分词器"，newJcsegEvaluation().segMore(text);map.put("MMSeg4j分词器"，newMMSeg4jEval

6、uation().segMore(text);map.put("IKAnalyzer分词器"，newIKAnalyzerEvaluation().segMore(text);map.put("smartcn分词器"，newSmartCNEvaluation().segMore(text);returnmap;publicstaticvoidshow(Map<String,Set<String>>map)map.keySet().forEach(k->System.out.println(k+"的分词结果："

7、;)；AtomicIntegeri=newAtomicInteger();map.get(k).forEach(v->System.out.println("t"+i.incrementAndGet()+"、"+v);););publicstaticvoidshowMore(Map<String,Map<String,String>>map)map.keySet().forEach(k->System.out.println(k+"的分词结果：")；AtomicIntegeri=newAtomicI

8、nteger();"】t"map.get(k).keySet().forEach(a->System.out.println("t"+i.incrementAndGet()+"、【"+a+map.get(k).get(a);););publicstaticvoidmain(Stringargs)show(contrast("我爱楚离陌");showMore(contrastMore("我爱楚离陌");运行结果如下:*word分词器的分词结果：1、我爱楚离陌Stanford分词器的分词结果：

9、1、我爱楚离陌2、我爱楚离陌Ansj分词器的分词结果：1、我爱楚离陌2、我爱楚离陌HanLP分词器的分词结果：1、我爱楚离陌smartcn分词器的分词结果：1、我爱楚离陌FudanNLP分词器的分词结果：1、我爱楚离陌Jieba分词器的分词结果：1、我爱楚离陌Jcseg分词器的分词结果：MMSeg4j分词器的分词结果:1、我爱楚离陌IKAnalyzer分词器的分词结果:1、我爱楚离陌*word分词器的分词结果：*1、【全切分算法】我爱楚离陌2、【双向最大最小匹配算法】我爱楚离陌3、【正向最大匹配算法】4、【双向最大匹配算法】5、【逆向最大匹配算法】6、【正向最小匹配算法】7、【双向最小匹配算法

10、】8、【逆向最小匹配算法】我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌Stanford分词器的分词结果:1、 StanfordChineseTreebanksegmentation2、 【StanfordBeijingUniversitysegmentation我爱楚离陌我爱楚离陌Ansj分词器的分词结果:1、【BaseAnalysis我爱楚离陌2、【IndexAnalysis我爱楚离陌3、ToAnalysis我爱楚离陌4、【NlpAnalysis我爱楚离陌HanLP分词器的分词结果：1、【NLP分词】我爱楚离陌2、【标准分词】我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌我爱楚离陌*4、【索引分词】5、【最短路径分词】6、【极速词典分词】smarten分词器的分词结果：1、【smartenFudanNLP分词器的分词