自然语言处理 课件 知识点3.1词性标注与命名实体识别

自然语言处理项目3词性标注与命名实体识别

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304词性标注什么是词性标注词性（part-of-speech，POS）是指词的语法分类，又称为词类。不同的语言都有基本的词性，在英语中有10种，包括名词、动词、形容词、数词、代词、副词、介词、连词、冠词、感叹词，汉语中有12种，比英语多了量词、助词和拟声词，少了冠词。词性标注就是把分词结果中的每一个词，标注出它的词性，也就是确定每一个词是名词、动词、形容词还是其它什么词性。词性标注对于自然语言处理来说非常重要。通过词性标注，我们可以发现和识别短语及句子的组合结构，归纳出组词造句的规则。词性标注，是重要的基础性工作，为后续的句法分析等进一步工作提供基础。分词、命名实体识别、词性标注并称汉语词法分析“三姐妹”。010203词性标注规范词性标注是在给定句子中，判定每个词的词性并加以标注的过程。词性标注需要有一定的标注规范，如将词分为名词、形容词、动词，然后用n、adj、v等来进行表示。一个中文句子中包含各种各样的词性，所有词性的集合叫做词性标注集。词性标注集中的词性用词性标签来表示，如用r表示代词，用ns表示地名，用v表示动词等等。词性标注算法2基于规则的词性标注方法:基于规则的词性标注方法，就是由人来制定规则，然后依据规则编写词性标注算法。3基于统计的词性标注方法:基于最大熵的词性标注基于统计最大概率输出词性基于HMM的词性标注1基于词典的词性标注方法:事先准备好一个词典，这个词典包含了词和词性信息，将分词结果逐一到词典中去查询词性，然后标注词性。命名实体识别命名实体识别概述命名实体识别（NamedEntityRecognition,NER）是各种自然语言处理任务中必不可少的一个预处理步骤。只要文本中出现人名、地名、组织机构名及各类学术专名等等，就必须使用命名实体识别技术。命名实体，是指文本中具有特别意义或指代性非常强的实体。通用的命名实体一般分为三大类和七小类。命名实体识别既要识别出实体的边界，又要识别出实体的类别，而中文中又缺少向英文中的各种大写字母、空格之类的提示信息，这使得中文命名实体识别更具挑战性。基于以上种种困难，在识别方法上，还是以基于统计方法为主，基于规则方法为辅。命名实体识别的工具LTP:哈工大社会计算与信息检索研究中心11年研发和推广的中文处理基础平台。LTP提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等自然语言处理技术。在国内外具有很大影响力。1HanLP是由一系列模型和算法组成的Java工具包。目标是普及自然语言处理在生产环境中的应用。它不仅支持分词,还提供了词法分析、句法分析、语义理解命名实体识别等完整的功能。2LAC：是百度自然语言处理部研发的一款联合的词法分析工具，实现中文分词、词性标注、专名识别等功能。3BosonNLP:实体识别引擎基于自主研发的结构化信息抽取算法，F1分数达到81%，相比于StanfordNER高出7个百分点。通过对行业语料的进一步学习，可以达到更高的准确率。4命名实体识别的方法基于规则和词典的方法:是早期使用的方法，该方法的核心思想是关注规则和词典。深度学习方法的核心思想是关注整体，并且能够避免大量的人工特征工程，经常采用的架构包括BiLSTM-CNN-CRF、IDCNN-CRF、CAN-NER、LatticeLSTM、BERT-BiLSTM-CRF等，识别效果良好。基于统计的方法把命