自然语言处理 课件 知识点2.1 基于词典的中文分词

自然语言处理项目2中文分词与关键词提取MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304基于词典的中文分词简单来说，中文分词是指将汉字序列按照一定规范、逐个切分为词序列的过程。例如：南京市长江大桥，分词结果：南京市/长江大桥。不同于中文分词，英文分词就简单许多，因为英文单词之间以空格隔开，所以进行分词时可以利用空格作为切分单位。而中文是以字为基本单位，不像英文那样依靠天然的空格作为分隔符，因此中文分词一直是中文信息处理中比较困难的问题并且是一个尚未完全有效解决的问题。中文分词的关键问题：歧义切分字段处理、未登录词的处理什么是中文分词基于词典的分词方法

正向最大匹配法01逆向最大匹配法02双向最大匹配法03基于词典的分词方法又叫机械分词方法，是目前使用最为广泛的一类按照一定的策略将待分析的字符串和一个已建立好的“大机器词典”中的词进行匹配的分词算法，若在词典中找到某个词条，则说明匹配成功，其优点在于识别速度快，方法简单，不过也存在严重依赖词典，无法很好的处理分词歧义和未登录词等问题。基于统计的中文分词N元文法模型如果认为一个词的出现仅仅与它左边的N-1个词有关，那么此时的语言模型就称为N元文法（N-gram）。当N=1时，出现在第i个位置的词wi与左边的词无关，也就是说独立于历史，称为一元文法（uni-gram）。当N=2时，出现在第i个位置的词wi与左边的一个词有关，称为二元文法（bi-gram）。此时，每个词的出现要受左边相邻词的约束，因此比起无约束的一元文法，二元文法的效果明显要好很多。当N=3时，出现在第i个位置的词wi与左边的两个词有关，称为三元文法（tri-gram）。此时，每个词的出现要受左边相邻两个词的约束，因此比起二元文法，三元文法的效果明显要好很多。很显然，N越大，语言模型越精确，效果越好，但是随之而来的问题就是句子概率的计算量过大。所以在实际使用时要权衡精度与计算量之间的平衡关系。隐马尔可夫模型隐马尔科夫模型与马尔科夫模型有密切的关系，是一个双重的随机过程，这里存在一个我们不知道的状态序列，只知道状态转移的概率，也就是说，模型的状态转换过程是不可观察的，但是状态之间转移的可能性是知道的。隐马尔可夫模型的组成：隐马尔可夫模型的组成主要由状态转移概率矩阵、观测状态生成矩阵、隐状态初识概率分布组成，主要解决观测序列概率、模型参数学习、解码问题隐马尔可夫模型的两个基本假设：隐马尔可夫模型的两个基本假设分别是齐次马尔科夫性假设与观测独立性假设。关键词提取关键词提取是自然语言处理中非常核心、非常基础的技术。关键词是一组词，它们能够代表文章的主要内容。当我们面对海量文档的时候，我们不可能阅读所有内容，通常我们只会去关注哪些我们感兴趣的文档。那么如何才能找到我们感兴趣的文档呢？如果把每篇文档的关键词都提取出来，我们就可以根据关键词快速选择我们需要的文档内容了。关键词提取算法主要还是机器学习算法，并且分为两大类，一类是有监督机器学习算法，另一类是无监督机器学习算法。什么是关键词提取基于统计特征的关键词提取算法（TF，TF-IDF词频-逆文档频次算法）基本思想是评估在一个文档集中某一个词对于某一份文档的重要程度。重要程度越高，越有可能是关键字。在基于统计特征的关键词提取算法中，需要准备一个语料库，语料库的覆盖程度决定了关键词提取算法的质量。TF-IDF算法：TF和IDF从两个方面衡量一个词在文档中的重要程度，单独使用都不全面，如果将两个方法结合起来，就会得到一个比较完美的结果，这就是TF-IDF算法，也就是将TF与IDF相乘，即TF-IDF=TF*IDF（相乘），TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语料中的出现次数成反比。基于统计特征的关键词提取主题模型（TopicModel）属于隐含语义分析技术，目的是找出潜在的主题或分类。LDA模型概述：LDA是LatentDirichletAllocation的缩写，意思是潜在狄利克雷分布。LDA算法使用非常广泛，涉及检索、文本分类、主题词抽取等领域。基于主题模型的关键词提取基于词图模型的关键词提取算法基本思路是：首先构建语言网络图，然后对网络图进行分析，在网络图中寻找最重要的词，这些词就是文档的关键词。语言网络的形式主要有四种：共现网络图、语法网络图、语义网络图和其它网络图。TextRank算法：TextRank算法完全