文本分析方法

文本分析方法1.了解中文分词

2.了解语言模型

3.了解循环神经网络中文分词语言模型12循环神经网络31.中文分词1).基于字符串匹配的分词方法按照不同的扫描方式，逐个查找词库进行分词根据扫描方式可细分为：正向最大匹配，反向最大匹配，双向最大匹配，最小切分(即最短路径)2).全切分方法首先切分出与词库匹配的所有可能的词，再运用统计语言模型决定最优的切分结果优点在于可以解决分词中的歧义问题对于文本串“南京市长江大桥”首先找到匹配的所有词条（南京，市，长江，大桥，南京市，长江大桥，市长，江大桥，江大，桥），以词网格(wordlattices)形式表示接着做路径搜索，基于统计语言模型(例如n-gram)找到最优路径最后可能还需要命名实体识别最终结果P(南京市，长江，大桥)的语言模型得分最高，则为最优切分1.中文分词3).由字构词的分词方法可以理解为字的分类问题，也就是自然语言处理中的sequencelabeling问题通常做法是利用HMM，MAXENT，MEMM，CRF等预测文本串每个字的tag譬如B，E，I，S，这四个tag分别表示：beginning,inside,ending,single，也就是一个词的开始，中间，结束，以及单个字的词一般而言，方法一和方法二在工业界用得较多，方法三因为采用复杂的模型，虽准确率相对高，但耗时较大2.语言模型语言模型是用来计算一个句子产生概率的概率模型即P(w_1,w_2,w_3…w_m)，m表示词的总个数根据贝叶斯公式：P(w_1,w_2,w_3…w_m)=P(w_1)P(w_2|w_1)P(w_3|w_1,w_2)…P(w_m|w_1,w_2…w_{m-1})。最简单的语言模型是N-Gram它利用马尔科夫假设，认为句子中每个单词只与其前n–1个单词有关，即假设产生w_m这个词的条件概率只依赖于前n–1个词，则有P(w_m|w_1,w_2…w_{m-1})=P(w_m|w_{m-n+1},w_{m-n+2}…w_{m-1})。其中n越大，模型可区别性越强，n越小，模型可靠性越高。2.语言模型神经网络语言模型ffnnlm（Feed-forwardNeuralNetLanguageModel）基于循环神经网络(recurrentneuralnetwork)的语言模型rnnlm神经网络模型解决了传统n-gram的两个缺陷：(1)词语之间的相似性可以通过词向量来体现；(2)自带平滑功能。3.循环神经网络循环神经网络源自于1982年由SarathaSathasivam提出的霍普菲尔德网络其特点是可以存在有向环，将上一次的输出作为本次的输入主要用途是处理和预测序列数据，挖掘数据中的时序信息以及语义信息的深度表达在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破3.循环神经网络对于循环神经网络，一个非常重要的概念就是时刻循环神经网络会对于每一个时刻的输入结合当前模型的状态给出一个输出循环神经网络的主体结构A的输入除了来自输入层Xt，还有一个循环的边来提供当前时刻的状态在每一个时刻，循环神经网络的模块A会读取t时刻的输入Xt