版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第6章文本数据分析6.1文本数据预处理6.2文本特征提取6.3文本数据分析应用6.4中文NLP开源工具目录和内容文本分析目的语言分析:分析某种语言的语言特性内容挖掘:得到文本表达的内容信息情感分析:分析作者表达的主观感情预测分析:由文本推测真实世界情况研究目的:将文本数据为我所用1.高质量的信息:
(high-qualityinformation)关于主题的简化信息-摘要–帮助理解2.可用的知识:(actionableknowledge)帮助人们决策-某种条件下选择更好文本数据预处理
Lexiconanalysis词法分析:确定基本语义单位和每个词的意思Syntacticanalysis句法分析:确定句子中的各单词是如何关联的Semanticanalysis语义分析:确定句子或更大语义单位的含义Pragmaticanalysis语用分析:在上下文语境中推断语言的言语行为Discourseanalysis篇章分析:考虑句子之间的关联语境中分析句子词法分析-英文分词和词干分析英文分词分词就是将篇章、段落或者句子分解为最基本的结构:词语。英文是由形式上独立的单词组成,单词与单词之间通过空格进行划分。词干提取:将词转化为词干的过程词干分析:将单词的复杂形态还原为简单易处理的形态词法分析-中文分词中文分词中文分词是中文文本预处理特有的部分。中文的词与词之间是连在一起的将中文文本序列分割成一个个形式上独立的词不同粒度分词粗粒度分词将词作为文本预处理的最小基本单位进行分割。细粒度分词除了对词进行分割之外,还分割词内部的语素。词法分析-词性标注词性标注:判断句子中每个词的词性,并加以标注的过程。表示人、事物、地点或抽象概念的名称等的词就是名词;表示动作或状态变化等的词是动词;用来描述或修饰名词性成分,表示其性质、状态、特征或属性的词为形容词。中文词性标签:北大词性标注集和宾州词性标注集。两者在实词部分差别不大,差异在虚词部分。词法分析-命名实体识别命名实体识别(NamedEntityRecognition,NER)指的是识别文本中的专有名词,如人名、地名、组织机构名、特殊的专有名词。通常需要识别:文本中的人名、地名、组织机构名、时间、日期、百分数和货币这七类实体。人名、地名和组织机构名的识别是最难也是最重要的部分。词法分析-语义组块标注语义组块标注用来确定两个以上的词所构成的短语结构,属于短语级的标注识别名词短语、动词短语、介词短语以及其他类型的短语结构。例如,美国宾大开发的ChineseTreebank对“研制成功新型药物”的语义组块标注结果为:“研制成功新型药物”整体上是一个动词短语(VP)。该动词短语由一个动结式复合词(VRD)“研制成功”和一个名词短语(NP)“新型药物”组成。“研制成功”由两个词组成,普通动词(VV)“研制”和谓语形容词(VA)“成功”;“新型药物”由一个形容词短语(ADJP)“新型”(本身是一个名词修饰语)和一个名词短语(NP)“药物”(本身是一个普通名词)组成。句法分析句法分析:基于给定的语法体系推导出句子的语法结构分析句子所包含的语法单元和语法单元之间的关系将句子转化为一棵结构化的语法树主要有两种句法分析方式:短语结构句法分析依存句法分析句法分析-短语结构句法分析短语结构句法分析:考虑句子的句法构造层次,按照构造层次,逐层进行分析。在分析时,指出每一层的直接组成成分(词汇、短语、小句、句子等)。例如,“李明参加了讲座”这句话的短语结构句法分析结果为:设置整个句子的根节点为S。“李明参加了讲座”由一个名词短语(NP)“李明”(本身是一个专有名词)和一个动词短语(VP)“参加了讲座”组成。“参加了讲座”由一个普通动词(VV)“参加”,一个体标记(AS)“了”和一个名词短语(NP)“讲座”(本身是一个普通名词)组成。句法分析-依存句法分析依存句法的基本假设是句子结构的本质是词与词之间的依存关系。也就是说,句子中的各个成分之间都存在着支配与被支配的关系。例如,“李明参加了这次讲座”这句话的依存句法分析的可视化结果为:“参加”根节点直接支配除“这次”之外的其他词语;“这次”修饰“讲座”,因而被“讲座”支配。整个句子构成了一个三层的树状结构。语义分析我们会遇到这样的情况:
句子1:“浙江大学录取了这名考生”;
句子2:“这名考生被浙江大学录取了”;
句子3:“浙江大学把这名考生录取了”。从句法分析的角度来看,上述三个句子是不同的。然而,这三个句子所表达的语义却是相同的。因此,单纯的句法分析是不够的,还需要对语义进行分析。语义分析-语义角色标注语义角色标注:指的是以句子的谓语动词为中心,标注句子中每个语法成分相对于给定谓语动词的语义角色。部分语义角色语义角色标注符号含义施事Arg0动作的主动发出者受事Arg1动作的承受者系事Arg1联系动词连接的对象与事Arg2动作的间接承受者时间ArgM-TMP动作行为发生的时间处所ArgM-LOC动作行为发生的场所例如,“去年他被浙江大学录取”这句话的语义角色标注结果为: REL:录取(REL代表句子的谓语动词) Arg0:浙江大学 Arg1:他
ArgM-TMP:去年
语义分析-语义依存分析语义依存分析:分析句子中各个词语之间的语义关系,并将语义关系以依存结构呈现。例子:“浙江大学录取了这名考生”
“浙江大学把这名考生录取了”
为与依存句法分析进行对比,同时给出依存句法分析的结果。(上面为依存句法分析,下面为语义依存分析。)分析案例:词云WordCloud词云WordCloud由美国西北大学新媒体专业主任里奇·戈登(RichGordon)提出是一种通过可视化来描绘单词出现在文本数据中频率的方式主要是由随机分布在词云图的单词或词语构成,出现频率较高的词语,以较大的形式呈现。词云提供了一种观察热门话题的方式,可以对“关键词”予以视觉上突出,一眼就可以领略文本的主旨。Python调用wordcloud库制作词云图:收集语料:
语料可以是新闻,小说,报道,人物描述,公司描述等,通过某个语料获取主题。数据预处理:
对爬虫得到的数据去掉空行,对不规范内容进行处理,对于规范文本直接调用jieba库进行分词。去停止词:
分词后需去掉停止词,停止词的词频很大,影响结果。统计词频:使用wordcloud制作成词云。词云分析案例:TIARA可视化方法生成8000多封电子邮件视觉摘要
每一层代表一个主题,由一组关键字描述。此处显示了总共18个主题中的前8个主题。这些主题关键字随时间分布,总结了内容随时间的演变。x轴编码时间,y轴编码每个主题的强度。数据获取和预处理案例豆瓣电影:提供用户对电影的评论,主页有电影的链接数据下载:Python的urllib2库可以下载一个链接所包含的数据Python的Beautifulsoup工具包对下载的网页进行解析数据清理:Python的Langdetect工具包帮助识别删除不需要的语言数据开源工具包OpenCC将繁体转化为简体删除短评论:根据文本的词汇数决定是否删除标签对应:打分5分制,对应正负情感二分制或者三分制文本特征提取关键词提取文本向量化深度学习模型BERT关键词提取One-Hot和TF-IDFOne-HotOne-Hot模型把语料库中的所有词都收集到一个词典中。每个词都表示成一个向量,向量的维度是词典大小当前词在对应位置标1,其他为01的位置对应该词在词典中的位置例如,一个语料库中有三个文本:文本1:我爱中国。文本2:爸爸妈妈爱我。文本3:爸爸妈妈爱中国。
生成词典[我,爱,中国,爸爸,妈妈]共有五个词,
这五个词的One-Hot向量形式分别为:其对应的One-Hot向量如下:“我”
→[10000]“爱”
→[01000]“中国”→[00100]“爸爸”→[00010]“妈妈”→[00001]关键词提取One-Hot和TF-IDF由One-Hot向量形式构成的句子就是一个词袋模型,二值表示如下:问题:丢失文本中可能多次出现同一个词的词频信息改进:增加词频信息变成整型计数方式(例如,1,3,2,0,0)归一化:(例如,1/6,1/2,1/3,0,0),避免文本长度不一致的问题得到了文本的TF(TermFrequency)信息词频的问题词频TF(TermFrequency)代表词频:
TF=某个词在文章中出现的次数例如:用词频TF分析“原子能的应用”,分词:“原子能”,“的”,“应用”“的”字的频率最高,但无用“原子能”比“应用”重要一些,给此单词加权重衡量权重的方法就是计算倒文档频率(IDF)倒文档频率IDF(InverseDocumentFrequency)旨在降低在大多数文本都会出现的词的权重,为那些仅出现在某些文本中的词赋予更高的权重IDF=log(语料库的文档总数+1/包含该词的文档数)举例:单词“的”
在语料库每个文档中都出现过,IDF=0,对区分贡献为0词频-倒文档频率:TF-IDF=词频TF∗倒文档频率IDF主要思想:在当前文本上词频高,其他词频低的有区分度
词频-倒文档频率TF-IDF(inversedocumentfrequency)词频-倒文档频率(TF-IDF):TF-IDF=词频TF∗倒文档频率IDF主要思想:在当前文本上词频高,其他词频低的有区分度
关键词提取-TextRankTF-IDF算法在大多数情况下都能取得较好的关键词提取效果需要一个现成的语料库来计算逆文本频率(IDF)TextRank是一种基于图的文本排序模型,无监督的关键词提取算法通过分析文本自身结构来提取该文本的关键词TextRank算法的基本思想来源于PageRank算法关键词提取-主题模型在某些情况下,文档的主题并没有显式地出现在文本中,而是隐含于文本的语义信息中。例如:一篇饮食文化差异的科普文中,通篇介绍了各种饮食文化的特征,但是文中并没有出现“差异”这个词。主题模型(TopicModel):用于发现文档中隐含“主题”的统计模型。该模型认为每个文档都对应着一个或多个主题,而每个主题也对应着一个或多个词。常用的方法:潜在语义分析(LSA)、潜在语义索引(LSI)和隐含狄利克雷分布(LDA)LSA和LSI主要采用奇异值分解技术进行计算LDA则使用贝叶斯推断方法来估计这两个分布文本向量化Word2vec和Doc2vec随着机器学习在自然语言处理领域的兴起,文本数据常常被转化为向量来作为机器学习算法的输入,该向量还需要保留文本的语义信息,这个过程被称为“文本向量化”。文本向量化方法多是基于词向量化来实现的比如之前提到的词袋模型和TF-IDFWord2vec是当前最受欢迎的词向量技术Doc2vec是word2vec技术的扩展,其目标是创建文档的向量化表示在提取文档语义信息的同时,还能获取文档中语句的顺序信息word2vec
2013年,Google团队发表了word2vec工具。核心思想是通过高维向量表示词语,相近词语放在相近位置文本中上下文相似的词,其语义也应该相似Word2Vec适合处理序列数据,序列局部间的数据存在很大关联通过Word2Vec可训练语料库模型,获得词向量,保证模型的稳定性word2vec工具主要包含两个模型:1)CBOW:通过上下文预测当前词
根据上下文来预测当前词语的概率2)Skip-gram:通过当前次预测上下文根据当前词语来预测上下文的概率两种高效训练的方法:负采样(negativesampling)层序softmax(hierarchicalsoftmax)优点:word2vec词向量可以较好地表达不同词之间的相似和类比关系EfficientEstimationofWordRepresentationinVectorSpace,2013Word2vec基本思想:利用神经网络对词的上下文训练得到词的向量化表示训练方法:CBOW(通过附近词预测中心词)、Skip-gram(通过中心词预测附近的词):CBOW-用上下文预测输入层:上下文单词的one-hot.{假设单词向量空间dim为V,上下文单词个数为C}所有one-hot分别乘以共享的输入权重矩阵W,就是词向量(wordembedding)所得的向量相加求平均作为隐层向量,size为1*N.乘以输出权重矩阵W'{N*V}得到向量{1*V}激活函数得到V-dim概率分布,概率最大的index所指单词为预测出的中间词(targetword)与truelabel的one-hot做比较,误差越小越好需要定义lossfunction(一般为交叉熵代价函数)采用梯度下降算法更新W和W’。输入层的每个单词与矩阵W相乘得到的向量的就是词向量(wordembedding)
Skip-gram的网络结构
Skip-gram是预测一个词的上下文跟CBOW的原理相似输入是目标词,先将目标词映射为一个隐藏层向量根据这个向量预测目标词上下文两个词,因为词汇表大和样本不均衡,采用多层softmax或负采样优化。分层softmax:一般神经网络语言模型在预测的时候,输出的是预测目标词的概率每次预测都要用全部数据集计算,很大的时间开销word2vec两种加快训练速度的方式:一种是Hierarchicalsoftmax另一种是NegativeSampling深度学习模型BERTBERT(BidirectionalEncoderRepresentationsfromTransformer)是一种深度双向的、无监督的文本表示模型,由Google研究院在2019年提出。BERT考虑到词语出现时的上下文。例如,词语“水分”的word2vec词向量在“植物需要吸收水分”和“统计数据里有水分”是相同的;BERT能够根据上下文的不同提供不同的词向量。BERT基本结构示意图深度学习模型BERT预训练生成模型。BERT只有Encoder机制。通用的语言模型。BERT使用大量文本数据训练出,一般作为各类NLP任务的预训练模型训练好BERT后只需要根据NLP场景进行微调即能适应特定的下游任务。
问答匹配对于问答匹配任务,判断一个回答是否和提出的问题相匹配的场景可以加入[CLS]、[SEP]两个符号进行处理,前者的输入可以作为整一段文本的语义表示,后者起到对两段文本进行区分的作用。该问题可以转化为二分类问题,即判断回答是否答非所问。
文本分类在文本前插入一个符号并将其以向量的形式输出,捕捉全篇文档的整体语义信息。对于句子分类任务,如区分某个句子是什么类别或者哪个作品中来的,也可以做出类似的微调。可以用于情感识别问题,如判断“这是一个美丽的地方”的情感是积极还是消极。微调的方式是从表征向量中输出一个类别的标签(多分类),如“诗歌”,“小说”,“纪实”等,和上面情感识别的任务类似。主要内容:文本数据预处理文本特征提取文本数据分析应用中文NLP开源工具中文开源工具-哈工大LTP哈工大的语言技术平台(LanguageTechnologyPlatform,LTP)是由哈工大社会计算与信息检索研究中心历时十年独立研发的中文语言处理系统提供了一整套自底向上的丰富而且高效的中文语言处理模块包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等多项中文处理技术开发语言为C++,LTP是目前最有影响力的中文处理系统之一,已被数百家企业和研究机构使用LTP为用户提供了下列组件:(1)针对单一自然语言处理任务,生成统计机器学习模型的工具;(2)针对单一自然语言处理任务,调用模型进行分析的编程接;(3)使用流水线方式将各个分析工具结合起来,形成一套统一的中文自然语言处理系统;(4)系统可调用的,用于中文语言处理的模型文件;(5)针对单一自然语言处理任务,基于云端的编程接口;(6)LTP还可通过可视化的图形输出,使分析结果清晰明了。中文开源工具-StanfordNLP斯坦福(Stanford)自然语言处理团队的研究成果涵盖关于多种语言的广泛而稳定的技术包括指代消解系统、依存解析器、词性标注器、命名实体识别器以及处理阿拉伯文、中文、法文、德文、西班牙文的算法。提供了一个广泛应用的集成NLP工具包StanfordCoreNLP。该团队提供的软件分发包均由Java开发完成。从2014年1
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 小学四年级主题班会《我的目标》教学设计
- 初中地理七年级上册《气温分布规律与等温线判读》教学设计
- 六年级道德与法治下册《权利受保护》教学设计
- 高中历史选择性必修2第五单元交通与社会变迁整合教学设计
- 小学四年级道德与法治 教学设计 我是小小志愿者:从校园走向社区的成长之路
- 高一英语教学设计:初高中衔接期音标重构与基础句法夯实
- 小学四年级道德与法治为父母分担教学设计
- 高二地理湘教版选择性必修1岩石圈物质循环教学设计
- 八年级物理《简单机械》复习课深度教学设计
- 小学三年级美术教学设计《素布彩绣》非遗技艺与审美育人实践研究
- 电商平台商家入驻合作协议三篇
- VDA6.3 过程审核-2-全套内容含审核计划、审核纪录-2026
- 金川集团社招考试试题及答案
- 创伤后骨髓炎防控与诊疗专家共识
- 山西矿山答辩题库
- 2026年第43届全国中学生物理竞赛复赛理论试题及详细解答
- 2026年长期照护师资格考试试卷及答案(共十四套)
- 2026年事业单位(D类)《职业能力倾向测验》考试真题及答案
- 2026-2030中国氧化钇纳米颗粒行业应用动态及未来需求预测研究报告
- 抽纸厂人员岗位责任制度
- 2026年高校纪检审计岗位高频面试题包含详细解答
评论
0/150
提交评论