人工智能深度学习综合实践 课件 7.自然语言处理预训练模型数据准备-自然语言处理的数据集及格式

自然语言处理预训练模型数据准备自然语言处理模型应用课堂导入你知道自然语言处理的主要研究方向是什么吗？文本分类文本生成信息抽取文本挖掘语音识别语音合成问答系统舆情分析机器翻译项目目标（1）了解常用的自然语言处理的数据集及格式。（2）掌握文本分类数据处理方法。（3）掌握文本分类数据集加载的方法。项目描述自然语言处理是研究计算机处理人类语言的一门技术，是指让机器人理解并解释人类表达、说话方式的能力，主要研究方向包括：信息抽取、文本生成、问答系统、对话系统、文本挖掘、语音识别、语音合成、舆情分析、机器翻译等。在机器学习中，最为基础的一项工作就是数据准备。如何将大量的数据通过处理缺失数据、处理重复数据和处理异常数据等操作，得到数据处理和机器学习所需的有效数据是一项非常重要的工作。自然语言处理的数据集及格式自然语言处理的数据集通常有文本类、语音类和图像类，其中文本类的数据集格式主要为txt纯文本格式、Json格式以及表格形式等，接下来将对部分数据集及其格式进行解释说明。DuEE数据集BSTC数据集weibo_senti_100k数据集八类情感分类数据集自然语言处理的数据集及格式DuEE是用于事件提取的大规模通用中文数据集。它由17000个句子组成，其中包含20000个事件，共65个事件类型和相应的人工注释参数。根据百度的热门搜索板选择和确定事件类型。65个事件类型不仅包括传统事件提取评估中的常见事件类型，例如“婚姻，辞职和地震”，还包括具有鲜明的时间特征的事件类型。数据集包含约17000个句子，其中包括约12000个句子在训练集中，1500个在验证集中和3500个在测试集中。DuEE数据集中采用Json格式表示，示例数据格式如图：1DuEE数据集自然语言处理的数据集及格式BSTC（BaiduSpeechTranslationCorpus，百度语音翻译语料库）是用于自动同声传译的大规模数据集。BSTC1.0版包含50个小时的真实演讲，包括三个部分，音频文件，描述文件和补充文件。语料库可用于构建自动同声传译系统。语料库是从中国普通话的谈话和报道中收集的，包括科学，技术，文化，经济等。BSTC数据集中的描述文件采用Json格式表示，示例数据格式如下：2BSTC数据集自然语言处理的数据集及格式2BSTC数据集自然语言处理的数据集及格式另外补充文件包括talks.txt和speakers.txt，两个文件都采用txt格式表示，示例数据格式表示如下：talks.txt2BSTC数据集speakers.txt自然语言处理的数据集及格式weibo_senti_100k数据集的数据来源于新浪微博的各种评论，共10万多条数据。数据格式为：微博内容”review“，带情感标注”label“，1表示正向评论，0表示负向评论，正负向评论各5万条数据。weibo_senti_100k数据集采用表格格式表示，示例数据格式如下：3weibo_senti_100k数据集labelreview620500太过分了@Rexzhenghao//@Janie_Zhang:最近负面新闻越来越多呀...682630希望你?得好?我本＂??史＂[晕][哈哈]@Pete三姑父420211[给力]感谢所有支持的芝麻！[爱你]777712013最后一天，在新加坡开心度过，向所有的朋友们问声：新年快乐！2014年，我们会更好[调...1003990大中午出门办事找错路，曝晒中。要多杯具有多杯具。[泪][泪][汗]247981[抱抱]

吉祥书8.8折优惠>>>自然语言处理的数据集及格式八类情感分类数据集的数据来源主要是微博上的一些评论内容，共26462条数据。数据集文件存放在实训平台”data“目录下，文件名为”moods_classify8_unprocessed.xlsx“，包含缺失值、重复值和异常值。数据标签如表格所示：4八类情感分类数据集labelsplit0.0none1.0like2.0disgust3.0happiness4.0sadness5.0anger6.0surprise7.0fear自然语言处理的数据集及格式情感分类数据集目录在本次情感分类数据准备中，实训平台的“data”目录下只存放了“moods_classify8_unprocessed.xlsx”数据集文件，为了使数据能够输入到模型当中，需要将数据集目录生成为以下格式，目录中包含训练集数据文件train.txt和测试集数据文件test.txt，测试数据集用于测试和验证。但在实际项目中，可以根据具体需求，额外再生成验证集数据文件用于验证。4八类情感分类数据集自然语言处理的数据集及格式情感分类数据集文件格式和内容生成的训练集、验证集和测试集的数据文件的编码格式建议为utf-8格式。内容的第一列是文本类别标签，第二列为文本内容，列与列之间以Tab键分隔。建议在数据集文件第一行填写列说明"label"和"text"，中间以Tab键分隔，示例如下：4八类情感分类数据集PaddleHub介绍

PaddleHub是一个深度学习模型开发工具。它提供了可供百亿级大数据训练的预训练模型，利用它可简化模型训练和使用的流程。在PaddleHub中可以便捷地获取这些预训练模型，完成模型的管理和一键预测。

通过PaddleHub，开发者可以便捷地获取PaddlePaddle生态下的所有预训练模型，包括文本分类模型、词法分析模型、语义模型、情感分析模型、语言模型、图像分类模型、目标检测模型和视频分类模型等。

PaddleHub介绍

本项目将使用PaddleHub对数据集和模型进行加载，并将数据集和模型用于后续的模型训练和部署，通过以下命令安装PaddleHub。

PaddleHub安装完成后就可以通过调用PaddleHub集成的各种函数对数据集和模型进行加载。pipinstallpaddlehub

文本分类数据处理方法

本项目所使用的8类情感分类数据集中，存在许多缺失数据、重复数据以及异常数据。接下来介绍使用以下相关函数对这些数据进行查找和处理，以便后续进行文本数据加载和模型训练。

用于进行文本数据查找和处理的相关函数如下。isnull()：查找是否存在缺失数据。drop()：删除数据。fillna()：填充缺失数据。duplicated()：查找重复数据。drop_duplicates()：删除重复数据。

查找异常数据的常用方法是使用箱线图，然后将查找到的异常数据删除。文本分类数据集加载方法加载自定义数据集的流程文本分类数据集加载方法

在文本分类数据集的加载过程中，首先需要定义数据目录、数据模式以及标签列表，然后根据指定的数据模式读取相应的数据文件，接着对读取到的文本数据进行文本分词和判断是否包含头部，再根据输入文本的长度对文本数据进行填充和截断等数据处理操作，使文本数据转化为模型可接收的数据形式。文本分词数据填充和截断0102文本分类数据集加载方法数据填充和截断的示例数据集加载

自定义数据集类需要继承基类TextClassificationDataset，具体需要进行以下设置。base_path：定义存放数据集的根目录，用于后续读取目录下的数据文件。label_list：定义标签列表，列表中的标签与数据文本中的标签一致。tokenizer：定义模型文本分词器，其表示将对输入文本完成分词，将原始输入文本转化成模型可以接收的输入数据形式。数据集加载max_seq_len：定义模型使用的最大序列长度，即每条数据的最大长度，若出现显存不足的问题，则可适当调低这一参数。mode：定义数据模式，可选项有train、test和val，默认值为train，即表示选择训练集数据。data_file：定义读取指定模式的数据文件，根据所选择的数据模式读取对应的数据文件。is_file_with_header：定义是否包含头部，设置为True表示数据文件中包含头部信息如“label”和“text_a”，若设置为False则表示数据文件中不包含头部信息。处理、拆分和加载情感分类数据集实施思路导入项目所需库查看数据集处理数据集拆分数据集加载数据集知识拓展

百度阅读理