自然语言处理-原理、方法与应用

读书笔记模板自然语言处理——原理、方法与应用01思维导图目录分析精彩摘录内容摘要读书笔记作者介绍目录0305020406思维导图自然语言处理原理书自然语言处理方法知识模型内容模型第章小结任务自然语言处理机器数据文本技术环境生成本书关键字分析思维导图内容摘要内容摘要本书系统阐述自然语言处理基础知识，以及自然语言处理高级模型应用等高级知识。全书共11章：第1~5章为自然语言处理的基础知识，第6~11章则将自然语言处理知识应用于实战。书中主要内容包括预训练模型、文本分类、机器阅读理解、命名实体识别、文本生成、模型蒸馏与剪枝及损失函数等知识。书中包含大量应用示例，不仅可以学会理论知识还可以灵活应用。书中示例基于Linux与PyTorch环境开发，读者在学习自然语言处理知识的同时还可学会PyTorch框架技术，内容完整、步骤清晰，提供了工程化的解决方案。本书可作为有一定深度学习基础的读者的入门书，也可作为从事自然语言处理算法工作的技术人员及培训机构的参考书。目录分析1.1基于深度学习的自然语言处理1.2本书章节脉络1.3自然语言处理算法流程1.4小结第1章导论2.1Linux服务器2.2Python虚拟环境2.3PyCharm远程连接服务器2.4screen任务管理第2章Python开发环境配置2.6小结2.5Docker技术第2章Python开发环境配置2.1Linux服务器2.1.1MobaXterm2.1.2使用MobaXterm连接远程服务器2.1.3在服务器上安装Python开发环境2.1.4使用Anaconda国内源2.1.5pip设定永久阿里云源3.1人工规则与自然语言处理3.2机器学习与自热语言处理3.3深度学习与自然语言处理3.4小结第3章自然语言处理的发展进程3.2机器学习与自热语言处理3.2.1词袋模型3.2.2n-gram3.2.3频率与逆文档频率4.1浅层无监督预训练模型4.3其他预训练模型4.2深层无监督预训练模型第4章无监督学习的原理与应用4.5小结4.4自然语言处理四大下游任务第4章无监督学习的原理与应用4.2深层无监督预训练模型4.2.1BERT4.2.2Self-AttentionLayer原理4.2.3Self-AttentionLayer的内部运算逻辑4.2.4Multi-HeadSelf-Attention4.2.5LayerNormalization4.2.6BERT预训练4.2.7BERT的微调过程4.3其他预训练模型4.3.1RoBERTa4.3.2ERNIE4.3.3BERT_WWM4.3.4ALBERT4.3.5Electra4.3.6NEZHA4.3.7NLP预训练模型对比4.4自然语言处理四大下游任务4.4.1句子对分类任务4.4.2单句子分类任务4.4.3问答任务4.4.4单句子标注任务5.1生成式对抗络5.3小结5.2元学习第5章无监督学习进阶5.2元学习5.2.1Metric-BasedMethod5.2.2Model-BasedMethod5.2.3Pretrain-BasedMethod6.1赛题任务6.3代码框架6.2环境搭建第6章预训练6.5小结6.4数据分析实践第6章预训练6.4数据分析实践6.4.1数据预处理6.4.2预训练任务模型构建与数据生成6.4.3模型训练7.1数据分析7.2环境搭建7.3代码框架7.4文本分类实践7.5小结12345第7章文本分类7.4文本分类实践7.4.1数据预处理7.4.2模型构建7.4.3数据迭代器7.4.4模型训练7.4.5模型预测8.1机器阅读理解的定义8.2评测方法8.3研究方法8.4经典结构第8章机器阅读理解8.6小结8.5多文档机器阅读理解实践第8章机器阅读理解8.1机器阅读理解的定义8.1.1完形填空8.1.2多项选择8.1.3片段抽取8.1.4自由回答8.1.5其他任务8.3研究方法8.3.1基于规则的方法8.3.2基于神经络的方法8.3.3基于深层语义的图匹配方法8.4经典结构8.4.1BiDAF模型8.4.2QANet模型8.4.3基于BERT模型的机器阅读理解8.5多文档机器阅读理解实践8.5.1疫情政务问答助手8.5.2信息检索8.5.3多任务学习8.5.4实践9.1NER技术的发展现状9.3命名实体识别模型9.2命名实体识别的定义第9章命名实体识别9.5小结9.4命名实体识别实验第9章命名实体识别9.3命名实体识别模型9.3.1预训练模型9.3.2下接结构9.3.3条件随机场9.4命名实体识别实验9.4.1数据介绍9.4.2评估指标9.4.3数据预处理9.4.4模型构建9.4.5数据迭代器9.4.6模型训练9.4.7模型预测10.1文本生成的发展现状10.2基于预训练模型的文本生成模型10.3文本生成任务实践10.4小结第10章文本生成10.1文本生成的发展现状10.1.1文本生成模板10.1.2变分自编码器10.1.3序列到序列技术10.3文本生成任务实践10.3.1数据介绍10.3.2评估指标10.3.3模型构建10.3.4数据迭代器10.3.5模型训练10.3.6模型预测11.1损失函数11.3损失函数的进阶11.2常用的损失函数第11章损失函数与模型瘦身11.5小结11.4模型瘦身第11章损失函数与模型瘦身11.2常用的损失函数11.2.1回归11.2.2分类11.3损失函数的进阶11.3.1样本不均衡11.3.2FocalLoss11.3.3DiceLoss11.3.4拒识11.3.5带噪学习11.4模型瘦身11.4.1知识蒸馏11.4.2模型剪枝读书笔记读书笔记这是《自然语言处理——原理