自然语言处理（微课版）课件 第5-9章 情感分析-对话系统

情感分析引言/基于注意力机制/基于图神经网络/预训练情感分析模型2026/6/11第五章情感分析引言常见子任务（情感分类、方面抽取、观点摘要）基于注意力机制的情绪分析通用注意力机制框架、注意力机制分类基于图神经网络的情绪分析图神经网络概念、图神经网络分类预训练情绪分析模型SentiWSP模型、SpanASTE模型、DualGCN模型案例：基于MindSpore实现的情绪分析2026/6/125.1引言情感分析：也称观点挖掘（opinionmining）,旨在分析文本中表达的观点、情感等文档级别情感分析句子级别情感分析方面级别情感分析：捕获文本中对于某个确切的观点评价对象的情感“这家餐馆的服务很好，但环境有些差”餐馆的服务：正向情感餐馆的环境：负向情感2026/6/135.1引言方面级别情感分析：目标实体：如商品、服务、主题、人、事件等方面（aspect）：目标实体的一个具体属性，如商品的质量、人的人品情绪：目标实体当前方面所包含的情感——如正向、中立、负向2026/6/145.1引言情感分析常见子任务：情感分类方面抽取观点摘要2026/6/155.1引言

2026/6/165.1引言

2026/6/175.1引言

2026/6/185.1引言情感分类：任务方法基于情感词典的无监督学习：情感词典包含情感词和情感短语的情感倾向性和情感强度。此外，还可结合情感加强词（“非常”，“很”等）、情感反转词（如，“但是”，“非”等）等。基本方式：将文本中的正面情感文本表述赋予正值，负面情感文本表述赋予负值，并考虑情感加强/反转词对于情感的影响，对文档中所有的情感表达的值进行求和。2026/6/195.1引言情感分类：任务方法基于监督学习的分类方法：传统机器学习：朴素贝叶斯、支持向量机等深度学习2026/6/1105.1引言方面抽取情感文本中通常存在一个或多个评价的对象或目标，方面抽取就是对给定的情感文本进行分析，抽取出其中涉及的情感对象“这家餐馆的服务很好，但环境有些差”

→餐馆的服务、环境2026/6/1115.1引言方面抽取传统机器学习方法：基于出现频率及词语属性的方法该类方法通常假设语料库中谈及某一对象时用的词语相同或类似，难以识别低频的方面词2026/6/1125.1引言方面抽取传统机器学习方法：基于句法关系的方法情感词和观点对象之间存在句法关系，表征两者之间的评价或修饰关系例如：“这家餐厅有着优越的地理位置”，情感词是“优越”，用于修饰方面词“地理位置”较依赖于句法解析结果的准确性，容易产生级联误差；且现在社交媒体等文本中，存在大量非正式文本，使得句法解析的正确性大大降低2026/6/1135.1引言方面抽取传统机器学习方法基于传统监督学习的方法：隐马尔可夫模型2026/6/1145.1引言

2026/6/1155.1引言观点摘要：情感信息挖掘结构化的关键任务，旨在对多个观点的结构化表示，以短文本形式输出2026/6/1165.1引言观点摘要子任务属性（方面）抽取：定位所有观点中的方面词，以及具有这些方面的句子情绪分类：对属性（方面）抽取中抽取的方面词进行情感极性预测观点生成：提取或生成非结构化文本中的重要观点摘要可视化：将提取到的结构化信息进行可视化2026/6/1175.1引言观点摘要有监督方法两阶段的方法：先抽取突出的观点子集，再基于抽取的观点子集进行摘要生成总结模型：抽取步骤容易导致信息损失，且不利于用户的定制化观点摘要生成。总结模型首先将所有输入评论压缩为稠密向量，直接用于摘要生成2026/6/1185.1引言观点摘要无监督方法知识驱动的弱监督框架：结合两个弱监督组件识别突出的观点，并从多评论中生成抽取式摘要，其中一个组件为在多任务目标下训练的方面提取器，另一个基于多实例学习进行情感预测个性化的观点摘要方案：使用户可以定制摘要的属性，如摘要长度，感兴趣的具体方面等2026/6/1195.2基于注意力机制的情绪分析注意力机制（Attentionmechanism）由于信息处理的能力限制，人类会有选择地关注一部分信息，而忽略其他信息。这种机制通常称为注意力机制注意力机制主要涉及两个方面：决定需要关注的信息的哪些部分，以及将有限的资源分配给重要的信息2026/6/1205.2基于注意力机制的情绪分析通用注意力机制框架2026/6/1215.2基于注意力机制的情绪分析

2026/6/1225.2基于注意力机制的情绪分析

2026/6/1235.2基于注意力机制的情绪分析注意力机制分类强注意力机制经典的注意力机制通常采用了软注意力的实现方式（通过注意力分布给不同的输入向量加权求和，从而将这些向量融合）相比之下，强注意力（HardAttention）则根据注意力分布从输入向量中选择一个作为输出2026/6/1245.2基于注意力机制的情绪分析注意力机制分类强注意力机制：两种输出选择方式选择分数最大的那一项对应的输入向量作为Attention机制的输出根据注意力分布进行随机采样，采样结果作为Attention机制的输出2026/6/1255.2基于注意力机制的情绪分析注意力机制分类强注意力机制：选择方式根据注意力分布从输入向量中选择一个作为输出会导致损失函数与注意力分布之间的函数关系不可导，从而无法使用反向传播算法来优化模型因此，通常需要使用强化学习算法进行训练，这种方法更加复杂且不稳定2026/6/1265.2基于注意力机制的情绪分析

2026/6/1275.2基于注意力机制的情绪分析

2026/6/1285.3基于图神经网络的情绪分析简介图：表示实体（顶点）的信息以及它们之间的连接关系（边）的数据结构。图的节点所包含的信息、边表达的信息、以及整个图表达的信息都可以用向量来表示2026/6/1295.3基于图神经网络的情绪分析图片：将每个像素点看成一个顶点，邻接的关系看成图中的边的，就可以用邻接矩阵来表示这个图片2026/6/1305.3基于图神经网络的情绪分析文本：将每个单词看成一个顶点，相邻的单词可以看成存在有向边连接2026/6/1315.3基于图神经网络的情绪分析其它：分子结构2026/6/1325.3基于图神经网络的情绪分析其它：人物关系2026/6/1335.3基于图神经网络的情绪分析简介图神经网络：在一个图结构中，每个节点都由自身的特征以及与其相连的节点特征来定义。图神经网络（GraphNeuralNetwork,GNN）是用于处理图结构数据的方法2026/6/1345.3基于图神经网络的情绪分析

2026/6/1355.3基于图神经网络的情绪分析

2026/6/1365.3基于图神经网络的情绪分析

2026/6/1375.3基于图神经网络的情绪分析

2026/6/1385.3基于图神经网络的情绪分析

2026/6/1395.4预训练情绪分析模型SentiWSP模型(Sentiment-AwareWordandSentenceLevelPre-training)从词级别学习更加丰富的情感信息在句子级别构造更加有效的预训练任务，提升模型对文本整体情感信息的学习2026/6/1405.4预训练情绪分析模型SentiWSP模型2026/6/1415.4预训练情绪分析模型SentiWSP模型词级别预训练随机掩盖15%的单词，基于SentiWordNet对句子中出现的情感词进行标记，再继续对这些情感词经行掩盖生成器会对遮盖的词生成概率分布，模型将在这些概率分布中做采样进行替换，然后将替换之后的句子再输入到判别器，判断每一个词是否被替换了2026/6/1425.4预训练情绪分析模型SentiWSP模型句子级别预训练目的：学习更加高效的表征正例构造：对原始序列的情感词进行遮掩后形成query，而原始的序列即作为其正例负例构造：同一个batch内的非正例作为负例、基于近似最近邻居检索的困难负例挖掘2026/6/1435.4预训练情绪分析模型SpanASTE模型该模型面向情感三元组抽取(AspectSentimentTripletExtraction,ASTE)任务，希望输出方面项(目标项)、情感极性和意见项提出一种基于跨度的方法，从而更好地学习目标项和观点项之间的关系，同时，基于跨度的方法可以确保抽取出的结果有更好的情感一致性，且这种端到端的方法可以避免现有的Pipeline方法中的误差传播问。2026/6/1445.4预训练情绪分析模型SpanASTE模型该模型面向情感三元组抽取(AspectSentimentTripletExtraction,ASTE)任务，希望输出方面项(目标项)、情感极性和意见项2026/6/1455.4预训练情绪分析模型SpanASTE模型2026/6/1465.4预训练情绪分析模型SpanASTE模型模型主要由三个模块构成——句子编码模块(SentenceEncoding)、提及模块(MentionModule)和三元组模块(TripletModule)句子首先输入到句子编码模块，获得token级别的表示后，再从中得到每个枚举跨度的跨度级别表示，然后用方面项抽取和观点项抽取任务来监督双通道跨度修剪策略，得到修剪后的候选目标和候选观点，再对它们进行耦合，作为特征进行分类2026/6/1475.4预训练情绪分析模型DualGCN模型利用依赖树的图神经网络已被用于显式地建模方面和观点词之间的联系，但由于依赖解析结果具有不确定性，且一些数据集收集的在线评论的非正式表达和复杂性，都会影响这种方法的性能该模型利用双重图卷积网络（DualGCN），同时考虑句法知识和语义相关性，并设计了两个正则化器来增强性能2026/6/1485.4预训练情绪分析模型DualGCN模型这个例子展示了一个句子中包含两个方面项，且对应的情感极性时不同的2026/6/1495.4预训练情绪分析模型DualGCN模型2026/6/1505.4预训练情绪分析模型DualGCN模型模型主要分为四个部分——基于句法的GCN(SynGCN)、基于语义的GCN(SemGCN)，双仿射模块和正则化器首先利用BiLSTM或BERT作为句子编码器获得隐藏的上下文表示，然后将句子的隐藏表示分别输入SynGCN和SemGCN模块，接着用双仿射模块进行有效的信息交流，最后通过池化和连接聚合得到最终的方面表示2026/6/1515.5案例：基于MindSpore实现的情绪分析本小节以IMDB影评情感分类为例来体验MindSpore在自然语言处理中情感分类任务上的应用参数配置模型搭建模型训练模型评估2026/6/1525.5案例：基于MindSpore实现的情绪分析2026/6/153#加载库、mindspore框架importargparsefrommindsporeimportcontextfromeasydictimportEasyDictasedict

#LSTM网络设置lstm_cfg=edict({

'num_classes':2,'learning_rate':0.1,'momentum':0.9,'num_epochs':10,

'batch_size':64,'embed_size':300,'num_hiddens':100,'num_layers':2,

'bidirectional':True,'save_checkpoint_steps':390,'keep_checkpoint_max':10})

cfg=lstm_cfg5.5案例：基于MindSpore实现的情绪分析2026/6/154#参数设置parser=argparse.ArgumentParser(description='MindSporeLSTMExample')parser.add_argument('--preprocess',type=str,default='false',choices=['true','false'])parser.add_argument('--aclimdb_path',type=str,default="./datasets/aclImdb")parser.add_argument('--glove_path',type=str,default="./datasets/glove")parser.add_argument('--preprocess_path',type=str,default="./preprocess")parser.add_argument('--ckpt_path',type=str,default="./models/ckpt/nlp_application")parser.add_argument('--pre_trained',type=str,default=None)parser.add_argument('--device_target',type=str,default="GPU",choices=['GPU','CPU'])args=parser.parse_args(['--device_target','GPU','--preprocess','true'])

#配置训练所需相关参数context.set_context(mode=context.GRAPH_MODE,save_graphs=False,device_target=args.device_target)5.5案例：基于MindSpore实现的情绪分析2026/6/155参数含义：preprocess：是否预处理数据集，默认为否aclimdb_path：数据集存放路径glove_path：GloVe文件存放路径preprocess_path：预处理数据集的结果文件夹ckpt_path：CheckPoint文件路径pre_trained：预加载CheckPoint文件device_target：指定GPU或CPU环境以下以LSTM网络为例，搭建模型5.5案例：基于MindSpore实现的情绪分析2026/6/156以下以LSTM网络为例，搭建模型#导入初始化网络所需模块frommindsporeimportnnimportmindspore.opsasopsimportnumpyasnpfrommindsporeimportTensor5.5案例：基于MindSpore实现的情绪分析2026/6/157classSentimentNet(nn.Cell):

def__init__(self,vocab_size,embed_size,num_hiddens,num_layers,bidirectional,num_classes,weight,batch_size):

super(SentimentNet,self).__init__()

#词嵌入

self.embedding=nn.Embedding(vocab_size,embed_size,embedding_table=weight)

self.embedding.embedding_table.requires_grad=False

self.trans=ops.Transpose()

self.perm=(1,0,2)

self.encoder=nn.LSTM(input_size=embed_size,hidden_size=num_hiddens,num_layers=num_layers,

has_bias=True,bidirectional=bidirectional,dropout=0.0)

self.concat=ops.Concat(1)

self.squeeze=ops.Squeeze(axis=0)

ifbidirectional:

self.decoder=nn.Dense(num_hiddens*4,num_classes)

else:

self.decoder=nn.Dense(num_hiddens*2,num_classes)5.5案例：基于MindSpore实现的情绪分析2026/6/158classSentimentNet(nn.Cell):

def__init__(self,vocab_size,embed_size,num_hiddens,num_layers,bidirectional,num_classes,weight,batch_size):

#（参考上页）

defconstruct(self,inputs):

#input：(64,500,300)

embeddings=self.embedding(inputs)

embeddings=self.trans(embeddings,self.perm)

output,_=self.encoder(embeddings)

#states[i]size(64,200)

->encoding.size(64,400)

encoding=self.concat((self.squeeze(output[0:1:1]),self.squeeze(output[499:500:1])))

outputs=self.decoder(encoding)

returnoutputs5.5案例：基于MindSpore实现的情绪分析2026/6/159embedding_table=np.loadtxt(os.path.join(args.preprocess_path,"weight.txt")).astype(np.float32)network=SentimentNet(vocab_size=embedding_table.shape[0],embed_size=cfg.embed_size,

num_hiddens=cfg.num_hiddens,num_layers=cfg.num_layers,

bidirectional=cfg.bidirectional,num_classes=cfg.num_classes,

weight=Tensor(embedding_table),batch_size=cfg.batch_size)

print(network.parameters_dict(recurse=True))在上面这段代码中，lstm_default_state函数用来初始化网络参数及网络状态；stack_lstm_default_state函数用来初始化小算子堆叠需要的初始化网络参数及网络状态；针对CPU场景，自定义单层LSTM小算子堆叠，实现了多层LSTM大算子功能；Cell方法，定义网络结构后，通过实例化SentimentNet，成功创建网络，最后输出了网络中加载的参数5.5案例：基于MindSpore实现的情绪分析2026/6/160以下代码在创建优化器和损失函数模型，并加载训练数据集（ds_train）并配置好CheckPoint生成信息后，使用model.train接口进行模型训练frommindsporeimportModelfrommindspore.train.callbackimportCheckpointConfig,ModelCheckpoint,TimeMonitor,LossMonitorfrommindspore.nnimportAccuracyfrommindsporeimportnn5.5案例：基于MindSpore实现的情绪分析2026/6/161os.system("rm-f{0}/*.ckpt{0}/*.meta".format(args.ckpt_path))loss=nn.SoftmaxCrossEntropyWithLogits(sparse=True,reduction='mean')opt=nn.Momentum(network.trainable_params(),cfg.learning_rate,cfg.momentum)model=Model(network,loss,opt,{'acc':Accuracy()})loss_cb=LossMonitor(per_print_times=78)print("==============StartingTraining==============")config_ck=CheckpointConfig(save_checkpoint_steps=cfg.save_checkpoint_steps,

keep_checkpoint_max=cfg.keep_checkpoint_max)ckpoint_cb=ModelCheckpoint(prefix="lstm",directory=args.ckpt_path,config=config_ck)time_cb=TimeMonitor(data_size=ds_train.get_dataset_size())ifargs.device_target=="CPU":

model.train(cfg.num_epochs,ds_train,callbacks=[time_cb,ckpoint_cb,loss_cb],dataset_sink_mode=False)else:

model.train(cfg.num_epochs,ds_train,callbacks=[time_cb,ckpoint_cb,loss_cb])print("==============TrainingSuccess==============")5.5案例：基于MindSpore实现的情绪分析2026/6/162模型验证frommindsporeimportload_checkpoint,load_param_into_netargs.ckpt_path_saved=f'{args.ckpt_path}/lstm-{cfg.num_epochs}_390.ckpt'print("==============StartingTesting==============")ds_eval=lstm_create_dataset(args.preprocess_path,cfg.batch_size,training=False)param_dict=load_checkpoint(args.ckpt_path_saved)load_param_into_net(network,param_dict)ifargs.device_target=="CPU":

acc=model.eval(ds_eval,dataset_sink_mode=False)else:

acc=model.eval(ds_eval)print("=============={}==============".format(acc))信息抽取简介/命名实体识别/实体链接/关系抽取/事件抽取/小样本事件抽取/预训练信息抽取模型2026/6/163第六章信息抽取命名实体识别任务简介、NER模型概述实体链接通用架构、常见研究方向关系抽取任务简介、RE模型概述、常见研究方向事件抽取事件检测、论元抽取小样本信息抽取预训练信息抽取模型2026/6/1646.1简介信息抽取（informationextraction,IE），即从文本中抽取出特定的信息（如实体、事件）并将海量内容自动分类、提取和重构。命名实体识别（NamedEntityRecognition,NER）实体链接（EntityLinking,EL）关系抽取（RelationExtraction,RE）事件抽取（EventExtraction,EE）……2026/6/1656.2命名实体识别任务简介（NamedEntityRecognition,NER）命名实体一般指文本中具有特定意义或者指代性强的实体经典的类型：实体类，时间类，数字类（三大类）和人名、地名、组织机构名、时间、日期、货币、百分比（七小类）在实际场景中，根据业务需求的不同，需要识别出更多类别的实体2026/6/1666.2命名实体识别任务简介（NamedEntityRecognition,NER）NER从非结构化的文本中抽取出实体例如：对于文本“苹果公司是由乔布斯、沃兹尼艾克和罗纳德·韦恩创办的。”，实体包括：“苹果公司”（组织机构名），“乔布斯”、“沃兹尼艾克”和“罗纳德·韦恩”（人名）2026/6/1676.2命名实体识别NER模型基于规则的NER系统：规则设计通常基于句法、语法、词汇模式以及特定领域的知识等方面基于规则的NER系统在字典规模有限时可以达到很好的效果不通用，对于新的领域，需要重新制定规则并使用不同的词典2026/6/1686.2命名实体识别NER模型基于传统机器学习的NER系统：隐马尔可夫模型（HiddenMarkovModel,HMM）：直接建模转移概率和表现概率，并统计共现概率来解决序列标注问题最大熵（MaximumEntropy,ME）模型：结构紧凑、通用性强，但训练时间复杂度非常高最大熵马尔可夫模型（MaximumEntropyMarkovModel,MEMM）：建立联合概率来统计条件概率，解决了HMM容易陷入局部最优解的问题2026/6/1696.2命名实体识别NER模型基于传统机器学习的NER系统：支持向量机（SupportVectorMachine,SVM）：在准确率上比HMM更高，但是HMM能够通过Viterbi算法优化，使其在训练和识别时的速度更快条件随机场（ConditionalRandomFields,CRF）模型：通过统计全局概率，考虑数据在全局的分布而非在局部进行归一化，解决了MEMM中标记偏置的问题。但是，CRF模型也存在收敛速度慢、训练时间长的问题2026/6/1706.2命名实体识别NER模型基于深度学习的NER系统：近年来，基于神经网络的命名实体识别方法越来越受到关注，其结合了注意力机制、图神经网络、迁移学习和远程监督等技术2026/6/1716.2命名实体识别NER模型基于深度学习的NER系统——优势深度学习可以适应非线性转换深度学习避免了大量手动特征的构建，节省了设计NER模型的大量人工成本深度学习通过梯度传播进行训练，可以构建更复杂的网络深度学习可以在端到端的方式下进行训练，避免了多阶段的繁琐处理2026/6/1726.2命名实体识别NER模型基于预训练模型的方法：预训练语言模型如BERT、RoBERTa等均能在单词级别进行分类，因而能够适用于NER任务并取得较好的效果例如：仅通过BERT+CRF层便能超过各种精心设计的基于BiLSTM的模型，这得益于预训练语言模型中包含的大量通用领域的知识，使得模型能够更好地学到上下文相关的词表示2026/6/1736.3实体链接引言机器往往需要解析非结构化文本，挖掘实体并与知识图谱中的记录匹配，最终从知识图谱中获取相关语义信息，这一过程被称为“实体链接”实体链接是指将自然语言文本中出现的实体提及（entitymention)关联到知识库实体实体链接可分为实体识别（EntityRecognition）和实体消歧（EntityDisambiguation）两个阶段。实体识别阶段负责提取文本中出现的实体提及，实体消歧阶段负责将提及链接到知识图谱中存在的记录中2026/6/1746.3实体链接通用架构2026/6/1756.3实体链接通用架构候选实体生成：发现针对给定的实体提及其可能的链接对象，提高实体链接的准确率，同时尽可能排除不相关实体，减小排序空间基于文本匹配生成候选实体基于“提及-实体”词典生成候选实体基于实体描述生成候选实体基于搜索引擎生成候选实体2026/6/1766.3实体链接通用架构候选实体排序：负责对生成的候选实体进行精排，确定最终的链接目标。通常而言，该部分将提及连同其上下文以及候选实体编码为稠密向量，最终结合向量相似度以及提及与实体的先验匹配概率对候选实体排序实体提及、上下文编码：将给定实体提及与其对应上下文编码为低维稠密的向量化表示实体编码：将实体编码为低维稠密的向量化表示，该阶段常常考虑实体在知识图谱中的关系信息，实体描述信息等辅助资源2026/6/1776.3实体链接研究方向联合实体识别与消歧：实体链接方法往往将实体识别与实体消歧作为两个独立的步骤，部分研究提出使用一个模型同时完成实体识别与消歧，以联合学习方式提升实体链接整体性能。使用同一个模型解决两个不同的任务显然是更加困难的设置，但实体识别与消歧存在相互依赖关系，这两个步骤之间的相互作用有助于提升整体模型性能2026/6/1786.3实体链接研究方向零样本实体链接：在现实应用中，使用者通常希望链接到专业实体词典，例如法律案例、公司项目描述、小说中的字符集或术语表。然而，获取这类专业领域中的标记数据往往代价高昂。因此，部分研究者开始研究可以泛化到专业领域的实体链接系统，由于没有频率统计和元数据，这一任务颇具挑战性2026/6/1796.3实体链接研究方向零样本实体链接——挑战由于缺乏强大的别名表和频率先验，模型必须从实体描述中挖掘有价值的线索并与提及进行匹配由于不提供任何测试实体的训练数据，模型必须适应新的提及上下文和实体描述2026/6/1806.4关系抽取引言形如（主体，关系，客体）的三元组以结构化形式描述了世界知识，这些知识可能显式或隐式地存在于文本中。例如，句子“SteveJobs创建了Apple公司”表示事实（Apple公司，创建者，SteveJobs）2026/6/1816.4关系抽取引言关系抽取（RelationExtraction，RE）的目标是从文本中提取这些关系事实。在确定了文本中的提及（mention）后，RE主要通过上下文信息推断提及之间的关系。RE提取出的关系事实在知识图谱构建、语义搜索、智能问答等多个下游应用中有着广泛应用。2026/6/1826.4关系抽取关系抽取方法基于规则的方法：通过语句分析工具获取文本中的句法元素，再基于句法元素自动构建规则来进行关系抽取为了尽可能多地构建高效准确的规则，人们尝试使用更大的语料库、更多的规则抽取方法然而，由于规则都是自动构建的，因此往往需要人类专家进一步检查筛选，较为复杂繁琐，同时也限制了这类方法的适用范围2026/6/1836.4关系抽取关系抽取方法基于统计的方法：一种典型的方法是基于特征的关系分类，该类方法首先设计词汇，句法和语义特征，并将这些特征和实体上下文一起送入关系分类器基于句法依赖图的关系分类模型则将实体，文本和关系之间的依赖关系通过句法分析抽象为有向无环图，然后使用推理模型来识别正确的关系2026/6/1846.4关系抽取关系抽取方法基于统计的方法：基于嵌入的关系分类方法将文本编码为低维向量，并从语义空间中抽取实体之间的依赖关系基于统计的关系分类方法依然面临诸多挑战，基于特征的方法严重依赖于设计的特征，基于句法依赖图和嵌入的方法则受限于模型容量2026/6/1856.4关系抽取关系抽取方法基于神经网络的方法：基于神经网络的关系分类方法可以更加有效的捕获文本信息并拥有更强的泛化能力。该类方法主要研究如何利用不同的网络架构来捕获文本中的语义关系2026/6/1866.4关系抽取关系抽取方法基于神经网络的方法：例如，卷积神经网络可以有效捕捉文本的局部模式；递归神经网络可以更好的处理长序列数据；图卷积神经网络可以利用实体文本之间的句法依赖图推断语义关系；基于注意力的神经网络则可以利用注意力机制聚合相关信息，更好的处理长距离依赖问题2026/6/1876.4关系抽取研究方向弱监督关系抽取：传统有监督学习的关系抽取模型依赖于大规模高质量标注数据，然而人工标注这样的数据集代价高昂。为了方便的获取更多的数据，基于远程监督的数据标注方法被广泛使用，不可避免的引入大量噪声标签。如何在弱监督条件下进行关系抽取成为重要的研究方向2026/6/1886.4关系抽取研究方向小样本关系抽取：现实世界的关系分布是长尾的，只有少数常见关系存在足够的训练样本，大多数关系的相关样本则非常有限。由于这种现象，我们需要能够更有效地学习长尾关系的模型。小样本学习（few-shotlearning）专注于使用少量训练样本来训练模型，非常适用于现实应用中罕见关系的抽取2026/6/1896.4关系抽取研究方向小样本关系抽取：处理few-shotlearning主要有两种方法：①度量学习：在数据上学习语义度量方法，将查询样本与训练示例进行比较来进行关系分类；②元学习：也称为“学会学习”，旨在通过在元训练数据上获得的经验，掌握参数初始化和优化的方法，从而在训练数据有限的情况下快速收敛，获得在不同任务间快速迁移的能力2026/6/1906.4关系抽取研究方向开放域关系抽取：大多数关系抽取系统只能较好地处理预先定义的关系集。但现实场景中，关系的种类可能不断地增长。因此，我们希望关系抽取系统不仅能抽取预先定义的关系类型，还能抽取新出现的关系类型，也就是进行开放域关系抽取一些方法利用聚类技术从无监督数据中发现关系，另一些方法则使用抽取式模型直接从文本中抽取出关系名称2026/6/1916.5事件抽取引言事件抽取旨在从非结构化纯文本中抽取结构化的事件信息。事件的结构化信息主要包含表达特定事件的动名词（即触发词）和参与事件的核心要素（即论元）两部分2026/6/1926.5事件抽取事件检测：事件抽取的一个子任务，涉及识别文本中特定类型事件的实例并将这些实例精确地分类为事件类型。主要挑战性：某些触发词具有歧义性，基于上下文的不同，同一个触发词可能对应多种事件类型一个句子中经常会含有多个触发词，这些触发词之间的共现关系对事件检测的效果往往有很大影响2026/6/1936.5事件抽取事件检测——例：基于CNN的模型2026/6/1946.5事件抽取事件检测——例：基于CNN的模型CNN是事件检测的一个不错的选择，CNN能通过滑动窗口对文本的局部上下文进行表示，并为单词序列抽取最重要的部分预训练词向量的选择对事件检测

任务的性能有重要影响。用于训练词向量的数据、大小和训练算法都会影响性能2026/6/1956.5事件抽取事件检测——例：基于CNN的模型改进方案：添加更多的语义和语法特征来表示整个句子可以考虑创建字符级特征，其能在形态学上反映词语的特征，而原始词向量则能有效地捕获词级句法和语义信息例如，如果取一个不在训练数据中出现的新词，torturing，给定词根和后缀（即torturing），很自然地猜测这个新词是torture的变体，并且后者可能代表相同类型的事件，即Life.Injure。同时，因为词向量模型缺乏对不常见词的训练，添加字符级特征的另一个优点是可以处理拼写错误或自定义词语2026/6/1966.5事件抽取事件检测——例：基于CNN的模型改进方案：添加更多的语义和语法特征来表示整个句子除了字符级表示外，句子表示的另一种常用方法是使用RNN模型最后一层的隐状态向量。对于事件检测任务，还可在CNN或LSTM模型之上使用注意力机制来引入额外的信息源来指导句子表示的抽取2026/6/1976.5事件抽取2026/6/198融合基于RNN的句子表示的事件检测模型6.5事件抽取论元抽取：论元角色抽取问题，即识别和特定触发词相关的论元。该任务是事件抽取的第二个子任务，其前序任务是事件检测。理论上，事件抽取和事件检测是高度相互依赖的，但在实践中，这两个任务经常被看作两个独立的步骤论元抽取任务通常具有和事件检测任务相近的模型结构。如果一个句子中识别出了触发词，则执行下一阶段的论元抽取。2026/6/1996.5事件抽取开放域事件抽取：开放域事件抽取侧重于从文本中检测新的或从未出现过的事件，所以没有预定义的事件类型基于聚类的方法基于句法分析的方法基于半监督和远程监督的方法基于贝叶斯的方法基于对抗领域适应的方法……2026/6/11006.6小样本信息抽取信息抽取涵盖的几大任务，都是自然语言处理领域较为复杂的语义分析任务，数据集标注耗时耗力，在现实中通常难以获取较大规模的带标签数据真实应用场景经常需要针对某个领域特别定制模型，如金融领域、司法领域等，这些领域一般只能提供少量标注样本作为示例2026/6/11016.6小样本信息抽取传统的有监督学习方法更加难以应用，在这一背景下，小样本信息抽取应运而生。小样本信息抽取是指模型在泛化到新的类或者新的领域上时，只需要借助少量样本（一般每个类不多于20个样本）微调，就能做出准确的预测。小样本学习的定义形式较为多样，但目前最常使用元学习（Meta-learning）框架来解决小样本问题2026/6/11026.6小样本信息抽取元学习的含义为学会学习，即learntolearn。元学习希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务元学习在训练阶段会构造很多个轮数（Episode），来模拟小样本任务设置，每个Episode仅包含N*K个样本（N个类，每个类K个样本）作为支持集（SupportSet），另包含N*Q个样本（N个类，每个类Q个样本）作为查询集（QuerySet），支持集和查询集分别作为每个Episode内部的小型训练集和小型测试集使用，在训练阶段模型在支持集上微调，并通过查询集的预测结果来计算损失；在测试阶段模型则通过输出查询集的预测结果来验证其泛化性能2026/6/11036.6小样本信息抽取2026/6/1104基于元学习的小样本信息抽取6.7预训练信息抽取模型通过前面几个小节的介绍，我们知道信息抽取是多一项样化的任务。例如：从任务类型来看，有命名实体识别、关系抽取、事件抽取等等从输出结构来看，有Span、Triplets、Records等等2026/6/11056.7预训练信息抽取模型信息抽取是多一项样化的任务如果为每个特定任务构建特定模型、数据，那么相对耗时耗力因此，一些研究考虑通过预训练的范式，构建一个统一的模型来处理这些信息抽取任务。除了便捷，这种建模方式也有利于知识在不同任务和场景下的共享以下以UIE(UniversalInformationExtraction)模型为例，介绍相关内容2026/6/11066.7预训练信息抽取模型2026/6/1107UIE模型结构6.7预训练信息抽取模型UIE模型的主要思想在于，将IE任务分解为以下两个通用的原子过程，实现任务形式的统一Spotting：定位目标信息片段，如实体、事件的trigger、argument。具体地说，Spotting阶段根据特定的语义类型（semantictypes），定位对应的span——例如在"In1997,StevewasexcitedtobecometheCEOofApple"句中，若要求的语义类型是"person"（实体抽取），则需要定位的span就是"Steve"；若要求的语义类型是"sentimentexpression"（情感抽取），则需要定位的span就是"excited2026/6/11086.7预训练信息抽取模型UIE模型的主要思想在于，将IE任务分解为以下两个通用的原子过程，实现任务形式的统一Aassociating：基于任务模式需求，关联上述片段，如entitypair间的relation、eventargument的role。具体地说，Associating阶段会在预先定义的模式（schema）中，为span分配角色——例如对于"_workfor_"这个模式，分别将"Steve"和"Apple"这两个span填进去2026/6/11096.7预训练信息抽取模型完成了上述的任务形式的统一后，UIE进一步通过定义统一的结构化表达语言和预训练，解决以下的几个问题：为不同的结构统一建模针对不同的任务自适应确定目标结构学习面向不同的任务的、通用的信息抽取知识2026/6/11106.7预训练信息抽取模型基于StructuredExtractionLanguage的UniformStructureEncoding2026/6/1111StructuredExtractionLanguage6.7预训练信息抽取模型通过上图所示的二级结构统一不同IE任务的结构形式：AssoName的InfoSpan通过AssoName指示的关系与其上级SpotName的InfoSpan关联起来例如：①对于实体识别，就只需要SpotName这一级：SpotName：InfoSpan⇔EntityType：Span；②对于关系抽取：SpotName：InfoSpan⇔EntityType：Subject；AssoName：InfoSpan⇔Relation：Object；③对于事件抽取：SpotName：InfoSpan⇔EventType：EventTrigger；AssoName：InfoSpan⇔Role：Argument统一建模各项任务的结构还有一个优势，能同时进行多种类型的信息抽取2026/6/11126.7预训练信息抽取模型StructuralSchemaInstructor：自适应地控制执行何种抽取任务。通过加入提示前缀，控制模型的输出："[spot]SpotName1…[asso]AssoNme1…[text]Text"2026/6/11136.7预训练信息抽取模型Pre-training（学习面向不同的任务的、通用的IE知识）andFine-tuning——主要是基于三类数据的预训练：text-to-structure的转换能力（input→output）：text-structureparalleldata（tokensequencex，structuredrecordy），即上图展示的输入输出——为了让模型学习到这种转换能力而不是简单地记住预训练数据中的内容，还需要引入负例，即引入不属于原始文本x的spotname和assoname前缀2026/6/11146.7预训练信息抽取模型Pre-training（学习面向不同的任务的、通用的IE知识）andFine-tuning——主要是基于三类数据的预训练：生成符合任务schema和SEL规则的structures（准确合理的output）：structureddataset（structuredrecordy）2026/6/11156.7预训练信息抽取模型Pre-training（学习面向不同的任务的、通用的IE知识）andFine-tuning——主要是基于三类数据的预训练：确保语义表达能力：（unstructuredtextdataset）。由于在decoding时可能出现exposurebias问题，因此在微调时，向groundtruthstructure（y）中引入诸如”spotname:[NULL]”的噪音内容，让模型学习对于错误的spotname或assocname给出[NULL]输出2026/6/1116机器阅读理解简介/常见的机器阅读理解模型/预训练机器阅读理解模型2026/6/1117第七章机器阅读理解简介机器阅读理解任务、机器阅读理解模型架构常见的机器阅读理解模型双向注意力流模型、R-Net网络、阅读验证模型、回溯式阅读模型预训练的机器阅读理解模型微调BERT2026/6/11187.1简介机器阅读理解通过赋予机器对自然语言的阅读和理解能力，从而能够帮助人类快速聚焦从大量文本中的相关信息，显著降低人工获取信息成本，在信息抽取、对话系统、文本问答等领域具有很高的应用价值2026/6/11197.1.1机器阅读理解任务机器阅读理解任务：按照给出答案的方式，机器阅读理解任务可以再分为四种形式：完型填空式、多项选择式、片段抽取式和自由生成式2026/6/11207.1.1机器阅读理解任务

2026/6/11212026/6/1122例：完型填空阅读理解7.1.1机器阅读理解任务7.1.1机器阅读理解任务

2026/6/11237.1.1机器阅读理解任务

2026/6/11247.1.1机器阅读理解任务

2026/6/11257.1.1机器阅读理解任务不同机器阅读理解任务的评估标准：对于抽取式的阅读理解任务一般使用exactmatch(EM)和F1-score进行评估，EM评估模型答案恰好匹配给定答案(之一)的比率，F1则衡量预测答案和正确答案的平均重叠率。而对于生成式的任务，使用ROUGE-L和BLUE作为评估标准。2026/6/11267.1.2机器阅读理解模型架构最早的机器阅读理解模型：1977年被提出，其利用模式匹配的方法提取时间地点相关信息进行问答早期方法：大多使用基于规则的启发式方法，比如词包方法(BagOfWords,BOW)和手动定义规则的方法。2026/6/11277.1.2机器阅读理解模型架构当前的主流方法基于RNN和交互表示的框架基于预训练模型编码的整体表示2026/6/11287.1.2机器阅读理解模型架构基于RNN和交互表示的框架框架构成：表示层，编码层，交互层和预测层常用技巧：注意力机制，如Bi-DAF的双向注意力机制2026/6/1129Bi-DAF的双向注意力机制7.1.2机器阅读理解模型架构基于RNN和交互表示的框架2026/6/1130基于RNN和交互表示的框架7.1.2机器阅读理解模型架构基于预训练模型编码：以基于BERT的机器阅读理解模型架构为主导优势变得更为精简，可以抽象为编码器解码器两层架构取缔了问题和文章的显式交互模块：BERT系列的预训练模型基于双向的自注意力机制，擅长于捕捉序列之间的交互关系，而RNN系列的模型并没有和注意力机制耦合，需要显式的搭建交叉注意力架构实现问题和文章的交互2026/6/11317.1.2机器阅读理解模型架构基于预训练模型编码2026/6/1132基于BERT的阅读理解模型7.1.2机器阅读理解模型架构仍然存在的难题复杂多跳推理：往往需要利用图算法实现推理，无法用预训练模型对话式机器阅读理解：需要考虑对话历史和对话者长文本序列问题：超出了BERT编码长度限制可解释性问题：模型可能只是利用了一些表层启发式的规则，并没有真正的进行深层次的推理，面对对抗攻击的鲁棒性也很弱。2026/6/11337.2常见的机器阅读理解模型双向注意力流模型R网络模型阅读验证模型回溯式阅读模型2026/6/11347.2.1双向注意力流模型双向注意力流模型2016年，华盛顿大学的团队发布了双向注意力流阅读理解模型BiDAF，在其发布后的几周内占据SQuAD的榜首，虽然现今BiDAF的表现已经被Bert模型超过，但是其架构十分经典，在诸多领域仍然具有参考价值。2026/6/1135双向注意力流模型字符嵌入层：将文章和问题中的每个单词映射到高维向量空间，这里利用字符级别的CNN获得每个单词的字符级嵌入2026/6/11367.2.1双向注意力流模型双向注意力流模型词嵌入层：将每个单词映射到高维向量空间种，但和字符级嵌入不同，BiDAF中使用预训练的GloVE词向量来得到所有单词的固定单词嵌入2026/6/11377.2.1双向注意力流模型双向注意力流模型上下文嵌入层：在得到字词嵌入信息并融合后，利用双向的长短期记忆网络（longshorttermmemory,LSTM）对前几层提供的嵌入单词之间的交互关系进行建模，提炼更细粒度的语义信息2026/6/11387.2.1双向注意力流模型双向注意力流模型注意力流层：将上下文信息与问题的词信息进行拼接和融合2026/6/11397.2.1双向注意力流模型双向注意力流模型建模层：对问题感知的文章表示进一步编码2026/6/11407.2.1双向注意力流模型双向注意力流模型输出层：进行基于问题的文章交互编码后，输出对答案开始位置和结束位置的交互2026/6/11417.2.1双向注意力流模型双向注意力流模型输出层：进行基于问题的文章交互编码后，输出对答案开始位置和结束位置的交互2026/6/11427.2.1双向注意力流模型7.2.2R-Net网络R-Net网络2017年微软团队第一个提出端到端的机器阅读理解模型：R网络(R-Net)，该模型第一次将注意力机制应用于机器阅读理解任务当中2026/6/1143R-Net网络问题和文章编码：对给定的问题和文章进行编码2026/6/11447.2.2R-Net网络R-Net网络基于注意力的门控循环网络：将问题信息融入到文章表示中，通过增加额外的门控机制计算问题关于文章每个部分的重要性，有效地对文章中只有部分内容与问题相关的现象进行了建模2026/6/11457.2.2R-Net网络R-Net网络基于门控注意力机制的循环网络：生成问题感知的文章表示，然而该编码只包含有限的上下文信息，用该编码生成候选答案可能忽视了其周围文本中的重要线索2026/6/11467.2.2R-Net网络R-Net网络输出层：R-Net使用指针网络(pointernetwork)预测答案的起始位置与结束位置。2026/6/11477.2.2R-Net网络7.2.3阅读验证模型阅读验证模型阅读验证（Read+Verify）模型是国防科技大学联合微软亚洲研究院发布的工作，是针对不可回答问题的阅读理解的一项经典工作，之前关注不可回答问题的工作往往只是通过额外输出不可回答的概率来判断是否需要模型回答，在此基础上，Read+Verify模型通过进一步检查模型提取的答案是否和文章问题相关，得到更准确的预测结果，这种方式避免了模型不使用文章中的信息，直接根据问题给出答案的情况发生2026/6/1148阅读验证模型模型主要由阅读和验证两个阶段构成：阅读阶段假设问题可回答并对答案区间进行提取，再预测该问题不可根据文章信息回答的概率；验证阶段进一步验证阅读阶段提取的答案能否根据文章给出，并且验证模型是否能够回答该问题，最后结合两个阶段的结果得出最终结果2026/6/11497.2.3阅读验证模型阅读验证模型2026/6/11507.2.3阅读验证模型阅读验证模型的三种架构：顺序架构交互式架构混合结构2026/6/11517.2.3阅读验证模型阅读验证模型的三种架构：顺序架构：将提取的答案、答案所在的句子和问题合并成一个序列，然后使用GPT进行编码。2026/6/11527.2.3阅读验证模型顺序架构阅读验证模型的三种架构：交互式架构：交互式架构捕捉问题和答案所在句子之间的交互，从而识别其局部蕴含关系，以验证问题是否能被答案回答，具体由编码层、推断层、句子内交互层和预测层组成。2026/6/11537.2.3阅读验证模型交互式架构阅读验证模型的三种架构：交互式架构：交互式架构捕捉问题和答案所在句子之间的交互，从而识别其局部蕴含关系，以验证问题是否能被答案回答，具体由编码层、推断层、句子内交互层和预测层组成。2026/6/11547.2.3阅读验证模型顺序架构7.2.4回溯式阅读模型回溯式阅读模型2021年上海交通大学的张卓胜博士提出了回溯式阅读理解模型(RetrospectiveReader)。回溯式阅读模型的主要创新在于针对不可回答问题，对通常的编码器-解码器架构进行改进，编码端使用两个平行的模块，一个判断问题是否不可回答，另一个对具体答案进行提取，作者称之为泛读和精读过程；解码端综合两种编码结果最终得到对问题不可回答的预测。2026/6/1155回溯式阅读模型外部前置验证模块：使用多层Transformer框架实现外部验证模块2026/6/11567.2.4回溯式阅读模型回溯式阅读模型内部前置验证模块：同样使用多层Transformer模块，在提取答案的过程中会考虑不可回答的情景2026/6/11577.2.4回溯式阅读模型回溯式阅读模型后置验证模块：综合了外部前置验证模块和内部前置验证模块，得到问题是否可答最终的预测分数2026/6/11587.2.4回溯式阅读模型7.3预训练的机器阅读理解模型实验实践：微调BERT实现机器阅读理解模型2026/6/11597.3.1微调BERT任务目标：以片段抽取式机器阅读理解任务为例，用BERT实现机器阅读理解模型数据集选择和模型实现：在CMRC2018数据集上进行中文抽取，模型使用Bert-base-chinese，使用huggingface的transformers库2026/6/1160本章小结7.1节：介绍了机器阅读理解的任务形式化定义，基本的任务分类和相应的阅读理解数据集，同时大致梳理了机器阅读理解模型架构的发展脉络。7.2节：详细介绍了四个较有代表性的机器阅读理解模型，前两个是传统架构的阅读理解模型，后两个则是重点关注不可回答问题的阅读理解模型。7.3节：描述了使用预训练模型BERT解决片段抽取式阅读理解任务的主要流程，并展示了部分实现代码2026/6/1161本章练习7.1按照给出答案的方式，机器阅读理解任务可以分为哪几类？它们有哪些相同点和不同点？7.2在阅读7.1节后，在上查找机器阅读理解(machinereadingcomprehension)相关的论文文献，尤其是一些综述(survey)，大致了解当前机器阅读理解领域的研究进展。7.3双向注意力流模型解决了什么关键问题？它的核心思想是什么？2026/6/1162本章练习7.4阅读7.2节中介绍的4类模型的原始论文。7.5进行编程实践，将7.3节的bert-base-chinese换为其他预训练模型参数，或者自行研究修改BertForQuestionAnswering模型架构，改进数据预处理和输出后处理算法，尝试获得更好的效果。2026/6/1163机器翻译简介/神经翻译模型/机器翻译中的搜索问题/机器翻译的领域适应问题/预训练的机器翻译模型2026/6/1164第八章机器翻译简介机器翻译任务、机器翻译模型架构神经翻译模型基于循环神经网络的机器翻译、基于卷积神经网络的机器翻译、基于自注意力机制的机器翻译机器翻译中的搜索问题机器翻译中的搜索问题、贪婪搜索和束搜索机器翻译的领域适应问题领域适应问题、跨语言预训练的迁移学习预训练的机器翻译模型机器翻译的单语预训练、机器翻译的多语预训练2026/6/11658.1简介任务目标：机器翻译（Machinetranslation）是一种利用计算机将一种自然语言文本自动翻译成另一种自然语言文本的技术。机器翻译旨在模拟人类的翻译能力，因此也是人工智能的重要分支之一2026/6/11668.1.1机器翻译任务机器翻译早期发展：始于1950年代，需要巨大的数据处理能力和存储能力，远远超出早期机器的能力，直到2000年代初，软件、数据和所需的硬件才能够进行基本的机器翻译。主要优点快速翻译广泛翻译降低成本2026/6/11678.1.2机器翻译模型架构机器翻译模型架构Seq2Seq模型架构：一个编码器（Encoder）和一个解码器（Decoder）编码器：将句子编码成一个固定长度的向量，这个向量能够大致映射出句子的内容。解码器：将由编码器生成的向量还原成相应的序列数据，通常情况下，解码器采用与编码器相同的结构，也是一个RNN类的网络。2026/6/11688.1.2机器翻译模型架构机器翻译模型架构Seq2Seq模型架构：一个编码器（Encoder）和一个解码（Decoder）2026/6/1169SequencetoSequence模型8.1.2机器翻译模型架构机器翻译模型架构Seq2Seq模型架构：一个编码器（Encoder）和一个解码（Decoder）2026/6/1170encoder-decoder模型细节8.1.2机器翻译模型架构机器翻译模型方法分类基于规则的机器翻译(RBMT)：基于一种语言规则，允许将单词放在不同位置并可以根据上下文而具有不同的含义统计机器翻译(SMT)：通过分析双语文本语料库来进行翻译学习神经机器翻译：一种端到端学习形式，可用于自动翻译2026/6/11718.2神经翻译模型统计翻译模型的不足：基于统计的翻译模型需要估计单词或短语对的转移概率（即通过对单词/短语的共现频次来估计翻译词的概率），然而，这种估计方法容易导致稀疏性以及对稀少词/未见词的泛化性较差的问题神经翻译模型的优势：利用连续表示(Continuousrepresentations)来表征词汇/短语的语义，从而可以更好地捕捉词汇之间的语义相关性2026/6/11728.2.1基于循环神经网络的机器翻译

2026/6/1173

2026/6/11748.2.1基于循环神经网络的机器翻译8.2.2基于卷积神经网络的机器翻译基于卷积神经网络的机器翻译RCTM的缺点：难以并行化生成源文本表示表征维度固定，难以更好地利用源文本更多的信息ByteNet模型：使用了掩码来防止网络在训练时看到目标序列中未解码出的部分运行时间与句子长度呈线性关系，效率相对较高2026/6/1175基于卷积神经网络的机器翻译ByteNet模型特点：解码器堆叠在编码器之上：“增加表示带宽”动态展开（Dynamicunfolding）空洞卷积（Dilatedconvolution）：扩展对输入源文本编码的感受野2026/6/11768.2.2基于卷积神经网络的机器翻译基于卷积神经网络的机器翻译ByteNet网络结构图：2026/6/11778.2.2基于卷积神经网络的机器翻译8.2.3基于自注意力机制的机器翻译Transformer与自注意力机制：《Attentionisallyouneed》论