上下文词嵌入Contextualized Embedding

上下文词嵌入

ContextualizedWordEmbedding1目录WordEmbeddingsPre-TrainingLanguageModelNextSentencePredictionFine-Tuning处理输入处理输出实验任务和数据集结果AblationStudy简介2WordEmbeddingsEmbedding:嵌入，保持结构的单射。用向量表示词。3w1Modele1w2Modele2w3Modele3w1e1w2Modele2w3e3StaticWordEmbedding如：Word2vec、GloVeContextualWordEmbedding如：BERT、GPT如何获得CWE4Model随机初始化或用其他模型已有的参数Pre-train无标注的语料库后续需要的特殊符号Pre-trainedModel具有较好的参数Fine-tunePre-trainedModel有标注的数据添加任务相关的结构Task-specificStructurePre-trainedModelTask-specificStructurePre-trainedModelTask-specificStructure目录WordEmbeddingsPre-TrainingLanguageModelNextSentencePredictionFine-Tuning处理输入处理输出实验任务和数据集结果AblationStudy简介5如何Pre-train需要考虑的问题：让模型理解token和context支持后续任务（例如同时输入两个句子）利用大量无标注的语料方法：LanguageModel(LM)是一个通用的任务再配合模型设计相关的任务，如NextSentencePrediction(BERT)，用于模型学习特殊token6Pre-train中的LMAutoregressive(AR)LM:GPT预测下一个词Autoencoding(AE)LM:BERT恢复被破坏的语料7w1w2GPT(Multi-layerTransformerDecoder)e2P(w3)Linear&Softmaxw1e1[MASK]BERT(Multi-LayerTransformerEncoder)e2w3e3P(w2)Linear&SoftmaxGPT的ARLM

8w1w2TransformerDecoderw3TransformerDecodere1e2e3P(w2)P(w3)P(w4)*We&SoftmaxBERT的MaskedLM9w1w2TransformerEncoderw3TransformerEncodere1e2e3P(w2)*We&Softmax随机选取15%的token其中：80%替换为[MASK]10%替换为随机的token10%保持不变减小引入[MASK]导致的影响MASS和BART的Seq2seqLM直接使用完整的Transformer。10输入corrupteddocument输入预测的document，通过mask使模型只能attend已预测的部分输出predictionMASS与BART的区别11MASS：corruption是连续的，decoder不输入已知部分，也不需输出已知部分BART：支持多种corruption，decoder需要输入输出完整documentUNILM的多种LM，巧用attentionmask12XLNet的PermutationLM问题：AR

LM无法同时利用上下文的信息。AE

LM引入[MASK]标记导致预训练和实际任务不一致。方法：随机顺序的ARLM。13PermutationLM的位置信息

14Two-StreamSelf-AttentionforTarget-AwareRepresentations15

Pre-train:NextSentencePredictionBERT和UNILM除了使用LM，还使用NSP做pre-train。1650%的概率B是A的下一句。50%的概率是随机选择的句子。[CLS]的输出用于分类目录WordEmbeddingsPre-TrainingLanguageModelNextSentencePredictionFine-Tuning处理输入处理输出实验任务和数据集结果AblationStudy简介17如何Fine-tune根据不同的下游任务分类：输入：一个句子多个句子输出：单个分类（情感分类、逻辑推断、句子相似度）每个token的分类（命名实体识别）输入的子串（提取型问答）Sequence（机器翻译、文本摘要、生成型问答）18如何Fine-tune六个模型可以抽象为两种结构：19w1e1w2Modele2w3e3w1w2Encoderw3Sw5Decoderw6w5w6w7多层TransformerEncoder：BERT、UNILM多层TransformerDecoder：GPT多层Attention：XLNet完整的Transformer：MASS、BART同时输入两个句子除了MASS以外，BERT、GPT、UNILM、XLNet、BART支持同时输入两个句子。20Model实现单个分类21Modele1enBERT、UNILM、XLNet取[CLS]对应的输出GPT、BART取最后一个输出BERT、UNILM、XLNet在最前面添加[CLS]tokenGPT、BART用Decoder输出，只有最后一个位置才能attend全句Linear&Softmax实现token级分类22w1e1w2CWEModele2w3e3w4e4Task-SpecificModel(如LSTM+Linear+Softmax)c1c2c3c4实现提取输入23ModelT1T2T3T4

SEDotProduct实现输出Sequence24MASS、BART：与Transformer完全相同。w1w2Encoderw3Sw5Decoderw6w5w6w7UNILM：随机mask目标序列，不mask源序列。w1w2UNILMEOSSOSw3[MASK]w5EOSw4特例：BART用于机器翻译BART没有把机器翻译看成普通的序列生成任务，而是把整个BART模型看成一个decoder，再添加一个小型随机初始化的encoder用于编码原文。25第一步，冻结大部分BART参数，只更新随机初始化的源encoder、BART的positionalembeddings和BARTencoder第一层的attention。第二步，训练所有参数目录WordEmbeddingsPre-TrainingLanguageModelNextSentencePredictionFine-Tuning处理输入处理输出实验任务和数据集结果AblationStudy简介26任务和数据集NLP可以分为自然语言理解（NLU）和自然语言生成（NLG）。NLU:GLUEBenchmark:包括9项序列分类的任务/SQuAD:给定一篇文章和问题，答案是原文中的一段话https://rajpurkar.github.io/SQuAD-explorer/SWAG:给定一个句子，在四个选项中选择最合理的下一句/anthology/D18-1009/CoNLL-2003:命名实体识别https://www.clips.uantwerpen.be/conll2003/ner/NLG:WMT:神经机器翻译http:///wmt20/translation-task.htmlGigaword:文本摘要https:///harvardnlp/sent-summaryCornellMovie-Dialogs:对话响应生成/~cristian/Cornell_Movie-Dialogs_Corpus.html27GLUE

Benchmark结果28/pdf/1905.00537.pdfXLNet-Large超越了人类表现SummarizationCase29具有