深度学习与大模型 课件 第5章 循环神经网络与自然语言处理

第5章循环神经网络与自然语言处理content目录01循环神经网络原理02长短期记忆与门控循环单元03文本生成与情感分析04词向量与嵌入层05序列到序列模型06项目实践循环神经网络原理01RNN基本原理01循环连接结构RNN通过循环连接结构，允许信息在时间步之间传递。02处理序列数据特别适用于处理文本和时间序列等序列数据。03接收输入更新在每个时间步，RNN接收输入并更新隐藏状态。04携带历史信息隐藏状态携带序列的历史信息，用于生成当前输出。05前向传播算法通过前向传播算法，捕捉序列中的时间依赖性。06反向传播算法通过反向传播算法，学习数据的内在规律。07捕捉时间依赖RNN能够捕捉序列中的时间依赖性，提高模型性能。08学习内在规律RNN通过学习数据的内在规律，提升对序列数据的理解能力。前向传播与反向传播RNN工作原理前向传播过程接收序列数据，通过隐藏层计算并传递隐藏状态至输出层生成输出。每个时间步，RNN根据当前输入和上一时间步的隐藏状态更新当前隐藏状态，捕捉时间依赖。反向传播过程从输出层开始，沿时间步反向传播误差，更新网络参数以解决长期依赖问题。通过梯度下降算法，根据反向传播计算的梯度更新权重和偏置，优化模型性能。时间依赖性RNN能够根据历史信息影响当前的输出，实现对时间序列数据的有效处理。在处理长序列时，RNN可能面临梯度消失或爆炸的问题，影响模型训练效果。模型优化使用梯度裁剪技术可以有效缓解梯度爆炸问题，提高模型稳定性。引入门控机制如LSTM或GRU，增强模型对长期依赖性的捕捉能力。应用场景RNN广泛应用于自然语言处理任务，如文本生成、情感分析等。在语音识别领域，RNN能够有效处理连续语音信号，提高识别准确率。模型局限性RNN在处理非常长的序列时，仍然存在性能瓶颈，需要进一步改进。RNN的训练速度相对较慢，尤其是在大规模数据集上。RNN的局限性梯度消失与爆炸在长序列处理中，梯度可能随时间步增加而消失或爆炸，导致早期权重难以更新，影响长期依赖学习。记忆容量限制隐状态随时间累积，信息饱和，长期依赖难以维持，影响模型记忆能力。计算效率与资源循环特性导致计算量大，尤其在长序列上，训练时间长，资源消耗多。模型结构与应用复杂结构和参数增加训练难度，特定场景下可能非最优选择，如处理极长序列数据。长短期记忆与门控循环单元02LSTM结构与记忆单元LSTM记忆单元由三个门控机制（遗忘门、输入门和输出门）和一个细胞状态（CellState）组成。这些组件共同协作，实现对信息的存储、更新和输出。LSTM结构与记忆单元01LSTM网络结构LSTM通过引入记忆细胞和门控机制，有效捕捉长期依赖关系，克服了传统RNN的梯度消失问题。02遗忘门遗忘门决定前一时间步的细胞状态中有多少信息应该被保留下来，通过Sigmoid函数计算保留程度。03输入门输入门决定新信息是否应该被加入到细胞状态中，同样通过Sigmoid函数计算允许通过的程度。04细胞状态更新细胞状态更新是通过遗忘门和输入门的输出相加得到的，实现了信息的更新和存储。GRU简化结构与应用GRU是在LSTM的基础上进行了简化，它引入了更少的参数量和结构复杂度。GRU的核心在于其“门控机制”，这种机制包含两个主要部分：更新门（UpdateGate）和重置门（ResetGate）。GRU简化结构与应用GRU结构简介GRU（门控循环单元）简化了LSTM的结构，通过合并细胞状态和隐藏状态，减少了门控机制的数量，仅保留更新门和重置门，从而降低了计算复杂度。更新门作用更新门决定当前时间步的隐藏状态需要保留多少前一个时间步的信息，平衡新信息与旧信息的比重。重置门功能重置门控制前一时间步的隐藏状态在多大程度上被忽略，有助于网络在必要时‘忘记’过去的信息。GRU应用领域GRU广泛应用于文本分类、语言建模、机器翻译等自然语言处理任务，以及时间序列预测、语音识别等领域，尤其在处理长序列数据时表现出色。文本生成与情感分析03基于RNN的文本生成数据准备收集并预处理文本数据，确保高质量输入。模型构建选择RNN架构，设置参数，构建模型。文本生成利用训练好的模型生成符合规律的文本。情感分析任务流程接收用户文本接收来自社交媒体、产品评论等渠道的用户生成文本数据，作为情感分析的输入。数据预处理对原始文本数据进行清洗、分词、去除停用词和向量化等处理，以提高数据质量。清洗文本数据去除无关字符、链接、表情符号等，保留有效信息，减少噪声干扰。分词与去停用词将文本切分成单词或短语，并移除常见的无意义词汇，便于后续处理。文本向量化将处理后的文本转换成数值形式，使机器学习模型能够理解和处理这些数据。情感分类使用训练好的模型对向量化后的文本进行情感倾向识别，判断其为积极、消极或中立。模型应用将预处理和情感分类流程应用于实际场景，持续监控模型性能，确保准确性和可靠性。词向量与嵌入层04词向量概述词向量是一种将自然语言中的单词映射到实数向量空间的技术。在自然语言处理中，词向量是一种基础且重要的技术，旨在将语言的符号表示转化为数学上的向量表示，使得机器能够更好地理解和处理自然语言。词向量通常是一个固定长度的实数向量，每个单词都有一个对应的向量表示。这些向量被设计成能够捕捉到单词的语义和语法信息，使得相似的单词在向量空间中距离更近，而不相似的单词则距离更远。词向量的向量通常是通过无监督学习算法（如Word2Vec、GloVe或FastText）预先训练得到的，能够捕捉词与词之间的语义相似性和关系。词向量概述词向量定义词向量是将自然语言中的单词映射到实数向量空间的技术，用于捕捉单词的语义和语法信息。词向量作用词向量能够将文本数据转换为数值型特征，便于机器学习模型处理，提高自然语言处理任务的性能。词向量种类包括Word2Vec、GloVe和FastText等，各有特点，适用于不同场景。词向量优势词向量能够捕捉词与词之间的语义相似性和关系，为自然语言处理任务提供有效的特征表示。嵌入层的作用与实现嵌入层功能嵌入层将离散的词ID转换为连续的词向量，捕捉词义与语法关系，优化模型性能。构建词向量矩阵初始化词向量矩阵，每个词对应一个向量，通过训练微调，增强语义表达。词索引到向量映射查找词向量矩阵，将输入的词ID映射为对应的词向量，作为神经网络的输入。序列到序列模型05编码器-解码器结构编码器功能编码器接收输入序列，将其转换为固定长度的向量表示，捕捉序列中的上下文信息。解码器功能解码器基于编码器生成的向量，逐步生成输出序列，利用上下文信息生成每个输出元素。动态权重分配注意力机制通过动态权重分配，使模型在生成输出时更关注输入序列的关键部分。上下文相关性解码器利用编码器提供的上下文向量，生成与输入序列语境相关的输出。注意力机制注意力机制简介注意力机制是Seq2Seq模型的关键，它允许模型在生成输出时关注输入序列的不同部分，提高翻译质量和效率。动态权重分配通过计算查询与键之间的相似度，为每个键分配权重，使模型能够聚焦于输入序列中与当前输出最相关的部分。上下文相关性注意力机制基于上下文向量，捕捉输入序列与输出序列之间的依赖关系，增强了模型的表达能力和泛化能力。自适应调整注意力权重随解码器状态动态调整，确保模型在不同时间步关注输入序列的正确位置，实现更精准的序列转换。项目实践06项目实践情感需求分析注情感分类又称为情感倾向性分析，是指对给定的文本，识别其中主观性文本的倾向是肯定的还是否定的，或者说是正面的还是负面的。LSTM模型新浪微博数据集simplifyweibo_4_moods数据集：新浪微博的共36万条带情感标注的数据，其中包含4种情感，其中喜悦约20万条，愤怒、厌恶、低落各约5万条。依赖库包1PyTorch:一个开源的机器学习库，广泛用于深度学习应用。2jieba：基于Python的开源中文分词工具3sklearn:提供了数据预处理、模型选择和评估等工具开发流程1文本预处理2构建LSTM模型3模型评估数据来源项目实践情感需求分析注情感分类又称为情感倾向性分析，是指对给定的文本，识别其中主观性文本的倾向是肯定的还是否定的，或者说是正面的还是负面的。LSTM模型新浪微博数据集simplifyweibo_4_moods数据集：新浪微博的共36万条带情感标注的数据，其中包含4种情感，其中喜悦约20万条，愤怒、厌恶、低落各约5万条。依赖库包1PyTorch:一个开源的机器学习库，广泛用于深度学习应用。2jieba：基于Python的开源中文分词工具3sklearn:提供了数据预处