《工业大数据与人工智能》 课件 第七章 - 讨论课

工业大数据与人工智能HFUT12第七章

工业大数据与人工智能应用

讨论课：基于时序大模型的供水管网流量预测方法研究与讨论3讨论课目的1、深入理解时序大模型在时间序列预测中的应用2、通过时序大模型与深度学习模型的对比，分析各自优势3、培养批判性思维与研究能力4课前准备文献阅读：阅读有关时序大模型在时序预测中的应用文献，重点理解模型原理和应用实例。数据分析：根据所提供的供水管网的历史流量数据，总结数据的特性与挑战。实际应用：尝试使用一个时序大模型对供水管网流量预测进行实际操作并根据结果分析其性能。5讨论内容1、什么是大模型？时序大模型与大模型有什么区别？6大模型（LargeModel）通常是指参数规模非常大的机器学习模型，特别是在深度学习领域中，它们能够处理大量的数据并具备强大的学习能力。大模型的代表包括GPT、BERT、T5等，这些模型拥有数亿到数千亿级别的参数，能够理解和生成复杂的自然语言文本，并被广泛应用于自然语言处理、计算机视觉等领域。时序大模型是大模型的一种特化形式，专门用于处理时序数据。时序数据是指按照时间顺序排列的数据，如股票价格、气象数据、传感器读数等。时序大模型通过结合大量的历史数据，捕捉时间序列中的复杂模式和长期依赖关系，常用于预测、分类、异常检测和填充。72、举例几个时序大模型并分析不同模型的特点。8TimeGPT-1TimeGPT是一种由Nixtla开发的专门用于预测任务的生成式预训练Transformer模型，具有自我关注机制，采用历史值窗口生成预测，添加局部位置编码，由多层编码器-解码器结构组成，每个结构都具有残差连接和层归一化。最后，线性层将解码器的输出映射到预测窗口维度。TimeGPT旨在处理不同频率和特征的时间序列，同时适应不同的输入大小和预测范围。这种适应性在很大程度上归因于TimeGPT所基于的基于transformer的底层架构。9TIME-LLMTIME-LLM，一个重新编程框架，用于将LLMs重新用于通用的时间序列预测，同时保持骨干语言模型的完整性。给定一个输入的时间序列，首先通过分块（patching）进行标记化，并使用自定义的嵌入层进行嵌入。接着，这些分块嵌入会与精炼的文本原型重新编程，以对齐两种模态（时间序列和文本）。为了增强LLM的推理能力，在输入中添加了额外的提示前缀，以指导输入分块的转换。最后，从LLM中输出的分块被投影以生成预测结果。10ChronosChronos是一个简单而有效的预训练概率时间序列模型框架。Chronos模型首先将时间序列数据进行缩放和量化，将连续的数值转化为离散的令牌序列。然后，使用基于语言模型的架构，通过交叉熵损失函数训练这些令牌序列，以预测未来的时间序列值。在推理阶段，通过自回归方式从模型中采样令牌，并将其映射回实际的数值，进而生成预测结果。113、时序大模型与深度学习模型在时序预测方面各自的优势有哪些？12数据处理能力时序大模型:时序大模型经过预训练，能够处理海量的时序数据，在处理复杂、大规模数据集时表现出色。时序大模型擅长捕捉数据中的长短期依赖关系。深度学习模型：深度学习模型，如LSTM、GRU，在较小规模的数据集上也能表现良好，不依赖于大规模预训练。深度学习模型尤其擅长捕捉数据中的短期依赖，适合短期预测任务。13模型复杂性与灵活性时序大模型:时序大模型可以从海量数据中自动提取复杂的时序模式，适合处理高维和复杂的时序数据。能够整合不同来源的多模态数据，提升预测精度。深度学习模型：深度学习模型的结构设计更加灵活，可以根据具体任务需求调整层数、节点数、激活函数等。可以根据特定任务需求，灵活设计模型结构，并进行特定优化，如注意力机制、卷积层等。14计算资源需求时序大模型:由于模型规模大，参数多，时序大模型通常需要大量计算资源和时间进行训练和推理。预训练的时序大模型可以通过微调适应新任务，减少从零开始训练的时间和资源消耗。深度学习模型：深度学习模型通常较为轻量，在计算资源有限的环境下依然能够高效运行。可以针对特定任务或硬件环境进行优化，降低计算需求。154、如何改进时序大模型的预测精度？有哪些优化策略？16微调（Fine-tuning）是一种有效的方法，可以显著提升时序大模型的预测精度。微调的过程涉及在已有的预训练模型基础上，使用特定任务的数据进行进一步训练，以适应新的任务要求。首先，加载一个经过大规模时序数据预训练的模型，然后根据目标任务的需求，冻结模型的前几层，仅更新后面几层或新加入的层。接着，调整模型的输出层以匹配任务要求，如将分类任务的输出层替换为回归任务的线性输出层。设置适当的优化器和较低的学习率，以避免大