《人工智能基础及应用（Python 微课版）》课件 第8 大模型简介和历史

大模型简介和发展史周元哲西安邮电大学大模型（英文为“FoundationModel”）是指具有庞大的参数规模和复杂程度的机器学习模型，这些模型可以在训练过程中处理大规模的数据集，并且能够提供更高的预测能力和准确性。大模型通常需要大量的计算资源和更长的训练时间大模型可以被分为多种类型，其中一类就是大语言模型（LLM，LargeLanguageModel），另一类则是图像、语音和推荐等领域的大模型。大语言模型主要用于处理自然语言处理任务，例如文本分类、情感分析、机器翻译等，而大模型在图像领域可以用于图像分类、目标检测等任务，在语音领域可以用于语音识别、语音合成等任务，在推荐领域则可以用于个性化推荐、广告推荐等任务大模型的概念在深度学习领域，大模型通常是具有数百万到数十亿甚至上万亿参数的神经网络模型比如，2020年，OpenAI公司推出了GPT-3，模型参数规模达到了1750亿，2023年3月发布的GPT-4的参数规模是GPT-3的10倍以上，达到1.8万亿，2021年11月阿里推出的M6模型的参数量达10万亿这些模型需要大量的计算资源和存储空间来训练和存储，并且往往需要进行分布式计算和特殊的硬件加速技术。简单来讲，大模型就是用大数据模型和算法进行训练的模型，它能够捕捉到大规模数据中的复杂模式和规律，从而预测出更加准确的结果大模型的“大”的特点体现在：参数数量庞大训练数据量大计算资源需求高......很多先进的模型由于拥有很“大”的特点，使得模型参数越来越多，泛化性能越来越好，在各种专门的领域输出结果也越来越准确大模型的概念大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更庞大的数据集或任务。大模型通常能够学习到更细微的模式和规律，具有更强的泛化能力和表达能力大模型具有更强的上下文理解能力，能够理解更复杂的语意和语境。这使得它们能够产生更准确、更连贯的回答上下文理解能力大模型可以从大量的数据中学习，并利用学到的知识和模式来提供更精准的答案和预测。这使得它们在解决复杂问题和应对新的场景时表现更加出色学习能力强大模型可以生成更自然、更流利的语言，减少了生成输出时呈现的错误或令人困惑的问题语言生成能力学习到的知识和能力可以在不同的任务和领域中迁移和应用。这意味着一次训练就可以将模型应用于多种任务，无需重新训练可迁移性高大模型的概念当前在我国，百度、阿里巴巴、腾讯和华为等公司均已开发出AI大模型，并且这些模型各自有所侧重百度由于其在AI领域的多年布局，具有显著的大模型先发优势，其文心一言API调用服务已经吸引了大量企业进行测试。在行业大模型应用方面，百度已经与国网、浦发、人民网等组织合作，实现了多个案例应用另一方面，阿里巴巴的通义大模型在逻辑运算、编码能力和语音处理方面表现突出，而阿里巴巴集团丰富的生态和在线产品使得该模型在出行、办公和购物等场景中得到了广泛应用大模型的概念大模型发展历经三个阶段，分别是萌芽期、沉淀期和爆发期大模型的发展历程萌芽期（1950-2005）这是一个以CNN（ConvolutionalNeuralNetworks，卷积神经网络）为代表的传统神经网络模型阶段1956年，从计算机专家约翰·麦卡锡提出“人工智能”概念开始，AI发展由最开始基于小规模专家知识逐步发展为基于机器学习1980年，卷积神经网络的雏形CNN诞生1998年，现代卷积神经网络的基本结构LeNet-5诞生，机器学习方法由早期基于浅层机器学习的模型，变为了基于深度学习的模型，为自然语言生成、计算机视觉等领域的深入研究奠定了基础，对后续深度学习框架的迭代及大模型发展具有开创性的意义大模型的发展历程沉淀期（2006-2019）这是一个以Transformer为代表的全新神经网络模型阶段2013年，自然语言处理模型Word2Vec诞生，首次提出将单词转换为向量的“词向量模型”，以便计算机更好地理解和处理文本数据。2014年，被誉为21世纪最强大算法模型之一的GAN（GenerativeAdversarialNetworks，对抗式生成网络）诞生，标志着深度学习进入了生成模型研究的新阶段2017年，Google颠覆性地提出了基于自注意力机制的神经网络结构——Transformer架构，奠定了大模型预训练算法架构的基础2018年，OpenAI基于Transformer架构发布了GPT-1大模型，意味着预训练大模型成为自然语言处理领域的主流，其中，GPT的英文全称是GenerativePre-TrainedTransformer，是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型2019年，OpenAI发布了GPT-2大模型的发展历程爆发期（2020-至今）这是一个以GPT为代表的预训练大模型阶段2020年6月，OpenAI公司推出了GPT-3，模型参数规模达到了1750亿，成为当时最大的语言模型，并且在零样本学习任务上实现了巨大性能提升。随后，更多策略如基于人类反馈的强化学习（RLHF，ReinforcementLearningfromHumanFeedback）、代码预训练、指令微调等开始出现，被用于进一步提高推理能力和任务泛化2022年11月，搭载了GPT3.5的ChatGPT（ChatGenerativePre-trainedTransformer）横空出世，凭借逼真的自然语言交互与多场景内容生成能力，迅速引爆互联网，在全球范围内引起轰动，使得大模型的概念迅速进入普通大众的视野。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务大模型的发展历程爆发期（2020-至今）OpenAI在2023年3月发布了GPT-4，它是一个多模态大模型（接受图像和文本输入，生成文本）。相比上一代的GPT-3，GPT-4可以更准确