计算思维导论第17讲-大模型与人工智能生成技术-教学版

第17讲大模型与生成式人工智能哈尔滨工业大学计算学部教学委员会主任国家教学名师战德dechen@第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能大模型与生成式人工智能概述神经网络与大模型发展的几个阶段1943195819862012神经元--MP模型抽象模型单层神经网络--感知机基本计算模型，能表示并实现基本逻辑运算如与、或、非等两层神经网络--BP神经网络误差反向传播多层神经网络--CNN卷积神经网络卷积-特征提取；池化-降低数据维度；全连接-非线性-分类多层（已出现150层甚至更多）2020大模型与AIGC—人工智能生成内容阿里M6,100000亿；华为盘古-10850亿；百度文心大模型-2600亿OpenAIGPT4,18000亿、GooglePalM-E5060亿语言大模型(ChatGPT)；视觉大模型(DALL-E)；多模态大模型语言大模型视觉大模型多模态大模型OpenAI公司开发的大语言模型ChatGPT

—通过从大规模语料库中学习语言规律，从而生成与人类语言相似的输出。表现为一个对话机器人，能够理解自然语言，进行高质量的多轮对话—拟人化程度惊人被认为是人工智能里程碑式的突破，开启生成式人工智能新浪潮，推动人工通用智能的发展比尔盖茨：ChatGPT是我一生中见到的两项最具革命性技术之一

大模型与生成式人工智能概述ChatGPT开启了大模型-人工通用智能的浪潮大模型与生成式人工智能概述什么是大模型(LargeLanguageModels)大模型：是指具有大规模参数和复杂计算结构的机器学习模型，通常由超多层数的神经网络即深度神经网络构建而成，拥有数十亿甚至数千亿个参数，被认为是能够推动AI走向AGI的一种模型AGI：ArtificialGeneralIntelligence，人工通用智能。是一种能够完全模仿人类智能的行为，并可以执行复杂任务的人工智能。AGI可以被认为是人工智能的更高层次，它可以实现自我学习、自我改进、自我调整，进而解决任何问题而不需要人为干预AIGC：ArtificialIntelligenceGeneratedContent,人工智能生成内容或者是生成式人工智能，是一种新的人工智能技术，是一种基于语言大模型、视觉大模型和多模态大模型的技术，能够根据用户提示模仿人类自动产生文本、图像、音频等多种类型的内容大模型与生成式人工智能概述语言大模型的技术发展轨迹第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能TransformerTransformerTransformer模型是一种基于自注意力机制的深度学习模型。最早由Google在2017年提出，《AttentionisAllYouNeed》[Vaswani]自注意力机制实现了输入序列中元素之间的直接交互，从而能够更好地捕捉长距离依赖关系。采用Encoder-Decoder结构。其中Encoder部分负责将输入序列转换为中间表示，而Decoder部分则负责生成输出序列。解决了传统循环神经网络(顺序模型)和卷积神经网络(全局较弱)在处理序列数据时存在的问题：能够并行计算；能够更好地捕捉序列中的长距离依赖关系。引入了位置编码，以保留输入序列中元素的位置信息，也很重要。Transformer初步理解Transformer-1：词汇处理【Token-词向量-词嵌入】Token【术语】大模型中的“Token”是指在自然语言处理任务中，模型所使用的输入数据的最小单元，可以是单词、子词或字符等，具体取决于模型的设计和训练方式。在模型的输入端，通常会使用特定的编码方式将这些token映射为数字表示，以便计算机能理解和处理。【示例】“ThisistheintroductiontotheLargeLanguageModeltobeusedforAIGC”。“This”“used”等是单词级别的Token,“use”“d”则是子词级别的Token（处理词性、词形、词缀）“u”“s”“e”等则是字符级别的Token。词向量

词嵌入

【术语】词向量是单词的一种表达形式，它将单词映射为一种向量。【术语】词嵌入是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。通俗讲，词嵌入就是将自然语言中的词语映射为数值的一种方式。词嵌入技术是NLP领域的一项重要技术。Transformer初步理解Transformer-1：词汇处理【Token-词向量-词嵌入】【One-Hot（独热）编码模型】是一种词向量模型。一个维数为所有词的数量的向量，除当前词对应某个位置为1，其他均为0的一种词向量表示。例如： 1杭州[0,0,0,1,0,0,0,0,…,0,0,0,0,0,0,0] 2上海[0,0,0,0,1,0,0,0,…,0,0,0,0,0,0,0] 3北京[0,1,0,0,0,0,0,0,…,0,0,0,0,0,0,0]【BagOfWords(词袋)模型】是一种词向量模型。将分好的词放入一个袋子中，每个词都是独立的，这种模型不考虑语法、词的顺序，只考虑词出现的频率。【N-gram模型】是一种词向量模型。(1)将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度为N的字节片段序列,每个字节称为gram。(2)对所有字节的出现频率进行统计，并且按照事先设定好的阈值进行过滤，形成关键词列表，也就是这段文本的向量特征空间。(3)列表中每一个gram都是一个特征向量维度。【Word2Vec】【术语】是将Token转为词嵌入的一种方法/工具。可以将One-Hot编码转化为低维度的连续值，意思相近的词将被映射到向量空间中相近的位置。如何形成需要有理论支撑（略）。Transformer初步理解Transformer-1：词汇处理【Token-词向量-词嵌入】【Transfomer模型输入：词嵌入】在Transformer模型中，编码器接收的词嵌入（embeddings）可以被视为矩阵。这些词嵌入是将输入序列中的每个token映射到一个固定维度的向量空间中的结果。每个词嵌入都是一个向量，而这些向量按顺序排列形成一个矩阵。具体，如果你有一个句子或序列，包含了N个token，每个token都被映射到一个d维的向量空间中，则得到一个N×d的矩阵，其中N是序列的长度，d是嵌入向量的维度。这个矩阵就是词嵌入矩阵，它具有两个维度：序列长度（时间步长）和嵌入维度。【Transfomer模型输入：位置编码与位置嵌入】文本输入中每个token都有位置信息，被编码形成位置编码，然后再经过一个变换，形成一个向量，被称为位置嵌入。（详细解读略）Transformer初步理解Transformer-2：自注意力机制什么是自注意力？假设输入的要翻译的句子：“Theanimaldidn'tcrossthestreetbecauseitwastootired”问：“it”指的是什么？是street还是animal？自注意力机制通过分析句子的上下文和词语间的关联可以正确地理解这种指代关系。也即通过计算一个单词和句子中其他单词联合出现的概率来达到正确的理解。Transformer初步理解Transformer-2：自注意力机制Query、Key、Value的通俗理解Query(查询)：用户关注的信息点。Key(键)：用户可访问的信息点，用于匹配Query以获得相关答案。Value(值)：与每个Key关联的实际信息。【示例】一次关于今年知识图谱工作部署的会议记录。用户期望生成“今年做什么?”的回答。Query(查询)：“做”“什么”。Key(键)：会议记录中的每句话的主题或关键词。Value(值)：每句话的具体内容。【示例】电影推荐系统。Query(查询)：用户对电影的喜好信息，如兴趣点，演员，关键剧情等。Key(键)：电影的类型（年代、剧情分类、刻画影片的关键词等）。Value(值)：待推荐的每一部电影。Transformer初步理解Transformer-2：自注意力机制【自注意力机制】是一种神经网络模型，能够自动学习输入序列中每个元素与其他元素的关系，并根据关系的重要性加权。（1）输入序列经过线性变换，为每个元素生成三个表示，分别用于计算Query(查询)、Key(键)和值(Value)。（2）依据Query和Key计算注意力权重。注意力权重是通过计算Quey与Key的点积得到，然后进行归一化处理。（3）利用注意力权重对值的表示进行加权平均，得到最终的自注意力。X是词嵌入矩阵。W是权重向量，通过神经网络学习得到。Q(Query),K(Key),V(Value)是通过神经网络从输入数据中学习到的向量表示

通过计算Query和每个Key的相似度（通常使用点积），可以得到一个注意力分数，这个分数表明了每个Value的重要性，也即该Value对句子中其他Value的关注程度，分数越高关注度越高。根号dk是做缩放处理。

Softmax是逻辑函数的一种推广。它能将一个含任意实数的K维向量压缩到另一个K维实向量，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。然后使用这些分数对Values进行加权求和得到最终的输出，即是回答。Transformer初步理解Transformer-2：自注意力机制Transformer初步理解Transformer-2：自注意力机制【多头注意力机制】表示对每个Query和所有的Key-Value做多次注意力机制。做两次就是两头，做三次，就是三头。多头的意义在于获取每个Query和所有的Key-Value的不同的依赖关系。Transformer初步理解Transformer-3：通用架构Transformer通用架构：自注意力机制+矩阵计算并行处理（1）输入部分源文本嵌入层：将源文本中词汇的数字表示转换为向量表示，捕捉词汇间的关系位置编码层：为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息目标文本嵌入层（在解码器中使用）：将目标文本中词汇的数字表示转换为向量表示（2）编码器部分多个编码器层，多头自注意力计算，分析与理解（3）解码器部分多个解码器层，多头自注意力计算，生成（4）输出部分线性层：将解码器输出的向量转换为最终的输出维度Softmax层：将线性层的输出转换为概率分布，以便进行最终的预测残差连接与归一化层：(1)在增加层数时缓解退化问题。(2)加速收敛。(3)提高表示能力

前馈网络层：处理来自其他token的信息编码器自注意力层：token之间的关注度，均由编码器的状态计算Q、K、V.解码器自注意力层(掩码的)：tokens需关注先前的tokens，均由解码器的状态计算Q、K、V解码器-编码器注意力层：目标端tokens关注源端tokens。自解码器状态计算Q，自编码器状态计算K和V前馈网络层：处理来自其他token的信息位置编码层词嵌入层Transformer初步理解Transformer-4：Transformer的原理Transformer初步理解Transformer-5：Transformer架构的改进BERT：BidirectionalEncoderRepresentationsfromTransformers。一种仅堆叠编码器的深度学习模型。GPT：GenerativePre-Trained。一种仅堆叠解码器的深度学习模型。Transformer初步理解Transformer-5：Transformer架构的改进【BERT】是一种基于Transformer的预训练语言模型，侧重于堆叠编码器，是双向Transformer编码器，即它可以同时考虑输入序列的前后上下文信息。输入层（Embedding）TokenEmbeddings：将单词或字词转换为固定维度的向量SegmentEmbeddings：用于区分句子对中的不同句子PositionEmbeddings：提供序列中单词的位置信息编码器层（TransformerEncoder）BERT模型使用双向Transformer编码器进行编码输出层（Output）两类Pre-trainedTask-specificOutputMLM任务输出层：用于预测被掩码（masked）的单词。在训练阶段，模型会随机遮盖输入序列中的部分单词，并尝试根据上下文预测这些单词NSP任务输出层：用于判断两个句子是否为连续的句子对。在训练阶段，模型会接收成对的句子作为输入，并尝试预测第二个句子是否是第一个句子的后续句子Transformer初步理解Transformer-5：Transformer架构的改进【GPT】是一种基于Transformer的预训练语言模型，侧重于堆叠解码器，单向Transformer解码（即模型或者自左至右处理或者自右至左处理），利用掩码自注意力，即将后输入的词汇遮蔽掉然后计算自注意力。输入层（InputEmbedding）将输入的单词或符号转换为固定维度的向量表示可以包括词嵌入、位置嵌入等，以提供单词的语义信息和位置信息解码器层（TransformerEncoder）GPT模型使用单向Transformer解码器进行编码和生成输出层（OutputLinearandSoftmax）线性输出层将最后一个TransformerDecoderBlock的输出转换为词汇表大小的向量Softmax函数将输出向量转换为概率分布，以便进行词汇选择或生成下一个单词第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能由大语言模型到多模态大模型大语言模型的分类和发展编码器强调理解，解码器强调生成ChatGPT(2022-11)由大语言模型到多模态大模型大语言模型的演化GPT-2/GPT-3：生成预训练语言模型。GPT-1：生成式预训练模型(文字接龙，据前文预测下文，不是完型填空)+堆叠12层解码器GPT-2：多任务训练+堆叠48层解码器，模型容量达到了15亿个机器学习参数GPT-3：更多模型参数+堆叠96层解码器，模型容量达到了1750亿个机器学习参数ChatGPT：更多人类反馈+堆叠超120层(估计)，模型容量达到18000亿个机器学习参数5由大语言模型到多模态大模型由大语言模型到多模态大模型语言大模型、视觉大模型和多模态大模型由大语言模型到多模态大模型基于Transformer的视觉大模型-ViT模型ViT模型：将图像分割为一系列的小块Patch,并将每个小块作为序列输入Transformer模型。通过自注意力机制，ViT能够在图像中捕捉全局和局部的视觉信息，实现图像分类。由大语言模型到多模态大模型基于Transformer的多模态大模型示意多模态大模型：将视觉块Patch和语言块token,一起输入Transformer模型，进行训练。模态内掩码学习文本、语音、视觉自身token级别的mask模态间掩码学习不同模态信息的相互预测Mask视觉，输出对应文本…模态间匹配学习匹配与否的分类问题对比学习第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能生成式人工智能什么是AIGC？AIGC：ArtificialIntelligenceGeneratedContent,人工智能生成内容或者是生成式人工智能AIGC是一种新的人工智能技术，是一种基于语言大模型、视觉大模型和多模态大模型的技术，能够根据用户提示模仿人类自动产生文本、图像、音频等多种类型的内容例如：AI文献综述，AI文章摘要，AI文章要点；AI小说，AI诗歌，AI作词作曲，AI图像，AI视频等决策式AI：辅助人们做决策，通过评估多种选项和可能的结果，帮助用户或系统选择最佳的行动方案生成式AI：能够创造全新内容，给定一批素材或者一些样例，依据用户意图创作新的不同的样例生成式人工智能AIGC：AI生成内容越来越广泛文本生成（AITextGeneration）：生成模仿人类书写内容的文本。（大语言模型的应用）图像生成（AIImageGeneration）：生成非人类艺术家作品的图像。（视觉大模型的应用）语音生成（AIAudioGeneration）：可分为两类，(1)文本到语音合成，(2)语音克隆。（多模态大模型的应用）视频生成（AIVideoGeneration）：产生引人入胜且具震撼力的视频。（多模态大模型的应用）其他生成：代码生成、数学公式生成、设计生成、虚拟角色生成等生成式人工智能AIGC的典型原理示意判别器模型生成器模型大量的作品集合(真品和赝品的集合)赝品制作者作品(赝品)真品鉴别师鉴定过程输出的作品拟输出作品的意图提示赝品制作过程生成式人工智能视觉/图形生成的典型模型：生成对抗网络模型GANGAN：生成对抗网络模型，是广泛用于视觉图像等领域的一种机器学习模型，它通过让两个神经网络模型(生成器网络模型和判别器网络模型)相互竞争对抗的方式进行学习。生成器网络模型会求取X和不同的Y之间的联合概率：P(Y1,X)，P(Y2,X)，P(Y3,X)，...,P(Yn,X)，然后选取其中与X联合概率最大的那个Yi，将其作为预测结果。判别器网络模型则会求以X为条件的Y的条件概率：P(Y|X)，针对特定X直接得出P(Y|X)的结果，如果这个值大于某个阈值，则可以直接将其作为预测结果。GAN由Goodfellow等人在2014年提出生成式人工智能视觉/图形生成的典型模型：生成对抗网络模型GANGAN的两个关键角色：生成器和判别器。生成器：生成尽可能真实的数据。判别器：区分生成的数据和真实的数据。

生成器通过不断学习训练库中真实图片的概率分布，将输入的随机噪声转变为新的图片样本，使得生成数据的分布尽可能逼近真实数据的分布。判别器同时观测真实和虚构的数据，致力于判别输入数据的真实性。通过反复的交替训练和对抗，生成器和判别器的能力将不断增强，直至达到一种均衡状态。最终训练完成的生成器能够生成高质量、以假乱真的图片。生成式人工智能AIGC典型案例：图像转换将语义图像转化成城市和建筑景观图片；将图片转化成艺术绘画风格；将卫星图像转化成谷歌地图；将白天景观转化成夜晚景观；将夏景转化成冬景；将黑白图片转化成彩色图片；将素描转化成彩色图片；将动物图片转化成其他类别动物图片生成式人工智能AIGC案例：人脸编辑、合成、减龄与老龄处理生成式人工智能AIGC案例：AI创造的人脸、真人动漫形象生成式人工智能AIGC案例：老照片修复，低质量图片生成高质量图像生成式人工智能AIGC：AI论文对人工智能生成内容的典型尝试1.生成图像数据集案例；2.生成人脸照片;3.生成现实照片;4.生成动画角色;5.图像转换;6.文字-图片转化;7.语义图像-图片转化;8.生成正面人像图片;9.生成新体态;10.图片转表情;11.图片编辑;12.面部老龄与减龄;13.图片混合;14.超分辨率;15.图片修复;16.服装转化;17.视频预测;18.3D打印;第17讲大模型与生成式人工智能一、大模型与生成式人工智能概述二、Transformer三、由大语言模型到多模态大模型四、生成式人工智能五、大模型的应用方法结束寄语—如何学习人工智能大模型的应用方法国内都有哪些大模型文心大模型：百度研发，涵盖基础大模型、任务大模型、行业大模型三级体系。通义千问：阿里云研发，可以多轮对话、文案创作，逻辑推理、多模态理解、多语言支持等。盘古大模型：华为旗下研发，包括L0基础大模型、L1行业大模型和L2场景模型。智谱清言：智谱华章研发，ChatGLM2，通用问答，虚拟对话，创意写作，代码生成等。豆包大模型：字节跳动发布。内容创作，知识问答，人设对话，代码生成等。混元助手：腾讯研发，计算机视觉、自然语言处理、多模态理解、文案生成、文生视频等。讯飞星火：科大讯飞研发，知识问答、代码编程、数理推算、创意联想、语言翻译”等昆仑天工：昆仑万维研发，文案创作、知识问答、代码编程、逻辑推演、数理推算等需求。商汤商量：是商汤科技旗下研发。多轮对话和超长文本理解，编程助手，健康咨询助手等。……大模型的应用方法大语言模型的获得和使用大模型的应用方法语言大模型的应用步骤prompt中国的首都在哪？大模型model中国的首都在哪？中国的首都在北京。completion大模型应用三大步骤：输入提示、模型处理和生成输出。用户向大模型提供输入提示(prompt)，通常是一段文本。大模型对输入进行处理和分析，理解输入的意图和上下文。基于对输入的理解，生成相应的输出，对问题作出解答或是执行对应的任务。大模型的应用方法AIGC的应用过程示意1-收集数据样本2-训练大模型3-意图表达与内容生成4-反馈改进(多轮)判别器模型生成器模型大量的作品集合(真品和赝品的集合)赝品制作者作品(赝品)真品鉴别师鉴定过程输出的作品拟输出作品的意图提示赝品制作过程大模型的应用方法大模型应用示例大模型的应用方法大模型应用示例DisasterResponseGPT：大型语言模型在灾害响应场景中加速行动方案制定“提示设计”(1)明确身份定位和任务(2)强调前提条件(3)回答内容具体要求(4)灾害知识(5)交互式对话Youareachatbotassistant.Yourusersarestaffmembersinchargeofplanningdisasterreliefoperationsandyour

roleistohelpthemdevelopaplanofactionforadisasterresponsescenario.——(1)Theusersarerequiredtoinformyouthefollowinginformationbeforeyoustartdevelopingtheplanofaction:XXX——(2)Youshouldalwaysasktheuserfortheinformationaboveifyouarenotsure.Giventhisinformation,youwilldevelopthreeplansofactionsotheuserscanpicktheirfavoriteonesanditerateonthemwithyou.——(5)Whengeneratingaplanofaction,makesureitfollowstheplanofactionformatdescribingtheobjectiveand

whatiscriticaltoit,mainandauxiliaryoperations,andendstatesforyourassets,victims,civilians,andterrain.Here’sanexampleofplanofaction:XXX——(3)Here’sadditionalinformationfromFederalEmergencyManagementAgency(FEMA)thatmightbeusefulwhen

generatingaplanofactionfordisasterresponse:XXX-Earthquakes:XXX-Protectiveactions:XXX-Landslides:XXX-Protectiveactions:XXX——(4)提示示例大模型的应用方法大模型应用中的生成式配置参数及其含义用于推理的生成式配置参数是指在生成模型（如GPT）进行推理（即生成文本或执行任务）时所使用的一组参数，这些参数影响模型的生成行为和输出质量。Maxnewtokens：通过设置最大长度，可以控制生成文本的长度，避免生成过长或过短的文本单词选择策略相关的三个参数：贪心：选择概率最高的单词/标记随机(加权)抽样：使用随机加权的策略选择一个单词。如何随机，需要这几个参数贪心：选择概率最高的单词/标记随机（加权）抽样：使用随机加权的策略选择一个单词大模型的应用方法单词选择的两种策略示例：随机抽样策略与TopK和TopPtop-k：在使用概率应用随机抽样策略后，从top-k个结果中选择一个输出top-p：使用随机加权策略选择一个输出，在每一步生成时，从累积概率达到p的词语集合中进行采样。大模型的应用方法单词选择的Temperature内涵及示例强峰值概率分布(温度值越低)更广泛更平坦的概率分布(温度值越高)Temperature是一个用于调整模型生成创造性和多样性的超参数，用于调整随机从生成模型中抽样的程度，即它影响模型生成文本时采样预测词汇的概率分布。因此，相同的提示可能会产生不同的输出。温度为0时，将始终产生相同的输出。温度越高随机性越大。大模型的应用方法单词选择的Temperature内涵及示例【示例】AI模型必须完成句子“一只猫正在____”。下一个字具有以下标记概率：玩：0.5睡：0.25吃：0.15驾：0.05飞：0.05低温（例如0.2）：AI模型变得更加专注和确定，选择概率最高的标记，例如“玩”中温（例如1.0）：AI模型在创造力和专注度之间保持平衡，根据概率选择标记，没有明显的偏见，例如“玩”、“睡”或“吃”高温（例如2.0）：AI模型变得更加冒险，增加了选择不太可能的标记的机会，例如“驾”和“飞”如果温度较低，模型可能会输出最正确的文本，但相当无聊，变化较小如果温度过高，模型生成的文本会更加多样化，但出现语法错误和生成废话的可能性更高大模型的应用方法大模型应用的“提示工程”Prompt模型接收以便生成响应或完成任务的初始文本输入。这个输入可以是一个问题、一段描述、一组关键词，或任何其他形式的文本，用于引导模型产生特定内容的响应modelinputQ:Rogerhas5tennisballs.Hebuys2morecansoftennisballs.Eachcanhs3tennisballs.Howmanytennisballsdoeshehavenow?modeloutputA:Theansweris11.大模型的应用方法大模型应用的“提示工程”如何写好prompt很重要。它可以让大模型更好地理解我们要干什么，帮我们更好地解答问题？提示工程一般，Prompt可能包含6个要素：任务，上下文，示例，角色，格式和语气重要性高低设计提示词时的详细程度详细简略任务：告诉大模型要干什么上下文：用户背景，任务背景，结果期望及补充信息(最容易忽视的重要内容)示例：回答的参考样本角色：大模型执行任务时扮演的身份格式：期望回答时遵循的格式，可隐含在前几项中语气：期望回答时遵循的格式，可隐含在前几项中注意，并不是越靠前就一定越详细，很多提示中，上下文所占比重远大于任务。大模型的应用方法大模型应用的“提示工程”示例第17讲大模型与生成式人工智能本章小结【概念】大模型、AGI、AIGC【历程】神经网络

循环神经网络LSTMTransformerBERT&GPT【模型】Transformer：单词Token、词向量与词嵌入、