人工智能技术与AIGC应用 课件 第五章 生成式人工智能

第五章

生成式人工智能（AIGC）ArtificialIntelligenceTechnologyandAIGCApplications人工智能技术与AIGC应用CONTENTS目

录010203学习目标AIGC概述AIGC的使用方法一、学习目标学习目标

知识目标01掌握生成式人工智能的定义、特点及其与传统内容创作方式的区别。熟悉AIGC从早期萌芽到快速发展的三个阶段。明确AIGC在文本生成、图像生成、音频生成、视频生成等领域的具体应用。技能目标02学会使用常见的AIGC工具，并能够根据需求选择合适的工具进行内容生成。掌握如何通过AIGC工具进行有效提问。能够利用AIGC工具生成高质量的内容，并学会对生成内容进行评估和优化。素质目标03培养学生的创新思维，激发其探索新技术、新应用的潜力。提升学生对新兴技术的适应能力和学习能力。通过多模态内容创作，培养学生跨学科的综合素养。培养学生积极履行社会责任的意识。二、AIGC概述第一节AIGC概述AIGC（AI-GeneratedContent，生成式人工智能），即利用人工智能技术来快速生成内容。2022年ChatGPT的爆红出圈宣告了AIGC时代的到来，被认为是人工智能时代的新型内容创作方式。AIGC具备超越人类的生产能力和知识水平，能够执行信息挖掘、素材调用和复刻编辑等基础性劳动，从技术上以更低的成本和更高的效率来满足大量个性化需求。AIGC可以自动生成内容，也可以辅助生成内容。AIGC广泛应用在文本生成、图像生成、音频生成、视频生成等方面，推动了大量深度学习模型的不断完善。一、什么是AIGC第一节AIGC概述AIGC的技术应用有哪些？（一）智能数字内容孪生智能数字内容孪生主要涉及内容的增强和转换。增强指的是对数字内容进行修复、去噪和细节提升等处理。而转换则是指对数字内容进行形式上的变换，如翻译等。具体应用：图像超分、语音转字幕、文字转语音等。（二）智能数字内容编辑智能数字内容编辑是指通过理解内容及其属性来进行修改。具体应用：视频场景剪辑、虚拟试衣、人声分离等。（三）智能数字内容生成智能数字内容生成指通过从海量数据中学习抽象概念，并通过概念的组合生成全新的内容。具体应用：文本生成（AI写作）、图像生成（AI绘画）、音频生成、视频生成、多模态生成等。第一节AIGC概述「拓展新知」-AIGC的特点1.自动化AIGC可以根据用户输入的关键词或要求自动生成内容，无须人工编辑，从而节省了时间和成本，提高了效率。3.表现力强AIGC可以自动生成各种类型的内容，同时，AIGC可以利用自然语言处理和计算机视觉等技术，实现与用户的自然交流2.具有创意AIGC可以利用深度学习和强化学习等技术，不断地学习和优化内容生成策略，以生成具有创意和个性化的内容，并增加内容的吸引力。4.迭代AIGC可以利用机器学习和深度学习等技术，不断地更新和改进内容生成的模型和算法，并根据用户反馈进行优化。第一节AIGC概述二、AIGC的发展历程1.早期萌芽阶段20世纪50年代—90年代中期2.沉淀积累阶段20世纪90年代中期—21世纪10年代中期受限于科技水平，AIGC仅限于小范围实验。AIGC从实验向实用转变，但受限于算法，无法直接生成内容。3.快速发展阶段21世纪10年代中期至今深度学习算法不断迭代，AIGC生成内容种类丰富且效果越来越好。2017年微软AI少女“小冰”推出世界上首部由AI写作的诗集《阳光失了玻璃窗》。2018年英伟达公司发布的StyleGAN模型可自动生成图片。2019年DeepMind公司发布的DVD-GAN模型可生成连续视频。2021年OpenAI公司推出DALL·E模型并更新迭代版本DALL·E

2模型，该模型主要用于文本、图像的交互生成。第一节AIGC概述三、AIGC的算法体系1.变分自编码器模型传统的自编码器模型主要由两部分构成：编码器（encoder）和解码器（decoder）。编码器－解码器结构作为语言模型的经典结构，模拟的是人脑理解与表达自然语言的过程。图5-1自编码器模型结构第一节AIGC概述三、AIGC的算法体系1.变分自编码器模型变分自编码器（VAE）模型继承了传统自动编码器模型的架构，使用编码器将原始高维输入数据转换为潜在空间的概率分布描述并抽取样本数据；使用解码器对抽样的数据进行重构，以生成新数据。生成模型的核心理念是使计算机自动学习数据的统计特征，并基于这些特征生成新的数据，这项技术广泛应用于多个领域，包括文本生成、图像生成和视频生成等。图5-2变分自编码器模型的结构第一节AIGC概述三、AIGC的算法体系2.Transformer模型Transformer模型由编码器和解码器两个部分组成。编码层包含六个相同的编码器串联而成，解码层则由六个相同的解码器组成。在以Transformer为核心的语言模型中，编码器负责将自然语言序列转换为某种数学形式，而解码器则将这种数学形式转回自然语言序列。图5-3编码器－解码器结构图5-4Transformer模型的架构第一节AIGC概述三、AIGC的算法体系2.Transformer模型使用Transformer模型处理输入数据（以文本为主）有以下四个主要步骤。词嵌入是一项自然语言处理技术，它将词汇表中的词语或短语转换为稠密的向量表示，以便捕捉词与词之间的语义关联。位置编码是帮助模型确定单词在序列中的位置的技术，主要用于跟踪单词的顺序。使模型在处理一个序列时可以考虑到序列中每个元素与其他元素的关系。其关键思想是计算输入序列中每个单词之间的关联度，并将这些关联度用于权衡模型对每个元素位置的关注程度。词嵌入位置编码自注意力机制文本生成文本生成一般是大型语言模型实施的最终步骤。在完成训练与微调后，模型能够根据给定的提示或问题，产生结构复杂的文本。在训练大语言模型时，要保证语料库的质量和数量、计算资源的充足、对语料库进行适当的预处理和平衡。第一节AIGC概述三、AIGC的算法体系3.扩散模型扩散（Diffusion）模型是一种新型的生成模型，属于无监督学习中的概率模型，主要被用于图像生成和视频生成等领域，是一种基于去噪技术的图像生成模型。扩散模型首先将先验数据分布转化为随机噪声，然后再一步一步地修正转换，得到对噪声进行去噪的图片，再让神经网络学习这个去除噪声的过程。因此，扩散模型可以由给定的噪声图像还原出原始图像。与其他模型相比，扩散模型的主要优势在于生成图像的质量更佳，且不需要对抗性训练，同时训练效率也更高。此外，扩散模型还具备良好的可扩展性和并行处理能力，最常见的应用是图像生成和修复。常见的扩散模型包括GLIDE、DALL·E2、Imagen和完全开源的StableDiffusion。第一节AIGC概述三、AIGC的算法体系4.多模态深度学习多模态数据是指记录在不同类型的媒体（如文本、图像、视频、声音）中的描述同一对象的数据。在表征学习领域，“模态”一词指编码信息的特定方式或机制。多模态深度学习是指将来自不同感知模态的信息（如图像、文本、语音等）融合到一个深度学习模型中，以实现更丰富的信息表达和更准确的预测。（1）模态联合学习是一种结合多种数据类型进行训练的方法，将来自不同模态的数据输入到同一个模型中，使得模型能够同时学习多个模态的特征并进行融合。（2）跨模态学习是一种将一个模态的特征转换为另一个模态的特征表示的方法。目的是通过特征转换，以及多个模态之间的映射关系，并将不同模态的信息融合在一起。（3）多模态自监督学习是一种无须标注数据，通过模型自身学习来提取多个模态的特征表示的方法。优点是可以利用大量未标注的数据进行训练。第一节AIGC概述「智慧碰撞」文中介绍了多种AIGC算法模型，如变分自编码器（VAE）、Transformer和扩散模型。请思考并讨论以下问题：（1）这些算法模型在生成内容的质量、效率和多样性方面各有何优缺点？（2）在实际应用中，如何根据具体需求选择合适的算法模型？（3）请举例说明这些模型在不同应用场景中的潜在优势和局限性。第一节AIGC概述四、AIGC的流程

数据收集数据预处理模型训练内容生成评估和细化收集现有数据集，通过调查、爬取公开数据等方法获得数据。预处理涉及清理数据、删除重复数据或不相关数据，以及规范化数据。使用特定算法训练AI模型，比如有监督或无监督学习。训练过程中需要调整参数，以降低模型错误率。AI模型经过训练后，即可用于生成内容，比如撰写文章、编写代码、生成图像或视频等。对生成的内容进行评估和细化，以确保其满足某些质量标准。第一节AIGC概述四、AIGC的流程语言模型是AIGC技术的核心，其主要功能是通过已有的语言数据学习语言的规则和模式。N-gram模型N-gram模型是一种统计模型，主要通过分析已有文本数据来理解不同单词之间的关联，从而生成新的句子。N-gram模型基于一个假设：在给定n个连续单词的情况下，第n+1个单词的出现概率只与前面的n个单词有关。常用于文本生成和机器翻译等任务中。神经网络语言模型神经网络语言模型是基于神经网络的模型，它使用神经网络来预测下一个词或字符的概率分布。这种模型可以用于处理自然语言，如机器翻译、语言识别和文本生成等。第一节AIGC概述四、AIGC的流程AIGC应用实例例如，用户提问：在一片森林里，一只熊猫和一只老虎会怎么相处？这是一个极具想象力的问题，因为熊猫给人的形象是温和可爱的，而老虎则是凶猛的肉食动物。但在AIGC的帮助下，我们可以通过生成文本、图像或视频来探索这个有趣的问题。图5-5

AI回答问题三、AIGC的使用方法第二节AIGC的使用方法例如选择一款聊天机器人，生成文本对话如图5-6。图5-6生成文本对话这里使用的是AIGC生成文本，除此之外，AIGC还能生成图像、音频、视频以及代码等。用户可以自行选择使用市面上已有的AIGC工具。AIGC工具的使用方法进入AIGC应用平台01用户可以使用计算机、手机或其他设备访问AIGC应用平台，并完成注册或登录。各个AIGC平台的使用方式和功能可能会有所不同。因此，用户在使用AIGC工具时，应该根据自身需求和实际情况选择适合的平台，并掌握其操作方式和功能特点。提问与对话02AIGC工具界面可输入问题或对话，单击发送。AIGC分析内容后生成答案或建议显示。用户可进一步进行更深入的对话，AIGC能够保存先前的对话记录，并在此基础上生成新的回应。用户可以和AIGC逐步深入地探讨一个问题，不断获得新的信息和视角。03当用户的问题不够清晰或不够具体时，AIGC会进一步追问用户以获取更多信息。用户可以根据AIGC的追问进行补充说明，以使AIGC能够更好地理解问题并给出准确的回答。问题追问第二节AIGC的使用方法第二节AIGC的使用方法「智慧碰撞」请结合生活中的实际场景，思考并讨论AIGC技术在以下领域可能带来的创新应用：（1）教育领域：如何利用AIGC技术提升教学效果或优化学习体验？（2）文化创意产业：AIGC如何为影视、音乐、绘画等艺术创作提供新的思路或工具？（3）社交媒体：AIGC技术如何改变内容创作和传播的方式？第二节AIGC的使用方法查看历史记录04AIGC平台会自动保存用户的对话历史，用户可以通过浏览这些记录来回顾过去的交流内容。这有助于用户回忆之前的问题和回答，减少重复提问。查看历史记录还能帮助用户更全面地理解对话的背景，从而更有效地参与交流。为了方便用户查看历史记录，AIGC平台提供清晰的界面和易于操作的工具。例如，AIGC平台通常以时间线或列表的形式展示对话历史记录，使用户能够轻松地浏览和查找所需的信息。此外，AIGC平台还提供搜索功能，用户能够通过关键词快速找到相关的对话内容。CONCLUSION结

语本章主要介绍了生成式人工智能（AIGC）的核心概念、技术体系、应用领域以及使用方法。首先介绍