人工智能应用与实践 课件 第4章-AIGC与多媒体

ArtificialIntelligenceApplicationsandPractices芦碧波等人工智能应用与实践第四章AIGC与多媒体目

录行业PPT模板/hangye/01AIGC概述

02

多媒体创作03AIGC在其他领域的应用

01AIGC概述

AIGC：ArtificialIntelligenceGeneratedContent，人工智能生成内容/生成式人工智能AIGC技术的成熟标志着从文字到图像的跨越式创新，开启了内容创作的新纪元。AIGC的崛起，不仅改变了图像创作的面貌，更对整个多媒体内容生态产生了深远影响，促进了跨媒介内容的无缝融合，使得文字、图像、音频、视频等不同形式的内容能够相互转化，创造出更加丰富、立体、沉浸式的体验。

AIGC也是人工智能领域发展最快的技术之一AIGC定义AIGC发展专业生成内容用户生成内容人工智能生成内容UserGeneratedContent，UGCProfessionalGeneratedContent，PGCArtificialIntelligenceGeneratedContent，AIGC

AIGC的技术基础：基于生成对抗网络、大型预训练模型等人工智能技术

狭义AIGC：通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术

AIGC能够利用人工智能技术自动生成文本、图片、音频、视频等内容

广义的AIGC也包括生成代码等其他方面的内容。AIGC定义

AIGC的发展历程大致可以分为3个阶段：早期萌芽阶段、沉淀积累阶段和快速发展阶段。

1.早期萌芽阶段：1950-19901957年，莱杰伦·希勒(LejarenHiller)和伦纳德·艾萨克森（LeonardIsaacson）通过将计算机程序中的控制变量改为音符，完成了历史上第一部由计算机创作的音乐作品——弦乐四重奏《依利亚克组曲（IlliacSuite）》。1966年，约瑟夫·韦岑鲍姆(JosephWeizenbaum)和肯尼斯·科尔比(KennethColbv)共同开发了世界上第一个机器人“伊莉莎(Eliza)”，其通过关键字扫描和重组来完成交互式任务。80年代中期，IBM基于隐马尔可夫链模型创造了语音控制打字机“坦戈拉（Tangora）”，能够处理两万个单词。AIGC的发展历程

2.沉积积累阶段：1990-2010AIGC从实验性向实用性逐渐转变，深度学习算法、图形处理单元(GPU)、张量处理器(TPU)和训练数据规模等都取得了重大突破，受到算法瓶颈的限制，效果有待提升。2007年，纽约大学人工智能研究员罗斯·古德温（RossGoodwin）装配的人工智能系统通过对公路旅行中的所见所闻进行记录和感知，撰写出世界上第一部完全由人工智能创作的小说《1TheRoad》。2012年，微软公开展示了一个全自动同声传译系统，通过深度神经网络（DNN）可以自动将英文演讲者的内容通过语音识别、语言翻译、语音合成等技术生成中文语音。AIGC的发展历程

3.快速发展阶段：2010-至今

深度学习模型不断迭代，AIGC取得突破性进展，尤其在2022年，算法获得井喷式发展，底层技术的突破也使得AIGC商业落地成为可能。其中主要集中在AI绘画领域：2014年6月，生成式对抗网络（GenerativeAdversarialNetwork，GAN）被提出。2021年2月，OpenAI推出了CLIP（ContrastiveLanguage-ImagePre-Training）多模态预训练模型。2022年，扩散模型DiffusionModel逐渐替代GAN，在图像生成和编辑以及视频相关研究领域表现出色，成为大模型应用场景中的主流技术。Suno自成立起就在音乐生成领域独树一帜，其光环加持的创业团队、不断惊艳用户的模型效果、现象级的产品传播方式，反映了用户以及市场对AI音乐方向的关注。AIGC的发展历程

1.多模态大模型的定义多模态大模型是指在一个统一的框架下，集成了多种不同类型数据处理能力的大型神经网络模型，这些模型能够处理图像、文本、音频甚至音频等不同的数据模态，并在这些模态之间进行有效的交互和信息整合。与传统的单模态大模型相比，多模态大模型更加灵活和全面，能够更好地模拟人类对于不同感知模态信息的整合和理解能力。多模态技术的意义在于它能使人工智能系统更接近人类的处理方式，例如，同一信息可以通过文字、语音或图像等多种形式表达，AI系统通过多模态学习就能够理解并关联这些不同的表达形式，提高信息处理的准确性和效率。多模态大模型2.多模态大模型的优势

多模态大模型能够同时处理多种数据模态，使得机器在理解世界的过程中更加全面和深入多模态大模型能够有效地整合不同模态之间的信息，提高模型对于复杂现实世界的理解能力，从而提高了模型的表现力和泛化能力多在进行图像描述生成时，模型可以同时考虑图像内容和描述语境，生成更加准确和连贯的描述结果多模态大模型能够实现不同模态之间的知识迁移和共享，从而提高模型的效率和泛化能力从而加速了模型的训练和优化过程01020304全面性信息整合语境感知跨模态迁移02多媒体创作近期，国内如雨后春笋般涌现出多个AIGC创作平台，功能多样、处理模态各不相同。此领域发展速度快，各平台的功能还在不断增加和完善。图像生成文生图即梦、文心一言、通义、山海、通义千问图生图即梦、通义万相、豆绘音乐生成文生音乐天工、豆包视频生曲天谱乐图生音乐彩灵、海绵音乐视频生成文生视频即梦、通义万相、可灵、智谱清言、文心一言图生视频即梦、通义万相、可灵、智谱清言AIGC平台deepseek其他AI平台生成图像生成文字提示词脚本技巧：借/改/问其他AI平台生成短视频Deepseek：从提示词到图像/视频Deepseek应用：一键同款借提示词云台山咖啡主题海报，哪吒敖丙Q版代言人，标题「云台山咖啡」置顶采用咖啡色系高饱和度配色(深棕/奶油白/琥珀金)。画面主体为三头身Q版哪吒与敖丙手持咖啡杯对决造型，哪吒脚踏咖啡豆风火轮，敖丙龙角缠绕咖啡拉花，两位角色占据画面70%空间。背景采用极简水墨风陈塘关剪影，加入拿铁艺术波纹渐变晕染。C4D建模结合OC渲染突出立体金属咖啡器具质感，保持幽默风趣的仙侠咖啡对决场景，英文Coffee字样以篆书风格融入背景。高对比度光影强化咖啡蒸腾雾气，整体呈现神话朋克咖啡美学的创意混搭"Deepseek应用：改提示词--注意对比不同版本的模型云台山咖啡主题海报，哪吒敖丙Q版代言人，标题「云台山咖啡」置顶采用咖啡色系高饱和度配色(深棕/奶油白/琥珀金)。画面主体为三头身Q版哪吒与敖丙手持咖啡杯对决造型（每人一杯），哪吒脚踏咖啡豆风火轮，敖丙龙角缠绕咖啡拉花，两位角色占据画面70%空间。背景采用极简水墨风瀑布，加入拿铁艺术波纹渐变晕染。C4D建模结合OC渲染突出立体金属咖啡器具质感，保持幽默风趣的仙侠咖啡对决场景，英文Coffee字样以篆书风格融入背景。高对比度光影强化咖啡蒸腾雾气，整体呈现神话朋克咖啡美学的创意混搭"Deepseek应用：改提示词Prompt万用公式Prompt=任务【必选】+生成主体【必选】+细节【可选】+形式【可选】【必选】任务：指明希望模型完成的任务类型，如“请生成一篇广告文案”中“生成文案”即为希望生成的任务类型。生成主体：指要生成的主要对象，如“请生成一篇关于狗不理包子的广告文案”中，“狗不理包子

”即为主要对象。【可选】细节：倘若我们需要让生成文案中增加emoji表情，则可以在Prompt中增加“加一些emoji表情点缀”等细节描述来丰富最终生成效果。形式：指明生成后的排版、内容形式，如“用文本描述”、“代码形式生成”、“转为广东话”等。Deepseek应用：追问提示词“画一幅山水画，该如何写提示词”的思考过程：

山水常见元素

画作风格：传统水墨画

构图方式：高院、深远、平远？颜色：黑白？青山绿水？氛围和季节：春夏秋冬？细节：飞鸟？小船？人物？材质和渲染：宣纸质感？丝绸质感？综合因素：平衡传统和AI生成优势，提示词不要过于复杂，避免冲突给出示例：帮助用户组合上述元素检查：是否有遗漏，如笔触类型、具体画家风格等结论：总结，需要结构清晰，分点列出各个方面的提示词，并给出示例，帮助用户灵活组合。同时提醒用户可以根据个人喜好调整元素，保持创造性。Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式“自近山而望远山，谓之平远；“自山下仰望山巅，谓之高远；Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式Deepseek应用：询问提示词设计方式文生图

（1）智谱清言文生图功能：创意写作、代码生成、虚拟对话、AI生成视频、视频通话等操作：支持网页端、APP、微信小程序和桌面端案例：文生图创作、绘制连环画和文配图功能。

AI图像生成文生图：智谱清言文生图

提示词：

在宁静的森林中，一只金色的狐狸正在溪边喝水。阳光透过树叶洒在狐狸身上，周围是盛开的野花，背景有高耸的松树和蓝天，整体画面温暖而和谐，体现出大自然的宁静之美AI图像生成

连环画是一种以连续图画叙述故事的传统艺术形式，具有图文并茂、形象生动、文字简练、情节曲折连贯等特点。文生图是根据文字描述生成图像的过程或技术，与连环画不同，它侧重于将文字信息转化为视觉内容。先点击主界面“AI画图”然后在精选工具中选择“连环画”按钮可进入绘制连环画的模式智谱清言文生图—连环画选择的画风是“吉卜力”画风选择的照片大小是4：3输入提示词:连续绘制三张图像：先画画面1：在一片茂密的竹林中，1只熊猫和1只松鼠意外相遇。再画画面2：熊猫和松鼠遇到了一场突如其来的大雨，他们必须共同寻找避雨的地方。最后画画面3：突然天边泛起了彩虹，十分美丽。”智谱清言文生图—连环画

文章配图功能可以增加文章可读性，使文章内容更加丰富，避免视觉疲劳，通过合理的配图，可以巧妙地突出重点内容，帮助读者更快获取有效信息，配图也可以将读者的目光吸引至特定区域，使重点内容更加吸睛，合理的配图能够增强文章的说服力，增添文章趣味性。智谱清言—文章配图点击智谱清言的“AI画图”界面的“故事配图”按钮即可使用故事配图功能，用户只需要输入一段文字发送给AI，等待几分钟即可得到配图，这里演示输入的文字为描述故事的一段文字，智谱清言的故事配图结果如图所示。

智谱清言—文章配图点击左侧“图片生成”按钮进入即梦AI的绘图板块用户只需输入描述性的文字选择生成图片所用的模型选择图片大小比例

提示词：一个宁静的湖泊，湖边有高大的松树，夕阳映照在水面上，天空中有几朵彩云，整个场景显得宁静而美丽。设置：选择模型：“图片2.0Pro”模型精细度：设置为5精细度数值越大生成效果质量越好图片比例：1：1图像尺寸：1024*1024即梦AI文生图即梦AI文生图提示词：一杯草莓果汁，正在向里面倒入牛奶继续编辑：把草莓果汁换成芒果汁继续编辑：将画面中的草莓换成芒果继续编辑：把草莓果汁换成绿色的猕猴桃果汁，将草莓换成猕猴桃2.图生图：即梦图生图2.图生图：即梦图生图

根据主要输入数据不同，视频生成可以分为文生视频和图生视频。其中，文生视频输入是文字、输出是视频，图生视频输入是图像或同时输入图像和部分文字、输出的是视频。

1.文生视频

（1）即梦AI文生视频

前面的AI图像生成章节介绍过即梦AI的文生图和图生图功能，在这里主要演示其文生视频的功能。进入即梦AI的官网后，点击“视频生成”按钮即可进入视频生成界面，视频生成支持文本生视频、图片生视频和对口型这三种模式，由于生成视频的等待时间较长，这里只演示文生视频和图生视频的功能。4.2.2AI视频生成操作：在视频生成界面点击“文生视频”按钮，输入提示词，根据自己的需要选择“运镜控制”和“运动速度”，最后对视频的时长和视频的比例进行设置，点击“生成视频”按钮即可生成视频。提示词：在一个阳光明媚的早晨，镜头缓缓移动，展示一片宁静的湖泊，湖面如镜，倒映着蓝天和白云。远处，连绵的山脉被绿色的森林覆盖，山峰上偶尔出现几缕薄雾。镜头转向湖边，野花争相开放，五彩斑斓，蜜蜂和蝴蝶在花间翩翩起舞。随着微风轻拂，树叶沙沙作响，鸟儿在枝头欢快地鸣唱。最后，夕阳西下，天空被染成橘红色，湖面闪烁着金色的光芒，营造出一种宁静而和谐的自然氛围4.2.2AI视频生成4.2.2AI视频生成提示词:赛车快速行驶，背景在瞬息之间模糊一切都仿佛变成了色彩的交错。车速迅猛，让人感受到强烈的刺激与肾上腺素的飙升，车手在这片轰鸣中如同掌控了整个世界，释放出的激情让人热血沸腾。文生视频——提示词的基础公式提示词：复古赛博朋克风格-闪烁的霓虹灯下一名身着皮夹克的赛博战士在废弃的电子工厂中穿行镜头从他的背影拉远展示出一个充满未来科技感的城市夜景。文生视频——提示词的进阶公示提示词:镜头从满屏的古色古香的木质屏风开始，慢慢向左平移，露出屏风后面端坐着的古风女孩，女孩穿着蜀绣汉服，发髻高高盘起，进行着线上视频会议。文生视频——提示词的运镜公式文生视频——提示词的形变公式提示词:日漫风格。在城市的街道一角，一只黑猫蹲伏在路灯下，注视着远处的霓虹灯光。突然一道蓝色光芒从天而降，迅速包裹住他的身体。黑猫在光芒中腾空而起，黑色的毛发逐渐消散在空气中，身体迅速变长。他的皮毛变为一件黑色的修身西服，勾勒出修长的轮廓。猫耳消失，脸部轮廓逐渐清晰，最终化为一张帅气而冷峻的少年面孔。他轻巧地落在地上，西服在夜风中微微飘动，蓝光渐渐褪去，宛如一位从未来世界中走出的神秘少年，优雅而自信。文生视频——常见提示词目录操作方式：首先进入智谱清言的官网点击“清影-AI生视频”界面右边就会看到“文生视频”和“图生视频”提示词：选择一个樱花盛开的场景，比如公园、校园或山坡。可以考虑加入一些自然元素，比如小溪、草地或长椅，增加画面的丰富性。智谱清言文生视频智谱清言文生视频初始提示词：一群小羊在草地上吃草智能扩写后的提示词：一群毛茸茸的小羊在翠绿的草地上悠闲地低头吃草，它们的羊毛洁白柔软，偶尔抬头望向四周，展现出天真好奇的眼神，背景是一片广阔的绿色草地，远处有起伏的山丘和蔚蓝的天空，营造出宁静和谐的田园风光，中景广角镜头，捕捉羊群与环境的互动通义万相文生视频初始提示词：一群小羊在草地上吃草智能扩写后的提示词：一群毛茸茸的小羊在翠绿的草地上悠闲地低头吃草，它们的羊毛洁白柔软，偶尔抬头望向四周，展现出天真好奇的眼神，背景是一片广阔的绿色草地，远处有起伏的山丘和蔚蓝的天空，营造出宁静和谐的田园风光，中景广角镜头，捕捉羊群与环境的互动通义万相文生视频提示词：在一个清晨，镜头缓缓拉近一片壮丽的山谷，四周被高耸的山脉环抱，山峰上覆盖着皑皑白雪。溪水从岩石间欢快地流淌，发出悦耳的潺潺声，水面上漂浮着几片落叶。阳光透过树梢洒下点点金光，照耀着葱郁的森林，鸟儿在空中翱翔，偶尔掠过水面，激起一阵涟漪设置：选择动效模板图生视频：即梦图生视频可灵AI具备生成长视频、多宽高比视频的能力，支持图像生成视频、交互功能，有网页、桌面、APP、微信小程序端口等操作方式，可灵AI的视频生成功能也包括文生视频和图生视频。可灵AI图生视频可灵AI图生视频通义千问AI图生视频：全民舞王照片要求：分辨率要大于500×500正面站立全身照不能有遮挡通义千问AI图生视频：全民舞王照片要求：分辨率要大于500×500正面站立全身照不能有遮挡通义千问AI图生视频：全民舞王通义万相AI图生视频：即梦生图+通义万象生视频

根据主要输入数据不同，音乐生成可以分为文生音乐、图生音乐、视频生曲。其中，文生音乐输入是文字、输出是音乐，图生音乐输入是图像或同时输入图像和部分文字、输出的是音乐，视频生曲输入是视频、输出是视频搭配背景音乐。

1.文生音乐（1）天工AI文生音乐

天工AI的功能包括对话助手、AI写作、AI图片生成、AI音乐、AIPPT、AI识图。这里主要演示其文生音乐的功能。天工AI有网页、APP、微信小程序等操作平台，限于篇幅，我们以网页版为例，介绍天工AI文生音乐的功能。4.2.3AI音乐生成

进入天工AI的官网，注册并登陆完账号后，然后点击左侧“AI音乐”按钮，，即可使用AI音乐生成的功能。天工AI文生音乐

接着用户可以输入歌名，输入歌词，还可以选择参考音频输入歌名：AreYouOk选择参考音频：其他用户上传的“AreYouOk”歌曲输入歌词设置完参数后点击“开始创作”按钮AI生成音乐天工AI文生音乐

豆包具有聊天机器人、写作助手以及英语学习助手及生成音乐等功能，它可以回答各种问题并进行对话，帮助用户获取信息，支持网页网页、APPA、微信小程序等操作平台。进入豆包AI平台的官网后，注册登录账号，点击下方输入框上面的“音乐生成”按钮，即可使用豆包AI平台生成音乐的功能。豆包AI文生音乐

豆包AI平台文生音乐功能，既可以采用AI生成歌词，也可以自己自定义歌词，然后可以输入歌曲的主题，最后选定歌曲的风格、表达的情绪和男女声唱法，将文本发送给豆包AI即可生成歌曲。输入主题:在夏日傍晚骑车，看到远处的橙色夕阳选定AI生成歌词风格设置：流行/女声唱法豆包AI文生音乐彩灵AI图生音乐:彩灵AI目前只能在微信小程序上使用进入小程序后，选择图生音乐，可以设置歌曲的语言，上传图片之后点击“一键生成”按钮即可生成音乐。2.图生音乐海绵图生音乐:海绵音乐是一个利用人工智能技术生成个性化音乐的平台支持生成治愈、怀旧、伤感、兴奋等多种情感类别的音乐，包括R&B、摇滚、嘻哈、电子、国风多种风格。海绵音乐有网页、App、微信小程序等操作平台2.图生音乐天谱乐有网页、APP、微信小程序端口等操作平台，天谱乐三个重要功能为：文本生曲、图片生曲、视频生曲。进入天谱乐网页主界面，点击“视频生曲”，上传任意图片或者10-60秒视频，然后选择内置的音乐模板，或者AI随机生成，就可以视频生曲。3.视频生曲天谱乐有网页、APP、微信小程序端口等操作平台，天谱乐三个重要功能为：文本生曲、图片生曲、视频生曲。进入天谱乐网页主界面，点击“视频生曲”，上传任意图片或者10-60秒视频，然后选择内置的音乐模板，或者AI随机生成，就可以视频生曲。3.视频生曲3.视频生曲

先用豆包AI来生成国风背景音乐然后采用即梦AI来生成国风类型的视频创作

用视频剪辑软件“剪映”做视频的最后优化

AIGC综合案例：文生音乐+文生视频

先用豆包AI来生成国风背景音乐然后采用即梦AI来生成国风类型的视频创作

用视频剪辑软件“剪映”做视频的最后优化

AIGC综合案例：文生音乐+文生视频

先用豆包AI来生成国风背景音乐然后采用即梦AI来生成国风类型的视频创作

用视频剪辑软件“剪映”做视频的最后优化

AIGC综合案例：文生音乐+文生视频

先用豆包AI来生成国风背景音乐然后采用即梦AI来生成国风类型的视频创作

用视频剪辑软件“剪映”做视频的最后优化

AIGC综合案例：文生音乐+文生视频

使用提示词工具进行提示词扩写利用提示词生成视频生成为生成的视频添加背景音乐

AIGC综合案例：文生视频+图生视频+视频生曲

使用提示词工具进行提示词扩写对输入图像添加提示词生成视频生成为生成的视频添加背景音乐

AIGC综合案例：文生视频+图生视频+视频生曲03AIGC在其他领域的应用

数字人是指以数字形式存在于数字空间中，具有拟人或真人的外貌、行为和特点的虚拟人物，也称之为虚拟形象、数字虚拟人、虚拟数字人等。数字人可以打造更完美的人设，为品牌带来正向价值。互联网、金融、电商平台、消费品牌、汽车出行等领域纷纷推出数字人，用于品牌营销、智能客服等方向。虚拟数字人已经在游戏、传媒、影视等领域得到了广泛应用，但整体来说，主要集中于游戏、虚拟偶像、品牌营销等领域，尤其是B端业务。数字人生成

通过浏览器登录腾讯智影首页，点击“数字人播报”按钮即可使用数字人播报功能，可以一站式完成“数字人播报+视频创作”流程。

选择预置形象:“冰璇”

画面比例为16：9

支持自定义背景和音乐

选择文字内容为AI生成的“三体影视剧影评”（用户也可自定义文字输入）

点击“保存并生成播报”按钮即可生成音频，最后点击“生成视频”按钮，即可生成数字人播报的视频。腾讯智影

进入有言的官网注册登陆后

点击“新建作品”按钮即可使用数字人生成功能，

选择制作横屏视频/竖屏视频

选择合适的3D场景

选择3D人物形象

输入提示词并点击“3D生成”按钮

最后点击“导出”按钮即可生成3D视频有言创作过程有言创作结果：黄鹤楼代码小浣熊

代码小浣熊是基于商汤大语言模型的软件智能研发助手，覆盖软件需求分析、架构设计、代码编写、软件测试等环节，满足用户代码编写、编程学习等各类需求。代码小浣熊支持Python、Java、JavaScript、C++、Go、SQL等90+主流编程语言和VSCode、IntelliJIDEA等主流IDE。在实际应用中，代码小浣熊可帮助开发者提升编程效率超50%。

通过浏览器进入代码小浣熊的主页后，注册并登录账号，点击“立即体验”按钮即可体验AI生成代码的功能，用户只需描述需求发送给AI即可得到代码，这里演示选择生成的代码是python代码，输入的提示词为“请写出判断一个数是否是质数的代码”，生成的代码结果如图4.3.7所示，对于较简单的需求，该AI给出了正确的代码，读者可自行尝试更复杂的需求。代码小浣熊天工AI彩页是专为小红书类社媒发布内容呈现而设计的全新功能，它聚焦于提升用户的阅读体验质感。通过这个功能，能让你跳过令人头疼的图文排版门槛。它拥有6大功能模块、11种排版组合、70个主题选择、500多个文本样式，让你可以自由编辑文字、页面、配图等。4.3.4彩页制作

步骤1：进入天工AI官网首先，你需要访问天工AI的官网。

步骤2：发布彩页在官网首页，找到并点击“发布彩