07模块七-AIGC多模态应用

模块七AIGC多模态应用人工智能AIGC通识教程高职通识课程学习目标知识目标能力目标素养目标了解AIGC多模态技术的基本概念掌握AI图像生成的核心方法与应用了解AI视频生成的技术原理与发展熟悉AI音乐生成的创作流程掌握多模态融合的应用场景与价值能够使用AI工具生成高质量图片具备基础的AI视频制作能力能够使用AI生成音乐和音效具备多模态内容创作的综合能力能够将多模态技术应用到实际场景培养视觉审美和设计思维提升创意表达和内容创作能力建立跨媒介整合的思维方式增强技术与艺术结合的意识培养持续探索新技术的好奇心单元一AI图片生成与海报设计一图胜千言,图像是最直观的表达方式。Al让每个人都能成为视觉创作者,从创意构思到成品输出,只需一段文字描述,AI就能将想象变为现实。艺术创作·商业设计·内容生产释放你的创意,让想象可视化。AI图片生成技术概述技术发展历程核心技术路线扩散模型(Diffusion)目前主流技术路线,代表:StableDiffusion、DALL-E3优点:质量高、可控性强早期探索技术突破爆发期(2022至今)(2014-2019)GAN生成对抗网络,低分辨率、效果有限,主要用于学术研究(2020-2021)生成对抗网络(GAN)Transformer应用到图像,DALL·E.StableDiffusion开源,Midjourney惊艳亮相,图像质量接近真人拍摄,多风格、多场景适配早期主流技术,代表:StyleGAN,优点:生成速度快GLIDE出现,文本到图像质量大幅提升自回归模型基于Transformer,代表:Parti、DALL-E2优点:语义理解强主流AI图像生成工具介绍StableDiffusionMidjourney特点:艺术感强、风格多样;优势:画质精美、创意出色;适用:艺术创作、概念设计平台:Discord、网页端特点:开源免费、可本地部署;优势:高度可定制、插件丰富;适用:技术爱好者、专业设计;平台:本地部署、网页端DALL·E3即梦AI特点:OpenAI出品,语义理解强;优势:准确理解复杂提示词;适用:需要精确控制的场景平台:ChatGPTPlus、API特点:字节跳动出品,中文支持好;优势:适合国内用户,操作简单;适用:日常创作、社交媒体;平台:APP、网页端文心一格Canva可画特点:设计平台集成AI;优势:模板多,成品率高;适用:营销设计、社交媒体;平台:网页端、APP特点:百度出品,中文理解好;优势:国风、中国元素表现好;适用:国风设计、中文场景;平台:网页端不同工具各有特色,建议多尝试找到最适合自己的海报设计的基本要素与流程1.主题明确2.视觉层次3.色彩搭配4.排版布局5.风格统一核心信息一目了然标题醒目突出视觉焦点集中主次分明,重点突出大小、颜色、位置区分引导观众视线流动符合品牌或主题调性主色+辅助色+点缀色注意色彩心理学平衡与对称平衡与对称留白与呼吸感对齐与统一整体视觉风格一致字体、图形、色彩协调符合受众审美AI海报设计流程1.明确需求→2.收集参考→3.撰写提示词→4.AI生成初化→6.后期调整→7.最终成品AI是工具,设计思维和审美能力才是核心AI在海报设计中的应用案例电商产品海报活动宣传海报应用:快速生成产品展示图优势:无需拍摄,多角度展示效果:生成带场景的产品图效率:从几天缩短到几分钟应用:节日、促销、活动海报优势:快速出多版本供选择效果:多种风格快速验证效率:10分钟生成多张初稿电影/演出海报品牌视觉海报应用:品牌形象、价值观传递优势:保持品牌调性一致性效果:高质量视觉输出效率:减少设计沟通成本应用:概念海报、宣传海报优势:创意灵感快速可视化效果:独特的视觉风格效率:创意阶段效率提升数倍Al+人工调整=高效率+高质量AI超级个体训练AI海报设计实战训练训练任务训练要点1.选择一个海报主题(如:咖啡店开业、音乐节、科技峰会)2.收集3-5张你喜欢的海报风格作为参考3.撰写详细的提示词,包含:主题和场景描述、视觉风格(扁平/写实/国风等)、主色调和配色方案、构图和布局4.使用AI工具生成3-5个版本5.选择最好的进行后期调整优化·提示词越具体,效果越可控·多尝试不同风格和角度·学习优秀海报的构图和配色·善用风格参考图(图生图)·后期用PS或美图进一步调整·积累你的提示词模板库·培养自己的设计审美多练、多看、多总结,Al设计能力会快速提升单元二AI短视频设计与制作短视频是这个时代的主流内容形式,AI正在democratize视频创作。从脚本创作到画面生成,从剪辑特效到配音字幕,Al让视频创作门槛大大降低。创意策划·内容生成·剪辑特效·发布运营人人都是视频创作者的时代已经到来短视频剪辑和特效处理AI智能剪辑AI视频特效自动剪辑:根据音乐节奏自动剪辑智能转场:自动匹配合适的转场效果一键成片:模板化快速生成视频智能包装:自动添加字幕、贴纸、特效AI换脸:人脸替换和表情迁移背景替换:智能抠图换背景画质增强:老视频修复、清晰度提升特效生成:智能添加特效和滤镜动作捕捉:无需设备捕捉人体动作工具:剪映(抖音官方)技术原理:计算机视觉和图像识别深度学习模型训练生成式AI技术实时渲染技术必剪(B站官方)CapCut(国际版剪映)优势:降低剪辑门槛提高制作效率丰富的素材库适合新手快速上手AI在短视频制作中的应用实例实例一数字人口播视频实例二图文转视频实例五AI生成短视频实例五AI配音和字幕应用场景:知识科普、产品介绍AI能力:文本驱动数字人说话效果:逼真的口型和表情工具:HeyGen、D-ID、剪映应用场景:书单、知识分享AI能力:自动将图文转为动态视频效果:自动添加转场、音乐、字幕工具:AI脚本创作应用场景:创意短视频、广告AI能力:文本直接生成视频片段效果:从0到1生成动态画面工具:可灵、Runway、Pika应用场景:视频脚本、分镜AI能力:自动生成视频脚本和分镜效果:结构化的脚本内容应用场:视频配音、多语言AI能力:AI语音合成、自动字幕效果:多种音色、多语言支持工具:讯飞配音、剪映、HeyGen工具:剪映图文成片、度加剪辑工具:ChatGPT、豆包、文心一言工具:HeyGen、PikaAI超级个体训练AI短视频制作实战训练任务训练要点1.确定视频频主题(3选1):1.脚本是视频的灵魂,先写好脚本知识科普类产品介绍类生活记录类竖屏视频注意构图(9:16)前3秒要吸引眼球语速适中,字幕清晰音乐要符合视频调性时长控制在30-60秒为佳时长控制在30-60秒为佳多参考同类型爆款视频持续迭代优化你的作品2.用AI生成视频脚本:写清楚视频的主题和风格要求AI生成完整脚本包含:画面、台词、音乐、时长语乐要符合视频调性3.制作视频:方案A:用数字人工具制作口播视频方案B:用图文转视频工具制作方案C:用AI生成视频片段+剪辑4.添加字幕、背景音乐和效果5.导出并复盘总结完成比完美更重要,先做出来再优化单元三AI音乐生成与应用音乐是无国界的语言,Al让每个人都能创作音乐。不需要学习乐理,不需要会乐器,只需要一段文字描述,AI就能为你创作独特的旋律。背景音乐·歌曲创作·音效制作用AI谱写你的音乐创意AI音乐生成技术概述主流AI音乐工具技术发展与原理发展历程:1.Suno·特点:高质量歌曲生成,支持歌词·优势:接近真人演唱,风格多样·代表作品:多首AI生成歌曲出圈早期:规则生成、算法作曲中期:机器学习生成旋律现在:大模型端到端生成未来:个性化、实时交互生成2.Udio·特点:音乐风格丰富,音质出色优势:生成速度快,可定制性强适合:各类音乐创作技术原理:3.豆包/文心一言基于Transformer的音乐生成扩散模型在音频领域的应用音乐的token化表示·多模态条件控制(文本、图像)特点:国内可用,中文支持好·优势:操作简单,适合入门适合:背景音乐、简单旋律4.AIVA·特点:专注于影视配乐·优势:专业级别的配乐生成适合:电影、游戏、广告配乐AI音乐创作实践与评估参数设置点:流行、古典、电子、风等AI音乐创作流程1.明确需求2.选择工具5.筛选优化6.后期处理7.导出使用3.设置参数→情绪表达:速度节奏:音乐风格:乐器配置:时长:流行、古典、电子、国风等钢琴、吉他、管弦乐等根据需要设定欢快、悲伤、悲伤、激昂、舒缓BPM值、节拍类型音乐质量评估维度1.旋律美感:4.情感与律动:5.音质与混音:2.和声与编曲:节奏符合描述的情绪、是否有感染力、情感是否真挚音质是否清晰、混混音是否平衡、有无无杂音失真是否悦耳动听、是否有记忆点、旋律是否流畅和声是否和谐、是否配器是否合理、层次是否清晰多听、多比较、多尝试,培养音乐审美AI音乐的应用场景短视频配乐广告音乐为短视频配上合适的BGM;根据视频内容自动匹配音乐;快速生成多版本选择根据品牌调性定制广告歌;快速生成不同风格的版本;降低音乐制作成本游戏配乐影视配乐根据游戏场景生成背景音乐;动态音乐,随游戏进程变化;音效和配乐一体化生成电影、动画、纪录片配乐;快速生成音乐demo;辅助音乐创作灵感个人创作直播与播客直播间背景音乐;播客片头片尾曲;有声书配乐写歌、编曲、制作实现个人音乐梦想;零基础也能创作AI音乐的应用场景还在不断扩展中AI超级个体训练AI音乐创作体验训练任务训练要点1.选择一个音乐创作目标:·为你的短视频配一首BGM·创作一首简单的歌曲·制作一段手机铃声2.用文字描述你想要的音乐··风格:流行/古典/电子/国风.·情绪:欢行/古典/电子/国风.·情绪:欢快/治愈/激昂/浪漫..·节奏:快/中速/舒缓·乐器:钢琴/吉他/管弦乐..·描述越具体,效果越好·可以参考你喜欢的歌曲风格·多生成几个版本选择·注意音乐的版权使用范围·可以用后期软件调整·学习基础的音乐知识有帮助3.使用AI音乐工具生成3个版本4.比较和评估生成的音乐5.选择最喜欢的,调整优化6.导出并应用到你的项目中·享受创作过程,不必追求完美单元四AIGC多模态综合应用单一模态的AI已经很强大,但多模态的融合才是未来。文字、图像、音频、视频…多种模态相互配合,创造出更丰富的体验和价值。文本图像音频视频多模态融合,释放无限创意可能多模态技术融合原理什么是多模态AI多模态融合的层级多模态AI是指能够同时理解和生成多种模态信息的人工智能,包括文本、图像、音频、视频1.数据层融合·原始数据层面的融合·如:音视频同步处理等2.特征层融合·提取各模态特征后融合·如:图文特征联合表示核心能力:·跨模态理解:·看懂图、听懂话、读懂文·跨模态生成:·文生图、图生文、文生视频·跨模态推理:·结合多种信息进行推理·统一表示:·不同模态在同一语义空间表示2.特征层融合·提取各模态特征后融合3.决策层融合·各模态独立决策后综合·如:多模型结果投票4.全栈融合·端到端的多模态大模型·如:GPT-4V、Gemini、文心一言多模态是AI发展的重要方向,越来越接近人类的感知方式多模态应用场景分析数字人AI创意工作流技术:文字→图片→视频→音频全链路应用:广告创意、内容生产、设计价值:提高创意效率,降低制作门槛技术:文本驱动形象+语音+表情应用:虚拟主播、数字员工、虚拟偶像价值:24小时在线,降低人力成本智能教育元宇宙与VR/AR技术:图文音视频多模态教学应用:个性化学习、智能辅导价值:提升学习效果,因材施教技术:多模态交互与内容生成应用:虚拟世界、沉浸体验价值:创造全新的交互体验医疗健康智能客服技术:医学影像+文本诊断应用:辅助诊断、健康管理价值:提高诊断准确率和效率技术:文本+语音+图像多轮对话应用:智能客服、售后支持价值:更好的用户体验,更低成本AIGC多模态应用前景展望创作民主化体验沉浸化智能个性化门槛持续降低,人人都是创作者;从专业工具到人人可用;创意比技术更重要;个人IP时代全面到来从2D到3D,从静态到动态;从观看式到交互式;虚实结合,真假难辨;元宇宙级别的沉浸体验千人千面的内容体验;实时生成个性化内容;适应用户偏好和场景;情感化、有温度的交互未来已来,多模态AI将深刻改变我们的生活、工作和娱乐方式。保持好奇心,积极拥抱变化,在AI时代找到自己的位置。思考与练习思考题1.你认为AI生成的图片/音乐/视频有版权吗?2.AI会取代设计师、音乐人、视频创作者吗?3.多模态AI未来还会有哪些创新应用?4.如何在AI时代保持自己的创作竞争力?5.AI创作的内容算是艺术吗?为什么?实践题拓展思考1.使用AI生成一张你喜欢的风格的图片2.制作一段15-30秒的AI短视频3.3.用AI生成一段30秒的背景音乐4.尝试一个多模态应用(如数字人)5.设计一个你自己的AI创作工作流·调研你感兴趣的AI创作工具·关注3-5个AI创作者学习·尝试用AI完成一个完整的创作项目·记录你的创作过程和心得·思考如何把AI创作和你的专业结合在实践中学习,在创作中成长项目实践多模态内容创作项目项目任务实施步骤第一步:策划阶段选择一个主题,创作一个完整的多模态内容作品,包含:包含:·文字内容(脚本/文案文字内容(脚本/文案)视觉素材(图片/海报)·音频内容(配音/音乐)最终成品(视频/交互式内容)可选主题:1.最终成品(视频/交互式内容)可选主题:产品宣传短片2.产品宣传短片2.知识科普短视频3.个人介绍Vlog4.4.品牌故事动画·确定主题和目标受众撰写内容脚本和大纲·规划视觉风格和调性第二步:·规划视觉风格和性第二步:项目背景素材制作用AI生成图片素材用AI生成配音和音乐多模态内容创作是AI时代的核心能力。本项目将综合运用AI文本、图像、音频、视频生成技术,完成一个完整的多模态内容创作项目,体验AI创作的全流程用AI生成视频片段第三步:后期合成·剪辑拼接视频添加字幕和特效·添加字幕和特效调整音画同步整体调色和美化第四步:复盘总结回顾整个创作过程总结AI使用心得思考可以优化的地方·分享你的作品模块核心知识点回顾AI图片生成与海报设计AI短视频设计与制作技术原理:扩散模型、GANAI剪辑:智能剪辑、特效、字幕AI生成:文生视频、图生视频数字人:文本驱动数字人口播思维导图主流工具:Midjourney、SD、DALL-EAI短视频设计与制作设计要素:主题、层次、色彩、排版、风格应用场景:电商、营销、品牌、艺术工具:剪映、Runway、可灵、HeyGen可灵、HeyGnAIGC多模态应用技术发展:从算法作曲到大模型主流工具:Suno、Udio、AIVAAI音乐生成多模态综合应用多模态融合:文本+图像+音频+视频技术原理:跨模态理解与生成应用场景:数字人、元宇宙、智能教育未来趋势:民主化、沉浸化、个性化创作流程:需求→参数→生成→筛选→优化应用场景:配乐、广告、游戏、个人创作学习进阶路径入门级-工具使用者会使用1-2个AI创作工具,能够生成简单的图片/视频/音乐,了解基本的提示词技巧,目标:体验Al创作的乐趣进阶级-内容创作者熟练使用多种AI创作工具,能够独立完成完整的作品,掌握各类型内容的创作技巧有自己的创作风格和方法,目标:高效产出高剧内9专家级-创意策划精通多模态AI创作工具链,能够策划和执行复杂项目,具备优秀的审美和创意能,能够指导他人进行AI创作,目标:创造有影响力的作品刀大师级-跨界创新者深度理解AI技术与艺术的结合,开创全新的创作形式和流派,推动行业发展和创新,目标:定义AI时代的创作标准保持热爱,持续探索,不断突破AI创作的伦理与版权版权问题伦理问题AI生成内容的版权归属:目前尚无统一规定,各国政策不同;一般认为:使用者/训练数据方/开发者深度伪造(Deepfake):AI换脸、伪造视频的风险;个人隐私和肖像权保护;虚假信息传播的危害原创性与价值:Al创作是否算原创?;人类创意的价值在哪里?;如何看待AI辅助的创作?训练数据的版权问题:AI模型训练使用了大量受版权保护的作品;这一行为是否构成侵权仍在争议中就业与替代:合理使用的边界:什么情况下使用AI生成内容是安全的;商业使用需要注意什么哪些创作者会受到影响?;如何适应AI时代的变化?;人类创作者的核心竞争力是什么?提升AI创作质量的秘诀1.明确的需求描述4.多版本迭代不要指望一次就完美;多生成几个版本比较;根据结果调整提示词;逐步逼近理想效果越具体的描述,效果越好;说清楚你想要什么,不想要什么;提供参考和示例;用细节代替模糊的形容词2.掌握提示词技巧5.人机协作学习专业的提示词结构;积累各类型的提示词模板;了解不同工具的提示词特点;持续优化你的提示词AI负责执行和产出;人负责决策和判断;人工后期调整和优化;发挥各自的优势3.培养审美能力6.持续学习实践多看优秀作品,提高眼界;学习设计/音乐/电影相关知识;了解基本的美学原则;形成自己的审美判断AI技术发展很快,保持关注;多尝试新工具和新方法;总结经验,形成方法论;享受创作的过程常用AI创作工具清单设计与辅助工具AI图像生成AI视频生成/剪辑AI音乐/音频.·剪映-视频剪辑神器·可灵AI-快手文生视频·Runway-专业AI视频工具·Suno-高质量歌曲生成·Udio-音乐创作平台·AIVA-影视配乐生成·AIVA-影视配乐生成·讯飞配音-中文语音合成·美图设计室-AI设计·Figma+AI插件-Ui设计·Remove.bg-智能抠图·Midjourney-艺术感最强StableDiffusion-开源可定制·DALL·E3-语义理解好·即梦AI-字节跳动好即梦AI-字节跳动出品·Pikaway-专业AI视频工具·PikaLabs-高质量视频生成·HeyGen-数字人视频·度加剪辑-百度智能剪辑·Topaz-Al画质增强·Photoroom-智能修图·文心一格-百度出品·可画Canva-设计平台集成·豆包-内置音乐生成工具在精不在多,选几个适合自己的深入学习AI创作避坑指南坑1:提示词太笼统坑5:只依赖AI表现:生成的图片不符合预期解决:具体描述细节、风格、构图表现:Al说什么就是什么解决:保持独立判断,人工审核坑2:期望过高坑6:追求工具焦虑表现:觉得AI什么都能做解决:了解AI的能力边界,合理预期表现:追新工具,却不深入解决:选几个工具,学深学透坑7:忽视后期坑3:不看使用条款表现:商用