人工智能技术应用课件 项目七 AI生成音视频技术的创新与应用

项目七

AI生成音视频技术的创新与应用CONTENTS目录01任务一

即梦视频生成技术02任务二

智谱清影-AI视频制作03任务三

闪剪生成视频04任务四

网页天音AI音频【项目导读】AI音视频创作技术解析音视频技术革新AI生成技术革新内容创作，从短视频到直播剪辑，提升各行各业活力。核心工具解析聚焦即梦、智谱清影、闪剪、网易天音，详解音视频生成技术与实操。多元化功能覆盖涵盖文生视频、图生视频、数字人口型、音乐创作、直播快剪等应用。内容创作新纪元AI技术引领音视频创作新趋势，开启高效创新的内容制作时代。【知识目标】掌握视频生成技术与工具视频生成逻辑掌握图片生成视频与文本生成视频的技巧，明确提示词要求，实现创意视觉表达。智谱清影技术熟悉文生视频提示词公式，了解图生视频动态要素，发挥智谱清影技术优势。闪剪核心功能精通直播快剪、口播视频制作，掌握定制数字人及链接成片操作，适应多场景需求。网易天音音频创作了解AI编曲、一键写歌与AI作词原理，调整参数设置，创作个性化音频内容。【技能目标】视频制作与音乐创作技能视频制作技能掌握即梦、智谱清影与闪剪，灵活运用不同软件特性，高效完成视频创作。音乐创作能力利用网易天音，独立完成编曲、写歌及作词，展现全面音乐才华。【思政目标】音视频创作素养提升创意融合运用AI工具转化艺术形式，提升跨领域审美，实现技术与艺术的完美结合。伦理责任坚守公序良俗，警惕误导内容，如虚假信息与低俗素材，传播正能量。创新协同探索技术特性，如图生视频与音频编曲协同，培养解决问题的创新能力和团队合作精神。任务一即梦视频生成技术平台概述创作平台定位即梦A1是字节跳动推出的集成式AI创作平台，支持文生图、图生视频等多功能创作。多端同步支持提供网页端与移动端双入口，实现跨设备无缝创作体验。核心功能智能生成能力支持自然语言与图片输入，生成1360像素高清图像及动态视频。精准创作控制首尾帧控制功能与中文语义理解技术，提升内容可控性与完成度。操作指南访问方式通过浏览器输入官方网址，进入网页版进行注册或登录。功能使用登录后按指引加载工具，快速调用AI生成、编辑及导出功能。

即梦AI首页一、视频生成视频生成根据文本描述或图片，AI快速创作流畅创意视频。使用流程首页AI视频区，点击“视频生成”进入功能界面，见图7-2。

“视频生成”界面一、视频生成：1.提示词要求视频生成规范主体需明确，外观细节需生动，场景需具体，避免笼统描述，确保画面元素逻辑连贯且具象化。提示词结构按“主体+外观特征+场景”框架展开，补充动态元素与光影细节，强化画面层次感与沉浸式体验。（1）简洁明了"用简单词汇和句式，让AI准确理解指令，如'太阳从地平线升起'代替'红日喷薄而出'。"（2）具体详实"详实提示助AI生成逼真视频，如描述金色沙滩与海浪轻拍岸景。"一、视频生成：1.提示词要求（3）突出主体"核心需求：突出主体动作，如运动员奔跑"（4）自然语言描述"明确描述细节，如'雨滴落，地面积水'，避免抽象表达，确保AI准确理解用户意图。"（5）一致性描述多角度描述需求，使AI生成视频更全面，如详述“狗”的品种、外貌及行为。（6）加入少量情感元素"加入情感词汇，如'快乐'，让AI生成视频更生动，情绪更饱满。"一、视频生成：2.图片生视频上传图片，输入描述，选择时长，一键生成动态视频。上传图片

生成视频一、视频生成：3.文本生视频（1）在“视频生成”界面中单击“文本生视频”选项，切换到“文本生视频”选项卡（如图所示）输入文字提示词一个卡通形象的小猪，骑着自行车，走在乡间的小路上。选择生成时长为5s，视频比例为16：9，单击“生成视频”按钮，生成视频如图所示。

“文本生视频”选项卡

文生视频二、故事创作故事创作即梦A1运用AI技术，依据关键词或场景，生成多样情节框架，覆盖奇幻、都市、悬疑等题材。创作界面点击首页AI视频中的“故事创作”按钮，即可进入充满创意的故事创作界面，见图7-7。“故事创作”界面二、故事创作：1.批量导入分镜导入与创建分镜素材批量导入分镜，可选本地上传或资产选取，确认后完成素材导入。添加分镜描述与转换视频在分镜下添加描述，如"逃新娘穿越森林至草原"，点击"图转视频"，描述转入视频生成界面，设置模型与时长，图片成关键帧。创建更多分镜与素材上传点击创建空白分镜，上传图片或素材，扩展创作资源。菜单“资产选取”对话框

导入分镜素材“视频生成”选项卡

创建分镜二、故事创作：1.批量导入分镜导出视频与素材管理01视频导出流程点击导出按钮，选择导出成片，输入名称并设置格式，完成视频导出。若选剪映云空间，确认后传输至专业版继续剪辑。02素材管理选项批量导出素材时，确认下载全部镜头至指定地址，支持一键导出所有分镜视频原始素材。导出菜单

“导出设置”对话框“导出成片”对话框“确定导出到剪映云空间”对话框“下载全部镜头素材”对话框二、故事创作：2.创建空白分镜创建分镜1及图片生成分镜创建步骤在“故事创作”界面点击“创建空白分镜”，生成分镜1，如图所示。图片生成流程输入分镜描述后点击“做图片”，将内容添加至“图片生成”选项卡，选择风格与模型，如图。素材生成与选择点击“立即生成”按钮，系统依据描述输出分镜1素材，如图，按需选取最终画面。创建分镜

设置图片生成参数分镜1素材

“视频生成”选项卡

二、故事创作：2.创建空白分镜分镜1视频生成过程点击"图转视频"，设置参数，生成分镜1视频。创建分镜2及视频生成创建分镜2，描述受惊兔子与小刺猬场景，生成视频。分镜2视频生成完成点击生成视频，根据分镜2描述及参数，成功创建视频，可继续制作其他分镜视频。分镜1视频分镜2视频三、数字人视频数字人视频即梦AI技术驱动，静态肖像生动演绎，口型动作精准同步，创意视频制作新纪元。动画效果趣味横生，表现力升级，数字人视频创作，为您的内容增添无限魅力，引爆观众眼球。三、数字人视频：1.对口型导入角色与生成设置对口型操作入口单击数字人视频中的对口型按钮，进入对应功能界面，如图所示。角色资源导入支持本地上传或资产库选取两种方式，通过对应对话框完成图片/视频素材的导入操作。生成模式选择提供大师与快速两种模式，前者实现全身动态仿真，后者仅驱动口部运动以提升生成效率。对口型功能允许用户将静态照片转变为动态的“说话”形象，为视频创作增添了新的维度。“对口型”选项卡

菜单三、数字人视频：1.对口型文本朗读与音色调整选择文本朗读，调整角色音色，控制语速满足不同场景需求。上传本地配音与视频生成上传本地音频，生成口型同步视频。支持多种格式，一键生成，完美匹配。

“朗读音色”对话框

“上传本地配音”选项组生成视频三、数字人视频：2.动作模仿进入动作模仿界面点击"动作模仿"，进入数字人动作界面。导入人物图片选择"导入人物图片"，可从本地上传或资产选取，如图7-30。选择或上传模仿动作选择预设模板或上传本地视频以模仿动作。生成模仿视频单击“生成视频”按钮，等待视频生成，即可得到参考人物模仿动作视频中动作的视频，如图7-32所示。“动作模仿”选项卡

导入人物图片“上传视频”对话框

模仿动作视频四、音乐生成音乐生成技术基于AI算法，输入关键词或风格，快速创作高质量音乐。用户指令示例“生成欢快流行乐”或“创作古典钢琴曲”，平台自动生成完整音乐片段。四、音乐生成：1.人声歌曲生成人声歌曲：选风格，输入歌词，一键创作。

“音乐生成”界面生成歌词设置音乐风格生成歌曲四、音乐生成：2.纯音乐音乐生成流程音乐生成选项卡点击“纯音乐”选项卡，输入音乐描述或使用“随机灵感”按钮生成灵感描述，如“紧张和焦虑交织的音乐”。音乐类型与设置选择8种音乐类型（舞曲、电子等），设置生成时长为30秒，支持5-60秒滑块调整，点击“立即生成”完成操作。“纯音乐”选项卡生成音乐任务实施——制作直播卖货视频图片生成步骤输入中国美女持洗面奶微笑的提示词，选择高清2K清晰度与9:16比例，生成四幅图像供视频制作。视频制作流程选取首帧图片生成视频，输入手指介绍洗面奶功能的提示词，生成10秒高品质视频。数字人角色导入从资产库选取视频，勾选对口型功能，输入直播讲解内容并选择“元气少女”音色。AI配乐设置选择销售场景、轻音乐流派及小提琴乐器，生成带配乐视频后发布至指定平台。“图片生成”界面图片效果图

图片编辑界面

图生视频结果选取视频对口型视频带配乐的视频自定义AI配乐任务二智谱清影-AI视频制作工具核心优势生成速度与画质用户输入文本或图片后，30秒内生成6秒4K/60帧视频，支持多风格与背景音乐。多风格与音乐支持提供多样化艺术风格与音乐库，满足个人创作与专业制作场景需求。三维变分自编码器01数据压缩技术自主研发3DVAE结构将视频数据压缩至原始大小的2%，显著降低训练成本。02长期依赖建模结合3DRoPE位置编码模块，精准捕捉帧间关系，强化视频时序连贯性。可控性增强方案视频理解模型创新通过端到端模型为视频生成描述，提升文本理解与复杂指令执行能力。超长指令处理支持解析超长Prompt，确保生成内容严格匹配用户输入需求。三维融合架构设计模态对齐机制采用ExpertBlock替代传统crossattention，实现文本与视频跨模态空间对齐。交互优化策略通过FullAttention机制增强模态交互效果，提升生成内容逻辑一致性。1.清影的主要特点01快速生成30秒内可完成6秒视频生成，满足快速创作需求。02高效指令遵循精准理解复杂prompt，如“镜头流畅跟随画面中的三只狗狗移动”等动态场景指令。03内容连贯性"3DVAE和3DRoPE技术优化帧间关系，提升物理运动逻辑连贯性。"04风格与编辑灵活性支持多风格创作，搭配平台音乐，图片一键生成视频。2.智谱清影的技术优势智谱清影依托自研模型CogVideoX，具备显著技术优势内容连贯性技术3DVAE压缩视频至2%原大小，结合3DRoPE优化帧间依赖，实现流畅运动逻辑。可控性优化端到端视频理解模型精准解析长prompt，满足科技感汽车广告创意需求。架构创新三维一体Transformer架构，优化模态对齐，推理速度提升6倍，兼顾效率与画质。通过智谱清言平台，使用清影-AI生视频功能，实现高效视频生成。智谱清言首页

清影-AI生视频界面一、文生视频文生视频智谱清影AI技术，将文本转化为生动视频，支持多种风格选择，如卡通3D、黑白、油画、电影感等。视频生成器用户输入详细描述，AI算法精准匹配，生成高质量视觉内容，实现创意无限可能。一、文生视频：1.提示词公式镜头运镜采用推拉结合的运镜方式，从全景聚焦至人物特写，动态捕捉动作细节，增强画面张力与节奏感。光影细节冷色调主光搭配暖色逆光，营造悬疑氛围，雨幕反光与霓虹灯影交织，突出场景的潮湿质感与空间层次。基础公式（3步成片）螺旋上升镜头下，霓虹城市天台，少年夜风中欢笑。进阶玩法（电影感拉满）手持晃动镜头，薄荷晨光，亚麻裙少女，露珠细节，森系清新，水鸟鸣叫，营造电影感场景。一、文生视频：2.专业词汇摄影术语应用使用35mm焦距与浅景深等专业表述，明确镜头视角与景深参数，使AI精准构建画面纵深感与主体突出效果。模糊表述避免摒弃“好看”“很酷”等主观描述，采用“红砖墙自行车筐”等具象场景，确保AI生成画面与预期高度契合。视觉逻辑传达通过明确镜头参数与场景细节，AI可准确控制畸变程度与背景虚化量级，实现电影级画面层次与美学效果。（1）人像场景"35mm镜头，F2.8光圈，白色连衣裙少女于薰衣草花海中微笑，浅景深凸显主体。"（2）静物场景使用35mm定焦镜头，F1.8浅景深，聚焦咖啡杯拉花，渐进虚化背景，营造复古质感。（3）动态场景采用35mm跟拍镜头，F4光圈，平移拍摄骑车男孩，梧桐树动态拖影增强画面张力。一、文生视频：3.文生视频不同场景的提示词模板01生活片段月光下的汉服少女，于竹编茶席轻嗅薄荷，古典雅致。02科技感视频霓虹空间站，紫色能量束穿梭，赛博朋克光影，科技感视频。03自然风景热带雨林翡翠河蜿蜒，白鹭捕鱼翅触水纹。土著独木舟雾中行，原始瀑布鹦鹉飞，采药人雾绕穿小径。文生视频一、文生视频4.智能体生提示词在智能体中心，搜索"提示词"，发现可创提示词的智能体。选择"清影提示词"，输入主题如"江南青山绿水"，生成3种风格提示词，支持编辑使用。智能体中心提示词智能体“清影提示词（文生视频专用）”界面生成的提示词二、图生视频图生视频将静态图片赋予动态生命，通过添加运动轨迹、过渡效果与创意元素，让单一图像跃动成引人入胜的视频故事，适用于制作表情包、广告及剧情短片。动态转化运用先进算法，自动识别图片关键点，模拟真实运动，结合流畅转场与特效，使静态画面瞬间活化，打造专业水准的视觉体验。二、图生视频：1.图生视频提示词在智谱清影图生视频功能中，提示词需聚焦动态元素，避免重复图片已有的静态信息。核心原则如下（1）禁用静态描述拒绝重复画面中可见的物体颜色、形态、位置等静态特征（如“花是红色的”“桌子是木质的”）。（2）必写动态要素主体动作展现，环境动态描绘，镜头运动添加。（3）示例对比"女孩奔跑，蓝裙如波，海浪拍礁溅水花。"（4）黄金公式"动态镜头捕捉红气球升空，环境变幻，时间流转"二、图生视频：2.图生视频不同场景的提示词模板（1）古风视频女子倚窗，轻扇花鸟，竹影斑驳映广袖。（2）宠物萌趣视频橘猫跃起扑向毛线球，阳光下身影活泼，360度环绕拍摄展现趣味瞬间。（3）自然风景金色麦田随风摇曳，麦浪翻涌，野花点缀，蓝天白云，夕阳染琥珀。（4）生活场景老人细心浇灌月季，晨雾中邻里声隐约，铁艺花架藤蔓缠绕。二、图生视频：3.参数设置（1）基础参数设置设置视频生成模式、帧率、分辨率及比例。（2）设置视频时长单击“5s”按钮，在弹出的下拉菜单中可以对视频生成的时长进行设置。如图所示。（3）设置音效单击“音效”按钮，在弹出的下拉菜单中可以设置生成视频时是否添加音效。如图所示。（4）去水印单击“音效”按钮，在弹出的下拉菜单中可以设置生成视频时是否去除水印。如图所示。基础参数设置

设置时长

设置音效

去水印二、图生视频：3.参数设置（5）AI特效AI特效应用单击“AI特效”按钮弹出下拉菜单，选择特效并插入视频，支持多样化视觉效果调整。图片上传流程点击“图片上传”后依次完成打开、裁剪及上传操作，选择“原图”比例保持图片清晰度。参数设置说明输入固定镜头参数，描述小猫接球动态及场景光影，确保特效与画面描述一致。视频生成步骤上传图片后输入提示词，单击“发送”按钮生成视频，系统自动渲染并输出结果。

“AI特效”下拉菜单“图片裁剪”对话框上传图片输入提示词

生成视频二、图生视频：4.智能体生提示词进入智能体中心点击"智能体中心"，搜索提示词，展示可创建智能体。选择清影提示词智能体选择清影提示词智能体，输入图像描述与风格，生成定制图片及视频提示词。使用清影提示词智能体"输入诗句生成电影风格图像，一键创作，支持编辑。"“清影提示词（图生视频专用）”界面生成的图像和提示词三、创作同款创作同款利用平台丰富模板，覆盖多领域需求，新手速成专业视频，老手激发创意提升效率。具体操作选择心仪模板，一键替换素材，个性化编辑，轻松打造专属视频作品。三、创作同款1.进入模板选择界面首先，登录智谱清影平台账号，进入主视频操作界面。单击“精选”选项卡，进入视频库模板选择页面。2.选择模板并创作同款点击"创作同款"按钮，快速复制模板，自动加载预设元素，高效启动新视频项目。三、创作同款：3.替换素材替换视频项目素材素材替换步骤进入编辑界面后，选中轨道上的占位素材并删除，从本地上传新图片，确保内容与主题一致。内容修改流程编辑输入框文字，调整提示词，点击发送按钮生成视频，完整流程如图示操作。

选择模板输入框

替换素材修改提示词同款视频任务实施——《鹰击鱼翔》动态诗境创作智谱清影视频操作指南素材替换指南将原图主体"鹰击长空，鱼翔浅底"替换为"雄鹰展翅，锦鲤游弋"，保持电影画面风格，生成动态光影效果。下载规范完成图生视频后，点击"超清下载"获取高分辨率素材，文件命名建议采用"雄鹰锦鲤"等主题化标识。“‘鹰击长空，鱼翔浅底。’毛泽东笔下的苍茫天地间，藏着自然生灵最磅礴的生命力。今日借助清影-AI的图生视频功能，我们将让这诗词意境突破纸面。

输入图像主体任务实施——《鹰击鱼翔》动态诗境创作视频生成与下载01素材替换操作替换原提示词为“鹰击鱼翔”场景描述，调整镜头运动与动态捕捉参数，确保画面张力与节奏匹配。02视频生成流程上传选中图片后选择原图裁剪，点击发送等待渲染，下载视频时自定义命名“鹰击鱼翔”保存至本地。

生成的图像和提示词

放大图像“图片剪裁”对话框上传图片并输入提示词生成的视频任务三闪剪生成视频任务三闪剪生成视频闪剪特色专注高效创作，AI驱动，网页操作，实现快速生成与智能剪辑。应用场景覆盖直播剪辑、口播制作、数字人定制及链接合成，适用自媒体、营销与新闻。访问方式通过指定网址进入闪剪官网，首页展示如图7-74，直观呈现核心功能与服务。

闪剪首页界面一、直播快剪快速剪辑直播高光自动识别直播高光，快速剪辑，降低视频处理成本。操作步骤详解操作步骤：选直播快剪，复制链接，添加直播，手动切片，生成下载或发布视频。

“我的直播”界面二、口播视频制作口播视频流程驱动数字人口播，搭配配音、音乐、背景，快速生成结构化视频，适用新闻、产品讲解。开始制作口播视频制作口播视频流程：点击“口播视频”，选择模板，选数字人，输入或生成文案。添加配音、音乐和背景选择配音音色，导入音频，添加背景音乐，选用视频背景。支持本地音乐和图片，纯色及内置背景。完善视频细节与导出编辑文字样式，添加动画，插入贴纸，预览并导出视频。“口播视频”界面

选择模板样式选择数字人

选择音色选择背景音乐

选取背景文字样式贴图三、定制数字人闪剪数字人服务简介闪剪打造个性化数字人，10-20秒视频生成专属虚拟形象，助力“分身”内容创作。定制数字人流程点击"口播视频"，进入"我的数字人"，开始定制数字人流程。“定制数字人”界面三、定制数字人：提交训练视频与授权视频上传训练视频流程上传训练视频：选择文件或在线拍摄。确认并提交视频确认视频要求，提交数字人名称，完成视频提交流程。若不符，重新上传合格视频。上传授权视频单击“上传授权视频”按钮，采用和上传训练视频一样的方法，上传授权视频。

“上传视频”界面确认视频满足要求

“数字人名称”对话框三、定制数字人提交声音与开始训练上传音频，开始云端训练，等待通知。四、链接成片自动生成短视频流程系统自动提取链接内容，生成结构清晰短视频，支持文案调整与素材替换，快速转化图文为视听作品。链接成片操作步骤"点击'链接成片',复制商品链接,粘贴后提取内容,选择模板生成视频。"

“链接成片”界面提取图片和文案任务实施——制作新闻播报视频访问闪剪官网并开始创作访问闪剪官网，点击"开始创作"进入模板界面。选择数字人与新闻文案选择数字人"孔琳-主持人"，播报校园之声新闻。设置配音、音乐与预览视频选择“新闻晓秋”配音，"活力-Sunshine"背景音乐，调整音量至7，预览并可修改视频。导出与下载视频单击“导出视频”按钮，生成视频，如图所示。单击视频上的“下载”按钮，将视频下载到指定位置。创作模板界面

选择数字人类型

选取数字人选择配音选择背景音乐生成视频任务四网页天音AI音频产品概述产品定位网易开发的一站式AI音乐创作工具，支持网页端操作，聚焦AI编曲、一键写歌、AI作词三大核心功能。功能价值降低音乐创作门槛，满足专业制作人与爱好者的多样化需求，适用于歌曲创作、广告配乐等场景。

网易天音的官方网页版技术特性算法整合整合先进音乐生成算法与丰富风格模板，支持多格式文件导出，兼顾创作自由度与实用性。效率提升模块化工具快速实现创作，显著降低专业编曲门槛，提升音乐创作效率。应用场景多样化需求覆盖公益广告主题曲、短视频配乐及个人原创歌曲等场景，适配不同创作目标。使用流程访问方式浏览器输入官网地址，完成账户登录或注册流程，确保使用全部功能。一、编曲创作模式支持自由创作、基于曲谱或上传作曲三种模式，用户可编辑和弦走向与段落结构，适配主歌、副歌等标准编曲框架。编曲功能内置流行、民谣、国风、电子等风格模板，通过调整调式、BPM及乐器组合参数，快速生成适配不同情感场景的完整编曲。风格调整提供可视化和弦编辑工具与云端曲谱库，支持实时修改段落衔接方式，通过节拍校准与声部重组功能优化编曲流畅度。（1）在首页中单击“AI编曲”栏中的“开始创作”按钮，打开如图所示的“新建编曲”对话框“新建编曲”对话框一、编曲（2）自由创作编曲"自由创作编曲，编辑和弦，选择风格，调整试听，完善曲目细节。"“自由创作”界面对和弦进行编辑“选择编曲风格”对话框一、编曲（3）如果选择“基于曲谱创作”，打开如图所示“新建编曲”对话框，则搜索需要的曲谱或直接在列表中选择曲谱，单击“开始编曲”按钮，进入如图所示“和弦编辑”界面，对各个段落结构进行编辑“新建编曲”对话框“和弦编辑”界面一、编曲（4）如果选择“上传作曲”，打开如图所示“新建编曲”对话框，单击“上传4/4拍单轨midi”按钮，在打开的对话框中选择要上