AIAgent智能体应用与实战课件 第10章 AI Agent在视频生成中的应用实践

AIAgent在视频生成中的应用实践第10章10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短视频生成工作流搭建10.6本章小结10.7课后练习10.1.1

AI

Agent在视频生成领域的应用类型在广告行业，运用视频生成技术可实现大规模定制化内容的快速生成，极大提升了广告创作的效率与精准度。在教育行业，随着工作流技术的不断发展，AIAgent的应用效率得到了极大的提升。从数据收集、内容生成到发布优化，工作流技术能够将各个环节自动化，极大地提高了工作效率和质量。例如，通过n8n等工作流工具，广告视频生成系统能够自动抓取社交媒体和搜索引擎中的用户数据，实时调整广告内容并推送给目标群体，形成自动化的广告投放流程。在设计领域，AIAgent可以将用户手绘的美术作品与已有作品进行风格融合，并通过工作流自动发布至平台，形成自动创作艺术作品的智能体。工作流技术能够更加高效地管理视频生成过程，减少人工干预，提高内容创作的自动化程度和精确度，为各行业带来了前所未有的便捷和效益。10.1.2

视频生成领域的需求与热点随着AI技术的不断发展，工作流技术的出现为视频生成领域带来了新的需求和变革。AI工作流的自动化能够帮助视频创作者简化制作过程，从素材采集、剪辑、特效添加到发布，可做到全程无须人工干预。尤其是n8n等工作流平台的出现，让视频生成的各个环节能够通过预设的工作流进行自动化，大幅度提高了生产效率和灵活性。针对视频生成，工作流技术不仅能够实现跨平台的数据集成，还能够根据实时需求生成定制化的视频，满足市场对个性化、强时效性、高频次视频内容的需求，在广告、教育、娱乐等领域具有广泛的应用前景。10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短视频生成工作流搭建10.6本章小结10.7课后练习10.2.1AIGC短视频制作过程短视频制作是复杂的过程，需要不断地叠加创意，可分为概念构思、分镜头文案设计、分镜头画面设计、视觉生成、配音配乐、后期合成等6个阶段。（1）概念构思：根据用户需求，明确短视频的主题、时长、类型、领域、目标对象等。这一阶段主要进行需求分析，并根据明确的需求撰写初始的短视频文案。（2）分镜头文案设计：利用DeepSeek或者ChatGPT对视频故事的完整文案进行撰写，对主题、故事发展、视频风格、时长、分镜头的数量进行细化，形成分镜表。（3）分镜头画面设计：根据分镜表，对每个分镜头的画面内容进行设计，使用DeepSeek或者ChatGPT生成描述文本。随后使用即梦或者NanoBanana等图像生成平台生成分镜头图像。（4）视觉生成：根据分镜头提示词和分镜头图片进行视频的生成，可使用ComfyUI、即梦等软件。（5）配音配乐：根据短视频故事的台词和背景音乐要求，使用SunoAI等AI音乐制作工具，创作符合短视频氛围的背景音乐和音效，并实现高质量的配音，提升观众的观影体验。（6）后期合成：在完成所有素材的准备后，对它们进行剪辑和合成，完成整个短视频的制作。10.2.2AIGC短视频制作提示词设计例1：人物运动类短视频的完整提示词。例2：自媒体治愈类视频的完整提示词。例2：自媒体治愈类视频的完整提示词。10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短视频生成工作流搭建10.6本章小结10.7课后练习10.3.1项目背景与整体思路随着越来越多的人从事自媒体行业，制作吸引力强、创意丰富的短视频成为自媒体行业从业者的核心竞争力。要将创意转换为实际的视频，在AI出现之前，通常需要人们进行实地拍摄或者使用3D软件进行建模、渲染以及动画的制作。这个过程不仅耗费人力物力，也考验制作者的软件应用水平。因此，自媒体行业的从业人员不仅需要掌握多种视频制作技术，还往往需要团队协作，这对轻创业而言成本较高。在AIGC出现后，越来越多的人使用AI平台（如ComfyUI的Wan2.2、即梦的SeeDance2.0等）进行视频生成。人们使用AIAgent分析用户需求，用大模型给出故事情节与分镜提示词，由视频生成平台直接进行内容生成，极大地提高了设计的效率。本章的案例基于短视频制作，将用AIAgent来自动化地完成相关工作。10.3.2业务流程划分10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短视频生成工作流搭建10.6本章小结10.7课后练习10.4.1基础文生视频工作流基础文生视频工作流如图所示，依次为表格提交节点、编辑字段节点、基础LLM链节点、文生视频节点、JavaScript代码节点、HTTP请求节点、磁盘文件读写节点。10.4.2案例工作流逻辑视频的生成可分为文生视频和图生视频。文生视频是指利用提示词来进行视频的生成，图生视频是指利用参考图来进行视频的生成，图生视频的精确性更高，可以使用首尾帧来确保角色的一致性。本章采用的视频生成方法为文生视频，对短视频提示词按照不同的维度进行分割，得到表单的6个输入字段，发给大模型，大模型将这些输入字段整合为即梦能够理解的短视频提示词，随后让文生视频video节点进行视频的生成，通过HTTP请求节点将生成的视频保存到本地磁盘，这就是本章案例中工作流的基础逻辑。10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短视频生成工作流搭建10.6本章小结10.7课后练习10.5.1搭建工作流（1）启动n8n，创建一个新的工作流，在工作流画布中创建一个表格提交节点，双击表格提交节点，随后配置表单的结构，设置“表单标题”为“短视频制作”、“表单描述”为“短视频制作工作流”，在“表单元素”中输入第1个字段的“字段名称”为“画面主体”、“元素类型”为“Text”，打开“必填字段”开关。单击“添加表单元素”按钮，按照同样的方法，增加并设置其他5个字段。设置第2个字段的“字段名称”为“运动”、“元素类型”为“Text”，打开“必填字段”开关；第3个字段的“字段名称”为“画面场景与风格”、“元素类型”为“Text”，打开“必填字段”开关；第4个字段的“字段名称”为“镜头运动”、“元素类型”为“Text”，打开“必填字段”开关；第5个字段的“字段名称”为“画面氛围”、“元素类型”为“Text”，打开“必填字段”开关；第6个字段的“字段名称”为“画面光影”、“元素类型”为“Text”，打开“必填字段”开关，所有字段的“占位符”都设置为空，如图所示。10.5.1搭建工作流（2）创建一个编辑字段节点，将表格提交节点的输出端口连接到编辑字段节点的输入端口，在编辑字段节点的配置界面中配置字段为“画面主体”“运动”“画面场景与风格”“镜头运动”画面氛围”“画面光影”，分别将表单提交节点的“画面主体”“运动”“画面场景与风格”“镜头运动”“画面氛围”“画面光影”字段的值拖入对应字段的“=”右侧，如图所示。10.5.1搭建工作流（3）创建一个基础LLM链节点，将编辑字段节点的输出端口连接到基础LLM链节点的输入端口。在基础LLM链节点中单击“模型”按钮，为基础LLM链节点配置一个聊天模型，模型类型设置为Ollama聊天模型，配置Ollama的地址为:11434（这部分内容在第4章已经详细讲解，本节不赘述），效果如图所示。10.5.1搭建工作流（4）在基础LLM链节点中配置格式化输出，用来将提示词整合为一个字段。双击基础LLM链节点下方的结构化输出解析器图标，在弹出的界面中选择“模式类型”为“从JSON示例生成”、“自动修复格式”为关闭，编写如下代码，如图所示。10.5.1搭建工作流（5）创建一个文生视频节点，用来调用即梦进行文生视频，将基础LLM链节点的输出端口连接到文生视频节点的输入端口。在文生视频节点的配置界面中，将基础LLM链节点输出的“提示词”字段（见图10-17右图）拖入文生视频节点配置界面的“提示词”输入框，设置“资源”为“视频生成”、“类型”为“文生视频”、“模型”为“video-S3.0”、“视频比例”为“21∶9”、“视频时长”为“10s”，打开“是否等待视频返回”开关，如图所示。10.5.1搭建工作流（6）创建一个JavaScript代码节点，用来对视频网址中的文件进行提取，将文生视频节点的输出端口连接到JavaScript代码节点的输入端口，在JavaScript代码节点配置界面的“JavaScript”输入框中编写代码，如图所示。10.5.1搭建工作流（7）创建一个HTTP请求节点，将JavaScript代码节点的输出端口连接到HTTP请求节点的输入端口，在HTTP请求节点的配置界面中，配置“方法”为“GET”，将JavaScript代码节点输出的“视频网址”字段拖入“URL”输入框中，其他参数保持默认，如图所示。10.5.1搭建工作流（8）创建一个从磁盘读取/写入文件节点，将其命名为“磁盘文件读写”，将HTTP请求节点的输出端口连接到磁盘文件读写节点的输入端口，在磁盘文件读写节点的配置界面中，设置“操作”为“将文件写入磁盘”，在“文件路径和名称”中输入如下路径：“d:/data/movie1.mp4”，表明将视频文件存储在D盘的data目录下，如图所示。10.5.2运行工作流（1）单击“执行工作流”按钮后，会弹出表单。在“画面主体”中输入“一只小狗”、在“运动”中输入“在辽阔的草原上奔跑”、在“画面场景与风格”中输入“远处是群山，吉卜力风格”、在“镜头运动”中输入“镜头逐渐上移，到高处俯拍大地”、在“画面氛围”中输入“动态模糊，速度感，呼吸感”、在“画面光影”中输入“柔和的光线，阳光充足”，如图所示。10.5.3测试工作流等待工作流运行完毕，在磁盘文件读写节点的输出中可以看到图所示的视频，也可以在本地磁盘中查看这个视频并进行播放。10.5.4效果评估与总结本章的实战案例完整地展示了使用n8n进行治愈系自媒体短视频制作的过程，由于n8n具备开源和部署简单的特点，工作流可以作为产品，进一步按照SaaS模式部署为网页。用户在浏览器中操作，工作流在后台运行，通过浏览器将结果返回给用户。通过接收不同的输入数据并运行，工作流可以完成不同类型自媒体短视频的设计。后期可以改进工作流，使其支持图生视频，即根据用户上传的参考图，配合提示词进行视频的生成。读者可以自己尝试，使用图像上传节点，将图片上传至n8n，使即梦生成和参考图风格、构图方式相同的短视频。10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短视频生成工作流搭建10.6本章小结10.7课后练习10.6

本章小结本章介绍了n8n在视频生成领域中的应用实践，重点讲解了如何通过n8n的工作流实现短视频的自动化制作。首先，本章深入探讨了AIAgent在视频生成领域的应用特征，随后介绍了AIGC短视频制作过程和提示词设计。接着，本章通过实战案例——治愈系自媒体短视频工作流搭建，展示了如何使用n8n进行视频生成。通过这一案例，读者可以清晰地理解n8n如何高效地推动短视频制作的自动化，并掌握将其应用于具体项目中的方法。本章不仅展示了n8n的强大功能，还为读者提供了在实际工作中应用这一工具的宝贵经验。10.1AIAgent在视频生成领域的应用特征10.2AIGC短视频制作10.3案例业务流程分析10.4视频生成工作流介绍10.5【实战案例】：治愈系自媒体短