《人工智能通识实战教程》课件 项目4 应用多模态AI工具

项目4应用多模态AI工具

学习目标​一、知识目标1.了解多模态AI的定义，及在图文创作、数字人播报、视频生成等领域的典型应用场景；2.理解文生图技术、图生文技术的核心原理，明确两类技术的功能边界；3.掌握文生图提示词的“5要素设计法”，及图生文工具的指令优化技巧。二、能力目标1.能独立操作“文心一言”、“智谱清言”工具，完成“未来智慧校园”主题图像生成与配套宣传文案撰写；2.会根据生成效果优化提示词，提升图像与需求的匹配度；3.能将生成的图文素材整合为微信公众号封面图，完成从“单一素材创作”到“完整宣传物料制作”的落地。三、素质目标1.通过学习文生图提示词设计技巧，具备将抽象创意转化为具体文本描述的逻辑思维，养成精准表达需求的习惯；2.通过对比不同工具的生成效果，培养对AI工具功能差异的判断能力，树立“按需选工具”的实践意识；3.通过完成“图文整合为公众号封面”的实操，增强数字内容创作的审美能力，同时树立规范使用AI生成素材的版权意识。任务1设计创意与图文生成任务1设计创意与图文生成

任务描述​本任务需以“新媒体运营助理”角色，完成“智慧生活”主题下的两项核心工作：第一，使用文生图工具（文心一言）生成“未来智慧校园”宣传图，需包含“AI互动、全息屏幕、科技感场景”核心元素，风格统一（如赛博朋克、简约科技）。第二，使用图生文工具（智谱清言）为生成的宣传图撰写微信公众号推广文案，要求“描述准确、风格活泼，含3个相关话题标签（如#未来校园#AI生活）”。最终输出“1张宣传图+1段推广文案”，并记录提示词优化过程。任务1设计创意与图文生成

相关知识一、文生图技术（以文心一言为例）1.技术原理与核心逻辑（1）技术基础：基于“扩散模型”（DiffusionModel），通过逐步去噪的方式将随机噪声转化为与文本描述匹配的图像，核心是“文本嵌入向量”与“视觉特征向量”的精准映射。（2）操作逻辑：用户输入文本提示词→平台将提示词转化为模型可识别的向量→模型按向量生成多版图像→用户根据需求选择或优化提示词重新生成。任务1设计创意与图文生成

相关知识一、文生图技术（以文心一言为例）1.技术原理与核心逻辑（1）技术基础：基于“扩散模型”（DiffusionModel），通过逐步去噪的方式将随机噪声转化为与文本描述匹配的图像，核心是“文本嵌入向量”与“视觉特征向量”的精准映射。（2）操作逻辑：用户输入文本提示词→平台将提示词转化为模型可识别的向量→模型按向量生成多版图像→用户根据需求选择或优化提示词重新生成。任务1设计创意与图文生成

相关知识一、文生图技术（以文心一言为例）2.提示词设计的“五要素法”文生图提示词需包含“主体、动作、环境、风格、画质”5个核心要素，缺失任一要素易导致生成效果偏差，具体说明与示例如表4-1所示。任务1设计创意与图文生成

相关知识一、文生图技术（以文心一言为例）3.常见风格模型的适配场景文心一言提供“唯美”“卡通”“概念色彩”等风格模型，需根据宣传场景选择：（1）赛博朋克风格：适配“未来科技”主题，适合年轻群体宣传。（2）简约科技风格：适配“正式宣传”场景，如企业官网、学术会议素材。（3）卡通风格：适配“校园科普”场景，如面向中小学生的智慧校园介绍。任务1设计创意与图文生成

相关知识二、图生文技术（以智谱清言为例）1.技术原理与核心逻辑（1）技术基础：融合“卷积神经网络（CNN）”与“自然语言处理（NLP）”技术——CNN负责提取图像的视觉特征（如物体、色彩、场景），NLP负责将视觉特征转化为连贯的文字描述。（2）操作逻辑：用户上传图像→平台提取图像特征→用户输入指令→模型结合特征与指令生成文本。任务1设计创意与图文生成

相关知识二、图生文技术（以智谱清言为例）2.应用形式与实操技巧（1）图像描述：客观还原图像内容，适合用于素材标注、内容摘要；在技巧方面，要明确结构要求（如分点），避免生成杂乱文本。（2）视觉问答：根据图像内容解答具体问题，适合深度挖掘素材价值；在技巧方面，问题需具体（如“列举3个”），避免模糊提问（如“这张图有什么智慧元素”）。（3）文案创作：结合场景需求生成传播性文本，如公众号文案、海报标语；在技巧方面，要明确场景（公众号）、结构（开头-中间-结尾）、格式（标签），提升文案适配度。任务1设计创意与图文生成

任务实施一、使用“文心一言”生成“未来智慧校园”宣传图二、使用“智谱清言”为宣传图生成推广文案任务1设计创意与图文生成

任务评价任务拓展使用多种工具进行文生图效果对比，以“通义万相”为例。步骤1打开“通义万相”官网，登录后输入在“文心一言”中优化后的文生图提示词；步骤2选择与文心一格相同的“赛博朋克”风格，生成图像后，从“生成速度、风格还原度（霓虹线条/色彩匹配度）、细节丰富度（无人机/全息屏数量）”3个维度对比；步骤3总结结论，为后续工具选择提供参考。任务2打造数字人与AI配音

任务2打造数字人与AI配音

任务描述​本任务需以“企业培训部实习生”角色，完成“办公室消防安全须知”培训短视频制作，核心目标是通过数字人播报与AI配音提升制作效率：第一，撰写符合口语播报的短视频脚本，需包含“灭火器使用、逃生路线识别、应急报警”3个核心安全要点。第二，使用“魔珐有言”平台完成数字人选择、脚本输入、背景配置。第三，配置AI配音参数并添加背景音乐，生成完整视频。第四，最终输出“1份优化脚本+1段培训短视频”，记录数字人及配音参数的调整过程，确保视频能有效传递消防安全知识。任务2打造数字人与AI配音相关知识一、数字人播报技术1.核心原理与驱动方式（1）技术基础：数字人播报依赖“形象建模+动作驱动+口型同步”三大核心技术。（2）操作逻辑：用户输入文本脚本→平台解析文本生成动作与表情数据→驱动数字人形象完成播报。任务2打造数字人与AI配音相关知识一、数字人播报技术2.数字人类型区分与场景适配不同类型数字人在资源消耗、生成速度、适用场景上差异显著，需根据需求选择，具体对比如表4-2所示。任务2打造数字人与AI配音相关知识一、数字人播报技术3.数字人选择的核心原则（1）气质匹配：培训类内容需选择“表情温和、肢体动作幅度小”的数字人，避免夸张动作分散观众注意力。（2）场景适配：办公室安全主题需搭配“商务正装”形象，避免休闲服饰（如运动装）与场景脱节。（3）资源适配：优先选择平台内置模板，减少自定义建模的时间成本。任务2打造数字人与AI配音相关知识二、AI语音合成技术（TTS技术）1.技术原理与核心逻辑（1）技术基础：基于“神经网络TTS技术”，通过“文本预处理→声学模型→语音合成”三步将文字转化为语音。（2）优势对比：相较于传统录音，AI语音合成可实时调整参数（无需重新录音），制作效率提升80%以上，且支持多语种、多音色切换。任务2打造数字人与AI配音相关知识二、AI语音合成技术（TTS技术）2.关键可调参数与场景适配不同场景对语音参数的要求差异显著，需针对性调整，具体参数说明与适配示例如下：（1）音色选择（2）语速调整（3）语调调整3.配音与背景音乐的协同技巧（1）音量配比（2）风格适配（3）时长匹配任务2打造数字人与AI配音任务实施一、撰写“办公室消防安全须知”短视频脚本二、魔珐有言数字人播报配置三、脚本输入与背景配置四、AI配音配置与视频生成五、视频下载任务2打造数字人与AI配音任务评价任务拓展使用腾讯智影的“数字人定制”，进行数字人个性化形象定制。步骤1打开腾讯智影“数字人定制”模块，选择“上传个人照片生成数字人”，按提示上传个人的“正面免冠照片”；​步骤2选择“企业正装”服饰模板，调整数字人发型、眼镜等细节，生成“个性化数字人”；​步骤3导入“办公室消防安全须知”的短视频脚本，生成“个性化数字人版”培训视频，对比“内置模板数字人”与“个性化数字人”的制作成本与逼真度。任务3生成与编辑动态视频任务3生成与编辑动态视频

任务描述​本任务需以“短视频平台创作者”角色，完成“我的AI助手一日”主题短视频的全流程制作，核心包含两大模块：第一，文生视频创作：使用“即梦AI”将“AI助手清晨规划日程”的文本描述，生成15秒动态视频片段，需包含“设备交互（平板）、场景元素（清晨阳光、热咖啡）、镜头风格（电影感）”核心要素。第二，AI视频编辑：使用“剪映”完成出镜视频处理，并整合“文生视频片段（片头）+出镜视频（主体）”，添加转场效果，最终导出完整短视频。任务3生成与编辑动态视频相关知识一、文生视频技术与工具应用1.文生视频技术核心逻辑（1）技术原理：文生视频是文生图技术的动态延伸，基于“扩散模型+时序建模”双核心——先通过扩散模型生成单帧图像，再通过时序建模，实现帧间动态衔接，最终形成连续视频。（2）技术特点：①动态性

②短时效性

③风格可控性任务3生成与编辑动态视频相关知识一、文生视频技术与工具应用2.文生视频提示词设计技巧提示词需在“文生图五要素”基础上，补充“动态要素”，形成“六要素设计法”，具体说明与示例如表4-3所示。任务3生成与编辑动态视频相关知识一、文生视频技术与工具应用3.主流文生视频工具对比不同工具在生成效果上存在差异，需根据需求选择，具体对比如表4-4所示。任务3生成与编辑动态视频相关知识二、AI视频编辑技术与操作逻辑1.核心功能技术原理（1）智能抠像（2）自动字幕（3）AI转场推荐2.剪映AI编辑功能操作要点（1）智能抠像（2）自动字幕（3）素材整合任务3生成与编辑动态视频任务实施一、使用“即梦AI”生成“AI助手清晨规划日程”视频片段二、使用“剪映”完成出镜视频编辑与素材整合任务3生成与编辑动态视频任务评价任务拓展制作“我的AI助手一日”扩展主题，完成突破文生视频的时长限制。步