大型部署应用及实践 7

第8章即梦AI视觉大模型探索AI视觉生成的无限可能课程大纲01引言什么是视觉大模型？02视觉大模型概览国内外主流模型介绍03文本生成图像即梦AI图片生成入门与实践04图像理解视觉大模型的原理与应用场景05视频生成与处理图生视频与文生视频技术解析06制作数字人数字人制作中的对口型与动作模仿07总结与回顾核心知识点总结与未来展望什么是视觉大模型？参数量巨大的神经网络拥有海量的可学习参数，能够构建复杂的数学映射关系，从而捕捉并理解视觉世界的深层逻辑。大规模视觉数据训练基于互联网级别的大规模图像、视频等视觉数据进行预训练，从中学习通用的视觉知识与特征。全维度的视觉理解能力具备强大的零样本或小样本泛化能力，能够精准完成物体识别、场景理解、图像生成、推理分析等复杂任务。视觉大模型的核心定义与任务核心定义▍参数量巨大

拥有数十亿甚至上百亿的神经网络参数，具备强大的特征提取与拟合能力。▍大规模训练

在海量图像与视频数据集上进行训练，能够高效学习图像特征、物体识别、复杂场景理解等通用视觉能力。核心任务视觉大模型是多任务处理的“通用大脑”，能够灵活处理多种视觉任务，覆盖感知与生成两大领域：图像分类·目标检测·图像生成

语义分割·场景理解·视频生成本章目标✔了解视觉大模型的技术演进与发展概述✔掌握主流文本生成图像(Text-to-Image)方法✔深入理解视觉理解任务背后的原理与应用✔学习前沿的视频生成与智能处理技术✔通过工具上手实践，完成“数字人”的制作视觉大模型概览VISUALLARGEMODELOVERVIEW洞察前沿技术·探索视觉智能新边界国外视觉大模型(1)-Sora👨‍💻开发者：OpenAI🎯核心定位：文生视频大模型✨核心能力01.文本生成视频

精准理解复杂的自然语言描述，生成高质量、视觉连贯、长达60秒的短视频。02.图像生成视频

赋予静态图像“生命力”，将其转换为具有动态镜头、平滑过渡的视频内容。📝经典案例演示💡提示词：“几只巨大的长毛猛犸象踏雪走过一片草地，背景是被白雪覆盖的针叶林，镜头缓慢推进，展现细节纹理。”🎬生成效果：生成画面光影自然、物理细节（如积雪、毛发）逼真，动物动作符合生物逻辑，场景宏大且细节丰富。国外视觉大模型(2)-GeminiGoogleDeepMind下一代多模态AI模型开发者&核心定位由谷歌DeepMind开发，是一款具备前沿能力的多模态大模型，旨在处理并理解多种形式的信息。全能核心能力•多模态处理：无缝融合并理解文本、图像、音频、视频等多种数据输入输出。•广泛应用：覆盖个性化教育、健康医疗、智能客服及专业代码生成与分析等场景。底层技术架构基于MoE(Mixture-of-Expert)Transformer架构，动态调度专家网络以实现高效计算。国内视觉大模型(1)-可灵AI(KuaishouKeling)DEVELOPER/开发者快手Kuaishou核心定位：视频内容创作专家专注于视频内容创作的多模态生成式大模型，实现了视频生成领域的多项技术突破。核心能力•根据文本/图像，生成符合物理规律的高质量运动视频。

•支持复杂的角色动作、场景变换、镜头推拉等端到端生成。🎬生成案例：“数字复活”奥黛丽·赫本Prompt提示词：“奥黛丽·赫本，欧美人种，皮肤白皙，五官精致立体，深邃眼眸，经典短发，优雅黑色小礼裙，光影柔和...”国内视觉大模型(2)-即梦AI即梦AIByteDanceAILab开发者深圳市脸萌科技有限公司（字节跳动旗下）核心定位为创意爱好者打造的AI表达与创作平台核心功能•AI图片生成/视频创作

•故事化图文编辑工具能力与价值•文生/图生高质量视频

•本章实操部分的核心工具文本生成图像即梦AI·实操教学/TEXT-TO-IMAGE精准指令描述输入清晰的关键词与场景描述，定义画面风格、构图与细节，为AI提供创作基石。AI模型选择根据不同的生成目标，灵活切换专业模型，满足写实、二次元、3D等不同风格需求。关键参数调节通过调整画面分辨率、生成数量与随机种子等参数，在保证生成效率的同时优化画面效果。即梦AI图片生成入门01/操作入口1.访问与登录：打开即梦AI官方网站，使用手机号或第三方账号完成登录。2.进入功能页：在网站首页找到“AI作图”导航栏，点击“图片生成”选项即可进入。02/核心界面元素💡文本提示框：输入关键词描述画面内容、风格与氛围。🖼️参考图二创：支持上传图片，AI将学习参考图的构图或色彩进行再创作。🧠Deepseek-R1：AI智能助手，为您生成专业、详细的提示词。⚙️参数设置：可自由切换生图模型、选择1K/2K清晰度及调整21:9、1:1等画面比例。生图模型选择图片3.0影视质感，文字更准，直出2K高清图，是画质首选。图片2.1平面绘感强，文字生成能力优异，非常适合生成文字海报。图片2.0Pro极具想象力，擅长写真摄影风格，适合创造富有创意的画面。图片2.0对prompt的文字遵循度高，且支持图片参考能力，适合精准复刻。图片XLPro支持对生成图片的基础控制能力，适合需要一定构图掌控的场景。💡选择建议根据所需风格和功能选择。追求真实感和高清画质首选“图片3.0”；制作海报选“图片2.1”；创意摄影选“2.0Pro”。案例1-通用图片生成任务目标输入描述性提示词，生成一张“知性优雅、美丽大方”的女性肖像图片，要求面部特征精致，细节真实自然。操作步骤1.输入提示词：“知性优雅，美丽大方，有皮肤纹理清爽利落的短发，面庞白皙精致...”2.模型参数：图片3.0模型|标清1K清晰度|3:4比例生成效果反馈图片高度还原了“知性优雅”的描述，面部特征精致，发丝和皮肤纹理细节丰富，整体风格统一。案例2-广告设计案例1：超市广告PROMPT/提示词“超市入口处整齐排列的新鲜蔬果特写，店员微笑整理货架，暖黄色灯光照射在价签标注'每日直采'的标牌上...”案例2：蜜雪冰城饮料广告PROMPT/提示词“蜜雪冰城品牌标准广告图，3杯系列产品矩阵式构图，统一60度俯视角，亚克力拍摄台倒影效果，明亮清新的色彩风格，突出产品质感...”案例3-人物设计案例1：小龙女提示词金庸武侠古风女子，二十余岁面容清丽如霜雪，眉目如画却含三分冷峻，乌黑长发以白绸束起，一袭素白长裙不染尘埃，眼神清冷疏离，气质绝尘脱俗，仿佛不食人间烟火。案例2：令狐冲提示词金庸武侠风格男主角，三十岁面容棱角分明，左颊一道浅疤更添沧桑，剑眉星目隐含忧郁，嘴角常带一丝不羁的笑意，身形挺拔，着粗布青衫，腰佩长剑，气质潇洒豁达，兼具侠气与落拓感。图像理解IMAGEUNDERSTANDING从感知到认知·让AI看懂世界什么是图像理解？定义Definition多模态大模型利用计算机视觉和自然语言处理技术，对图像内容进行深度解析和描述，赋予机器像人一样“看懂”图片的能力。核心思想CoreIdea将图像数据转换为机器可计算处理的高维向量表征，并与文本信息建立精准的语义关联。关键技术组件KeyComponents●视觉编码器|多模态对齐|生成式理解多模态大模型架构示意

图像特征提取→跨模态融合→自然语言生成案例-图像理解实践任务目标利用腾讯元宝大模型分析一张梅花主题摄影作品，精准识别画面元素，并深度解析其如何共同传达出“孤独”的情感基调。关键输入•图像：含人物、粉色梅花、石板小径的古风场景。

•提示：识别可见物体→解析物体与“孤独”主题的关联→以文学比喻总结意境。智能洞察反馈•物体识别：盛开的粉色梅花枝条、蜿蜒的石板小径、身着传统服饰的独行人物。

•总结评价：“这幅画面犹如一首寂静的古诗，在梅香与留白间，将人物的孤独心境娓娓道来。”视频生成与处理VIDEOGENERATION&PROCESSING即梦AI·智能创作工具图生视频入门01/操作入口1.访问即梦AI官网，进入平台首页。2.在导航栏找到“AI视频”板块，点击“视频生成”。3.在功能列表中选择“图生视频”选项，进入生成界面。02/核心界面元素上传图片作为视频生成的画面基础文本描述框精准描述画面细节与动态视频模型选择不同模型适配不同生成风格基础参数设置时长(5s/10s)与画面比例案例-图生视频🎯任务目标基于之前生成的“小龙女”静态画像，利用AI图生视频技术，赋予其动态行为，生成一段连贯、自然的舞剑视频。01上传图片上传之前生成的高清小龙女静态图片，作为视频生成的视觉基础。02输入描述用自然语言描述镜头运镜与角色关键动作，如：转身、持剑、舞剑等。03生成视频提交任务后，AI模型自动将静态画面转化为动态视频，生成流畅片段。✨最终生成效果预览生成的视频画面清晰，人物动作流畅自然，镜头的拉近与拉远过渡柔和，

完美还原了“小龙女舞剑”的动态意境。文生视频入门操作入口在平台首页的“视频生成”专区，直接选择“文本生视频”选项，即可进入文生视频创作工作台。核心界面元素●文本框：输入详细的场景与镜头描述。●Deepseek-R1：AI辅助生成专业脚本。●基础设置：视频时长、画幅比例等参数。提示词设计要点✓明确任务：描述画面/分镜头脚本。✓要素完整：包含主题、人物、动作、情绪。✓风格格式：写实/动画，旁白/纯音乐。✓附加要求：视频时长、语言风格。案例-文生视频：北欧极光旅行任务目标生成一段画面唯美、引人入胜的“北欧极光旅行”主题宣传短视频。STEP01生成视频脚本(DeepSeek)提示词：“生成一段关于‘北欧极光旅行’的视频文字描述，包含环境、氛围、色彩和动态镜头感”

生成文案：“在寂静的雪原之上，夜幕低垂。忽然，天空中裂开一道缝隙，翡翠色的光幕如流水般倾泻而下...”STEP02输入即梦AI生成视频将生成的文案完整复制粘贴到“文本生视频”工具的输入框，选择风格为“电影感/自然”，等待生成。最终生成效果AI根据文案描述，成功生成了极光色彩变幻、雪原壮阔的动态画面，完美契合“电影感”的视频风格需求。制作数字人01/角色设定确定数字人的基础特征，包括性别、年龄、外貌风格（如写实/二次元）、职业背景与性格设定，为生成提供明确方向。02/模型生成在即梦AI平台输入设定关键词，选择生成风格与参数，利用AI算法快速生成符合需求的数字人3D或2D模型。03/细节微调对生成的数字人进行精细化调整，如面部表情、服装搭配、动作姿态等，确保形象与需求高度匹配，达到上线标准。什么是数字人？定义/Definition通过AI、计算机图形学等技术构建的虚拟实体，具备高度拟人化的外观、语言表达、行为模式和自然的人机交互能力。企业服务7x24小时智能客服、全天候在线的数字员工，提升服务效率与标准化水平。教育领域个性化的AI学习伙伴、多语种的有声资料朗读助手，让学习过程更有趣。医疗健康心理疏导与陪护助手，提供有温度的关怀服务。社交娱乐直播互动、短视频内容创作、虚拟主播带货等。经典案例：央视“AI主持人”小C作为国内首个具备实时交互能力的3D超写实数字人，“小C”已正式亮相央视，参与新闻资讯播报与现场连线，展现了极高的拟真度与专业能力。案例1-对口型数字人制作任务目标利用AI技术，让一张普通的静态人物图片“开口说话”，快速生成生动的数字人视频，适用于播报、解说等场景。核心操作步骤01.进入即梦AI“数字人”模块，选择“对口型”功能入口。02.导入素材：上传一张清晰的人物正面或半身照作为数字人形象。03.内容设定：在“文本朗读”框中输入你希望数字人说的文字内容。04.声音配置：从音色库中挑选匹配的朗读音色（男声/女声/情感音等）。05.点击“生成视频”，等待几秒即可完成渲染。制作界面界面设计直观简洁，功能模块划分清晰。支持实时预览，可快速调整人物与文本内容，极大降低了数字人制作门槛。生成效果生成视频口型精准，与输入的文本内容完美同步。画面自然流畅，能满足短视频解说、虚拟主播等多种场景的制作需求。案例2-动作模仿数字人制作任务目标将一张静态的人物图片，通过AI技术赋予其生命力，使其精准模仿用户指定的肢体动作，最终生成流畅的动态视频。01.选择功能进入即梦AI，在功能列表中选择“数字人”模块下的“动作模仿”。02.导入图片上传一张清晰的人物正面或侧面照，作为数字人的基础形象。03.设定动作从平台提供的预设动作模板中选择，或上传本地视频文件提取动作。04.生成视频确认所有参数后点击生成，等待AI处理并下载最终