《借助多模态模型进行创作》教学课件-2025-2026学年清华大学版A版（新教材）初中信息技术八年级下册

《借助多模态模型进行创作》教学课件2025-2026学年·清华大学版A版（新教材）初中信息技术|八年级下册课堂导入：身边的多模态应用请同学们观察以下场景，思考一个问题：这些应用是如何理解和处理不同类型信息的？场景一：AI智能助手通过语音或文字对话，精准理解自然语言指令，提供知识问答与任务协助。场景二：AI生成艺术海报根据简短的文字描述，融合色彩、构图与创意，快速生成高质量的视觉艺术作品。场景三：AI生成视频短片将文本、图像等静态信息转化为流畅的动态视频，实现从文字到影像的叙事跨越。这些应用都能够处理和理解多种类型的信息，这就是多模态技术的魅力。课堂导入：思考与讨论生活观察你还在生活中见过哪些能够处理多种信息的智能应用？优势对比你认为让机器同时理解文字和图片，与只理解文字相比，有什么优势？概念初探你对“多模态”这个词有什么初步的理解？请小组代表稍后分享你们的讨论结果。PART01认识多模态模型让AI学会“看”和“说”什么是多模态模型？多模态模型（MultimodalModel）是一种能够处理和理解多种模态（Modality）信息的人工智能模型，打破单一信息类型的限制，实现对世界更全面的感知。文本(Text)文字、自然语言、文章段落等符号化信息视觉(Vision)图像、视频、3D点云等视觉感知信息听觉(Audio)语音对话、音乐旋律、环境噪音等声波信息触觉(Touch)压力、震动、温度等物理接触产生的信息核心能力：跨模态融合与生成能够将文本、图像、语音等不同来源的异构信息深度融合，实现从一种模态到另一种模态的理解、转换与内容生成。多模态模型的工作原理人类大脑：感官整合机制多源输入处理：眼睛捕捉图像、耳朵接收声音，这些异构的感官信息会被分别传送到大脑的不同功能区域进行初步解码。跨模态整合：大脑通过复杂的神经连接网络，将来自视觉皮层、听觉皮层等不同区域的碎片化信息进行深度融合，最终形成对外部世界完整、连贯的认知理解。01.专用编码器(Encoders)→针对文本、图像、语音等不同类型的数据，使用特定的神经网络结构进行特征提取。02.特征融合(Fusion)→通过自注意力机制或拼接网络，将编码后的特征向量映射到统一的高维空间进行融合。03.任务解码器(Decoder)→基于融合后的综合表征，生成文本回答、图片描述或进行多模态推理。多模态模型的典型任务跨模态理解(Understanding)●图生文(Image-to-Text)：根据图片内容自动生成描述性文字，理解视觉信息。●文生图(Text-to-Image)：根据自然语言描述，生成匹配的图像内容。●视频描述(VideoCaptioning)：解析视频的动态内容，生成准确的文字摘要。跨模态生成(Generation)●文生视频(Text-to-Video)：从文本指令生成连贯的短视频，具备动态叙事能力。●图像编辑(ImageEditing)：遵循文字指令对图片内容进行局部修改或风格迁移。●多模态对话(MultimodalDialogue)：无缝理解和回应包含图文声等多种形式的对话。第二部分体验文生图用文字作画什么是文生图？AI图像生成技术(Text-to-Image)文生图是指AI模型基于用户输入的自然语言描述（Prompt），结合海量数据训练的能力，自动生成与之匹配的全新数字图像的技术。核心：提示词(Prompt)是关键提示词是用户与AI沟通的“指令语言”，直接决定生成质量。

一个优质的Prompt通常包含：主体内容、艺术风格、光影色彩、构图视角、细节质感等关键信息。主流文生图模型：Midjourney|StableDiffusion|DALL-EAI生成艺术人像示例（Midjourney）输入描述+AI算力=无限创意体验活动一：文生图入门我们将使用一个简单的在线文生图工具，亲手体验用“文字作画”的乐趣，直观感受AI是如何将抽象的语言描述转化为具象的视觉图像。STEP01打开应用点击桌面上的快捷方式，或在浏览器中打开指定的在线文生图平台。STEP02输入提示词在输入框中，尝试输入一个简单的描述，例如：“一只可爱的白色小猫”，不需要太复杂。STEP03生成图像点击“生成”或“创作”按钮，稍作等待，观察AI在几秒钟内为你生成的图片效果。STEP04进阶尝试修改提示词，增加细节，如：“橘色小猫在草地上玩耍，迪士尼卡通风格”，看看画面有什么新变化？技巧分享：如何写好提示词？主题明确清晰地描述画面的主体是什么，避免歧义，让AI聚焦核心要素。细节丰富添加颜色、材质、光影、动作、表情等维度的描述，让画面更丰满。风格指定明确指出想要的艺术风格，例如“油画”、“水彩”或“赛博朋克”风格。构图描述描述画面的构图方式，如“特写镜头”、“广角镜头”、“三分构图”，引导AI生成理想的视角。使用专业术语适当使用艺术或摄影领域的专业词汇，例如“浅景深”、“黄金分割”、“逆光”等，提升生成质量。体验活动二：创意文生图现在，让我们尝试结合更多元素，共同创作一幅更具想象力的复杂作品。本次挑战任务创作主题：“未来城市”请结合你对未来的畅想，构思画面中的核心元素。你可以自由决定城市的建筑风格、生活场景、自然环境以及整体的氛围基调，创作出独一无二的城市图景。提示词参考范例“一座未来主义风格的城市，高楼林立，空中有飞行汽车穿梭，街道上有机器人行走，天空是绚丽的晚霞，整体色调为赛博朋克风格，细节丰富，光影效果强烈。”💡创作小贴士：参考范例，在你的提示词中包含：主题、风格、具体元素、色彩、光影细节，能让AI生成更精准的画面。体验分享：文生图创作展示画作展示你使用AI生成的“未来城市”画作，让大家一起欣赏你脑海中独特的未来图景。分享提示词分享你输入的提示词（Prompt），聊聊你构思的逻辑、灵感来源，以及为什么会这样描述你的想法。评价与反思你对最终的生成结果满意吗？如果不满意，你认为问题出在提示词描述的模糊，还是AI对语义的理解偏差？第三部分体验图生文——让AI看懂世界什么是图生文？图生文（Image-to-Text）是指AI模型分析一张图片的内容，识别其中的视觉元素并生成准确、详细的自然语言文字描述，赋予机器“看懂”图像并转化为语言的能力。图像理解精准识别图片中的物体、场景、人物、动作、表情以及复杂的逻辑关系。内容描述将理解的视觉信息转化为流畅、准确、且符合人类阅读习惯的自然语言文本。视障辅助实时描述画面，帮助视障人士“感知”周围环境与世界。图像检索生成文本关键词，解决“以图搜图”的语义匹配难题。自动配图分析文章内容，自动匹配并推荐视觉相符的图片素材。体验活动三：图生文入门我们将使用一个在线图生文工具，亲身体验让AI观察并描述图片，直观感受AI的视觉理解能力。01打开应用访问指定的在线图生文工具网页。02上传图片上传一张你的图片（如风景、宠物），或直接使用示例图。03生成与验证点击生成，观察AI描述是否准确。尝试不同类型图片测试。技巧分享：如何与图生文模型互动？除了简单的描述，我们还可以向图生文模型提问，进行更深入的互动，挖掘图片的更多价值。描述图片内容“这张图片里有什么？请详细描述一下。”分析画面细节“图片中的人物是什么表情？物体之间的相对位置如何？”判断环境场景“这张图片大概拍摄于哪里？这是什么类型的场所？”激发创作灵感“根据这张图片里的内容，写一个有趣的短故事或广告语。”💡通过多样化提问，挖掘AI潜力，获取更丰富、深入的信息！体验活动四：与AI对话选择一张包含人物的图片，开启与AI的多轮对话挑战01.上传素材准备一张包含人物的清晰图片，上传至AI对话工具中。02.描述动作向AI提问：“图片中的人物在做什么？”，验证其视觉理解能力。03.感知情绪继续追问：“他看起来心情怎么样？”，探索AI的情感分析水平。04.创作独白终极挑战：“请为这个场景写一段心情独白”，感受AI的创意与共情。体验与AI多轮对话的乐趣，发现它对画面的深层解读能力。体验分享：图生文对话分享你的体验展示你选择的图片素材

以及与AI互动的对话全过程

聊聊你的直观感受回答准确吗？AI对图片内容的描述

与你对图片的理解一致吗？

是否有遗漏或错误的细节？AI真的“理解”了吗？从技术原理的角度看

AI是真正理解了画面含义

还是在做复杂的“概率计算”？第四部分综合创作AI辅助的创意之旅综合创作思路：AI辅助设计多模态模型可以成为我们创意设计的强大助手，通过“文字-图像”的双向互动，大幅提升创作效率与质量。01.灵感构思用精准的文字描述你的创意想法，如服装设计、建筑外观或产品造型，将模糊概念转化为清晰指令。02.生成初稿将构思的文本指令输入AI文生图工具，快速生成多种风格的设计视觉初稿，作为创意的起点。03.分析评估上传生成的设计图，利用图生文模型对画面元素、色彩搭配、风格协调性等维度进行专业分析与建议。04.优化迭代结合AI反馈修改提示词，重新生成图片。通过反复的“反馈-修改-生成”闭环，打磨出满意的设计作品。综合创作活动：设计我的梦想家园让我们以“我的梦想家园”为主题，进行一次结合AI工具的综合创作。01撰写描述用文字详细描述你梦想中的家园是什么样子的（风格、布局、特色等）。02生成设计图使用文生图工具，输入你写好的文字描述，生成梦想家园的设计图。03AI点评将生成的图片上传到图生文工具，让AI描述画面并对你的设计进行评价。04优化设计根据AI的反馈，修改文字描述中的关键词，再次生成，不断优化你的作品。综合创作分享：我的梦想家园展示设计成果请展示你最终生成的“梦想家园”设计图，向大家直观展示你的创意与成果。分享创作过程回顾你的创作历程，重点分享AI给了你哪些有价值的修改建议或灵感提示？剖析AI角色结合本次体验，你认为AI在你的创作过程中扮演了一个什么样的角色？前沿探索：文生视频除了生成图片，多模态模型的能力正在向动态视觉领域延伸，已经能够直接根据文本指令生成流畅的视频内容。文生视频(Text-to-Video)AI模型根据用户输入的自然语言描述，自动生成连贯的动态画面。虽然技术尚处快速迭代期，但在镜头语言、动作流畅度上已展现出惊人潜力。广阔的应用前景•降低门槛：快速生成广告、短片，大幅降低视频制作成本。

•创意辅助：辅助电影与动画的前期概念设计与分镜制作。

•个性体验：实现高度个性化的影视与社交媒体内容生成。PART05总结与展望共创创意未来本节课总结多模态模型能够处理和理解文本、图像、声音等多种类型信息的AI模型。核心能力跨模态理解（图生文）和跨模态生成（文生图）。创作关键编写高质量的提示词（Prompt）是与AI有效沟通的桥梁。AI的角色AI是我们的创意伙伴和辅助工具，能够激发灵感，提高效率。多模态技术的未来影响教育领域实现个性化学习，通过图像、视频等多种方式辅助教学，让知识获取更高效。创意产业大幅降低内容创作门槛，让每个人都能成为创作者，激发全民创新活力。日常生活融合语音、视觉与动作，提供更智能、更自然的人机交互方式，提升生活体验。科学研究帮助科学家快速处理并分析复杂的多模态数据，加速天文、生物等前沿领域探索。思考与讨论：AI与人类创造力在AI时代，人类的创造力将如何发展？AI能否完全替代人类的创造力？理性的算法能否真正复刻感性的灵感与独特的艺术直觉？如何与AI协同创作，发挥优势？以人类为主导，将AI作为强大的工具，实现1+1>2的创作效率。未来创造者必