第13课 根据文字生成图像（义务教育人工智能课件）

第13课根据文字生成图像第三单元图像、声音与视频的智能生成义务教育信息科技课程资源

人工智能

第13课学习目标1了解图文语义对齐的作用。学习目标理解图文语义对齐的基本原理。23知道图文语义对齐在“文生图”过程中的作用。第13课课堂导入利用文字描述搜索图像，思考实现这一功能的思路。问题情境第13课课堂导入问题情境方法二：由智能系统“理解”图像与文字，然后根据计算得出的相似度，找出符合的图像。方法一：事先为图像做好文字标注，然后查看用户的输入是否在标注中，从而找出图像。第13课学习内容一

图文语义对齐二

图文语义对齐的应用学习内容一、图文语义对齐第13课学习内容下页表是图文对齐前的相似度得分。为了便于理解，语义编码简化成了二维坐标形式。“理解”图像与文字，简单来说就是让表示相同含义的图像和文字更贴近，这个过程称为图文语义对齐。一、图文语义对齐第13课学习内容猫图[0.8，0.7]狗图[0.7，0.6]汽车图[0.2，0.2]猫[0.2，0.1]0.850.710.10狗[0.3，0.4]0.580.450.22汽车[0.7，0.8]0.140.200.78语义对齐前语义对齐前文字“猫”与图像“汽车”的距离最近，而与图像“猫”的距离最远，这显然不合理。合理的语义编码应该满足以下条件：能区分文本和图像中的猫、狗、汽车；猫与猫图、狗与狗图、汽车与汽车图的距离应小于与其他对象的距离；因猫、狗同类，它们的距离应小于与汽车的距离。一、图文语义对齐第13课学习内容一、图文语义对齐第13课学习内容猫图[0.9，0.7]狗图[0.7，0.6]汽车图[0.2，0.1]猫[0.9，0.6]0.100.200.86狗[0.7，0.5]0.280.100.64汽车[0.1，0.2]0.940.720.14语义对齐后第13课学习内容二、图文语义对齐的应用因此，智能系统看到文字“一只在草地上奔跑的黄色小狗”时，能根据语义生成符合描述的图像。完成图文语义对齐之后，图像和文字就处于同一个“语义空间”中，意味着它们的语义编码可以相互比较、匹配。第13课学习内容二、图文语义对齐的应用如今，很多人工智能模型都基于这种对齐机制来实现“以文生图”。这些模型通过大量相互匹配的图文数据进行训练，让模型学会理解文字中的语义，并将其映射为视觉元素，从而生成符合描述的图像。第13课学习内容二、图文语义对齐的应用回顾“文生图”过程，感受图文语义对齐的作用1.登录支持用文字生成图像的智能服务平台。2.输入画图要求，如“一只可爱的大熊猫”，提交给智能服务平台。3.观察效果，看看生成的图像是否符合要求。第13课学习内容二、图文语义对齐的应用一只可爱的熊猫一只可爱的熊猫正在吃竹子一只可爱的熊猫正在竹林边吃竹子

1.图文语义对齐的过程，可以简单理解为调整文字和图像的语义编码，使其在语义空间中更贴近。2.完成图文语义对齐后，就可以对文字和图像的语义编码进行计算，从而实现对文字和图像的理解与匹配。3.图文语义对齐有广泛的应用场景，例如用文字搜索图像、根据文字描述生成图像等。第13课课堂总结第13课拓展与提升在“传统文化进校园”活动中，同学们参观了传统服饰展览。一位同学对明代女子服饰很感兴趣，但不知道如何准确查找相关图像。老师介绍了“以文搜图”的智能技术：只要输入描述性文字，如“交领、右衽、长袖、马面裙”，系统就能从图像库中找到匹配的图像。结合图文检索系统的工作原理，在智能工具的帮助下，尝试设计一个“以文搜图”系统的框架，并简要说明其主要流程和关键技术。第13课拓展与提升“以文搜图”系统的工作过程一般包括4个步骤：步骤1.提取待搜索关键词的文