《人工智能通识》5.2看图说话

5.2实践任务看图说话第5章人工智能怎么“思考”情景导入近期，学校团委与高胜社区联合开展“关爱帮扶，情暖人间”志愿服务活动，小慧负责给视障人士讲故事。本次活动让视障人士充分感受到了社会对于残疾人群体的关爱、对弱势群体的照顾，他们希望小慧能为盲童设计一个会“说话的”的图册，能够有效识别图片里的实体以及它们之间的关系，推理出图片所描述的事件内容，帮助盲童学习课内与课外知识。小慧得知你正在学习知识图谱技术，想请小智你帮忙设计，一起AI“助盲”。任务描述给出一张图片，我们很快便能描述出图片的内容，因为这是我们小学一年级就开始学习的本领，如乌鸦喝水、小明扶老奶奶过马路等，我们俗称看图说话，换个说法也叫图像描述。任务描述图像描述实际上是图像信息到文本信息的翻译，学会图像描述，是为了让我们能通过更多的方式去理解和学习知识，计算机也不例外，除了计算，人工智能更重要的研究目的是让计算机也学会理解和学习。那么你知道计算机都是怎么理解分析一张图片并将其描述为自然语言的吗？完成本次任务的学习，相信你会找到答案。本任务要求通过平台加载图像，用人工智能模型分析图像，并自动描述出图像呈现的内容。预备知识本次任务运用到了图像自动标注技术和图像描述生成技术，这两项技术是融合了计算机视觉、自然语言处理和机器学习的综合技术，两者结合可以实现将一张图像内容翻译描述成一段自然语言。图像自动标注技术不仅要做到识别图像中的对象与属性，更需要了解相互间的关系。也就是计算机不仅能够“看到”，更要求能够“理解”。预备知识实现图像描述生成需要有两个基本程序，视觉理解和语言处理。视觉理解可以使用卷积网络神经（ConvolutionalNeuralNetwork）①来识别图像中的对象和属性。语言处理可以使用循环神经网络（RecurrentNeuralNetwork）②组合产生语法正确合理的句子。早期基于模版的方法有相当多的限制，目前因为深度学习神经网络的大幅发展，基于深度学习神经网络的图像自动标注技术已经取得明显的成果。小贴士①卷积神经网络是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。创始人是著名的计算机科学家YannLeCun，目前在Facebook工作。②循环神经网络是一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络，在自然语言处理如语音识别、语言建模、机器翻译等领域有应用。实现思路活动1：想想计算机是如何分析识别图像的对象和属性的？活动2：思考我们人类用自然语言描述一张图像的需要哪些步骤？计算机的做法和我们有什么不同？实现思路根据预备知识的学习，我们可以将计算机实现图像描述的思路归纳为：（1）加载图像；（2）使用图像分析模型做图像理解，得到图像的对象和属性，以及他们之间的关系；（3）再用语言处理模型将得到的语言信息处理为逻辑通顺、语义合理的自然语言，输出结果。练技能积木块介绍变量path，使用前需要先创建变量名，该变量用于存放本地图像的文件名，最终可用path变量代表该本地图像文件。变量url，使用前需要先创建变量名，该变量用于存放图像的网络路径，最终可用url变量代表该图像文件。该积木块用于输入文本。该方法用于分析描述图片，并输出最终描述结果。框中放入变量，可以是上述path或url，最终输入的结果由变量决定。练技能任务实现思路展效果评过程环节1：与同组同学分享你在本节实验中的收获与体会。评过程课堂小结通过本任务的学习，让同学们了解图像自动标注技术和图像描述生成技术及其相关机理，同时体验了AI看图说话的过程，感受人工智能进行图像描述的过程。评过程环节1：与同组同学分享你在本节实验中的感想与体会。环节2：课后完成评价反思及巩固提升促巩固课后作业：完成评价反思完成课后巩固提升练习评价反思1.学习评价根据学习任务的完成情况，对照下表中“观察点”列举的内容进行自评或互评，并在对应的表格内下打“√”观察点完全

掌握基本

掌握尚未

掌握理解图片描述生成技术的原理

了解计算机实现图像描述生成的过程对看图说话实验完成的程度

评价反思2.学习反思回顾与反思简要描述知道了什么？

理解了什么？

能够做什么？

完成得怎么样？

还存在什么问题？

如何做得更好？

巩固提升1.实现图像描述生成的步骤有哪些？2.看图说话任务中，加载本地的图片和url图片，两者的区别是什么？3.思考：在本任务中，交换和传入的变量，会出现什么结果？出现这个结果的原因是什么？4.请根据右边的积木程序回答问题：（1）程序运行的结果是什么？（2）图