【ch04】让机器“看清”世界-计算机视觉

《人工智能应用与实践项目式教程》课程教案课题：让机器“看清”世界——计算机视觉教学目的：知识目标：理解目标检测、图像分类和图像识别三类基本计算机视觉任务的原理与典型应用场景。掌握MediaPipe框架在人脸检测、3D网格建模中的核心技术流程。了解模型训练的基本要素，包括数据集划分、超参数设置及常用评估指标（如准确率、F1分数）。能力目标：能够在可视化AI平台中完成从图像/视频输入到结果可视化的完整操作流程。能够配置和执行人脸检测、香蕉分类和手势识别等典型视觉任务，并解读输出结果。能够通过调整参数（如关键点索引、置信度阈值）实现对识别效果的定制与优化。素质目标：认识计算机视觉技术在农业、安防、人机交互等领域的实际价值与社会影响。初步建立AI伦理意识，理解AI技术的应用需要兼顾效率、公平和隐私保护。培养“用AI解决真实问题”的工程思维，体会从数据到智能应用的完整闭环。课型：新授课课时：本章安排8个课时。教学重点：重点：理解目标检测、图像分类和图像识别三类基本计算机视觉任务的原理与典型应用场景。掌握MediaPipe框架在人脸检测、3D网格建模中的核心技术流程。了解模型训练的基本要素，包括数据集划分、超参数设置及常用评估指标（如准确率、F1分数）。教学难点：难点：能够在可视化AI平台中完成从图像/视频输入到结果可视化的完整操作流程。能够配置和执行人脸检测、香蕉分类和手势识别等典型视觉任务，并解读输出结果。能够通过调整参数（如关键点索引、置信度阈值）实现对识别效果的定制与优化。教学过程：教学形式：讲授课，教学组织采用课堂整体讲授和分组演示。教学媒体：采用启发式教学、案例教学等教学方法。教学手段采用多媒体课件、视频等媒体技术。板书设计：本课标题让机器“看清”世界——计算机视觉课次4授课方式理论课□讨论课□习题课□其他□课时安排8学分共2分授课对象普通高等院校学生任课教师教材及参考资料1.《人工智能应用与实践项目式教程》；电子工业出版社。2.本教材配套视频教程及学习检查等资源。3.与本课程相关的其他资源。教学基本内容教学方法及教学手段课程引入你是否想象过，机器能像人类一样“看清”世界？在高校迎新现场，摄像头1秒内完成人脸核验；在香蕉出口基地，AI0.5秒判断果实成熟度；在虚拟现实设备中，你的手势能直接操控虚拟界面——这些神奇场景的背后，都离不开计算机视觉技术的支撑。它就像给机器装上了“智慧之眼”，让设备从被动响应的工具，变成能主动感知、理解环境的智能伙伴。视觉是人类获取信息的主要渠道，而计算机视觉技术的核心，就是让机器具备解析图像、提取关键信息、做出智能判断的能力。从简单的人脸检测到复杂的手势识别，从单一图片的分类到动态视频的分析，这项技术正在重构我们与智能设备的交互方式，也在各行各业掀起效率革命：安防监控中自动识别异常行为，农业生产中精准筛选优质作物，医疗诊断中辅助识别病理特征，工业制造中实时检测产品缺陷……本课程将以项目实践为导向，带大家走进计算机视觉的奇妙世界。我们将从目标检测入手，学习如何用MediaPipe算法精准识别人脸及关键特征点，甚至构建3D面部模型；再深入图像分类技术，亲手训练模型判断香蕉成熟度，掌握数据集拆分、模型训练与评估的完整流程；最后探索图像识别的进阶应用，实现静态手势识别与动态视频手势追踪，体验“所见即所控”的交互快感。通过“海豚人工智能与大数据实验室”平台的实操训练，你将无需深厚的编程基础，就能掌握计算机视觉的核心原理与实践方法。参考以下形式：1.衔接导入2.悬念导入3.情景导入4.激疑导入5.演示导入6.实例导入7.其他形式任务1目标检测在某高校的迎新工作中，学生站在摄像头前就能自动识别人脸并完成身份核验，整个过程不到1秒。这种高效、无接触的体验背后，正是人脸检测技术在发挥作用，它不仅应用于校园门禁，还广泛应用于手机解锁、支付验证、智能监控等领域。🎧任务将介绍进行人脸检测的具体方法。1.应用背景人脸检测是计算机视觉领域的基础任务，广泛应用于安防监控、智能门禁、手机解锁、社交媒体滤镜等场景。然而，传统的人脸检测方法在面对复杂光照、不同角度和有遮挡的情况时存在较大困难，导致识别准确率低、速度慢，无法满足实时应用的需求。随着智能手机和智能设备的普及，人们对人脸检测技术的准确性、速度和便捷性提出了更高的要求。2.AI+行业结合传统的人脸检测系统往往需要复杂的预处理和大量的人工特征设计，而现代AI技术通过深度学习，可以自动从数据中学习特征，大大提高了检测精度和速度。例如，MediaPipe人脸检测算法可以在手机上实时运行，无须专业设备就能准确识别面部位置。3.技术原理想象一下，你有一个“面部地图”，它能告诉你眼睛、鼻子、嘴巴在脸上的位置。人脸检测就像一个智能的地图绘制师，它先扫描整张图片，寻找可能包含人脸的区域，再通过算法确认这些区域是否真的包含人脸，并标记出人脸的边界框。就像我们找朋友时，先大致确定人群范围，再仔细辨认每个人的脸。1.实验平台和数据准备本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台内置的图片文件“t1.png”进行人脸检测。该图片包含三名女性人物，其中两人佩戴口罩，一人未戴；三人面部朝向各异，背景为户外场景，具有一定的复杂性。图片用于测试人脸检测算法在有遮挡、角度变化和真实环境下的识别能力。2.数据预处理在人脸检测任务中，数据预处理相对简单。只需要将图片加载到程序中，确保图片的分辨率和色彩模式适合处理。人脸检测器（MediaPipe）能自动处理常见的图片格式，不需要额外的预处理，这大大简化了操作流程。3.操作步骤3.1读取图片文件（1）打开“人脸检测”界面，在“组件”选区选择“数字图像处理”选项，在打开的下拉列表中用鼠标左键选中“读取图片文件”组件并将其拖曳到画布中。（2）单击“读取图片文件”组件，在打开的“读取图片文件”选区进行参数设置，将“图片路径”设置为“t1.png”，如图4.1.1所示。（3）右键单击“读取图片文件”组件，执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡，查看图片读取结果。成功加载图片“t1.png”，其中包含三张人脸，两人佩戴口罩，一人未戴口罩。图像清晰显示，无失真或错误加载的情况。3.2加载和运行人脸检测器（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸检测器”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸检测器”组件。单击“人脸检测器”组件，在打开的“人脸检测器”选区中进行参数设置。将“最小置信度阈值”设置为“0.5”，“模型选择”设置为“1”，如图4.1.2所示。（2）右键单击“人脸检测器”组件执行运行操作，单击界面下方的“展开”按钮即可查看组件运行结果。（3）预期结果：人脸检测模型已成功加载并初始化，具备执行检测任务的能力；输出为模型对象引用，本身不包含检测结果，待下一步将图片数据输入模型，即可完成人脸检测。3.3可视化人脸检测结果（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸检测识别框”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸检测识别框”组件，以及“人脸检测器”组件和“人脸检测识别框”组件。单击“人脸检测识别框”组件，在打开的“人脸检测识别框”选区进行参数设置。（2）右键单击“人脸检测识别框”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，查看运行结果，如图4.1.3所示。该结果表明人脸检测模型已成功定位并提取面部区域，具备良好的鲁棒性，能够应对口罩遮挡、不同朝向和复杂背景等实际场景挑战。（3）预期效果：图片中的三张人脸均被正确识别，每张人脸周围显示一个白色矩形框（检测框），框内标有多个红色标记点，表示面部关键特征点（如眼睛、鼻尖、嘴角等），通过可视化输出，可以直观评估检测精度与稳定性。3.4加载人脸网格检测器（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸网格检测器”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸网格检测器”组件。单击“人脸网格检测器”组件，在打开的“人脸网格检测器”选区进行参数设置，如图4.1.4所示。（2）右键单击“人脸网格检测器”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡可以查看运行结果。（3）预期结果：成功加载并初始化人脸网格检测模型，具备执行检测任务的能力，该输出为模型对象引用，本身不包含检测结果，待下一步将图片输入该模型，即可完成人脸网格检测。3.5进行人脸网格识别（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸网格识别”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸网格识别”组件。单击“人脸网格识别”组件，在打开的“人脸网格识别”选区进行参数设置，如图4.1.5所示。（2）右键单击“人脸网格识别”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，查看运行结果，如图4.1.5所示。图片中三张人脸均被覆盖上密集的蓝色点阵，形成“人脸地图”，清晰勾勒出面部轮廓和五官位置。这表明已成功构建面部网格模型，可用于进一步的表情识别、姿态估计或虚拟美妆等应用。（3）预期效果：成功对原始图片中检测到的人脸生成高密度面部网格。3.6实现人脸3D可视化（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸3D检测”组件并拖曳到画布中，然后连接“人脸网格识别”组件和“人脸3D检测”组件。单击“人脸3D检测”组件，在打开的“人脸3D检测”选区进行参数设置。将“检测器列”设置为“result_face”，将“选择第N张脸”设置为“1”（表示检测图片中的第一张人脸），将“选择绘制类型”设置为“人脸网格”。（2）右键单击“人脸3D检测”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，查看运行结果，如图4.1.6所示。（3）预期效果：运行完成后，在三维坐标系中可视化第一张人脸的3D模型，红色点表示面部关键点在三维空间中的位置，黑色线条连接相邻点，构成一个具有深度信息的立体面部轮廓。3.7提取人脸3D轮廓（1）再添加一个“人脸3D检测”组件，然后连接“人脸网格识别”组件和“人脸3D检测”组件。单击“人脸3D检测”组件，在打开的“人脸3D检测”选区中进行参数设置。设置“检测器列”为“result_face”，“选择第N张脸”为“1”，“选择绘制类型”为“人脸轮廓”，然后运行。结果如图4.1.7所示。（2）预期效果：运行完成后，在三维坐标系中绘制出第一张人脸的3D轮廓，红色点表示面部关键点，其中位于面部边界区域的点（如下巴、颧骨、额头边缘）被自动筛选并用黑色线条连接，形成一条闭合的立体轮廓线，可用于后续的人脸抠图、背景虚化或虚拟换脸等图像编辑任务。任务2图像分类在东南亚某大型香蕉出口基地，传统的人工分拣方式不仅效率低，还容易因疲劳导致误判。引入AI视觉系统后，摄像头自动拍摄每根香蕉，系统在0.5秒内判断其成熟度（未熟、成熟、过熟、腐烂），分拣准确率达95%以上，极大提升了香蕉出口的品质和经济效益。🎧任务将介绍使用AI判断香蕉成熟度的方法。1.应用背景农产品分拣长期依赖人工经验，存在主观性强、效率低、成本高等问题。尤其在水果流通环节，成熟度直接影响口感、保质期和售价。如何实现快速、客观、低成本的品质分级，是农业智能化面临的普遍挑战。2.AI+行业结合在农产品分拣工作中，传统的方式靠“眼看手摸”，受光线、情绪、经验影响大。而AI分拣系统通过大量标注好的香蕉图片进行学习，能够稳定识别颜色、斑点、纹理等特征，实现全天候、高精度分类。相比人工AI更公平、更高效，且可以无缝接入自动化生产线。3.技术原理AI对香蕉成熟度进行分类的方法如下所述：先给它看成百上千张标好类别的香蕉图片（输入），再通过“神经网络”学习每种成熟度的视觉规律（学习），如“绿色是未熟”“全黑是过熟”，当遇到新图片时，它就能够根据学到的知识判断属于哪一类（输出）。主要包含两个阶段。第一阶段：使用预训练好的“Banana_model”模型对香蕉图片进行成熟度分类预测。第二阶段：重新训练一个模型，并用这个新模型进行分类预测。在训练模型的过程中，就像学生备考一样，需要通过大量的练习题来掌握考试规律。因此，需要准备一批已经标好类别的香蕉图片，并把它们分成以下三组。（1）训练集：像学生的练习册，供模型反复学习并掌握知识（识别目标特征）。（2）验证集：像模拟考试，在训练过程中定期检验模型的学习成果，帮助调整学习方法（参数），防止模型死记硬背（过拟合），确保其能应对新的情况。（3）测试集：像最终大考，在训练全部结束后使用，用于评估模型的真实水平（泛化能力）。在模型训练的过程中，以下几个关键参数会直接影响模型的训练效果。（1）训练轮数：相当于学生复习整本练习册的次数。太少则学艺不精，太多则可能导致过拟合（死记硬背）。（2）批量大小：指学生每次练习时连续做的题目数量。一次做少量题（小批量）有助于及时反思和调整思路；而一次做大量题（大批量）虽然效率高，但是可能不够细致。（3）学习率：表示学生纠正错误时的调整幅度。幅度大（高学习率）进步快但不够精准；幅度小（低学习率）则学得更稳但速度较慢。通过亲手完成数据准备、模型训练及测试，不仅能深刻理解AI是如何“学会看图”的，还能体验构建智能工具的基本流程，这是现代人工智能应用的核心方法。1.实验平台和数据准备本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台自带的图片文件“banana1_unripe.jpg”“banana2_overripe.jpg”和数据集“Banana_Ripeness_Classification_dataset.zip”。其中，“banana1_unripe.jpg”是一张未成熟的香蕉图片，“banana2_overripe.jpg”是一张过熟的香蕉图片，“Banana_Ripeness_Classification_dataset.zip”数据集包含四类香蕉图片：unripe（未熟）、ripe（成熟）、overripe（过熟）、rotten（腐烂）。数据集的详细介绍及类别映射见表4.2.1。2.数据预处理为了提升模型的鲁棒性，对图片文件和数据集需要进行以下预处理操作。（1）收集并整理标注了香蕉成熟度的数据集，涵盖overripe（过熟）、ripe（成熟）、rotten（腐烂）和unripe（未熟）四个类别的香蕉图片。（2）对数据集进行清洗，去除模糊、重复或质量不佳的图片，确保数据集的准确性。3.操作步骤3.1读取图片文件（1）打开“香蕉成熟度图像识别”界面，在“组件”选区选择“数字图像处理”选项，在打开的下拉列表中用鼠标左键选中“读取图片文件”组件，并将其拖曳到画布中。（2）单击“读取图片文件”组件，在打开“读取图片文件”选区进行参数设置，将“图片路径”设置为“banana1_unripe.jpg”。（3）右键单击“读取图片文件”组件，在打开的菜单中选择“运行”命令，完成文件读取操作。单击界面下方的“展开”按钮，打开“结果”选项卡查看读取的图像，如图4.2.1所示。3.2加载本地分类模型（1）在“组件”选区“图像分类”选项下用鼠标左键选中“导入分类模型”组件并拖曳到画布中。单击“导入分类模型”组件，在打开的“读取图片文件”选区中进行参数设置，设置“模型列”为“Banana_model.zip”。（2）右键单击“导入分类模型”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡查看模型导入结果，如图4.2.2所示。该模型基于PyTorch框架训练而成，用于香蕉成熟度分类任务。模型加载完成后，即可用于对图像进行推理预测，为后续的分类分析提供支持。3.3使用预训练模型进行单图片分类（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类模型识别-单图片”组件并拖曳到画布中，然后连接“读取图片文件”组件和“分类模型识别-单片图”组件，以及“分类模型识别-单图片”组件和“导入分类模型”组件。单击“分类模型识别-单图片”组件，在打开的“分类模型识别-单图片”选区中进行参数设置，如图4.2.3所示。（2）右键单击“分类模型识别-单图片”组件执行运行操作。（3）运行结束后，在“结果”选项卡中首先显示模型加载过程的信息，包括设备使用情况（CPU）、模型加载成功等提示。继续向下滚动页面，可以看到对图片banana1_unripe.jpg的分类结果，如图4.2.4所示。图中包括读取的香蕉图片和分类结果。“unripe(1.00)”表示模型将其识别为“未成熟”类别，且分类结果的置信度为100%。3.4使用预训练模型进行多图片分类（1）在“组件”选区“数字图像处理”选项下用鼠标左键选中“读取多张图片”组件，并将其拖曳到画布中。单击“读取多张图片”组件，在打开的“读取多张图片”选区进行参数设置，将“图片路径”设置为“test_banana.zip”。（2）右键单击“读取多张图片”组件，在打开的菜单中选择“运行”命令，完成图片的读取操作。单击界面下方的“展开”按钮查看图片文件读取结果，如图4.2.5所示。（3）在“组件”选区“图像分类”选项下用鼠标左键选中“分类模型识别-多图片”组件并拖曳到画布中，然后连接“读取多张图片”组件和“分类模型识别-多图片”组件，以及“导入分类模型”组件和“分类模型识别-多图片”组件。单击“分类模型识别-多图片”组件，在打开的“分类模型识别-多图片”选区中进行参数设置，如图4.2.6所示。（4）右键单击“分类模型识别-多图片”组件执行运行操作，单击界面下方的”展开”按钮，打开“结果”选项卡向下滑动鼠标查看分类结果。至此，已经使用预训练好的模型完成了对香蕉成熟度的分类。接下来，将使用标注好的数据集重新训练一个模型进行分类预测。3.5加载标注好的数据集（1）在“组件”选区“图像分类”选项下用鼠标左键选中“加载分类数据集”组件并拖曳到画布中。单击“加载分类数据集”组件，在打开的“加载分类数据集”选区中进行参数设置，如图4.2.7所示。（2）右键单击“加载分类数据集”组件执行运行操作。由于数据集文件较大，执行需要一些时间。单击界面下方的“展开”按钮，打开“结果”选项卡可以查看数据集是否加载成功。（3）预期效果：在“结果”选项卡中可看到“['overripe','ripe','rotten','unripe']”输出信息，表明数据集已经成功加载，包含四个香蕉成熟度类别——过熟、成熟、腐烂、未熟。3.6查看数据集中的样本图片（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类图片显示”组件并拖曳到画布中，然后连接“加载分类数据集”组件和“分类图片显示”组件。单击“分类图片显示”组件，在打开的“分类图片显示”选区中进行参数设置，将“分类数据”设置为“classfile”，如图4.2.8所示。（2）右键单击“分类图片显示”组件执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡查看样本统计信息和图像。可以看到从数据集中随机抽取的样本图片，包括黄色带斑点的成熟香蕉、绿色的未熟香蕉、发黑的过熟香蕉及腐烂部位明显的腐烂香蕉各一张，如图4.2.9所示。（3）预期效果：成功搜索并统计了各分类文件夹中的图片数量，overripe类别有2349张，ripe类别有3522张，rotten类别有4020张，unripe类别有1902张。该步骤验证了数据集已成功加载且内容完整，为后续的数据集划分与模型训练提供了可靠的基础。3.7拆分训练集（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类训练集拆分”组件并拖曳到画布中，然后连接“加载分类数据集”组件和“分类训练集拆分”组件。单击“分类训练集拆分”组件，在打开的“分类训练集拆分”选区中进行参数设置，如图4.2.10所示。注：这里将“训练与非训练数据比例”设置为0.8意味着将数据集中80%的图片用于训练，剩下20%的图片在下一步操作中再进行验证集和测试集的拆分。（2）右键单击“分类训练集拆分”组件执行运行操作。单击界面下方的“展开”按钮，分别打开“输出-1”、“输出-2”和“结果”选项卡查看拆分结果。3.8拆分测试集（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类测试集拆分”组件并拖曳到画布中，然后连接“分类训练集拆分”组件的非训练集部分和“分类测试集拆分”组件，如图4.2.11所示。单击“分类测试集拆分”组件，在打开的“分类测试集拆分”选区中进行参数设置，将“非训练数据列”设置为“非训练集”，“验证测试集拆分比例”设置为“0.5”。注：这里将“验证测试集拆分比例”设置为0.5意味着将数据集中50%的图片用于验证，50%的图片用于测试。（2）右键单击“分类测试集拆分”组件执行运行操作。单击界面下方的“展开”按钮，分别打开“输出-1”、“输出-2”和“结果”选项卡可以查看拆分结果。3.9训练分类模型（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类模型训练-加速版”组件并拖曳到画布中，然后连接“分类训练集拆分”组件的训练集部分和“分类模型训练-加速版”组件，以及“分类测试集拆分”组件的测试集部分和“分类模型训练-加速版”组件，如图4.2.12所示。单击“分类模型训练-加速版”组件，在打开的“分类模型训练-加速版”选区中进行参数设置。设置“训练集”为“训练集”，“验证集”为“验证集”，“批量大小”为“10”，“学习率”为“0.01”，“训练周期”为“10”。（2）右键单击“分类模型训练-加速版”组件执行运行操作以启动模型训练。模型训练时长随数据集大小、批量大小、学习率、训练周期等参数的变化而显著变化。待组件运行完毕后，单击界面下方的“展开”按钮，打开“结果”选项卡即可查看模型训练结果。3.10模型评估（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类模型评估-加速版”组件并拖曳到画布中，然后连接“分类模型训练-加速版”组件和“分类模型评估-加速版”组件，以及“分类模型评估-加速版”组件和“分类测试集拆分”组件的验证集部分，如图4.2.13所示。单击“分类模型评估-加速版”组件，在打开的“分类模型评估-加速版”选区中进行参数设置。（2）右键单击“分类模型评估-加速版”组件执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡查看模型训练结果。其中，测试准确率（TestAccuracy）为95.87%，加权精确率（Precision）为95.95%，加权召回率（Recall）为95.87%，加权F1分数为95.89。同时，输出一个4×4的混淆矩阵，详细展示模型在四个类别（未熟、成熟、腐烂、过熟）上的分类情况。例如，绝大多数未熟香蕉被正确识别，仅有少量被误判为成熟；过熟类别几乎无误判。这些指标表明，经过训练的分类模型不仅整体准确率高，而且在各类别上表现均衡，具备良好的实用价值。3.11使用训练的分类模型进行单图片分类（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类模型识别-单图片”组件，然后连接“读取图片文件”组件和“分类模型识别-单图片”组件，以及“分类模型训练-加速版”组件和“分类模型识别-单图片”组件，如图4.2.14所示。单击“分类模型识别-单图片”组件，在打开的“分类模型识别-单图片”选区中进行参数设置。（2）右键单击“分类模型识别-单图片”组件执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡，看到一张香蕉的图片，其上方标注有“unripe(1.00)”，表示模型将该图片识别为“未成熟”类别，且分类结果的置信度为100%。这表明训练的分类模型已具备基本的分类能力，能够准确识别香蕉的成熟状态。3.12使用训练的分类模型进行多图片分类（1）在“组件”选区“图像分类”选项下用鼠标左键选中“分类模型识别-多图片”组件，然后按图4.2.15进行连接。单击“分类模型识别-多图片”组件，在打开的“分类模型识别-多图片”选区中进行参数设置。将“图片文件夹”设置为“output”，“模型列”设置为“model”。（2）右键单击“分类模型识别-多图片”组件执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡查看图片分类结果。（3）在“结果”选项卡中可看到模型对“test_banana.zip”中的多张香蕉图片进行了批量分类，结果以网格形式排列，每张图片上方标注其类别及置信度，所有分类结果均具有高置信度（≥0.92），且与使用预训练模型的分类结果完全一致，表明训练的分类模型也具备了正确识别香蕉成熟度的能力。任务3图像识别2024年2月，苹果公司正式推出其首款空间计算设备——VisionPro。这款融合虚拟现实与增强现实的头戴式设备，最引人注目的亮点之一是——用户无须手柄或遥控器，仅靠手势就能完成几乎所有操作。用户戴上VisionPro后，轻轻用拇指和食指“捏合”一下，眼前的虚拟应用就被“抓起”并移动到新位置；再“张开手掌”，就能退出当前界面。滚动网页、调整音量、打开照片，全部通过自然的手部动作完成。这一切的背后，正是强大的AI手势识别系统在工作。如今，这项技术已应用于远程办公、3D设计、沉浸式娱乐等领域。🎧任务将介绍如何通过AI进行手势识别。1.应用背景传统的人机交互依赖鼠标、键盘或触摸屏，存在需要物理接触、操作受限等问题。然而在医疗、公共设施、虚拟现实等领域，用户往往需要“无接触”操作。如何让机器理解人类自然的手势语言成为提升交互体验的关键挑战。2.AI+行业结合过去，手势控制依赖专用传感器或手套，成本高、不便捷。而AI视觉方案（如MediaPipe）仅通过普通摄像头就能实时捕捉手部动作，不仅降低了技术门槛，还让交互更自然和直观，真正实现了“所见即所控”。3.技术原理手势识别就像AI在“数手指”。先通过一个“手掌检测器”快速定位图像中的手（输入），再用“手部关键点模型”精确找出21个关键位置（如指尖、指关节、手腕），形成一个“手的骨架图”（学习）。最后，根据这些点的相对位置，判断是“OK”“V字”还是“摇滚”手势（输出）。整个过程就像医生通过X光片看骨骼结构一样，AI通过关键点理解手的姿态。如图4.3.1所示是手掌关键点检测示意图。1.实验平台和数据准备本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台自带的静态手势图片和动态手势视频（.mp4格式）作为数据源。图片用于学习关键点定位，视频用于体验实时手势追踪。数据涵盖常见手势，如“比心”“点赞”“握拳”等。2.数据预处理由于手部颜色往往与背景颜色接近且易被遮挡，需要对数据源进行智能处理，通常包括以下步骤。（1）归一化坐标：将关键点位置转换为相对于图像宽高的比例值（0～1之间），以确保对不同尺寸图像识别的一致性。（2）深度信息估计：通过z坐标判断手指离镜头的远近，帮助识别“手掌向前”还是“手背向前”。（3）动态跟踪优化：在视频中，优先“跟踪”已检测的手，仅在丢失时重新检测，提升实时性。3.操作步骤3.1读取图片文件（1）打开“手势识别”界面，在“组件”选区选择“数字图像处理”选项，在打开的下拉列表中用鼠标左键选中“读取图片文件”组件，并将其拖曳到画布中。（2）单击“读取图片文件”组件，在打开的“读取图片文件”选区进行参数设置。设置“图片路径”为“hand.jpg”。（3）右键单击“读取图片文件”组件，在打开的菜单中选择“运行”命令，完成图片文件的读取。单击界面下方的“展开”按钮，打开“结果”选项卡查看读取的图片，如图4.3.2所示。3.2加载手势检测器（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“手势检测器”组件并拖曳到画布中，然后连接“读取图片文件”组件和“手势检测器”组件。单击“手势检测器”组件，在打开的“手势检测器”选区中进行参数设置。设置“文件类型”为“图片”，“检测最大手部数量”为“1”，“置信度阈值”为“0.5”，“追踪阈值”为“0.5”。（2）右键单击“手势检测器”组件执行运行操作，单击界面下方的“展开”按钮，查看运行结果，如图4.3.3所示。3.3进行手势识别（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“手势识别”组件并拖曳到画布中，然后连接“读取图片文件”组件和“手势识别”组件，以及“手势检测器”组件和“手势识别”组件。单击“手势识别”组件，在打开的“手势识别”选区中进行参数设置。设置“原始图像列”为“output_img”，“检测模型列”为“hand_result”。（2）右键单击“手势识别”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，效果如图4.3.4所示。可以看到成功识别出手势，并标注识别结果“HandSign:5”，表示识别出的手势为“五指张开”，对应数字“5”。同时，在手掌上绘制了关键点及连接线，用于表示手指关节位置和姿态，这些关键点是手势判断的基础。3.4手部关键点可视化（1）再添加一个“手势检测器”组件和“手部关键点可视化”组件，然后按图4.3.5进行连接。“手势检测器”组件的参数设置与3.2中的一致。（2）单击“手部关键点可视化”组件，在打开的“手部关键点可视化”选区中进行参数设置。设置“原始图像列”为“output_img”，“检测器列”为“hand_result”。（3）右键单击“手部关键点可视化”组件执行运行操作，单击界面下方的“展开”按钮