人工智能应用与实践项目式教程 课件 ch04 让机器“看清”世界-计算机视觉

让机器“看清”世界——计算机视觉“高职高专系列丛书人工智能应用与实践项目式教程项目401目标检测任务知识01应用背景人脸检测是计算机视觉领域的基础任务，广泛应用于安防监控、智能门禁、手机解锁、社交媒体滤镜等场景。然而，传统的人脸检测方法在面对复杂光照、不同角度和有遮挡的情况时存在较大困难，导致识别准确率低、速度慢，无法满足实时应用的需求。随着智能手机和智能设备的普及，人们对人脸检测技术的准确性、速度和便捷性提出了更高的要求。02AI+行业结合传统的人脸检测系统往往需要复杂的预处理和大量的人工特征设计，而现代AI技术通过深度学习，可以自动从数据中学习特征，大大提高了检测精度和速度。例如，MediaPipe人脸检测算法可以在手机上实时运行，无须专业设备就能准确识别面部位置。03技术原理想象一下，你有一个“面部地图”，它能告诉你眼睛、鼻子、嘴巴在脸上的位置。人脸检测就像一个智能的地图绘制师，它先扫描整张图片，寻找可能包含人脸的区域，再通过算法确认这些区域是否真的包含人脸，并标记出人脸的边界框。就像我们找朋友时，先大致确定人群范围，再仔细辨认每个人的脸。任务实施01实验平台和数据准备本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台内置的图片文件“t1.png”进行人脸检测。该图片包含三名女性人物，其中两人佩戴口罩，一人未戴；三人面部朝向各异，背景为户外场景，具有一定的复杂性。图片用于测试人脸检测算法在有遮挡、角度变化和真实环境下的识别能力。02数据预处理在人脸检测任务中，数据预处理相对简单。只需要将图片加载到程序中，确保图片的分辨率和色彩模式适合处理。人脸检测器（MediaPipe）能自动处理常见的图片格式，不需要额外的预处理，这大大简化了操作流程。任务实施03操作步骤3.1读取图片文件（1）打开“人脸检测”界面，在“组件”选区选择“数字图像处理”选项，在打开的下拉列表中用鼠标左键选中“读取图片文件”组件并将其拖曳到画布中。（2）单击“读取图片文件”组件，在打开的“读取图片文件”选区进行参数设置，将“图片路径”设置为“t1.png”，如图4.1.1所示。（3）右键单击“读取图片文件”组件，执行运行操作。单击界面下方的“展开”按钮，打开“结果”选项卡，查看图片读取结果。成功加载图片“t1.png”，其中包含三张人脸，两人佩戴口罩，一人未戴口罩。图像清晰显示，无失真或错误加载的情况。任务实施03操作步骤3.2加载和运行人脸检测器（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸检测器”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸检测器”组件。单击“人脸检测器”组件，在打开的“人脸检测器”选区中进行参数设置。将“最小置信度阈值”设置为“0.5”，“模型选择”设置为“1”，如图4.1.2所示。（2）右键单击“人脸检测器”组件执行运行操作，单击界面下方的“展开”按钮即可查看组件运行结果。（3）预期结果：人脸检测模型已成功加载并初始化，具备执行检测任务的能力；输出为模型对象引用，本身不包含检测结果，待下一步将图片数据输入模型，即可完成人脸检测。任务实施03操作步骤3.3可视化人脸检测结果（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸检测识别框”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸检测识别框”组件，以及“人脸检测器”组件和“人脸检测识别框”组件。单击“人脸检测识别框”组件，在打开的“人脸检测识别框”选区进行参数设置。（2）右键单击“人脸检测识别框”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，查看运行结果，如图4.1.3所示。该结果表明人脸检测模型已成功定位并提取面部区域，具备良好的鲁棒性，能够应对口罩遮挡、不同朝向和复杂背景等实际场景挑战。（3）预期效果：图片中的三张人脸均被正确识别，每张人脸周围显示一个白色矩形框（检测框），框内标有多个红色标记点，表示面部关键特征点（如眼睛、鼻尖、嘴角等），通过可视化输出，可以直观评估检测精度与稳定性。任务实施03操作步骤3.4加载人脸网格检测器（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸网格检测器”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸网格检测器”组件。单击“人脸网格检测器”组件，在打开的“人脸网格检测器”选区进行参数设置，如图4.1.4所示。（2）右键单击“人脸网格检测器”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡可以查看运行结果。（3）预期结果：成功加载并初始化人脸网格检测模型，具备执行检测任务的能力，该输出为模型对象引用，本身不包含检测结果，待下一步将图片输入该模型，即可完成人脸网格检测。任务实施03操作步骤3.5进行人脸网格识别（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸网格识别”组件并将其拖曳到画布中，然后连接“读取图片文件”组件和“人脸网格识别”组件。单击“人脸网格识别”组件，在打开的“人脸网格识别”选区进行参数设置，如图4.1.5所示。（2）右键单击“人脸网格识别”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，查看运行结果，如图4.1.5所示。图片中三张人脸均被覆盖上密集的蓝色点阵，形成“人脸地图”，清晰勾勒出面部轮廓和五官位置。这表明已成功构建面部网格模型，可用于进一步的表情识别、姿态估计或虚拟美妆等应用。（3）预期效果：成功对原始图片中检测到的人脸生成高密度面部网格。任务实施03操作步骤3.6实现人脸3D可视化（1）在“组件”选区“人体姿态识别”选项下用鼠标左键选中“人脸3D检测”组件并拖曳到画布中，然后连接“人脸网格识别”组件和“人脸3D检测”组件。单击“人脸3D检测”组件，在打开的“人脸3D检测”选区进行参数设置。将“检测器列”设置为“result_face”，将“选择第N张脸”设置为“1”（表示检测图片中的第一张人脸），将“选择绘制类型”设置为“人脸网格”。（2）右键单击“人脸3D检测”组件执行运行操作，单击界面下方的“展开”按钮，打开“结果”选项卡，查看运行结果，如图4.1.6所示。（3）预期效果：运行完成后，在三维坐标系中可视化第一张人脸的3D模型，红色点表示面部关键点在三维空间中的位置，黑色线条连接相邻点，构成一个具有深度信息的立体面部轮廓。任务实施03操作步骤3.6实现人脸3D可视化任务实施03操作步骤3.7提取人脸3D轮廓（1）再添加一个“人脸3D检测”组件，然后连接“人脸网格识别”组件和“人脸3D检测”组件。单击“人脸3D检测”组件，在打开的“人脸3D检测”选区中进行参数设置。设置“检测器列”为“result_face”，“选择第N张脸”为“1”，“选择绘制类型”为“人脸轮廓”，然后运行。结果如图4.1.7所示。（2）预期效果：运行完成后，在三维坐标系中绘制出第一张人脸的3D轮廓，红色点表示面部关键点，其中位于面部边界区域的点（如下巴、颧骨、额头边缘）被自动筛选并用黑色线条连接，形成一条闭合的立体轮廓线，可用于后续的人脸抠图、背景虚化或虚拟换脸等图像编辑任务。02图像分类任务知识01应用背景农产品分拣长期依赖人工经验，存在主观性强、效率低、成本高等问题。尤其在水果流通环节，成熟度直接影响口感、保质期和售价。如何实现快速、客观、低成本的品质分级，是农业智能化面临的普遍挑战。02AI+行业结合在农产品分拣工作中，传统的方式靠“眼看手摸”，受光线、情绪、经验影响大。而AI分拣系统通过大量标注好的香蕉图片进行学习，能够稳定识别颜色、斑点、纹理等特征，实现全天候、高精度分类。相比人工AI更公平、更高效，且可以无缝接入自动化生产线。任务知识03技术原理AI对香蕉成熟度进行分类的方法如下所述：先给它看成百上千张标好类别的香蕉图片（输入），再通过“神经网络”学习每种成熟度的视觉规律（学习），如“绿色是未熟”“全黑是过熟”，当遇到新图片时，它就能够根据学到的知识判断属于哪一类（输出）。主要包含两个阶段。第一阶段：使用预训练好的“Banana_model”模型对香蕉图片进行成熟度分类预测。第二阶段：重新训练一个模型，并用这个新模型进行分类预测。任务实施01实验平台和数据准备本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台自带的图片文件“banana1_unripe.jpg”“banana2_overripe.jpg”和数据集“Banana_Ripeness_Classification_dataset.zip”。其中，“banana1_unripe.jpg”是一张未成熟的香蕉图片，“banana2_overripe.jpg”是一张过熟的香蕉图片，“Banana_Ripeness_Classification_dataset.zip”数据集包含四类香蕉图片：unripe（未熟）、ripe（成熟）、overripe（过熟）、rotten（腐烂）。数据集的详细介绍及类别映射见表4.2.1。任务实施02数据预处理为了提升模型的鲁棒性，对图片文件和数据集需要进行以下预处理操作。(1)(2)收集并整理标注了香蕉成熟度的数据集，涵盖overripe（过熟）、ripe（成熟）、rotten（腐烂）和unripe（未熟）四个类别的香蕉图片。对数据集进行清洗，去除模糊、重复或质量不佳的图片，确保数据集的准确性。任务实施03操作步骤3.1读取图片文件3.3使用预训练模型进行单图片分类3.2加载本地分类模型3.4使用预训练模型进行多图片分类任务实施03操作步骤3.5加载标注好的数据集3.7拆分训练集3.6查看数据集中的样本图片3.8拆分测试集任务实施03操作步骤3.9训练分类模型3.11使用训练的分类模型进行单图片分类3.10模型评估3.12使用训练的分类模型进行多图片分类03图像识别任务知识01应用背景传统的人机交互依赖鼠标、键盘或触摸屏，存在需要物理接触、操作受限等问题。然而在医疗、公共设施、虚拟现实等领域，用户往往需要“无接触”操作。如何让机器理解人类自然的手势语言成为提升交互体验的关键挑战。02AI+行业结合过去，手势控制依赖专用传感器或手套，成本高、不便捷。而AI视觉方案（如MediaPipe）仅通过普通摄像头就能实时捕捉手部动作，不仅降低了技术门槛，还让交互更自然和直观，真正实现了“所见即所控”。任务知识03技术原理手势识别就像AI在“数手指”。先通过一个“手掌检测器”快速定位图像中的手（输入），再用“手部关键点模型”精确找出21个关键位置（如指尖、指关节、手腕），形成一个“手的骨架图”（学习）。最后，根据这些点的相对位置，判断是“OK”“V字”还是“摇滚”手势（输出）。整个过程就像医生通过X光片看骨骼结构一样，AI通过关键点理解手的姿态。如图4.3.1所示是手掌关键点检测示意图。任务实施01实验平台和数据准备02数据预处理本任务基于“海豚人工智能与大数据实验室”平台开展，使用平台自带的静态手势图片和动态手势视频（.mp4格式）作为数据源。图片用于学习关键点定位，视频用于体验实时手势追踪。数据涵盖常见手势，如“比心”“点赞”“握拳”等。由于手部颜色往往与背景颜色接近且易被遮挡，需要对数据源进行智能处理，通常包括以下步骤。（1）归一化坐标：将关键点位置转换为相对于图像宽高的比例值（0～1之间），以确保对不同尺寸图像识别的