机器人基础与实践 课件 第7章 机器人环境识别理论与实践

机器人环境识别理论与实践机器人环境识别的技术发展010203机器人环境识别理论障碍物识别理论0405目标识别实践案例障碍物识别实践案例机器人环境识别的技术发展PART017.1机器人环境识别的技术发展7.1.1应用场景在机器人的各类工程应用中，物体识别至关重要。在加工时需识别零件图纸装配时要识别工件形状搬运时要识别被搬运物体水果采摘时要识别树枝、树干与水果活动环境中要识别障碍物及所在环境7.1.2发展历程20世纪60年代初期：MIT首次尝试构建场景物体智能识别与分类系统，但未能达成预期目标。物体识别的核心困难：物体外观受背景、光照与视角变化影响显著；同一物体的不同形态可能导致视觉表征不同，挑战识别系统的稳定性。20世纪70年代初至90年代：主流思路--将识别问题转化为三维建模与匹配。思路直观，但存在根本性局限：许多物体难以用简单几何形状描述；同类物体形态千变万化，无法为每一姿态预先建模；从真实图像中精准提取几何结构是巨大难题。7.1机器人环境识别的技术发展7.1.2发展历程20世纪90年代：研究重点回归二维图像本身出现了基于外观的技术。方法依赖手工特征进行模式识别。对图像对齐要求高；难以应对遮挡和复杂背景，鲁棒性不足。本世纪以来：物体识别技术迎来了突破一方面，更好的手工特征与机器学习算法相结合，提升了识别能力。另一方面，深度学习的兴起带来了根本性变革。卷积神经网络能自动学习特征，性能远超传统方法;3D传感硬件的普及为融合深度信息提供新途径，推动识别技术走向成熟和广泛应用。机器人环境识别理论PART027.2机器人环境识别理论7.2.1传统方法1、维奥拉-琼斯检测器（VJ）维奥拉-琼斯人脸检测器于2001年提出；首次实现无约束条件下实时人脸检测；通过滑动窗口检测图像中的所有可能位置和比例；结合积分图像、特征选择和检测级联三大技术，大幅提升检测速度。积分图像：加速了卷积计算，使得每个窗口的计算复杂度与窗口大小无关；特征选择：采用Adaboost算法，从大规模特征池中选取有效特征；检测级联：则通过多级分类器逐步剔除背景窗口，减少计算负担。7.2机器人环境识别理论7.2.1传统方法1、维奥拉-琼斯检测器（VJ）优点：

结合了“积分图像”、“特征选择”和“检测级联”等技术，提高了检测速度。缺点：Haar-like特征是一种相对简单的特征，其稳定性较低；弱分类器采用简单的决策树，容易过拟合；对于正面人脸效果好，对于遮挡、姿态、表情等特殊且复杂的情况，处理效果不理想；基于VJ-cascade的分类器设计，进入下一个stage后，之前的信息丢弃，鲁棒性差。7.2机器人环境识别理论7.2.1传统方法2.方向梯度直方图检测器（HOG）

方向梯度直方图（HOG）：一种用于物体检测的特征描述方法核心假设是局部区域的梯度方向分布能有效表征目标的形貌。方法： 将图像划分为小的细胞单元，计算并统计各单元内像素的梯度方向直方图； 相邻细胞单元组合为块，通过块内直方图密度进行对比度归一化，以增强鲁棒性； 将所有归一化后的块特征串联，形成完整的HOG特征描述符。7.2机器人环境识别理论7.2.1传统方法优点：是边缘（梯度）的结构特征，因此可以描述局部的形状信息；位置和方向空间的量化一定程度上可以抑制平移和旋转带来的影响；采取在局部区域归一化直方图，可以部分抵消光照变化带来的影响；忽略了光照颜色对图像造成的影响，使得图像所需要的表征数据的维度降低了；图像局部像素点之间的关系可以很好得到表征。缺点： 描述子生成过程复杂且耗时，导致速度慢，实时性差； 难以处理遮挡问题。由于梯度的性质，该描述子对噪点相当敏感。2.方向梯度直方图检测器（HOG）7.2机器人环境识别理论7.2.1传统方法于2008年提出，采用改进的HOG特征、SVM分类器及滑动窗口技术实现物体检测。特点：①通过计算梯度方向直方图获取图像特征，并利用SVM训练目标模型进行分类；②引入多组件策略和基于图结构的部件模型策略，以增强对不同视角和形态变化的适应性；③引入潜变量概念，采用样本类别和部件位置等，多示例学习，提升模型灵活性与准确性。3.形变识别（DeformablePart-basedModel,DPM）7.2机器人环境识别理论7.2.1传统方法优点：是一种基于组件的检测算法；对扭曲、形变、多姿态、多角度等目标检测效果好；目标形变不大，可近似为刚体，DPM可很好地处理目标检测。缺点：模型过于复杂，判断时计算复杂，很难满足实时性要求；后续有改进，如级联分类器、采用积分图方法等，效率有限；工程中很少使用，一般采用AdaBoost框架的算法。3.形变识别（DeformablePart-basedModel,DPM）7.2机器人环境识别理论7.2.2深度学习方法目标检测算法主要分为两类：R-CNN系列为“两阶段”方法先生成候选框再分类回归，精度高但速度慢。YOLO、SSD为“单阶段”方法通过CNN预测类别与位置，速度快但精度相对较低。目标检测算法进展与对比7.2机器人环境识别理论1.R-CNN：Region-basedConvolutionalNeuralNetwork（R-CNN）首个成功将深度学习应用于目标检测的算法，为后续FastR-CNN、FasterR-CNN及MaskR-CNN奠定了基础。遵循传统的目标检测流程，即提取框、特征提取、分类和非极大值抑制。用候选框代替滑动窗口法，用深度卷积网络代替传统特征（如SIFT、HOG），显著提升性能。具体改进包括：

①预先提取可能是物体的候选框，大幅减少计算量；

②利用深度卷积网络的强大特征提取能力，提高识别精度。基于候选框的深度学习目标检测算法7.2机器人环境识别理论1.R-CNN：优点： 与传统方法区别不大，得益于CNN特征提取能力，效果比传统方法好很多;

在VOC2007数据集上，R-CNN比传统方法平均精确度达到了18.5%。缺点： 计算量大；

R-CNN流程较多，包括候选框选取，训练卷积神经网络，训练SVM和训练回归量； 大部分都有重叠； 训练时间非常长（84小时），占用磁盘空间也大。基于候选框的深度学习目标检测算法7.2机器人环境识别理论2.SPP-NET：针对传统神经网络需固定输入尺寸的限制进行了改进。核心思想:

通过空间金字塔池化层（SPPlayer）处理任意大小的图像，从而提取整张图像的特征图;

从中获取各候选框的特征，避免信息丢失与失真。优点：解决了R-CNN区域提取框时裁剪/变形带来的偏差问题；提出了SPP层，使得输入的候选框可大可小；R-CNN要对每个区域计算卷积，SPP-Net只需要计算一次，效率比R-CNN高得多。缺点：是在R-CNN的基础上进行改进；虽然提高了识别速度，但识别精度并没有提升。基于候选框的深度学习目标检测算法7.2机器人环境识别理论3.FastR-CNN：FastR-CNN的流程图如下图所示：网络的输入是原始图片和候选框，输出是分类类别和边框回归值。对于原始图片中候选框区域，映射到卷积特征的对应区域，输入到RoI池化层，得到特征图；将特征图经两个全连接层得到RoI特征，再将特征经过全连接层。使用softmax进行分类，使用回归得到边框回归。CNN的主体结构可来自AlexNet，也可来自VGGNet。基于候选框的深度学习目标检测算法7.2机器人环境识别理论3.FastR-CNN：优点： 全面改进了SPP-Net和R-CNN算法两个算法。 减少了训练步骤，也不需将特征保存在磁盘上。训练速度比R-CNN快了将近9倍，比SPP-Net快大约3倍；测试速度比R-CNN快了213倍，比SPP-Net快了10倍；在VOC2012数据集上的mAP约为66%。缺点： 在训练时依然无法做到端到端的训练； 仍需一些繁琐的步骤。 存在一个尴尬的问题：需要先使用SelectiveSearch提取候选框，方法比较慢。基于候选框的深度学习目标检测算法7.2机器人环境识别理论4.FasterR-CNN如图7-3所示，是基于FastR-CNN的改进。 目标检测四个基本步骤（候选框生成、特征提取、分类、位置精修）统一到一个深度网络，所有计算没有重复，完全在GPU中完成，大大提高了运行速度。可以简单地看作“区域生成网络（RPN）+FastR-CNN”系统，用区域生成网络代替FastR-CNN中的SelectiveSearch方法。基于候选框的深度学习目标检测算法7.2机器人环境识别理论4.FasterR-CNN第一步：向CNN网络输入任意大小的图片M×N；第二步：经过CNN网络前向传播至最后共享的卷积层， 得到供RPN网络输入的特征图， 继续前向传播至特有卷积层，产生更高维特征图；第三步：供RPN网络输入的特征图经过RPN网络得到区域建议和区域得分， 对区域得分采用非极大值抑制（阈值为0.7）， 输出其Top-N得分的区域建议给RoI池化层；第四步：第二步得到高维特征图和第三步输出区域同时输入RoI池化层， 提取对应区域建议的特征；第五步：区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的bbox。基于候选框的深度学习目标检测算法7.2机器人环境识别理论5.MaskR-CNN在FasterR-CNN基础上，在分类和坐标回归两个分支上增加了一个分支进行语义分割。如图所示：第一步：输入图片，进行预处理操作；第二步：输入到预训练好的神经网络,获取特征图；第三步：对这个特征图中的每一点设置预定的RoI，从而获得多个候选RoI；第四步：将候选RoI送入RPN网络 进行二值分类（前景或背景）和边界框（BB）回归， 过滤掉部分候选RoI；第五步：对剩下RoI进行特征图和固定的特征对应；第六步：对这些RoI进行分类（N类别分类）、BB回归和MASK生成。基于候选框的深度学习目标检测算法7.2机器人环境识别理论5.MaskR-CNN优点：分析了RoIPool的不足，提升了RoIAlign，提升了检测和实例分割的效果；将实例分割分解为分类和mask生成两个分支，依赖分类标签来选择输出对应mask；利用BinaryLoss，消除了不同类别的mask之间的竞争，生成了准确的二值mask；进行分类和mask生成任务，对模型进行了加速。缺点：比FasterR-CNN速度慢一些，达到了5fps。基于候选框的深度学习目标检测算法7.2机器人环境识别理论1.YOLO算法基于回归方法的深度学习目标检测算法1）YOLO算法的基本原理全称是YouOnlyLookOnce:Unified,Real-TimeObjectDetection，特点包括：只需要一次CNN运算；Unified是一个统一的框架，提供端到端的预测；Real-Time体现了YOLO算法速度快。7.2机器人环境识别理论1.YOLO算法基于回归方法的深度学习目标检测算法1）YOLO算法的基本原理全称是YouOnlyLookOnce:Unified,Real-TimeObjectDetection，特点包括：只需要一次CNN运算；Unified是一个统一的框架，提供端到端的预测；Real-Time体现了YOLO算法速度快。7.2机器人环境识别理论1.YOLO算法基于回归方法的深度学习目标检测算法2）优缺点分析优点：将目标检测转换成回归问题，加快了检测的速度，每秒处理45张图像；每个网络预测目标窗口时使用的是全图信息，使得误检测率大幅降低；采用全图信息进行预测，将背景预测错误率降低一半；可学习到目标的概括信息，准确率比其他目标检测算法高很多。缺点：对小目标和相互靠近的物体检测效果不佳；只能预测一个物体，容易造成漏检；对物体的尺度相对比较敏感；泛化能力较差，尤其是面对尺度变化较大的物体时。7.2机器人环境识别理论基于回归方法的深度学习目标检测算法YOLOv7的架构设计

分为四个核心部分：Input、Backbone、Head和Detect；

优化了特征提取与处理流程，提升了检测速度与准确性。①Input接收分辨率为640×640×3图像，有助于捕捉更多细节，提高检测精度。②Backbone为模型核心。

由CBS（卷积、批标准化、激活函数组合）、ELAN（高效层次化注意力网络结构）及MP-1（最

大池化层）组成，共同提取强大且有效的特征表示。③Head进一步处理特征，准备最终物体检测。

包含CBS、SPPCSPC（空间金字塔池化串联跨阶层连接结构）、E-ELAN（ELAN变体）、MP-2

（第二种最大池化层）和RepConv（重复卷积层）；

提高了特征利用效率。④Detect有三个检测头，在不同尺度上进行物体定位与分类，确保精确检测各种大小目标。

每个检测分支使用一系列卷积层进一步提取特征；

通过输出层预测边界框的位置与尺寸、类别概率分数及物体存在置信度。7.2机器人环境识别理论基于回归方法的深度学习目标检测算法7.2机器人环境识别理论2.SSD算法基于回归方法的深度学习目标检测算法SSD（SingleShotMultiBoxDetector）结合FasterR-CNN与YOLO优点，同时提升mAP和实时性。核心原理包括：①采用回归从不同特征图 生成一系列离散化的boundingboxes； 计算每个defaultbox属于各个类别的得分； 省去了候选框生成、像素重采样或特征重采样的步骤，简化了流程并提高了训练效率。②引入anchorbox机制 对boundingboxes的形状微调以； 更好匹配物体外接矩形，增强定位精度。③结合多分辨率特征图的预测结果处理不同尺寸的物体，在各种尺度下实现精准检测 改进使得SSD不仅易于优化训练，还能更便捷地集成到现有系统中； 克服YOLO在不足。7.2机器人环境识别理论2.SSD算法基于回归方法的深度学习目标检测算法优点：速度超过YOLO，精度超过FasterR-CNN。缺点：需人工设defaultboxes初始尺度和长宽比。

defaultboxes的基础大小和形状不能直接通过学习获得； 每层feature的defaultbox大小和形状都不一样； 调试过程非常依赖经验。

对小尺寸的目标识别较差，达不到FasterR-CNN水准。

SSD使用conv4_3低级feature去检测小目标； 低级特征卷积层数少，存在特征提取不充分的问题。障碍物识别理论PART03在机器人运行环境中：障碍物识别最重要的是确定环境是否是静态的，这样唯一移动的就是机器人；当该假设不正确时，移动物体可能在环境模型中被涂抹，并且可能发生假阳性和假阴性识别；碰撞也可能仅仅因为没有正确预测移动障碍物的运动而发生。7.3障碍物识别理论涉及多种方法和技术。偏离期望：基于对环境的假设，通过检测与预期模型的偏差识别障碍物；地板上方的任何物质都被视为障碍信号。占用/存在：假设空旷环境，利用传感器返回信息预测重叠区域作为体积交叉或碰撞指示；适用于分辨能力较差的传感器如声呐和雷达；常使用二维或三维网格结合贝叶斯技术累积证据。7.3.1障碍证据7.2机器人环境识别理论颜色/组成：利用颜色和纹理区分障碍物，例如高尔夫球场上的割草机器人将非草色像素视为障碍物，这种方法依赖于训练分类器来区分不同类别。密度累积：通过激光测距仪跟踪光束穿透情况，在3D网格中估算面积密度，有助于识别薄障碍物。斜率：作为表面属性，可以通过拟合平面到范围数据中估计；用最小二乘法求解平面方程参数以确定其斜率。形状：影响车轮能否顺利通过障碍物，不同形状的障碍物可能成为斜坡或导致车轮卡住。类：根据对象归类于特定环境中，如森林中的水平圆柱形物体可能是倒下的树木，这类信息帮助识别障碍物。从多角度提供了有效的障碍物检测手段，提高了机器人在复杂环境中的自主导航能力。7.3.1障碍证据7.2机器人环境识别理论常用障碍物去遮挡方法主要采用语义分割技术。对图像中的每个像素进行语义级别的分类和标记，将图像中的障碍物准确地分割出来。目前语义分割模型大多采用以下三种结构：7.3.2障碍物去遮挡方法7.2机器人环境识别理论提出轻量化的语义分割网络BUNetBUNet由U型细节分支和U型语义分支组成： 由简化注意力融合模块进行融合输出

BUNet使用了较少的网络层数和通道数，对实时语义分割任务非常有利。7.3.2障碍物去遮挡方法BUNet的整体结构如图所示:7.2机器人环境识别理论浅层网络只能提取较基础的特征信息，如边缘和颜色等。深层卷积层才可以提取更复杂的信息（如形状和模式）。UDB网络层数较浅但通道数较多 旨在提取多样化的特征类型和更丰富的低级别空间信息。USB通道数少但网络层数较深 用来提取高级别的语义信息； 还构建了基于聚合-扩展层的轻量级编码器-解码器结构； 以减少参数，不会丢失过多的特征信息。在特征融合模块方面，提出简化注意力融合模块以有效融合精细的空间信息和准确的语义信息，从而获得最终的预测图。7.3.2障碍物去遮挡方法目标识别实践案例PART041.滑动窗口与CNN滑动窗口目标检测算法思路非常简单：将检测问题转化为图像分类问题。基本原理： 采用不同大小和比例的窗口在整张图片上以一定的步长进行滑动； 对这些窗口对应的区域做图像分类，这样就可以实现对整张图片的检测。7.4.1水果目标识别实践7.4目标识别实践案例R-CNN引入selectivesearch技术：筛选出最有可能包含目标的候选框，显著减少了需分类的子区域数量，提升了效率。利用卷积神经网络（CNN）的特性： 以替代传统的滑动窗口策略，在保留空间位置信息的同时大幅减少了计算负担； 仍受限于固定大小和步长的窗口。YOLO算法在此基础上进行了创新： 将原始图片分割成互不重合的小方块，并通过卷积生成相应大小的特征图； 每个特征图元素对应原图中的一个小方块，用于预测中心点位于该小方格内的目标； 不仅解决了多尺度窗口的问题，还极大地提高了检测速度和效率。7.4目标识别实践案例7.4.1水果目标识别实践2.设计理念采用一个单独的CNN模型实现end-to-end的目标检测，整个系统如图7-15所示;

将输入图片缩放到448×448，送入CNN网络，由处理网络预测结果得到检测目标。 它是一个统一的框架，其速度更快，训练过程也是end-to-end的。YOLO的CNN网络将输入图片分割成S×S网格每个单元格负责检测那些中心点落在该格子内目标。每个单元格会预测B个边界框以及边界框的置信度： 置信度包含两方面： 一是这个边界框含有目标的可能性； 二是这个边界框的准确度。 前者记为Pr(object)，当该边界框是背景、不包含目标时，Pr(object)=0； 当该边界框包含目标时，Pr(object)=1； 边界框的准确度可以用预测框与实际框的IOU来表征。7.4目标识别实践案例1.数据集制作（1）用Realsense相机在实验室拍摄的不同角度、不同时间段的苹果照片，共计500张；7.4.2识别环境构建实践（2）创建LabelMe环境。打开终端执行：condacreate-nlabelmepython=3.7。（3）激活LabelMe环境，下载相关依赖包，如pyqt软件包（终端执行命令：condainstallpyqt）。下载并安装LabelMe，终端执行命令。（4）进入LabelMe，对数据集照片进行标注，标注效果图可见下图。标注过程将生成.json文件，用于描述图像及图中目标物体属性，如图像名称、图像大小、目标物体类别和编号、坐标信息等。7.4目标识别实践案例2.模型训练本书在YOLOV7源码的基础上进行实现，读者可以自行通过YOLOV7官网进行源码下载，基于源码进行改进。此处将展示使用YOLOV7训练自己的数据集，具体实现包括以下步骤。（1）安装相应软件包。根据工程的安装说明，新建虚拟环境，并激活虚拟环境，安装requirements目录下的依赖库。终端执行命令：pipinstall-rrequirements.txt-i。（2）使用本文提供的YOLOv7目录下的Toyolo.py文件，如图7-18所示，将.json文件转换为.txt文件。依据照片格式，根据自定义的图像数据格式将代码改为.jpg格式转换或者.png格式转换。

右击Toyolo.py（本书配套提供的脚本文件），点击修改运行配置，填写要转换的照片及.json文件的路径和输出的文件路径，读者可根据自定义路径进行灵活设置。数据集转化之后得到的文件目录结构如图所示：7.4目标识别实践案例7.4.2识别环境构建实践由于这是参考YOLOv5转化的数据格式，需要将其转换为YOLOv7的训练格式，可手动改变文件格式，如图所示：进入voc.yaml文件，修改train和val为正确路径，将nc改为1，name改为apple，如图所示：进入voc.yaml文件，修改train和val为正确路径，将nc改为1，name改为apple，如图所示：进入train.py文件，修改weights路径，添加yolov7.yaml文件路径，根据需求设置迭代次数，根据照片大小设置imagesizes。7.4目标识别实践案例7.4.2识别环境构建实践运行train.py，得到训练结果，结果保存在exp文件。3.模型测试-目标检测进入detect.py文件，添加预训练模型路径，添加需要识别的图像的路径，如果为default为0，则代表运用电脑摄像头动态识别。运行detect.py文件，可成功识别文件夹中的图像目标，识别结果如图所示。7.4目标识别实践案例编写代码将Realsense的应用接口与detect.py脚本的输入端连接，通过Realsense实时获取视频流。视频流由多帧图像组成，YOLOv7模型可实现每秒检测30帧以上的图像，因此将Realsense摄像机的FPS设置为30，也足够满足实际应用。生成的脚本文件命名为detect_rs.py。4.目标物体三维位置识别结合实际的苹果采摘应用，完成苹果识别之后，需要对其位置信息进行计算。根据锚定框识别的结果，得到苹果在二维图像中的位置信息，进而得到苹果在相机坐标系下的信息。根据相机内参数，得到苹果相对于相机原点在世界坐标系下的空间位置信息。最后结合RGB-D相机（Realsense）得出苹果的深度信息，由此获取到苹果在三维空间中的位置。7.4目标识别实践案例本节将基于前述内容重点介绍自主进行目标识别实践的方法和步骤，结合神经网络结构和源码内容进行介绍。仿真软件界面如图所示。该软件将实验室轮式仿人机器人相关功能进行集成，包含五大模块：机器人舵机信息监测、机器人仿真系统、机器人控制系统、机器人感知系统和自定义算法编程模块。7.4目标识别实践案例7.4.3水果识别参数级训练首先需要选择“机器人感知系统”，此模块包括了目标识别和三维重建，在进行目标识别仿真实验时，需要先上传图片，点击“上传图片”，从将需要进行识别的图片上传，上传结果如下图所示。7.4目标识别实践案例7.4.3水果识别参数级训练上传后我们对其进行识别，点击“目标识别”，将在上传图像的侧显示出识别结果，如上图所示。本节将根据算法框架和源码构成进行详细介绍，介绍算法理论与源码的对应关系以及如何自主设计和修改算法。1.算法理论与源码对应关系回顾前述介绍的YOLOv7整体算法框架，结合源码部分对下图核心组成模块进行介绍。本节将介绍各个模块，包括：ELAN、E-ELAN、MP、SPPCSPC和RepConv。（1）介绍ELAN模块。7.4目标识别实践案例7.4.3水果识别参数级训练ELAN模块的结构示意图和与之对应的源码卷积配置

RepConv，左侧展示结构图，右侧是该模块对应的python源码。7.4目标识别实践案例7.4.3水果识别参数级训练SPPCSPC，左侧展示结构图，右侧是该模块对应的python源码。

2.自主设计算法模块示例此处我们将展示如何自主设计算法模块，以ELAN和E-ELAN模块改进为例，对两个模块进行轻量化改进，使整个网络计算量更小，分别命名为Sim-ELAN和Sim-E-ELAN。此处仅仅给出模块自主改进示例，具体的性能提升需要进一步实验验证，需对比Map等指标。首先是对ELAN的改进，ELAN原始结构可见于图7-29，改进后的Sim-ELAN结构图见图（左侧显示），右侧为Sim-ELAN对应的python源码卷积配置。7.4目标识别实践案例7.4.3水果识别参数级训练其次将对E-ELAN进行改进，E-ELAN原始结构可见于图7-30，改进后的Sim-E-ELAN结构图（左侧显示），右侧为Sim-E-ELAN对应的python源码配置展示。7.4目标识别实践案例7.4.3水果识别参数级训练本节介绍的网络自主化设计部分仅仅是对网络的模型参数和计算量进行了调整，在实际应用中还可以结合其他改进策略（如注意力机制、深度可分离卷积、残差连接等手段）对神经网络进行相关性能提升的实验验证。本节展示了如何根据网络结构进行代码实践的过程，其他模块（MP、SPPCSPC和RepConv）的设计和改进可以参照本节的Sim-ELAN和Sim-E-ELAN实现方法进行相关实践。障碍物识别实践案例PART057.5.1构建枝干语义分割数据集实践7.5障碍物识别实践案例在中国陕西省北部的苹果园共采集了1443幅图像，分辨率为1280×720，并保存为JPEG格式。数据集中的1154张图片用作训练集，其余289张用作测试集。图像拍摄时间为2022年4月至6月，上午9:00至下午6:00。为了更好地贴近实际采摘场景，对200多棵苹果树进行了随机角度拍摄，每棵树拍摄不超过5张图片。为了更好地适应采摘机器人的工作范围，拍摄距离保持在0.5米至1.5米之间。苹果树高在2至2.5米之间，行距约为4米（果园总体环境如图所示）。在实际果园场景中，采摘机器人必须面对光照变化和采摘角度变化等复杂情况。因此，分别在晴天和阴天的不同时刻采集数据。摄像机的拍摄方向随机，包括但