【《无人机小目标检测数据集的构建案例分析》4900字（论文）】

-[18]的同时，会通过添加验证步骤来进行进一步的质量控制。完整的工作流通常如下，如图3-7所示：图3-7边界框注释工作流1.第一位工作人员按照标注规范，给图像上的对象实例绘制边界框；2.由第二位工作人员检查边界框是否正确绘制，进行首次质量验证；1.再由第三位工作人员检查是否所有对象实例都有边界框，进行完备性检验。4.确认无误，生成最终的数据集。在大规模公开数据集的制作过程中，为了节省人力成本及相应开支，验证环节通常会被发布至在线平台上，由来自世界各地的用户共同完成，如ILSVRC数据集通过在线平台AMT（AmazonMechanicalTurk，亚马逊土耳其机器人）为用户发布任务并提供赏金，来协助完成数据集的制作。1.3自建无人机小目标检测数据集由于本选题依附于实际项目，所有数据均来源于公司提供的实拍视频，故需要利用原始视频自制可用的无人机小目标检测数据集。本毕设选题学习并参考1.2节介绍的目标检测数据集制作规范，使用项目提供的无人机数据，根据实验所需进行了数据预处理及标签标注，输出了PASCALVOC和ILSVRCVID两种格式的自建数据集分别用于后续YOLOv3和FGFA算法的模型训练及测试。数据集包含49段视频，23,512张图片及对应的标注文件，PASCALVOC数据集大小为21.5GB，ILSVRCVID数据集大小为21.7GB。各环节的具体工作展开如下。1.1.1数据预处理在进行数据标注之前，需要首先对原始数据进行预处理。原始数据采集于远距离拍摄的大疆MAVIC及大疆PHANTOM4无人机飞行视频，包含抵近飞行、平移飞行、自由飞行等无人机动作，拍摄距离大多在500米至1000米，少部分视频记录了距离小于500米的清晰影像及距离超过1000米的模糊图像。源数据是帧率为25fps的视频，结合实际情况考虑图像处理的工作量，在确保时序信息不被破坏的前提下，使用OpenCV提供的视频捕获函数将每一个源视频分别以每10帧保存一张的方式进行读取和保存，通过视频抽帧的方式精简庞大的数据量，完成数据的初步筛选。在获得了视频抽帧生成的图像集后，手动检查所有图像，将不包含后续的标注目标（即无人机）的图片帧筛出并单独存储，得到不包含目标的场景图片，完成正负样本的筛选。至此，数据预处理完毕。1.1.2数据标注由于本题目仅面向特定的检测场景，即视频中的无人机目标检测，因此，需要标注的目标对象类别只需包含无人机即可。在实际标注的过程中，除了aircraft标签以外，还加入了可能会对检测产生干扰的bird标签的标注，为后续工作中进一步进行鸟类干扰消除的研究提供帮助。常用的目标检测数据集标注工具有LabelImg、Labelme、RectLabel、LableBox等。在本项目中，使用python提供的图形图像注释工具LabelImg进行数据标注，按照数据集标注规范中的紧密包裹、最小可见等原则，手动框定图像中的无人机和鸟类目标并标注aircraft、bird标签，为视频每一帧所对应的图片生成了对应的xml格式注释文件，如图3-8所示。图3-8使用LabelImg标注并生成xml文件首轮标注耗时约一个月，在完成了全部目标对象（共计23,512张图片）的手动框定后，依照目标检测数据集制作规范中所建议的工作流程，对已标注的数据集进行了第二轮的正确性质量验证和第三轮的完备性检验，得到了最终的标注集。1.1.3PASCALVOC格式数据集的构建在已完成预处理和标注的数据集基础上，考虑到后续进行模型的需求，为YOLO算法的训练创建PASCALVOC数据集，其文件夹的层级格式如图3-9所示。图3-9PASCALVOC数据集文件层级其中，Annotations文件夹用于存放所有的xml标注文件，xml标注文件的标签层级关系如图3-10所示：图3-10PASCALVOC数据集xml标注文件标签层级结构JPEGImages文件夹用于存放数据集的原图片，它们与Annotations中的标注文件是一一对应的。ImageSets文件夹用于存放每一种计算机视觉任务类型所对应的文件夹，由于本项目只需进行目标检测，故仅在该目录的Main文件夹下存放用于记录图片名的txt格式文件，分别用于指定训练、验证、测试时使用的图像帧。至此，可用于模型训练及测试的PASCALVOC数据集制作完毕，可用于后续工作中的YOLO模型训练。1.1.4ILSVRC格式数据集的构建与1.1.3节中构建数据集的思路相同，在已完成预处理和标注的数据集基础上，考虑到后续进行模型的需求，为FGFA算法的训练创建ILSVRCVID格式的数据集，其文件夹的层级格式如图3-11所示。图3-11ILSVRC2015VID数据集文件层级其中，Annotations文件夹用于存放所有的xml标注文件。由于LabelImg工具标注产生的xml文件层级关系与标准ILSVRC2015VID数据集中所需的xml注释文件层级关系有所不同，故需要在原有标注文件的基础上，对Annotations文件夹中的所有xml标注文件进行修改，按照ILSVRC数据集的格式添加trackid、occluded等标签，使用代码按行进行批量处理，得到新的xml标注文件，其标签的层级关系如图3-12所示：图3-12ILSVRC2015VID数据集xml标注文件标签层级结构Data文件夹用于存放数据集的原图片，它们与Annotations中的标注文件是一一对应的。ImageSets文件夹存放用于记录图片名、对应路径及序号的txt格式文件，分别用于指定训练、验证、测试时使用的图像帧。至此，可用于模型训练及测试的PASCALVOC数据集制作完毕，可用于后续工作中的FGFA模型训练。1.4小结本章介绍了包含PASCALVOC、ImageSet、MSCOCO在内的目标检测领域常用的大型公开数据集，并以ImageNet数据集给出的官方说明为例，详细介绍了目标检测数据集定义目标类别及采集候选图像的方式，阐述了注释检测目标时需要遵循的原则，即使用包含对象所有可见部分的所有边界框中最小的作为最终边界框，每个对象实例都需要有一个边界框以保证完备性。同时，给出了规范制作自建数据集的工作流，即“规范标注-边界框质量验