【《多受电弓关键点数据集标注与数据转换算法设计》3300字】

多受电弓关键点数据集标注与数据转换算法设计目录TOC\o"1-3"\h\u31395多受电弓关键点数据集标注与数据转换算法设计 126451.1EPnP算法原理 196581.2Labelme标注受电弓关键点 3本项目旨在设计一种基于CenterNet神经网络结构的关键点定位方法，用于高铁受电弓的位姿估计。CenterNet神经网络是一个基于Anchor-free的目标检测算法，该算法是在CornerNet算法的基础上改进而来的，基本原则是，构建模型时以目标为点，即目标中心。目标检测器利用关键点位置估计找到目标的中心，并返回其他目标属性，如尺寸、三维位置、方向乃至姿态。由于该模型是端到端可微的，有效地提高了识别的速度和准确率。与单阶段的目标检测算法yolov3相比，该算法在保证精度的前提下可提高4%。与其他单阶段或双阶段目标检测算法相比，该算法具有以下优点：（1）该算法去除了低效复杂的Anchors操作，进一步提高了检测算法性能；（2）CenterNet算法可以直接在热力图上进行过滤操作，去除耗时的后处理操作，进一步提升了整个算法的运行速度；（3）这些算法不仅适用于二维目标检测，而且也适用于简单的修改，如三维目标检测和人体关键点检测，即具有很好的通用性。本章将首先介绍该网络数据集标注的理论依据，由于本项目实现基于深度学习的关键点定位方法是为了估计受电弓的位姿估计，所以关键点的选取需要依据位姿算法。确定关建点的标注位置之后，应用Labelme图像标注软件标定复杂背景下受电弓关键点，完成数据集的制作。然后根据CenterNet神经网络结构所需要的COCO数据集格式，编写数据转换Python代码，将Labelme标注软件所生成的json文件转换为COCO数据集格式的json文件。1.1EPnP算法原理在EPnP是目前一种有效的非迭代的PnP位姿解算方法，它适用于情况时，已知相机内参，图像点，以及对应的三维坐标点，求解世界坐标系到相机坐标系的外参,。具有低复杂度，高精度的优点。在EPnP算法中，采用四个控制点的权重和表示参考点，并求解控制点在相机坐标系下的坐标，并采用SVD分解，求解计算相机的位姿。其求解步骤如下：计算控制点在世界坐标系下的坐标计算第一控制点，并进行重心平移，对矩阵进行特征分解，得到特征值及对应的特征向量，则另外三个控制点的坐标可以表示为： （1.1）采用控制点表示参照点在世界坐标系下的坐标（1.2）计算控制点在摄像机下的坐标（1.3）采用控制点表示参考点在摄像机坐标系下的坐标（1.4）5、对参考点在世界坐标系下的坐标和摄像机坐标系下的坐标进行重心平移（1.5）采用SVD分解求解旋转矩阵和平移矩阵，（1.6）（1.7）1.2Labelme标注受电弓关键点传通过文献资料学习，在受电弓滑板上选取固定节点集合，它在世界坐标系下的坐标为，通过关键点定位算法获取对应的图像坐标，采用EPnP算法即可获取相机坐标系下受电弓的位姿，如图1.1所示。图1.1EPnP位姿估计示意图Labelme是一个用于在线图像标注的Javascript标注工具，应用Python脚本编写，有自己的图形界面，像传统的图像标注工具一样，Labelme标注工具可以实现数据交互，然而Labelme标注工具与传统图像标注软件区别在于Labelme标注工具需要用命令行配置创建，其优势在于我们可以在任意地方使用该工具，不需要拷贝大规模数据集。Labelme标注工具功能性很强，可以对图像进行矩形（Rectangle），点（Points），多边形（Polygon），圆形（Circle），线段（Line）等多种形式的标注，通常可被应用于目标检测或者图像分割的任务。除此之外，还可以对图像进行标签化形式的处理，这种情况通常被用于图像分类或者图像清理任务。Labelme标注工具也可以对视频进行标注处理，比如在一段视频中选出自己所需要的数据库。本项目所采用的是对图像进行点（Points）形式的标注，Labelme图像标注工具工作界面如下图所示。左边为任务操作区，主要功能有打开所需标注集所在的文件夹，切换当前标注的图像，保存或删除文件等。右侧LabelList为分割标签栏，PolyganLabels为多边形标签，右下角部分为文件列表，即在标文件数据集列表，如图1.2所示。图1.2Labelme标注软件示意图在本项目中，所标注的数据集共分为三个文件夹，分别是受电弓与接触网系统在阴天、夜间、雨天三种复杂背景下的二维图像。（每组图像在1000张左右）数据集标注步骤如下：首先在Windows系统下载Anaconda，这是一个开源的Python发行版本。成功安装之后，进入终端在conda环境下面创建python虚拟环境，用pipinstall指令安装Labelme图像标注工具以及QT界面，激活环境之后即可打开使用。应用Labelme图像标注工具中的点（Points）形式在受电弓滑板上选取固定节点集合，它在世界坐标系下的坐标为，标注位置如上面Labelme标注示意图所示，这六个点的标注依据是来源于EPnP算法，准确定位这六个关键点坐标，运用EPnP算法即可受电弓位姿估计，而保证受电弓关键点定位的精度与速度正式本项目的研究重点。这六个点的标记方式如下图所示，标签1、3、5、6分别是左右两边羊角点，但在标记的时候不是点到羊角的最低点，而是要点到羊角上下边缘的中间，2、4是受电弓上部两个标记点，同样在标记的时候要标记在四个边缘约束中间。标注完成之后，每张图片会得到一个json文件。计算机数据一般可以概括为三种类型：标量、序列、映射。标量指的是字符串或者数字，序列就是指多个数组或者列表并列在一起，映射一般指的是有名称并有一个对应的值，如字典等。也就是说，所有数据可以被Array（数组）或者对象（Objects）表示。Json文件依托这种形式取代了之前的XML数据结构，Json文件的根只包含数组或者对象，在保证描述能力的同时，实现数据结构的小巧简单，从而在网络传输相比于之前的XML数据结构以更小的流量提升了传输速度。本项目中json文件是以对象为根其中嵌套六个关键点坐标数组，对象名称为“shapes”，如图1.4（a）所示。图中“shape_type”为point，表示这里的标注是点形式的。标签列表对应六个关键点即为1~6，而points数组中括号里面的数值即为对应关键点的横纵坐标。在这个json文件最后有四个名称，分别为ImagePath（图片路径）、ImageData（图片数据）、ImageHeight（图片长度）、ImageWidth（图片宽度）。在本项目所标注得到的json文件中图片路径即为图像所对应的图片名称，比如“000000034.png”，图片大小为1536*2048。根据CenterNet网络需求，将Labelme标注工具得到的json文件格式转换为COCO关键点数据集格式。COCO数据集是一个可以用来做计算机视觉项目的数据集，通常被用作图像识别、人体关键点检测、目标检测等。本项目所做的是关键点定位，所以需要采用COCO数据集中ObjectKeypoints（目标关键点）的数据格式。如图1.3（a）所示，为COCO数据集包含的五个主干字典数据结构，分别为info字段、licenses字段、images字段、annotations字段和categories字段。其中info字段、licenses字段、images字段在图像描述、目标检测、关键点检测这三种类型COCO数据格式的json文件中是一致的，具体区分是在categories字段和annotations字段。info字段指向是一些基本信息，包括日期，版本，贡献者，URL链接等，相对容易理解。License字段指向的信息可以忽略，不参与到数据训练测试的过程中。images字段是图像信息的列表，包括图像的名称，图像的高度和宽度，本项目训练图像的高度为1536个像素，图像宽度为2048个像素。数字“id”是指每幅图像都有一个唯一的符号，且该数字不重复，可以视为该图像的身份信息，比如训练三百张图片的时候，每个图片都将从1~300对应一个身份信息。(a)(b)图1.3COCO数据集格式介绍Annotations字段中包含多个注释实例数组，例如category_id(目标的类别)和bbox数组，如图1.4（b）所示。Bbox数组通常用来表示标注的边框值，在目标检测类型数据集下表示包含分割部分的水平矩形，而在关键点检测数据集中表示图像的高度和宽度。另外，COCO格式的目标关键点检测包含了目标检测的所有字段。除此之外，目标关键点检测还包含了两个新字段，一个是keypoints（关键点），还有一个是num_keypoints（关键点数量）。本项目中keypoints（关键点）是一个长度为3*6的数组，6表示所标注的图片有六个关键点，其中每个关键点是一个长度为3的数组。前两个元素关键点的横纵坐标,第三个元素是标记位。如果标记位为0,表示该关键点没有被标注。如果标记位等于1说明该关键点被标注但是不可见。如果标记位等于2，表示该关键点被标注而且是可见的。在本项目的COCO关键点数据集中，所有关键点都是被标注而且可见的，所以标记位均为2。Num_keypoints表示在目标上标记的关键点的数量，由于一共有六个关键点，所以num_keypoints为6。根据Labelme数据集与COCO关键点数据集格式比较结果，自主编写转换代码，转换代码见附录。成功转换完数据集之后，即可代入CenterNet模型中训练，转换结果