小熊猫识别技术规范

1小熊猫识别技术规范本文件规定了小熊猫识别有关术语定义、数据采集、数据处理、数据分析的技术。本文件适用于基于图像的小熊猫个体识别。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。CJJ/T263-2017动物园动物管理技术规程GB/T26238-2010信息技术生物特征识别术语3术语、定义下列术语和定义适用于本文件。3.1生物特征识别biometrics基于动物个体的行为特征和生物学特征，对个体身份进行识别。3.2目标检测与识别objectdetectionandrecognition从图像中找出目标的位置坐标,用矩形框框出目标，并对该目标进行分类。3.3语义分割semanticsegmentation对图像进行像素级别分类，即预测出像素点的类别。3.4卷积神经网络convolutionalneuralnetworks以卷积计算为主的神经网络，通常包含卷积层、批归一化层、激活层、池化层、全连接层、损失函数层等基础结构。3.52特征提取featureextraction使用计算机提取小熊猫图像中属于特征性的特征序列的方法及过程。3.6特征比对featurematching计算两个特征向量之间的相似度。特征比对包括1：1比对验证和1：N比对识别两种方式。3.7相似度similarity衡量两个特征的相似程度，数值越大说明它们越相似。3.8阈值threshold做出判定所依据的边界值。3.9错误接受率falseacceptrate在验证过程中，将新个体识别为数据库中个体的比率，用百分比表示。错误接受率也称认假率。3.10错误拒绝率falserejectrate在验证过程中，将数据库中个体识别错误的比率，用百分比表示。错误拒绝率也称拒真率。3.11FPSFramesPerSecond每秒处理图像的数量。3.12mAPMeanAveragePrecision平均精度。3.13SSIMstructuralsimilarityindex结构相似性。34数据采集4.1图像采集小熊猫图像采集时，对圈养小熊猫的影像和视频数据采集，每次确定到具体的个体。在拍摄小熊猫图像和视频的过程中，扫描个体体内植入的芯片编号，指导拍摄人员多角度跟踪拍摄对应编号的小熊猫，记录小熊猫显著的外貌特征、拍摄的开始时间和结束时间。在确保数据和身份信息准确的前提下，对相关个体所采集的数据进行一一建档；对于未能进行芯片植入的小熊猫个体和在野外通过红外相机等拍摄工具获取野外小熊猫个体的影像和视频数据，应以明确的生物个体差异特征进行个体初始数据建档。4.2面部图像采集要求采集的小熊猫面部图像需满足以下要求：a)小熊猫面部图像光照均匀，无过度曝光，清晰完整；b)小熊猫面部的水平面方向和垂直面方向内的旋转角度±10°;c)小熊猫的两只眼睛、鼻子和耳朵可见；d)不存在遮挡；e)小熊猫面部图像的分辨率不低于256×256像素。4.3全身图像采集要求采集的小熊猫全身图像需满足以下要求：a)小熊猫全身图像光线自然，无过度曝光，清晰完整；b)保证拍摄的画面里只有一只目标小熊猫或者目标在画面中所占的面积最大；c)对小熊猫进行多角度、多方位拍摄，确保每一只小熊猫的正面姿态、左侧面姿态、右侧面姿态和背面姿态至少都有一张图像和一段视频。d)小熊猫全身图像的分辨率不低于512×512像素。5数据处理5.1面部图像检测给定一张图像，从这张图像中通过矩形框框出小熊猫面部区域。如果在一幅图像中检测到超过一个小熊猫面部，则只返回面积最大的那一个。得到检测框后，根据该边界框裁剪小熊猫的面部图像。小熊猫面部图像检测算法需满足以下要求：a)算法推理的实时性应达到20FPS；b)平均检测的精度mAP应达到80%。5.2面部关键点检测给定一张小熊猫面部图像，确定小熊猫眼睛和鼻子的位置坐标。以采用U-Net网络分割双眼所在区域和鼻子区域为例，该网络的输出是一个三通道图像，其大小与输入图像相同，并且它的三个通道中的每一个都分别代表三个区域之一，分别是左眼区域、右眼区域和鼻子区域。接着，将这三个通道与对应的分割标签通过L2损失函数引导网络学习分割任务。制作分割标签的过程：4a)人工标注眼睛和鼻子的关键点坐标；b)以这些关键点的坐标为圆心，设定一个半径（眼睛区域的半径设置为7个像素，鼻子区域的半径设置为13个像素），绘制出圆形区域，每个关键点对应于一个通道；c)在这些区域内的像素值设置为255，其余区域设置为0，得到一张三通道的图像标签，即关键区域分割标签。在测试阶段，输入一张小熊猫面部图像，输出为与之大小相等的图像，即三通道的分割结果。每个通道代表一个关键区域，分别过滤掉每个通道较小的响应值，剩下的响应值较高的点的质心即为该通道所对应关键区域的中心坐标，即关键点坐标。小熊猫面部关键点检测算法需满足以下要求：a)算法推理的实时性应达到20FPS；b)关键点预测误差应不大于5像素。5.3面部对齐基于两只眼睛的中心来对齐小熊猫的面部图像，使得连接两眼中心的直线是水平的。首先，基于U-Net的小熊猫脸关键点检测算法得到双眼和鼻子中心的坐标；接着，基于双眼中心的坐标，旋转小熊猫面部图像，使双眼中心处于同一水平线上；最后，通过如下方式裁剪出小熊猫面部图像，设两眼中心之间的距离为d，眼睛中心到裁剪后的面部图像的顶部和底部之间的距离分别为a×d和b×d，左右眼中心相对于裁剪后的面部图像的左右边缘的距离均为c×d。其中a=1.3，b=1.7和c=1.2。经过对齐步骤后的小熊猫面部图像几乎没有平面内的旋转，而且绝大部分背景都被消除了，减少了对后续小熊猫脸部识别步骤的干扰。5.4全身图像检测给定一张图像，需从这张图像中通过矩形框框出小熊猫全身区域。如果在一幅图像中检测到超过一个小熊猫，则只返回面积最大的那一个。得到检测框后，根据该边界框裁剪小熊猫全身图像。小熊猫全身图像检测算法需满足以下要求：a)算法推理的实时性应达到20FPS；b)平均检测的精度mAP应达到80%。5.5躯体语义分割由于小熊猫非刚性运动也会导致其姿态变化较大，为了方便对小熊猫姿态进行建模，本标准共定义了小熊猫的头部、小熊猫的躯干、小熊猫的尾巴、小熊猫的四肢以及背景5种类别。以基于HRNet模型为例，其核心思想即按照像素点进行分类。给定一张小熊猫图像I∈R3×h×w和其标注好的语义分割图像标签y∈Rh×w，语义分割图像标签中有背景区域、头部区域、躯干区域、尾巴区域和四肢区域，其中h、w分别表示图像的高和宽。语义分割模型的基础网络采用HRNet，它能很好地融合不同尺度的特征得到高分辨率特征图。小熊猫图像I输入HRNet，将最后一层所有特征图进行上采样到原图大小；接着，将它们在通道维度上进行拼接；然后，通过5个1×1的卷积核进行特征融合，输出得到通道的特征图F∈R5×h×w；最后，将特征图F通过softmax层预测出每个像素点的类别概率。在训练阶段，将预测的结果和语义分割图像标签y通过交叉熵损失函数进行监督卷积神经网络的学习。在测试阶段，直接将测试图像输入语义分割网络，输出特征图F，预测出每个像素点最大概率的类别。小熊猫躯体分割语义算法需满足以下要求：像素点类别预测平均错误率应不大于15%。55.6面部数据库通过智能成像设备采集，批量导入实现小熊猫面部图像数据注册。在小熊猫面部图像登记过程中，实现小熊猫面部图像与小熊猫标识之间绑定关系的建立。小熊猫面部数据库需满足以下要求：a)对所有图像标注小熊猫面部目标框区域的左上角和右下角坐标；b)对小熊猫面部图像标注3个关键点信息，分别为左眼中心、右眼中心和鼻子中心坐标；c)使用SSIM方法测量图像间的像素级相似度，进行图像去重操作。5.7全身数据库数据分析通过智能成像设备采集，批量导入实现小熊猫全身图像数据注册。在小熊猫全身图像登记过程中，实现小熊猫全身图像与小熊猫标识之间绑定关系的建立。小熊猫脸部数据库需满足以下要求：a)对所有图像标注小熊猫全身目标框区域的左上角和右下角坐标；b)对小熊猫全身图像标注像素点类别，分别为头部区域、躯干区域、尾巴区域、四肢区域和背景c)对小熊猫全身图像标注姿态类别，分别为左侧面姿态、右侧面姿态、正面姿态和背面姿态；d)根据脸部和尾部的可见性进行标注姿态类别，分别为脸部可见、脸部不可见、尾部可见和尾部不可见。5.8面部图像识别给定一张对齐并裁剪好的小熊猫面部图像，使用卷积神经网络来提取特征并用于身份识别，常用的卷积神经网络有VGG，ResNet,SENet等。小熊猫面部图像识别算法首先使用VGG-16卷积神经网络在ILSVRC数据集上预训练；接着，用处理好的小熊猫面部图像对该模型进行微调；最后，将微调得到的VGG-16模型用于从输入的小熊猫面部图像中提取特征ƒ,并根据特征间的余弦距离计算两幅小熊猫面部图像的相似度。为了确定输入小熊猫脸部图像的身份，先提取其面部特征，然后将其与注册集中登记的所有小熊猫面部图像特征进行比较。它的身份最终被确定为与它最相似的特征所属的小熊猫身份。如果指定了相似度阈值，且最高相似度低于该阈值，则输入的小熊猫面部图像被判定为不是注册集中的任何一只小熊猫；判定为它是未知的小熊猫新个体。小熊猫面部图像识别算法需满足以下要求：当错误接受率为0.1%时，错误拒绝率应不大于10%。5.9全身图像识别由于小熊猫属于濒危物种，个体数量不多，采集带身份信息的小熊猫图像十分不易，每一只小熊猫都存在面部和尾部都可见、尾部不可见面部可见、面部不可见尾部可见、面部和尾部都不可见这四个实例类别，因此，对其设计了相应的数据增强策略弥补图像数据不足的缺陷。采用分别将尾巴区域用零值填充、面部区域用零值填充以及面部区域和尾巴区域同时用零值填充的方式，这些区域可以通过小熊猫躯体语义分割模型预测。小熊猫全身图像识别算法由四个模块组成，分别为基础模块、图像擦除模块、互补模块和融合模块。通过基础模块主干网络最后一层特征图生成激活图，然后根据激活图从原始小熊猫图像中擦除被激活对1h督网络的学习。训练完RedPanda-PGCFL模型后，将其应用于小熊猫图像，对小熊猫图像提取特征。具体做法如下：给定一张小熊猫图像，将它同时输入基础模块和互补模块得到基础特征ƒ11和互补特征ƒ21，与训练阶段不同，在训练阶段中互补模块使用的是擦除后的图像作为输入；然后将基础特征ƒ11和互补特征ƒ21进行拼接送入融合模块获取融合特征ƒ32进行表征小熊猫个体的身份；最后，根据特征间的余弦距离计算两幅小熊猫全身图像的