CN113888630B 一种具备置信度估计的无人机姿态检测方法及系统 （西安微电子技术研究所）

(19)国家知识产权局(12)发明专利(65)同一申请的已公布的文献号(73)专利权人西安微电子技术研究所地址710065陕西省西安市雁塔区太白南路198号(72)发明人王钟犀马钟王莉张栩培毕瑞星(74)专利代理机构西安通大专利代理有限责任公司61200专利代理师崔方方GO6N3/0464(2023.01)审查员卢明(54)发明名称一种具备置信度估计的无人机姿态检测方法及系统(57)摘要本发明提供一种具备置信度估计的无人机姿态检测方法及系统，包括：步骤A:通过全卷积神经网络对输入图像进行像素级别的天空区域与非天空区域的分割，从天空区域的图像提取出天际线坐标，根据天际线坐标拟合最优直线方程，得到天际线拟合直线；步骤B:通过训练好的高斯判别分析模型估计出天际线拟合直线的置信度，若天际线拟合直线的置信度高于预设的最佳分类阈值，则进行步骤C;步骤C:基于天际线拟合直线实时估计出无人机姿态角信息。本发明基于高斯判别分析的置信度估计算法在检测结果高斯判别分析提取天际线坐标分分上量2提取天空区域最大轮廓坐标概率图N解码网络F热,护鸽络F2步骤A:读取当前帧的输入图像，通过全卷积神经网络提取图像特征并编码成对应的热步骤B:根据概率图和分割二值图，量化得到分割质量Q和天际线的弯曲度T;运用训练好的高斯判别分析模型对分割质量Q和弯曲度T进行多元高斯建模；根据已经习得的样本在输入图像第j列的行数，N是输入图像中的总列数；Mijo表示概率图M在通道0中坐标为2.根据权利要求1所述的具备置信度估计的无人机姿态检测方法，其特征在于，步骤A3M=Fde(H)Mijo=P(pij=sky)4.根据权利要求1所述的具备置信度估计的无人机姿中，步骤2)所述训练好的高斯判别分析模型运用m个训练样本(x(1),y(1),(x(2),y(2)),(x(3),y(3),…(x(m),y(m)对高斯判别分直线不可靠；根据贝叶斯公式求得已知样本数据X的情况下，样本数据的类别y为正负样本的概率45.根据权利要求1所述的具备置信度估计的无人机姿态检测方法，其特征在于，得训练结果获取天际线拟合直线的置信度的最佳分类阈具体为：全卷积神经网络，用于读取当前帧的输入图像，通过全卷积度T;运用训练好的高斯判别分析模型对分割质量Q和弯曲度T进行多元高斯建模；根据已网络读取下一帧的输入图像；分割质量Q和弯曲度T的计算公式如下：5其中，μo表示被预测为天空的像素成为天空的平均概率值，μ1表示被预测为非天空的像素成为天空的平均概率值，Rsp(i)和RLp(i)分别代表预测天际线Sp和天际线拟合直线Lp在输入图像第j列的行数，N是输入图像中的总列数；Mijo表示概率图M在通道0中坐标为(i,j)的值，通道0代表天空；0ij为分割二值图0中坐标为(x,y)的像素对应的预测标签，I为输入图像；无人机姿态角估计模块，用于通过几何计算和天际线拟合直线的方程实时估算无人机姿态角信息。9.根据权利要求8所述的具备置信度估计的无人机姿态检测系统，其特征在于，全卷积神经网络包括编码网络、解码网络和类别标定和最优直线提取模块；编码网络，用于提取图像特征并编码成对应的热图；解码网络，用于采用上采样方式将热图放大至输入图像大小，并解码为各像素的分类类别标定模块，用于对概率图逐像素进行类别标定，生成分割二值图，得到天空区域的最优直线提取模块，用于从天空区域的图像提取得到天际线坐标，并根据天际线坐标拟合最优直线方程，得到天际线拟合直线。6一种具备置信度估计的无人机姿态检测方法及系统技术领域[0001]本发明属于图像信息处理领域，具体涉及一种具备置信度估计的无人机姿态检测方法及系统。背景技术[0002]导航是无人机自主飞行的重要研究领域，其中，姿态角是自主飞行所需的必备导航信息。出于重量，体积和功耗等诸多因素的限制，以相机为主要传感器的计算机视觉技术成为主要的发展趋势。本发明将通过检测天际线的位置实现对无人机姿态角的实时估计。[0003]近年来，国内外广大研究人员在天际线检测及应用研究领域取得了一定成果。可将已有的天际线检测算法分为四类：1)基于线性边界的模型方法。该方法旨在基于天际线为一条直线的假设上，对图像信息进行高斯分布建模或者霍夫变换。然而，直线地平线的假设仅仅在特定场景下才是有效的，当高度过低时，障碍和山丘会产生一个不是直线的地平线。因此，由于该假设的局限性，导致该模型方法无法满足更多的实际场景需求。2)基于边缘检测的方法。该方法通过识别天与地的分界线的边缘信息，实现天际线的轮廓提取。然边缘检测造成干扰，降低检测的精确度。3)基于分类器的方法通过机器学习的方法。该方法斯分类器。然而，该方法对于天际线区域颜色区分度不明显的天际线检测效果不够理想。4)基于深度学习的方法。该方法是将卷积神经网络应用到天际线检测中，是一种更快速、鲁棒性更强的天际线检测方法。现有方法主要是使用CNN对天空与非天空区域以及飞行视频中的天际线进行训练，然后使用大型数据集对提出的方法进行了验证，检测精度优于SVM和随机森林。但是，目前该领域的研究尚未完全成熟，应用的卷积神经网络框架都较为简单，有后续提升的发展空间。[0004]更重要的是，当存在云、雨、雾、山等复杂背景导致天际线检测结果出现较大误差时，估计出的无人机姿态角信息无法使用。因此针对该情况，需要针对检测结果进行置信度估计，作为对应的可靠度参考值，由此规避因错误结果导致的风险。然而，目前国内外对无人机姿态角检测结果的置信度估计却鲜有研究。发明内容[0005]本发明所要解决的技术问题是克服现有无人机姿态角估计技术的缺陷，提供一种具备置信度估计的无人机姿态检测方法及系统，基于全卷积神经网络的天际线检测方法，解决了原有方法使用场景单一、抗干扰能力差、泛化能力低等问题，基于高斯判别分析的置信度估计算法在检测结果出现较大或严重误差时，有效滤去错误结果，帮助无人机规避风[0006]本发明是通过以下技术方案来实现：7[0007]一种具备置信度估计的无人机姿态检测方法，包括以下步骤：[0008]步骤A:读取当前帧的输入图像，通过全卷积神经网络对输入图像进行像素级别的天空区域与非天空区域的分割，从天空区域的图像提取出天际线坐标，根据天际线坐标拟合最优直线方程，得到天际线拟合直线；[0009]步骤B:通过训练好的高斯判别分析模型估计出天际线拟合直线的置信度，若天际线拟合直线的置信度高于预设的最佳分类阈值，则进行步骤C,否则，返回步骤A读取下一帧的输入图像；[0010]步骤C:基于天际线拟合直线实时估计出无人机姿态角信息。和最优直线提取模块；[0012]步骤A具体是：采用编码网络提取图像特征并编码成对应的热图；解码网络采用上采样方式将热图放大至输入图像大小，并解码为各像素的分类概率，输出概率图；类别标定模块对概率图逐像素进行类别标定，生成分割二值图，得到天空区域的图像；最优直线提取模块从天空区域的图像提取得到天际线坐标，并根据天际线坐标拟合最优直线方程，得到天际线拟合直线。[0013]进一步的，解码网络采用上采样方式将热图放大至输入图像大小，并解码为各像图，解码网络的输出；M;j表示概率图M在通道k中坐标为(i,j)的值，k取值0或1;p表示输入图像I中坐标为(i,j)的像素。[0019]1)根据全卷积神经网络输出的概率图和分割二值图，量化得到分割质量Q和天际线的弯曲度T;[0020]2)运用训练好的高斯判别分析模型对分割质量Q和弯曲度T进行多元高斯建模；根据已经习得的样本分布情况，高斯判别分析模型求取天际线拟合直线的置信度P。[0021]进一步的，步骤B中，步骤2)所述训练好的高斯判别分析模型通过如下训练方法得[0022]运用m个训练样本(x(1),y(1),(x(2),y(2),(x(3),y(3),…,(x(m),y(m)对高斯判别分析模型进行离线训练，其中，y(i)∈0,1;x代表多元样本数据，为分割质量值；y代表样本数据的类别，y(i)=1代表天际线拟合直线可靠；y(i)=0代表天际线拟合直线不可靠；[0023]假设样本数据的类别y在给定的情况下服从伯努利分布，不同类别y中的样本数据x分别服从多元高斯分布：[0024]y～Bernoul8[0045]一种具备置信度估计的无人机姿态检测系统，包括：9[0047]置信度估计模块，用于通过高斯判别分析模型估计出天际线拟合直线的置信度，若天际线拟合直线的置信度高于预设的最佳分类阈值，则无人机姿态角估计模块工作，否则，全卷积神经网络读取下一帧的输入图像；[0048]无人机姿态角估计模块，用于通过几何计算和天际线拟合直线的方程实时估算无人机姿态角信息。[0049]优选的，全卷积神经网络包括编码网络、解码网络和类别标定和最优直线提取模[0051]解码网络，用于采用上采样方式将热图放大至输入图像大小，并解码为各像素的[0052]类别标定模块，用于对概率图逐像素进行类别标定，生成分割二值图，得到天空区域的图像；[0053]最优直线提取模块，用于从天空区域的图像提取得到天际线坐标，并根据天际线坐标拟合最优直线方程，得到天际线拟合直线。[0054]与现有技术相比，本发明具有以下有益的技术效果：[0055]本发明检测方法，采用对天际线检测的方式进行姿态角估计，具有自主性强的优势，可以克服外界导航方式的依赖。本发明方法设计的置信度估计功能，可以针对检测结果实时提供对应的可靠度参考值，尤其在检测结果出现较大或严重误差时，有效规避风险。同时，通过视觉导航的方式不需要向外发射信号，为无人机提供了较强的隐蔽性。此外，本发明采用全卷积神经网络对图像进行像素级的分类，保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类，因此，本发明能实现逐像素进行天空、非天空的预能更好的应用于无人机姿态角估计。本发明具备自主性好、隐蔽性强、体积小、重量轻等优附图说明[0056]图1为本发明基于全卷积神经网络的天际线检测方法示意图；[0057]图2为本发明实施例图像分割过程示意图。[0058]图3(a)为本发明实施例中置信度估计模块的ROC曲线图；图3(b)是实际为负样本的置信度值分布图；图3(c)是实际为正样本中的置信度值分布图。具体实施方式[0059]下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。[0060]本发明所述的一种具备置信度估计的无人机姿态检测方法，如图1所示，包括以下步骤：[0061]步骤A:读取当前帧的输入图像，通过一种适用于天际线检测的全卷积神经网络，对输入图像进行像素级别的天空区域与非天空区域的分割，从天空区域提取出对应的天际线用来进行后续的无人机位姿计算；[0062]步骤B:当无人机实际飞行过程中，通过已经训练好的高斯判别分析模型在线测试天际线拟合直线的有效性，输出结果为天际线拟合直线的置信度。根据置信度判断天际线拟合直线的有效性，如果置信度高于阈值，则认为天际线拟合直线有效，由此进行步骤C,并且步骤C所计算出的姿态角被导航装置所采用。反之，如果置信度低于该阈值，则认为天际线拟合直线无效，直接跳过步骤C,系统返回步骤A读取下一帧输入图像。[0063]步骤C:通过几何解算，根据天际线拟合直线实时估计无人机的滚转角和俯仰角。[0064]所述步骤A中全卷积神经网络结构的具体设计如下：[0065]该全卷积神经网络Nfu₁的主要构成为编码网络Fen、解码网络Fe和类别标定。其网络不限制输入图像I的大小，且输出的分割二值图0始终与输入图像I大小保持一致，实现了[0068]编码网络主要用于提取图像特征并编码成对应的热图(heatmap)。热图的每个点代表感受野区域的目标检测结果。具体的函数表达为：h×w×c。由于卷积层与池化层的处理，热图尺寸小于输入图像大小，但两者通道数保持一[0071]编码网络结构与分类网络的前端结构基本一致，通过连续的卷积层、池化层实现特征提取。与分类网络不同的是，该编码网络用卷积层替代全连接层，由此解除了对输入图像尺寸的约束。其中，卷积层通过若干个卷积核对输入层或上一层输出进行卷积操作，并通过激励函数将卷积结果组合成特征图像。卷积层函数表达为：[0075]解码网络的作用是采用上采样方式将热图放大至原图大小，从而将图像特征信息解码为像素的分类概率。经过解码，解码网络会输出一个尺寸为h×w×2的概率图，概率图大小与原输入图像完全一致，实现了像素级对应；2层通道数代表两类目标：天空与非天空，表征对应像素成为天空或非天空的概率。该解码网络可以表达为：网络的输出，Mjk表示概率图M在通道k中坐标为(i,j)的值，p;表示输入图像I中坐标为(i,j)的像素。[0081]由解码网络生成的概率图需要通过逐像素的类别标定生成最终的分割二值图0。类别标定通过对比概率图不同通道，得出某像素最大概率值所在的通道序列值，即获得该像素所对应的分类结果。该方法可以对每一个像素都产生一个天空或非天空的预测，保留原始输入图像中的空间信息，实现了天地区域之间像素级别的连贯分割。具体表达式如下：[0083]其中，0代表经过类别标定后生成的分割二值图，尺寸为h×w×1。由于概率图仅有两个通道，故经过类别标定后的分割二值图的取值为0或1。[0085]本方法中，全卷积神经网络中的每一个像素都是一个分类任务，每一个图像就有与对应像素数相同个数的样本。在计算损失函数时，对分割二值图0中每一个像素求取softmax损失函数，全部累加之后进行一次梯度更新：[0088]其中，0;;为分割二值图0中坐标为(x,y)的像素对应的预测标签(天空、非天空),Lij为该像素的实际分类标签，f为softmax函数。[0089]5天际线最优直线方程[0090](1)由全卷积神经网络输出的分割二值图0获取天空区域的最大轮廓坐标；[0091](2)去除天空区域最大轮廓的上、左、右边界坐标，提取下方边界坐标作为检测出来的天际线坐标；[0093]所述步骤B中的基本原理如下：[0094]在没有正确的参考条件下，天际线检测结果的准确性是不可得的。但是，对天检测准确性起决定性影响的两个相关因素：全卷积神经网络的分割质量Q和预测天际线的弯曲度T,是可以实现量化和数据获取的。本发明中，高斯判别分析算法通过对分割质量Q和弯曲度T进行多元高斯建模，间接对天际线检测结果的“可靠性”程度检测结果指的是天际线拟合直线。多元样本数据，本发明中为分割质量Q和弯曲度T的量化值；y代表样本数据的类别，y(i)=1代表天际线拟合直线可靠，精度较高；y(i)=0代表天际线拟合直线不可靠，精度较低。本置信度估计算法中，存在两个先验假设：一是样本数据的类别y在给定的情况下服从伯努利分布，二是不同类别中的样本数据x分别服从多元高斯分布：[0096]y～Bernoul代表多元高斯分布的期望和协方差。那么有：[0114](1.3)由高斯判定分析得出的置信度取值区间为[0,1],运用ROC曲线进一步确定[0134]本实施例的应用场景为：通过对无人机前视摄像机捕获的图像进行天际线检即可实现逐像素精准分割天空与非天空区域。[0136]步骤A:将无人机前视摄像机实时捕获的图像作为输入图像I,通过一种以VGG16为解码网络、反卷积为上采样方式的全卷积神经网络结构Nfu₁,实现天空与非天空的像素级[0141]本实施例采用VGG16作为编码网络，通过连续的卷积层和池化层实现特征提取，生成对应的热图。不同地是，本编码网络将VGG16的三个全连接层改为卷积层，其余保留。其下：本实施例中，编码网络的输入图像尺寸设定为256×256×3,经过一系列的卷积层和池化层，图像尺寸缩小为15×15×512的数据体。将VGG16的第一个全连接层调整为卷积核尺寸是k=7的卷积层，输出特征图尺寸为9×9×4096;将VGG16第二个全连接层调整为卷积核尺寸是k=1,深度c=2的卷积层，输出特征图尺寸为9×9×4096;将VGG16第三个全连接层调整为卷积核尺寸是k=1,深度c=2的卷积层，输出特征图尺寸为9×9×2,该特征图则为编码网络输出的热图H。[0142]2)采用反卷积的解码网络[0143]该全卷积神经网络采用反卷积的方式进行上采样，对图像进行放大，但往往无法刚好放大到原图尺寸，需要进一步的尺寸修剪，最后解码为与原图大小一致的概率图M。经过上采样之后图片尺寸放大为320×320×2,随后裁剪为256×256×2的概率图M。通过以上方式，将热图恢复到输入图像相同的尺寸，解码成像素对像素的分类概率值。[0144]3)模型训练[0145]将概率图M进行类别标定，生成分割二值图0。分割二值图上的每个点的值表示对应位置所在像素的预测分类，通过计算预测分类与实际分类的softmax损失函数进行梯度更新与模型训练。[0146]4)最优直线方程提取[0147]将图像或者实时视频信息输入到已经训练完成的全卷积神经网络中，输出与原图大小一致的分割二值图，根据分割二值图获取被预测分类为天空区域的最大轮廓坐标，提取下方边界坐标作为检测出来的天际线坐标集Usky;[0150]所述步骤B中的具体步骤如下：[0151]1)求取全卷积神经网络的分割质量Q和预测天际线弯曲度T。[0152]本发明中，高斯判别分析算法需要通过对分割质量Q和弯曲度T进行多元高斯建模，以对检测结果的可靠性进行评估。本实施例中提出，分割质量Q为天空与非天空区域的平均概率差的绝对值，表征的是全卷积神经网络检测结果的准确性；天际线弯曲度T为预测天际线S,与其通过最小二乘法获得的拟合直线L,之间的平均像素距离，衡量的是检测出的天际线的弯曲程度。分割质量Q和天际线弯曲度T的计算公式如下：的像素成为天空的平均概率值。分割质量Q越大，代表天空和非天空像素成为天空的概率差值也就越大，证明分割效果越好。Rsp()和RLp(1)分别代表预测天际线S。和拟合直线L,在图像第j列的行数，N是测试图像或视频中的总列数。[0158]2)准备多元样本数据进行离线训练。[0159]多元样本数据可以表示为(x(1),y(1),(x(²),y²),(x(³,y(³)),…,(x(四),y(m),y(i)∈0,1。x代表多元样本数据，本实施例中为分割质=1代表天际线检测结果可靠，精度较高；y(i)=0代表天际线检测结果不可靠，精度较低。对于真实样本类别y的取值，本实施例根据预测天际线S、实际拟合直线L与预测拟合直线L之间的平均像素误差来判定。具体标签设定规则如下：[0162]由高斯判定分析得出的概率值取值区间为[0,1],需要运用ROC曲线进一步确定最佳分类阈值，以获得最佳的分类结果。ROC曲线中的横坐标与纵坐标分别为真正率TPR和假正率FPR.ROC曲线是通过遍历所有阈值来绘制