CN114419152B 一种基于多维度点云特征的目标检测与跟踪方法及系统 （中国农业大学）

WO2020216316A1,2020.10.WO2021223367A1,2021.1WO2022001748A1,2022.01一种基于多维度点云特征的目标检测与跟及一种基于多维度点云特征的目标检测与跟踪2在移动平台上安装配置数据采集设备，所述数据采集设备包括通过目标分割将步骤S1获得的融合点云数据划分成若干相互独立基于多维度点云特征中的分类特征筛选出跟踪目标和非跟踪目标，根据跟踪目标的类别构造其形态学模型，通过交互式多模型确定其区域中目标检测值与滤波器预测值进行匹配；通过跟踪状态机对目标跟踪标志进行管理；根据移动平台和环境的具体情况，确定环境地图要素，将不同避障级别中所述步骤S2中，所述多维度点云特征提取从点云分布特征、点云邻域所述点云分布特征为基于点云团簇的点特征，表征点云作为高密度点分布区域的数所述点云邻域特征基于点云团簇的几何特征，表征点云团簇作为一3所述点云材质特征基于点云团簇在反射率维度的信息，对点云所述硬件同步方式为同步信号发生设备通过物理连接向三维激光所述软件同步方式为采集软件通过读取采集终端自身硬件时钟或指令所述多坐标系空间配准为通过刚体变换将三维激光雷达数据对应的传感性导航系统数据对应的车体坐标系和全球导航卫星系统数据对应的大地坐标系进行统一，各坐标系之间的变换矩阵通过设备安装的位置和移动平台相对参考原采用基于传感器地面点滤波方法、基于邻域分布地面点滤波方法或所述基于传感器地面点滤波方法通过三维激光雷达安装位置、三维激4所述基于邻域分布地面点滤波方法通过将融合点云数据进行栅格空间划分，获所述基于形态学地面点滤波方法将地面点云在形态学上近似为标准所述统计滤波对每个点的邻域进行统计分析，计算所述半径滤波对每个点设定半径的邻域内包含点数量进行计数，数量所述条件滤波设置指定的条件，对每个点是否满足条件进行判别，满采用基于划分的聚类方法、基于层次的聚类方法或基于密度的聚类方法所述基于层次的聚类方法利用自上而下的八叉树分割或自下而上的种子点生长原理，所述基于密度的聚类方法假设独立团簇具有较高的点云密度，将由低密(2)对地面投影点Gt1-8之前有边相连的点之间的距离进行比较，其中最大值为水平方50minmaxminpp阵，对步骤(5)中4个初始顶点进行旋转平移变换，即得到投影包围框PBR的4个顶点Gt_(7)将定向包围盒对应点云簇中高度最大值max_z_value与Gt_boundary1-4结合，得到基于分类特征组利用典型阈值将点云团簇划分为跟踪目标所述运动学模型表征跟踪目标的运动方式，对于不同的跟踪目标，通所述步骤S3中，通过构造多级感兴趣区域与目标跟踪窗口确定跟踪根据计算跟踪目标的投影包围框中心点到移动平台中心的距离远垂直投影感兴趣区域：对感兴趣区域中的目标仅进行垂直6代表量测值与预测值的归一化距离；Numt+1与Numt分别代表t+1与t时刻目标点云数目；AIt+1t通过将检测目标与跟踪器间的匹配问题抽象为有权二分图最小权完备匹配问跟踪寻回：丢失跟踪的目标在寻回期限内被检测且满足跟踪条件跟踪终止：丢失跟踪的目标在寻回期限内未能被检测或不满足跟踪条所述步骤S3中，通过基于跟踪状态保持统计的稳定跟踪判断保证结果7所述平均有效位移为经过稳定跟踪判断为稳定状态，且数据栅格环境地图的矩阵表示中每个栅格的内容构成通过位图表示，将不同的区域标记上不同的颜色或填充，以描述当前环9.一种应用如权利要求1-8任一项所述的基于多维度点云特征的目标检测跟踪方法的8[0003]激光雷达(Lightdetectionandranging,LiDAR)通过激光测距获取周围环境的[0005]基于检测的跟踪(Detectionbasedtracking,DBT)包含检测器和跟踪器两个关[0006]基于初始化的跟踪(Detectionfreetracking,DFT)需要人工指定初始跟踪目机器人等移动平台应用。9[0013]在移动平台上安装配置数据采集设备，所述数据采集设备包括三维激光雷达(3DLiDAR)、全球导航卫星系统(GNSS)和惯性导航系统(INS)；通过3DLiDAR获取环境点云信态估计需要对高精度的定位和姿态传感器进行融合。无人驾驶拖拉机顶部装配3DLiDAR，接收机的PPS授时信号或专用同步信号发生器产生的[0024]所述多坐标系空间配准为通过刚体变换将3DLiDAR数据对应的传感器坐标系、INS数据对应的车体坐标系和GNSS数据对应的大地坐标系进行统一，各坐标系之间的变换矩阵可通过设备安装的位置和移动平台相对参数据，经过坐标投影转换到以3DLiDAR为原点的空间直角坐标系，即传感器坐标系；3DLiDAR稳固安装在无人驾驶拖拉机的顶部，传感器坐标系下的点云数据可通过刚体坐标变[0026]经过时间同步与空间配准的点云数据，准确融合了周围环境信息与平台自身信拟合平面的法向量方向与竖直方向进行夹角计算，若夹角小于阈值则将拟合平面视为地较远的点云数据会因过于稀疏而无法完整表征目标的特征，且存在的噪声点易造成误检。[0040]所述统计滤波对每个点的邻域进行统计分析，计算点到其所有近邻点的平均距[0047]所述基于层次的聚类方法利用自上而下的八叉树分割或自下而上的种子点生长[0052]依次通过定向包围盒(Orientedboundingbox,OBB)、投影包围框(Projectionboundingrectangle,PBR)和正立包围盒(Uprightboundingbox,UBB)对各点云团簇进行v[0065](5)分别对参照两条直线的算数距离取最大值和最小值，得到4个最值Xmax、Xmin、minminmaxminpp[0077]本发明中提及的多维度点云特征包含具有量纲的矢量/标量和无量纲的矢量/标λ2[0088]基于多维度点云特征中的分类特征组筛选出跟踪目标和将跟踪目标基于跟踪特征组划分到具体的类[0090]具体地，S2.3中所述的多维度点云特征彼此之间存在相关性，通过主成分分析(Principalcomponentanalysis,PCA)、独立成分分析(Independentcomponent[0093]所述目标分类包括基于分类特征组典型阈值的跟踪目标筛选和基于分类特征组辆和其他目标。进行目标形态学分类的机器学习方法可选择Adaboost或Pointnet/[0105]Pointnet/Pointnet++是典型的深度学习方法，可直接以点云数据和训练标记为[0110]根据跟踪目标的类别构造其形态学模型，通过交互式多模型(IMM)确定其运动学[0120]车辆目标采用长方体模型进行形态学描述，且对长方体模型的边界进行拟合补[0126]车辆目标采用匀加速模型(Constantacceleration,CA)和恒定转弯率和速度幅度模型(Constantturnrateandvelocity,CTRV)进行描述，通过IMM自适应判断车辆目[0150]全局最近邻(Globalnearestneighbor,GNN)作为经典且高效的数据关联方法，在复杂的环境下也能快速反应。全局最近邻的核心是通过综合不同目标对象的跟踪特征，[0153]其中，CHANGE为差异度函数的值，其值越小，代表量测与预测的关联度越高；Distance代表量测值与预测值的归一化距离；Numt+1与Numt分别代表t+1与t时刻目标点云t+1tRange分别代表t+1时刻点云平均反射率、t时刻点云平均反射率和反射率得当前时刻检测器与跟踪器之间的最佳完备[0183]基于融合点云数据检测跟踪的目标信息，相比以移动平台为观测中心的相对观部路径规划和行为预测等后续处理的可靠性[0184]动静态目标判定，通过基于跟踪状态保持统计的稳定跟踪判[0234]无人驾驶拖拉机顶部装配3DLiDAR，实时获取环境中的三维点云信息；所获得[0247]经过地面点滤波与离群点滤波的已滤波点云数据中不同目标具有相对离散的分跟踪目标进行具体类别分类。所述跟踪目标如图9中具有长方形包围框(编号1和3)的点云[0266]行人目标和其他目标采用CV模型进行运动学描述；车辆目标采用CA模型(直线行踪状态动态调整参数的目标跟踪窗口共同确定跟踪目标的跟踪窗口。所述垂直投影ROI与球体(编号5和6)和圆柱形边界(编号1和3[0280]通过将检测目标与跟踪器间的匹配问题抽象为有权二分[0292]通过对经过稳定跟踪判断和奇异点滤除处理的数据取平均值，得到平均有效位[0295]栅格地图基于大地坐标系，坐标原点选择移动平台初始位置以减小地图面积开