CN113780395B 海量高维ais轨迹数据聚类方法 （西南电子技术研究所（中国电子科技集团公司第十研究所））

本发明公开的一种海量高维AIS轨迹数据聚对AIS轨迹数据预处理并进行线性插值和数据补全；将预处理后的AIS轨迹数据输入到自编码器2始AIS数据存在的缺失值进行线性插值填充和数据补全；对插值补全后的船舶自动识别系4)构建深度聚类网络：将预训练好的编码器加入聚类层首先将数据与聚类中心聚点的欧氏距离转化为条件概率来表征数据点分配给聚类中3.如权利要求2所述的海量高维AIS轨迹34.如权利要求1所述的海量高维AIS轨迹数据聚类方法，其特征在于：为点xi与xj之间的相似度，将轨迹点中的每一个属性分量映射到0～1的范围内，对插值补全head的归一化后的属性值x'：5.如权利要求1所述的海量高维AIS轨迹数据自动编码器输出轨迹特征数据Trji降维后的特征，编码器将高ii个完全对称的神经网络的自动编码器和解码器，自编码器完成对输入轨迹数据进行编码，从自编码器网络低维的轨迹数据特征恢复原始输入数据；自编码器网络是一个具有9层网7.如权利要求1所述的海量高维AIS轨迹数)。8.如权利要求1所述的海量高维AIS轨迹数4i是轨迹Trji经编码器网络映射后在低9.如权利要求8所述的海量高维AIS轨迹数据聚5[0002]时空轨迹是移动对象位置和时间的记录序列，作为一种重要的时空对象数据类有意义的轨迹模式。船舶轨迹数据是时空轨迹数据的一种,记录了船舶的航行过程和相应集特性的数据源,如何从这些海量的数据中挖掘出所蕴含的有价值的信息，对于研究船舶电子信息显示技术为一体的数字助航系统和设备。船舶自动识别系统AIS可以不间断地发中,一般直接接入全球定位系统的位置、速度等信息,这些信息经由船舶[0005]1)缺失数据的处理。缺失数据处理主要是针对船舶轨迹数据中的静态数据,如船[0006]2)降维归约。船舶轨迹数据包含6[0008]船舶轨迹聚类方法的聚类就是要将具有相似行为的对象划分到同一组中,使得组分析船舶交通流特征或个体船舶的行为。基于距离的船舶AIS轨迹聚类方法的本质是按照一种无监督的数据挖掘方法，通过对象之间的相似度度量将原始数据集划分为多个类簇，(Euclideandistance)、豪斯多夫距离(HausdorffDistance，HD)、动态时间规整距离要包括以K-means为代表的基于划分聚类算法，以BIRCH为代表的基于层次聚类算法，以STING为代表的基于网格聚类算法，以SpectralClustering为代表基于谱聚类算法，和以DBSCAN为代表的基于密度聚类算法。基于距离的轨迹间相似度度量方法是一种常用的方聚类方法存在的缺陷,如需要指定聚类数目、聚类结果常会受到初始聚类中心的严的相似度,但是计算方法又有所不同，DTW的策略是轨迹点与点之间逐点匹配的方法,由此带来的一个不足是计算量大,并且对孤立的点比较敏感,同时,当两条轨迹在一小段内不相似时,就会出现聚类结果不理想的情况。ED虽然可以用于船舶轨迹聚类计算,并且可以克服DTW的缺口问题,但是,仍然存在计算量大,并且对异常轨迹敏感的问题。马文耀等人提出了一种基于单向距离的谱聚类船舶运动模式辨识方法,该距离定义为一条船舶轨迹上各个点到另一船舶条轨迹中各点的最小距离的平均值,利用单向距离抗干扰的特点,构建基于单向距离的船舶AIS轨迹相似性度量,得到船舶AIS轨迹的7于距离的聚类方法对船舶轨迹聚类具有算法简单、实现容易的优点,但由于迹相似度度量方法本身的不足,仍然存在容易丢[0011]刘涛等人将船舶概念引入DBSCAN算法,对船舶轨迹进行聚类.DBSCAN算法将每个对象看作一个质点,而实际的船舶交通流中每个船舶的大小是不一致的,这导致了在较小增船舶最大的船速变化量(MaxSpd)和最大的航向变化量(MaxDir)两个变量,在综合考虑对定义,对MaxSpd和MaxDir进行调整,实现对船舶轨迹的聚类,提取船舶轨迹的主航路，与基于距离的船舶轨迹聚类方法相比,采用DBSCAN及其改进算法对船舶轨迹进行聚类,其优势主要表现在能发现任意形状的船舶轨迹簇,且对异常的船舶轨迹鲁棒性较强,轨迹聚集的结构与样本轨迹的遍历顺序也无关.但是,也存在一些缺点,主要是当船舶轨迹的密度不均简单,实现容易,但是在聚类过程中容易丢失轨迹的局部信息,基于密度的方法虽然可以对任意形状船舶轨迹聚类,但是当船舶轨迹数据簇间密度不均匀时,聚类效果差,基于统多维时空数据,并且数据量大,其聚类分析还存在一些技术上亟待解决的问题,例如如何高效处理海量船舶轨迹数据,如何在聚类中更好地表现船舶AIS轨迹数据中的多维属性,如何数据挖掘获得的结果与可视化相结合也是一个值8数据的局部和全局结构之间的软边界。t-SNE是目前来说效果最好的数据降维与可视化方[0014]为满足海量高维AIS轨迹数据的聚类需求，本发明的目的是针对现有技术存在的9[0015]本发明的上述目的可以通过下述技术方案予以实现，一种海量高维AIS轨迹数据[0016]1)AIS轨迹数据预处理：提取船舶轨迹数据，将MMSI号相同的轨迹点作为一条轨机器学习中的t-SEN思想，将数据与聚类中心聚点的欧氏距离转化为条件概率来表征数据[0021]本发明将AIS数据中的MMSI号相同的轨迹点作为一条轨迹，依据航向信息分成多中的每一个属性分量映射到0～1的范围内；弥补了现有AIS轨迹聚类方法中的轨迹相似性[0022]本发明使用编码器和解码器构成的自编码器网络进行AIS轨迹特征提取和降维，练好的自编码器中的编码器部分，可以将原始的海量高维AIS轨迹数据映射到10维特征空[0025]本发明提出的基于深度嵌入聚类的船舶AIS轨迹数据聚类方法，不需要根据经验算法效率；获取聚类初始聚点部分，可使用任意一种常见的聚类算法，比如K-means/[0041]1)AIS轨迹数据预处理：提取船舶轨迹数据，将MMSI号相同的轨迹点作为一条轨机器学习中的t-SEN思想，将数据与聚类中心聚点的欧氏距离转化为条件概率来表征数据[0056]数据归一化。为加速网络的训练速度和提高计算效率，给定一个N个高维的数据xj之间的相似度，将轨迹点中的每一个属性分量映射到0～1的范围内，对插值补全AIS数一化后的属性值x'：~1范围内。[0072]构建损失函数训练聚类。为使聚类层