CN115905242B 海量船舶历史轨迹数据存储系统及查询方法 （中国人民解放军海军工程大学）

US2014156806A1,2014.06.05海量船舶历史轨迹数据存储系统及查询方法本发明所设计的一种海量船舶历史轨迹数块和数据维护模块。根据船舶轨迹数据结构特点，完成对船舶历史轨迹数据的有序组织和存同时维护本地索引和对应的数据存储分区在同结构的基础上，基于并行查询方法实现查询方2本地索引模块(2)包括若干个本地索引分区(5)，所有的本地索引分区(5)均存储在内每个本地索引分区(5)包括一个时空索引(6)和一个船舶标识时间索引(7)，在查询船识时间索引(7)根据船舶标识关键词和时间关维护模块(3)用于同步处理轨迹存储分区(4)和对应本地索引分区当某个轨迹存储分区(4)由于存储的数据量超过存储阈值而发生拆分，形成新的轨迹存储分区(4)时，数据维护模块(3)用于同步将对应的本地索引分区(5)拆分为新的本地索类型的列又可构成列族，使用一张单独的H是指同一船舶中不同的轨迹数据是按照时间3所述轨迹段为船舶在某个时间区间中所产生的连续、有序的船舶轨组合船舶标识mmsi和时间区间ti属性其中，mmsi为水上移动通信业务标识码，ti表示时间区间，由于rk船舶标识时间索引(7)中船舶标识的索引项以二元组C(mmsi,bptree)5.一种利用权利要求1所述系统进行并行化海量船舶历史轨迹数据查询的方法，它包间关键词qsk与查询船舶标识集合qms三个查询条件至少一个不为空，若查询时间关键词步骤201：对于每一个本地索引分区，首先通过查询时间关键词rkm,n代表MMSI为m的船舶在时间区间ti步骤202：通过查询时间关键词qtk和查询船舶标识集合qms查询船舶标识时间索引MMSI为i的船舶在时间区间tij产生轨迹段的4键集合mcrks0中所有候选行键对应行的轨迹数据，接着通过查询时间关键词qtk和查询空间关键词qsk对一个行键对应轨迹存储分区中一行的轨迹数据进行过滤，得到轨迹存储分查询空间关键词qsk查询时空索引(6)，在搜索时空索引qtk搜索时空索引(6)上层的分类索引，若分类索引的某一索引项二元组A(tc,rtree)满足元组A(tp,mbr,rcns)时，若结点指针的集合rcns去搜索该结点的子结点；每搜索到rtree中的一个叶子结点三元组B项指针的集合tses去搜索该结点包含的索引项；每搜索到一个索引项二元组B(rk,mbr1)rkm,n代表MMSI为m的船舶在时间区间tiq所述步骤202的具体过程为：通过查询时间关键词qtk和查询船舶标识集合qms查询船舶标船舶标识时间索引(7)中mmsi对应下层B+树，接着通过qtk通过自顶向下的方式搜索qpbptreeq，每搜索到bptreeq的一个中间结点(tp,bcns)时，若该中间结点(tp,bcns)满足中的一个叶子结点四元组(pre,next,tp,mes)时，若该叶子结点满足tpNquk0,则提取指针pre以及指向后一个叶子结点的指针next搜索与该叶子结点相连的叶子结点，设tpp,mesp分别表示通过pre指针与(pre,nppp5中rki,j代表MMSI为i的船舶在时间区间tij产生轨迹所述步骤203中通过候选行键集合crks2得到候选行键集合mcrks0的具体过程为：对候选行所述步骤204的具体过程为：顺序读取选行键集合mcrks0的每一个元素，对于当前元素g的采样时刻不在查询时间关键词qtk范围内或轨迹点pg,d的空间位置不在查询空间关键词g6发生，越来越多的船舶开始配备船舶自动身份识别系统(AIS,AutoIdentification[0004]实现对海量历史船舶轨迹数据有效的分析和挖掘离不开高效存储和查询技术的[0010]本地索引模块包括若干个本地索引分区，所有的本地索引分区均存储在内存之7[0011]每个本地索引分区包括一个时空索引和一个船舶标识时关键词qsk与查询船舶标识集合qms三个查询条件至少一个不为空，若查询时间关键词qtk键词qsk查询时空索引，得到查询结果候选行键的集合crks0，crks0＝{rk0,1,rk0,2,…,m,n代表MMSI为m的船舶在时间区间tin产生轨迹段的行键；[0017]步骤202：通过查询时间关键词qtk和查询船舶标识集合qms查询船舶标识时间索[0022]本发明针对现有船舶历史轨迹数据存储装置及查询方法使用时存在的存储模型8[0027]本地索引模块2包括若干个本地索引分区5，所有的本地索引分区5均存储在内存[0028]每个本地索引分区5包括一个时空索引6和一个船舶标识时间索引7，在查询船舶间索引7根据船舶标识关键词和时间关键词来定位查询时间范围和船舶标识；数据维护模块3用于同步处理轨迹存储分区4和对应本地索引分区5的拆分和迁移(若分区写入的轨迹[0029]当某个轨迹存储分区4由于存储的数据量超过存储阈值而发生拆分(拆分时尽量的轨迹存储分区4时，数据维护模块3用于同步将对应的本地索引分区5拆分为新的本地索一个文件被切分为多个数据块再存储到不同节点上)，集群中的单个计算机被视为一个节9个轨迹存储分区存储若干条船舶的轨迹数据，同一船舶的轨迹数据以轨迹段的形式连续、间不会插入其它船舶的数据，有序是指同一船舶中不同的轨迹数据是按照时间顺序存储tiii,j＝{p1,p2,…,pk}是指船舶shj在时间区间tii中采样轨迹点所形成的序[0033]轨迹段通过组合船舶标识和时间区间属性实现唯一标识，由于HBase表格Tabt使用行键(RowKey)来确定存储分区的数据所在的位置，因此当轨迹数据以轨迹段的形式存查询时可以减少跨节点的通信开销和排序开销，由于同一船舶数据连续存储在同一分区[0038]为了能够适用对船舶轨迹数据的索引，时空索引6中R树向子结点指针的集合，时空索引6中R树的叶子结点以三元组B(tp,mbr,tses)的形式记录，[0039]上述技术方案中，所述本地索引分区5中的船舶标识时间索引7采用分层混合结且船舶标识时间索引7存放在内存中，访问速度快，可以实现对船和时间关键词的查询支[0040]船舶标识时间索引7中船舶标识的索引项以二元组C(mmsi,bptree)的形式记录，此船舶标识时间索引7的上层结构以船舶标识间关键词qsk与查询船舶标识集合qms三个查询条件至少一个不为空，若查询时间关键词键词qsk查询时空索引6，得到查询结果候选行键的m,n代表MMSI为m的船舶在时间区间tin产生轨迹段的行键；[0046]步骤202：通过查询时间关键词qtk和查询船舶标识集合qms查询船舶标识时间索MMSI为i的船舶在时间区间tij产生轨迹段的询时间关键词qtk和查询空间关键词qsk对一个行键对应轨迹存储分区中一行的轨迹数据查询时间关键词qtk搜索时空索引6上层的分类索引，若分类索引的某一索引项二元组A向下(从树的根结点查询开始到叶子结点结束)搜索该索引项对应的R树rtree，每搜索到rtree的一个中间结点三元组A(tp,mbr,rcns)时，若该中间结点满足且即qtk的时间范围与中间结点的时间范围相交且qsk的空间范围与中间结点搜索到rtree中的一个叶子结点三元组B(tp,mbr,tses)时，若该叶子结点满足且mbrqsk*Q,即qtk的时间范围与中间结点的时间范围相交且qsk的空间范围与中间结点的空间范围相交，则通过指向轨迹段索引项指针的集合tses去搜索该结点包含的索引词相交，且空间范围与空间关键词相交的所有轨迹段的行键。由于时空索引6存放在内存q船舶标识集合qms查询船舶标识时间索引7，对于查询船舶标识集合qms中每一个查询船舶标识mmsiq，利用mmsiq搜索船舶标识时间索引7，若mmsiq搜索命中，设命中的索引项为结点(tp,bcns)满足即qtk的时间范围与中间结点的时间范围tp相交，则通过q叶子结点四元组(pre,next,tp,mes)时，若该叶子结点满足即qtk的时间范围方式搜索到的第一个时间范围与qtk时间范围相交的叶子结点，在完成对该叶子结点的搜索后，继续通过指向前一个叶子结点的指针pre以及指向后一个叶子结点的指针next搜索q前搜索叶子结点的时间范围不相交为止；设(pren,nextn,tpn,mesn)是通过next指针与next,tp,mes)相连叶子结点的指向前一个叶子结点的指针、指向后一个叶子结点的指针、qrki,j代表MMSI为i的船舶在时间区间tij产生轨迹段的行键。步骤202是通过查询时间关键词和查询船舶标识集合查询船舶标识时间索引7，目的是获取时间范围与查询时间关键词[0052]上述