CN119473549A 一种大规模gnss网分布式高性能解算方法 （自然资源部大地测量数据处理中心）

本发明提供了一种大规模GNSS网分布式高分布式单节点并行模式还是分布式集群并行22.如权利要求1所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述总数大于800个的单个节点算力不足以支撑的超大4.如权利要求1所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述S406、服务端将单日基线解算的任务及高性能解算参数提交给可动态扩容的进程池，5.如权利要求4所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述管道文件描述符等)；顾及本地计算机会有大规模GNSS网基线解算工作以外的其他任务需3主进程或特定的任务分发器负责监听各子网单日基线解算任子进程从主进程接收单日基线解算任务信息，并根据子进程完成任务后，通过文件写入、消息发送等方式将单日6.如权利要求1所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述S602、客户端基于TCP协议的网络套接字(Socket)技术向集群的主节点上传待解算数S606、将单日基线解算的任务及高性能解算参数提7.如权利要求6所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述4m为集群系统中主节点(Master)的逻辑核数，T为集群系统中从节点(Worker)的8.如权利要求6所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述主节点(Master)以广播的聚合通信方式向各个从节点(Worker)同步发送解算数据(主解算数据上传到各个Worker后，客户端(Client)利用RPC技术远程调用Master的基线与Worker协同并行计算；协同并行计算过程中，Master对各个Worker进行心跳监测采用平滑加权轮询(SmoothWeightedRound_Robin)的负载均衡算法来实现解算任务分各计算节点的进程接收到单日基线解算任务信息，并根据设定的参数执行文件读写、59.如权利要求1所述的一种大规模GNSS网分布式高性能解算方法，其特征在于：所述6[0002]随着我国北斗卫星导航系统(BDS)的全面建成及多系统GNSS技术的相互兼容和现中心CDDIS(CrustalDynamicsDataInformationSystem)存储的数据总量已超过20TB。来越难以满足国家和区域现代测绘基准强现势性需要，迫切需要研究新的数据处理方案。具体表现在：[0007]传统人工开启的窗口数具有很大的盲目性，无法充分挖掘和重复调度计算机资7适合于单日基线解算任务总数大于800个的单个节点算力不足以支撑的超大[0031]进程池根据预设的并发数创建主进程(管理进程)和相应数量的子进程(资源进8[0039]子进程从主进程接收单日基线解算任务信息，并根据设定的参数执行文件读写、[0046]S602、客户端基于TCP协议的网络套接字(Socket)技术向集群的主节点上传待解9[0053]其中，Cm为集群系统中主节点(Master)的逻辑核数，T为集群系统中从节点i为第i个从节点的逻辑核数，C'j为第j[0056]主节点(Master)以广播的聚合通信方式向各个从节点(Worker)同步发送解算数[0058]解算数据上传到各个Worker后，客户端(Client)利用RPC技术远程调用Master的[0060]采用平滑加权轮询(SmoothWeightedRound_Robin)的负载均衡算法来实现解算任较高的计算节点将分配到更多的解算任务，权重较低的计算节点将分配到更少的解算任图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明个以上。网基线解算多核并行与网络多节点并行的“时空一体化”双层(DistriSmp)和三层[0086]本实施例提供了一种如图1所示的大规模GNSS网分布式高性能解算方法，包括如适合于单日基线解算任务总数大于800个的单个节点算力不足以支撑的超大[0141]进程池根据预设的并发数创建主进程(管理进程)和相应数量的子进程(资源进[0149]子进程从主进程接收单日基线解算任务信息，并根据设定的参数执行文件读写、[0156]S602、客户端基于TCP协议的网络套接字(Socket)技术向集群的主节点上传待解[0163]其中，Cm为集群系统中主节点(Master)的逻辑核数，T为集群系统中从节点i为第i个从节点的逻辑核数，C'j为第j[0166]主节点(Master)以广播的聚合通信方式向各个从节点(Worker)同步发送解算数[0168]解算数据上传到各个Worker后，Client利用RPC技术远程调用Master的基线解算Worker协同并行计算；协同并行计算过程中，Master对各个Worker进行心跳监测[0170]采用平滑加权轮询(SmoothWeightedRound_Robin)的负载均衡算法来实现解算任较高的计算节点将分配到更多的解算任务，权重较低的计算节点将分配到更少的解算任[0171]普通加权轮询调度算法(WeightedRound_Robin)在某些特殊的权重下，由于不平每个节点i同时具有1个配置权重Wi和当前有效权重CWi，且CWi初始化为W[0176]2)获取当前有效权重列表CW中权重最大的节点，并将指示变量max_idx指向此位[0177]3)将节点Smax_idx当前有效权重CWmax_idx减去配置权重总和weightS[0178]4)将当前有效权重列表CW中的各元素CWi均加上配置权重列表W中相应的BCDE[0207](3)根据单日解精度水平进行初步粗差剔除，在水平和垂直方向分别设定域值进[0208](4)利用最小二乘残差法进行粗差探测与剔除。对各个站点坐标时间序列建立线[0219]采用分布式_单节点并行模式，对收集的820个基准站(含IGS站)2021年年积日为[0222]分布式单节点并行(DistriSmp)模式在与传统多窗口串行模式结果一致基础上，[0224]采