CN119402553A 一种海量数据处理方法、系统、设备及存储介质 （质子汽车科技有限公司）

本发明公开了一种海量数据处理方法、系技术方案为：首先车端上传车辆数据给MQTTBroker集群根据车辆数据对应的MQTT主题接收的车辆数据按照对应的主题映射关系发送给订阅的Kafka主题发送车辆数据给平台端。本发明方法能够应对车联网领域海量数据场景下的2车端上传车辆数据给MQTTBroker集群，所述车辆数据包括但并不限于车辆的唯一标所述MQTTBroker集群根据所述车辆数据对应的MQTT主题接收所述车辆数据，并对所所述MQTTBroker集群将过滤后的所述车辆数据按照对应的主题映射关系发送给Kafka消息队列；所述Kafka消息队列根据平台端订阅的Kafka主题发送所述车辆数据给所述2.根据权利要求1所述的海量数据处理方法，其特征在于，所述MQTTBroker接收用户的桥接插件，所述插件为具备Kafka主题映所述MQTTBroker集群获取所述车辆数据对应的MQTT消息类型，并确定所述消息类型5.根据权利要求2所述的海量数据处理方法，其特征在所述MQTTBroker识别所述车辆数据对应的车辆唯一标识，根据所述车辆唯一标识的Hash值对映射后的所述Kafka消息队列的Kafka主题的分区数取模得读取所述插件的配置文件中所述车辆数据的主题映射关系，将所述MQTTBroker指定主题所接收的所述车辆数据根据所述分区标识转发给所述Kafka消息对所述车辆数据进行过滤，再将过滤后的所述车辆数据按照对应的主题映射关系发送给Kafka消息队列；所述Kafka消息队列，用于根据所述平台端订阅的Kafka主题发送所述平台端，用于发送订阅的主题内容给所述Kafka消息队列，并接收7.根据权利要求6所述的海量数据处理系统，其特征在8.根据权利要求6所述的海量数据处理系统，其特征在于34车端上传车辆数据给MQTTBroker集群，所述车辆数据包括但并不限于车辆的唯所述MQTTBroker集群根据所述车辆数据对应的MQTT主题接收所述车辆数据，并所述MQTTBroker集群将过滤后的所述车辆数据按照对应的主题映射关系发送给Kafka消息队列；5所述Kafka消息队列根据平台端订阅的Kafka主题发送所述车辆数据给所述平台[0006]本发明实施例提供的海量数据处理方法，首先车端上传车辆数据给MQTTBroker订阅的Kafka主题发送车辆数据给平台端。本发明方法能够应对车联网领域海量数据场景[0007]作为本发明再进一步的方案：在所述MQTTBroker集群根据所述车辆数据对应的所述MQTTBroker集群获取所述车辆数据对应的MQTT消息类型，并确定所述消息[0010]本发明通过对预设的需拦截消息类型进行拦截，避免无[0013]作为本发明再进一步的方案：所述MQTTBroker集群将过滤后的所述车辆数据按所述MQTTBroker识别所述车辆数据对应的车辆唯一标识，根据所述车辆唯一标识的Hash值对映射后的所述Kafka消息队列的Kafka主题的分区数取读取所述插件的配置文件中所述车辆数据的主题映射关系，将所述MQTTBroker指定主题所接收的所述车辆数据根据所述分区标识转发给所述Kafka[0014]本发明将车辆通过MQTT协议上报的海量消息按照自定义规则分发至Kafka消息队所述MQTTBroker集群，用于根据所述车辆数据对应的MQTT主题接收所述车辆数送给Kafka消息队列；6理器加载并执行以实现上述任一项所述的海量数据处理方法中所执行7[0027]在一个实施例中，在MQTTBroker集群根据车辆数据对应的MQTT主题接收车辆数[0028]本实施例中，在MQTTBroker处进行桥接插件配置，具体实现上以EMQX作为MQTTBroker，使用Erlang语言实现插件，插件具备Kafka主题映射、消息过滤功能，与MQTTMQTTBroker集群获取车辆数据对应的MQTT消息类型，并确定所述消息类型是否Kafka消息队列。[0034]在一个实施例中，MQTTBroker集群将过滤后的车辆数据按照对应的主题映射关MQTTBroker识别车辆数据对应的车辆唯一标识，根据车辆唯一标识的Hash值对映射后的Kafka消息队列的Kafka主题的分区数取模读取插件的配置文件中车辆数据的主题映射关系，将MQTTBroker指定主题所接收的车辆数据根据分区标识转发给Kafk8实际使用中，平台端作为消息消费者先订阅Kafka主题信息给Kafka消息队列，[0037]本发明实施例提供的海量数据处理方法，首先车端上传车辆数据给MQTTBroker订阅的Kafka主题发送车辆数据给平台端。本发明方法能够应对车联网领域海量数据场景[0039]基于上述图1对应的实施例中所描述的海量数据处理方法，下述为本发明系统实辆数据进行过滤，再将过滤后的车辆数据按照对应的主题映射关系发送给Kafka消息队列[0041]本发明实施例提供的海量数据处理系统，包括车端201、MQTTBroker集群202、对应的主题映射关系发送给Kafka消息队列203；Kafka消息队列203根据平台端204订阅的Kafka主题发送车辆数据给平台端204；平台端204发送订阅的主题内容给Kafka消息队列9[0045]本发明通过对预设的需拦截消息类型进行拦截，避免无车辆唯一标识的Hash值对映射后的Kafka消息队列203的Kafka主题的分区数取模得到分区车辆数据根据分区标识转发给Kafka消息队列[0049]本发明将车辆通过MQTT协议上报的海量消息按照自定义规则分发至Kafka消息队[0050]基于上述图1对应的实施例中描述的海量数据处理方法，本发明另一实施例还提少一条计算机指令，该指令由处理器加载并执行以实现上述图1对应的实施例中所描述的[0051]