CN114253743B 消息同步方法、装置、节点及可读存储介质 （重庆紫光华山智安科技有限公司）

第一节点通信的第二节点，第二节点包括主分三编号与第二编号之间的消息同步至第一存储2获取最近一次消费的消费消息的第一编号，其中，所述第一编号若所述第二编号与所述第一编号的差值小于预设值、且所述第一若所述第二编号与所述第一编号的差值大于或者等于所述预设值将所述第一存储区域中最早存储的所述迁移条数的消息迁移至所述第二将所述第三编号开始的所述迁移条数的目标消息同步至所述第一将所述第三编号和所述第二编号之间除所述目标消息之外的消息同步至所述第二存将所述编号差值和所述预设值之间的最小值作为若所述备份分区满足所述替换条件，则根据选举机制将所述备份分区作为新的主分若所述第二存储区域存在所述第二编号的消息，则判定所述若所述第二存储区域不存在所述第二编号的消息、且所述第二编号等于所述第一编若所述第二存储区域不存在所述第二编号的消息、且所述第二编号大于所述第一编3将所述第一存储区域中的消息写入所述第二获取模块，还用于获取本地预先存储的、最近一次从所所述第二编号之间的消息同步至所述第一存控制器执行时实现如权利要求1-7中任一项所4[0002]Kafka是一种高吞吐量的分布式发布订阅消息系统，生产者将生产的消息推送至写入消息的第三编号与所述第二编号之间的消息同步至所述第一存56[0029]生产者将生产的消息推送至kafka，kafka负责管理消息并提供接口供消费者从集群状态信息；(2)负责监听每个broker的状态信息，一旦发现broker宕机，负责从其余分布在broker2、其两个备份分区分别分布在broker1和broker3，分区3的主分区分布在7[0036]存储器12用于存储程序，例如本发明实施例的消息同步装置100，消息同步装置100包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块，控制器11在接收到执行指令后，执行所述程序以实现本发明实施例中揭示的消息同步方元(MicrocontrollerUnit，MCU)、复杂可编程逻辑器件(ComplexProgrammableLogic[0039]通信接口14可以有多个，节点10可以通过不同的通信接口14与其他设备进行通8分区master和两个备份分区follower为例，master负责接收发送端发送的数据并写入磁盘，并且也负责消费端的读取数据请求，相当于发送与消费客户端都只与master交互，master的offset在未及时同步时会大于follower的offse[0048]Kafka为了保证消息的可靠性，发送的响应ack有3种类型(可以用3个不同的数字[0049]Kafka的消息删除策略，只是简单的根据消息存留时间设置或者大小设置进行删9[0070]本实施例提供的上述方法，通过将从主分区中的消息优[0073]在本实施例中，每个消费者处理了主分区中的消息后，会提交自己已经消费的offset编号(各消费者中最小的offset编号即为第一编号)到kafka，每个消费者提交的式的目录，例如/offsets/topic(名称)/partition(编号)/A～Z(消费者名称)，定时计算编号)。offsetlowest表示这个主分区所有消费者都已经处理到的offset的最小值，[0074]备份分区follower会监听/offsets/topic(名称)/partition(编号)/lowest节点息同步，保证了此异常场景下消息的可靠性。由于一个消费者消费异常只影响其所在的消息数据的可靠性，此时会从备份分区中选取新的主分区，以提高整个kafka集群的可靠[0096]在本实施例中，替换条件用于表征备份分区在满足需求的情况下能够替代主分区的方式进行消息存储，即写入的消息不再存储于第一存储区域而只存储于第二存储区度，即配置一部分topic使用或者不使用本发明实施例提供的第一存储区域和第二存储区[0108]如果kafka集群的流入流量为150M，消息从生产到全部消费者处理消费成功约为(a)为本发明实施例提供的正常消费情况下消息同步的具体应用示例图，图10(a)中，follower分区不断从master分区中同步数据，master分区最新的消息(对应第三编号的消息)offsetmaster＝10338，follower分区同步到的最新消息(对应第二编号的消息)offsetfollower＝10337。消费者A，消费者B处理到的消息offset为10335，分别在息offset为10334，在zookeeper的/offsets/VMS/0/C下写入10334的值，定时计算求出/offsets/VMS/0/下面的消费者A、B、C处理到的消息offset的最小值，为10334，写入/[0110]follower分区监听/offsets/VMS/0/lowest节点的变化，得到offsetlowest的段存储，同时删除内存段中offsetlowest以下的消息数据。比如图10(a)中的10333的消应用示例图，以消费者C异常为例，/offsets/VMS/0/C不增长或者增长缓慢，对应offsetlowest值也会不增长或者增长缓慢。消费者C的处理offset停止在20002，导致offset[0112]需要说明的是，如果后续消费者C恢复正常，处理的offset增长快速，offset二编号之间除目标消息之外的消息同步至第[0124]作为一种具体实施方式，替换模块130在具体用于根据选举机制将备份分区作为则将主分区中最近一次写入的写入消息的第三编号与第二编号之间的消息同步至第一存