CN112699116B 一种数据处理方法和系统 （北京京东尚科信息技术有限公司）

计算机技术领域。该方法的一具体实施方式包和/或指示所述待处理数据存储状态的位图，用2根据所述处理类型，调用用于存储所述待处理数据的数据集合和/或指示所述待处理根据所述待处理数据和所述位图段容量，确定所述位图记录所述根据所述待处理数据和所述数据集合页容量，确定所述数据集合存在所述处理类型为校验所述待处理数据是否存在的情况下，调在所述存储状态为第一值的情况下，判定所述待处理数据存将所述待处理数据添加到所述页编号对应的数据集合页所指示的位置在所述段落号对应的位图段所指示的位置上，将所述在所述处理类型为获取全部待处理数据的情况下，根据所述数所述数据处理装置，用于接收数据处理请求，所述数据处理请求指据的数据集合和/或指示所述待处理数据存储状态的位图，用以对所述待处理数据进行处根据所述待处理数据和所述位图段容量，确定所述位图记录所述根据所述待处理数据和所述数据集合页容量，确定所述数据集合存在所述处理类型为校验所述待处理数据是否存在的情况下，调3在所述存储状态为第一值的情况下，判定所述待处理所述数据服务装置，用于从所述数据存储装置中调用用于存储所述待将所述待处理数据添加到所述页编号对应的数据集合页所指示的位置在所述段落号对应的位图段所指示的位置上，将所述所述数据服务装置，用于从所述数据存储装置中调用用于存储所述数据的数据集合，待处理数据推送至第二消息队列；4所述待处理数据的存储状态设置为第一值，或将所述待处理数据的存储状态设置为第二5用用于存储所述待处理数据的数据集合和/或指示所述待处理数据存储状态的位图，用以于从所述数据存储装置中调用用于存储所述数据的数据集合，根据所述数据集合的页编6[0021]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加[0028]图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意采用分页式数据集合存储待处理数据，同时采用分段式位图指示待处理数据的存储状态，7为1的数据集合页可存储100-199的待处理数据，页编号为130的数据集合页可存储1300-编号为0-999999的每一位上的数值指示了待处理数据0-999999的存储状态，段落号为1的位图段通过位置编号为0-999999的每一位上的数值指示了待处理数据1000000-1999999的存储状态，段落号为2的位图段通过位置编号为0-999999的每一位上的数值指示待处理数所述待处理数据和所述数据集合页容量，确定所述数据集合存储所述待处理数据的页编落号为0的位图段中编号为1301的位上存储的数值指示了待处理数据138号为13，且待处理数据1301在页编号为130的数据集合页中的存储顺序或者对应的位置编[0041]可以理解的是，由于分段式位图与分页式数据集合的待处理数据存储结构不9为0的数据集合页中获取待处理数据数据存储装置302中调用用于存储所述待处理数据的数据集合和/或指示所述待处理数据储装置302中调用用于存储所述待处理数据的数据集合和指示所述待处理数据存储状态的[0057]数据服务装置303可独立于数据处理装置301单独进行部署，如在其它服务器上装置301既可以直接调用数据存储装置302中的数据集合和位图进行待处理数据的添加或实现了数据处理装置301与数据服务装置303之间的解耦，缓解了数据处理装置301或数据述数据服务装置303，用于从所述数据存储装置302中调用用于存储所述数据的数据集合，队列实现待处理数据的获取，该第二消息队列既可以是已经建立并存储在数据存储装置直接调用数据存储装置302中的数据集合，并通过数据结合页的页编号分页拉取待处理数处理装置301与数据服务装置303之间消息生产或消费压力，如当数据处理装置301的消息消费量小于数据服务装置303的消息生产量时，可以通过见降低第二消息队列的长度降低装置303的消息生产量时，可以通过增加数据服务装置303的线程提升数据服务装置303的[0062]可以理解的是，在数据存储装置为Redis的情况下，既可以作为缓存存储数据集列。[0063]图4示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而的计算机程序根据需要被安装入存储部分5发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，[0077]根据本发明实施例的技术方案，上述发明的技术方