CN111723110B 分布式缓存系统及关联查询和更新方法、设备与存储介质 （阿里巴巴集团控股有限公司）

缓存中进行关联查询，无需到数据源上进行查保证基于内存缓存的关联查询结果的准确性和2所述读节点的内存缓存中存储有数据源中的指定数据，用于根据所定数据对外提供关联查询操作，并根据所述写节点的通知更新所述内存缓存中的指定数所述写节点，用于在所述数据源中的指定数据发生变更的情况下，通所述指定数据包括待关联表项和目标表项，待关联表项是指在关联接收应用系统发送的数据源更新通知，所述数据源更新通知将所述数据源中指定数据的变更信息发送给所述读节点，以供所所述增量版本信息库存储所述指定数据的变更信息；所述读节点的持久所述读节点还用于：在启动时，加载本地持久化存储介质中的基础缓在接收到所述数据源更新通知后，将所述指定数据的变更按照基础缓存文件的构建周期，周期性地根据所述数据源中的指定数据所述读节点还用于：将所述指定数据中第二类表项中的索引和第其中，所述第一类表项是指表项容量小于设定阈值的表项，所述第二从所述过滤条件中解析出待关联表项、目标表项以及所述待关联表根据所述待关联表项与目标表项之间的关联路径和所述查询项，3从所述过滤条件中解析出待关联表项、目标表项以及所述待关联表根据所述待关联表项与目标表项之间的关联路径和所述查询项，所述读节点的内存缓存包括：索引区和数据区；所述索引区存储所其中，所述第一类表项是指表项容量小于设定阈值的表项，所述第二按照所述关联路径在所述索引区中进行查询，获取所述目标表项中满足数若所述目标表项是第一类表项，从所述索引区中获取所述主键ID若所述目标表项是第二类表项，从所述数据区中获取所述主键ID根据所述查询项，对所述主键ID列表中各主键ID对应的数所述读节点在启动时，加载本地持久化存储介质中的基础缓存文件和根据所述基础缓存文件和所述指定数据的变更信息构建出本地内存缓存中的指定数根据所述基础缓存文件和所述指定数据的变更信息构建出所述指定数据中的第一类将所述第二类表项中的索引和第一类表项存储至所述索引区，将4接收所述分布式缓存系统中的写节点发送的所述数据源中指13.根据权利要求12所述的方法，其特征在于，所述数据源中指定数据的变更信息包所述根据所述数据源中指定数据的变更信息，对本地内存缓存中的指定数据进行更根据所述目标数据所在表项的标识，从本地内存缓存中确定所述14.根据权利要求13所述的方法，其特征在于，若所述目标数据的变化方式为新增数若所述目标表项为第一类表项，则在所述索引区的目标表项中增加以所述主键ID为若所述目标表项为第二类表项，则在所述索引区添加以所述主若所述目标数据的变化方式为删除数据，则按照所述目若所述目标表项为第一类表项，则在所述索引区的目标表项中删除以所述主键ID为若所述目标表项为第二类表项，则在所述索引区删除以所述主接收应用系统发送的数据源更新通知，所述数据源更新通知包将所述指定数据的变更信息发送给所述分布式缓存系统中的读节根据所述变更信息对本地内存缓存中的所述指定数据进行更新并基于指定数据对外提供所述指定数据包括待关联表项和目标表项，待关联表项是指在关联5所述存储器包括内存缓存和其它存储空间，所述内存缓存中存储从所述过滤条件中解析出待关联表项、目标表项以及所述待关联表根据所述待关联表项与目标表项之间的关联路径和所述查询项，通过所述通信组件接收接收应用系统发送的数据源更新通知，所通过所述通信组件将所述指定数据的变更信息发送给所述分布式缓存系统中的读节所述指定数据包括待关联表项和目标表项，待关联表项是指在关联一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求15所述方法中的步所述读节点的内存缓存中存储有所述数据库中的指定数据，用于根据所所述写节点，用于在所述数据库中的指定数据发生变更的情况下，通所述指定数据包括待关联表项和目标表项，待关联表项是指在关联67表项和目标表项。[0011]本申请实施例还提供一种数据源更新方法，适用于分布8述读节点根据所述变更信息对本地内存缓存中的所述指定数据节点根据所述变更信息对本地内存缓存中的所述指定数据进9[0026]针对现有基于数据源的关联查询效率较低的技术问题，点12通知读节点11对其内存缓存进行更新，可为读节点11对外提供关联查询操作提供基语言(StructuredQueryLanguage，SQL)或领域专用语言(DomainSpecifiedLanguage，联表项与目标表项之间的关联路径为多条，则读节点11可以从确定出的多条关联路径中，表表项；数据区用于存储大表表项中的数据。例如，在读节点11实现为Java虚拟机(Java用读节点11的堆外内存实现，堆外内存是JVM的堆以外的内存，能更高效利用机器整体内类表项。或返回给发起关联查询请求的用户。[0050]在本实施例中，基础缓存文件的构建过程可以由任意一个或多个写节点12执[0052]本申请实施例提供的分布式缓存系统除了提供基于内存缓存的关联查询服务之的指定数据的变更信息通知读节点11对其内存缓存中的指定数更信息对内存缓存中存储的数据源中的指定数据目标数据的属性值为键和目标数据的主键ID当写节点12将数据源中指定数据的变更信息作为增量版本数据持久化至增量版本数据源[0067]本申请实施例提供的分布式缓存系统可应用到各种涉及数据库关联查询的场景及它们之间的关系，这些数据可存储在配置管理数据库(ConfigureManagement[0070]在本实施例中，分布式缓存系统10c中的读节点和写节点的数量可以是一个或多[0076]图2为本申请实施例提供的一种基于分布式缓存系统的关联查询方法的流程示意项和目标表项。[0089]进一步，为了使分布式缓存系统能够更有效地利用读节类表项。中第二类表项中的索引第一类表项和存储至索引区，并将第二类表项的数据存储至数据持久化存储介质中存储的最近一次构建周期到达时数据源中指定数据的快照、镜像或复缓存中的指定数据，基础缓存文件是读节点在启动时构建内存缓存所需的一种数据基础。数据源中的指定数据保持一致，为在读节点的本地内存缓存中进行关联查询提供数据基[0099]图3为本申请实施例提供的一种基于数据源缓存的更新方法的流程示意图。该方类表项数据，则需要先通过目标数据的主键ID找到主索引中缓存数据项对应的数据区指写节点将数据源中指定数据的变更信息作为增量版本数据持久化至增量版本数据源缓存机指令被一个或多个处理器执行时，致使一个或多个处理器执行上述关联查询方法和/或[0112]图4为本申请实施例提供的另一种数据源更新方法的流程示意图。该方法适用于节点根据该变更信息对本地内存缓存中的数据源中的指定数指对数据源中的指定数据具有修改权限的系统。在应用系统对数据源中的数据进行更新[0119]在一种可选实施例中，写节点可根据初始读节点列表来维护在线的读节点列写节点将数据源中指定数据的变更信息作为增量版本数据持久化至增量版本数据源缓存[0124]需要说明的是，上述实施例所提供方法的各步骤的执行标表项。载本地持久化存储介质中的基础缓存文件和分布式缓存系统中的增量版本信息库中的指[0132]进一步，处理器50b在根据基础缓存文件和指定数据的变更信息构建出本地内存及将指定数据的变更信息通过通信组件60c发送给分布式缓存系统中的读节点，以供读节点根据变更信息对本地内存缓存中的指定数据源中指定数据的变更信息发送给读节点，以便读节点根据数据源中指定数据的变更信由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0157]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该