CN110569233A 一种热点数据的管理方法、装置及系统 （华为技术有限公司）

请求所访问的数据由第一集群和第二集群共同据并判断是否满足将该热点数据迁移至第二集热点数据迁移至第二集群并触发对该热点数据2判断是否满足将所述热点数据迁移至第二集在满足所述迁移条件时，将所述热点数据迁移至所述主控制单元管理至少一个哈希槽，所述哈希槽的所述第一集群中的第一主控制单元管理的哈希槽和所述第二集群中的第一主控制单4.如权利要求1至3任一项所述的方法，其特征在于，将字记录至关键字集合，所述关键字集合用于所述客户端确定所述访问请求对应的目标集验证所述热点数据与迁移前所述第一集群管理的7.如权利要求1至6任一项所述的方法，其特统计预设时间内所述资源使用量超过所述第一阈值的主控制单元管理的每个数据的3监控所述第二集群，所述第二集群管理所述第一集群迁移至所述第二集群的热点数统计预设时间内所述热点数据的访问次数，当所述热点数据的访问次数小于第四阈根据业务请求中的关键字，查询关键字集合是否包括接收数据库服务器发送的迁移信息，所述迁移信息包括所述热点数据对应的关键字，接收数据库服务器发送的第一迁移信息，所述第一迁移接收所述数据库服务器发送的第二迁移信息，所述第若所述关键字集合和所述第二集合包括所述若所述关键字集合不包括所述业务请求中的关键4所述主控制单元管理至少一个哈希槽，所述哈希槽的所述第一集群中的第一主控制单元管理的哈希槽和所述第二集群中的第一主控制单所述处理模块，还用于从所述第一集群中读取所述热所述迁移模块，还用于将所述热点数据和所述热点数据所述发送模块，用于向与所述第一集群和所述第二集群通信的客户端发送迁移信息，所述处理模块，还用于读取迁移完成后所述第一集群所述处理模块，还用于计算所述第一集群中每个主控制所述处理模块，还用于监控所述第二集群，所述第二所述迁移模块，还用于将所述非热点数据迁移至所述第5所述接收模块，用于接收数据库服务器发送的迁移信所述接收模块，用于接收数据库服务器发送的第一迁所述处理模块，还用于将所述热点数据和所述热点数据对应的关键字记录至第一集所述接收模块，还用于接收所述数据库服务器发送的第二迁移所述处理模块，还用于将所述非热点数据和所述非热点所述处理模块，还用于当所述关键字集合和所述第二集所述处理模块，还用于当所述关键字集合不包括所述6第一集群和所述第二集群共同管理，所述第二集群用于管理满足所述迁移条件的热点数7和所述第二集群通信的客户端发送迁移信息，该迁移信息携带所述热点数据对应的关键字，所述迁移信息用于指示所述客户端将所述热点数据对应的关键字记录至关键字集合，8中的每个主控制单元的资源使用量，对资源使用量超过第一阈值的主控制单元进行监控；统计预设时间内所述资源使用量超过所述第一阈值的主控制单元管理的每个数据的访问9通过传输控制协议(transmissioncontrolprotocol，TCP)连接或专属通道连接进行通之间采用回复确认机制以保证与所述迁移模块通信的所有客户端成功接收到所述迁移信送的第一迁移信息，所述第一迁移信息包括所述热点数据和所述热点数据对应的关键字，送的第二迁移信息，所述第二迁移信息包括非热点数据和所述非热点数据对应的关键字，和所述第二集合分别用于缓存未进行数据一发送的第二迁移信息，所述第二迁移信息包括非热点数据和所述非热点数据对应的关键所述第一集合中的与所述关键字对应的数据和所述第一集群管理的所述关键字对应的数槽分区，使用分散度良好的哈希算法将所有的数据映射到具有不同标识的哈希槽(slot)包括中央处理器(centralprocessingunit，CPU)2110、存储器2120和监控进程2130。CPU2110调用执行存储器2120存储的程序生成主控制单元2141、主控制单元2142和主控制控制单元2142和主控制单元2143所管理的数据。每个主控制单元或从控制单元是设备210中的所有主控制单元进行监控和管理。集群240中所有主控制单元所负责管理的slot的总主控制单元，然后由不同物理设备选择具体利用哪些主控制单元共同形成完整的副集群，署了主集群和副集群的主控制单元，设备210中的监控进程2130负责对两个集群中的主控个主控制单元并与之建立连接。此外，在建立连接之后，监控进程就可以使用redis中的以是组成该redis集群的任意一个部署了监控进程的物理设备，例如上述图2B中的设备[0093]需要说明的是，主集群使用哈希算法对待存放数据对应的key进行哈希运算得到示的slot是不一样的，例如slot1和slot2是两个不同的slot。而主集群一共包含16384个第一阈值，对主控制单元2141进行监控，主控制单元2141管理1000个slot，为slot1-元2141和2142、设备220中的主控制单元2231和2232以及设备230中的主控制单元2331和群中的主控制单元数量可以和主集群中的主控制单元数量相同，每个主控制单元负责的根据关键字进行哈希计算得到的slot的标识也是相同的。也就是说，如果将主集群中的数据库服务器)可以根据IP地址和端口号选择组成主集群和副集群的主控制单元，由于物选择主集群中的8个主控制单元管理标识为1-5000的slot，并且选择副集群中的两个主控在物理设备220；最后30个负责slot10001至slot16383的主控制单元部署在物理设备230。部署了主集群中负责slot0至slot5000的30个主控制单元和副集群中负责slot5001至[0109]在一种可能的实现方式中，对资源使用量(例如CPU资源使用量)超过第一阈值且存在热点数据的主控制单元进行统计，统计该主控制单元所管理的所有数据的总访问次制单元将面临巨大的业务压力，可能会导致副集群中的主控制单元被击穿而无法正常工性迁移过多的热点数据至副集群，使得副集群在短时间遭受大量访问请求的冲击而崩溃，据3的访问次数均超过了50000次，所以它们都是热点数据。而由于数据1被访问的次数最所有主控制单元(包括主集群中的主控制单元和副集群中的主控制单元)都具有相同的IP数据以及该热点数据对应的关键字的迁移过程以及实现逻辑与现有技术中数据的迁移过的，迁移模块和客户端可以采用回复确认机制来保证所有的客户端都接收到该迁移信息，[0124]应理解，上述方法实施例所涉及的步骤S301至步骤S303只是就是说，迁移模块从主集群中读取的热点数据与当前时刻主集群中的热点数据是不一致移过程中该热点数据发生改变，迁移模块是感知不到主集群中的热点数据已经发生了改副集群通信的所有客户端发送携带该热点数据以及该热点数据对应的关键字的第一迁移主集群迁移至副集群，还未经过数据一致性验证的所有热点数据和热点数据对应的关键字，即第一集合中包括所述第一迁移信息中携带的热点数据和该热点数据对应的关键字。信息中携带的热点数据以及该热点数据对应的关键字写入第一集合之后或者客户端中产集群管理的所有主控制单元进行实时监控或周期性监控对副集群的性能不会造成太大的数据和该非热点数据对应的关键字写入该主控制单元管理的与计算得到的slot标识对应[0142]在一种可能的实现方式中，迁移模块将非热点数据从副集群并将该迁移信息中携带的非热点数据以及该非热点数据对应的关键字写入第二集合之后[0146]应理解，上述方法实施例所涉及的步骤S501至步骤S505只是方法实施例中的具体细节可以参照上述S301-S303中的相关描述，为了简洁，在此不再赘业务请求中的关键字，则说明该关键字对应的数据是副集群迁移至主集群的非热点数据，管理的该关键字对应的数据是否一致来判断数据在迁移过程中是否发生了改变，若一致，实施例中的步骤S301-S303以及图5所示的方法实施例中的步骤S501-S505中的相关描述，[0171]迁移模块713，用于在满足所述迁移条件时，将所述热点数据迁移至所述第二集的第一主控制单元管理的哈希槽和所述第二集群中的第一主控制单元管理的哈希槽具有所述热点数据，并验证所述热点数据与迁移前所述第一集群管理的所述热点数据是否一的客户端发送迁移信息，所述迁移信息携带所述热点数据和所述热点数据对应的关键字，所述迁移信息用于指示所述客户端将所述热点数据和所述热点数据对应的关键字记录至源使用量超过第一阈值的主控制单元管理的热点数[0188]作为一个实施例，所述接收模块823，用于接收数据库服务器发送的第一迁移信息，所述第一迁移信息包括所述热点数据和所述热点数据对应的关键字；所述处理模块[0192]所述处理器910可以由一个或者多个通用处理器构成，例如中央处理器(central(application-specificintegratedcircuit，ASIC)、可编程逻辑器件(programmablelogicdevice，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex[0193]总线940可以是外设部件互连标准(peripheralcomponentinterco[0194]存储器930可以包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，RAM)；存储器930也可以包括非易失性存储器(non-volatile图7B所示的功能模块，或者用于实现图3所示的方法实施例中以数据库服务器为执行主体[0201]本申请实施例还提供了一种计算机程序产品，当其在计算机或算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个