CN113515672B 数据处理方法、装置、计算机可读介质及电子设备 （腾讯科技（深圳）有限公司）

US2019179615A1,2019.06.13US2016342737A1,2016关系图网络包括用于表示交互对象的节点和用迭代更新所述关系图网络中的全部节点或者部集群进行压缩处理以移除所述设备集群中的部2获取用于表示多个交互对象之间的交互关系的关系图网络，所述通过包括多个计算设备的设备集群对所述关系图网络进行核心度挖掘述关系图网络中的全部节点或者部分节点的节点根据所述节点核心度对所述关系图网络中的收敛节点进行剪枝处理，以在所述设备集群中选取一个计算设备作为对所述关系图网络进行单机计算的目标节对所述关系图网络进行分割处理，得到由所述关系图网络中的部分节点将所述分区图网络分配至包括多个计算设备的设备集群，对所述分区图网络进行核心度挖掘，以迭代更新所述关系图网络中在所述分区图网络中选取在当前迭代轮次中进行核心度挖掘的获取所述计算节点以及所述邻居节点在当前迭代轮次中的当根据所述邻居节点的当前节点核心度确定所述计算节点的临时根据所述临时节点核心度更新所述活跃节点的当前节点核心及与所述活跃节点具有邻接关系的邻居节点确定为在下一迭代轮次中进行核心度挖掘的根据所述邻居节点的当前节点核心度确定所述计算节点的h指数，并所述计算节点的临时节点核心度，所述h指数表示在所述计算节点的所有邻居节点中至多3按照所述当前节点核心度由高到低的顺序对所述计算节点的所有邻居节点进行排序，分别比较各个邻居节点的排列序号和当前节点核心度，以在筛选出的邻居节点中，将排列序号最小的邻居节点的从第一存储空间中读取待更新节点的节点标识，所述待更新节点包括根据所述待更新节点的节点标识在所述分区图网络中选取在当前迭代轮次中进行核将更新后的所述活跃节点的当前节点核心度写入第二存储空间，所述第二获取所述活跃节点以及所述活跃节点的邻居节点的节点标识，在当前迭代轮次中完成所有分区图网络的核心的挖掘从第二存储空间中读取所述计算节点以及所述邻居节点在当前迭代轮次中的当前节获取在当前迭代轮次中的活跃节点的最小核心度以及在前一迭代轮次中的活跃节点若所述当前迭代轮次中的活跃节点的最小核心度大于所述前一迭代轮次中的活跃节从所述关系图网络中移除所述收敛节点以及与所述收敛节点相连根据所述节点数量对所述各个节点的节点核心4图网络获取模块，被配置为获取用于表示多个交互对象之间的交互关系的关系图网核心度挖掘模块，被配置为通过包括多个计算设备的设备集群集群压缩模块，被配置为当所述关系图网络的网络规模满足预设的网络压缩条件时，对所述设备集群进行压缩处理以移除所述设备集群中的部权利要求1至12中任意一项所述的数据处其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项行时实现如权利要求1至12中任意一项所述的数5时也包含了不同用户之间建立交互关系而产生的[0003]合理地对用户数据进行梳理和挖掘可以使网络平台能够结合用户特点更好地为备集群进行压缩处理以移除所述设备集群中的部分6子单元，被配置为在所述分区图网络中选取在当前迭代轮次中进行核心度挖掘的计算节述计算节点以及所述邻居节点在当前迭代轮次中的当前节点核心度；核心度计算子单元，所述临时节点核心度小于当前节点核心度的计算节点标记为活跃节点；核心度更新子单跃节点以及与所述活跃节点具有邻接关系的邻居节点确定为在下一迭代轮次中进行核心有邻居节点中至多包括h个邻居节点的当前节点核心度在前一迭代轮次中更新节点核心度的活跃节点以及与所述活跃节点具有邻接关系的邻居7储空间覆盖第一存储空间中的数据并重置所机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指8[0026]图3示出了本申请一个实施例中基于分布式计算进行核心度挖掘的方法步骤流程[0030]图7示出了本申请一个实施例中汇总分区图网络的节点核心度挖掘结果的步骤流[0031]图8示出了本申请一个实施例中基于节点核心度的迭代更新对关系图网络进行压[0032]图9示出了本申请实施例在一应用场景中进行k-core挖掘的整体架构及处理流程[0034]图11示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0037]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对[0042]服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集9务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种[0048]云计算(cloudcomputing)是一种计算模式，它将计算任务分布在大量计算机构上可以部署PaaS(PlatformasaService,平台即服务)层，PaaS层之上再部署SaaS这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工[0053]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0057]图2示出了本申请一个实施例中的数据处理方法的步骤流程图，该数据处理方法络包括用于表示交互对象的节点和用于表示迭代更新关系图网络中的全部节点或者部分节点的节点互对象之间的交互关系可以是消费者与商户之间基于支付事件而建立[0066]在本申请实施例中，通过采集多个交互对象之间进行业务往来而产生的业务数据，可以从中提取出多个交互对象以及交互对象相互之间的交互关系，从而建立由节点[0067]在步骤S220中，通过包括多个计算设备的设备集群对关系图网络进行核心度挖用对图网络进行k核分解(k-coredecomposition)时确定的每个节点的核数(coreness)来[0070]图3示出了本申请一个实施例中基于分布式计算进行核心度挖掘的方法步骤流程[0072]一个网络规模较大的关系图网络可以经过分割处理后得到多个规模相对较小的以是在关系图网络中按照预设规则选取的节点或者随[0073]在本申请的一个实施例中，相邻的两个分区图网络之间可以保留一定的重叠区根据节点的度和权重信息共同对节点核心度进行[0081]图4示出了本申请一个实施例中对分区图网络进行核心度挖掘的步骤流程图。如[0082]步骤S410：在分区图网络中选取在当前迭代轮次中进行次中未更新节点核心度的节点也可能在后续的迭代过[0086]图5示出了本申请一个实施例中选取计算节点的步骤流程图。如图5所示，步骤一迭代轮次中更新节点核心度的活跃节点以及与活跃节点具有邻区图网络中节点核心度更新的同步性和一致性，本申请实施例在系统中分配第一存储空[0094]本申请实施例可以根据每个迭代轮次中的核心度挖掘结果实时监测并更新节点将临时节点核心度小于当前节点核心度的计算节点标[0098]为了克服该问题，本申请在一个实施例中可以采用基于h指示的迭代方法来进行点中至多包括h个邻居节点的当前节点核心度大按照节点核心度由小到大的顺序来看，在该计算节点的五个邻居节点在以上实施例的基础上，根据邻居节点的当前节点核心度确定计算节点的h指数的方法可[0104]本申请实施例通过排序及筛选的方式可以快速高效地确定计算节点的h指数，尤以及与活跃节点具有邻接关系的邻居节点确定为在下一迭代轮次中进行核心度挖掘的计[0108]图7示出了本申请一个实施例中汇总分区图网络的节点核心度挖掘结果的步骤流[0116]图8示出了本申请一个实施例中基于节点核心度的迭代更新对关系图网络进行压[0117]压缩剪枝方法的关键在于分析每轮迭代中节点的core值变化。以cf"表示节点v[0125]在本申请的一个实施例中，当压缩后的关系图网络的网本申请实施例提供的数据处理方法在一应用场景中的方法流程可以包括以[0128](1)对关系图网络G(V,E)中的每个节点v，使用节点度数初始化其core值，cs"=deg(v).其中deg(v)表示节点度数，也即节点的邻居[0129](2)设置numMsgs参数表示每轮迭代中core值变化了的节点个数，用零初始化作为本轮迭代的core值这里N(v)表示[0134]本申请实施例中的k-core挖掘算法可以在SparkonAngel平台上实现分布式计于参数服务器(ParameterServer，PS)理念设计和开发的高性能分布式机器学习平台。SparkonAngel平台是一个将Angel强大的参数服务器功能与Spark的大规模数据处理能[0135]图9示出了本申请实施例在一应用场景中进行k-core挖掘的整体架构及处理流程区图网络GraphPartion的网络数据)、计算h-index值和执行压缩剪枝操作，AngelParameterServer负责存储和更新节点core值，也即图9中的coreness向量。为了利用k-core挖掘的稀疏性加快迭代收敛，PS上会同时存储本轮迭代和下一轮迭代需要计算的节[0137](1)在Executor上初始化minCore(t)＝minCore(t-1)，同时为本轮迭代开辟[0138](2)从PS的ReadMessage中拉取本轮迭代中需要计算的节点(下面将直接称为计算[0139](3)从第2步中得到的计算节点确定本轮迭代中涉及计算的所有节点(计算节点及点的新一轮core值cf",如果将写入到changedCore中，同时将节点v的core值大于minCore(t-1)的邻居节点写入到keys2calc中，确定minCore(t)，[0141](5)用changedCore更新PS上的coreness向量，用keys2calc更新PS上的[0142]最后，当所有分区数据都完成一轮迭代后，在PS上，用WriteMessage替换子单元，被配置为在所述分区图网络中选取在当前迭代轮次中进行核心度挖掘的计算节述计算节点以及所述邻居节点在当前迭代轮次中的当前节点核心度；核心度计算子单元，所述临时节点核心度小于当前节点核心度的计算节点标记为活跃节点；核心度更新子单跃节点以及与所述活跃节点具有邻接关系的邻居节点确定为在下一迭代轮次中进行核心有邻居节点中至多包括h个邻居节点的当前节点核心度在前一迭代轮次中更新节点核心度的活跃节点以及与所述活跃节点具有邻接关系的邻居第三存储空间，所述第三存储空间用于存储下一迭代轮次中进行核心度挖掘的计算节点；第三存储空间覆盖第一存储空间中的数据并重[0155]本申请各实施例中提供的数据处理装置的具体细节已经在对应的方法实施例中分1108加载到随机访问存储器1103(RandomAccessMemory，RAM)中的程序而执行各种适调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处或者计算机可读存储介质或者是上