CN119515318A 一种数据资产的生成方法以及装置 （深圳华为云计算技术有限公司）

道万科城社区华为公司华为总部办公本申请实施例公开了一种数据资产的生成务节点集合中一个或多个任务节点的上下文信2基于数据资产特征从工作流抽取目标任务节点集合，所述目对所述目标任务节点集合中一个或多个任务节点的上下文信息进行基于所述数据资产特征与所述工作流中的一个或多个任务节点进行基于所述目标任务节点组合得到所述目标任务节点集合，所述目标基于所述命名实体识别模型对所述目标任务节点集合中一个或多个任务的上下文信4.根据权利要求1至3中任一项所述的方法，其特征在于识别所述数据资产中的缺失数据资产片段，所述缺失数据资基于所述缺失数据资产片段检索资产目录，确定检索结果，所基于所述检索结果补充所述数据资产中的所述缺失基于所述缺失数据资产片段从所述工作流的上游任务节点确定检基于所述数据资产从资产目录查询关联资产，所述关联资产7.根据权利要求1至3中任一项所述的方法基于所述数据资产更新所述工作流中的一个或多个任务节点，抽取单元，用于基于数据资产特征从工作流抽取目标3处理单元，用于对所述目标任务节点集合中一个或多个任务节点的所述处理单元还用于基于一个或多个所述数据资产片段生成所基于所述数据资产特征与所述工作流中的一个或多个任务节点进行基于所述目标任务节点组合得到所述目标任务节点集合，所述目标基于所述命名实体识别模型对所述目标任务节点集合中一个或多个任务的上下文信识别所述数据资产中的缺失数据资产片段，所述缺失数据资基于所述缺失数据资产片段检索资产目录，确定检索结果，所基于所述检索结果补充所述数据资产中的所述缺失基于所述缺失数据资产片段从所述工作流的上游任务节点确定检基于所述数据资产从资产目录查询关联资产，所述关联资产基于所述数据资产更新所述工作流中的一个或多个任务节点，4很多企业面临着如何有效识别和获取数据资[0005]本申请实施例提供了一种数据资产的生成方法，用于提升数据资产的创建效率。本申请实施例还提供了一种数据资产的生成方法对应的数据资产的生成装置、计算设备、以由能实现全部或部分计算设备功能的逻辑模块或软件实现。第一方面提供的方法包括：5[0009]本申请实施例中计算设备能够基于数据资产特征与工作流中的一个或多个任务[0011]本申请实施例中计算设备能够基于命名实体识别模型对目标任务节点集合中一上下文信息进行预处理，并将预处理后的上下文信息输入到训练好的命名实体识别模型，[0014]一种可能的实施方式中，计算设备基于命名实体识别模型识别数据资产片段之[0018]一种可能的实施方式中，计算设备基于缺失数据资产片段检索资产目录的过程设备可以基于缺失数据资产片段从目标任务节点集合之外的上游任务节点确定检索关键录查询关联资产之后，计算设备可以在数据资产补充与该数据资产相关联的关联资产名6[0023]本申请实施例中计算设备能够基于生成数据资产更新工作流中的一个或多个任点集合中一个或多个任务的上下文信息进行命名实体识别，确定一个或多个数据资产片[0027]一种可能的实施方式中，处理单元还用于识别数据资产缺失数据资产片段包括数据资产中缺失的资产属性，基于缺失数据资产片段检索资产目[0029]一种可能的实施方式中，处理单元还用于基于数据资产从资产目录查询关联资7计算机可读介质或计算机程序产品等所能达到的有益效果可参考对应的方法中的有益效图4为申请实施例提供的一种基于数据资产特征抽取目标任务节点集合的示意图12为本申请实施例提供的一种计算设备集群中的计算机设备通过网络连接的8[0043]命名实体识别（namedentityrecognition，NER）是自然语言处理（natural[0050]数据库服务器120用于存储应用服务器100生成的数据资产。数据库服务器120可9[0054]第一控制器0至少包括处理器123、内存124。处理器123是一个中央处理器（centralprocessingunit，CPU用于处理来自存储系统外部（服务器或者其他存储系接口125接收应用服务器100发送的写数据请求时，会将这些写数据请求中的数据暂时保存在内存124中。当内存124中的数据总量达到一定阈值时，处理器123通过后端接口将内存124中存储的数据发送给硬盘134进行持久化存储。存储器，例如内存既可以是随机存取存储器，也可以是只读存储器（readonlymemorROM）。举例来说，随机存取存储器是动态随机存取存储器（dynamicrandomaccess只读存储器，举例来说，可以是可编程只读存储器（programmablereadonlymemory,memorymodule，DIMM即由动态随机存取存储器DRAM组成的模块，还可以是固态硬盘[0058]内存124中存储有软件程序，处理器123运行内存124中的软件程序可实现对硬盘121可以不具有硬盘槽位，硬盘134需要放置在硬盘框130中，后端接口126与硬盘框130通地址转换以及读写数据等操作。内存用于临时存储将要写入硬盘134的数据，或者从硬盘理单元（graphicsprocessingunit，GPU）、嵌入式神经网络处理器（neural_network硬盘134与控制单元131之间具有归属关系，那么每个控制单元131只能访问归属于它的硬者非易失性随机访问存储器（non_volatilerandomaccessmemory,NVRAM或者相变存[0063]其中，CPU也可以是一个其他可编程的电子部件，例如，数据处理单元（data与CPU区别开来。可选的，这里的DPU也可以替换成图形处理单元（graphicsprocessing[0064]硬盘框130中的网卡104和硬盘134之间没有归属关系，网卡104可访问该硬盘框130中任意一个硬盘134，因此在存储空间不足时扩展硬盘会较为便捷。按照引擎121与硬[0065]本申请实施例中数据资产系统10中的应用服务器100和数据库服务器120也可以统称为计算设备，当数据资产系统10包括多台应用服务器100或多台数据库服务器120时，[0067]请参阅图2，图2为本申请实施例提供的一种数据资产的生成方法的流程示意[0072]请参阅图3，图3为本申请实施例提供的一种工作流的示意图。在图3所示的示例集合的过程中，计算设备基于数据资产特征与工作流中的一个或多个任务节点进行匹配，节点、获取全球最小发货数量节点和占全球月均发货量的比率节点这3个任务节点确定为[0077]202.计算设备对目标任务节点集合中一个或多个任务节点的上下文信息进行命基于命名实体识别模型对上下文信息进行命名实体识别，例如，计算设备对获取全球发货测量值（measure总量占比的资产属性为公式（formula提拉数量的资产属性为规模[0086]计算设备对目标任务节点集合中一个或多个任务节点的上下文信息进行命名实体识别确定一个或多个数据资产片段之后，基于一个或多个数据资产片段生成数据资产，利用该检索关键词检索资产目录确定缺失数据资产片段，缺失数据资产片段即发货批次录查询关联资产之后，计算设备可以在数据资产补充与该数据资产相关联的关联资产名[0098]请参阅图7，图7为本申请实施例提供的一种基于数据资产更新工作流的示意[0100]本申请实施例中计算设备基于数据资产更新工作流中的一个或多个任务节点过[0105]请参阅图9，图9为本申请实施例提供的一种数据资产的生成装置的结构示意产。处理单元902用于对目标任务节点集合中一个或多个任务节点的上下文信息进行命名[0107]一种可能的实施方式中，抽取单元901具体用于基于数据资产特征与工作流中的[0108]一种可能的实施方式中，处理单元902具体用于基于命名实体识别模型对目标任[0109]一种可能的实施方式中，处理单元902还用于识别数据资产中的缺失数据资产片[0110]一种可能的实施方式中，处理单元902具体用于基于缺失数据资产片段从工作流[0111]一种可能的实施方式中，处理单元902还用于基于数据资产从资产目录查询关联[0112]一种可能的实施方式中，处理单元902还用于基于数据资产更新工作流中的一个[0113]可以理解的是，数据资产的生成装置900中抽取单元901和处理单元902可以作为功能模块与图1中数据资产系统10中各个模块存在映射，从而实现数据资产系统10中各个元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形个微处理器（digitalsignalprocessor，DSP或，一个或者多个现场可编程门阵列当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理它通用处理器、数字信号处理器（digitalsignalprocessor，DSP）、专用集成电路（applicationspecificintegratedcircuit，ASIC）、现场可编程门阵列（field1100中的一个或多个计算设备1000中的存储器1002中可以存有相同的用于执行上述数据个或多个计算设备1000的组合可以共同执行用于执行上述数据资产的生成1000中的存储器1002存储的指令可以实现抽取单元和处理单元中的一个或多个模块的功[0130]在一种可能的实现方式中，第一计算设备1000A中的存储器中存有执行抽取单元[0138]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM