CN119415698A 数据资产的分类方法、装置、设备、存储介质及产品 （国家电网有限公司大数据中心）

号用于对数据资产进行分类的标签对应的向量表塔模型中包括用于提取标签的特征的第一子网络和用于提取样本数据资产的特征的第二子网2获取待分类的数据资产和标签向量库，所述标签向量库中存通过所述双塔模型中的第一子网络提取所述数据从所述标签向量库中查找所述数据资产的特征对应的向量表示，并根据述数据资产的特征包括每个所述文本片段的将各所述分词序列分别输入至所述双塔模型中的第二子网络根据设定长度分别对各所述分词序列进行填分别生成各所述分词序列的位置编码信息，所述位置编码信息用于表通过所述双塔模型中的第一子网络提取所述标签的文本信息特征和标构造标签结构树，所述标签结构树中从根节点到叶对于任意所述路径，将所述路径经过的根节点和叶节点连接成句子，通基于近似最近邻检索算法从所述标签向量库中查找所述数据资产的特征对应的向量获取模块，获取待分类的数据资产和标签向量库，所述标签3述双塔模型中包括用于提取标签的特征的第一子网络和用于提取样本数据资产的特征的分类模块，从所述标签向量库中查找所述数据资产的特征所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1_6中任一所述的行时实现如权利要求1_6中任一所述的数据资产和/或指令被处理器执行时实现如权利要求1_6中任一所述45模型中包括用于提取标签的特征的第一子网络和用于提取样本数据资产的特征的第二子对数据资产进行分类的标签对应的向量表示，所述向量表示在双塔模型的训练过程中得令，所述计算机程序和/或指令被处理器执行时实现如上述任意实施例所述的数据资产的于对数据资产进行分类的标签对应的向量表示，向量表示在双塔模型的训练过程中得到，双塔模型中包括用于提取标签的特征的第一子网络和用于提取样本数据资产的特征的第6但并不意味着申请人已经或者必然用到了该[0038]本申请实施例针对上述的业务场景特点提出了一种无监督的基于双塔的数据资产分类模型(Twin_towerBasedDataAssetClassification，TBDAC)模型(简称双塔模7[0039]图1为本申请实施例提供的一种数据资产的分类方法的流程图，本实施例可适用置执行，该数据资产的分类装置可以通过软件和/或硬件的方式实现，并集成在电子设备述双塔模型中包括用于提取标签的特征的第一子网络和用于提取样本数据资产的特征的括确定每条数据资产所属的分级以及在相应分级下192706条数据资产记录和288个层次标签遍历序列。[0050]本实施例中，可利用大量无标签的数据资产(即样本数据资产)训练一个双塔模8[0056]本申请实施例提供的一种数据资产的分类方法既对表名称等数据资产文本进9输出对应文本片段的编码信息即语义表示即Ri预训练的生成式编码器或语义表示模型来获取文本数据的的数据资产预处理得到可输入ERNIE模型的token序列。[0065]图2为一实施例提供的一种基于Transformer的生成式编码器的示意图。如图2所示，双塔模型中的第二子网络，可以基于BERT或ERNIE实现，BERT或ERNIE即为基于Transformer的生成式编码器。各分词序列输入至第二子网络之前都经过了分词处理并添i需要注意的是要保持结构信息和文本信[0095]图3为一实施例提供的一种利用标签向量库和ANN加速标签匹配的示意图。如图3[0096]图4为一实施例提供的一种基于TBDACM模型的样本数据资产分类过程的示意图。信息编码和结构信息编码，两者融合得到标签的特征。采取输入数据与分类标签语义的数据资产分类方法，在Micro_F1和Macro_F1等准确率方面分别实现了2.1％和6％的提Oursw/osec.0.85__[0108]图5为本申请实施例提供的一种数据资产的分类装置的结根据所述向量表示对应的标签确定所述数据[0123]通过所述双塔模型中的第一子网络提取所述标签的文本信息特征和标签结构特的向量表示作为正样本，不同维度的样本数据资产的特征和标签的向量表示作为负样本，[0134]基于近似最近邻检索算法从所述标签向量库中查找所述数据资产的特征对应的[0135]本申请实施例提供的数据资产的分类装置可以用于执行上述任意实施例提供的[0136]图6示出了可以用来实施本申请的实施例的电子设备10的结构示意图。电子设备至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种[0139]处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0142]用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务提供给用户的反馈可以是任何形式的传感反馈(面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系