版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
本申请实施例提供一种数据分级分类方法2对数据源服务中的元数据进行采集并建立数据质量评估指标,利用数将所述结构化存储的元数据输入至标签服务,构建双层神经网络模型基于所述分层标签体系构建分类分级规则模板,将所述规则模板与历史从数据源服务接口获取原始元数据,计算所述原始元数据的完整性基于预设的数据清洗规则对元数据进行格式化处理,采用模对结构化元数据进行分词和编码处理转化为输入序列,将所述输入序列将双层神经网络的融合结果输入预训练的大语言模型,在模型编码层提取语义表示,对特征向量通过多层前馈神经网络进行非线性变换,在变换后的向量始相似度矩阵进行对称归一化处理,采用拉普拉斯矩阵分解方法提取特征值和特征向量,选取前k个最大特征值对应的特征向量组合形成标签3基于标签嵌入向量构建图网络的邻接矩阵,对所述邻接矩阵应用采用层次聚类算法对图网络中的标签节点进行分组,计算组间和组从分层标签体系中提取标签节点的层级路径和属性特征,基于预定义计算规则模板与历史规则库中规则的文本相似度和结构相基于元数据的特征属性在规则引擎中匹配预设的分类规则集,应用自适应算对分类分级结果进行规范化处理生成统一的结果数据格式,计算结预处理模块,用于对数据源服务中的元数据进行采集并建立数据质量评估关系分析模块,用于将所述结构化存储的元数据输入至标签服分类分级模块,用于基于所述分层标签体系构建分类分与历史规则库进行相似度匹配,根据匹配结果设定规则优先级并建立规则冲突处理机制,49.一种电子设备,包括存储器、处理器及存储在处理器执行时实现权利要求1至7任一项所述的数据分级分类方56[0011]进一步地,所述将所述特征向量输入深度学习算法构建注意力机制提取关键词与历史规则库进行相似度匹配,根据匹配结果设定规则优先级并建立规则冲突处理机制,将标签特征转换为规则表达式,采用决策树算法对规则表达式进行组合生成候选规则集,通过规则验证器对候选规则集进行语法检查生7低于阈值的规则对送入冲突检测器进行依赖性并设置阈值进行过滤,将过滤后的结果数据按照预定义的存储模式写入结果服务的数据预处理模块,用于对数据源服务中的元数据进行采集并建立数据质量评估指标,机程序被处理器执行时实现所述的数据分级分类方法89[0032]在某金融机构的客户数据治理项目中,该方案成功处理了超过1亿条历史数据记[0039]图神经网络采用GAT模型构建标签关联图谱。节点特征通过多层图注意力网络进[0043]该方案的实施大幅提升了标签体系构建的智能化水平,显著降低了人工参与通过深度学习和图神经网络的结合,实现了标签语义的深度理解和标签关系的精准刻画,[0055]在本申请的数据分级分类方法的一实施例中,参见图2,还可以具体包含如下内法识别重复记录并合并,将清洗后的数据按照预定义的字段映射关系转换为目标数据结先,系统通过数据源服务接口采用异步批量方式获取原始元数据,支持多种数据格式如[0064]在某医疗机构的病历数据治理项目中,该方案成功处理了超过500万份电子病历[0066]在本申请的数据分级分类方法的一实施例中,参见图3,还可以具体包含如下内[0068]第一层神经网络采用改进的CNN结构。使用多尺度卷积核parallel提取不同粒度函数增加模型表达能力。最后一层通过L2归一化,确保特征向量的数值稳定性。引入[0077]在本申请的数据分级分类方法的一实施例中,参见图4,还可以具体包含如下内注意力分布矩阵与原始特征向量相乘得到带权[0083]对称归一化采用行归一化和列归一化的组合。首先计算[0084]拉普拉斯矩阵分解采用改进的幂迭代法。通过Arnoldi迭代计算大规模稀疏矩阵[0089]在本申请的数据分级分类方法的一实施例中,参见图5,还可以具体包含如下内的关联强度确定层次结构,对所述层次结构应用最小生成树算法构建标签体系的层级关[0096]最小生成树算法采用改进的Prim算法。边权重设计结合[0099]在某知识图谱项目中,该方案成功构建了包含百万级节点的专业领域标签体[0101]在本申请的数据分级分类方法的一实施例中,参见图6,还可以具体包含如下内步骤S602:计算规则模板与历史规则库中规则的文本相似度和结构相似度得分,基于加权平均方法融合两种相似度得分,对融合后的相似度进行排序设定规则优先级阈[0105]规则验证器实现了多层次的规则检查。语法层面检查规[0107]结构相似度基于规则的语法树表示。通过树编辑距离算法计算规则树的结构差[0114]在本申请的数据分级分类方法的一实施例中,参见图7,还可以具体包含如下内预处理模块10,用于对数据源服务中的元数据进行采集并建立数据质量评估指其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个[0141]该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如[0143]通信模块9110即为经由天线9111发送和接收信号的发送机/接收机。通信模块[0145]本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的[0147]本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的数据分级分类方法中全部步骤的一种计算机程序产品,该计算机程序/指令被处理器执行现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0151]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品,该指令装置实现在流程图一个流程或多
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中七年级地理下册澳大利亚经济名片教学设计
- 八年级物理跨学科实践“自行车中的物理”教学设计
- 统编版高中语文选择性必修下册《临安春雨初霁》精讲精练教学设计
- 小学科学三年级下册教学设计:盐糖溶解现象的证据推理与模型构建
- 高三德育教学设计:勇战新学期 我命由我不由天主题班会
- 小学英语六年级下册Module 9 Unit 2《Wishing you happiness every day》教学设计:基于核心素养的节日祝福语篇教学实践
- 小学六年级语文下册古诗词诵读五江上渔者教学设计
- 人教版物理八年级上学期《6.2 密度》同步课堂教学设计
- 高中美术创意设计灵魂教学设计
- 初中八年级科学《力》第一课时教学设计:从推拉提压中建构力的概念
- 中央企业拖欠账款举报信范本
- 天津市河西区小学二年级上学期数学期末检测卷
- (完整版)人行道块料拆除及恢复施工方案
- 2025年茂名村干部考试题库
- GB 28375-2025混凝土结构防火涂料
- 2025团校入团培训结业考试题库附完整答案详解(历年真题)
- GB 19577-2024热泵和冷水机组能效限定值及能效等级
- 《民法典》培训系列课件:第三编 租赁合同
- 2024中考道法时政热点《中国外交大事大盘点》课件
- 浙江博瑞中硝科技有限公司电子含氟气体项目环境影响报告书
- GB/T 31402-2023塑料和其他无孔材料表面抗菌活性的测定
评论
0/150
提交评论