CN119396827A 基于语义的ai数据治理方法、系统、设备及存储介质 （北京卓信智恒数据科技股份有限公司）

司本申请提供了一种基于语义的AI数据治理企业数据。通过上述方案提高了数据治理的效2获取待治理的企业数据，所述待治理的企业数据包括结构化基于预设的数据治理规则库，对所述语义标注后的结构化数据和所基于预设的数据治理知识库，对所述数据分级结果进行校验和优基于所述待治理数据清单对所述待治理的企业数据进行数据治基于预设的质量检测模型对所述初步治理后的数据进行质量检测，得到问题数据清对所述第一结构化数据进行缺失值检测，得到缺失数据，并基于对所述第二结构化数据进行异常值检测，确定异常数据，并基于将所述预处理后的结构化数据输入预设的知识图谱模型中，识别所述预基于业务实体和所述属性数据对所述预处理后的结构化数据，将所述标准化后的非结构化数据输入至预设的语义理解模型中进行基于所述关键信息和所述语义内容对所述标准化后3根据所述数据治理规则库中的数据分类规则，对所述语义标注根据所述数据治理规则库中的数据分级规则，对所述数据内容分类结果进行分级评基于所述分级评估结果对所述语义标注后的结构化数据和所述语义标注后的非结构基于所述数据治理知识库中的数据质量规则，对所基于所述数据治理知识库中的数据标准规范，对所述数据分级结果进行合规性检查，基于所述数据治理知识库中的历史治理经验，对所述质量评估报将所述质量评估报告、所述合规性检查报告、所述待治理的根据所述待治理数据清单中的治理要求，对所述待治根据所述待治理数据清单中的治理方案，对所述第一企业数据进行标准化根据所述待治理数据清单中的数据分级结果，对所述数据获取模块，用于获取待治理的企业数据，所述待治理的企业结构化数据标注模块，用于利用预设的知识图谱模型对非结构化数据标注模块，用于利用预设的语义理解模型对所述分类分级模块，用于基于预设的数据治理规则库，对所述语修复模块，用于基于预设的质量检测模型对所述4所述指令适用于由处理器加载并执行如权利要求1~7任意一项所述电子设备执行如权利要求1~7任意一项5获取待治理的企业数据，所述待治理的企业数据包括结构化数据和非结构化数6治理模块，用于基于所述待治理数据清单对所述待治理的企业数据进行数据治修复模块，用于基于预设的质量检测模型对所述初步治理后的数据进行质量检进行语义标注，同时利用预设的语义理解模型对标准化后的非结构化数据进行语义理解，[0010]2、本申请通过引入预设的数据治理规则库对语义标注后的结构化数据和语义标7其他方式另外特别强调。89[0028]S103，利用预设的语义理解模型对所述标准化后的非结实现数据的精准分类和分级管理，系统基于预设的数据治理规则库进行数据分类分级处集定义了不同业务场景下的数据类型划分标准，数据分级规则集则规定了数据敏感程度、对语义标注后的结构化数据和语义标注后的非结构化数据进行分级处理。在分级过程中，对于数据计量单位问题，系统使用单位换算模块将不同单位的数据转换为统一标准单位；[0050]请参阅图2，图2为本申请实施例提供的一种基于语义的A结构化数据标注模块2，用于利用预设的知识图谱模型对所述预处理后的结构化非结构化数据标注模块3，用于利用预设的语义理解模型对所述标准化后的非结治理模块6，用于基于所述待治理数据清单对所述待治理的企业数据进行数据治修复模块7，用于基于预设的质量检测模型对所述初步治理后的数据进行质量检Array，PLA）中的至少一种硬件形式来实现。处理器301可集成中央处理器（Central数据区可存储上面各个方法实施例中涉及的数据等。存储器305可选的还可以是至少一个耦合或直接耦合或通信连接可以是通过一些服务接口，系统或模块的间接耦合或通信连对现有技术作出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出应性变化遵循本公开的一般性原理并包括本公