TAHAI 013-2024 面向终身学习的知识图谱构建系统技术规范

ICS35.240CCSL67

T/AHAI安徽省人工智能协会团体标准T/AHAI013—2024面向终身学习的知识图谱构建系统技术规范Technicalspecificationforknowledgegraphconstructionsystemoflifelonglearning2024-12-02发布 2024-12-02实施安徽省人工智能协会  发布T/AHAI013T/AHAI013—2024II前 言本文件按照GB/T1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由安徽省人工智能协会提出并归口。本文件起草单位：西安电子科技大学、湖南大学、科大讯飞股份有限公司。T/AHAI013T/AHAI013—2024PAGEPAGE1面向终身学习的知识图谱构建系统技术规范范围本文件规定了面向终身学习的知识图谱构建系统的框架、技术要求、功能要求和非功能要求。本文件适用于教育行业面向终身学习的知识图谱系统设计、开发与测试。规范性引用文件GB/T5271.17-2010信息技术词汇第17部分数据库；GB/T42131-2022人工智能知识图谱框架；YD/T4044-2022基于人工智能的知识图谱构建技术要求。术语和定义GB/T5271.17-2010界定的以及以下术语和定义适用于本文件。终身学习lifelonglearning实体entity存在或者可能存在的任何具体或抽象的事务，包括这些事物间的关联。[来源：GB/T5271.17-2010，17.02.05]实体类型entitytype一组具有相同属性的实体集合的抽象。[来源：GB/T42131-20223.3]关系relation具有相同属性的各实体值的集合以及这些属性。[来源：GB/T5271.17-2010，17.04.01]知识图谱knowledgegraph[来源：YD/T4044-2022，3.1]精确率precision评价机器学习模型效果的参数，反映的是在预测为正例的样本中，预测正确的比例。注：计算公式为准确率=正确预测的正例样本数量/预测为正例的样本数量。召回率recallrate评价机器学习模型效果的参数，反映的是在所有正例样本中，能够正确地识别为正例的比例。注：计算公式为召回率=正确预测的正例样本数量/（正确预测的正例样本数量+错误预测的负例样本数量）。F1值F1-score综合应用精确率和召回率，为二者的调和均值。注：计算公式为F1值=2*精确率*召回率/（精确率+召回率）。缩略语下列缩略语适用于本文件。NLP自然语言处理（NaturalLanguageProcessing）API（ApplicationProgrammingInterface）RDF资源描述语言（ResourceDescriptionFramework）OWL（WebOntologyLanguage）SPARQL数据获取协议和查询语言（SPARQLProtocolandRDFQueryLanguage）构建框架图1 面向终身学习的知识图谱构建系统结构图标引序号说明：1——数据获取。通过数据库、网络爬虫、API接口、第三方数据提供商等手段获取所需的数据。12——数据清洗与去重。针对获取的数据集中的残缺数据、错误数据和重复数据进行清洗。23344556677技术要求知识获取知识获取阶段的技术要求如下：应对采集到的数据进行存储，以便后续分析。数据清洗与去重面向终身学习的知识图谱数据清洗与去重，应满足数据来源与途径明晰化、数据粒度和维度确认、数据规范化与标准化以及合法性和可靠性保障等技术要求，以确保清洗与去重后的数据质量和可用性，为知识图谱的构建和应用奠定基础。数据清洗与去重阶段的技术要求如下：（如实体、关系等）和维度（如时间、地点、属性等），以满足后续知识图谱构建的需求。知识抽取实体抽取实体抽取的技术要求如下：F1关系抽取关系抽取的技术要求如下：（实体对关系抽取结果应采用统一的格式和标注规范，以支持不同系统间的交互和整合；上下文信息的利用。应利用关系在上下文中的语境和逻辑，通过利用句法结构、语义信息等，提高关系抽取的准确性和连贯性；知识表示知识表示阶段的技术要求如下：知识表示建模。应利用自然语言处理技术对原始数据进行建模，形成结构化的知识表示；实体链接实体链接的技术要求如下：应了解系统是否需要额外的上下文信息，如句子级别的上下文、语义信息等，以提高实体链接的准确性；应确定实体链接系统的输出格式，如实体标识符、实体类型、链接的知识库实体等；应关注到对未链接实体进行处理，系统对于无法链接的实体应当给出相应的处理方式，如标记为未知实体、进行后续人工处理等；候选实体生成模块应确定实体链接系统如何生成候选实体集合，可以是基于文本上下文的实体候选集合或者利用外部知识库进行实体匹配；系统应当包括实体消歧模块，用于在候选实体集合中识别出正确的链接实体，应关注上下文语境、实体描述信息等；确保有合适的标注数据集用于对实体链接系统进行训练和评估。确定实体链接系统的评估指标，如精确率、召回率、F1值等，以及如何计算这些指标。知识存储predicateobject）的形式来表示事实或关系，其中主语和宾知识存储的技术要求如下：应支持多种查询和推理操作。提供适当的API或查询接口，支持复杂的语义查询和推理操作，例如基于SPARQL的查询语言；结构化数据。采用RDF或OWL等标准化格式，以便进行统一的存储和查询。应关注到知识存储的更新性。建立自动化的更新机制，定期对知识图谱进行更新和维护；知识更新知识更新技术要求如下：基本功能要求面向终身学习的知识图谱交互系统的基本功能如下：应支持知识图谱的可视化展示；应支持对知识的管理功能，包括知识查询、知识增添、知识更新、知识删除等；基本非功能要求可扩展性要求应具备良好的可扩展性，根据需求随时进行扩展和收缩。应支持横向扩展，用户通过API可以直接接入。可靠性要求应确保数据只能按约定好的行为进行使用，避免数据滥用。兼容性要求应能在业界主流硬件上正常运行。应支持多数据源的批量数据导入与更新。应兼容主流商业及开源社区版操作系统。性能要求应支持通过集群化方案解决在线服务的负载均衡、故障转移、动态扩缩容等问题。可支持亿级或者以上规模数据的秒级查询。易用性要求可提供API及算法封装，如知识查询、知识增添、知识更新、知识删除等。