工业知识图谱推理决策技术评估规范

ICS35.020

CCSL70

T/SAITA

团体标准

T/SAITAXXXX—XXXX

工业知识图谱推理决策技术评估规范

Specificationforindustrialknowledgegraphreasoninganddecisiontechnologyevaluation

XXXX-XX-XX发布XXXX-XX-XX实施

上海市人工智能技术协会发布

目次

前言..............................................................................III

引言................................................................................IV

1范围......................................................................................1

2规范性引用文件............................................................................1

3术语和定义................................................................................1

4缩略语....................................................................................2

5工业知识图谱的推理决策系统评估框架......................................................2

6工业知识图谱推理决策系统测评指标体系....................................................3

fi.1概述..................................................................................3

K.2数据集................................................................................4

fi.n系统功能..............................................................................4

6.3.1功能有效性...................................................................5

6.3.2易用性.......................................................................5

6.3.3可解释性......................................................................5

6.3.4兼容性........................................................................5

fi.4系统性能..............................................................................5

6.4.1鲁棒性........................................................................5

6.4.2性能效率......................................................................5

6.4.3可维护性......................................................................6

6.4.4可靠性.......................................................................6

K.S系统可信赖指标.......................................................................6

6.5.1安全性.......................................................................6

7工业知识图谱推理决策系统测试评估流程....................................................6

7I确定系统质量目标.....................................................................7

79数据集的规范.........................................................................7

74构建测试环境.........................................................................8

7.1设计测试项...........................................................................8

7.5开展测试活动.........................................................................8

7.6分析测试结果.........................................................................8

8工业知识图谱推理决策系统测评方法........................................................8

H.1功能性指标...........................................................................8

R.9,数据集指标...........................................................................8

8.2.1功能有效性...................................................................8

8.2.2易用性.......................................................................9

H.口系统性能指标........................................................................10

I

8.3.1鲁棒性..................................10

8.3.2性能效率..............................10

8.3.3可维护性.............................11

8.3.4可解释性

8.3.5兼容性....

H.I安全性..........

8.4.1可靠性......................................................

8.4.2安全性......................................................................11

附录A.................................................................................................................................................12

参考文献.............................................................................15

II

T/31SIOT001.7—20XX

引言

《工业知识图谱推理决策技术评估规范》面向航空、汽车、制药等行业的工业知识图谱推理决策系

统，针对企业全产业链智能制造中产生的知识表示不规范、决策评估不标准等问题，构建基于工业知识

图谱的质量评价体系，有效推动企业数字化转型，促进全产业链多业务领域技术融合，实现企业降本增

效。

IV

T/31SIOT001.7—20XX

工业知识图谱推理决策技术评估规范

1范围

本文件规定了工业知识图谱推理决策系统的技术评估框架、指标体系和测试评估。

本文件适用于工业知识图谱推理决策系统的规划设计、系统集成、建设实施和测评方法。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件,

仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T42131-2022人工智能知识图谱技术框架

3术语和定义

下列术语和定义适用于本文件。

?1工业知识图谱knowledgegraph

以结构化形式描述工业领域的知识元素及其联系的集合。

3.2实体entity

独立存在的对象。

【来源：GB/T42131-2022,3.2]

33知识元素knowledgeeIement

描述某一事物或概念的不必再分且独立的知识单位。

注：本文件中谈及的实体、祇念（实体类型）、属性、关系、关系类型、事件、规则等统称为知识元素。

【来源：GB/T42131-2022.3.4]

34本体ontology

表示实体类型以及实体类型之间关系、实体类型属性类型及其之间关联的一种模型。

【来源：GB/T42131-2022,3.8]

3.5数据挖掘datamining

从大量的数据中搜索隐藏于其中的有着特殊关系性的信息的过程。

3A工业多模态数据multi-modaldata

由两种或两种以上模态组成的工业数据称之为工业多模态数据。

注：工业多模态用来表示不同形态的数据形式，或者同种形态不同的格式，一股表示声、光、电、碳、热等数据。

1

T/31SIOT001.7—20XX

二?知识获取knowledgeacquisition

从不同来源和结构的输入数据中提取知识的活动。

注:知识获取的数据源通常按数据组织结构的维度可分为结构化数据、半结构化数据、非结构化数据。

【来源：GB/T42131-2022,3.20]

3fl知识融合knowledgefusion

整合和集成知识单元，并形成全局统一知识标识的活动。

【来源：GB/T42131-2022,3.21]

?。推理reasoning

基于已有的知识图谱的事实的基础上，推理出新的知识或者识别出知识图谱上已有知史的错误。

31(1决策decision

针对变化的工业生产环境，综合利用多种智能技术和工具，基于既定H标，对相关数据进行建模、

分析并得到最优动作的过程。

?11知识库decision

专家系统设计所应用的规则集合。

317情境库contextuaIIibrary

由情境组成的知识库。

311规则库rulebase

由规则组成的知识库。

4缩略语

下列缩略语适用于本文件。

API：应用程序编程接口(ApplicationProgrammingInterface)

RPS：单位时间请求数(Requestspersecond)

5工业知识图谱的推理决策系统评估框架

工业知识图谱推理决策系统的技术评估框架如图1所示，包括数据采集和预处理、工业知识图谱构

建、推理决策系统、工业知识与模型测试评估、工业知识图谱的更新与补全、系统可信赖等评估内容:

a)数据采集和预处理：主要针对采集自声、光、电、磁、热等传感器并进行了数据清洗、数据对齐、

数据过滤、数据消歧和数据加工等过程后的数据集的评估。

b)工业知识图谱构建:主要针对构建的知识图谱的功能和性能进行评估，包括知识表示、知识建模、

知识存储、知识计算和知识融合等步骤，通过将不同数据源的知识元素整合到知识图谱中，形成全面而

有机的知识体系。

c)推理决策系统：主要针对推理决策系统进行评估，包括基于规则库、情境库、算法库、推理模型

和决策模型等技术进行数据分析和推理，从而做出准确的决策。

2

T/31SIOT001.7—20XX

d）工业知识与模型测试评估：测试评估包括模型评估和图谱评估两个方面。模型评估涉及对推理决

策系统的性能和准确性进行测试，而图谱评估则关注工业知识图谱的质量和完整性。

e）工业知识图谱的更新与补全：定期更新知识图谱，以反映新的数据和知识。通过实时数据反馈补

全知识图谱和推理规则，同时评估结果为系统的持续优化提供指导。

f）系统可信赖：主要针对数据的安全性和隐私保护、鲁棒性、可解释性进行评估。在关键工业应用

中，保证系统的稳定运行。

6工业知识图谱推理决策系统测评指标体系

61概述

工业知识图谱推理决策系统测评的指标体系如表1所示，包含4个•级指标，10个二级指标和31个三

级指标。

3

T/31SIOT001.7—20XX

表1指标体系

一级指标二级指标三级指标

数据集数量

数据集标注质量

数据集数据集

数据集均衡性

数据集的多样性

正确性

完备性

功能有效性

冗余性

可行性

易用性易操作性

系统功能强解释性

可解释性

弱解释性

不同模态数据的兼容性

不同领域数据的兼容性

兼容性

对操作系统的兼容性

对API的兼容性

干扰数据对系统的影响

鲁棒性

数据集分布对系统的影响

系统响应时间

性能效率资源需求

容量

模型的迭代更新频率

系统性能模型迭代的质量变化

可维护性

系统的可恢复性

配置、监控、日志管理功能

错误率

误报率

可靠性

漏报率

相关性评估

机密性

系统可信赖安全性完整性

可用性

6：数据集

评估数据集（包括训练数据集和测试数据集），应包括下列内容：

a）数据集数量：通常用样本数量来衡量。

b）数据集标注质量：指数据集标注信息是否准确、完备并符合要求。

c）数据集均衡性：指数据集包含的各种类别的样本数量分布的偏差程度。

d）数据集的多样性：指数据集包括不同领域的多样性c

A3系统功能

4

T/31SIOT001.7—20XX

用户可以根据实际的应用场景选择相关的基本指标，用于评估知识自动构建与推理决策系统实现

的功能是否满足要求。

6.3.1功能有效性

根据自动构建与推理系统的任务不同，功能有效性的评估应包括但不限于下列内容：

a）正确性：衡量系统运行是否正常，运行的预测结果的准确率。

b）完备性：根据应用场景评价领域覆盖度，领域覆盖度从领域知识的广度和深度进行评估。

c）冗余性：衡量系统是否存在结构冗余、语义冗余、空节点冗余和节点重复的问题，

d）可行性：衡量决策的可行性和实施难度，包括决策的技术可行性、资源可行性等方面。

6.3.2易用性

易操作性：用户对系统的使用体验和界面友好程度，及系统的易用性和操作便捷性。

6.3.3可解释性

评估人类能够理解工业知识图谱推理决策系统的输出推理决策原因的程度。根据人类能够理解系

统推理决策原因的程度，将推理决策模型的可解释性分为强、弱两种级别：

a）强可解释性：可通过数学证明来说明模型做出推理决策的原因，并给出推理和决黄的路径。

b）弱可解释性：可通过工业知识图谱推理决策系统的输入输出、系统预测的置信度、系统中的部

分参数值、提取的特征值或这些数值的可视化来说明系统做出推理决策的原因。

6.3.4兼容性

a）不同模态数据的兼容性：衡量系统对于多种数据类型的支持和处理能力。

b）不同领域数据的兼容性：衡量系统对「不同领域知识和概念的理解和处理能力。

c）对操作系统的兼容性：衡量系统在不同操作系统环境下的运行和表现。

d）对API的兼容性：衡量与API工具和服务的互操作性。

A4系统性能

6.4.1鲁棒性

a）干扰数据对系统的影响：评估异常输入数据集的预测准确率、精确率、召回率、真负率、F1测

度等指标。

b）数据集分布对系统的影响:统计真实环境下输入数据集的正负例分布或各类别样本分布，评估

不同数据集分布情况下系统预测的准确率、精确率、召回率、真负率、FI测度等指标。

6.4.2性能效率

a）系统响应时间：系统对用户需求的快速响应能力，即用户从发出请求到接收完响应之间的总耗

时。

b）资源需求：用户可以根据实际的应用场景选择相关的基本指标，用于评估知识图谱推理决策系

统的性能是否满足要求。

c）容量：衡量系统在单位时间内能够处理的用户请求数显以及处理的信息总量。

5

T/31SIOT001.7—20XX

6.4.3可维护性

用于评估推理决策系统能够被运维人员修改的有效性和效率以及自身的可恢复性，应包括下列内

容：

a）模型的迭代更新频率：评估模型迭代更新的时间周期及模型训练时间。

b）模型迭代的质量变化：评估模型迭代后系统的功能有效性、性能、鲁棒性等变化趋势。

c）系统的可恢复性：评估推理决策发生故障时，恢复功能所需要的时间。

d）配置、监控、日志管理功能；推理决策系统宜支持系统配置、监控告警、日志等管理功能。

6.4.4可靠性

推理决策系统的可靠性评估：

a）错误率：错误率指的是系统在负载情况下出现失败交易的概率。

b）误报率：在所有测试案例中，系统错误地标识出问题或错误的情况的比率。

c）漏报率：系统未能正确识别或报告实际存在的问题或错误的情况占所有应该识别出的问题或错

误的比例。

d）相关性评估：相关性评估衡量系统的推理结果与领域知识或已知事实的相关性。

系统可信赖指标

6.5.1安全性

a）机密性：机密性是指保证信息不被非授权访问，即使非授权用户得到信息也无法知晓信息内容,

因而不能使用。

b）完整性：信息在输入和传输的过程中，不被非法授权修改和破坏，保证数据的一致性。

c）可用性：保证合法用户对信息和资源的使用不会被不正当地拒绝。

7工业知识图谱推理决策系统测试评估流程

工业知识图谱推理决策系统的测试评估流程如图2所示。

6

T/31SIOT001.7—20XX

图2基于工业知识图谱的推理决策技术与测试评估流程

71确定系统质量目标

按照实际工业情境确定系统质量目标，其中包括但不限于：

a）场景分析

分析工业领域知识图谱推理决策系统的应用场景、运行环境与使用流程，既要考虑系统正常使用的

情况，也要考虑可预见的异常情况,。

b）风险分析

根据推理决策系统的不同应用场景，通过多种途径开展有关系统失效的风险识别，如系统失效模式

分析、场景模拟、历史运行数据分析、专家委员会评审等技术。可考虑的风险包括但不限于：

1）由于推理决策系统系统的失效导致造成企业设备故障、生产中断或资源浪费等的威胁；

2）隐私数据的侵犯和泄露的风险；

3）潜在的道德和法律的风险。

c）确定系统质量目标

根据系统的应用场景和风险，确定工业知识图谱推理决策系统的质量目标，包括：

1）确定系统功能有效性，性能，兼容性、维护性，训练数据集的质量，对应用场景数据的鲁

棒性、可解释性、安全性的指标要求。

2）确定测评指标评价的准则。

72数据集的规范

a）数据质量：确保测试数据集的质量符合预期标准。这包括数据准确性、完整性、一致性等方面

的要求。测试数据应反映真实工业环境中的典型情况。

b）数据范围和覆盖性：测试数据集应涵盖工业应用中的各种情况和场景，包括正常操作、异常情

况和边界条件等。确;呆测试数据能够充分覆盖系统的功能和性能要求。

7

T/31SIOT001.7—20XX

c）标签规范：对于需要标注或注释的数据，定义标签和注释的规范要求。确保标签和注释准确描

述数据的含义和属性，以支持算法验证或性能评估。

d）数据干扰样本：数据中宜包含已知干扰样本、对抗性样本或业务不相关样本等异营样本。

73构建测试环境

根据计算机视觉系统测评运行需要的软硬件参数，构建出软硬件环境用于测试。如无法构建出相同

的测试环境，需要进一步分析由于测试环境与使用环境不一致所带来对测试结果的影响。

74设计测试项

根据系统的功能和应用场景，设计一组具体的测试项。每个测试项应包括测试说明和预期输出结果。

测试项应覆盖不同情况和功能模块，以全面评估系统的推理和决策能力。

7.5开展测试活动

根据设计的测试用例，运行系统并输入相应的测试数据。记录系统的输出结果、性能指标和运行日

志等信息。确保测试过程中的数据隔离和环境控制，避免对生产环境产生负面影响。

7.6分析测试结果

对系统的输出结果和性能指标进行分析和评估。比较实际输出和预期结果，计算评估指标，识别系

统的弱点和改进空间。分析系统在不同测试用例和场景下的表现。

8工业知识图谱推理决策系统测评方法

R1功能性指标

R：数据集指标

数据集的质量测度用于评估数据集在••种硬件、软件或者其他运行•（或使用）环境下训练或测试的

可靠性测度。

可靠性测度用于评估系统、产品或组件在指定条件下、指定时间内执行指定功能的程度。

在系统/软件产品的开发期间，内部可靠性测度用于预测该系统/软件产品是否满足规定的可靠性要

求。

外部可靠性测度用于对•这样一些属性进行评估，在执行测试过程中，它们与软件作为其一部分的系

统的行为有关，以表明在系统运行过程中软件的可靠性程度。在大多数情况下，系统与软件不互相区分。

a）数据集数量：对因未经授权访问而破坏或篡改数据项的数量进行计数，并与需求规格说明或其

他相关文档中规定的需要避免数据破坏或篡改的数据项的数量相比较”

b）数据集标注质量：对数据集准确标注的数量占总数据集的比例来衡量数据集标注的质量。

c）数据集均衡性：数据集采用混合随机打乱，确保数据集的数据分布符合均衡分布。

d）数据集的多样性：数据集中包含的数据在特征、类型、来源等方面的差异性和多元性。

8.2.1功能有效性

功能有效性测度用于评估产品或系统在指定情况下使用时,提供满足明确和隐含要求的功能的程度。

a）正确性

选定所有功能或•组特定功能集（•般按照重要性和目的）对系统做功能测试。对不能正确实现的

功能数进行计数,将其与考虑的功能总数相比较。

8

T/31SIOT001.7—20XX

TP+TN

准确率=x100%

TP+FP+TN+FN

TP

精确率=x100%

TP+FP

b）完备性

对在评价中检测到缺少的功能数进行计数，将其与需求规格说明或其他相关文档中指定的功能数相

比较。

c）冗余性

选定所有功能或一组特定功能集（一般按照重要性和目的）对系统做功能测试。对冗余的功能数进

行计数，将其与考虑的功能总数相比较。

冗余空节点数量

空节点冗余率*100

总节点数量

重复节点数量

重复节点比例*100

总节点数量

错误接受率=fX100%

FP+TN

FN

错误拒绝率=_x100%

1PD+kN

宏准确率=；%羊/2：%XI。。％

微准确率二高盘而XI。。％

d）可行性

选定所有功能或一组特定功能集（一般按照重要性和目的）对系统做功能测试。对不可行的功能数

进行计数,将其与考虑的功能总数相比较。

8.2.2易用性

易用性测度用于评估在指定使用周境中，产品或系统在有效性、效率和满意度特性方面，为了达到

所指定的日标可被特定用户使用的程度。

易操作性

通过评审交互式任务的相类似的外观和操作，确定操作结果及外观具有一致性的任务数量,并与所

规定的交互式任务的数量进行比较。

8.2.3可解释性

可解释性测度用于评估产品或系统能够被预期的维护人员解释的有效性和效率的程度。

a）强可解释性

9

T/31SIOT001.7—20XX

对实际用于数据抗讹误性方法的数股进行计数，将其与可用及推荐的用于数据抗讹误性方法的数量

相比较。

b）弱可解释性

对实际用于相关性不大的数据方法的数量进行计数，将其与可用相关性大的数据进行比较。

8.2.4兼容性

兼容性测度用于评估在共享相同的硬件或软件环境的条件下,产品、系统或组件能够与其他产品、

系统或组件交换信息和执行其所需的功能的程度。

a）不同模态数据的兼容性

选择与该软件产品需要共存的软件，验证与被测软件的共存情况（例如软件安装情况、功能执行情

况、系统资源占用等）。

b）不同领域数据的兼容性

选择不同领域数据使用软件进行验证，验证与被测软件的数据兼容性情况（例如软件执行情况，数

据处理完整性等）。

c）对操作系统的兼容性

在不同的操作系统下安装运行该软件，验证与被测软件的运行情况（例如软件正常运行情况，流畅

度等）。

d）对API的兼容性

选择其他软件与该软件共同运行，验证与被测软件的兼容性情况（例如软件并发数量，软件运行速

度，系统资源占用等）

8一系统性能指标

8.3.1鲁棒性

鲁棒性测度用于评估系统、产品或组件在指定条件下、指定时间内执行指定功能的鲁棒程度。

a）十扰数据对系统的影响

对在测试阶段已经修复的与鲁棒性相关的故障数进行计数并与已检测到的故障总数相比较。

b）数据集分布对系统的影响

对在测试阶段数据离散分布和集中分布检测的结果进行比较。

8.3.2性能效率

性能效率测度用于评估在指定条件下使用的资源数量的性能。资源可包括其他软件产品、系统的软

件和硬件配置、以及耗材（例如打印纸、存储媒体）。

a）系统响应时间

测量为完成特定用户任务或系统任务而耗费的时间，并进行多次测量，计算平均时间.

b）资源需求

执行一组给定的具有一定特征的任务,记录处理器所用时间以及运行时间，并进行多次测量,按照给

定公式计算处理器的平均占用率。

c）容量

在给定观察时间内，施加足够的工作负载,测量完成事务的数量，并计算单位时间内处理事务的数

量。

TP

召回率LEjXlOO%

rP+FN

10

T/31SIOT001.7—20XX

TN

真负率=方行而'I。。％

精确率x召回率

Fl测度=2x

精确率+召回率

8.3.3可维护性

可维护性测度用于评估产品或系统能够被预期的维护人员修改的有效性和效率的程度。

a）模型的迭代更新频率

对系统口志实际存储在稳定存储器中的时间进行测量，并与要求系统口志存储在稳定存储器中的时

间相比较。

b）模型迭代的质量变化

模型更新前和模型迭代后的系统准确率相比较。

c）系统的可恢复性

系统出现异常时回滚到上一系统无异常状态的时间。

d）配置、监控、日志管理功能

对系统的运行参数，运行环境添加配置文档，监控系统资源占用，运行时间等，添加对系统运行、

修改、异常的日志打印功能。

8.3.4可靠性

a）错误率

对系统/软件在一定的运行时间内发生失效的次数进行计数并计算失效的平均间隔时间。

b）误报率

在所有例子中，系统应决策正确却判断为错误的个数+系统应决策错误却判断为正确的总占比。

c）漏报率

系统应给出正确判断却未进行判断的数量占总测试数量的比例。

d）相关性评估

原始数据和测试数据的协方差与原始数据的标准差和测试数据的乘积的比值。

R4系统可信赖

8.4.1安全性

安全性测度用于评估产品或系统保护信息和数据的程度，以使用户、其他产品或系统具有与其授权

类型和授权等级一致的数据访问度。

a）机密性

对未经授权可访问的保密数据项的数量进行计数，将其与需求规格说明或其他相关文档中规定的需

要访问控制的保密数据项的数量相比较。

b）完整性

对数据系统，记录物理结构和逻辑结构，保证数据的独立完整性。

c）可用性

对数据进行兼容性增强，确保数据、系统相关配置迁移的可兼容，系统可用性。

11

报告编号：T202205021-YB01软件测试报告fA3.ll'隔

附录A

资料性附录——某制药行业知识图谱测试应用示例

1.测试对象：工业领域知识图谱推理决策技术及应用

2.测试内容：对软件性能进行测试，主要内容包括：数据集，功能有效性、性能效率、易

用性、鲁棒性、可维护性、可解释性、兼容性、可靠性、安全性等。

3.测试环境：

本次测试在模拟环境中执行，包括一台服务器和一台测试客户端。

环境清单如下：

应用/数据库服务器

标

十也址：

识IP10.8.21.72

型号：DellPrecision7560

服

硬：

务CPUIntelCorei7-ll850H2.50GHz

件

器内存：64GB硬盘：1TB

操作系统：UbuntuLinux20.04

软数据库：MySQL5.7.36>Redis5.0.14>MongoDB4.4.2>Neo4j3.5.1

件

其它软件：ApacheKatka2.12-2.4.0>ZooKeeper3.7.0>Elasticsearch7.6.2>Nacos

1.3.2、Nginx1.21.4>OracleJDK1.8>Docker10.1()>Docker-compose

S1.29.2

测试客户端

客型号：LenovoThinkPadL470

户硬

CPU：IntelCorei5-7200U2.50GHz

端件

m内存：8GB硬盘：256GB

操作系统：MicrosoftWindows10家庭中文版浏览器：GoogleChrome98.0.4758.82

网络类型局域网环境

其它无

4.数据】赛描述：

通过采集工业领域多个企业的数据（某制药厂MES系统数据库涉及245张表）构建数据集，

其中主要包含原料供应商数据、工单数据、。pc操作数据、维修记录、设备结构等内容，总数据

量达到2157多万条。

5.测试项：

测试项测试说明测试结果

数据集数量查询数据集总数据量总数据量达到2157多万条

报告编号:T202205021-YB01软件测试报告fA3.ll'隔

随机抽样数据集一部分进行人工检查，大部分样本通过人工检查，标注

数据集标注质量

确保标注准确性质量较高

统计知识图谱中每个类别实体的数量，

数据集均衡性实体类别均匀

确保分布相对均匀

确保数据集样本涵盖多种T.业情境和领数据集包含多个工业情境和领

数据集的多样性

域域，具有较高的多样性

可查看到制药场景下本体对象数

量为30,867条，点击编辑图谱可

进入本体库编辑与管理界面,左侧

本体库单场景下的3万节点本体库TopThing卜.即所有本体对象的实

际内容，每一条即一个本体对

象。中间为对象属性列表，每一

条即一个本体属性

正确性应用系统在千万级数据支撑下实现工业应用系统的数据量为22,416,699

知识获取

知识获取准确率达到75%条

应用系统在22,416,699条数据支

撑下建立工业知识图谱,知识图谱

全产业链协同的应用系统能够采集千万级工业领域数

数量为1,594,625个（其中实体

情境自适应智能据，建立工业知识图谱，且知识图谱规

数量为141,079个、属件数量为

交互决策模达到百万级

968,865个、关系数量为484,681

个）

评估系统对制药行业不同领域知识的广系统涵盖了制药行业各个领域的

度，包括生产、质量控制、研发等，评知识，涉及到关键概念和具体业

完备性

估知识的深度包括关键概念、流程和规务流程，具有较高的领域知识广

定度和深度

可否询到对应的结果，杳看到右

侧显示其属于领域和工业情景，

完成制药等至少1个行业领域2种以上

冗余性其中领域为制药行业、工业情景

工业情境感知

为物料资源、维修维护、生产产

线

系统基于制药行业百万级数据

完成制药等至少1个行业领域百万级数（知识图谱数量为1,594,625

可行性

据规模的工业语义概念空间个，规模实现工业语义概念空间

搜索功能

测试系统对于一般查询的响应时间包括平均响应时间为1秒，符合系统

系统响应时间

知识图谱搜索等性能要求

查看系统资源CPU利用、内存占用、存

资源需求资源需求满足

储空同需求等情况

通过模拟大量并发用户测试系统对用户

容量容量大小满足

数量的支持

评估新用户在没

软件提供了用户使用手册，包括

易操作性有受到培训情况软件产品是否包括演示教程、文档或网

相应功能的操作说明和截图，帮

下对软件系统的站的主页信息，帮助用户进行认知

助用户进行认知

认识程度

报告编号：T202205021-YB01软件测试报告fA3.ll'隔

软件或系统是否该软件提供了《工业领域知识自

检查软件或系统核心功能模块是否有对

提供帮助文档/