DB41∕T 2929-2025 人工智能医疗器械 甲状腺结节超声图像数据标注规范

ICS11.040.99

CCSC41

41

河南省地方标准

DB41/T2929—2025

人工智能医疗器械甲状腺结节超声图像

数据标注规范

2025-08-08发布2025-11-07实施

河南省市场监督管理局发布

DB41/T2929—2025

目次

前言.................................................................................II

1范围...............................................................................1

2规范性引用文件.....................................................................1

3术语和定义.........................................................................1

4标注任务说明文档...................................................................1

5标注质量特性.......................................................................3

6标注与质控流程.....................................................................4

7标注人员...........................................................................5

8标注工具...........................................................................5

9评价方法...........................................................................6

附录A（资料性）常用的TI-RADS评估指标及分值.........................................8

附录B（资料性）数据标注准确性评价...................................................9

附录C（资料性）甲状腺结节TI-RADS分级标注场景......................................13

附录D（资料性）自动、半自动、人工交互数据标注流程举例..............................14

附录E（资料性）甲状腺结节超声图像标注任务描述举例..................................15

附录F（资料性）TI-RADS分级和良恶性标注要求示例....................................17

参考文献.............................................................................18

I

DB41/T2929—2025

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由河南省药品监督管理局提出。

本文件由河南省人工智能医疗器械标准化技术委员会（HN/TC28）归口。

本文件起草单位：河南省药品医疗器械检验院、濮阳大数据与人工智能研究院、河南省人民医院、

河南省药品审评查验中心、德尚韵兴（河南）医疗科技有限公司。

本文件主要起草人：谢贻珽、郭艳、曹琳琳、张卉、张娇娇、刘海燕、李若瑄、段少博、王华栋、

王海涛、徐军峰、孔德兴、时丹丹、刘俊莉。

II

DB41/T2929—2025

人工智能医疗器械甲状腺结节超声图像数据标注规范

1范围

本文件规定了人工智能医疗器械对甲状腺结节超声图像数据标注规范的要求。

本文件适用于基于甲状腺结节超声图像处理的人工智能医疗器械数据标注以及与之相关的研究、

应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T5271.1—2000信息技术词汇第1部分：基本术语

GB/T25000.12—2017系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分：数据

质量模型

YY/T1833.1—2022人工智能医疗器械质量要求和评价第1部分：术语

YY/T1833.2—2022人工智能医疗器械质量要求和评价第2部分：数据集通用要求

YY/T1833.3—2022人工智能医疗器械质量要求和评价第3部分：数据标注通用要求

3术语和定义

GB/T5271.1—2000、GB/T25000.12—2017、YY/T1833.1—2022、YY/T1833.2—2022、YY/T

1833.3—2022界定的以及下列术语和定义适用于本文件。

甲状腺影像报告和数据系统

使用超声特征进行甲状腺结节风险评估的评分系统。

4标注任务说明文档

标注对象

标注对象为来自真实世界的甲状腺结节超声图像。

标注任务分类

4.2.1结节勾画

结节的勾画，包括：

——标出结节。可采用沿结节轮廓贴边勾勒，或采用规则图形（如矩形框、圆环、单点标记等）

的形式标出。可采用人工、半自动或自动勾画方式，应由审核人员审核确认后方可进入下一

步。有条件者，可将结节勾画与其他标注工作结合，待所有标注工作完成后，再进行审核；

1

DB41/T2929—2025

——结节配对。应使用勾画工具标注，由审核人员审核确认。

注：结节配对为将一个结节的不同切面归为一组。

4.2.2结节测量

对结节的最大纵径与最大横径进行测量标注。

4.2.3结节特征判定

根据甲状腺影像报告和数据系统(TI-RADS)指南，对结节特征进行判定。常见的TI-RADS评估指标及

分值见附录A说明。

4.2.4结节诊断

对甲状腺结节进行TI-RADS分级或良恶性诊断，并添加标签。常用的TI-RADS评估指标及分值见附录

A说明。

标注任务描述

4.3.1标注规则

YY/T1833.3—2022所规定的数据标注规则通用要求适用于本文件。此外，标注规则宜符合以下要

求：

——明确、无歧义；

——具有依从性。提供标注规则的依从性文件(首先考虑法规文件、技术标准、医学规范、专家

共识等)，描述所依据的诊疗指南、医学图谱等文件的名称和具体内容，并说明其权威性以

及在我国的接受情况和使用情况。依从性文件若采用专家评议或文献分析作为依据，应对可

能带来的偏倚进行分析；

——可解释；

——采用客观、可量化指标描述；

——对于依赖于临床经验主观判断部分的标注规则，采用参考标准验证有效性，并对标注的一致

性进行考核，确保标注结果具有可移植性，可外推到真实的临床应用场景；

——考虑标注颗粒度。结合产品的预期用途，确定“病例（多结节结果）-结节（多切面结果）-

单切面”层级的颗粒度水平。

4.3.2标注人员

应按照第7章的规定描述标注人员。适用时，可按照标注人员、审核人员、仲裁人员等角色分别展

开描述，说明标注流程中的人员分工、决策机制、人员比对。

4.3.3标注工具

应按照第8章的规定描述标注工具，明确应用软件、硬件或平台的名称、制造商、型号、版本、功

能、运行环境等。在使用前，应对工具进行验证与确认。若采用半自动/自动标注，应描述算法性能指

标与验证方法。

4.3.4标注环境

使用办公室电脑标注，无特殊环境要求。

4.3.5数据

2

DB41/T2929—2025

4.3.5.1数据要求

应描述输入和输出数据的要求，包括但不限于以下内容：

——适用范围和选择依据。如是否包含健康人群、仅包含有手术病理结果的患者数据、仅包含

TI-RADS3、4类的患者数据；

——质量要求。包括图像分辨率、压缩率等；

——数据的充分性和多样性。多样性包括数据来源（如医疗机构层级）、采集设备（包括品牌、

型号以及图像采集参数）、人群分布、疾病构成等；

——标注结果的形式、存储和输出格式。应考虑标注结果导出形式和格式对后续导入的影响；

——标注颗粒度。

4.3.5.2数据编码

数据编码应满足以下要求：

——YY/T1833.2—2022所规定数据集通用要求适用于本文件；

——制定不同层级数据、存储文件夹、所在数据库的命名规则，保证数据的唯一性和可追溯性；

——制定标注数据库的版本规则。当数据发生变化时，数据库的版本号应做出相应变更。

4.3.5.3数据存储

数据存储应满足以下要求：

——存储路径：不同批次数据不可交叉存储；

——权限：不同人员有不同的访问、上传、修改权限，人员的权限由专人进行分配和管理；

——备份：所有原始数据和标注数据做备份。

5标注质量特性

准确性

应声称标注结果的准确性。可采用抽样检验方式，评估标注人员的结果是否与参考标准（无参考标

准时，可对照参考诊断等级更高一级的结果）结论一致。

评价指标包括但不限于：

——检出：召回率、精确度、中心点距离、中心点落入；

——分割：如Dice系数、Conformity系数、交并比、Hausdorff距离、Pearson相关系数；

——诊断：灵敏度、特异度、准确率、ROC曲线、AUC值，多分类的评估可以转化为二分类；

——测量：绝对误差、相对误差。

常见评价指标说明见附录B，多分类混淆矩阵说明与多分类转化为二分类混淆矩阵示例见附录C。

注1：中心点的选择与目标区域、影像特征有关。可考虑以甲状腺结节最大横径与最大纵径的交点作为中心点。

中心点的定义由标注责任方根据具体情况来确定。

注2：中心点落入指的是通过判断标注人员标注的目标区域中心是否落入参考标注目标内来确定匹配结果。

一致性

应声称各个环节输入输出信息、数据、人员的一致性，包括：

——标注人员之间应开展一致性评估，可使用Kappa系数描述，该系数说明见附录B；

——标注人员自身应开展一致性评估，可采用埋题验证的方式；

——应保证标注人员、审核人员、仲裁人员对标注规则的理解具有一致性；

3

DB41/T2929—2025

——应确保各个环节的信息、数据、记录保持一致，包括人员信息、标注结果、原始数据等。

精度

对于输出的定量结果，应声称标注精度。

可理解性

标注结果在图像上应为直观的显示，无歧义。

可访问性

授权用户可对标注数据库内容进行预览、复制等操作，可将数据库内容用于数据集构建。

可移植性

标注责任方应确保标注结果能从一个系统中被转移至另一个满足运行条件的系统，并保持标注质

量不变。

保密性

应提供对原始数据、标注数据和过程记录的授权访问机制，标注工具软件应设置权限。可通过隔离

保护、专人管理方式加强网络环境下的数据安全性。

可追溯性

数据的标注过程应形成记录，包括但不限于标注任务和质控流程涉及的人员信息、标注任务包含的

操作信息、标注工具信息、标注任务的时间信息。标注工具信息内容包括但不限于软件名称、型号规格、

完整版本、制造商、运行环境等，保留标注工具验证或确认记录。

6标注与质控流程

标注流程

应明确标注对象、人员分工、标注步骤、结果审核，统一标注规则，确认标注结果的含义、形式和

输出格式，并描述决策机制。数据标注流程的示例见附录D。

过程组织

6.2.1YY/T1833.3—2022第6.2节所规定过程组织的通用要求适用于本文件。甲状腺结节超声图像

标注任务描述的示例见附录E。

6.2.2应结合标注任务的颗粒度进行标注，保证各层级标注结果间的一致性。TI-RADS分级和良恶性

标注要求示例见附录F。

6.2.3标注过程中，应对标注人员的标注质量进行监督，同时考虑一致性指标和准确性指标。当标注

人员标注质量出现显著下降时，应暂停标注工作，对标注人员再培训，考核通过后重新上岗。

数据统计

6.3.1数据经标注后形成标注数据库。标注数据库应确保标注样本量的充分性和样本分布的合理性。

样本分布应考虑包括但不限于：不同层级（病例-结节-切面）、超声设备型号（含探头）、扫查模式、

扫查切面、扫查深度、成像质量或范围、流行病学分布（包括疾病构成、人群分布、统计指标）、与目

4

DB41/T2929—2025

标疾病易混淆的情形、有影响的身体状态或疾病、植入物、先天或后天身体结构异常以及其他对算法性

能有影响的因素。

注1：疾病构成如分期、分型、分类。

注2：人群分布如健康、患者、性别、年龄、地域。

注3：统计指标如发病率、患病率。

6.3.2统计数据应保持一致性，如不同层级之间的关联性。应根据相关信息进行统计，并形成记录。

7标注人员

通用要求

7.1.1YY/T1833.3—2022所规定数据标注人员的通用要求适用于本文件。

7.1.2应明确对人员的要求，包括但不限于：

——人员资质（如职称、工作年限、工作经验、所在机构）；

——培训内容（如培训材料、培训方案）；

——考核指标（如方法、频次、准确性、通过准则、一致性）。

标注人员与审核人员

标注人员宜具有对于标注任务相关的目标疾病2年以上临床经验。审核人员应具有对于标注任务相

关的目标疾病2年以上临床经验、主治医师及以上职称。

仲裁人员

仲裁人员应具有对于标注任务相关的目标疾病5年以上临床经验、副主任医师及以上职称。

培训

应统一开展必要的培训，培训内容可包括工作流程、工作内容和要求、术语定义、相关案例、工具

使用等，所用案例应独立于项目样本。

准确性考核

标注开始前，应采用诊断等级更高的样本数据，考核标注人员的标注准确性。

一致性考核

标注开始前，应对标注人员进行一致性考核，并用Kappa系数描述人员之间的一致性。

8标注工具

处理对象

标注工具处理对象可以从两个方面进行分类：

——根据数据的采集方式，处理对象为影像数据：来自真实世界的超声图像。

——根据数据存储格式，处理对象可分为：

•图片格式：DICOM、PNG、JPG/JPEG、TIF、BMP等；

•其他格式：制造商定义的其他数据格式。

5

DB41/T2929—2025

功能

8.2.1YY/T1833.3—2022第7章所规定标注工具的通用要求适用于本文件。

8.2.2标注工具应提供标注任务需要的标注功能，如：

——可根据标注任务的颗粒度进行设置，如病例层面、结节层面、切面层面等；

——支持结节配对功能；

——支持标注结果自动比对功能。适用时，可输出定量计算结果，如交并比面积；

——使用前，应对工具进行验证与确认，评价指标可参考本文5.1部分。

9评价方法

标注任务说明文档

应满足第4章的要求。

标注质量特性

9.2.1准确性

9.2.1.1通过抽样检验或全检的方式对标注结果进行评价，计算标注责任方规定的指标，应满足5.1

的要求。

9.2.1.2标注责任方可以选择合适的参考标准进行评价，包括但不限于：

——结节勾画、测量、特征判定、分级，以高年资医生或专家组的结果作为参考标准；

——结节良恶性诊断宜以病理结果作为参考标准。

9.2.2一致性

通过抽样检验的方式对标注人员个体内和个体间的一致性、标注人员对标注规则理解的一致性、标

注过程各个环节信息的一致性进行评价，应满足5.2的要求。

9.2.3精度

对标注责任方声称的精度进行验证，应满足5.3的要求。

9.2.4可理解性

检查用户能否预览和理解标注信息的内容，应满足5.4的要求。

9.2.5可访问性

通过实际操作验证用户是否可以对标注结果授权访问，应满足5.5的要求。

9.2.6可移植性

对标注结果的转移进行实际操作，验证不同操作条件下标注质量是否保持不变，应满足5.6的要求。

9.2.7保密性

检查原始数据和标注结果的授权访问机制、隔离保护机制等，应满足5.7的要求。

9.2.8可追溯性

6

DB41/T2929—2025

对标注过程产生的记录和标注工具的信息进行检查，应满足5.8的要求。

标注与质控流程

对标注流程文件进行检查，应满足第6章的要求。

标注人员

对标注人员文件进行检查，应满足第7章的要求。

标注工具

对标注工具进行验证，应满足第8章的要求。

7

DB41/T2929—2025

附录A

（资料性）

常用的TI-RADS评估指标及分值

A.12017美国放射学会甲状腺影像报告和数据系统（ACRTI-RADS）评估指标及分值见表A.1。

表A.1美国放射学会甲状腺影像报告和数据系统（ACRTI-RADS）

结构回声形态边缘局灶性强回声

囊性或几乎无或大彗星

0分无回声0分光滑0分0分

完全囊性水平位尾

0分

高回声或（纵横比＜1）

海绵状0分1分模糊0分粗钙化1分

等回声

词典

分叶或不规

囊实混合性1分低回声2分2分边缘钙化2分

垂直位则

3分

实性或几乎（纵横比≥1）甲状腺外侵

2分极低回声3分3分点状强回声3分

完全实性犯

以上每项分值相加确定TI-RADS分级

0分2分3分4分～6分大于等于7分

TI-RADS1TI-RADS2TI-RADS3TI-RADS4TI-RADS5

分级

良性无可疑轻度可疑中度可疑高度可疑

恶性可能＜2%恶性可能≤2%恶性可能＜5%恶性可能5%～20%恶性可能＞20%

A.22020中国甲状腺影像报告和数据系统（C-TIRADS）评估指标及分值见表A.2。

表A.2中国甲状腺影像报告和数据系统（C-TIRADS）

结构回声形态边缘局灶性强回声

边缘模糊1分点状强回声

（可疑微钙1分

不规则1分

化）

词典实性1分极低回声1分垂直位1分

点状强回声

甲状腺外侵-1

1分（彗星尾伪

犯分

像）

以上每项分值相加确定TI-RADS分级

无分值-1分0分1分2分3分～4分5分-

TI-RADS1TI-RADSTI-RADSTI-RADS

TI-RADS2TI-RADS3TI-RADS5TI-RADS6

分级无结节4A4B4C

恶性可能恶性可能恶性可能＞活检证实

恶性可能恶性可能恶性可能恶性可能

0%＜2%90%的恶性

0%2%～10%10%～50%50%～90%

8

DB41/T2929—2025

附录B

（资料性）

数据标注准确性评价

B.1召回率

被正确检测出的目标数量占所有目标数量的比例，计算方法见公式（B.1）：

TP

Rec=object······························································(B.1)

TPobject+FNobject

式中：

Rec——召回率；

TPobject——正确检测出的目标数量；

FNobject——被遗漏的目标数量。

B.2精确度

被正确检测出的目标数量占所有被检出对象的比例，计算方法见公式（B.2）：

TP

Pre=object······························································(B.2)

TPobject+FPobject

式中：

Pre——精确度；

FPobject——被误认为是目标的对象。

B.3Dice系数

用于计算两个分割区域的重合度，计算方法见公式（B.3）：

|퐴∩퐵|

Dice=2×··································································(B.3)

|퐴|+|퐵|

式中：

Dice——Dice系数；

A——目标区域；

B——分割区域。

B.4Conformity系数

错误分割的像素数量占所有被正确分割的目标区域像素之间的比例，计算方法见公式（B.4）：

FP

Conformity=1−푝푖푥푒푙····························································(B.4)

TP푝푖푥푒푙

式中：

Conformity——Conformity系数；

FPpixel——错误分割的像素数量；

TPpixel——被正确分割的目标区域像素数量。

B.5交并比

评价预测的分割区域与真实的分割区域的重合程度，计算方法见公式（B.5）：

9

DB41/T2929—2025

|퐴∩퐵|

IOU=·······································································(B.5)

|퐴∪퐵|

式中：

IOU——交并比。

B.6Hausdorff距离

描述两个分割区域轮廓线的距离，双向Hausdorff距离计算方法见公式（B.6）：

푑퐻(푋,푌)=max{d푋푌,d푌푋}=max{maxmind(푥,푦),maxmind(푥,푦)}····················(B.6)

푥∈푋푦∈푌푦∈푌푥∈푋

式中：

푑퐻(푋,푌)——双向Hausdorff距离；

X——预测的分割区域；

Y——人工标注的分割区域；

푑(푥,푦)——X、Y两个区域任意两点之间的距离。

B.7Pearson相关系数

两个变量X和Y的协方差除以它们标准差的乘积，计算方法见公式（B.7）：

cov(푋,푌)퐸[(푋−휇)(푌−휇)]

𝜌(푋,푌)==푋푌···················································(B.7)

휎푋휎푌휎푋휎푌

式中：

𝜌(푋,푌)——Pearson相关系数；

휇푋——X的平均值；

휇푌——Y的平均值；

𝜎푋——X的标准差；

𝜎푌——Y的标准差；

퐸——期望(即平均值)。

Pearson相关系数的绝对值越大，相关性越强：相关系数越接近于1或-1，相关度越强，相关系数越

接近于0，相关度越弱。

B.8灵敏度

灵敏度用Sen表示，计算方法见公式（B.8）：

TP

Sen=푠푎푚푝푙푒×100%·····················································(B.8)

TP푠푎푚푝푙푒+FN푠푎푚푝푙푒

式中：

Sen——灵敏度；

TPsample——真阳性样本数量；

FNsample——假阴性样本数量。

B.9特异度

特异度用Spe表示，计算方法见公式（B.9）：

TN

Spe=sample×100%·····················································(B.9)

FPsample+TNsample

10

DB41/T2929—2025

式中：

Spe——特异度；

TNsample——真阴性样本数量；

FPsample——假阳性样本数量。

B.10准确率

准确率用Acc表示，计算方法见公式（B.10）：

∑푛푁

Acc=푖=1푖,푖·································································(B.10)

∑푛∑푛푁

푗=1푙=1푗,푙

式中：

푁푗,푙——泛指混淆矩阵第푗行、第푙列的元素；

푁푖,푖——泛指混淆矩阵第푖行、第푖列的元素。

B.11受试者操作特征曲线

简称ROC曲线，是以假阳性率为横坐标、真阳性率为纵坐标,根据算法在不同值设定下对于给定的测

试集得到的一系列结果绘制的曲线，该曲线如图B.1所示：

注1：横坐标和纵坐标值均为0～1之间。

注2：曲线下面积(AUC值)为曲线下与坐标轴围成的积分面积，最大值为1。

图B.1ROC曲线

B.12Kappa系数

Kappa系数用ƙ表示，计算方法见公式（B.11）：

11

DB41/T2929—2025

Acc−푝

ƙ=푒·······································································(B.11)

1−푝푒

式中푝푒的计算方法见公式（B.12）：

∑푛(∑푛푁×∑푛푁)

푖=1푗=1푖,푗푗=1푗,푖

푝푒=2··························································(B.12)

(∑푛∑푛푁)

푎=1푏=1푎,푏

式中：

푁푖,푗——泛指混淆矩阵第푖行、第푗列的元素；

푁푗,푖——泛指混淆矩阵第푗行、第푖列的元素；

Acc——准确率。

12

DB41/T2929—2025

附录C

（资料性）

甲状腺结节TI-RADS分级标注场景

C.1甲状腺结节TI-RADS分级属于多分类，分析结果可用表C.1表示。

表C.1n分类混淆矩阵

分类Pred_1Pred_2……Pred_n

True_1N1,1N1,2……N1,n

True_2N2,1N2,2……N2,n

…………

True_nNn,1Nn,2……Nn,n

注：Pred_x(x=1～n)为人工智能判断为x类的类别；True_x(x=1～n)为参考标准判断为x类的类别；Ni,j(i=1～

n,j=1～n)为参考标准的判断结果为i类，被人工智能判断为j类的个数；n为分类类型个数。

C.2表C.2给出将多分类转化为二分类混淆矩阵示例。

表C.2多分类转化为二分类混淆矩阵示例

人工智能分类

分类

阳性阴性

푛

阳性TP=푁푖,푖FN=∑푁푖,푗

푗=1,푗≠푖

参考标准分类푛푛푛

阴性FP=∑푁푗,푖TN=∑∑푁푗,푙

푗=1,푗≠푖푗=1,푗≠푖푙=1,푙≠푖

13

DB41/T2929—2025

附录D

（资料性）

自动、半自动、人工交互数据标注流程举例

自动、半自动、人工交互数据标注流程举例见图D.1。

图D.1自动、半自动、人工交互数据标注流程举例

14

DB41/T2929—2025

附录E

（资料性）

甲状腺结节超声图像标注任务描述举例

E.1标注任务分类

本标注任务依据数据模态属于静态图像标注，数据模态为甲状腺结节超声图像。本标注任务依据执

行主体属于半自动标注。本标注任务属于结构化标注。标注结果为甲状腺结节的轮廓以及其ACRTI-RADS

分级（见附录A），使用csv格式保存，作为参考标准。

E.2标注规则

本标注任务的标注对象是甲状腺超声图像中甲状腺结节的轮廓勾画与ACRTI-RADS分级（1～5类）。

勾画环节：由勾画软件自动勾画甲状腺结节轮廓，勾画标注医生修改确认后作为初级标注结果，审

核医生对所有结节轮廓进行复核。

分级环节：针对已确认好轮廓的甲状腺结节，两名分级医生背靠背进行ACRTI-RADS分级，分级结

果由计算机自动判断一致性，标注结果一致，则作为最终标注结果，标注结果不一致由仲裁医生确认分

级结果。

在标注过程中，对标注医生的自身一致性进行周期性的监控，采用埋题验证的方式进行，如每完成

20张甲状腺超声图像的标注后，随机抽取其中1张重新标注。

E.3标注人员

勾画标注医生：不低于主治医师，过去2年内累计不少于5000例甲状腺超声检查，接受过甲状腺结

节超声图像标注培训。

勾画审核医生：不低于副主任医师，过去5年内累计不少于10000例甲状腺超声检查，接受过甲状

腺结节超声图像标注培训。

分级标注医生：不低于主治医师，过去2年内累计不少于5000例甲状腺超声检查，接受过甲状腺结

节超声图像标注培训。

分级仲裁医生：不低于副主任医师，过去5年内累计不少于10000例甲状腺超声检查，接受过甲状

腺结节超声图像标注培训。

人员的考核指标包括分级的准确率，要求不低于90%。

E.4标注工具

勾画软件为自制软件，主要功能包括甲状腺结节超声图像的读取、显示、半自动辅助勾画、标注审

核与修改、保存标注结论。勾画软件界面详见勾画软件说明书