DB41-T 2929-2025 人工智能医疗器械 甲状腺结节超声图像数据标注规范

DB41/T2929—2025人工智能医疗器械甲状腺结节超声图像数据标注规范2025-11-07实施2025-11-07实施河南省市场监督管理局发布I 1范围 12规范性引用文件 13术语和定义 14标注任务说明文档 15标注质量特性 36标注与质控流程 47标注人员 58标注工具 59评价方法 6 8附录B(资料性)数据标注准确性评价 9附录C(资料性)甲状腺结节TI-RADS分级标注场景 附录D(资料性)自动、半自动、人工交互数据标注流程举例 附录E(资料性)甲状腺结节超声图像标注任务描述举例 附录F(资料性)TI-RADS分级和良恶性标注要求示例 参考文献 DB41/T2929—本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由河南省药品监督管理局提出。本文件由河南省人工智能医疗器械标准化技术委员会(HN/TC28)归口。本文件起草单位：河南省药品医疗器械检验院、濮阳大数据与人工智能研究院、河南省人民医院、河南省药品审评查验中心、德尚韵兴(河南)医疗科技有限公司。本文件主要起草人：谢贻斑、郭艳、曹琳琳、张卉、张娇娇、刘海燕、李若瑄、段少博、王华栋、王海涛、徐军峰、孔德兴、时丹丹、刘俊莉。1人工智能医疗器械甲状腺结节超声图像数据标注规范本文件适用于基于甲状腺结节超声图像处理的人工智能医疗器械数据标注以及与之相关的研究、仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本GB/T5271.1—2000信息技术GB/T25000.12—2017系统与软件工程系统与软件质量要YY/T1833.1—2022人工智能医YY/T1833.2—2022人工智能医疗器械质量要求和评价第2部YY/T1833.3—2022人工智能医疗器械质量要求和评价第3部分：数据标注通用要求——标出结节。可采用沿结节轮廓贴边勾勒，或采用规则图形(如矩形框、圆环、单点标记等)的形式标出。可采用人工、半自动或自动勾画方式，应由审核人员审核确认后方可进入下一2——结节配对。应使用勾画工具标注，由审核人员审核确认。4.2.2结节测量对结节的最大纵径与最大横径进行测量标注。4.2.3结节特征判定根据甲状腺影像报告和数据系统(TI-RADS)指南，对结节特征进行判定。常见的TI-RADS评估指标及分值见附录A说明。4.2.4结节诊断对甲状腺结节进行TI-RADS分级或良恶性诊断，并添加标签。常用的TI-RADS评估指标及分值见附录4.3标注任务描述4.3.1标注规则YY/T1833.3—2022所规定的数据标注规则通用要求适用于本文件。此外，标注规则宜符合以下要——明确、无歧义；——具有依从性。提供标注规则的依从性文件(首先考虑法规文件、技术标准、医学规范、专家共识等),描述所依据的诊疗指南、医学图谱等文件的名称和具体内容，并说明其权威性以及在我国的接受情况和使用情况。依从性文件若采用专家评议或文献分析作为依据，应对可能带来的偏倚进行分析；——可解释；——采用客观、可量化指标描述；——对于依赖于临床经验主观判断部分的标注规则，采用参考标准验证有效性，并对标注的一致性进行考核，确保标注结果具有可移植性，可外推到真实的临床应用场景；——考虑标注颗粒度。结合产品的预期用途，确定“病例(多结节结果)-结节(多切面结果)-单切面”层级的颗粒度水平。4.3.2标注人员应按照第7章的规定描述标注人员。适用时，可按照标注人员、审核人员、仲裁人员等角色分别展开描述，说明标注流程中的人员分工、决策机制、人员比对。4.3.3标注工具应按照第8章的规定描述标注工具，明确应用软件、硬件或平台的名称、制造商、型号、版本、功能、运行环境等。在使用前，应对工具进行验证与确认。若采用半自动/自动标注，应描述算法性能指标与验证方法。4.3.4标注环境使用办公室电脑标注，无特殊环境要求。3应描述输入和输出数据的要求，包括但不限于以下内容：——适用范围和选择依据。如是否包含健康人群、仅包含有手术病理结果的患者数据、仅包含TI-RADS3、4类的患者数据；——质量要求。包括图像分辨率、压缩率等；——数据的充分性和多样性。多样性包括数据来源(如医疗机构层级)、采集设备(包括品牌、型号以及图像采集参数)、人群分布、疾病构成等；——标注结果的形式、存储和输出格式。应考虑标注结果导出形式和格式对后续导入的影响；——标注颗粒度。数据编码应满足以下要求：——YY/T1833.2—2022所规定数据集通用要求适用于本文件；——制定不同层级数据、存储文件夹、所在数据库的命名规则，保证数据的唯一性和可追溯性；——制定标注数据库的版本规则。当数据发生变化时，数据库的版本号应做出相应变更。数据存储应满足以下要求：——存储路径：不同批次数据不可交叉存储；——权限：不同人员有不同的访问、上传、修改权限，人员的权限由专人进行分配和管理；——备份：所有原始数据和标注数据做备份。5标注质量特性5.1准确性应声称标注结果的准确性。可采用抽样检验方式，评估标注人员的结果是否与参考标准(无参考标准时，可对照参考诊断等级更高一级的结果)结论一致。评价指标包括但不限于：——检出：召回率、精确度、中心点距离、中心点落入；——分割：如Dice系数、Conformity系数、交并比、Hausdorff距离、Pearson相关系数；——诊断：灵敏度、特异度、准确率、ROC曲线、AUC值，多分类的评估可以转化为二分类；——测量：绝对误差、相对误差。常见评价指标说明见附录B,多分类混淆矩阵说明与多分类转化为二分类混淆矩阵示例见附录C。5.2一致性应声称各个环节输入输出信息、数据、人员的一致性，包括：——标注人员之间应开展一致性评估，可使用Kappa系数描述，该系数说明见附录B;——标注人员自身应开展一致性评估，可采用埋题验证的方式；——应保证标注人员、审核人员、仲裁人员对标注规则的理解具有一致性；4——应确保各个环节的信息、数据、记录保持一致，包括人员信息、标注结果、原始数据等。标注责任方应确保标注结果能从一个系统中被转移至另一个满足运行条件的系统，并保持标注质6.2.1YY/T1833.3—2022第6.2节所规定过程组织的通用要求适用于本文件。甲状腺结节超声图像标注任务描述的示例见附录E。标注要求示例见附录F。6.2.3标注过程中，应对标注人员的标注质量进行监督，同时考虑一致性指标和准确性指标。当标注6.3.1数据经标注后形成标注数据库。标注数据库应确保标注样本量的充分样本分布应考虑包括但不限于：不同层级(病例-结节-切面)、超声设备型号(含探头)、扫查模式、扫查切面、扫查深度、成像质量或范围、流行病学分布(包括疾病构成、人群分布、统计指标)、与目5标疾病易混淆的情形、有影响的身体状态或疾病、植入物、先天或后天身体结构异常以及其他对算法性能有影响的因素。6.3.2统计数据应保持一致性，如不同层级之间的关联性。应根据相关信息进行统计，并形成记录。7标注人员7.1通用要求7.1.1YY/T1833.3—2022所规定数据标注人员的通用要求适用于本文件。7.1.2应明确对人员的要求，包括但不限于：——人员资质(如职称、工作年限、工作经验、所在机构);——培训内容(如培训材料、培训方案);——考核指标(如方法、频次、准确性、通过准则、一致性)。7.2标注人员与审核人员标注人员宜具有对于标注任务相关的目标疾病2年以上临床经验。审核人员应具有对于标注任务相关的目标疾病2年以上临床经验、主治医师及以上职称。7.3仲裁人员仲裁人员应具有对于标注任务相关的目标疾病5年以上临床经验、副主任医师及以上职称。7.4培训应统一开展必要的培训，培训内容可包括工作流程、工作内容和要求、术语定义、相关案例、工具使用等，所用案例应独立于项目样本。7.5准确性考核标注开始前，应采用诊断等级更高的样本数据，考核标注人员的标注准确性。7.6一致性考核标注开始前，应对标注人员进行一致性考核，并用Kappa系数描述人员之间的一致性。8标注工具8.1处理对象标注工具处理对象可以从两个方面进行分类：——根据数据的采集方式，处理对象为影像数据：来自真实世界的超声图像。——根据数据存储格式，处理对象可分为：·其他格式：制造商定义的其他数据格式。68.2.1YY/T1833.3—2022第7章所规定标注工具的通用要求适用于本文件。——使用前，应对工具进行验证与确认，评价指标可参考本文5.1部分。9.2.1.1通过抽样检验或全检的方式对标注结果进行评价，计算标注责任方规定的指标，应满足5.19.2.1.2标注责任方可以选择合适的参考标准进行——结节勾画、测量、特征判定、分级，以高年资检查用户能否预览和理解标注信息的内容，应满足5.4通过实际操作验证用户是否可以对标注结果授权访问，应满足5.5的要7DB41/T2929—9.3标注与质控流程8DB41/T2929—2025(资料性)A.12017美国放射学会甲状腺影像报告和数据系统(ACRTI-RADS)评估指标及分值见表A.1。结构回声局灶性强回声无回声(纵横比<1)尾高回声或等回声1分模糊1分1分(纵横比≥1)则极低回声甲状腺外侵犯点状强回声以上每项分值相加确定TI-RADS分级分级良性TI-RADS4中度可疑A.22020中国甲状腺影像报告和数据系统(C-结构回声局灶性强回声1分极低回声1分1分边缘模糊1分点状强回声(可疑微钙1分不规则1分甲状腺外侵犯1分点状强回声(彗星尾伪1分以上每项分值相加确定TI-RADS分级分级1分一的恶性9(资料性)B.1召回率被正确检测出的目标数量占所有目标数量的比例，计算方法见公式(B.1):被正确检测出的目标数量占所有被检出对象的比例，计算方法见公式(B.2):用于计算两个分割区域的重合度，计算方法见公式(B.3):错误分割的像素数量占所有被正确分割的目标区域像素之间的比例，计算方法见公式(B.4):B.5交并比 (B.5)B.6Hausdorff距离描述两个分割区域轮廓线的距离，双向Hausdorff距离计算方法见公式(B.6):dH(X,Y)——双向Hausdorff距离；B.7Pearson相关系数σx——X的标准差；Pearson相关系数的绝对值越大，相关性越强：相关系数越接近于1或接近于0,相关度越弱。假阴性样本数量。B.9特异度真阴性样本数量；B.11受试者操作特征曲线式中pe的计算方法见公式(B.12):N;——泛指混淆矩阵第i行、第j列的元素；N;——泛指混淆矩阵第j行、第i列的元素；Acc——准确率。DB41/T2929—(资料性)C.1甲状腺结节TI-RADS分级属于多分类，分析结果可用表C.1表示。Pred_1True_1n,j=1～n)为参考标准的判断结果为i类，被人工智能判断为类的个数；n为分类类型个数。C.2表C.2给出将多分类转化为二阳性阴性阳性阴性DB41/T2929自动、半自动、人工交互数据标注流程举例开始标注开始标注否勾画方式是否半自动是是勾画软件勾画标注医生修改勾画审核医生审核软件自动比对断是否一致否标注仲裁医生诊断标注完成勾画标注软勾画标注医生人工勾画否是(资料性)甲状腺结节超声图像标注任务描述举例E.1标注任务分类本标注任务依据数据模态属于静态图像标注，数据模态为甲状腺结节超声图像。本标注任务依据执行主体属于半自动标注。本标注任务属于结构化标注。标注结果为甲状腺结节的轮廓以及其ACRTI-RADS分级(见附录A),使用csv格式保存，作为参考标准。E.2标注规则本标注任务的标注对象是甲状腺超声图像中甲状腺结节的轮廓勾画与ACRTI-RADS分级(1～5类)。勾画环节：由勾画软件自动勾画甲状腺结节轮廓，勾画标注医生修改确认后作为初级标注结果，审核医生对所有结节轮廓进行复核。分级环节：针对已确认好轮廓的甲状腺结节，两名分级医生背靠背进行ACRTI-RADS分级，分级结果由计算机自动判断一致性，标注结果一致，则作为最终标注结果，标注结果不一致由仲裁医生确认分级结果。在标注过程中，对标注医生的自身一致性进行周期性的监控，采用埋题验证的方式进行，如每完成20张甲状腺超声图像的标注后，随机抽取其中1张重新标注。E.3标注人员勾画标注医生：不低于主治医师，过去2年内累计不少于5000例甲状腺超声检查，接受过甲状腺结节超声图像标注培训。勾画审核医生：不低于副主任医师，过去5年内累计不少于10000例甲状腺超声检查，接受过甲状腺结节超声图像标注培训。分级标注医生：不低于主治医师，过去2年内累计不少于5000例甲状腺超声检查，接受过甲状腺结节超声图像标注培训。分级仲裁医生：不低于副主任医师，过去5年内累计不少于10000例甲状腺超声检查，接受过甲状腺结节超声图像标注培训。人员的考核指标包括分级的准确率，要求不低于90%。E.4标注工具勾画软件为自制软件，主要功能包括甲状腺结节超声图像的读取、显示、半自动辅助勾画、标注审核与修改、保存标注结论。勾画软件界面详见勾画软件说明书。其中，半自动辅助勾画算法在自有的测试集上开展过性能确认，以算法输出的结节中心点到人工勾画的结节中心点的距离作为主要指标。分级软件为某商用软件，发布版本号为2.0,软件主要功能包括超声影像的导入、显示、标注、质控、数据存储与管理、数据安全与保密、后台管理等。软件界面详见分级软件说明书。E.5标注环境标注任务在某实验室使用办公室电脑进行，屏幕分辨率大于1920×1080。E.6数据DB41/T2929—2025多个品牌型号的超声系统及其超声探头(已获得医疗器械注册证)。数据来源为接受甲状腺超声检查的(资料性)TI-RADS分级和良恶性标注要求示例分级标注以高年资医生或专家组的结果作为标注的参考标准，应由若干名标注人员组成标注小组，明确最终裁定结果的判定依据。不同的标注人员应根据相同的标注规则对结节添加分级标签。若采用标注软件标