DB41T 3005-2025人工智能医疗器械 乳腺结节超声图像数据标注规范

41I 3 4 5 5 6 8 本文件按照GB/T1.1—2020《标准化请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由河南省人工智能医疗器械标准化技术委员会（HN/TC28涛、徐军峰、谢贻珽、胡海蓉、吴瑛男、时丹1人工智能医疗器械乳腺结节超声图像数据标注规范本文件适用于基于乳腺结节超声图像处理的人工智能医疗器械数据标注以及与之相关的研究、应GB/T5271.1—2000信息技术词汇第1部分：GB/T25000.12—2017系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分：数据YY/T1833.1—2022人工智能医疗器械质量要求和评价第1部分：术语YY/T1833.2—2022人工智能医疗器械质量要求和评价第2部分：数据集通用YY/T1833.3—2022人工智能医疗器械质量要求和评价第3部分：数据标注通用要求GB/T5271.1—2000、GB/T25000.12—2017、YY/T1833.1—2022、YY/T1833.2—2022、YY/T4标注任务说明文档4.2.1结节勾画——标出结节。可采用沿结节轮廓贴边勾勒，或采用规则图形（如矩形框、圆环的形式标出。可采用人工、半自动或自动勾画方式，应由审核人员审核确认后方可24.2.2结节测量4.2.3结节特征判定根据乳腺影像报告和数据系统（BI-RADS）指南，对结节特征（如结节形状、方向、边缘、回声类4.2.4结节诊断4.3.1标注规则YY/T1833.3—2022所规定的数据标注规则——具有依从性。提供标注规则的依从性文件（首先考虑法规文件、技术标准、医学规范、专家共识等），描述所依据的诊疗指南、医学图谱等文件的名称和具体内容，及在我国的接受情况和使用情况。依从性文件若采用专家评议或文献分析作为依据，应对可——可解释；——对于依赖于临床经验主观判断部分的标注规则，采用参考标准验证有效性，并对标注的一致——考虑标注颗粒度。结合产品的预期用途，确定“病例（双侧乳房结果）-乳房（单侧乳房结4.3.2标注人员应按照第7章的规定描述标注人员。适用时，可按照标注人员、审核人员、仲裁人员等角色分别展4.3.3标注工具应按照第8章的规定描述标注工具，明确应用软件、硬件或平台的名称、制造商、型号、版本、功能、运行环境等。在使用前，应对工具进行验证与确认。若采用半自动/自动标注，应描述算法性能指4.3.4标注环境4.3.5数据34.3.5.1数据要求——适用范围和选择依据。如是否包含健康人群、仅包含有手术病理结果的患者数据、仅包含——数据的充分性和多样性。多样性包括数据来源（如医疗机构层级）、采集——标注颗粒度。4.3.5.2数据编码——YY/T1833.2—2022所规定数据集通用要求适用于本文件；——制定标注数据库的版本规则。当数据发生变化时，数据库的版本号应做出相应变更。4.3.5.3数据存储——权限：不同人员有不同的访问、上传、修改权限，人员的权限应由专人进行分配和管理；——检出：召回率、精确度、中心点距离、中心点落入；常见评价指标说明见附录A，多分类混淆矩阵说明与多分类转化为二分类混——标注人员之间应开展一致性评估，可使用Kappa系数描述，该系数说明见附录A；——标注人员自身应开展一致性评估，可采用埋题验证的方式；——应保证标注人员、审核人员、仲裁人员4——应确保各个环节的信息、数据、记录保持一致，包括人员信息、标注结果、原始数据等。授权用户可对标注数据库内容进行预览、复制等操作标注责任方应确保标注结果可转移至其他满足运行条件的系统，并保持标5.7保密性6.2.1YY/T1833.3—2022第6.2节所规定过程组织的通用要求适用于本文件。乳腺结节超声图像标注任务描述的示例见附录D。6.2.2应结合标注任务的颗粒度进行标注，保证各层级标注结果间的一致性。B标注要求示例见附录E。6.2.3标注过程中，应对标注人员的标注质量进行监督，同时考虑一致性指标和准确性指标。当标注人员标注质量出现显著下降时，应暂停标注工作，对标注6.3.1数据经标注后形成标注数据库。标注数据库应确保标注样本量的充分性和样本分布的合理性。样本分布应考虑包括但不限于不同层级(病例-乳房-结节-切面)、超声设备型号(含探头)、扫查模式、扫查切面、扫查深度、成像质量或范围、流行病学分布(包括疾病构成、人群分布、统计指标)、5法性能有影响的因素。6.3.2统计数据应保持一致性，如不同层级之间的关联性。应根据相关信息进行统计，并形成记录。7标注人员7.1通用要求7.1.1YY/T1833.3—2022所规定数据标注人员的通用要求适用于本文件。7.1.2应明确对人员的要求，包括但不限于：——人员资质(如职称、工作年限、工作经验、所在机构);——培训内容(如培训材料、培训方案);——考核指标(如方法、频次、准确性、通过准则、一致性)。7.2标注人员与审核人员标注人员宜具有对于标注任务相关的目标疾病2年以上临床经验。审核人员应具有对于标注任务相关的目标疾病2年以上临床经验、主治医师及以上职称。7.3仲裁人员仲裁人员应具有对于标注任务相关的目标疾病5年以上临床经验、副主任医师及以上职称。应统一开展必要的培训，培训内容可包括工作流程、工作内容和要求、术语定义、相关案例、工具使用等，所用案例应独立于项目样本。7.5准确性考核标注开始前，应采用诊断等级更高的样本数据，考核标注人员的标注准确性。7.6一致性考核标注开始前，应对标注人员进行一致性考核，并用Kappa系数描述人员之间的一致性。8标注工具标注工具处理对象可以从两个方面进行分类：——根据数据的采集方式，处理对象为影像数据：来自真实世界的超声图像；——根据数据存储格式，处理对象可分为：·其他格式：制造商定义的其他数据格式。6——可根据标注任务的颗粒度进行设置，如病例层面、乳房层面、结节层面、切面层面等；——支持标注结果自动比对功能。适用时，可输出定量计算结果，如交并比面积；9评价方法9.2.1准确性9.2.1.1通过抽样检验或全检的方式对标注结果进行评价，计算标注责任方规定的指标，应满足5.19.2.1.2标注责任方可以选择合适的参考标准进行评价，包括但不限于：——分级、结节良恶性诊断宜以病理结果作为参考标准。9.2.2一致性注过程各个环节信息的一致性进行评价，应满足5.9.2.3精度9.2.4可理解性9.2.5可访问性9.2.6可移植性9.2.7保密性9.2.8可追溯性对标注过程产生的记录和标注工具的信息进行检查，应满足5.8的要78被正确检测出的目标数量占所有目标数量的比例，计算方法见公TPobject——正确检测出的目标数A.2精确度被正确检测出的目标数量占所有被检出对象的比例，计算方法见公式（FPobject——被误认为是目标的对象。用于计算两个分割区域的重合度，计算方法见错误分割的像素数量占所有被正确分割的目标区域像素之间的比例，计算方法见公式（AConformity——ConformiFPpixel——错误分割的像素数量；TPpixel——被正确分割的目标区域像素数量。评价预测的分割区域与真实的分割区域的重合程度，计算方法见公式（9IOU=···············································描述两个分割区域轮廓线的距离，双向Hausdorff距离计算方法(,)=max{,}=max{(,),x(,)(,)——X、Y两个区域任意两点之间的距离。两个变量X和Y的协方差除以它们标准差的乘积，计算方法见公式（A.7）：(,)==···················································(A.7)(,)——Pearson相关系数；A.8灵敏度）：Sen=×100%·····················A.9特异度）：Spe=×100%·····················A.10准确率准确率用Acc表示，计算方法见公式(A.10):…N;——泛指混淆矩阵第j行、第I列的元素；N;i——泛指混淆矩阵第i行、第i列的元素。A.11受试者操作特征曲线简称ROC曲线，是以假阳性率为横坐标、真阳性率为纵坐标，根据算法在不同值设定下对于给定的测试集得到的一系列结果绘制的曲线，该曲线如图A.1所示：0图A.1ROC曲线A.12Kappa系数Kappa系数用k表示，计算方法见公式(A.11):式中pe的计算方法见公式(A.12):=·········································,——泛指混淆矩阵第行、第列的元素；Acc——准确率。Pred_1…Pred_nTrue_1…N…N……………NN…注：Pred_x(x=1～n)为人工智能判断为x类的类别；True_x(FN=∑,=1,≠FP=∑,=1,≠TN=∑∑,=1,≠=1,≠自动、半自动、人工交互数据标注流程举例开始标注开始标注否勾画方式是是否人工是是医生修改勾画审核医生审核诊断标注医生A、医生B背靠背诊断断是否一致否医生诊断生人工勾画勾画标注软勾画方式否是主体属于半自动标注。本标注任务属于结构化标注。标注结果为乳腺结节的轮廓以及其ACRBI-RADS分本标注任务的标注对象是乳腺超声图像中乳腺结节的轮廓勾画与ACRBI-RADS分级（1～分级环节：针对已确认好轮廓的乳腺结节，两名分级医生背靠背进行ACRBI-RADS分级，分级结果勾画审核医生：不低于副主任医师，过去5年内累计不少于10000例乳腺超声检查，接受过乳腺结分级仲裁医生：不低于副主任医师，过去5年内累计不少于10000例乳腺超声检查，接受过乳腺结集上开展过性能确认，以算法输出的结节中心点到人工勾分级软件为某商用软件，发布版本号为2.0，软控、数据存储与管理、数据安全与保密、后台管理标注任务在某实验室使用办公室电脑进行，屏幕分辨率大于1920×1证，包括但不限于数据来源、采集时间、文件内容。具体考虑到标注软件分级诊断可能会影响医生