《YY-T 1949-2024 人工智能医疗器械 数据集专用要求：糖尿病视网膜病变眼底彩照》

YY/T1949—2024

人工智能医疗器械数据集专用要求

:

糖尿病视网膜病变眼底彩照

1范围

本文件规定了用于人工智能医疗器械的糖尿病视网膜病变以下简称糖网眼底彩照数据集的专

(“”)

用要求描述了相应的试验方法

,。

本文件适用于对糖网眼底彩照进行后处理的人工智能医疗器械研发生产质控等环节使用的数

、、

据集

。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

人工智能医疗器械质量要求和评价第部分术语

YY/T1833.11:

人工智能医疗器械质量要求和评价第部分数据集通用要求

YY/T1833.2—20222:

眼科仪器眼底照相机

YY/T0634

卫生健康信息数据集元数据标准

WS/T305

3术语和定义

界定的以及下列术语和定义适用于本文件

YY/T1833.1、YY/T1833.2—2022。

31

.

糖尿病视网膜病变diabeticretinopathy

糖尿病导致视网膜微血管损害从而引起的一系列眼底病变

。

32

.

眼底彩照colorfundusphotograph

使用眼底照相机获取的数字化彩色眼底照片

。

4数据集说明要求

41数据集描述

.

411数据集整体描述

..

4111数据集类型

...

数据集说明应符合中的要求

YY/T1833.2—2022。

4112数据集形态

...

数据集说明应符合中的要求

YY/T1833.2—2022。

1

YY/T1949—2024

4113数据集层次

...

数据集说明应根据以下维度描述数据集的数据层次子集分解和组合变化

,、:

从图像分类的角度考虑数据分层如正常眼底彩照糖网的各种诊断分期或筛查分级非糖网

a),、、

的其他眼底疾病易混淆的疾病病种接受过激光治疗的眼底图像图像质量不可接受的

()、、

情形

;

从病灶特征的角度考虑数据分层如视网膜微血管瘤出血渗出新生血管

b),、、、;

从数据来源的角度考虑数据分层如眼底相机型号拍照机构和应用场景

c),、。

4114应用场景

...

数据集说明应描述数据集的整体子集或其组合能够模拟的临床适用场景如社区糖网筛查体检

、,、

中心糖网筛查医疗机构门诊住院急诊

、//。

注数据集的临床适用场景受病种组成与比例流行病学统计分布受试者人群分布特征等因素制约

:、、。

4115版本控制

...

数据集说明应符合中的要求

YY/T1833.2—2022。

4116数据集更新

...

对于动态数据集数据集说明应符合中的要求并描述数据更新的频

,YY/T1833.2—2022,

次分析数据更新对于病种组成与比例患者体征流行病学统计分布受试者人群分布特征不同数据

,、、、、

层次的影响

。

4117文档管理

...

数据集说明应符合中的要求

YY/T1833.2—2022。

4118元数据属性

...

数据集说明应符合中的要求数据集元数据应包含患者标识性别

YY/T1833.2—2022。、、

出生年月糖尿病家族史等必要信息宜包含视力血糖糖尿病分型眼底病诊疗史等信息

、,、、、。

4119数据元属性

...

数据集说明应符合中的要求

YY/T1833.2—2022。

41110标注信息

...

数据集说明应描述数据集是否具有标注信息包括以下的适用维度

,:

图像总体标注糖网病变严重程度分期或分级是否转诊其他眼底疾病图像质量分级眼别

a):、、、、、

是否存在治疗激光斑

;

病灶标注病灶编号病灶区域中心点坐标边界坐标病灶类型

b):、、、、;

病历标注视力血糖糖尿病分型糖尿病家族史眼底病变诊疗史

c):、、、、。

412数据采集信息

..

4121合规性陈述

...

数据集说明应包含审查和批准数据采集的机构名称及收集途径数据集说明应声称病例信息的收

;“

2

YY/T1949—2024

集储存传播和使用已获得被采集者的同意并由相关伦理委员会批准

、、,”。

4122隐私保护

...

数据集说明应符合中的要求

YY/T1833.2—2022。

4123多样性

...

数据集说明应符合中的要求

YY/T1833.2—2022。

4124数据采集依从原则

...

数据集说明应符合中的要求

YY/T1833.2—2022。

4125数据筛选

...

数据集说明应符合中的要求

YY/T1833.2—2022。

413数据预处理

..

数据集说明应符合中的要求

YY/T1833.2—20224.1.3。

414数据集标注

..

数据集说明应描述数据集标注的内容规则和流程描述标注规则所参考的糖网临床指南专家共

、,、

识或参考文献至少包含判定糖网分期分级转诊图像质量分级其他眼底疾病的依据以及病灶检出

,/、、、,

与分割的依据

。

415数据集存储信息

..

数据集说明应符合中的要求

YY/T1833.2—20224.1.5。

416数据集用户访问

..

数据集说明应符合中的要求

YY/T1833.2—20224.1.6。

42数据集标识

.

数据集说明应符合中的要求

YY/T1833.2—20224.2。

43数据集质量特性描述

.

431完整性

..

4311准确性

...

数据集说明应陈述糖网图像临床数据标注结果元数据与真实值一致的程度以书面形式提供可

、、、,

验证的指标其中数据采集信息记录的准确性宜采用单张图像单个病例作为最小的考量对象指标

。,、、,

可使用不合格品百分数分类标注的准确性宜采用单张图像作为最小的考量对象指标可使用准确率的

;,

期望值元数据文字描述的准确性宜采用病例作为最小的考量对象指标可使用不合格品百分数数

;、,。

据集说明应描述仲裁人员的标注结果是否进行过验证以及验证过程验证结果

,、。

注数据采集包含采集设备人员操作等方面

:、。

4312完备性

...

数据集说明应描述糖网眼底彩照数据集在图像病历元数据标注结果等方面满足数据集预期用

、、、

3

YY/T1949—2024

途的程度并以书面形式展示可验证的证据

,。

432唯一性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.2。

433一致性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.3。

434确实性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.4。

435时效性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.5。

436可访问性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.6。

437依从性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.7。

438保密性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.8。

439资源利用性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.9。

4310精度

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.10。

4311可追溯性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.11。

4312可理解性

..

数据集说明应以术语注释参考文献等形式为糖网眼底彩照数据集的数据元元数据和标注结果

、、,、

的含义提供解释并以书面形式展示可验证的证据

,。

4313可得性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.13。

4314可移植性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.14。

4315可恢复性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.15。

4

YY/T1949—2024

4316代表性

..

数据集说明应符合中的要求

YY/T1833.2—20224.3.16。

5数据集质量要求

51概述

.

中适用

YY/T1833.2—20225.1。

52质量特性

.

521完整性

..

5211准确性

...

糖网眼底彩照数据集应符合数据集说明有关准确性的陈述如

,:

采集设备应使用具有医疗器械注册证处于有效期内的彩色眼底照相机指标参数要求按附

a):、,

录

A;

人员操作操作人员应接受设备使用规范培训对眼底彩照的拍摄方法拍摄者资质的举例按

b):,、

附录

A;

记录信息眼底照片受试者的个人信息和病历资料的对应关系应准确无误

c):、;

文字描述数据集说明使用的名词术语文档内容应准确清晰无歧义

d):、、、;

数据标注以仲裁人员的标注结果作为参考标准标注人员的准确率要求应满足糖网诊断分类

e):,

标注准确率不低于糖网分期标注准确率不低于对于是否需要转诊的糖网标注

80%,70%,“”

准确率不低于在病灶分割时标注人员与参考标准的平均分割交并比不低于数据

80%,70%,

标注示例及人员要求见附录

B;

注分类分期准确率以及交并比的定义见

:、YY/T1833.1。

数据形式若采集糖网患者病历资料其中所涉及的描述性文字应依据采集示例

f):,WS/T305,

见附录

C。

5212完备性

...

糖网眼底彩照数据集宜包含左右眼的眼底彩照图像包含黄斑视盘标注结果宜包含诊断和分

,、;

期其中糖网分期的文献依据由数据集制造责任方提供宜遵循有关指南和专家共识推荐使用糖网国

,,,

际分期或国内分期如适用病历数据应包含糖尿病史相关临床数据元数据宜根据研究者需要按照

。,。,

采集

WS/T305。

522唯一性

..

糖网眼底彩照数据集内的数据应是唯一的以同一时期同一机构内的患者个体为识别特征对照

,、,

片进行唯一编号

。

523一致性

..

同一糖网眼底彩照数据集内数据的采集预处理标注方法应保持一致对于不同来源的糖网眼底

、、。

彩照数据集应事先对数据的采集过程标注环节进行统一使其在眼别照片编号视野描述等数据特

,、,、、

征方面保持一致

。

数据集中的每一张图均应具有名及以上标注人员的标注标注结果不一致时应由仲裁专家参与

2,

5

YY/T1949—2024

审核数据标注人员应从事眼科阅片工作年以上或从事眼底疾病诊疗工作年以上职称为主治医

。55,

师及以上仲裁专家应由从事眼科阅片工作或从事眼底疾病诊疗工作年以上的副主任医师或主任医

;10

师担任计算不同标注医生间的一致性系数应不低于

。,Kappa0.8。

注系数的定义见

:KappaYY/T1833.1。

524确实性

..

中适用

YY/T1833.2—20225.2.4。

525时效性

..

中适用

YY/T1833.2—20225.2.5。

526可访问性

..

中适用

YY/T1833.2—20225.2.6。

527依从性

..

中适用

YY/T1833.2—20225.2.7。

528保密性

..

中适用

YY/T1833.2—20225.2.8。

529资源利用性

..

中适用

YY/T1833.2—20225.2.9。

5210精度

..

中适用

YY/T1833.2—20225.2.10。

5211可追溯性

..

中适用

YY/T1833.2—20225.2.11。

5212可理解性

..

糖网眼底彩照数据集应符合数据集说明有关可理解性的陈述如

,:

提供糖网标注的标签与临床分期分级及病灶的对应关系

a)、;

说明标注结果中各空间坐标的含义

b);

注空间坐标指彩照图像某个像素的空间位置

:。

说明如何使用标注结果评估标注人员的一致性准确性如采用辅助标注算法应说明辅助标

c)、;,

注算法的性能指标与评价方法

。

5213可得性

..

中适用

YY/T1833.2—20225.2.13。

5214可移植性

..

中适用

YY/T1833.2—20225.2.14。

6

YY/T1949—2024

5215可恢复性

..

中适用

YY/T1833.2—20225.2.15。

5216代表性

..

数据分布宜具有多样性以控制选择偏倚从以下几个方面进行考虑

,。

受试者人群地域数据来源宜覆盖个及以上不同地理区划

a):3。

注地理区划包含华中华北华东华南西北西南东北

:、、、、、、。

采集场所数据采集来源宜包含所有预期的临床应用场景如医院门诊住院病例体检机构

b):,、、、

社会筛查等对预期用于糖网筛查的人工智能医疗器械数据集中体检机构或社会筛查来源

。,

的眼底照片比例宜高于对预期用于糖网辅助诊断的人工智能医疗器械数据集中医院

70%;,

门诊和住院病例来源的眼底照片比例宜高于数据集制造责任方在数据集说明中描述

70%。

数据的来源

。

设备与配置宜使用不同厂商的不同型号眼底照相机

c):。

样本量训练集样本量宜达到例以上测试集阳性样本量计算公式可参考

d):1000;YY/T1858—

中测试集总样本量中的阴性样本量应根据患病率情况进行推算如糖尿病患者中

20224.3.2,,

糖网患病率约为

30%。

病种多样性数据集宜同时包含型糖尿病和型糖尿病患者的糖网照片可包括经手术眼

e):ⅠⅡ,、

内激光治疗后糖网眼底彩照宜包含的正常眼底彩照宜包含的非糖网

,30%~70%,5%~10%

其他眼底疾病彩照数据集制造责任方可根据需要提升非糖网其他眼底疾病彩照的比例

;,。

糖网分期均衡性数据集中应包含不同分期和不同严重程度的糖网眼底彩照对预期用于糖

f):。

网筛查的人工智能医疗器械数据集中增殖期糖网照片比例宜占糖网照片的转

,10%~30%,“

诊糖网的比例宜占糖网照片的对预期用于糖网辅助诊断的人工智能医疗器

”10%~50%;

械数据集中增殖期糖网照片比例宜占糖网照片的及以上转诊糖网的比例宜占糖网

,30%,“”

照片的及以上

30%。

53数据集风险分析

.

中适用

YY/T1833.2—20225.3。

6数据集质量符合性评价

61通则

.

除下述内容外中适用

,YY/T1833.2—20226.1。

在抽样检验过程中按以下方式进行均匀随机抽样当数据集样本量小于万张图时抽样比例不

,:1,

低于当数据集样本量大于或等于万张图且小于万张时抽样数量不低于张当数据集样

5%;110,500;

本量大于或等于万张时抽样数量不低于张

10,1000。

62数据集说明评价

.

中适用

YY/T1833.2—20226.2。

63质量特性评价

.

631准确性

..

采用中的方法进行验证判断抽样样本集是否全部符合的要

YY/T1833.2—20226.3.1,

7

YY/T1949—2024

求如数据集制造责任方组织第三方专家对数据集标注结果进行抽样检验第三方专家由三甲医院从

。,

事眼科阅片工作或从事眼底疾病诊疗工作年以上的副主任医师或主任医师担任

10。

对于动态变化的数据集根据数据集制造责任方的更新频率进行重新抽样检验抽样数量根据更

,,;

新后的样本总量确定

。

632完备性

..

编写测试用例对计数型抽样样本集的数据元数据和标注内容进行检查判断其结果是否符合

,、,

的要求

。

633唯一性

..

对糖网眼底彩照数据集进行抽样将计数型抽样样本集在总体样本中进行查重验证判断其结果是

,,

否符合的要求

5.2.2。

634一致性

..

根据糖网眼底彩照数据集说明声称的一致性指标进行试验验证计算计量型抽样样本集中符合要

,

求的样本比例判断其结果是否符合的要求

,5.2.3。

635确实性

..

采用中的方法进行验证判断其结果是否符合的要求

YY/T1833.2—20226.3.5,5.2.4。

636时效性

..

采用中的方法进行验证判断其结果是否符合的要求

YY/T1833.2—20226.3.6,5.2.5。

637可访问性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.7,5.2.6。

638依从性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.8,5.2.7。

639保密性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.9,5.2.8。

6310资源利用性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.10,5.2.9。

6311精度

..

对照糖网眼底彩照数据集说明检查计数型抽样样本集的标注结果包含的数据定量特征病灶边界

,、

描记的精度判断其结果是否符合的要求

,5.2.10。

6312可追溯性

..

采用中的方法进行资料验证判断其结果是否符合的要求

YY/T1833.2—20226.3.12,5.2.11。

6313可理解性

..

对照糖网眼底彩照数据集说明对图像病历标注结果和元数据进行预览和解释判断其结果是否

,、、,

8

YY/T1949—2024

符合的要求

5.2.12。

6314可得性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.14,5.2.13。

6315可移植性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.15,5.2.14。

6316可恢复性

..

采用中的方法进行试验验证判断其结果是否符合的要求

YY/T1833.2—20226.3.16,5.2.15。

6317代表性

..

对照糖网眼底彩照数据集说明对整个数据集开展统计分析检查统计分层样本组成数据多样性

,,、、

等判断其结果是否符合的要求

,5.2.16。

64数据集风险分析评价

.

采用中的方法对数据集风险分析文档进行检查判断其结果是否符合

YY/T1833.2—20226.4,,

的要求

5.3。

9

YY/T1949—2024

附录A

规范性

()

数据采集要求

A1人员要求

.

A11一般要求

..

数据采集中人员方面的一般要求如下

:

应由医疗机构中具备相关资质的专业医疗人员完成

a);

应为经医院医务科信息科和相关部门授权的人选

b)、。

A12培训

..

应对采集人员按照医院的安全和标准作业流程进行培训

。

A13考核

..

采集人员应熟悉眼底照相相关技术要点考核中根据病种的不同调整合适的参数进行扫描以获

,,,

取质量最佳的数据考核标准从操作规范性操作娴熟度操作稳定度三方面进行综合评价

。、、。

A2设备要求

.

A21一般要求

..

数据采集中设备方面的一般要求如下

。

眼底照相机应符合的要求

a)YY/T0634。

对焦方式宜支持自动对焦

b):。

曝光方式宜支持自动曝光

c):。

视场角拍摄单视野时应不小于拍摄多视野时每个拍照视野应不小于单个病例的

d):,45°;,30°;

图像需要涵盖黄斑和视盘

。

免散大瞳孔可拍摄的最小瞳孔直径应能达到

e):3mm。

内固视点眼底照相机的内置固视点应至少能调节至个位置分别对应以视盘为视野中心

f):3,、

以黄斑为视野中心以视盘和黄斑连线的中点为视野中心的位置且能根据需要指定固视点

、,。

应具备半自动或全自动免散大瞳孔平面彩色照相功能

g)。

存储格式应支持无损压缩的格式或无损压缩的格式支持无损格式压缩

h):TIFFPNG,