医学影像数据人工智能分析方法评估指南

1下列文件中的内容通过文中的规范性引用而构成本文件必不件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包GB/T5271.1-2000信息技术词汇第1GB/T5271.31-2006信息技术词汇第31部分：人工智能YY/T0482-2022医用磁共振成像设备主要图像质量YY/T0310-2015CT图像按照X射线计算机体层摄影设备为了医疗或医学研究对人体或人体某部分以非侵入方式取得的组织影像算机体层成像(Computedtomog2用于评估人工智能分析方法的临床试验需要纳入预估的样本量。足够的不同统计模型在不同错误率水平下，其样本量大小由检验水准(α)、检验效能（1-β)、个体变异（CV%）、效应量(θ)及等效界值(Δ)共同决定。具体而言：当α水平设置更严格（即取值越b)检验效能(Power)：又称把握度，即1−β的大小，一般不低于80%c)个体变异：对于以曲线下面积(Areaunderthecurve,AUC)为重点评），.......................................∗100%................其中，n为每组所需的样本量；Uα、Uβ为α、β所对应的U值(分位数)，查正态分布表可得；P0和P1n=2p∗(100−p)∗f(α,β)/Δ2..............................................其中，p代表所预期的性能指标，Δ代表两种方式可接受的差异，f(α,β)由常用f(α,β)数值表可差。最后，分别估算灵敏度所需的样本量(nse，即患者组的样本量)和特异度所需的样本量(ns3患者的样本量)，取两者的较大值。对双侧............................Z1−α/2和Z1−β表示标准正态分布的上α/2和β百分位数，α和β为I型错误概率和Ⅱ型错误概率。如α数据质量指的是经(不同)设备扫描所产出的医学图像的成像质量。一般SNR=................................................其中，信号S为ROI的像素强度平均值减去背景像素强度平均值的差值；噪声N为磁共振图像按照医用磁共振成像设备主要图像质量参数的测定(YY/T0482-2022)中方法检测，CT图像按照X射线计算机体层摄影设备通用技术条件（YY/T0310-率需高于10.0lp/cm。对CT而言，空间分辨率需4测试集中的数据尽量来源于不同机构，且来源于不同品牌或型号的成像符合实际情况，以实现多中心外部验证。若同一患者同时拥有多套影像数据测试数据集标签实现对疾病特征的可靠标注，分类标签从病理报告、临b)对于分类场景标注，基于医生主观判断。标签获取的具体机制取决于标注医生的人数和资历以及问题的复杂度和医生认知的一致性。比如：①先由两名或多名低立标注，后由一名或多名高年资医生(≥10年)进商、投票结果为准；或以最权威医生仲裁结果为准；@由两名医生共同分析图像，意见有分c)对于分割场景标注，基于医生手动勾画：①由一名医生独立标注；@由一名低/中年资医生对医学影像数据进行标签的标注涉及专业标注工具，根据应用场景不同，对52)自建工具或第三方工具：需满足图像缩放和标注任务的相关需求。医生3)常用标注软件包括：ITK-SNAP、3DSlicer、LabelM√√√×√√√×√√××√√√×√√××√√√√2)3D：nii、nii.gz、mra)组内相关系数(intra-classcorrelati适用于定量或定类数据的一致性测量，包括不同...........................................其中pr(a)是医生间相对观察到的吻合，而pr(e)是偶然吻合的假想概率，是用观察到的6Accuracy=................Precision=...................Recall=.............................................................按照算法进行样本分类时的置信度，即该样本为正例的概率，对所有样个样本的概率选择置信度的阈值，在该样本之前的都属于正例，该样本之后的都Specificity=............7F1score=...........................................根据预测结果对样例进行排序，按顺序逐个把样例作为正例进行预测，每FPR=.................................................TPR=..................................AUC通过对ROC曲线下各部分求和得到，比较AUC大小是判断模型优劣的标准根据预测结果对样例进行排序，按顺序逐个将样例作为正例进行预测，每召回率，最终计算精确率的平均值。以召回率为横轴，精确率为纵——area(c)为候选框区域面积；——area(G)为原标记框区域面积。8——area(ci)为第i类候选框区域面MSE=..................................SSIM=.....................................9集合相似度度量函数，通常用于计算两个样本的相似度Dice=......................类别像素准确率(Classpixelaccuracy,CPA)是每个类模型预测正确的数目占该类别总像素数目NCC=.....................dxdy........................................................................................通常配准之后得到的图像形变场简称为密集位移场，用于验证配准方法的——(i,j,k)为配准产生的形变场上的点。平均精度均值(mAP)，模型检测速度(FPS)，假阳率(FPR)，F1值；针对某一类），对于分割任务来说，常用的性能定量评估指标包括算法输出结果与目标区域的D对于分类任务，常用的定量化评估模型性能的指标包括整体分类的(Confusion对于配准任务，常用的模型性能定量化评价指标，针对图像本身来说包括固间的均方差(MSE)(图像之间具有相似灰度信息重建模型性能常用的定量化评估指标包括：模型输出反应人工智能系统处理请求的时间，包括呈现时间、请求数据时间、响人工智能辅助诊断系统应具备医生可自主完成诊疗意见并记录的功能。要求可视化展示界面简洁明了、信息全面。界面设计视觉、布局、控件辑需合理。可视化展示功能可包括例如患者信息查询，阅片相关功能，病灶检启动软件是否顺利；无软件原因导致的宕机；因不可抗原因导致算法运行设备需具备以下原则：开放性、可靠性、标准化、易用性、安a)兼容不同的算法框架，包括其所支持的编程语言、模型设计、软件接口设计、性框架包括：Pytorch，Tensorflow，C需要评估实际运行环境对算法准确性、稳定性的影对数据进行特征提取、选择特征并构建预测模型，随后将此分析过程应用于测试集直到所有的数据都作为测试集被测试了一次。在此过程中可获得每一折的特为有效训练和客观评估所训练的模型性能，可引入外集、测试集和外部验证集。重点关注数据在外部独立验证集上的效果，以反映模型人工智能技术在医学影像领域的应用场景包括：扫描、成像、疾病筛查检测算法模仿影像科医生从影像中找到可疑的病变或者器官，主要应用场a)检测算法对图像进行深度特征提取，利用检测框建立候选区域集合，然后构建分检测算法输出的主要形式在二维图像是一个矩形框、在三维图像上是一个分割算法是提取医学图像中人体主要器官、重要的解剖结构、肿瘤a)X线图像分割算法：肺部、脊柱、肋骨及全身骨结构分割b)CT图像分割算法：肺部组织及肺结节分分割算法输出的ROI或VOI包含目标物体的像素或体素，目标是尽可能分类算法的量化方法：精准率、灵敏度、特异度、准确率、F1分对于不平衡样本问题，如阳性病例较少，少见病或是罕见病，临床注重少漏配准算法是对同模态或不同医学图像之间一种计算空间变换，实现医学图像之间在空间上的一致。主要应用场景包括多时间点影像序列之间的随访对比、多模态影像融合分b)CT图像配准算法：随访图像