人工智能技术在骨肌系统影像学方面的应用

人工智能技术在骨肌系统影像学方面的应用［摘要］骨肌系统疾病种类繁多，影像学检查是疾病诊断的首要手段。合理选择图像后处理方法，可为疾病的诊断、手术治疗以及预后等提供可靠的评估依据。人工智能技术作为计算机科学发展的新阶段，能够高效、精准地对影像学图像进行预处理和分析，辅助医师诊断和治疗工作，将为骨肌系统影像学领域的发展带来新的机遇。该文就人工智能在骨肌系统疾病的影像诊断方面的应用现状和挑战展开综述，以期为开展相关研究的学者提供一定的参考。［关键词］骨肌系统；影像诊断；人工智能；深度学习Overviewoftheapplicationofartificialintelligencetoradiologyofthemusculoskeletalsystem[Abstract]Musculoskeletaldiseasesarediverse.Medicalimagingexaminationistheprimarymeansofdiseasediagnosis.Reasonableselectionofimagepost-processingmethodscanprovidereliableevaluationbasisfordiseasediagnosis,surgeryandprognosis.Asanewstageofthedevelopmentofcomputerscience,artificialintelligencetechnologycanefficientlyandaccuratelypreprocessandanalyzeimages,andassistcliniciansindiagnosisandtreatment.Itwillbringnewopportunitiesforthedevelopmentofmusculoskeletalimaging.Thispaperreviewsthecurrentsituationandchallengesofartificialintelligenceinthefieldofimagingdiagnosisofmusculoskeletalsystemdiseases,inordertoprovidesomereferencefortherelevantresearchscholars.[Keywords]musculoskeletalsystem;imagingdiagnosis;artificialintelligence;deep-learning骨肌系统疾病可累及骨、关节及其邻近软组织，种类繁多。影像学检查作为医疗工作的重要组成部分，是疾病诊断的基础⑴。随着精准医疗、个性化诊断和靶向治疗为核心的医疗模式的形成，医学影像学已经逐步从定位、定量和定性诊断病灶，发展至评估功能变化、治疗方案选择和预后评估等多个方面。因此，如何充分挖掘和利用影像学图像中的有效信息，提升骨肌系统疾病影像诊断效率，成为当前影像学图像分析领域的研究热点⑵。近年来，人工智能(artificialintelligence,AI)在医疗健康领域的应用飞速发展，带动了医学影像、药物研制、疾病风险评估以及预后评估的发展［3］o目前，AI可以实现从大量可靠的数据中挖掘规律，自动学习影像学图像中隐含的特征信息，并对未知数据进行预测，从而辅助医师诊断疾病，减少漏诊和误诊⑷。本文就AI在骨肌系统影像学诊断方面的研究进展进行综述，以期为开展相关研究的学者提供借鉴与参考。1AI与骨1.1骨龄预测骨龄(boneage，BA)是衡量儿童骨骼成熟程度的指标。BA评估是儿科常用的一种放射学检查，该检查操作简单，只对左手和手腕进行一次X射线检查。BA评估有助于监测生长激素治疗和诊断内分泌疾病。BA评估可以在计划矫正长骨或脊柱畸形的手术时进行，也常被用来预测个体的最终身高。现有的自动化BA检测方法大多数建立在计分法(Tanner-Whitehouse，TW)和图谱法(GreulichandPyle，G&P)上对手骨的X射线图像进行自动化特征提取。2001年，Pietka等⑶提出一种干骺端感兴趣区提取方法，利用模糊分类法选取左手腕部X射线图像进行BA分析。2007年Gertych等［6］开发了一种自动评估儿童BA的方法，利用模糊分类法对提取的定量特征进行BA评估，其平均绝对误差(meanabsoluteerror，MAE)值为2.15岁。2009年Thodberg等⑺提出的BoneXpert方法结合TW法和G&P法，对2~17岁对象的1559张X射线图像进行BA自动评估；其中，G&P法评定骨龄的MAE值为0.42岁，TW法评定骨龄的MAE值为0.80岁。2017年Spampinato等［8］提出了一种基于深度学习的BA检测模型-Bonet神经网络模型，在0~18岁涵盖不同种族和性别的公共数据集上进行自动化BA评估工作，其MAE值为0.80岁。国内学者也进行了相关研究。2019年李婷婷等〔可收集11858例0~18岁对象的左手腕部骨龄X射线图像数据，探讨基于AI的BA评估方法，实现了基于整张手腕部X射线图像高阶特征学习和预测BA，MAE值为0.47岁。2020年王嘉庆等1101采用一种以InceptionResnetv2神经网络为基础的深度学习模型进行BA自动评估，在涵盖不同种族、性别和年龄范围的X射线图像公共数据集上训练以实现自动化BA评估，MAE值为0.37岁，优于Bonet神经网络模型。人工进行BA评估烦琐、耗时，AI则便捷、快速、准确度高，其在BA测量应用优势明显。目前，国内多家医院已正式上线AIBA评测系统，与医学影像存档与通信系统(picturearchivingandcommunicationsystems，PACS)并行运行，以辅助临床决策与诊断。需要注意的是，深度学习很大程度上依赖于大量的训练数据，同时防止过拟合也是训练深度学习模型过程中要解决的重要问题。因此，获取临床更适宜、更精准的自动化BA检测模型，还需更加深入的研究。1.2骨折检测骨折是临床常见疾病，也是放射科常见的急诊漏诊疾病。复杂骨折的临床分类识别对临床手术术式选择至关重要，而诸多复杂骨结构如脊柱与关节部分骨折临床快速分类还存在困难。使用AI准确发现和分类骨折具有重要的临床现实意义。虽然利用CT图像进行骨折检测是AI的一个新兴研究领域，但已经有研究者尝试借助AI技术对身体各部位的骨折情况进行判读。Olczak等［11］选择了5个公开的、免费的深度学习网络模型，在256000张腕、手和踝关节的X射线图像上评估骨折，骨折检测的准确率可高达83%。Wu等1121提出了用于分割的匹配主动形状模型(registeredactiveshapemodel，RASM)，检测骨盆潜在创伤性骨折的轮廓不连续性。Chung等［13］在1891张X射线图像上利用深度卷积神经网络(convolutionalneuralnetwork，CNN)模型检测和分类肱骨近端骨折，结果显示CNN模型在区分正常肩部和肱骨近端骨折方面准确率高达96%，曲线下面积(areaundercurve，AUC)为1.00，表明使用AI准确诊断肱骨近端骨折的可行性。此外，CNN模型在骨折分类方面也显示了良好的结果；与医师相比，CNN的表现优于普通医师和骨科医师，与肩关节骨科医师相似，在复杂的三部分、四部分骨折中CNN模型的检测性能更加突出。Pranata等［14］利用深度学习算法在CT图像上自动检测和分类跟骨骨折，其准确率达到了98%。周清清等［15］构建了一种基于CNN算法自动肋骨骨折检测和分类的模型。该模型具有良好的诊断效能，能在较短的时间内利用CNN模型自动检测并分类肋骨骨折，达到放射科主治医师的诊断水平，使检测时间平均缩短132.07s，且通过多中心测试证实该模型的鲁棒性较好。Tomita等眼基于CNN模型，研究开发了一种自动化骨质疏松性椎体骨折检测系统，在1432例CT图像上对该系统进行训练和评估，并用129例CT图像进行验证，结果显示该系统的准确率可达89.2%，F1值为90.8%，表明该系统在辅助放射科医师诊断疾病方面具有一定价值。骨折判读和分类的AI算法开发具有潜在的益处。AI可作为放射科医师临床诊疗的辅助手段，提高急诊患者中骨折的检出率，同时减少工作量。随着相关研究的进一步深入，我们相信AI在X射线图像和CT图像的骨折判读和分类方面可以取得与医师相近的表现，甚至可能超过医师的表现。2AI与美节2.1软骨及骨关节炎识别在接受关节磁共振成像(magneticresonanceimaging，MRI)检查的患者中，识别软骨病变具有重要的临床意义。研究［17］证实，具有形态学软骨成像序列的MRI对检测膝关节内软骨病变具有高特异度，但只有中等敏感度。诊断性能高度依赖于图像阅读者的专业水平，阅读者之间只有中等程度的一致性服。磁共振T2mapping序列已被证明可以提高检测膝关节软骨病变的敏感度，但特异度有所降低"气在MRI检测软骨病变中开发基于计算机的标准化方法将有助于最大限度地提高诊断性能，同时减少主观性、变异性和由于医师的分心和疲劳造成的错误。Liu等［20］开发了一套基于深度学习的全自动软骨损伤检测系统，该系统利用CNN对软骨和骨骼进行分割并检测软骨结构异常，研究证实了使用基于深度学习的全自动软骨损伤检测系统在MRI评估膝关节软骨病变中的可行性。Xue等［21］探讨了深度学习算法对髋关节炎的诊断价值，在420张髋部X射线图像上训练并测试了该算法判读髋部骨关节炎(osteoarthritis，OA)的能力，可以达到95.0%的敏感度、90.7%的特异度和92.8%的准确率。此外，Norman等［22］基于膝骨关节炎KL分级(KellgrenLawrencegradingsystem)和DenseNet神经网络模型提出了一个全自动检测OA的算法，并收集4490张X射线图像用来训练OA分级算法模型，发现该模型对无OA、轻度OA、中度OA和重度OA的检测灵敏度分别为83.7%、70.2%、68.9%和86.0%,特异度分别为86.1%、83.8%、97.1%和99.1%。这些结果提示该模型可以协助医师做出更准确的诊断。上述研究将AI算法的诊断准确性同放射科医师进行了比较，大多数算法都可匹敌相关放射科医师的正确性。然而，相同疾病的不同医师间判读常常存在一定差异，如何建立用于AI算法学习的金标准是至关重要的［23-24］o2.2关节影像配准在骨科日常工作中，对运动中的关节进行精确测量是开展骨肌系统生物力学研究的关键步骤。在基于双透视成像系统的体内关节运动分析过程中，其测量的基础是二维-三维图像配准，即将CT图像与连续的X射线图像在三维空间中对齐。Miao等［25］通过对数字重建放射影像(digitallyreconstructedradiograph，DRR)和X线图像中感兴趣区计算残差，使用CNN回归预测配准参数，可在0.1s内实现膝关节假体配准，平均配准误差为0.593mm。虽然该配准方法配准鲁棒性高，但是使用时有一定限制，其配准对象仅为医疗植入物，人体解剖结构配准效果较差。基于AI算法的图像配准方法，在实时性上优于人工配准方法，因此其应用场景也可扩大到术中实时导航等。然而目前来看，AI算法的配准精度还不能完全满足临床要求，进一步提升配准精度应是AI配准算法的主要方向。3AI与软组织3.1韧带损伤检测韧带是关节的主要组成部分，起到支持关节运动、维持关节稳定的重要作用。膝关节各类疾病的临床诊断通常都要参考韧带的状态。由于MRI、CT等影像学图像均存在一定局限性，对韧带损伤程度的判断易受医师主观因素的影响。AI算法的发展为提高韧带损伤检测的准确率提供了全新的技术手段。Stajduhar等［26］通过建立一"决策支持模型，从人体膝关节的矢状面MRI图像检测轻微前交叉韧带(anteriorcruciateligament，ACL)损伤(不需要手术治疗)和完全ACL断裂(需要手术治疗)的存在，来评估期辅助诊断过程的可能性；结果显示轻微ACL损伤检测AUC为0.894，完全ACL断裂检测AUC为0.943，表明该模型具有一定的诊断价值。Bien等［27］在2018提出了用于检测膝关节MRI图像中ACL和半月板损伤的深度学习模型MRNet，其中MRNet的训练基于一个庞大的数据集，算法模型在测试集上取得了较好的性能；该模型对ACL以及半月板损伤检测的准确度与影像科医师差异无统计学意义，且可以大幅降低ACL损伤的误诊率。针对这一课题，Liu等128-291的研究也取得了不亚于人工诊断结果的准确率。以往的韧带损伤检测算法缺乏对多模态信息的融合和利用，相关算法的性能依然存在提升空间。随着相关研究的深入，AI在韧带损伤诊断和治疗的应用有望真正应用于临床。3.2肌间脂肪组织定量分析肌间脂肪组织广泛存在于肌骨系统。通过分析肌间脂肪组织，可以对人体新陈代谢、运动能力以及肌肉功能等状况进行推断。根据医学影像，对肌间脂肪组织进行定量测定具有重要的临床医学价值。传统的肌间脂肪组织分析不但操作复杂，效率低下，且分析结果的一致性较差。针对上述问题，Tan等如提出了肌间脂肪组织自动分区算法，将机器学习算法应用于肌间脂肪组织进行定量分析。Kemnitz等［31］研究开发了基于U-Net网络模型的全自动肌肉和脂肪组织分割的新方法，其分割结果准确，对大数据集的全自动化评估时间(小于Is)较目前的半自动化评估(3~6min)或手工分割技术(60~90min)大大缩短，展现了肌间脂肪组织定量分析技术对于研究骨肌系统OA等疾病诊断和治疗进程的重要性。4AI与骨肿瘤骨肿瘤是肿瘤中发病率较低的一种疾病，通常表现为多种形态成像特征，异质性强。其主要治疗方案是新辅助放射治疗和化学治疗(放化疗)以及手术治疗。精确地从骨肿瘤CT和MRI图像中分割出肿瘤病灶区域，对术前新辅助放化疗的计划制定，以及术后疗效评估都有着至关重要的作用。然而，人工勾画肿瘤区域耗时长，工作量极大。此外，不同的放射科医师对肿瘤区域的勾画结果易受主观经验、环境等诸多因素影响，且勾画结果不可重复。因此，临床上亟需实现肿瘤区域的自动分割和合理判读。目前利用CNN进行深度学习应用较广泛。AI在骨肿瘤分型方面的应用较早。早在1980年，Lodwick等31使用计算机模型确定了骨肿瘤分型。1994年，Reinus等［33］研究利用神经网络模型诊断骨肿瘤，将709个病灶的影像学特征编码到预先确定的数据库中，该模型鉴别良恶性病变的准确率为85%。2017年，Do等［34］开发了贝叶斯模型来预测710张X射线图像上的骨肿瘤诊断与鉴别诊断；预测正确诊断的准确率高达62%，鉴别诊断的准确率高达80%。AI在骨肿瘤边界勾画方面的应用较多。Huang等［35］提出了一种基于多监督侧全卷积网络(multiplesupervisedfullyconvolutionalnetworks，MSFCN)模型的肿瘤边界自动分割方法，对405例骨肉瘤手工分割结果进行定量比较，平均戴斯相似性系数(averageDicesimilaritycoefficient，DSC)为87.80%，平均敏感度为86.88%、平均Hammoude距离(Hammoudemeasure，HM)为19.81%，F1值为0.908，与全卷积网络(fullyconvolutionalnetwork，FCN)模型、U-Net方法和整体嵌套边缘检测(holistically-nestededgedetection，HED)方法相比，MSFCN模型在DSC、灵敏度、HM和F1值方面有着更好的性能。该算法有助于快速准确地勾画肿瘤边界，有助于医师制定更精确的治疗方案。此外，该团队［36］提出了一种基于多监督深度残差网络(multiplesupervisedresidualnetwork，MSRN)模型的骨肉瘤图像分割方法。与FCN、U-Net等先进算法的最佳分割结果相比，MSRN在DSC系数、敏感度系数、F1值上分别提升了8.78%、7.83%、6.71%。Duan等［37］近期提出的SenseCare平台，基于深度学习网络模型，融合了MRI骨盆肿瘤分割、CT骨盆骨骼多类分割、MRI/CT骨盆区域自动配准等多种技术，利用不同模态图像，可自动提取肿瘤及其周围结构并将其融合，辅助手术规划、患者假体匹配与导板的设计。AI在骨肿瘤术后复发预测方面的应用起步较晚。He等［38］应用CNN模型，根据56例经术后病理证实的骨巨细胞瘤患者的MRI图像和临床资料，预测骨巨细胞瘤患者术后局部复发情况，并结合患者特征(年龄、肿瘤位置等)，建立预测骨巨细胞瘤复发的二元Logistic回归模型。将CNN、CNN回归模型与放射科医师的诊断比较，CNN和CNN回归模型的正确率分别为75.5%和78.6%，高于放射科医师的64.3%；敏感度分别为85.7%和87.5%，高于放射科医师的58.3%；该研究说明CNN对刮骨术后骨巨细胞瘤复发有一定的预测价值，结合患者特点的二元回归模型提高了预测肿瘤复发的准确性。AI在骨肿瘤影像