机器学习在放射学中的应用及其未来影响

机器学习在放射学中的应用及其未来影响机器学习在放射学中的应用及其未来影响 Abstract 机器学习技术的最新进展和未来前景在医学成像中提供了 有前途的应用 机器学习具有改善放射工作流中各个步骤效果的潜 力 包括订单调度和分诊 临床决策支持系统 结果及其解释 后 处理和剂量估算 检查质量控制 放射学报告 在本文中 作者回 顾了机器学习和人工智能技术在诊断放射学中的应用实例 此外 针对这些技术在放射学中的未来影响和自然延伸进行了讨论 1 机器学习的最新进展为包括医学影像学在内的工业和应用提供了 希望 在数据科学的创新中 机器学习是一类使计算机能够像人类 一样学习和提取或分类模式的技术和研究 机器可以进一步分析更 多的数据集 并从人类可能无法做到的数据中提取特征 机器学习 最近的研究和发展方向是 在现在和未来将其用于诊断成像 在这 篇综述中 首先介绍机器学习的 广义 和 狭义 定义 然后介 绍如何将机器学习应用于成像解释并使其得到发展 第二 我们将 提供机器学习在诊断放射学中的应用实例 第三 我们将讨论机器 学习技术在临床应用中的主要障碍和挑战 最后 我们将讨论机器 学习在放射学和除了放射学以外的其他医学领域中未来的发展方向 2 1 机器学习的定义 机器学习是一种使电脑具备学习能力却 又不依赖于直接的编码规则的数据科学方法 机器学习可以创建能 够进行学习和预测的算法 与基于规则的算法相比 机器学习利用 了对大数据集和新数据集的增加的曝光 并具有根据经验进行改进 和学习的能力 2 机器学习策略 根据任务的不同 机器学习通常分为三大类 监督 无监督和强化学习 3 在监督学习过程中 需要将数据标签提供给训练集 在训练过程 中有监督 预期输出通常先由使用者提供数据标签 作为算法的 真实答案 类似金标准 算法的目标通常是使机器学习将输入映 射到输出的一般规则 即让机器学会传递函数 算法的目标通常 是学习将输入映射到输出的一般规则 在机器学习中 地面真理指 的是假定为真的数据 在无监督学习中 不给学习算法提供数据标 签 机器学习任务的目标是在数据中找到隐藏的结构 并将数据分 离成簇或组 在强化学习中 计算机程序在动态环境中执行特定任 务 与此同时 计算机接受正和负强化 如与对手玩游戏 的反馈 强化学习是指 在没有明确的规则指导下 机器通过自身与环境的 交互结果进行自我学习和提升 监督和 unsupervised examples of 学习技术是提供在图 2 机器学习范式可以使用合成的监督和 unsupervised 方法与增强反馈环 有监督和无监督学习技术的实例 如图 2 所示 一种机器学习模式也可以同时使用有监督反馈和无监 督方法的与增强反馈回路的组合 34 人工神经网络 4 人工神经网络是机器学习中的重要应用 是一种统计和数学的方 法 该网络是在生物神经系统处理大量信息的方式的基础上发展起 来的 网络中有大量高度互连的处理元件 称为互连处理元件 称 为神经元 结点或细胞 一个人工神经网络的结构包括 一个输入 层 一个或者多个 隐层 以及一个输出层 每一个隐层由一套 神经元组成 其中的每一个神经元都与前一层的所有神经元相连接 每个连接用加权值来量化 为了使网络产生正确的输出 例如 对 图像的检测结果进行正确的检测和分类 需要通过输入训练集对 网络进行训练 给每一个神经元之间的连接一个恰当的权重 人工 神经网络中的学习可以是监督的 部分监督的或者完全无监督的 深度学习和卷积神经网络 5 深度学习 也称为深度结构化学习 分层学习或深度机器学习 是人工神经网络算法的一个子集 它包含不止一个隐层 通常更多 因此是 深 换言之 深度学习算法是基于一种试图在数据中 提取更高级抽象的特征进行学习的算法 机器学习的一个典型应用 是图像目标识别 可在网上获得具有深度学习的目标识别的例子以 及神经网络中的不同层次的分析细节 6 深度学习模型可以被归类为典型的 或正常的 网络 其采取向 量形式 一维 输入 例如 非结构化输入 或卷积神经网络 CNNS 其采取二维或三维形状输入 即结构化输入 考虑到 图像中相邻像素或体素之间的结构信息 CNNs 医学图像分析中得到 了极大的关注 成为研究热点 特别是对图像的特征提取 7 卷积是一种在信号或滤波信号中寻找模式的数学运算 卷积神经 网络由一个输入 输出层和多个隐层构成 这些隐层 卷积 对输 入进行滤波从而获得有用的信息 卷积神经网络的隐层通常由卷积 层 池化层 完全连接层和归一化层组成 8 CNNs 的主要参与者是卷积层 它由被称为核的过滤元件组成 池化层 或降采样 用于减少空间维度 进而改善计算性能 同时 也减少了过度匹配的机会 CNNs 图 4 是目前医学成像中最常用 的机器学习技术 迁移学习 9 迁移学习是一种把处理先前任务获取的知识 应用于新的 不一 样但是相关任务中的机器学习方法 迁移学习使得我们可以将已经 存在的标注数据用于一个新的相关任务 例如 在 ImageNet 网站中 HTTP www IMA NET ORG 一个预先训练来进行非医学图像的 分类和识别的 CNN 已被用于 CT 扫描结果中对肺肿瘤的特征提取和 病人的生存预测 ImageNet 是一个大型图像数据库 库中的图像已 经过手工标注图像中的对象 ImageNet 大规模视觉识别挑战赛是一 个年度的竞赛 该比赛中各类软件通过正确识别和区分图像中目标 的方法进行竞争 非医学图像分析得到的知识被迁移用于医学图像 的分析 迁移学习为机器学习在不同领域的快速发展创造了良好的 契机 机器学习数据集 10 通常情况下 机器学习的应用需要采用一个训练 测试系统 理 想条件下 需要训练 测试和验证三个数据集 其中 训练数据集 用于拟合模型 在训练过程中 算法通过样例进行学习 验证集采 用单独的数据评估进行模型拟合的评估和模型参数的调整 大多数 培训方法倾向于过度训练数据 意味着能够找到适合训练数据集的 的模型 但是通用性不好 因此 通过执行训练和验证的连续迭代 来优化算法并避免过拟合 在测试集中 在最初机器学习算法建模 完成之后 最终模型可以应用于独立的测试数据集 以评估算法的 性能 准确性和通用性 用于深度神经网络机器学习的开放源代码工具 11 在掌握了适当的基础知识后 可以采用相对简单的低成本软件 来进行机器学习 现在又许多可以进行深度学习的开源工具 机器 学习在独立软件开发人员 数据科学家和企业实体中变得流行 如 谷歌将机器学习技术民主化 为什么是现在 计算能力和数据的收敛性 12 基于大规模并行并行处理芯片架构的主要图形处理单元 与并 行计算方法 历史上可用于图形渲染和游戏 相结合 使人工神经 网络的性能大幅度提高 使真正的深度学习成为可能 此外 企业 积累了包括医学图像在内的大量数字数据 数字化已经发展几十年 而且 还有许多可用于机器学习的开源的算法 如 CAFE TRAP 和 TUNSOFLUM 见表 1 而且有大量的训练数据可以使用 例如 generalized ImageNet 为什么机器学习很强大 13 从根本上说 机器学习是强大的 因为它不是 易碎的 一 种基于规则的方法暴露于现实世界时可能会被打破 因为真实世界 经常会出现一些程序员使用的规则所定义算法中未包含的示例 利 用机器学习 系统可以基于它的训练集简单地使用统计来逼近响应 最多的结果 这意味着它是灵活的 此外 机器学习是一种强大的 工具 因为它是通用的 用于自驾车汽车的方法和用于医学影像判 读是相同的 机器学习的通用性使其能够在包括医学在内的不同领 域快速扩展 机器学习与人工智能 13 与机器学习相比 人工智能 或机器智能 可以通过计算机执 行更广泛的人工智能 如问题解决 规划 知识表示 语言处理 或 学习 因此 机器学习是人工智能的一种 例如 基于规则 的算法 如计算机辅助诊断就是一种人工智能 它在乳腺摄影中已 经使用了几年 但其并不是机器学习的一种类型 然而 计算机辅 助诊断包含很广泛 可以将机器学习也纳入其中 根据定义来看 机器学习算法是通过经验而非规则来自动改善 机器学习在越来越 多的例子中得到应用 事实上 目前有许多人工智能的应用都用到 了机器学习 机器学习在诊断影像学中的应用 14 虽然大多数文献都集中研究机器学习在检测放射学结果中的作 用 但机器学习也有可能改善放射学工作流中的不同步骤 表 2 如下章节所述 病人登记和筛选 15 机器学习技术促进智能调度可以优化患者的排班并降低患者的 由于不参加医疗和放射学预约而错过护理可能性 Efren Flores 博 士在马萨诸塞州总医院 波士顿 Mulk 领导的一个项目是使用机 器学习和预测分析来识别那些因为未能如约参加放射治疗的高危患 者 该小组正在开发个性化的解决方案 以减少错过护理的机会 16 此外 有研究提出将机器学习应用于病人安全检查 17 或加 强安全报告 18 这在放射学实践中有潜在的应用价值 例如 MRI 安全检查或对比剂的管理 图像获取 17 机器学习可以使图像系统智能化 基于机器学习的数据处理方 法具有可以减少成像时间的潜力 还有 智能成像系统可以减少不 必须的图像 改善位置 同时帮助优化结果的特征 例如 一个智 能 MR 成像系统可以识别病变 并建议修改检查的序列 从而优化结 果中的病变特征 结果的自动检测 18 机器学习可以很快地在放射医学影像领域的结果自动检测中产 生反响 例如 有研究证实了可以将机器学习应用于类似肺结节和 甲状腺结节等偶然的结果提取 进一步的研究证明 机器学习可被 用于检测一些关键性的结果 如气胸 图 6 骨折 器官裂伤和 中风 19 机器学习算法被用于计算机辅助检测和计算机辅助诊断已经有 几十年 在乳腺 X 线摄影中 计算机辅助诊断已经显示出其有效性 但矛盾的是 计算机辅助诊断可能会被一些乳腺癌患者忽视 限制 其临床应效益 20 乳腺癌筛查是最有望将机器学习纳入放射学实践的第一个领域 多项研究结果已经表明其诊断价值 机器学习技术在不同乳房成像 中得到应用 包括 乳腺 X 线摄影 美国 MRI 断层合成 21 人们对于机器学习在肺结节的检测 分类和管理中的作用越来 越感兴趣 例如 肺结节分类的深度学习系统是在经验丰富的人类 观察者之间的差异中进行的 机器学习算法也有助于减少检测肺结 节的假阳性结果 20 最近的 Kakle 数据科学碗看到将近 10000 名参加者争夺 100 万美元的奖金 竞争者通过识别可能在 1 年内被 诊断为肺癌的候选者来获得高水平的表现 一项后 续挑战已经被提出 目的是将这些模型引入经验丰富的人类观察者 的临床观察差异 22 骨龄分析和基于医学成像的解剖年龄的自动确定对于儿科放射 学和内分泌学具有相当大的实用价值 Synho 博士和他的同事们创 建了一种算法 根据输入的儿科患者的手部照片准确地描述骨龄 23 机器学习的其他潜在应用场景包括 线检测 43 MRI 中的 前列腺癌检测 44 46 冠状动脉钙化分数的测定 47 或脑 损伤的检测和分割 检查结果的自动解释 24 对医学成像 正常或异常 检测结果的解释需要高水平的专家 知识 经验以及基于每一种临床情况下的临床判断 一个简单的例 子是腹腔内游离空气 对于术后患者这可能是一个正常的发现 但 对于一个最近没有手术的病人则是关键的发现 对于机器来说 作 为独立的图像解释器 需要广泛获取数据导出的知识 基于解释的 系统已经得到开发 用于发现危及生命的异常的图像 如颅内出血 虽然该系统是用于优先研究一个工作清单 而不是通过最后的阅 读进行研究 25 一些研究结果表明 机器学习可以改善对检查结果的解释 从 而辅助放射科医生工作 基于机器学习的乳腺 MR 图像特征提取可以 改善对检查结果的解释 进而改善对乳腺癌的诊断 基于肺结节的 影像学特征 如轮廓 纹理 边缘等语义特征 的机器学习方法 可以提高肺癌结节的预测和诊断的准确性 自动临床决策支持和检查协议 26 机器学习技术可以进一步增强放射学决策支持工具 研究表明 即使在复杂和不确定的环境中 人工智能仿真框架也能做出近似最 优的人类决策 智能临床决策支持系统可以提高护理质量和成像效 率 并减少检查草案中的不良事件或错误的可能性 后处理 图像分割 登记和量化 27 随着更多的成像数据变得可用 在机器学习帮助下 医学成像 已经在图像的后处理方面取得了相当大的进展 如图像配准 分割 和量化 智能医学成像范式是数据驱动的 并倾向于从医学图像中 学习有用的临床信息 从医学图像提取相关临床数据需要精确的图 像配准和分割 一些研究已经将机器学习的方法应用于图像分割 例如在乳房 X 光摄影 56 身体器官 35 或关节和肌肉骨骼 组织的 MR 图像中对乳房密度进行分割 28 机器学习也可以用于模态间的图像合成 例如 可以使用从相 应的 MR 图像中生成的对抗网络来估计 CT 图像 对抗生成网络是使 用两个相互竞争的神经网络模 产生噪声数据的噪声发生器模型和区 分真实数据和噪声的鉴别器模型 在训练过程中 鉴别器模型学习 更好地区分噪声数据与真实数据 与其他神经网络相比 对抗生成 网络在图像生成任务中表现出优异的性能 29 图像配准通常用于多模态覆盖 如 PET CT 配准和图像的比较或 减影 深度学习可以在耗时的手动轮廓和图像配准中发挥相当大的 作用 并且可能遭受内部或内部差异的影响 有研究无监督深度学 习在脑 MR 图像变形配准中的应用 30 机器学习可用于横截面成像中三维结构的定量评估 Wang 等人 使用基于美国有线电视新闻网的算法精确地分割 CT 图像上的脂肪组 织体积 脑 MRI 解剖分割也已通过使用深度学习算法来划定和定量 评估脑结构和病变 图像定量分析 31 受过训练的观察者 例如 有经验的放射科医师 被认为是基 于任务的医学图像质量评价的参考标准 然而 评价大量的图片需 要花费医生很长的一段时间 为了解决这个问题 机器学习 也被 称为模型的数值观察员观察员 已发展成为一种用于图像的质量评 估人类观察者的替代品 模型观测器可应用于低剂量 CT 迭代重建的 参数优化和图像质量评价 32 研究者已经尝试使用深度学习进行自动图像质量的评价 比如 肝脏 MRI 图像的质量自动评估已经得到实现 33 最近的研究表明 神经网络算法可应用于从低剂量的 CT 图像降 噪 训练对抗网络可以改善卷积神经网络的产生与常规剂量 CT 图像 质量相似的图像的能力 自动放射剂量估计 34 机器学习可用于 CT 数据集的器官特异性分类和器官辐射剂量估 算 最近的一项研究显示 采用卷积神经网络分类器对 CT 数据中器 官和特定器官的辐射剂量进行分类 准确率超过高于 96 利用神 经网络进行自动辐射剂量估算在放射肿瘤学领域已经得到了更多的 应用 它在诊断放射学中也具有类似的应用潜力 例如 一个用于 MRI 的前列腺癌放射治疗计划中机器学习的框架显示 风险器官受 到辐射的剂量减少 同时癌变组织受到辐射剂量的增加 放射学报告与分析 35 机器学习技术在自然语言处理中得到了广泛的应用 利用自然 语言处理从自由文本放射学报告中提取数据有助于质量保证和性能 监测 以及临床决策支持的大规模测试 自然语言处理器可以从叙 述性的放射学报告中提取影像学表现和器官测量值 并对提取的测 量值进行分类 这可以为处理医疗数据的其他机器学习应用程序提 供放射输入数据 机器学习技术还可用于从放射学报告中提取术语 以提高质量和分析 机器学习和自然语言处理算法可以帮助跟踪放 射科医师的建议 并减少后续建议通信中断的可能性 自动数据集成和分析 36 在电子病历中 存在来自各种数据源的异构数据池 称为多视 图数据 不同来源的数据吞吐量很高 包括病史和进展记录 实 验室结果 病理报告和图像 放射学报告和图像 基因组学以及医 疗记录系统的安全报告 这些数据的可用性为数据挖掘提供了前所 未有的机会 但也带来了异构数据源集成的挑战 例如 成像数据 与文本数据 可以将各种机器学习技术 例如核方法 矩阵分解 模型和基于网络的融合方法 应用于数据集成和分析 主要的障碍和挑战 37 收集高质量的地面实况数据 开发可推广和诊断准确的技术以 及工作流的集成是在放射学实践中采用机器学习所面临的主要挑战 机器学习性能 通常但不总是需要大数据集 38 Google 的 Peter Norvig an American computer scientist 证明 大量数据可以克服机器学习算法的不足 窄范围机器学习算 法可能不需要大量训练数据 但可能需要高质量的地面实况训练数 据 在医学成像分析中 与其他类型的机器学习一样 所需的数据 量在很大程度上取决于要执行的任务 例如 分段任务可能只需要 一小组数据 另一方面 性能分类任务 例如 将肝脏病变分类为 恶性与良性 可能需要更多标签示例 这也可能在很大程度上取决 于要区分的分类器的数量 39 源数据中的混淆元素可能导致机器学习算法的失败 由于神经 网络缺乏大量特定特征 因此罕见的发现或特征也可能是其弱点 因此容易出现不准确的情况 40 方差和偏差是可能导致机器学习算法性能差的问题 偏差是算 法中的错误假设 这可能导致错过关联 欠拟合 高方差可以使 算法过分地学习数据并开始拟合随机噪声 过度拟合 最优模型 不仅准确地表示训练数据 而且可以推广到看不见的数据 过度拟 合的算法对训练数据的微小变化反应过度 因此 该算法在训练数 据上表现良好 而在新数据上表现不佳 过度拟合是机器学习中的 主要挑战 特别是当模型过于复杂时 地面实况注释 41 广泛的地面真理注释往往需要对机器学习算法进行适当的训练 多个技术公司和学术研究项目依靠训练有素的放射科医师在放射学 报告和图像上的注释 这被认为是真理 金标准 需要大量的劳 动力成本 时间和资源来合理的实施这些项目 此外 验证过程必 须是高度鲁棒性的 否则 该算法可能会被过度拟合到特定的数据 子子集 定义标准 42 合理地开发人工智能工具需要定义标准化用例和注释工具 这 些使用案例需要与临床实践 医学成像中人工智能方面的法律 法 规以及道德问题保持一致 美国放射学数据科学研究所的临床专家 组与其他医学专业学会一起 正在定义这些标准化用例 https www acr org Advocacy Informatics Data Science Institute 43 此外 标准方法可以使图像注释在不同的信息技术系统以及数 据通信和交换的软件应用程序之间得到交互操作 美国国家癌症研 究所的注释和图像标记模型为图像和图像特征的注释提供了一种可 能的标准方法 监管和工作流程整合 44 基于机器学习的算法目前尚未很好地集成到图像存档和通信系 统工作站中 许多系统包含并需要单独的工作站或网络节点来发送 图像以便进行分析 在放射信息学价值链的生态系统中 需要做更 多的工作来更好地结合新颖的机器学习技术 可能需要为机器学习 算法与现有系统的互操作性设置标准 供应商和研究人员都必须致 力于创建平台 以便不断学习和升级机器学习算法 需要通过接触 更多数据 根据模型中的可能变化不断更新机器学习算法 45 将机器学习整合到临床环境中的重要一步是获得美国食品和药 物管理局 FDA 的批准 在临床使用机器学习应用程序之前 应 向 FDA 提交有关算法开发和临床验证的特定信息 临床验证研究 应该与人类专家达到充分的一致性 FDA 在管理该软件方面面临 挑战 其目前正在为机器学习应用开发适当的监管途径 例如 一 种机器学习算法被设计用于找到人眼无法观察的数据中的关联 人 类专家验证对于该算法具有挑战性 另一个例子是继续在用户手 中学习并且随着时间的推移表现更好的算法 这具有挑战性 因为 FDA 需要保证算法的性能将持续改善并且不会下降 FDA 可能需要 针对像 黑匣子 这样只提供临床建议或软件的应用采用不同的监 管方法 这是医疗保健专业人员能够独立审查建议的基础 解读人工智能的黑匣子 46 就其本质而言 机器学习开发了无法用简单的术语来解释的复 杂高维功能 在识别潜在原因和逻辑很重要的领域 例如医疗保健 中被接受使得机器学习的可解释性成为主要挑战之一 目前 当学 习无人监督时 解构机器决策因素的可见性有限 国防高级研究计 划局正在进行诸如解释人工智能计划之类的工作 以便可以更好地 理解基于人工智能和机器学习的算法是如何得出其结论 https www darpa mil program explainable artificial intelligence 47 视觉显著性是一种可以感知的质量 这使一些物品能够从邻居 中脱颖而出并立即引起我们的注意 视觉显著性图可以突出图像中 的区域 这些区域已经吸引了人类观察者的注意力以执行分类任务 显著性图可以为机器学习模型提供 可解释性 并提高检测结果的 准确性 放射科医生的工作视角和法医学问题放射科医生的工作视角和法医学问题 48 需要监控用于临床诊断和决策的机器学习系统的性能 医生将 获得医疗诊断和治疗的所有权交给患者 在出现医疗错误的情况下 机器学习系统的制造商和开发人员可能不负责任 因为根据定义 计算机正在以开发人员不知道的方式基于数据集学习和重新学习 机器学习软件提供的临床建议可能需要由专业的医疗保健人员进行 审查 他们可能会也可能不会批准该软件提供的建议 更好的是 应该向医疗保健专业人员提供这些建议的基础 并进行审查 在可 预见的未来 机器学习不会取代放射科医师 相反 这些技术有望 帮助放射科医师 增强放射工作流程 并提高放射科医师的诊断准 确性 机器学习系统可以帮助识别呢些通常可以躲避人眼的模式和 关联 目前 许多人工智能系统正在开发相当明显的任务 这些任 务对人类来说几乎没有挑战 如果集中考虑放射科医生所面临的挑 战 人工智能系统可以增加更多价值 医学放射学与医学放射学的未来发展方向 49 大量电子病历数据的可用性允许创建跨学科数据池 机器学习 从这些大数据中提取知识 并产生可用于个体结果预测分析和临床 决策的输出 这可以为个性化医学 或精准医学 开辟道路 其中 基因 环境和每个人生活方式因素等个体差异都被用来考虑疾病预 防 治疗和预后 跨学科合作与精准医学 50 机器学习模型在过