影像组学及其在肿瘤研究与临床中的应用.ppt

影像组学及其在肿瘤研究与临床中的应用 2020年1月25日 田捷Ph DFellowofIEEE SPIE IAMBE AIMBE IAPR 中国科学院分子影像重点实验室 2015年9月 国家卫计委 发改委等16个部门联合印发 中国癌症防治三年行动计划 2015 2017年 国家对癌症的重视 4项定量指标 重点地区 癌症早诊率达到50 肿瘤登记覆盖全国30 以上人口癌症防治核心知识知晓率达60 成人吸烟率下降3 癌症诊疗的挑战 1 2 我们已经得到大量肿瘤基因数据 但癌症仍然无法被治愈 经过五十年的努力 癌症的五年生存期并没有得到明显的提高 2013年4月1日时代杂志封面 N 1 950 388 UpdatedMay12 2014 DatafromNationalCancerInstituteofNIH 2014 肿瘤 5mm才能被诊断缺乏早期诊断手段 癌症的五年生存率没有实质性提高 时空异质性影响治疗缺乏定量评估方法 N Engl J Med 2010 363 1 4 6 N Engl J Med 2012 366 883 92 缺乏早期定量方法影像组学 癌症诊疗的挑战 2 2 改自武汉大学周强教授 5mm 1kg左右肿瘤 1 3年 5 20年 肿瘤微环境导致微小癌分子和癌细胞 免疫系统可排除 正常 基因异常 开始增殖 前癌病变 发生癌症 出现病状 死亡 转移 基因诊断肿瘤异质性不确定性高 常规影像PET CT MRI 超声无法诊断5mm以下肿瘤 发生 发展 凋亡 早期诊断 缺乏早期诊断手段 Gerlingeretal NEnglJMed366 883 92 2012 Richardetal JClinOncol22 277 285 2004 肿瘤基因组的时空异质性限制了靶向治疗的效果我们缺乏有效的手段去全面定量评估肿瘤异质性 Gerlingeretal NEnglJMed366 883 92 2012 被引用2368次 英国癌症研究中心伦敦研究所CharlesSwantonMD 缺乏定量评估手段 VirendraKumaretal MagneticResonanceImaging 2012 30 1234 被引55次 PhilippeLambin EuropeanJournalofCancer2012 48 441 446 被引100次 解剖结构 物理组织层次 代谢层次 蛋白质层次 转录学层次 功能影像 结构影像 分子影像 量化微环境定量异质性 基因层次 基因病理 利用海量影像和基因病理信息全面定量肿瘤异质性 癌症研究 影像组学 机遇 影像组学为精准医疗提供早期定量手段 影像组学流程 特征提取 预测算法 影像数据 高维特征 诊疗决策 合作优化 提高病人生存期 提高疾病早诊率 减轻患者医疗负担 缓解医院就诊压力 推广应用 影像组学利用大数据挖掘技术定量肿瘤异质性 实现精准诊疗决策 提高病人生存期 改自武汉大学周强教授 5mm 1kg左右肿瘤 肿瘤微环境导致微小癌分子和癌细胞 免疫系统可排除 正常 基因异常 开始增殖 前癌病变 发生癌症 出现病状 死亡 转移 基因诊断肿瘤异质性不确定性高 影像组学基因 影像 病理早期诊断 精准医学 常规影像PET CT MRI 超声无法诊断5mm以下肿瘤 影像组学定位 1 2 Gerlingeretal NEnglJMed366 883 92 2012 Richardetal JClinOncol22 277 285 2004 影像组学通过全面评价肿瘤的异质性 可以使医学诊疗更精准 2011年美国基因组学与生物医学界的智库发表了 迈向精准医学 建立生物医学与疾病新分类学的知识网络 2015年1月份美国总统奥巴马宣布了 精准医疗计划 PrecisionMedicineInitiative 探索个体精准诊疗方法 影像组学定位 2 2 Aertsetal NatureCommunications 2014 5 4006 以肺癌为例 2010年中国共54万发病率 45万死亡率 且在过去30年以465 的速度增长肺癌居恶性肿瘤首位 在非小型细胞肺癌患者中 五年存活率依然很低 不足19 中国每年花在肺癌治疗上的费用近400亿各大医院开始关注肺癌的检测 肺癌筛检中假阳性较高 活检代价较大 中国癌症调查报告 2013 肺癌影像组学 国际研究进展 1 7 Aertsetal NatureCommunications 2014 5 4006 影像组学通过融合基因和病理信息可量化微环境 早期定量肿瘤的异质性 数据 分割 特征 分析预测 强度 形状 小波 纹理 美国莫菲特癌症中心RobertJ Gillies 肺癌和头颈癌病人存活率预测数据集 1019个病人788个患有非小型细胞肺癌的病人231个患有头颈癌的病人特征集 440个分析 影像特征与诊疗结果的关系 临床数据与影像特征一起被考虑 Aertsetal NatureCommunications 2014 5 4006 国际研究进展 2 7 Aertsetal NatureCommunications 2014 5 4006 Radiomics特征定义 训练 验证 按稳定性排序的特征 按稳定性排序的特征 Radiomics特征 Radiomics特征 Radiomics特征 Radiomics特征 Radiomics特征 基因表达式 基于稳定性排序和性能的特征选择 Radiomics标签 包括四个特征 预示验证lungcancercohort 预示验证H Ncancercohort 预示验证H Ncancercohort 与基因表达式的关系 分析流程 国际研究进展 3 7 Aertsetal NatureCommunications 2014 5 4006 共计440个特征 国际研究进展 4 7 a 有相似的radiomic表达模式的病人分类 b Radiomic特征集与被分类的表达模式的病人间的关系 c 病人的radiomic表达模式与主要的肿瘤阶段 总的阶段以及组织学间有重要关系 Aertsetal NatureCommunications 2014 5 4006 Radiomics热图 国际研究进展 5 7 Aertsetal NatureCommunications 2014 5 4006 Radiomics数据的预示价值 特征的各向异性越强 病人存活率越低 有更紧密或者球形肿瘤的病人有更好的存活可能性 国际研究进展 6 7 Aertsetal NatureCommunications 2014 5 4006 Radiomics标签与基因表达模式间的重要关联性 国际研究进展 7 7 影像组学研究进展 预测诊断软件开发研发一套专门读取临床影像数据并自动进行分期 生存率预测和治疗方案建议的软件系统 基于临床数据的分期和预测算法研究利用工科优势 开展临床数据的分期和预测算法研究 发表高影响因子学术论文 一系列数据资源 Radiomics资源数据库建设收集一系列格式规范 信息完整的临床影像数据和基因数据 并整理成资源数据库 一连串关键技术 一整套影像软件 一大批合作医院 20余家三甲医院长期合作已经与北京 长三角 珠三角 河南等地区的一批三甲医院建立长期合作关系 国内超过30余家合作医院 合作医院 广东省人民医院广州医学院一附院 汕头大学附属肿瘤医院 上海肺科医院上海长征医院 哈医大附属第四医院 西京医院 301医院协和医院天坛医院佑安医院中日友好医院医科院肿瘤医院 河南省人民医院 郑大一附院 大量数据 大数据 影像组学大数据是格式规范 信息完整的病人数据 影像组学数据规范 详细参考 中国科学院分子影像重点实验室合作医院影像组学数据规范细则 影像组学数据规范 影像组学数据资源 已建立多中心 多肿瘤 多模态数据资源平台 含五类癌症数据逾5000例 预计年底扩充至8000例 CTMRI 采集 重建 数据存储 可重复性 金标准 全自动 验证 数据库的整合 存储及共享 PACS系统 信息分析 多信息 特征空间 自动提取 低冗余度 影像数据 肿瘤分割 特征提取及量化 预测分析治疗决策 Radiomics算法处理流程 影像组学关键技术进展 WeiShen ANovelPrincipalComponentAnalysisbasedAirwaySegmentationmethod IPMI2015 肺支气管分割结果 肿瘤分割 1 3 分割算法流程 肿瘤分割 2 3 LIDC公开数据集819例数据的精度为81 57 较之于水平集方法和图割方法 精度提高14 95 p 0 0005 和10 18 p 0 004 3D 2D 与上海长征医院合作肿瘤自动分割 精度提高10 JiangdianSong ANewAutomatedLungNoduleSegmentationAlgorithmBasedonTobogganandregiongrowing IEEETMI 2015 accepted 实质性肺结节自动分割结果 GGO肺结节自动分割结果 JiangdianSong ANewAutomatedLungNoduleSegmentationAlgorithmBasedonTobogganandregiongrowing IEEETMI 2015 accepted 分割方法对实性结节和GGO都有效 肿瘤分割 3 3 简单视觉二维特征 放射科医生 同病异症异病同症 多年临床诊断经验 高维复杂三维特征 影像组学 定量异质性提高诊疗率 数据挖掘深度学习 特征选择 1 3 肿瘤强度 肿瘤形状与尺寸 肿瘤纹理 设计了592个三维影像特征 临床医生提出的特征 小波特征 Aertsetal NatureCommunications 2014 5 4006 Balagurunathanetal TranslationalOncology 2014 7 72 特征选择 2 3 同病异症异病同症 深度学习和数据挖掘技术可解决 临床医生提出的肿瘤特征 分叶征 毛刺征 尖角 边界光整 空洞 空气泡 特征选择 3 3 卷积神经网络对肺结节多尺度分类精度达83 肺癌良恶性预测 WeiShen Multi scaleLungNoduleClassificationMethodUsingConvolutionalNeuralNetwork underreview IEEETMI 基于LIDC数据库495良性和495恶性肺结节 采用10倍交叉验证法 非小细胞肺癌预测 1 2 训练数据 测试数据 数据集来自广东省人民医院 表型特征对病理分期预测准确率为80 以上 643例 765例 与广东省人民医院合作进行非小细胞肺癌预测 肿瘤特征 游程关键特征2 生存曲线 游程关键特征1 生存曲线 N2 N3 N0 N1生存曲线 I II III IV生存曲线 游程等高维能够将病人分为高风险组与低风险组 高特征值表示低存活期 p 0 05 非小细胞肺癌预测 2 2 影像组学软件平台 PACS数据管理系统海量数据处理工作站MITK 3DMed计算平台Radiomics预测软件 统一计算框架 3DMed MITK 由不同理论算法和统一计算框架形成算法和应用平台 分割 配准 可视化 应用框架 硬件加速 基础层 内存管理 系统调用 操作系统 Windows Linux Mac 软件进展 医学影像计算平台 1 2 来自于70多个不同国家和地区 1000多家不同单位 共计3 2万余人次的下载量 截至2015 11 09 2008年 9大类64个指标 Med Biol Eng Comput 2008 46 12 1209 17 软件进展 医学影像计算平台 2 2 肺癌影像组学预测软件基于4000例信息完善肺癌数据和592项三维特征 软件进展 肺癌预测软件研发 1 5 软件进展 肺癌预测软件研发 2 5 软件可以进行肺癌的良恶性 生存期 TNM分期等预测 以及最优诊疗方案建议 TNM分期 良恶性 生存期 治疗方案 病人打分机制 60分预后良好 可推荐手术治疗 放化疗等 60分预后较差 建议保守治疗 靶向治疗等 可实现肿瘤的自动分割和592个特征的提取 肿瘤分割结果 软件进展 肺癌预测软件研发 3 5 恶性肿瘤例子 N分期 良恶性 生存期 治疗方案 软件进展 肺癌预测软件研发 4 5 N分期 良恶性 生存期 治疗方案 软件进展 肺癌预测软件研发 5 5 良性磨玻璃伪影 GGO 例子 肺癌预测软件计划 9月30日 软件初版测试完成10月30日 欢迎参加首批试点医院12月30日 5家以上医院推广2016年 国家惠民工程移动医疗专项精准医疗项目 Radiomics软件主界面 影像组学推广思路 影像大数据资源平台 影像组学辅助诊断 研究所 高校 三甲医院 区级医院 技术支持 资源支撑 提出需求专家经验 提出需求专家经验 信息共享 远程会诊 评估预测辅助诊断 评估预测辅助诊断 数据和特征入库 数据和特征入库 肺癌预测软件推广 北京协和医院放射科金征宇北京天坛医院戴建平院长上海肺科医院影像科主任史景云上海长征医院影像医学与核医学科刘士远广东省人民医院放射科梁长虹广州医学院一附院放射科曾庆思河南省人民医院史大鹏郑州大学第一附属医院程敬亮哈尔滨医科大学附属第四医院申宝忠院长 项目组研发的肺癌预测软件已国内20余家三甲医院进行试点 临床预测精度达80 以上 与江西中科九峰移动医疗公司合作惠民工程 江西 远程医疗项目 已获30余家三甲医院支持 并在上高县人民医院等一批基层医院得到推广 健康医疗信息惠民行动计划 远程医疗推广 借助惠民工程 推广远程医疗 服务基层医院 九峰医疗 与南昌市人民政府 江西省科技厅等四方共建移动医疗研究院 已经形成完整的自主知识产权体系 研究基础 专利软著 国家技术发明奖二等奖 2010 中国专利优秀奖 2009 国家科技进步奖二等奖 2003 研究基础 科研奖项 第一完成单位 在Radiomics理论方法及医学应用方面发表IEEETrans系列杂志 NatureComm NatureProtoc PNAS LaserPhotonicsRev等SCI国际期刊论文70余篇 研究基础 发表论文 方法技术系列论文 生物医学应用系列论文 田捷 博士 中国科学院自动化研究所研究员 IEEE SPIE IAMBE AIMBEFellow2002年度国家杰出青年科学基金获得者2003年度 2004年度国家科技进步二等奖 第一完成人 2010年度 2012年度国家技术发明二等奖 第一完成人 2006年度关于分子影像的973计划项目首席科学家 结题被评为优秀 研究基础 负责人 徐敏高级工程师 杨凤助研 杨彩云助研 董迪责任组长 臧亚丽助研 刘振宇助研 李国栋博士生 宛晓南博士生 沈伟博士生 牟玮博士生 俞冬东博士生 宋江典博士生 6名老师 15名研究生 8博士 7硕士 研究基础 Radiomics核心成员 MarkS Gold美国佛罗里达大学教授 MetinAkay美国休斯顿大学教授 MilanSonka美国爱荷华大学教授 RobertJ Gillies莫菲特癌症中心教授 研究基础 外聘研究员 中国科学院自动化研究所智能医学研究中心 分子影像北京市重点实验室 中国科学院分子影像重点实验室 中国生物物理学会分子影像专业委员会 IEEE国际生物医学工程学会北京分会 中国医用磁共振协会 中国现代诊疗技术创新战略联盟 中国图学学会医学图像与设备专业委员会 研究基础 行业协会 合作模式 1 3 共同发表国际期刊论文 开展临床应用 联合申请科研项目 合作模式 国家惠民工程移动医疗专项精准医疗项目等重大项目 国际顶级学术期刊如Radiology等 非小型细胞肺癌存活率CT筛检早期肺癌检测 合作模式 2 3 更多的合作伙伴更多种合作模式 合作模式 3 3 科技部在 医疗器械科技产业十二五专项规划 卫生部在 国家重大专项区域协同医疗服务示范工程 中都把移动医疗专项作为重点 2015年初美国总统提出 精准医疗计划 目前中国的精准医疗计划正在酝酿 并有望进入国家 十三五 重大科技专项 惠民工程 2014年1月发改委 工信部等12个部门联合印发实施信息惠民工程的通知 将 健康医疗信息惠民行动计划 作为重点计划之一 精准医疗 移动医疗 下一步计划 希望得到各位专家的支持与指导 国家重大需求 推动科学研究 有必要 基于本团队前期的成果与经验 有基础 与国际研究暂处于同一起跑线 有机遇 利用医学影像实现精准医学 有信心 结束语 敬请批评指导 谢谢 预测精度与数据量关系 时间 经验 医师 副主任医师 主任医师 10年 20年 30年 肿瘤形成的时间图 基因诊断 Radiomics 常规影像 肿瘤异质性导致过度治疗 早期 精准低成本治疗 晚期 高损伤治疗费用昂贵 肿瘤微环境 影像组学 Radiomics 概念 4 8 IEEETMedImaging2012 31 3 543 553 IEEETVisComputGr2011 17 9 1295 1306 IEEETBio MedEng2011 57 10 2622 2626 基于运动伪影校正的结构影像精确配准方法 基于骨架割的体数据可视化方法 基于统计形状模型和最优表面检测的肝脏自动分割方法 研究基础 分割配准可视化 癌细胞大小 5mm 1kg左右肿瘤 1 3年 5 20年 肿瘤微环境导致微小癌分子和癌细胞 免疫系统可排除 正常 基因异常 开始增殖 前癌病变 发生癌症 出现病状 死亡 转移 基因诊断肿瘤异质性不确定性高 Radiomics基因 影像 病理早期诊断 精准医学 常规影像PET CT MRI 超声无法诊断5mm以下肿瘤 引自武汉大学周强教授 影像组学 Radiomics 概念 4 8 引自武汉大学周强教授 影像组学 Radiomics 概念 4 8 抗体检测 形态学检查 蛋白质抗原检测 基因变异 错误表达 肿瘤微环境 肿瘤形成 癌细胞增殖 肿瘤诊疗 缺乏早期诊断手段 5mm肿瘤 常规影像 早期诊断 引自武汉大学周强教授 工作基础 智能信息处理软件平台 MITK2 4 0下载量 2003年起至今 3DMed4 6下载量15411www 3DM 1996年起至今 数据统计截至2015 07 MOSE2 3下载量 2005年起至今 用户来自100多个国家和地区 超过1000家不同单位 斯坦福医学院加州戴维斯分校解放军总医院四军大 远程影像分析与诊断系统框架 影像大数据资源平台 影像辅助诊断系统 研究所 CAS 三甲医院 县级医院 技术支持 资源支撑 提出需求专家经验 提出需求专家经验 信息共享 远程会诊 评估预测辅助诊断 评估预测辅助诊断 数据和特征入库 数据和特征入库 以长三角和珠三角作为重点应用示范区域在100家左右的三甲和基层医院获得应用 惠及5000万人口 并辐射全国其它地区 区域示范目标 长三角 珠三角 三甲医院 基层医院 提高肿瘤等重大疾病早诊率和治愈率 形成区域带动效应 提高诊疗水平 促进患者就近就医促进医疗资源有效利用 区域示范模式 实现三甲医院带动基层医院 诊疗水平同步提高 医疗资源最优化利用的局面 立地基层医院 顶天三甲医院 区域示范基础 重要会议专题报告多次宣贯潜在三甲医院用户交流培训已建立数据与研究合作伙伴 与江西省科技厅等合作成立移动医疗应用创新研究院江西中科九峰移动医疗公司江西惠民工程远程医疗项目上高县等一批基层医院用户 九峰医疗 区域示范推广方案 依托现有合作三甲和基层医院 以点带面进行推广 实现示范应用单位持续增长 306 100家 当前项目实施目标 示范单位数量 图像处理 肺部分割肺结节分割支气管分割肺结节分类特征提取 从每个CT影像上提取592个特征已完成1500例CT影像的特征提取 肿瘤分割 预期成果 1 建立多疾病 区域化 体系化影像大数据资源平台2 研发智能化 精准化影像组学分析预测关键技术和软件3 形成多区域规模化推广 在100家三甲和基层医院获得示范应用 惠及约5000万人口 应用效果 临床医生提出的肿瘤特征 分叶征 毛刺征 特征选择 3 4 尖角 肺瘤边界光整与毛糙 空气泡和空洞 特征选择 4 4 肿瘤分割 实质性肺结节 GGO肺结节 JiangdianSong ANewAutomatedLungNoduleSegmentationAlgorithmBasedonTobogganandregiongrowing IEEETMI 2015 accepted 与上海长征医院合作肺结节的自动分割 819例数据的精度为81 57