基于人工智能和医疗大数据的影像组学及临床应用

基于人工智能和医疗大数据的影像组学及临床应用1报告内容2智能医疗研究背景智能医疗研究内容智能医疗未来方向背景—智能医疗是国家重大战略发展需求2017年7月20日，中共中央国务院办公厅印发《新一代人工智能发展规划》规划指出：研发人机协同临床智能诊疗方案，实现智能影像识别、病理分型和智能多学科会诊。34背景—智能医疗是国际学术前沿热点人工智能可精确诊断自闭症谱系障碍人工智能皮肤癌诊断精度达专家水平2016Google2017北卡罗来纳大学2017斯坦福大学人工智能糖网病诊断精度可用于临床背景—智能医疗是医学转化的战略高地利用Intelligence

Engine剖析健康数据，为患者就诊

和

意

外

急

诊

做

准

备分析医学文献和病患诊疗记录，为患者提供高质量、循证型个体化的诊疗方案2014Microsoft2015IBM2016Google建立健康风险警告系统，借助移动终端推送健康风险警告，并及时通知医生5传

统

医

疗 智

能

医

疗背景—现在是发展智能医疗最佳时机人工智能医疗大数据智能诊断 疗效评估 预后预测影像组学方法6资源切入点人脑小数据计算机大数据满足国家战略需求智能医疗瞄准国际学术前沿抓紧最佳发展时机抢占医学转化高地针对国家重大战略发展需求，顺应国际人工智能发展趋势创新智能医疗核心关键技术，驱动重大疾病临床诊疗发展智能医疗小结7癌症诊疗面临重大挑战DatafromNationalCancerInstituteofNIH

(2016)五年生存率%8美国NIH

癌症大数据显示52年间癌症5年生存率无实质性进展N=2,060,388肿瘤大小5mm1kg左右肿瘤5~20年 1~3年细胞表达生物分子异常正常基因异常开始增殖前癌病变形成癌灶出现病状死亡转移传统成像技术难以实现早期微小肿瘤成像基因技术检测早期基因异常人工智能医疗？大数据影像组学影像组学融合临床、基因和影像大数据信息，基于人工智能技术为实现精准诊断提供新机遇基因异常9新陈代谢异常器官结构异常时间影像组学为癌症精准诊疗提供新机遇影像组学概念影像组学结合医学影像、基因和临床大数据，利用人工智能方法挖掘肿瘤信息，实现临床辅助决策概念提出 概念完善 临床应用Nat.Comm.2014,5:

4006EJC2012,48:

441-446MRI2012,30(9):

1234.医疗影像数据定量特征提取人工智能模型临床辅助决策10报告内容11智能医疗研究背景智能医疗研究内容智能医疗未来方向典型临床应用核心关键技术影像组学肿瘤大数据智能诊断肿瘤治疗效果评估肿瘤预后生存期预测精准肿瘤分割标注海量特征提取筛选人工智能模型构建影像组学研究内容13影像组学典型临床应用概述智能诊断影像组学智能评估智能预测肿瘤病理智能分型癌症转移智能诊断智能

智能预测 预测患者 患者生存

预后ClinicalCancerResearch

2016ClinicalCancerResearch

2017JournalofClinicalOncology2016ScienceTranslationalMedicine

2015NatureCommunications

2014ClinicalCancerResearch2016

14新辅助疗效评估抗血管疗效评估15Harukaetal,ScienceTranslationalMedicine,2015,7:303.SCIIF(2015):

16.264智能诊断(1/3)—胶质母细胞瘤亚型诊断术前胶质母细胞瘤瘤亚型分型缺少必要的诊断方法临床问题应用效果临床数据265例基因、影像数据完整的多中心脑胶质瘤患者数据影像组学特征能区分GBM亚型，并指导靶向治疗智能方法提取388个影像特征进行聚类分析，并与基因信息关联美国斯坦福大学利用多中心数据研究脑胶质瘤影像与基因关联关系广东省人民医院、中科院自动所合作预测结直肠癌淋巴结转移YanqiHuang,etal,JournalofClinicalOncology,2016,34(18):2157.SCIIF(2015):

20.9816术前结直肠癌淋巴结转移难以诊断，术中采用盲目切除临床问题应用效果临床数据500余例临床病理、影像数据完整的结直肠癌患者数据将结直肠癌淋巴结清扫的假阳性率从70%降低到<30%智能诊断(2/3)-术前结直肠癌淋巴结转移诊断智能方法选择关键影像特征结合临床病理信息建立诺莫预测模型斯坦福大学使用人工智能方法将皮肤癌精准诊断推向日常皮肤癌发病率高，确诊依赖于皮肤镜分析和病理学检验近13万张皮肤疾病照片，2千张病理证实数据用于验证皮肤癌良恶性分类及黑色素瘤识别达到临床诊断水平构建迁移学习神经网络模型，用于皮肤疾病自动分类临床问题应用效果临床大数据智能方法智能诊断(3/3)—皮肤癌类别精准诊断(1/2)EstevaA,etal,Nature,2017,542(7639):115-118.SCIIF(2015):

38.13817数据标定临床问题智能方法粗分类肿瘤良恶性细分类黑色素瘤筛查临床医生诊断+病理证实迁移学习：Google’s

Inception

v3

CNN(经128万张自然图像进行训练)深度学习网络模型能够有效分类皮肤癌，对临床上最关键的黑色素瘤诊断达到专家水平智能诊断(3/3)—皮肤癌类别精准诊断(2/2)EstevaA,etal,Nature,2017,542(7639):115-118.SCIIF(2015):

38.1381819智能评估(1/2)—直肠癌新辅助放化疗效果评估北京大学肿瘤医院、中科院自动化研究所医工交叉合作直肠癌术前难判断放化疗效果，导致pCR患者过度治疗临床问题应用效果临床数据429例新辅助放化疗后直肠癌患者多模态磁共振成像实现直肠癌新辅助放化疗效果定量评估AUC>0.9方法智能

提取多模态磁共振成像特征，进行人工智能分析pCR患者图像非pCR患者图像ZhenyuLiu,etal,ClinicalCancerResearch,minor

revision.传统临床方法无法评估脑胶质瘤抗血管生成治疗效果临床问题应用效果临床数据172例治疗信息完整的脑胶质瘤患者多模态磁共振数据实现贝伐单抗治疗获益脑胶质瘤患者的智能无创筛选智能方法基于机器学习的Cox分析，预测患者治疗后PFS和OS德国海德堡大学利用影像组学评估脑胶质瘤抗血管生成治疗效果Kickingerederetal,ClinicalCancerResearch,2016,22(23):5765-71.SCIIF:9.619

20智能评估(2/2)—脑胶质瘤抗血管生成疗效评估21影像数据挖掘不足，肺癌头颈癌患者预后难以定量评估临床问题应用效果临床数据1000余例病理、影像数据完整的肺癌和头颈癌患者数据影像组学标签具有显著的预后价值，并与基因显著相关智能方法提取强度形状纹理小波等特征建立标签，进行智能分析美国莫菲特癌症中心联合多方科学家研究影像组学定量研究方法Aertsetal.NatureCommunications,2014,5:

4006.智能预测(1/3)—肺癌头颈癌预后预测(1/2)22智能预测(1/3)—肺癌头颈癌预后预测(2/2)Aertsetal.NatureCommunications,2014,5:4006.SCIIF(2015):

11.329影像组学通过融合影像、基因和病理特征建立影像组学标签，揭示影像与患者预后联系数据 分割 特征 预后预测强度形状小波纹理美国莫菲特癌症中心RobertJ.Gillies影像组学最早提出者之一23广东省人民医院与中科院自动化所合作非小细胞肺癌生存预测YanqiHuang,etal,Radiology,2016,281(3):947-957.SCIIF(2015):

6.798智能预测(2/3)—肺癌无进展生存期预测传统临床方法对NSCLC患者无病生存期预测效果有限临床问题应用效果临床数据282例规范完整的早期非小细胞肺癌患者CT数据影像组学特征比传统方法能够更好预测无病生存期智能方法LASSO

Cox回归提取关键影像特征，构建预测模型智能预测(3/3)—晚期鼻咽癌的预后预测广东省人民医院与中科院自动化所医工合作ClinicalCancerResearch,2017.

DOI：10.1158/1078-0432.CCR-16-2910.临床指标对晚期鼻咽癌的放疗预后预测精度低临床问题应用效果临床数据118

例晚期鼻咽癌T1和DCEMR图像，随访时间大于3年有效预测晚期鼻咽癌患者预后，准确度超临床指标10%智能方法提取970个组学特征结合临床病理信息进行智能分析24影像组学新模态应用——PET影像组学应用效果宫颈癌分期主观性强，亟需定量分期的手段人工智能方法可以显著提高分期能力，优于医生判断临床 医科院肿瘤医院42例不同临数据 床分期宫颈癌PET-CT数据智能 自动提取58个PET特征方法 人工智能进行分期预测临床问题WeiMu,etal,PhysicsinMedicine&Biology,60(13):5123-5139,

201525影像组学新模态应用——超声影像组学应用效果临床数据279例肝癌超声数据79正常、200例纤维化人工智能方法的诊断结果准确度82.1%，优于医生利用CNN迁移学习方法

智能VGGNet的模型微调

方法超声难以判断肝纤维化

临床亟需定量判断的手段 问题DanMeng,etal,IEEEAccess,2017,(99)

:1-1肝纤维化26典型临床应用核心关键技术影像组学肿瘤大数据智能诊断肿瘤治疗效果评估肿瘤预后生存期预测精准肿瘤分割标注海量特征提取筛选人工智能模型构建影像组学研究内容27影像组学关键技术面对系列临床问题，影像组学采用人工智能等方法进行分析研究以实现临床辅助决策肿瘤分割 特征提取 特征降维 模型构建强度形状纹理小波肿瘤分期预后分析辅助诊断临床空间映射神经网络递归排除图割算法区域生长

稀疏选择

肿瘤分型水平集分水岭28影像组学关键技术—精准肿瘤分割(1/3)手工勾画肿瘤边缘费时费力且主观性较强临床肿瘤影像数据量庞大开发自动精准的肿瘤分割算法尤为重要影像组学研究需首先对病变肿瘤区域精准定位29303D2D提出基于区域生长的肺结节半自动精准分割方法LIDC公开数据集819例数据dice系数为81.57%.较之于水平集方法和图割方法，

精度提高14.95%(p<0.0005)和10.18%(p=0.004).JiangdianSong,etal.IEEETMI,35(1):337-53,

2016.影像组学关键技术—精准肿瘤分割(2/3)31数为82.15%中心池

双分支多尺度化运算

网络融

输入提保留关合2D和

取多尺键特征3D信息

度特征对组织粘连和空腔等多种肺结节分割精度较高在LIDC公开数据集493例肺结节上分割Dice系影像组学关键技术—精准肿瘤分割(3/3)ShuoWang,etal,MedicalImageAnalysis,40:172–183,

2017提出中心池化卷积神经网络分割肺壁粘连等多种肺结节多种挑战性结节分割32影像组学关键技术—特征提取GLCMNGTDM特征描述高通量影像学特征强度最大值、标准方差、能量等形状紧密度、最长直径、体积等纹理灰度共生矩阵特征、和熵等小波边界、自由与粘贴面积比等经验特征毛刺症、分叶症、胸膜凹陷等文本信息年龄、性别、吸烟、家族史等基因信息EGFR突变、ALK突变、HER2病理信息病理分化程度、鳞癌、腺癌、癌胚抗原CEA将计算机定量特征、经验特征、文本信息、基因信息和病理信息相结合，全面量化肿瘤异质性。强度形状纹理小波影像组学关键技术—特征降维稀疏选择特征数高维度特征包含海量信息，需特征降维以剔除无关信息获取关键信息特征数递归排除准确率特征输出特征输入神经网络特征输入特征输出空间映射四类主要特征降维方法33影像组学关键技术—模型构建(1/2)自主挖掘与临床问题相关的影像组学特征，构建影像特征与临床问题的分类模型。针对具体临床问题，建立计算机定量影像特征与所研究临床研究问题标签之间的分类模型。从影像大数据原始像素出发，

从影像大数据原始像素出发，34提取高维手工设计特征并进行特征选择，构建影像特征与临床问题的分类模型。SVM

模型CNN

模型35影像组学关键技术—模型构建(2/2)多尺度深度学习分类模型提升分类精度尺度0120+10+21+20+1+2良恶性分类精度76.36%79.49%82.12%80.90%81.41%80.81%83.23%基于1000例数据，采用大、中、小3个尺度，2层卷积层，5*5卷积核Multi-scaleLungNoduleClassificationMethodUsingCNN，PatternRecognition,61:663-673,2017.卷积神经网络多尺度输入良恶分类514510014222828输入层10555032553232322210100卷积层1100最大值池化层1100卷积层2100最大值池化层2特征层输出层影像组学关键技术—模型可视化因子纳入回归分析模型构建诺模图临床预后因素(p<0.05)影像预后标签(p<0.05)临床预后因子 影像组学标签回归分析：复发、疗效或生存期针对具体临床问题，融合影像组学标签和临床预后因子，展示适用临床的个体化预测诺模图36报告内容37智能医疗研究背景智能医疗研究内容智能医疗未来方向影像组学未来展望数据资源平台多中心

统一框架多病种

接口一致多模态

算法集成多参数

硬件加速资源共享在线分析在线测试互动交流影像组学系统平台辅助诊断系统共享交流平台人工智能方法38自编码器迁移学习卷积网络对抗学习人工智能方法(1/5)医疗少数据规模多智能程度肿瘤分型分类卷积自编码器迁移学习模型卷积神经网络对抗学习模型肿瘤疗效评估肿瘤预后预测智能特征提取低高3940卷积自编码器从无标签数据中自动学习肿瘤关键特征，比传统手工设计特征更有效特征编码卷积自编码器从海量数据中自动学习深层特征卷积自编码器海量医学图像 智能特征提取人工智能方法(2/5)Shin,Hoo-Chang,etal,IEEETPAMI,35(8):1930-1943,

201341迁移学习模型可进行小数据集的肿瘤精准分类大量自然图像 少量医学图像迁移学习跨领域信息挖掘构建迁移学习模型，实现肿瘤自动分型和分类预测，辅助临床诊断人工智能方法(3/5)EstevaA,etal,Nature,542(7639):115-118,

201742多尺度卷积神经网络进行肿瘤疗效预测预后差预后好卷积神经网络进行特征自学习 深度学习特征分布多尺度卷积神经网络同时提取肿瘤组织、肿瘤边界和肿瘤微环境的信息，提升肿瘤疗效预测性能人工智能方法(4/5)GulshanV.,etal,JAMA,316(22):2402-2410,

201643利用对抗学习让机器思考，提升模型智能程度医疗影像生成器对抗学习多智能体医疗影像判别器构建多智能体对抗学习模型，进行精确的肿瘤预后预测分析人工智能方法(5/5)DosovitskiyA.,etal,IEEE-TPAMI,39(4):692-705,

2017多病种、多模态、多中心、多参数数据融合肺癌乳腺癌肝癌等……病理信息基因信息预后信息……CT数据MRI数据PET数据……医科院肿瘤医院北京肿瘤医院广东省人民医院……数据资源平台(1/4)医学大数据标准化技术多模数据格式差异统一技术数据文件快速检索修改技术构建多病种、多模态、多中心、多参数的医学影像数据资源平台44医疗数据标准化数据制定规范统一的医疗数据纳入排除标准，收集整合医学影像大数据多中心数据库规范汇聚数据资源平台(2/4)45数据格式病理信息治疗信息标准DICOM格式的CT、MR、PET等数据，支持多序列数据，同一批患者数据采集序列一致单幅图像>512*512像素，数据层厚：0.625-2.5mm病理分类、TNM分期、复发转移等信息年龄、性别、是否吸烟等药物治疗、手术治疗、放化疗、基因靶向治疗等药物用量、治疗次数、靶向药物类型等2年以上病人随访，明确肿瘤进展和死亡时间预后信息基因信息致病基因突变、相关基因回路详细参考《中国科学院分子影像重点实验室合作医院影像组学数据规范细则》数据资源平台(3/4)—格式规范示例46已构建了较大规模的多中心、多肿瘤、多模态肿瘤影像组学临床资源库，涵盖中国三大高发癌种，数据万余例比美国癌症数据库TCGA多近5千例美国NIHTCGA实验室数据库总计1107715720肺癌10316800乳腺癌11001520肝癌3771260其它癌85696140数据资源平台(4/4)食管癌

200例头颈癌

278例肝癌1260例胃癌

800例结直肠癌

542例脑胶质瘤

378例脊索瘤

155例垂体瘤

322例儿童水母细胞瘤

82例乳腺癌1520例肺癌6800例宫颈癌

160例肾癌

60例鼻咽癌

318例473DMedMITK辅助诊断系统(1/4)—医学影像分析算法平台Windows

Linux

Mac操作系统MITK：集成化医学影像分析C++类库3DMed：面向用户的医学影像分析平台统一 接口框架 一致基础设计优化 硬件内存 加速重建 分割配准应用框架可视化48运行记录数据显示区操作区预测结果实时进度辅助诊断系统(2/4)—肺癌影像组学软件RadiomicsRadiomics:

影像组学软件人工智能诊断肺癌良恶性肺结节 高通量 多种智自动分 特征提 能分析割 取 方法影像组学方法良恶性

生存期

TNM分期辅助诊断获30余家三甲医院支持辅助800余例患者诊断精度80%以上49临床测试辅助诊断系统(3/4)—软件平台评价9大类64个指标Med.Biol.Eng.Comput.,

46(12):1209-