大数据在医疗行业的应用

大数据 医疗&工程建设,演讲人： 徐启雄 周聪资料收集：宋佳琪 马宇寰 邢洪达ppt制作： 向琪,工程管理1101班 2014年6月6日,PART 1 大数据在 医疗领域 的应用,outline,一、 医疗与大数据的趋势,二 、什么是医疗大数据,三 、大数据面临的挑战,四、 如何管理和利用大数据,五、 案例分析,六、 总结与展望,一、 医疗与大数据的趋势,二 、什么是医疗大数据,三 、大数据面临的挑战,四、 如何管理和利用大数据,五、 案例分析,六、 总结与展望,医疗费用在不断上升GDP的占比非常高,10-19%0-9%,趋势分析: 我们正处在医疗行业的一个重要转折点% of population over age 6030+ %25-29%20-24%,2050WW Average Age 60+: 21%Source: United Nations “Population Aging 2002”,全球老龄化平均年龄60 +: 目前的10%, 到,2050年将达到20%Source: McKinsey Global Institute AnalysisESG Research Report 2011 North American Health Care Provider Market Size and Forecast,以美国为例: 医疗大数据的价值3千亿美元/年, 相当于每年生成总值增长0.7%,0,15000100005000,2010 2011 2012 2013 2014 2015,趋势分析:我们正处在医疗行业的一个重要转折点存储的增长医疗服务产生的数据总量(PB),AdminImagingEMREmailFile,Non Clin ImgResearch,医疗影像归档一个医疗系统案例的数据,到2020年, 医疗数据将急剧增长到35 Zetabytes, 相当于2009年数据量的44倍增长Source: McKinsey Global Institute AnalysisESG Research Report 2011 North American Health Care Provider Market Size and Forecast,一、 医疗与大数据的趋势,二 、什么是医疗大数据,三 、大数据面临的挑战,四、 如何管理和利用大数据,五、 案例分析,六、 总结与展望,大数据,对于“大数据”（Big data）研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,4V：Volume（大量）Velocity（高速）Variety（多样）veracity（真实性）/Value(价值性）,1. 制药企业/生命科学3. 费用报销, 利用率 和 欺诈监管,2. 临床决策支持 & 其他临床应用 (包括诊断相关的影像信息)4. 患者行为/社交网络,医疗大数据简介数据来源包括哪些?,我们如何利用大数据创造价值? (示例),2. 临床决策支持4. 由生活方式和行为引发的疾病分析,1. 个体化医疗3. 欺诈监测得以加强McKinsey Global Institute Analysis,医疗大数据相关解决方案,健康信息服务新兴的医疗服务应用数据分析及视觉化处理数据处理/管理分布式平台,老龄社会肿瘤基因组学医疗影像分析医疗影像影像数据处理加速,基础医疗服务临床决策支持类SQL的检索医疗记录存储优化,个人健康管理个体化医疗机器学习基因数据安全和隐私,一、 医疗与大数据的趋势,二 、什么是医疗大数据,三 、大数据面临的挑战,四、 如何管理和利用大数据,五、 案例分析,六、 总结与展望,大数据的挑战不仅来自于数据量的增长.需要新技术的支持,检验结果, 费用数据, 影像, 设备产生的感应数据, 基因数据等,数据量,结构化数据, 遵循标准的数据标准(如,HL7)非结构化数据, 如口述、手写、照片、影像等,类型,实时有效的商业价值,基于现有数据库中的数据进行分析，来支持不同种类的业务：如,费用及报销、患者病史、归档影像分析、实时临床决策支持（数据分析） 实时数据分析，而非传统的批量处理分析 数据以流的方式进入系统，进行抽取和分析, 对于实时运行中的每个时间节点产生影响，而不是事后处理在传统的解决方案之上，引入新的数据及分析模型和技术，,价值速度,一、 医疗与大数据的趋势,二 、什么是医疗大数据,三 、大数据面临的挑战,四、 如何管理和利用大数据,五、 案例分析,六、 总结与展望,传统解决方案环境ERP, CRM, Batch,OLTP-DB,Data Center ProvisioningDiscreteVirtualCloud As A ServiceHPC,关注数据的价值大数据存储的考虑传统存储方式大规模分析 Hadoop*海量数据库 Hive*大规模备份 Lustre*,数据源文本-语音-视频-传感器Requesting Or M2M通讯批量 商业应用丰富的视觉化效果 安全的数据分析和缓存,边缘服务器（Edge）分析同步端到端Machine-to-MachineSource-to-Source可行的解决方案体系（示例）,Applications & ServicesVisualization File Structure & AnalyticalToolsData Delivery, Operational & GraphicalAnalyticsData Management & ComputationalAnalyticsCompute Storage & InfrastructurePlatforms,高效的大数据访问途径 (客户端),“Know Me”,“Free Me”,“Express Me”,智能手机,移动医疗,助理,平板电脑,笔记本,Ultrabook,其他设备,台式机,数字标牌,自助终端,MobilityVital sign,I & O entryMedicationadministrationTemplatedata entryFree-format textdata entryLarge diagnosticimagesData inquiryManageability,“Link Me”,大数据在中国医疗行业中的应用模式,1.制药企业/生命科学3.费用报销, 利用率 和 欺诈监管,2.临床决策支持 &其他临床应用 (包括诊断相关的影像信息)4.患者行为/社交网络,药品研发对药品实际 作用进行分析；实施药品市场预测基因测序分布式计算加快基因测序计算效率公共卫生实时统计分析发现公共卫生疫情及公民健康状况新农合基金数据分析及时了解基金状况，预测风险辅助制定农合基金的起付线，赔付病种等基本药物临床应用分析分析基本药物在处方中的比例,临床数据比对匹配同类型的病人，用药临床决策支持利用规则和数据实时分析给出智能提示远程监控采集并分析病人随身携带仪器数据，给出智能建议人口统计学分析对不同群体人群的就医，健康数据实施人口统计分析了解病人就诊行为发现病人的特定就诊行为，分配医疗资源,一、 医疗与大数据的趋势,二 、什么是医疗大数据,三 、大数据面临的挑战,四、 如何管理和利用大数据,五、 案例分析,六、 总结与展望,案例分享: Regional Health Info Network ChinaReal-time Clinical Decision Support, 实时的医疗数据处理（电子健康档案，医疗影像数据），支持医疗协同、临床决策,支持和公共卫生管理 采用 Hadoop* (HBase*/Hive*)来实现医疗数据分析和处理, 未来将扩展到不同领域、不同区域/地区,（包括数据交换、处理和分析） 与本地的软件厂商及OEM厂商进行了广泛合作, 技术挑战 Hadoop (HBase/Hive)与传统关系型数据,库如何有效结合,大数据在区域卫生信息平台中的切实可行,应用场景,PublicHealth,Hospital,Primary care(Grassroots),HealthInformationDW,EHRData &Services,RegistriesData &Services,Longitudinal Record ServicesHealth Information Access Layer,Care CoordinationClinical decision support,Data AnalyticR&D,RHINAncillaryData &Services,分布式数据服务系统展现层(报告, 视图),区域医疗及基层医疗信息系统大数据解决方案(Hadoop*)集成的用户应用界面（居民、医生、卫生行政管理人员）,数据挖掘（Mahout）分布式批量处理框架(Map/Reduce),区域卫生信息访问层(HIAL),医院信息系统,医院信息系统,语言和编译(Hive)实时数据库(Hbase),基层医疗信息系统,医疗服务药品管理,新农合医疗保险,服务器虚拟化,基础设施虚拟化网络虚拟化 存储虚拟化,基于云的区域基层医疗服务系统多租户应用,分布式文件系统 协作 服务(HDFS) (Zookeeper)结构化数据采集器 日志数据采集器(Sqoop) (Flume)健康档案数据存储,公共卫生运营管理,Sequencing3 BillionBase Pairs,DataProcessingCloud StorageVisualizationMillions ofVariants,Interpretation &AnalyticsMillions of VariantsMillions of Patients,CommercializingTargetedTherapeuticsCompanionDiagnosticsActionable Biomarkers,案例分享: NEXTBIO基因数据分析,Cost to sequence a genome has fallen by800x in the last 4 yearsEach genome has 4 million variantsGrowth in the genomics data in the publicand private domainData available in variety of sources,Structured, semi-structured, unstructured,New aggregated data growingexponentially,案例分享: NEXTBIO,病人相关性数据,Novel Discoveries,Biomarkers,Disease Mechanism,Drug Indications,Clinical Trial Parameters,Patient Care Options,Large content repository of public and private genomic datacombined with proprietary and patented correlation engine,案例分享: NEXTBIONextbio & Intel 合作方向技术挑战:,Immutable Data write once,never change, read many timesTraditional Bloom Filters worksHadoop* & HBase* well suited1 genome 10 million rows100 genomes 1billion rows1M genomes 10 trillion rows100M genomes 1 quadrillion1,000,000,000,000,000 rowsApp can dynamically partitions HBaseas data size grows,英特尔对于Hadoop提供的优化:,Optimized Hadoop stack in opensourceStabilize HBase to provide reliablescalable deploymentOptimize and support scale-out asdata size dramatically growsExploring cluster auto tuning,Security & Compliance, etc.,案例分享: Kaiser Permanente 大数据应用,数据的发展趋势,结构化数据,80%非结构化数据,全世界 80% 的数据是非结构化的 (大量的移动终端设备, 机器产生的数据)在未来十年，数据将迎来 44 倍的增长 (35zettabytes by 2020)主要的数据 增长 来自于 非结构化数据 (在线的归档数据, 医疗影像, 在线视频和存储, 照,片等),全球数据的构成,Kaiser的数据中， 90% 是非结构化的 (80%的EHR和影像数据)在未来十年，数据将会有 25 倍的增长 (Oneexabyte by 2020)主要的数据 增长 来自于 非结构化数据 (医疗影像, 视频, 文本, 音频等),信息 给 实时个性化医疗服务带来了可能性,(Requires Contextual device,environment, spatial, Demographics,Social and Behavioral profiles inaddition to medical information)Kaiser 正在评估大数据相关技术,Kaiser的数据构成,结构化数据,90%UNSTRUCTURED 构化数据DATA,非结,信息 给各行业发展带来了新一轮的机遇 (零售, 金融, 保险, 制造, 医疗,)各行业已经开始采用 大数据技术 用于信息提取Source: Kaiser,Master, Integrate built/bought Real-time PredictiveAnalytical Solutions or Processing logicDiscontinuous Change,SAN/NASSMP (5$),SAN/NASIn-Memory(50$),Share-NothingDistributed Storage andCompute ($)Fault-tolerant MasterSlave Architecturecapable of withstanding partial system failuresData is distributed across processing slavenodesResources containing data are not sharedMaster manages the data distribution, jobscheduling across slave nodes and aggregatingresult sets,Slave(s)DAS,SAN/NASMPP (10$)SAN/NAS,SMP (Disk Caching,High Speed Network)(10$),数据平台计算的趋势 分布式计算Kaiser is looking to exploitthis capability, Structured, RelationalTabular Data Interactive Query Support Real-time Analytics SQL Transaction Data, Unstructured, Non-tabularData Rich Ad Hoc Integration Real-time Analytics UQL ALL Data,大数据平台需求分析,处理的特性 Intuition(Simulation,Optimization,Stochastic Optimization) Information(Standard & Ad Hocreporting, Query, Alerts,Forecasting, Access) Interrogation(Clustering, Statistical,Quality, Semantics) Integration(Alignment, Semantics,Completeness, Quality) Ingestion(Data Model, MetadataReference Data, Store),Information drives process optimizations withstrategic impact. Modeling business intuitionfrom data deluge.Ability to model information and transition frommultiple access methods to generating, sharing,collaborating and acting on insights anytime,anywhere on any device.Support current BI tools focused on structuredinformation. Build/buy packaged unstructureddata processing and analytics tools.A portfolio of tools to manage (profile,cleanse, classify, synchronize, aggregate,integrate, share) ALL types of data.A unified information storage methodologyenabling users to manage data from ALL sources.,数据的特性数据量 (Sensors, EMR,Claims, Pharmacy,Images)速度 (SLAs, Real-timeDecision Support &ContextualIntelligence)类型(Structured, Text,Unstructured,Documents, Images),大数据 界定的标准,DATA SIZE,DATA TYPE,DATA CLASS,DATA CATALOGDATA VELOCITYDATA ACCESS,DATABASE TYPE,Gigabytes, Terabytes,Petabytes,Structured, Semi-Structured,Unstructured,Human Generated,Machine Generated,Text, Image, Audio, VideoBatch, StreamingAnalytics, Search, Transaction (ACID, BASE),Relational ,File Based, Columnar, NoSQL, Document, Graph, RDF,FRAMEWORKSANALYTICS,Financial, Computer Vision Engine, Geospatial, Machine Learning,Mathematical, Natural Language Processing, Neural Networks,Statistical Modeling, Time-Series Analysis, Voice EngineStandard Reporting, Ad hoc Reporting, Query/Drill downs, AlertsForecasting, Simulations, Op