大数据在医疗行业的应用

大数据医疗&工程建设,演讲人：徐启雄周聪资料收集：宋佳琪马宇寰邢洪达ppt制作：向琪,工程管理1101班2014年6月6日,PART1大数据在医疗领域的应用,outline,一、医疗与大数据的趋势,二、什么是医疗大数据,三、大数据面临的挑战,四、如何管理和利用大数据,五、案例分析,六、总结与展望,一、医疗与大数据的趋势,二、什么是医疗大数据,三、大数据面临的挑战,四、如何管理和利用大数据,五、案例分析,六、总结与展望,医疗费用在不断上升GDP的占比非常高,10-19%0-9%,趋势分析:我们正处在医疗行业的一个重要转折点%ofpopulationoverage6030+%25-29%20-24%,2050WWAverageAge60+:21%Source:UnitedNations“PopulationAging2002”,全球老龄化平均年龄60+:目前的10%,到,2050年将达到20%Source:McKinseyGlobalInstituteAnalysisESGResearchReport2011NorthAmericanHealthCareProviderMarketSizeandForecast,以美国为例:医疗大数据的价值3千亿美元/年,相当于每年生成总值增长0.7%,0,15000100005000,201020112012201320142015,趋势分析:我们正处在医疗行业的一个重要转折点存储的增长医疗服务产生的数据总量(PB),AdminImagingEMREmailFile,NonClinImgResearch,医疗影像归档一个医疗系统案例的数据,到2020年,医疗数据将急剧增长到35Zetabytes,相当于2009年数据量的44倍增长Source:McKinseyGlobalInstituteAnalysisESGResearchReport2011NorthAmericanHealthCareProviderMarketSizeandForecast,一、医疗与大数据的趋势,二、什么是医疗大数据,三、大数据面临的挑战,四、如何管理和利用大数据,五、案例分析,六、总结与展望,大数据,对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,4V：Volume（大量）Velocity（高速）Variety（多样）veracity（真实性）/Value(价值性）,1.制药企业/生命科学3.费用报销,利用率和欺诈监管,2.临床决策支持&其他临床应用(包括诊断相关的影像信息)4.患者行为/社交网络,医疗大数据简介数据来源包括哪些?,我们如何利用大数据创造价值?(示例),2.临床决策支持4.由生活方式和行为引发的疾病分析,1.个体化医疗3.欺诈监测得以加强McKinseyGlobalInstituteAnalysis,医疗大数据相关解决方案,健康信息服务新兴的医疗服务应用数据分析及视觉化处理数据处理/管理分布式平台,老龄社会肿瘤基因组学医疗影像分析医疗影像影像数据处理加速,基础医疗服务临床决策支持类SQL的检索医疗记录存储优化,个人健康管理个体化医疗机器学习基因数据安全和隐私,一、医疗与大数据的趋势,二、什么是医疗大数据,三、大数据面临的挑战,四、如何管理和利用大数据,五、案例分析,六、总结与展望,大数据的挑战不仅来自于数据量的增长.需要新技术的支持,检验结果,费用数据,影像,设备产生的感应数据,基因数据等,数据量,结构化数据,遵循标准的数据标准(如,HL7)非结构化数据,如口述、手写、照片、影像等,类型,实时有效的商业价值,基于现有数据库中的数据进行分析，来支持不同种类的业务：如,费用及报销、患者病史、归档影像分析、实时临床决策支持（数据分析）实时数据分析，而非传统的批量处理分析数据以流的方式进入系统，进行抽取和分析,对于实时运行中的每个时间节点产生影响，而不是事后处理在传统的解决方案之上，引入新的数据及分析模型和技术，,价值速度,一、医疗与大数据的趋势,二、什么是医疗大数据,三、大数据面临的挑战,四、如何管理和利用大数据,五、案例分析,六、总结与展望,传统解决方案环境ERP,CRM,Batch,OLTP-DB,DataCenterProvisioningDiscreteVirtualCloudAsAServiceHPC,关注数据的价值大数据存储的考虑传统存储方式大规模分析Hadoop*海量数据库Hive*大规模备份Lustre*,数据源文本-语音-视频-传感器RequestingOrM2M通讯批量商业应用丰富的视觉化效果安全的数据分析和缓存,边缘服务器（Edge）分析同步端到端Machine-to-MachineSource-to-Source可行的解决方案体系（示例）,Applications&ServicesVisualizationFileStructure&AnalyticalToolsDataDelivery,Operational&GraphicalAnalyticsDataManagement&ComputationalAnalyticsComputeStorage&InfrastructurePlatforms,高效的大数据访问途径(客户端),“KnowMe”,“FreeMe”,“ExpressMe”,智能手机,移动医疗,助理,平板电脑,笔记本,Ultrabook,其他设备,台式机,数字标牌,自助终端,MobilityVitalsign,I&OentryMedicationadministrationTemplatedataentryFree-formattextdataentryLargediagnosticimagesDatainquiryManageability,“LinkMe”,大数据在中国医疗行业中的应用模式,1.制药企业/生命科学3.费用报销,利用率和欺诈监管,2.临床决策支持&其他临床应用(包括诊断相关的影像信息)4.患者行为/社交网络,药品研发对药品实际作用进行分析；实施药品市场预测基因测序分布式计算加快基因测序计算效率公共卫生实时统计分析发现公共卫生疫情及公民健康状况新农合基金数据分析及时了解基金状况，预测风险辅助制定农合基金的起付线，赔付病种等基本药物临床应用分析分析基本药物在处方中的比例,临床数据比对匹配同类型的病人，用药临床决策支持利用规则和数据实时分析给出智能提示远程监控采集并分析病人随身携带仪器数据，给出智能建议人口统计学分析对不同群体人群的就医，健康数据实施人口统计分析了解病人就诊行为发现病人的特定就诊行为，分配医疗资源,一、医疗与大数据的趋势,二、什么是医疗大数据,三、大数据面临的挑战,四、如何管理和利用大数据,五、案例分析,六、总结与展望,案例分享:RegionalHealthInfoNetworkChinaReal-timeClinicalDecisionSupport,实时的医疗数据处理（电子健康档案，医疗影像数据），支持医疗协同、临床决策,支持和公共卫生管理采用Hadoop*(HBase*/Hive*)来实现医疗数据分析和处理,未来将扩展到不同领域、不同区域/地区,（包括数据交换、处理和分析）与本地的软件厂商及OEM厂商进行了广泛合作,技术挑战Hadoop(HBase/Hive)与传统关系型数据,库如何有效结合,大数据在区域卫生信息平台中的切实可行,应用场景,PublicHealth,Hospital,Primarycare(Grassroots),HealthInformationDW,EHRData&Services,RegistriesData&Services,LongitudinalRecordServicesHealthInformationAccessLayer,CareCoordinationClinicaldecisionsupport,DataAnalyticR&D,RHINAncillaryData&Services,分布式数据服务系统展现层(报告,视图),区域医疗及基层医疗信息系统大数据解决方案(Hadoop*)集成的用户应用界面（居民、医生、卫生行政管理人员）,数据挖掘（Mahout）分布式批量处理框架(Map/Reduce),区域卫生信息访问层(HIAL),医院信息系统,医院信息系统,语言和编译(Hive)实时数据库(Hbase),基层医疗信息系统,医疗服务药品管理,新农合医疗保险,服务器虚拟化,基础设施虚拟化网络虚拟化存储虚拟化,基于云的区域基层医疗服务系统多租户应用,分布式文件系统协作服务(HDFS)(Zookeeper)结构化数据采集器日志数据采集器(Sqoop)(Flume)健康档案数据存储,公共卫生运营管理,Sequencing3BillionBasePairs,DataProcessingCloudStorageVisualizationMillionsofVariants,Interpretation&AnalyticsMillionsofVariantsMillionsofPatients,CommercializingTargetedTherapeuticsCompanionDiagnosticsActionableBiomarkers,案例分享:NEXTBIO基因数据分析,Costtosequenceagenomehasfallenby800 xinthelast4yearsEachgenomehas4millionvariantsGrowthinthegenomicsdatainthepublicandprivatedomainDataavailableinvarietyofsources,Structured,semi-structured,unstructured,Newaggregateddatagrowingexponentially,案例分享:NEXTBIO,病人相关性数据,NovelDiscoveries,Biomarkers,DiseaseMechanism,DrugIndications,ClinicalTrialParameters,PatientCareOptions,Largecontentrepositoryofpublicandprivategenomicdatacombinedwithproprietaryandpatentedcorrelationengine,案例分享:NEXTBIONextbio&Intel合作方向技术挑战:,ImmutableDatawriteonce,neverchange,readmanytimesTraditionalBloomFiltersworksHadoop*&HBase*wellsuited1genome10millionrows100genomes1billionrows1Mgenomes10trillionrows100Mgenomes1quadrillion1,000,000,000,000,000rowsAppcandynamicallypartitionsHBaseasdatasizegrows,英特尔对于Hadoop提供的优化:,OptimizedHadoopstackinopensourceStabilizeHBasetoprovidereliablescalabledeploymentOptimizeandsupportscale-outasdatasizedramaticallygrowsExploringclusterautotuning,Security&Compliance,etc.,案例分享:KaiserPermanente大数据应用,数据的发展趋势,结构化数据,80%非结构化数据,全世界80%的数据是非结构化的(大量的移动终端设备,机器产生的数据)在未来十年，数据将迎来44倍的增长(35zettabytesby2020)主要的数据增长来自于非结构化数据(在线的归档数据,医疗影像,在线视频和存储,照,片等),全球数据的构成,Kaiser的数据中，90%是非结构化的(80%的EHR和影像数据)在未来十年，数据将会有25倍的增长(Oneexabyteby2020)主要的数据增长来自于非结构化数据(医疗影像,视频,文本,音频等),信息给实时个性化医疗服务带来了可能性,(RequiresContextualdevice,environment,spatial,Demographics,SocialandBehavioralprofilesinadditiontomedicalinformation)Kaiser正在评估大数据相关技术,Kaiser的数据构成,结构化数据,90%UNSTRUCTURED构化数据DATA,非结,信息给各行业发展带来了新一轮的机遇(零售,金融,保险,制造,医疗,)各行业已经开始采用大数据技术用于信息提取Source:Kaiser,Master,Integratebuilt/boughtReal-timePredictiveAnalyticalSolutionsorProcessinglogicDiscontinuousChange,SAN/NASSMP(5$),SAN/NASIn-Memory(50$),Share-NothingDistributedStorageandCompute($)Fault-tolerantMasterSlaveArchitecturecapableofwithstandingpartialsystemfailuresDataisdistributedacrossprocessingslavenodesResourcescontainingdataarenotsharedMastermanagesthedatadistribution,jobschedulingacrossslavenodesandaggregatingresultsets,Slave(s)DAS,SAN/NASMPP(10$)SAN/NAS,SMP(DiskCaching,HighSpeedNetwork)(10$),数据平台计算的趋势分布式计算Kaiserislookingtoexploitthiscapability,Structured,RelationalTabularDataInteractiveQuerySupportReal-timeAnalyticsSQLTransactionData,Unstructured,Non-tabularDataRichAdHocIntegrationReal-timeAnalyticsUQLALLData,大数据平台需求分析,处理的特性Intuition(Simulation,Optimization,StochasticOptimization)Information(Standard&AdHocreporting,Query,Alerts,Forecasting,Access)Interrogation(Clustering,Statistical,Quality,Semantics)Integration(Alignment,Semantics,Completeness,Quality)Ingestion(DataModel,MetadataReferenceData,Store),Informationdrivesprocessoptimizationswithstrategicimpact.Modelingbusinessintuitionfromdatadeluge.Abilitytomodelinformationandtransitionfrommultipleaccessmethodstogenerating,sharing,collaboratingandactingoninsightsanytime,anywhereonanydevice.SupportcurrentBItoolsfocusedonstructuredinformation.Build/buypackagedunstructureddataprocessingandanalyticstools.Aportfoliooftoolstomanage(profile,cleanse,classify,synchronize,aggregate,integrate,share)ALLtypesofdata.AunifiedinformationstoragemethodologyenablinguserstomanagedatafromALLsources.,数据的特性数据量(Sensors,EMR,Claims,Pharmacy,Images)速度(SLAs,Real-timeDecisionSupport&ContextualIntelligence)类型(Structured,Text,Unstructured,Documents,Images),大数据界定的标准,DATASIZE,DATATYPE,DATACLASS,DATACATALOGDATAVELOCITYDATAACCESS,DATABASETYPE,Gigabytes,Terabytes,Petabytes,Structured,Semi-Structured,Unstructured,HumanGenerated,MachineGenerated,Text,Image,Audio,VideoBatch,StreamingAnalytics,Search,Transaction(ACID,BASE),Relational,FileBased,Columnar,NoSQL,Document,Graph,RDF,FRAMEWORKSANALYTICS,Financial,ComputerVisionEngine,Geospatial,MachineLearning,Mathematical,NaturalLanguageProcessing,NeuralNetworks,StatisticalModeling,Time-SeriesAnalysis,VoiceEngineStandardReporting,AdhocReporting,Query/Drilldowns,AlertsForecasting,Simulations,Optimization,StochasticOptimi