医疗大数据解决方案与实践v课件

Security

Level:华为医疗大数据解决方案与实践SecurityLevel:华为医疗大数据解决方案与实践Content医疗大数据需求与挑战华为医疗大数据解决方案大数据实践分享华为大数据平台介绍1234Content医疗大数据需求与挑战华为医疗大数据解决方案大数医疗健康行业发展的挑战与对策对策挑战支出现状急剧升高的医疗支出老龄化带来的慢性疾病医疗人员短缺医疗欺诈……2013年医疗卫生总支出为31

668亿元，较2012年上升12.6%，且连续8年每年增长超过10%支出的1/3被浪费而没有用于改善医疗:不必要的医疗服务昂贵的医疗费用医疗欺诈错失预防的机会行政浪费……医疗数据作为一种战略资产，分析数据以达到提高诊断准确度、提高疗效、降低费用、应对挑战2医疗健康行业发展的挑战与对策对策挑战支出现状急剧升高的医疗支PACSHISEMRLIS健康穿戴护理来源医疗数据来源与特点特点时序性主观性病程记录、诊断描述等具有较大的主观性，不易标准化，且可能会有偏差和缺失结构化：各业务系统数据库数据等多样性

半结构化：病程记录数据等非结构化：影像数据等医嘱：临时与长期医嘱反应服药变化信息护理：反应每天身体指标变化信息历史信息：就诊史、既病史、家族史…隐私性患者病情属于个人隐私内部病情讨论与治疗方案信息不能泄露海量数据长期保存健康穿戴设备兴起，数据量急剧增长符合大数据的特征PACSHISEMRLIS健康穿戴护理来源医疗数据来源与特点医疗信息化发展进程阶段一：医院管理信息化阶段二：医院临床信息化阶段三：医院集成/区卫平台整合不同业务信息系统，互联互通、数据共享以患者为中心的信息系统

LIS、RIS、PACS、EMR等门诊、住院流程及收费为主的信息系统HIS为主PACSRISHRPHISLISEMRRHINHIP当前阶段数据集中与共享，使得医疗大数据的分析与应用逐步成为可能医疗信息化发展进程阶段一：医院管理信息化阶段二：医院临床信息基于疾病模型和特征快速筛选，如:糖尿病前列腺肝炎睡眠呼吸暂停……辅助诊断，如基于心电图、脑电波或影像的分析等，辅助诊断:心脏病胸部疼痛风湿性疾病基于历史数据循证分析，选择最佳的治疗方案，如:糖尿病的用药剂量预测高血压指标控制与靶器官损害……如:AIDS病人存活时间预测早产风险预测心脏手术风险预测脊髓损伤后预测移动乳癌预测等疾病筛查疾病诊断疾病治疗病情预报流行病研究医疗卫生管理病情分析与风险评估，发现流行疾病的发病模式，疾病之间的相关性等，如：评估内陆城市的哮喘模型，预测相似人口城市的爆发得疾病A后，得疾病B的概率优化资源分配，辅助规划，如：预测病人量救护车运行量预测住院时间长短医保费用欺诈识别等居民就医机构因素分析医疗数据价值充分挖掘医疗大数据蕴藏巨大价值，数据挖掘与统计检验成为最关注的需求基于疾病模型和特征快速筛选，如:辅助诊断，如基于心电图Page

6医疗大数据其它应用需求客户类型业务场景业务需求大数据价值区卫平台1.

健康档案、电子病历向居民开放国家要求，数据开放居民查询传统RDB无法支撑高并发查询2.

卫生管理BI分析卫生局统计报表分析，支持监管、药品控制，绩效考核等快速分析、共享数据平台3.

EMR/EHR档案检索卫生管理人员随机查询档案，如查询相似疾病集（类似区卫平台内的搜索引擎）传统RDB无法支持医院集成平台1.

临床科研平台EMR、HIS、LIS、PACS信息整合，供医生分析科研、检索、查询传统数据仓库实现复杂2.

综合信息检索根据关键字快速查询历史类似病情与诊疗病历传统RDB无法支持3.

医院运营BI分析医院床位管理、人流趋势；绩效、药品监管等快速、共享数据平台医院/区域影像中心1.

影像存储、调阅可扩展的存储，归档影像快速调阅、备份、容灾分布式存储、可扩展性，并发查询性能2.

影像处理加速影像的自动化分析，三维重构并行加速，提升区域影像云高并发访问下用户体验疾控中心1.

疫情信息即时查询查询历史疫情信息，指导疫情防治大数据量下的快速响应2.

疫情传播控制建立疫情传播模型、人员流动预测、预警并行分析、建模，快速响应健康管理1.慢病监测、提醒、推荐实时监测，个性化防治，精准医疗大规模实时处理，实时决策Page6医疗大数据其它应用需求客户类型业务场景业务需求大挑战身份信息患者隐私治疗方案……疾病治疗是个过程，无法确定当前所开处方一定是有效的…….

建模困难信息孤岛与标准，建立临床数据中心困难数据质量参差不齐、空值、异常值多大数据技术复杂，易用性待增强影像心电医嘱电子病历基因穿戴设备…….医疗大数据应用挑战挑战身份信息患者隐私治疗方案疾病治疗是个过程，无法确定sexpectationActivitySWtrierealmesssSoPcoiawl

erAGnarolyutpicsBGuyaimngification3D

ImagePrintingContexRt-eEcnorgicnhietiodn

SpeSeecrhv-itcoe-sSpeechTranslatioInnternet

ofNatural

LanguageThQinugesstionAnsweringVideo

Analytics

for

CustomerService

Computer-BrainIntQeurfancteum

HumCoamn

putingAugm3eDntationBioprintingSocialTVInternet

TV

NFC

PaymentPrivate

CloudComAupgumtinegnted

RealityCloudComputing

Media

TabletVirtual

AssistantsIn-Memory

DatabaseGMeastnuargeement

SystemsRMeaccohgineiti-oton-Machine

CommunicationServicesMeshNetworks:SensorTeHostedVirtualondnesumerizMobileApplication

BSitoomreestric

AuthenticationIdeMaethods

M/CanoalogrementSpeech

RecognitioPredictive

AnalyticsnLocation-AwareApplicationsAs

ofJulype

of

Enlightenment2011Plateau

ofProductivityMobile"Big

Data"anRdoEboxtsemeProcIensfosrimngaationndManagementYeadleoDesktopVirtus

al QRW

orlds CoE-BookatiReaderschnology Peak

of Trough

of SloTrigger Inflated DisillusionmenExpectations ttimearsto

mainstreamspstithonan:

2

years

2to

5

years 5to

10

yearsmore

than

10yearsobsoletebefore

plateau大数据从概念技术炒作转向商业价值探索Gartner

新兴技术

Hyper

曲线

(2011年) Gartner

新兴技术

Hyper

曲线

(2014年)开放多元、多维、多渠道、异型数据聚焦提炼有效数据、释放商业价值概念技术商业价值8sexpectationSWtrierealmesssSoPHadoop已成为大数据事实标准Share

Nothing架构开放,、全球生态统一处理结构化、半结构化、非结构化数据高性能、实时Hadoop已成为大数据事实标准ShareNothing架Content医疗大数据需求与挑战华为医疗大数据解决方案大数据实践分享华为大数据平台介绍1234Content医疗大数据需求与挑战华为医疗大数据解决方案大数医疗词典华为医疗大数据整体解决方案批处理、准实时华为公司合作伙伴医疗生产数据电子病历健康档案诊疗药品影像费用移动可穿戴设备采集数据调阅病历/影像（医生）患者浏览健康档案（居民）XX信息查询（第三方机构）医疗大数据开放（实时并发查询）大数据

挖掘平台Miner大数据并行处理平台

Fusion

InsightHD大数据存储基础设施OceanStorN9000分布式文件系统(NFS/CIFS/HDFS)ZookeeperHive/Impala机器学习算法库(聚类/分类/回归/文本分析/图分析)SparkYarnMapReduceHDFS/LoaderHBaseOozie数据建模可视化控件特征工程 分析建模慢病特征库 慢病管理模型心电特征库 心电预测模型 分词算法与特征提取临床科研平台……医疗应用医疗行业能大数据平台数据源健康管理•药品广告•个性化治疗•慢病防治建议通知/告警/推荐XX病推荐模型力 …XX病信息推荐规则实时处理实时决策引擎流计算平台FusionInsightStreaming区卫平台、医院集成平台、区域影像循证决策管理（卫生管理）

•绩效考核临床循证医学分析（医生）

•医疗费用分析药物、流行病学分析等

•药品监管等医疗大数据统计分析与挖掘

医疗大数据BI分析疾控中心•相似病历查询•疫情查询Ad-hoc查询复杂查询MPP数据库R11医疗词典华为医疗大数据整体解决方案批处理、准实时华为公基于大数据的临床科研平台或数据整合解决方案医嘱信息…患者基本信息患者健康信息患者就诊信息检验信息护理信息VS传统模式（星形或雪花）与大数据平台模式（大表）的临床数据仓库模式对比非结构化数据转结构化处理Hadoop平台HISEMRLIS...导入PACS移动护理EMR/HIS/LIS患者健康信息患者基本信息检验信息ETL…….高血压糖尿病临床数据仓库 分析主题数据集市…….高血压并发症相关因素分析高血压控制药物剂量预测分析课题特征库医嘱信息模型训练分类回归

相关性……统计分析与挖掘医院业务系统 临床科研平台数据库

导入的原始数据…患者就诊信息12基于大数据的临床科研平台或数据整合解决方案医嘱信息…患者基本基于大数据的数据分析、挖掘解决方案对接商用分析软件集成开源分析工具RFusionInsight

Hadoop数据处理平台并行化机器学习算法库(HIMM/Mahout/MLlib/HiGraph)可视化FusionInsight

Miner行业应用使能器（Enabler）金融行业模型使能套件医疗行业模型

使能套件 ①数据探索 ②特征工程 ③

建模分析SparkR

接口CSV文件输入疾病、病患标签管理电信行业模型使能套件临床医学词典临床科研字典临床流水型特征提取疾病分析模型 辅助诊断引擎病历文本特征提取临床科研库

主题集市

课题特征项病历全文全数据检索13基于大数据的数据分析、挖掘解决方案对接商用分析软件集成开源分基于大数据的临床辅助决策支持医疗数据处理整合+数据平台+离线挖掘推荐引擎（推荐算法实时计算）在线诊断单元在线诊断单元在线诊断单元在线诊断单元患者数据疾病模型患者历史病情与诊断信息高速缓存快速查询专家规则系统实时数据处理与分发医院业务系统（HIS、EMR等，如HIS中医生点击开立医嘱触发信息上传）诊断请求患者症状与检验数据规则库导入14离线分析系统在线诊断系统医院业务系统（Redis+Hbase）诊断建议即时响应基于大数据的临床辅助决策支持推荐引擎在线诊断单元在线诊断单元医疗影像大数据存储/查询解决方案HDFS

RaidAppendable-SequenceFile小文件合并存储HBase

Like

APIHBase

File

SystemHBaseASFHDFSHBase

like

API定位医疗影像数据分布式存储与快速查询解决方案高效存储支持Appendable-SequenceFile小文件合并存储支持HDFS-RAID和高效Erasured

Code算法快速查询HBase和HDFS小文件存储方案相结合，提供快速查询易开发提供类HBase

API接口，用户无需感知文件底层存储方式高可靠提供HFDS容灾方案无限可扩展基层医疗机构A基层医疗机构B影像设备前置机前置机影像设备PACS系统影像存储IP链路区域影像中心功能15医疗影像大数据存储/查询解决方案HDFSRaidAppen基于大数据的智慧移动医疗解决方案$远程医疗术后监测慢病管理智慧移动医疗应用软件④大数据分析与实时推荐平台 ⑥① ①华为智慧医疗平台多媒体统一通信 IoT平台一体化网关 家庭网（视频会议+数据采 ⑤ 关集） ⑤③医疗数据采集器 医疗小推车② 专业医疗设

②

家用医疗/可穿戴

③系列化会议软硬终端

备

PC/Pad/手机(软终端)

健康设备华为提供 第三方合作伙伴提供 注：华为提供SDK嵌入终端实现数据采集标准化患者信采集患者病情指导数据分析16基于大数据的智慧移动医疗解决方案$远程医疗术后监测慢病管理智Content医疗大数据需求与挑战华为大数据平台介绍大数据实践分享华为医疗大数据解决方案123417Content医疗大数据需求与挑战华为大数据平台介绍大数据实华为大数据全生命周期解决方案数据洞察平台大数据基础设施数据集成平台收集清洗转换FusionInsight应用接口封装与能力层

SQL,

NoSQL,

Search应用使能套件电信金融行业应用医疗APIAPI网络通用X86

服务器Manager统一管理Miner百万维特征管理与建模、算法并行化基础数据处理平台MPP

DB海量结构化数据实时流处理内存迭代离/近线处理安全设备18华为大数据全生命周期解决方案数据洞察平台大数据基础设施数据集FusionInsight

Hadoop：更安全、更可靠、更智慧、更易用竞争力关键优化点编号可靠全系统HA1集群异地容灾方案2数据备份恢复3业务过载控制4安全OS安全加固5统一账号管理6基于账号、角色的权限管理7数据加密保护8易用GUI界面、向导式安装升级工具9健康检查和日志收集工具10工作流11原生接口二次封装12高效

性能提升3-10倍MR任务调度算法优化13聚簇表14二级索引15并行数据导入工具16HDFSZKOSHiveOozieKRBManagerToolkit北向 向导告警 日志监控 配置安装 升级健康检查工具方案多租户方案MR

34异地容灾方案2数据备份/恢复78591011数据备份工具数据导入工具161566LDAP3安全解决方案FusionInsight

Hadoop Solutions334HBase1271415191Spark713基于开源，面向企业级的工程化优化，两方面：1、组件强身健体；2、面向应用和管理的解决方案和工具。FusionInsightHadoop：更安全、更可靠、更精细化安全管理，加强数据安全多租户访问数据安全操作日志审计应用层安全防敏内感外信网息隔泄离露基础设施安全安 全可 靠智 慧易 用20精细化安全管理，加强数据安全多租户访问应用层安全安 全可 靠组件日志审计审计日志类别审计日志内容OM审计日志用户管理、集群管理、服务管理、实例管理、主机管理、维护管理等操作日志HBaseDDL语句、DML语句、HBase维护命令、权限控制等操作日志Hive元数据操作、数据维护、权限管理等操作日志HDFS权限管理、文件操作等操作日志MapReduce程序运行（启动、停止、查询Container）的操作日志Loader登录、任务管理等操作日志Hue用户登录或注销信息Zookeeper用户登录、任务流管理、任务流状态变化信息FTP-Server用户登录，文件操作（删除，上传，chmod，chown）信息安 全可 靠智 慧易 用21组件日志审计审计日志类别审计日志内容用户管理、集群管理、服务敏感数据加密存储HDFSHive/HBase敏感数据写入加密/解密敏感数据读取*(&@#$^%!%$#$!(*^&*^*5!$!@^%$^!$!%#$@%#!!$#@!非敏感数据非敏感数据DB Files外部数据源HiveHBase组件加密加密后的数据内部数据在Hadoop中，数据缺省是明文存放，这样会导致某些敏感数据存在泄密的安全隐患。应用场景解决方案用户可将敏感数据存储在大数据系统中表、列级别的细粒度控制支持算法的多样性，系统更安全业务透明，加解密过程业务无感知Hive支持对表、列加密Hbase支持对表、列族和列加密支持AES、国密算法SM4、RC4等加密算法，同时允许使用用户自定义的加密算法客户价值安 全可 靠智 慧易 用22敏感数据加密存储HDFSHive/HBase加密/解密敏感数可靠性保证系统可靠性所有组件无单点故障，故障自动恢复，所有组件管理节点实现HA业务状态监控，避免单节点/进程的亚健康、僵死导致业务中断租户资源隔离和任务优先级调度避免系统业务阻塞升级维护，业务不中断数据可靠性支持跨数据中心数据备份支持硬盘热插拔、数据掉电保护HDFS采用CRC32C校验数据的正确性支持与第三方备份系统集成支持多租户访问全系统数据持久度可达5个9，双容灾集群的数据持久度达7个9可 靠智 慧易 用安 全23可靠性保证系统可靠性数据可靠性可 靠智 慧易 用安 全23Hadoop

clusterNAS…异地灾备表级别集群在线备份，用于在线业务故障灾备数据恢复批量导出本地备份支持库级别本地备份、批量导出和数据恢复，支持全量、增量两种模式。用于集群故障、人为误操作导致的数据丢失本地备份LdapServerHMHMHDFSRSRSHBaseLdapServerHMHMHDFSRS RSRSRSHBaseRSHLog

SyncAuthentication

Data

Sync跨数据中心容灾备份可 靠智 慧易 用安 全24HadoopclusterNAS…异地灾备数据恢复批量导出基于开源内核做功能增强可 靠智 慧易 用安

全CTBase表/索引聚簇、二级索引，降低查询IO,

百亿条信息查询秒级响应文件同分布，查询时延相比传统方法快5~100倍HBase冷列合并，降低数据膨胀率创建增强的Hive索引，查询性能翻倍Spark引入sort-based

shuffle，降低系统开销，提升性能优化后的HiGraph算法库相比开源MLLIB提速3倍以上速度更快HBase的表设计工具，简化业务开发，可以开发复杂的多表业务可视化数据表建模，降低HBase使用门槛基于Storm提供CQL语言，降低流处理业务的开发门槛开发更简单HDFS提供FTP方式与Hadoop集群交换数据SparkSQL提供外部数据源接口，方便对接Phoenix增强,

更通用SparkSQL支持列存格式，使用更灵活Spark使用通用API适配外部数据源接口功能更强25基于开源内核做功能增强可 靠智 慧易 用安全CTBase表MPP

DB，海量结构化数据快速查询分析准实时检索：百亿级数据记录秒级检索查询能力

。弹性扩展：支撑PB级别容量扩展，计算资源按需扩展。行列混存：支持行存储和列存储两种存储模型，用户可根据应用场景选择。易 用安

全 可 靠 智 慧DataNodeLocal

DataDataNodeLocal

DataDataNodeLocal

Data…………应用程序JDBC/ODBCCCoCoooorodrdrindinainatoatotror

rGMDOMSCMSGTM26FusionInsight

MPPDBMPPDB，海量结构化数据快速查询分析准实时检索：百亿Miner，让数据慧说话金融行业模型使能套件电信行业模型使能套件医疗行业模型使能套件一站式平台支撑数据分析全流程让大数据探索和洞察变得简单端到端分析平台特征复用，

基于分布式内存计算，支持百万维度特征分析特征工程/社交化开发过程封装成图形化算子，

无需任何代码图形化控件自研HiGraph

算法

库

,

比

开

源Mllib

算

法

库

快3~5倍高性能算法库与R无缝对接,

支持与SAS、SPSS等对接开放性提供基于业务问题驱动的闭环解决方案业务驱动可 靠智 慧易 用安

全27FusionInsight

MinerMiner，让数据慧说话金融行业模型使能套件电信行业模型使能HDFSStormMapReduceYARN/ZookeeperSparkHbaseStructured

DataComplex

Event

Process3rd

Party

orcustomizedwordloadMPP

DBBatch

ProcessingHiveInteractiveAnalyticsImpalaElkCQLPhoenixComplex

Event

ProcessSpark

SQLSQL

on

Hadoop能力，传统业务易移植可 靠智 慧易 用安

全28FusionInsightSQL

on

Hadoop

能力全景HDFSStormMapReduceYARN/ZookeepELK：最佳交互式SQL引擎查询、报表、统计…DataHDFSSQL

引擎SQL

引擎SQL

执行器LoaderManagerELK结构化数据分析挖掘、机器学习…半/非结构化数据分析挖掘平台；流处理平台；

非结构化处理平台；……SQL

执行器SQL

执行器FusionInsight

HDELK能力：全面兼容通用SQL和HQL全面支持JDBC、ODBC，并提供丰富的扩展接口，如PL/C，

PL/Java，PL/Python交互式查询性能超越Impala支持灵活的存储格式HDFS(ORC、Parquet)，HBase（KV）可 靠智 慧易 用安

全02004006008001 3 5 7 9 11

13

15

17

19

21Elk与Impala性能对比，TPC-H

100X（单位：秒/查询N）ImpalaELk29ELK：最佳交互式SQL引擎查询、报表、统计…DataHDF全自动在线运维向导式操作，Step

bystep引导完成安装，分布式并行处理，快速完成

集群安装自动化的二次开发助手，大幅降低部署难度Dash

Board：直观监控集群、组件信息全局信息快速浏览详实直观的拓扑管理简洁明了的性能图表方便快捷的集群管