健康医疗大数据应用体系构建

第二部分大数据论述一、问题描述目前对健康医疗大数据应用的研究较多，但是存在一些问题。其一，多数研究集中于数据分析和挖掘，对完整的健康医疗大数据应用模式的研究较少。少有的应用模式研究文献主要为期刊文章，由于受页面限制等原因，使其主要分析和研究健康医疗大数据的应用，而少有兼顾应用流程、分析方法、保障体系等健康医疗大数据应用的关键问题。其二，当前的研究主要为单一领域的应用研究，如医疗领域、公共卫生领域，或聚焦于更为细分的领域，如护理学、中医药研究、职业卫生等，而对整个健康医疗系统的应用研究较少。总的来说，健康医疗大数据体系依然不完善，大数据应用流程、分析方法和应用的研究较多涉及系统/平台构建、方法研究、应用探索、政策标准研究等方方面面，但是对健康医疗大数据的整体应用模式的研究较少，针对应用模式的文献主要探索健康医疗大数据的应用，而未兼顾应用流程、应用的关键技术、分析方法等方面。有必要对健康医疗大数据的应用模式进行深入完整的探讨，以促进我国健康医疗大数据的应用和发展，释放大数据在变革健康医疗服务模式方面的价值。二、大数据架构的设计与选择健康医疗大数据分析架构由目标层、数据层、工具与平台层、方法层以及应用层组成，如图1所示。

图1健康医疗大数据架构设计图

1

（一）目标层目标层是根据健康医疗大数据应用需求而确定的分析目标，包括描述型分析、预测型分析和关联型分析等，例如判断一个肺结节的良恶性类型属于预测型分析，研究人体内某些物质的水平与特定疾病之间的关系属于关联型分析。健康医疗大数据的分析目标将影响选择何种分析方法，一般开展预测型分析可选择卷积神经网络、随机森林、决策树、朴素贝叶斯、支持向量机等方法，开展关联型分析可选择Apriori、贝叶斯网络、回归等方法。（二）数据层数据层为健康医疗大数据分析提供数据支持，数据的类型、数据的规模大小、数据的质量高低等因素也是选择何种分析方法的重要影响因素。健康医疗大数据包括影像、病理、传染病监测、死因监测以及基因组、微生物组等大量涵盖医疗、公卫、医保、研发等领域的数据，累积的数据为开展健康医疗大数据应用奠定了基础。目前对图像类型和数值类型的健康医疗数据分析较多，例如各类组织器官的X线、MRI、CT、超声等影像数据，病理数据，心电数据以及检验数据等，对文本和音频类数据的分析相对较少。（三）工具与平台层工具与平台层为健康医疗大数据分析提供工具、平台支持，如Hadoop、Spark等大数据计算框架，R、Python、C、Java等编程语言，MATLAB、RapidMiner、Weka等数据分析工具以及Caffe、Torch、Theano等深度学习仿真工具。合适的分析工具和平台可以让健康医疗大数据分析事半功倍。（四）方法层方法层为健康医疗大数据分析提供方法支持。选择何种分析方法是开展健康医疗大数据分析面临的核心问题之一，应根据具体分析目标以及数据类型、规模、质量等因素综合选择合适的分析方法。本文将在下一部分探讨健康医疗大数据分析方法。（五）应用层应用层是健康医疗大数据的应用领域，例如辅助疾病诊疗、传染病预警、智能健康管理、药品研发、医保基金监管等。三、大数据存储方式的设计与选择

2

GFS和GFGFS和GFS的体系结构对文本、图像、音频等半结构化和非结构化数据的非关系型数据库。而且为保证大数据系统的可靠性、可扩展性和可用性，常采用分布式存储策略。分布式存储是一种与集中式存储相对的存储策略，一般使用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。大数据存储中常用的分布式文件系统HDFS以及NoSQL和NewSQL数据库管理系统。（一）GFS和HDFS由于健康医疗大数据除了大量结构化数据以外，还包括组织病理切片、X片、CT影像、彩超等海量半结构化和非结构化数据。面对海量半结构化和非结构化数据存储，传统集中式、阵列式存储模式扩展性不强、可靠性不高、并发能力不佳等缺点使其无法满足海量规模数据的存储需求，分布式文件系统的出现解决了这一问题。Google的GFS和Hadoop的HDFS是分布式文件系统的代表，其中HDFS是GFS的开源实现。GFS和HDFS均采用分布式方式存储数据，通过冗余存储模式保证数据的高可靠性。在实现原理上，GFS和HDFS均采用主从（Master/Slave）控制模式，主节点存储元数据、接收应用请求并且根据请求类型做出应答，从节点负责存储数据。当用户访问数据时，首先与主节点进行指令交互，然后根据主节点返回的数据存储位置与相应从节点交互来获取数据，从而避免主节点出现性能瓶颈。

图2

3

虽然GFS和HDFS通过分布式存储和冗余存储模式保证了存储的高可扩展性、高容错性和高可靠性，并且对服务器要求不高，可运行于廉价商用机器上，是目前主流的大数据存储系统，但是也存在一些局限性，例如不适合低延迟数据的访问、无法高效存储大量小文件、不支持多用户写入和任意修改文件。因此，GFS和HDFS更适用于静态历史性健康医疗大数据的存储场景，如一个医疗机构大量历史性电子病历数据的存储与分析，而不适合在线问诊等对实时性和交互性要求较高的场景。（二）NoSQL与NewSQL为了克服Oracle、SQLServer等传统关系型数据库对半结构化、非结构化数据的存储能力不佳的缺点，先后产生了支持CAP理论的NoSQL数据库系统和满足ACID特性的NewSQL数据库系统。1.NoSQL数据库NoSQL数据库指非关系型的、分布式的、不保证遵循ACID原则的数据存储系统。根据存储模型的特点，NoSQL可分为列存储数据库、文档数据库、键值（Key-Value）存储数据库和图形数据库四类。典型的NoSQL产品有Google的BigTable和基于HDFS的Hbase等。BigTable是Google研发的存储和处理海量数据的列存储数据库系统。由于BigTable处理的许多记录的列是稀疏的，而且每次读取的数据列经常较少，因此BigTable采用多级映射数据结构。BigTable以“列族”为单位组织数据，列族用一个唯一键值作为索引，通过这个键值，对数据的操作可以被分布到多个节点上进行。键值存储数据库查询能力强大，并且可以满足大数据存储和高并发性的要求，适用于快速索引查询场景。近几年发展起来比较知名的键值存储数据库有Redis、Memcached、Dynamo、Voldemort等。图形数据库以图结构为基础，可以处理社交网络和本体论中的人与人之间、本体与本体之间的相互关系，当前主要的图形数据库包括嵌入式图引擎Neo4j、FlockDB、Pregel以及Titan等。和关系型数据库相比，图形数据库能够处理大量复杂、互连接、低结构化的数据。2.NewSQL数据库NewSQL既保留了SQL查询的方便性和传统事务操作的ACID特性，而且还可实现NoSQL系统的高吞吐率，具有高性能和高可扩展性的特点。常见的

4

NewSQL数据库包括NuoDB、ClustrixDB、VoltDB等。NewSQL体系结构一般分为三层：管理层、事务层和存储层，其中管理层支持按需伸缩功能，事务层负责原子性、一致性和隔离性，存储层负责持久性。四、大数据处理模式的设计与选择将面向小数据的分析方法迁移到Hadoop、Spark等大数据框架中是大数据环境下数据分析方法的一大发展趋势，可以很好解决使用传统数据分析方法对海量复杂数据进行分析时所表现出的运算速度和收敛速度慢的问题。许多学者对此进行了研究和实践，并取得了较好的效果。例如PK-Means（ParallelK-MeansbasedonMapReduce）聚类算法是K-Means在MapReduce编程模型上的实现，其在可伸缩性和运行时间方面有了线性提高。PSO-BP神经网络算法是使用MapReduce粒子群优化的BP神经网络的并行设计，其分类精度约为92%，系统效率约为0.85，在处理大数据时具有明显优势。除Hadoop之外，Spark也是一大流行的大数据处理框架，将算法迁移到Spark中会大幅度提升的性能和运行速度，例如PRF算法是随机森林在Spark框架上的实现，其在分类准确性、性能和可伸缩性方面明显优于单纯的随机森林算法。Gong等基于Spark实现了并行一对多SVM优化算法，实验结果表明Spark改进的一对多支持向量机明显优于单机环境下的一对多支持向量机。大数据背景下，为了提高算法对复杂大规模数据的处理能力，挖掘出有价值有意义的信息，除了可通过将算法迁移到Hadoop、Spark等大数据处理框架中、使用GPU等强大的硬件进行处理加速外，根据算法自身的局限和瓶颈提出针对性的优化方案也是一种常见的解决方法，但是对算法进行针对性优化实际上对训练效率的提升十分有限，提升算法对大数据的处理能力仍主要依靠大数据计算框架和GPU等强大的硬件；然而正如蝴蝶效应一样，底层算法的微小改进都会对整个大数据分析产生很大影响，因此对算法的优化研究仍不可忽视。五、总结健康医疗大数据是我国重要的基础性战略资源。推进健康医疗大数据应用对于辅助疾病诊断和治疗、预警突发公共卫生事件、智能监控医保欺诈以及加速药品研发等具有重要意义，是推进“健康中国2030”建设和深化医药卫生体制改革的重要抓手。通过本次实地调研和撰写报告，建立了涵盖应用流程、分析方法、

5

应用体系以及保障体