公共卫生大数据应用架构研究

公共卫生大数据应用架构研究

1国家疾病预防控制信息系统现状在斯太负危机发生后，中国的公共卫生系统受到了前所未有的关注。疾病预防控制信息化建设进入了突飞猛进的发展阶段,通过10年建设,构建了以覆盖全国的网络直报系统为核心的20余个国家核心业务信息系统,其中法定传染病网络直报系统已连通全国98%的县及县级以上医院和91%的乡镇卫生院,实现了法定传染病的个案、实时、在线报告,记载传染病个案信息。然而,随着卫生信息化建设的深入,需求的不断增长,应用覆盖面的扩大,国家疾病预防控制信息系统已存储9千余万条传染病、出生、死亡等个案信息,而且每年以近1千万个案信息的速度递增,持续为中国传染病防控工作提供基础信息,发挥着无可替代的作用。但同时也带来了大数据应用的困难和挑战。本文将从中国传染病预警预报大数据应用和基于互联网大数据舆情监测预警应用的案例分析入手,探讨公共卫生的大数据应用。2公共卫生监测模式的改变如何通过合理利用虚拟专用网络(VPN)技术和因特网资源建立“公网专用”的网络系统,将信息采集功能延伸到基层,服务于广大的医疗机构和基层疾病预防控制中心人员,大幅度提升全国传染病和突发公共卫生事件监测的覆盖率、准确性和时效性。并保障在网络范围内,所有的医疗机构、各级疾病预防控制中心以及其一线专业人员可以直接将结构化的监测数据提交到国家数据中心,最大限度的提高处理传染病疫情暴发流行的信息响应效率,能够更科学合理的调用社会力量,将重大传染性疾病的危害降到最低水平。这种工作模式的调整将传染病从过去按月报告改变为个案报告,基层报告与中央和地方接收信息同步,整体报告速度提高10倍,报告数量增加三分之一,逐步形成了世界上独一无二的大数据集成报告系统,使中国的传染病和公共卫生信息管理水平发生了质的飞跃,实现了公共卫生监测模式的变革。同时,随着互联网应用的迅猛发展,电子商务、社交网络的广泛应用,使得互联网络中充满了人群社会化活动的大量非结构化公共卫生信息。如何利用这些海量的、价值低的、动态的信息,是公共卫生监测大数据应用的新需求。需求构成(如图1)所示。3健康危险监测与管理工具及监测内容公共卫生大数据特征主要体现在体量巨大、数据繁杂、敏感信息少、时效性高四个方面。首先,公共卫生业务活动主要包括监测干预、应急处置、调查评价、科学研究、教育培训和管理服务等。内容包括传染病,慢病,健康危险危害因素等。类别包括以人群为基础的个案信息;以实验室为基础的生物与环境信息;以组织机构为基础的管理信息;以人群社会化活动为基础的结构化、半结构化和非结构化信息。其次,监测信息来源多样化,包括手工录入,电子病历(EMR),微博/论坛等网络信息。最后,数据时效要求高,疫情探测和应对要求近乎实时的应对速度,需要满足实时统计分析,快速获得结果,同时大量监测数据中需要的敏感信息少,需要连续监测捕获异常信号,或发现流行规律。4定制开发应用系统,实现与云中心的互联公共卫生大数据应用架构应从公共卫生的数据需求出发,建立云计算数据中心为基础,搭建大数据存储、分析、管理的基础数据平台(Hadoop),以及对大量数据进行分布式处理的集群应用环境,定制开发包括业务管理、数据分析和运行管理的应用系统,实现与现有监测管理服务业务系统、人群社会化活动的公共服务系统动态联接,获取结构化、半结构化和非结构化数据,通过时实运算,动态支持公共卫生管理与服务的信息需求与信息消费。技术框架(如图2)所示。5感染预警大数据的应用5.1建立病监测系统利用监测信息资源,对基于网络直报的传染病监测系统实现以日为单位动态自动预警概念模型;实现对传染病暴发的早期自动预警;支持全国分级传染病疫情监测报告数据的分析与利用。5.2建立数据库,及时发布气象信息系统以县(区)为单位,利用传染病疫情监测报告数据建立数据库,采用时间/时空预警模型每日自动运算,将探测到的病例异常增加或聚集的信号以手机短信的方式自动发送给各级疾控机构疫情值班人员,提醒其及时关注和处理。5.2.1实时统计数据对全国范围传染病个案数据进行实时动态的基于时间、空间和人间的“三间分布;数据包含时间、空间、人群、疾病四个象限维度:实施难度体现在加工后的实时统计数据达到5000万条/年,并需要针对全国所有分级用户提供任意时间段的汇总统计,其统计量达到8000万亿条/年。技术路径及应用展现(如图3)所示。5.2.2传染病聚集性爆发基于病人空间位置的非结构化数据预警,主要用来探测在大尺度范围内的传染病聚集性爆发,主要维度包括:病种、病人详细住址(例如某学校某班,某村某大队);主要难度体现在病人详细住址是非结构化数据,需要逐行快速匹配及容错误处理。技术路径及应用展现(如图4)所示。6监测和报警网络数据的应用6.1网络信息选取随着互联网技术与应用的飞速发展,网络媒体已经成为获取信息的重要来源。使用网络信息抓取技术,抓取互联网络传染病、突发公共卫生事件,以及公共卫生安全方面的新闻、BBS和社交网络等范围内的对象信息,已经成为公共卫生监测的另一重要手段。应用流程(如图5)所示。6.2建立舆情监测数据综合评价机制在文本挖掘技术支持的舆情监测基础上,将监测数据输入预警预报模型,输出以报表、统计图、趋势图的形式展现,并与达到警告标准的数据进行对应级别的警告。采用多层次模糊综合评价的方法,将舆情监测数据划分为二级及二级以上的指标。对低级指标进行加权评估,继而对高级检测指标进行舆情加权评估,最后得到整个传染病、突发公共卫生事件在网络中舆情的级别预警。公共卫生网络舆情监测系统(如图6)所示。7建立公用互联网信息服务平台面向公众提供传染病监测预警预报信息服务。在服务内容上,提供本地区传染病长期流行趋势分析,短期爆发和流行风险预测预警信息,重点传染病预防建议,旅行卫生提示等公众服务信息;在服务形式上,以城市为单位,依托区域疾病预防控制数据中心建立接入公用互联网的信息服务门户,利用商业智能和可视化技术,提供界面友好的互动查询。并以政府主导,开放相关数据资源,引入社会力量搭建信息服务平台,实现政府业务部门与企业应用服务相结合,面向公众提供公共卫生信息资源及信息技术服务。公共卫生大数据应用服务模式(如图7)所示。8公共卫生大数据:开放数据的社会基础大数据在公共卫生中应用,突出体现在以传染病实时监测的信息为依据,以历史疫情大数据为基础,建立敏感特异、科学实用、适用基层的传染病爆发、流行的预警体系,提高了中国传染病疫情监测的预警能力,并在传染病爆发、流行的早期能够及时发现并采取快速的应对措施,从而减少传染病对人民健康和社会经济发展造成的影响。大数据是云计算的具体化,且正在成为一个国家最重要的国家社会资源,对大数据的获取和利用能力正在成为软硬兼备的真实力。公共卫生大数据的核心组成部分是由政府公共卫生机构所拥有的社会管理和公共卫生活动数据,以及由政府卫生行政部门直接拥有或间接支持下获得的物理世界和生物世界的数据。与政府数据资源相比,无论个人,企业或社会组织如何努力