大数据平台建设方案版本

1、大数据平台建设方案大数据平台建设方案工程需求与技术方案一、工程背景“十三五期间,随着我国现代信息技术的蓬勃开展,信息化建设 模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等 技术为核心的“新IT 浪潮风起云涌,信息化应用进入一个“新常 态产* 某政府部门为积极应对“互联网+和大数据时代的机遇 和挑战,适应全省经济社会开展与改革要求,大数据平台应运而 生.大数据平台整合省社会经济开展资源,打造集数据采集、数据 处理、监测治理、预测预警、应急指挥、可视化平台于一体的大数 据平台,以信息化提升数据化治理与效劳水平,及时准确掌握社会 经济开展情况,做到“用数据说话、用数据治理、用数据决策、

2、用数 据创新,牢牢把握社会经济开展主动权和话语权.二、建设目标大数据平台是顺应目前信息化技术水平开展、效劳政府职能改 革的架构平台.它的主要目标是强化经济运行监测分析,实现企业 信用社会化监督,建立标准化共建共享投资工程治理体系,推进政 务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提升政务工作的前瞻性和针对性,加大宏观调控力度,促进经 济持续健康开展.1、制定统一信息资源治理标准,拓宽数据获取渠道,整合业务 信息系统数据、企业单位数据和互联网抓取数据,构建会聚式一体 化数据库,为平台打下坚实稳固的数据根底.2、梳理各相关系统数据资源的关联性,编制数据资源目录,建 立信息资源交换

3、治理标准体系,在业务可行性的根底上,实现数据 信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度.3、在大数据分析监测根底上,为政府把握经济开展趋势、预见 经济开展潜在问题、辅助经济决策提供根底支撑.三、建设原那么大数据平台以信息资源整合为重点,以大数据应用为核心,坚 持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实 效,深化应用、创新驱动的原那么,全面提升信息化建设水平,促进 全省经济持续健康开展.1、统筹规划、分步实施.结合我省经济开展与改革领域实际需求,明确总体目标和阶段性任务,科学规划建设工程.先期完成 大数据平台的整体架构建设,后期分步完成业务系统的整合及相互 间数

4、据共享问题.2、整合资源、协同共享.对信息资源统一梳理,建立经济发展与改革信息标准资源库和数据标准,逐步消灭“信息孤岛,加 快推进数据资源整合,建设共享共用的大数据中央,实现业务协 同.3、突由重点、注重实效.以用户为中央,以需求为导向,以效劳为目的,突出重点,注重实效,增强平台可用性和易用性.4、深化应用、创新驱动.深入了解用户需求,密切跟踪信息技术开展趋势,不断深化应用、拓展新技术在应用中的广度和深 度,促进跨界融合,丰富治理和效劳手段.四、建设方案为了保证工程的顺利进行和建设目标的可行性,我们采取如下 几种建设方案.1、数据采集方案.我们统一信息资源标准标准,建立多维度数据库,拓宽数 据

5、来源,通过不同的方式会聚数据,增强分析力度,提升监测 预警的准确性和时效性.1、预留接口,支持其它系统各种数据的上传导入处理.将 现存有关经济运行业务系统中的历史数据和时效数据,通过上 传数据文件至效劳器、分析提取有效数据导入效劳器数据库等 方式采集起来,在本平台上复用.2、支持外接数据的上传导入处理.可以将企业单位或定点 监测机构的数据通过同样的方式采集起来,在本平台上复用.3、支持非结构化数据,即搜索引擎数据、社交媒体数据、 地理空间数据和音视频数据等等.2、数据分析方案.大数据之大并不是难点所在,其真正难以对付的挑战来自 于数据类型多样、要求及时响应和数据的不确定性,而我们所 面临的也正

6、是如此.我们采用批量数据处理系统,借助于深度学习、知识计算 和可视化等大数据分析技术,通过对数据的批量处理挖掘其中 的价值来支持决策和发现新的洞察.3、业务整合方案在对社会开展相关业务子系统充分调研根底上,结合工程 需求,可对其进行整合或嵌入处理本方案整合公共信用信息 效劳平台、投资工程信息治理平台等.1、整合处理.将原有数据通过上传或导入方式进行采集, 原有功能模块整合到本平台中,合二为一,完美的将数据会聚 起来.缺点是耗时较长.2、嵌入处理.以单点登录的方式将原有系统链接嵌入到本 平台中,作为子系统单独存在.缺点在于数据共享难以实现.五、建设内容1、宏观经济监测预测及可视化平台政府信息化的

7、最终目标是提升政府的决策水平,其中经济 决策是核心内容.为了提升宏观调控决策水平,我们必须从依 靠传统统计数据向依靠互联网非统计数据转变,从监测预测宏 观经济总量向监测预测宏观经济先行指标转变,从中长期监测 预测向实时监测预测转变.统计分所了系统恻司于塾城监潴广东统提去定制系统描由餐|客同后门犷U系埼业务逻辑陞攸幅库甘河博黑数格库诺同请承数据库层宏观经济监测预测及可视化平台围绕网络搜索、社交媒 体、电子商务、终端定位和业务交易等五个方面全面整合互联 网相关数据资源,建设以“容量大、形式多、分类细、响应快为 目标的宏观经济监测预测数据库,构建基于互联网数据的宏观 经济非统计指标监测预测应用平台.

8、围绕重点产业活泼度、区域经济关联度、宏观经济走向社 会预期、社会消费热点、大宗商品供求及价格走势、全国就业 形势、外贸订单变化趋势等方面,构建大数据宏观经济先行指 标和现时预测指标库,研究能客观、准确反映我省宏观经济运 行状况的指标体系,编制“山东指数.在健全完善监测预警数据库的根底上,充分运用大数据技 术和理念,增强数据挖掘力度,强化定量分析,建立宏观经济 分析系列模型,切实提升预测分析的前瞻性、准确性和可靠 性.积极拓宽信息发布渠道,建立可视化平台,采用 Unity3D 引擎,三维界面高度仿真,所见即所得.平台针对多源易构的 海量数据,通过数据处理、存储治理、可视化交互分析等技 术,实现图

9、形化数据查询、可视化关联分析、证据链和情报线 索开掘等功能.利用预测信号灯系统,形象地刻画出宏观经济 总体运行状况,分析经济波动原因,及时了解各地区经济开展 的不平衡性,准确判断和测定经济景气循环运行状态,提升宏 观经济决策水平.2、企业信用监测预警效劳平台企业信用危机不仅给社会带来严重危害,也是关系到企业自 身生死存亡的重大事件,它是中国企业乃至中国市场经济开展的 巨大障碍.因此,建立企业信用危机的预警机制和治理机制,对 企业信用危机进行有效的预警及治理是十分重要的.图2企业隹用危机预警系统企业信用监测预警效劳平台,全面整合社会信用监管信息和 社会公众反映信息,通过整理归类与加工,将这些信用

10、危机信息 转化为可以量化的指标体系,根据失信行为的严重程度和影响范 围划分三个预警级别,分别向企业自身、金融机构、其他政府部 门及全社会进行通报.纳入企业信用预警体系的企业信息包括侵犯消费者权益且不 履行相关义务的信息、消费者投诉未及时处理信息、行政处分逾 期未执行信息、查无下落企业信息等 23种信息.可以动态配置 预警信息工程和相应预警等级,增强监测预警的全面性和灵活 性.企业信用监测预警效劳平台以信息技术为支撑,以信用监管 为手段,全面提升信用监管信息共享程度,及时预警影响社会交 易平安和社会公共平安的不良信用信息,遵循“对外警示社会和 企业；对内明确重点,积极采取应对举措的原那么,强化企

11、业信 用监管防范机制,有力推进“信用保税区建设,增强企业信用监 督治理的主动性、前瞻性,更好地效劳经济开展,减少交易风 险,促进企业信用监管到位,实现企业信用的社会化监督.3、投资工程信息治理平台建设投资工程特别是一些大型工程具有治理上的复杂性特点,主要是建设周期长、参建方多.投资工程信息治理平台的建立和应用,可有效解决投资建设工程治理动态过程的信息分析、信息构建,到达各参建方信息共享的目的宣点*设工程方案停杳9B工程现及孽目香奈一f 顼B思.一L岁自限灌目实施饕效 jI . I Iff Pi曜日串*t篁点转包一鱼戌域目 圭支殛自申R L.审播丁下逾蝶汁分析田刍年目行笈区划武仃行杵县灵矍堆计分

12、带*3厘设性原扰计分板理表堰祟里碟目 生出 任房值瘪金e>ia tt»fg. j佶息比盘互盘表工程目掾 目标用任指目标员告济 j目掂*任优责任谆怙l标.* LI翻版厂1 *力折谨目月材*a,工程焉设廉国 提十分析用目宣会作鹿 是I：江仃,良别H肿分就互动交露平咎浦5道去嗜曳袁看用时揖钝黄同扶阜 文悻哮蛹投资工程信息治理平台,支持重大工程推介,建立标准的项 目审批流程和工程信息库,治理工程启动、方案、执行、监控和 收尾的整个生命周期,覆盖进度、质量、本钱、资源、风险等项 目治理的各个要素,构建集成工程、流程、知识的信息化平台.逐步实现与相关部门业务系统的接入,形成全覆盖的投资项

13、目治理统一工作平台,真正做好资源共享,为工程的后期评价、 领导决策提供支持效劳.围绕设计、招标、监理、质量、平安、 进度、施工、资金、变更、合同治理“十大环节,建立起对投资工程进行事前方案、事中限制、事后评估、全程治理的有效管控模式,促进投资工程治理体系发挥全方位、全过程的方案、组织、协调与限制作用.投资工程信息治理平台,以现代工程治理方法论为根底；以 工程治理为主线,全面组织、全程贯穿各个业务环节；以工程计 划为依据,科学协调各个部门的工作；以本钱、进度、质量为最 终限制目标；以完整、及时、准确的工程信息和科学的分析模型 为工程治理、决策提供依据；遵循“以方案为龙头,以合同为中 心,以投资限

14、制为目的的现代工程治理理念,构建高效、实用 的工程协同治理综合平台.4 、政务数据共享交换平台政务数据共享交换平台是各个平台中的根底性和综合性平 台,是解决“信息孤岛、实现数据互连互通的根底设施,有利于 提升各类信息资源整合共享,以及信息资源的综合利用.共享平白廿数据百视代数隼共享服为数据整掘目录函1目录注册 全文检索用理里an向*捶台 数交平震源城学安至B9资源共9政策法规和标准冲:旭亍位建设政务数据共享交换平台的首要目标就是要创造一个信息 交换、信息共享的方式和环境,根据统一标准和标准,建立信息 资源整合机制,标准数据采集口径、采集方式,标准数据的效劳 方式,建立统一的资源信息整合与交换机

15、制.我们根据统一、集约、高效的数据开发利用理念,通过研究 建立多级交换治理体系,形成政务信息资源物理分散、逻辑集中 的信息共享模式,通过以应用为抓手,进一步打通数据流,满足 政府部门多方位、多层次的数据需求,为跨地域、跨部门、跨平 台不同应用系统、不同数据库之间的互连互通提供包含提取、转 换、传输和加密等操作的数据交换效劳.通过分布式部署和集中 式治理架构,有效解决各节点间数据的及时、高效上传下达,在 平安、快捷、方便的进行信息交换的同时精准的保证数据的一致 性和准确性.政务数据共享交换平台的全局目标是建立“一个系统,解决 “两个问题,支持“三个应用,面向“四个效劳.建立“一个系 统,即建立一

16、个可扩展、可集成、有统一数据模型、可交换和 平安可靠的分布式系统,对各类政务资源进行组织和治理.解决“两个问题,即解决政务信息资源的发现与定位问题,解决政务 信息资源规划与整理问题.支持“三个应用,即支持信息集成整 合应用、各业务部门办公应用和政府职能决策应用.面向“四个 效劳,即面向政务协作、宏观决策、市场监管和社会治理服 务.六、技术支持与平台性能1、系统架构结合该工程以大数据平台为核心,多业务子系统并存的业 务需求,以及存在不同种类操作系统、应用软件、系统软件的 现状,我们采用面向效劳的体系结构,即 SO课构.SO强一个组件模型,它将应用程序的不同功能单元称为 效劳通过这些效劳之间定义良

17、好的接口和契约联系起来.接 口是采用中立的方式进行定义的,它独立于实现效劳的硬件平 台、操作系统和编程语言.这使得构建在这样系统中的效劳可 以以一种统一和通用的方式进行交互.它的本质是实现效劳和 技术的完全别离,从而最大程度上实现效劳的集成和重组.SO旗施是以业务效劳为导向的,业务效劳独立于技术之 上,技术处于附属地位,采用 SO课构的主要优势有：1、SOAW平台无关,减少了业务应用及业务子系统整合的 限制.2、SOAM有低耦合的特点,各个业务子系统对整个业务系 统的影响较低,在各个系统不断变化情况下,节省的费用会越 来越多.3、SOAM有可按模块分阶段进行实施的优势.可以成功一 步再做下一步

18、,将实施造成的冲击减少到最小.SOAI艮务交互示意图如下：2、技术支持1、技术领先的J2EE框架.Java2 平台企业版(Java 2 Platform EnterpriseEdition , J2EE)是一种利用Java2平台来简化且标准应用系 统的开发与部署,进而提升可移植性、平安与再用价值.基核 心是一组技术标准与指南,其中包含的各类组件、效劳架构及 技术层次,均有共同的标准及规格,让各种依循J2EE架构的不同平台之间,存在良好的兼容性,解决过去企业后端使用的信 息产品彼此之间无法兼容,企业内部或外部难以互通的窘境.基主要的技术标准有 JDBC EJB JSR Java Servlet、

19、XML 等.JDBC访问不同数据库提供了统一的路径,使对数据库的 访问具有平台无关性.EJB提供了一个框架来开发和实施分布式 商务逻辑,简化了具有可伸缩性和高度复杂的企业级应用程序 的开发.JSP页面由HTML弋码和嵌入其中的Java代码组成,简化了页面的输出,保存了脚本语言易于使用的优点.Servlet是一种小型Java程序,扩展了 Web效劳器的功能.XML供了一 种描述结构数据的格式,简化了网络中数据交换和表示,使得 代码、数据和表示别离,作为数据交换的标准格式.2、强大灵活的SS幡合框架.SSM匡架整合,即整合 SpringMVC Spring和Mybatis框 架.其中SpringM

20、VC属于SpringFarmeWork的后续产品,它提 供了卞建Web应用程序白全功能MVCI块,别离了限制器、模 型对象、过滤器以及处理程序对象的角色,这种别离让它们更 容易进行定制.Spring是一个轻量级开源框架,它的主要特点 是方便解耦、简化开发、面向切面AOP的编程支持和声明式 事务支持,其主要优点有低侵入式设计、独立于应用效劳器、 允许将一些通用任务如日志等进行集中处理.Mybatis是轻量级ORM1架,它消除了几乎所有的JDBC弋码和参数的手工设置以 及结果集的检索,使用简单的 XMW注解用于配置和原始映 射,将接口和Java的POJO瞅射成数据库中的记录.其框架架 构图如下：迪X第析的量11届胡粉瑞；"/m,加千.E武,上比出*/请灯已制幅靳HiandiairEnc iilwnChalnI 但 MyCtfWAll«f)Mo*rid林用觥也配Mq小dWI.rMoaiA1nWFtft