大数据平台建设方案

大数据平台建设方案

（项目需求与技术方案）

一、项目背景

“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建

设模式发生根本性转变，一场以云计算、大数据、物联网、移动应用

等技术为核心的“新IT”浪潮风起云涌，信息化应用进入一个“新

常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的

机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而

生。

大数据平台整合省社会经济发展资源，打造集数据采集、数据处

理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平

台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发

展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，

牢牢把握社会经济发展主动权和话语权。

二、建设目标

大数据平台是顺应目前信息化技术水平发展、服务政府职能改革

的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用

社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据

共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政

务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发

1

展。

1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务

信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化

数据库，为平台打下坚实稳固的数据基础。

2、梳理各相关系统数据资源的关联性，编制数据资源目录，建

立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信

息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见

经济发展潜在问题、辅助经济决策提供基础支撑。

三、建设原则

大数据平台以信息资源整合为重点，以大数据应用为核心，坚持

“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，

深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省

经济持续健康发展。

2

结合我省经济发展与改革领域头

际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成

大数据平台的整体架构建设，后期分步完成业务系统的整合及相互间

数据共享问题。

j、-u=I〃/J、、\yj।J/、­r~0,,...,,.,._.

对信息资源统一梳理，建立经济

发展与改革信息标准资源库和数据规范，逐步消灭“信息孤岛”，加

快推进数据资源整合，建设共享共用的大数据中心，实现业务协同。

以用尸为中心，以需求为导向，

以服务为目的，突出重点，注重实效，加强平台可用性和易用性。

-1、，,1、I'J、-UJ-yju____.、___.

深入了解用户需求，密切跟踪信

息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度，

促进跨界融合，丰富管理和服务手段。

四、建设方案

为了保证项目的顺利进行和建设目标的可行性，我们采取如下几

种建设方案。

1、数据采集方案。

我们统一信息资源标准规范，建立多维度数据库，拓宽数据

来源，通过不同的方式汇聚数据，增强分析力度，提高监测预警

的准确性和时效性。

3

1、预留接口，支持其它系统各种数据的上传导入处理。将

现存有关经济运行业务系统中的历史数据和时效数据，通过上传

数据文件至服务器、分析提取有效数据导入服务器数据库等方式

采集起来，在本平台上复用。

2、支持外接数据的上传导入处理。可以将企业单位或定点

监测机构的数据通过同样的方式采集起来，在本平台上复用。

3、支持非结构化数据，即搜索引擎数据、社交媒体数据、

地理空间数据和音视频数据等等。

2、数据分析方案。

大数据之大并不是难点所在，其真正难以对付的挑战来自于

数据类型多样、要求及时响应和数据的不确定性，而我们所面临

的也正是如此。

我们采用批量数据处理系统，借助于深度学习、知识计算和

可视化等大数据分析技术，通过对数据的批量处理挖掘其中的价

值来支持决策和发现新的洞察。

3、业务整合方案。

在对社会发展相关业务子系统充分调研基础上，结合项目需

求，可对其进行整合或嵌入处理（本方案整合公共信用信息服务

平台、投资项目信息管理平台等）。

1、整合处理。将原有数据通过上传或导入方式进行采集，

4

原有功能模块整合到本平台中，合二为一，完美的将数据汇聚起

来。缺点是耗时较长。

2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本

平台中，作为子系统单独存在。缺点在于数据共享难以实现。

五、建设内容

1、宏观经济监测预测及可视化平台

政府信息化的最终目标是提高政府的决策水平，其中经济决

策是核心内容。为了提高宏观调控决策水平，我们必须从依靠传

统统计数据向依靠互联网非统计数据转变，从监测预测宏观经济

总量向监测预测宏观经济先行指标转变，从中长期监测预测向实

时监测预测转变。

5

澈维介说子系统

统计分析不系统

预测千条填

监测r系统

信息犷象f系绩

报收定制干系统

业务处理请求

（叁询.»*）效据鼻访问请求

用

业

数

务

户

据

逻

界

库

辑

面

处理结果数掂数据叁访问怙果层

层

层

围绕重点产业活跃度、区域经济关联度、宏观经济走向社会

预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、

外贸订单变化趋势等方面，构建大数据宏观经济先行指标和现时

预测指标库，研究能客观、准确反映我省宏观经济运行状况的指

标体系，编制“山东指数”。

和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析

系列模型，切实提高预测分析的前瞻性、准确性和可靠性。

积极拓宽信息发布渠道，建立可视化平台，采用Unity3D引

擎，三维界面高度仿真，所见即所得。平台针对多源易构的海量

数据，通过数据处理、存储管理、可视化交互分析等技术，实现

图形化数据查询、可视化关联分析、证据链和情报线索发掘等功

能。利用预测信号灯系统，形象地刻画出宏观经济总体运行状况,

分析经济波动原因，及时了解各地区经济发展的不平衡性，准确

判断和测定经济景气循环运行状态，提高宏观经济决策水平。

2、企业信用监测预警服务平台

国2企业信用危机预警系统

围划分三个预警级别，分别向企业自身、金融机构、其他政府部

门及全社会进行通报。

纳入企业信用预警体系的企业信息包括侵犯消费者权益且不

履行相关义务的信息、消费者投诉未及时处理信息、行政处罚逾

期未执行信息、查无下落企业信息等23种信息。可以动态配置预

警信息项目和相应预警等级，增强监测预警的全面性和灵活性。

企业信用监测预警服务平台以信息技术为支撑，以信用监管

为手段，全面提高信用监管信息共享程度，及时预警影响社会交

易安全和社会公共安全的不良信用信息，遵循“对外警示社会和

企业；对内明确重点，积极采取应对措施”的原则，强化企业信

用监管防范机制，有力推进“信用保税区”建设，加强企业信用

监督管理的主动性、前瞻性，更好地服务经济发展，减少交易风

险，促进企业信用监管到位，实现企业信用的社会化监督。

3、投资项目信息管理平台

建设投资项目（特别是一些大型项目）具有管理上的复杂性

特点，主要是建设周期长、参建方多。投资项目信息管理平台的

建立和应用，可有效解决投资建设项目管理动态过程的信息分析、

信息构建，达到各参建方信息共享的目的。

8

P一目—"1域计分析平台

白1堂U目拟卷■♦项目"T-季白.淮T-口目其*iT比联收

“目行HE.划

甯批管理I"，-JI_______.'-----------、-JI_SflL.

L%目串浜-J就计,板

告占事由I塞目灵里猊沙

分析

案55重点11目一置点项目j・点布-

项S计划申律史楂f下达"1次日建设性强

管理一।♦it•分板

次目在设时闽

项目系浜推表俄埃及以日避电*也任务这也晟<aa.KA

■理„度填携—息率批fltfllliR«ft

-----，----------------------・二―、----1------项目霓&规播

♦———-■<--1

项日日坛目标更任指一目标良任才一目泰更任愤

贵任评怙,标1W，T体分析.警一项目^金住履

歧讣分I?

从自行出类弱

'r.i-7(;

互动交流

遗知诺告信息**及时遇京接H共享文作牌也

平台

投资项目信息管理平台，支持重大项目推介，建立规范的项

目审批流程和项目信息库，管理项目启动、计划、执行、监控和

收尾的整个生命周期，覆盖进度、质量、成本、资源、风险等项

目管理的各个要素，构建集成项目、流程、知识的信息化平台。

逐步实现与相关部门业务系统的接入，形成全覆盖的投资项

目管理统一工作平台，真正做好资源共享，为项目的后期评价、

领导决策提供支持服务。围绕设计、招标、监理、质量、安全、

进度、施工、资金、变更、合同管理“十大环节”，建立起对投资

项目进行事前计划、事中控制、事后评估、全程管理的有效管控

模式，促进投资项目管理体系发挥全方位、全过程的计划、组织、

协调与控制作用。

政务数据共享交换平台是各个平台中的基础性和综合性平

台，是解决“信息孤岛”、实现数据互连互通的基础设施，有利于

提高各类信息资源整合共享，以及信息资源的综合利用。

煲

源

资

共9

B

2^____一共

政

享

策

安

法

全

规

救运整合比对层ETLGh剧跣\标戊化V诩，«)B

和

数

资

据

源3

标

目

交

录

换

虐磁瞥I氮助雷管理3而订同'救兔伶褊)

系

航

平

台全文检索I元数据蕾理

资源定位

的信息共享模式，通过以应用为抓手，进一步打通数据流，满足

政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平

台不同应用系统、不同数据库之间的互连互通提供包含提取、转

换、传输和加密等操作的数据交换服务。通过分布式部署和集中

式管理架构，有效解决各节点间数据的及时、高效上传下达，在

安全、快捷、方便的进行信息交换的同时精准的保证数据的一致

性和准确性。

政务数据共享交换平台的全局目标是建立“一个系统”，解决

“两个问题”，支持“三个应用”，面向“四个服务”。建立“一个

系统”，即建立一个可扩展、可集成、有统一数据模型、可交换和

安全可靠的分布式系统，对各类政务资源进行组织和管理。解决

“两个问题”，即解决政务信息资源的发现与定位问题，解决政务

信息资源规划与整理问题。支持“三个应用”，即支持信息集成整

合应用、各业务部门办公应用和政府职能决策应用。面向“四个

服务”，即面向政务协作、宏观决策、市场监管和社会管理服务。

六、技术支持与平台性能

1、系统架构

结合该项目以大数据平台为核心，多业务子系统并存的业务

需求，以及存在不同种类操作系统、应用软件、系统软件的现状,

我们采用面向服务的体系结构，即SOA架构。

口

SOA是一个组件模型，它将应用程序的不同功能单元（称为

服务）通过这些服务之间定义良好的接口和契约联系起来。接口

是采用中立的方式进行定义的，它独立于实现服务的硬件平台、

操作系统和编程语言。这使得构建在这样系统中的服务可以以一

种统一和通用的方式进行交互。它的本质是实现服务和技术的完

全分离，从而最大程度上实现服务的集成和重组。

SOA实施是以业务服务为导向的，业务服务独立于技术之上,

技术处于从属地位，采用SOA架构的主要优势有：

1、SOA与平台无关，减少了业务应用及业务子系统整合的限

制。

2、SOA具有低耦合的特点，各个业务子系统对整个业务系统

的影响较低，在各个系统不断变化情况下，节省的费用会越来越

多。

3、SOA具有可按模块分阶段进行实施的优势。可以成功一步

再做下一步，将实施造成的冲击减少到最小。

SOA服务交互示意图如下：

企业.仗

2、技术支持

页面的输出，保留了脚本语言易于使用的优点。Servlet是一种

小型Java程序，扩展了Web服务器的功能。XML提供了一种描述

结构数据的格式，简化了网络中数据交换和表示，使得代码、数

据和表示分离，作为数据交换的标准格式。

2、强大灵活的SSM整合框架。

SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。

其中SpringMVC属于SpringFarmeWork的后续产品，它提供了构

建Web应用程序的全功能MVC模块，分离了控制器、模型对象、

过滤器以及处理程序对象的角色，这种分离让它们更容易进行定

制。Spring是一个轻量级开源框架，它的主要特点是方便解耦、

简化开发、面向切面（A0P）的编程支持和声明式事务支持，其主

要优点有低侵入式设计、独立于应用服务器、允许将一些通用任

务如日志等进行集中处理。Mybatis是轻量级0RM框架，它消除

了几乎所有的JDBC代码和参数的手工设置以及结果集的检索，使

用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs

映射成数据库中的记录。其框架架构图如下：

、发送请求

http://ip:port/RequestMapping

■I>ath/myRequestHandlerMapping

HaAdtortM<tft>»*<ha*n

用户((l