大数据平台构思方案

大数据平台构思方案

（项目需求与技术方案）

一、项目背景

“十三五”期间，伴随我国当代信息技术蓬勃发展，信息化建设模

式发生根本性转变，一场以云计算、大数据、物联网、移动应用等技术

为关键“新IT”浪潮风起云涌，信息化应用进入一个“新常态”。***

（某政府部门）为主动应对“互联网+”和大数据时代机遇和挑战，适

应全省经济社会发展与改革要求，大数据平台应运而生。

大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、

监测管理、预测预警、应急指挥、可视化平台于一体大数据平台，以信息

化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到

“用数听说话、用数据管理、用数据决议、用数据创新”，牢牢把握社会

经济发展主动权和话语权。

二、建设目标

大数据平台是顺应现在信息化技术水平发展、服务政府职能改革

架构平台。它主要目标是强化经济运行监测分析，实现企业信用社会

化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享

和业务协同，为决议提供及时、准确、可靠信息依据，提升政务工作前

瞻性和针对性，加大宏观调控力度，促进经济连续健康发

展。

1、制订统一信息发源管理规范，拓宽数据获取渠道，整合业务

信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化

数据库，为平台打下坚实稳固数据基础。

2、梳理各相关系统数据资源关联性，编制数据资源目录，建

立信息资源交换管理标准体系，在业务可行性基础上，实现数据信

息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。

3、在大数据分析监测基础上，为政府把握经济发展趋势、预见

经济发展潜在问题、辅助经济决议提供基础支撑。

三、建设标准

大数据平台以信息资源整合为重点，以大数据应用为关键，坚持

“统筹规划、分步实施，整合资源、协同共享，突出重点、重视实效，

深化应用、创新驱动”标准，全方面提升信息化建设水平，促进全省

经济连续健康发展。

2

1、统筹规划、分步实施。结合本省经济发展与改革领域实

际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成

大数据平台整体架构建设，后期分步完成业务系统整合及相互间

数据共享问题。

2、整合资源、协同共享。对信息资源统一梳理，建立经济

发展与改革信息标准及源库和数据规范，逐步消亡“信息孤岛”，加

快推进数据资源整合，建设共享共用大数据中心，实现业务协同。

3、突出重点、重视实效。以用户为中心，以需求为导向，

以服务为目标，突出重点，重视实效，加强平台可用性和易用性。

4、深化应用、仓J新驱动。深入了解用户需求，亲密跟踪信

息技术发展趋势，不停深化应用、拓展新技术在应用中广度和深度，

促进跨界融合，丰富管理和服务伎俩。

四、建设方案

为了确保项目标顺利进行和建设目标可行性,我们采取以下几

种建设方案。

1、数据采集方案。

我们统一信息资源标准规范，建立多维度数据库，拓宽数据

起源，经过不一样方式汇聚数据，增强分析力度，提升监测预警

准确性和时效性。

3

1、预留接口，支持其它系统各种数据上传导入处理。将

现存关于经济运行业务系统中历史数据和时效数据，经过上传

数据文件至服务器、分析提取有效数据导入服务器数据库等方式

采集起来，在本平台上复用。

2、支持外接数据上传导入处理。能够将企业单位或定点

监测机构数据经过一样方式采集起来，在本平台上复用。

3、支持非结构化数据，即搜索引擎数据、社交媒体数据、

地理空间数据和音视频数据等等。

2、数据分析方案。

大数据之大并不是难点所在，其真正难以对付挑战来自于

数据类型多样、要求及时响应和数据不确定性，而我们所面临

也正是如此。

我们采取批量数据处理系统，借助于深度学习、知识计算和

可视化等大数据分析技术，经过对数据批量处理挖掘其中价

俏来支持决议和发球新洞察。

3、业务整合方案。

在对社会发展相关业务子系统充分调研基础上，结合项目需

求，可对其进行整合或嵌入处理（本方案整合公共信用信息服务

平台、投资项目信息管理平台等）。

1、整合处理。将原有数据经过上传或导入方式进行采集,

原有功效模块整合到本平台中，合二为一，完美将数据汇聚起

来。缺点是耗时较长。

2、嵌入处理。以单点登录方式将原有系统链接嵌入到本

平台中，作为子系统单独存在。缺点在于数据共享难以实现。

五、建设内容

1、宏观经济监测预测及可视化平台

政府信息化最终目标是提升政府决议水平，其中经济决

策是关键内容。为了提升宏观调控决议水平，我们必须从依靠传

统统计数据向依靠互联网非统计数据转变，从监测预测宏观经济

总量向监测预测宏观经济先行指标转变，从中长久监测预测向实

时监测预测转变。

5

数据置削f系统

统计分析子系统

、信息库

预测子系统

监测子系统

信息r集子系统

报我定制中系统

报我输出客户机

>

业机处事请求

（查询.盘anj数据座访同小朱

业

数

务

据

逻

埠

处理处果做林数据库甘柯帕臬星

ffwi

j

宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、

电子商务、终端定位和业务交易等五个方面全方面整合互联网相关

数据资源，建设以“容量大、形式多、分类细、响应快”为目标

宏观经济监测预测数据库，构建基于互联网数据宏观经济非

统计指标监测预测应用平台。

围绕重点产业活跃度、区域经济关联度、宏观经济走向社会

预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、

外贸订单改变趋势等方面，构建大数据宏观经济先行指标和现时

预测指标库，研究能客观、准确反应本省宏观经济运行情况指

标体系，编制“山东指数”。

在健全完善监测预警数据库基础上，充分利用大数据技术

和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析

系列模型，切实提升预测分析前瞻性、准确性和可靠性。

主动拓宽信息公布渠道，建立可视化平台，采取Unity3D引

擎，三维界面高度仿真，所见即所得。平台针对多源易构海量

数据，经过数据处理、存放管理、可视化交互分析等技术，实现

图形化数据查询、可视化关联分析、证据链和情报线索发掘等功

能。利用预测信号灯系统，形象地刻画出宏观经济总体运行情况，

分析经济波动原因，及时了解各地域经济发展不平衡性，准确

判断和测定经济景气循环运行状态，提升宏观经济决议水平。

身生死存亡重大事件，它是中国企业乃至中国市场经济发展巨大

障碍。所以，建立企业信用危机预警机制和管理机制，对企业信

用危机进行有效预警及管理是十分主要。

企业信用监测预警服务平台，全方面整合社会信用监管信息

和社会公众反应信息，经过整理归类与加工，将这些信用危机信

息转化为能够量化指标体系，按照失信行为严重程度和影响范

围划分三个预警级别，分别向企业本身、金融机构、其余政府部

门及全社会进行通报。

纳入企业信用预警体系企业信息包含侵犯消费者权益且不

推行相关义务信息、、消费者投诉未及时处理信息、行政处罚逾

期未执行信息、查无下落企业信息等23种信息。能够动态配置预

警信息项目和对应预警等级，增强监测预警全方面性和灵活性。

企业信用监测预警服务平台以信息技术为支撑，以信用监管

为伎俩，全方面提升信用监管信息共享程度，及时预警影响社会

交易安全和社会公共安全不良信用信息，遵照“对外警示社会和

企业；对内明确重点，主动采取应对方法”标准，强化企业信用

监管防范机制，有力推进“信用保税区”建设，加强企业信用监

督管理主动性、前瞻性，愈加好地服务经济发展，降低交易风险，

促进企业信用监管到位，实现企业信用社会化监督。

3、投资项目信息管理平台

建设投资项目〔尤其是一些大型项目）具备管理上复杂性

特点，主要是建设周期长、参建方多。投资项m信息管理平台

建立和应用，可有效处理投资建设项目管理动态过程信息分析、

信息构建，达成各参建方信息共享目标。

8

统计分桁平台

项目报送

项目行豉区划

市救管理皿世

;目灵发统计

■卢・设分析

项目计划安目建设性敏

管理*计分析

及目年长时间

道目SR谷融景懵埃及,：■口点,曲，值一任务E及队1e*K：a统计分析

任务立■f度填报r««tt〜信息偏报f及也哀

■理---------J、，，・，J“一二.，、…"，一、1叫------项日速R嫌强

-V-I

项目目标目标费仔酒—目标良任科一白林费任懵

*■・金朝・欣项目长宝性质

"I

“日行业熨川

线林”折

互动交流

遍如透音信息段叁及时通讯WMA*文件僮■

平台

投资项目信息管理平台，支持重大项目推介，建立规范项目审批

流程和项目信息库，管理项目开启、计戈k执行、监控和收尾整

个生命周期，覆盖进度、质量、成本、资源、风险等项目管理各

个要素，构建集成项目、流程、知识信息化平台。逐步实现与相

关部门业务系统接入，形成全覆盖投资项

目管理统一工作平台，真正做好资源共享，为项目标后期评价、

领导决议提供支持服务。围绕设计、招标、监理、质量、安全、

进度、施工、资金、变更、协议管理“十大步骤”，建立起对投资

项目进行事前计划、事中控制、事后评定、全程管理有效管控

模式，促进投资项目管理体系发挥全方位、全过程计•划、组织、

协调与控制作用。

投资项目信息管理平台，以当代项目管理方法论为基础；以

项目管理为根本，全方面组织、全程贯通各个业务步骤；以项目

计

划为依据，科学协调各个部门工作；以成本、进度、质量为最

终控制目标；以完整、及时、准确项目信息和科学分析模型

为项目管理、决议提供依据；遵照“以计划为龙头，以协议为中

心，以投资控制为目标”当代项目管理理念，构建高效、实用

项目协同管理综合平台。

4、政务数据共享交换平台

贵

源

础性和综合性平贵

共

V愿

共

政

・

—

：M

袁

安

3-医±

:H

ff和i9

,标

口

准

口

F元数想街理

资源定位资源订阅

建设政务数据共享交换平台首要目标就是要创造一个信息交

换、信息共享方式和环境，按照统一标准和规范，建立信息资源

整合机制，规范数据采集口径、采集方式，规范数据服务方式，

建立统一资源信息整合与交换机制。

我们按照统一、集约、高效数据开发利用理念，经过研究建

立多级交换管理体系，形成政务信息资源物理分散、逻辑集中

信息共享模式，经过以应用为抓手，深入打通数据流，满足政府

部门多方位、多层次数据需求，为跨地域、跨部门、跨平台不一

样应用系统、不一样数据库之间互连互通提供包含提取、转换、

传输和加密等操作数据交换服务。经过分布式布署和集中式管理

架构，有效处理各干点间数据及时、高效上传下达，在安全、快

捷、方便进行信息交换同时精准确保数据一致性和准确性。

政务数据共享交换平台全局目标是建立“一个系统”，处理

“两个问题”，支持“三个应用”，面向“四个服务”。建立“一个

系统”，即建立一个可扩展、可集成、有统一数据模型、可交换和安

全可靠分布式系统，对各类政务资源进行组织和管理。处理“两个问

题”，即处理政务信息资源发觉与定位问题，处理政务信息资源规

划与整理问题。支持“三个应用”，即支持信息集成整合应用、各

业务部门办公应用和政府职能决议应用。面向“四个服务”，即面向

政务协作、宏观决议、市场监管和社会管理服务。

六、技术支持与平台性能

1、系统架构

结合该项目以大数据平台为关键，多业务子系统并存业务

需求，以及存在不一样种类操作系统、应用软件、系统软件现实状况,

我们采取面向服务体系结构，即SOA架构。

11

SOA是一个组件模型，它将应用程序不一样功效单元（称为

服务）经过这些服务之间定义良好接口和契约联络起来。接口

是采取中立方式进行定义，它独立于实现服务硬件平台、

操作系统和编程语言。这使得构建在这么系统中服务能够以一

种统一利通用方式进行交互。它本质是实现服务和技术完

全分离，从而最大程度上实现服务集成和重组。

SOA实施是以业务服务为导向，业务服务独立于技术之上，

技术处于隶属地位，采取SOA架构主要优势有：

1、SOA与平台无关，降低了业务应用及业务子系统整合限

制。

2、SOA具备低耦合特点，各个业务子系统对整个业务系统

影响较低，在各个系统不停改变情况下，节约费用会越来越

多。

3、SOA具备可按模块分阶段进行实施优势。能够成功一步

再做下一步，将实施造成冲击降低到最小。

SOA服务交互示意图以下:

12

1、技术领先J2EE框架。

Java2平台企业版(Java2PlatformEnterpriseEdition

J2EE)是一个利用Java2平台来简化且规范应用系统开发与部

署，进而提升可移植性、安全与再用价值。基关键是一组技术规

范与指南，其中包含各类组件、服务架构及技术层次，都有共

同标准及规格，让各种依循J2EE架构不一样平台之间，存在良

好兼容性，处理过去企业后端使用信息产品彼此之间无法兼

容，企业内部或外部难以互通窘境。

基主要技术规范有JDBC、EJB、JSP、JavaServlet、XML

等。JDBC为访问不一样数据库提供了统一路径，使对数据库访

问具备平台无关性。EJB提供了一个框架来开发和实施分布式商

务逻辑，简化了具备可伸缩性和高度复杂企'也级应用程序开

发。JSP页面由HTML代码和嵌入其中Java代码组成，简化了

页面输出，保留了脚本语言易于使用优点。Servlet是一个

小型Java程序，扩展了Web服务器功效。XML提供了一个描述

结构数据格式，简化了网络中数据交换和表示，使得代码、数

据和表示分离，作为数据交换标准格式。

2、强大灵活SSM整合框架。

SSM框架整合,即整合SpringMVC、Spring和Myb