大数据云平台实施方案

项目编号:

某大数据云平台项目建设

实

施

方

案

目录

1.1建设目标、规模、内容、建设期.........................................1

1.1.1建设目标...............................................................1

1.1.2建设内容...............................................................1

1.1.3建设周期...............................................................4

第二章需求分析............................................................6

2.1政务业务目标需求分析结论..............................................6

2.2系统功能指标..........................................................8

2.2.1基础设施服务层(laas).......................................................................................8

2.2.2平台服务层(Paas)..............................................................................................8

2.2.3应用服务层(Saas)...........................................................................................10

2.3信息量指标...........................................................11

2.4系统性能指标.........................................................12

2.4.1总体性能指标..........................................................12

2.4.2网络平台性能..........................................................13

2.4.3系统平台性能..........................................................13

2.4.4应用系统性能..........................................................13

第三章总体建设方案......................................................15

3.1总体设计原则.........................................................15

3.1.1分期目标..............................................................17

3.2总体建设任务与分期建设内容..........................................18

3.2.1总体建设任务.......................................................................................................18

3.3系统总体结构和逻辑结构..............................................19

3.3.1总、体架的................................................................................................................19

3.3.2技术架构................................................................................................................24

3.4信息资源规划和数据库设计.............................................25

3.4.1数据模型规划........................................................................................................25

3.4.2数据整合原则........................................................................................................27

3.4.3技术缓冲层设计....................................................................................................28

3.4.4整合模型层设计....................................................................................................29

3.4.5共性加工层设计....................................................................................................43

3.4.6数据应用层设计....................................................................................................47

3.4.7数据库服务架构....................................................................................................48

3.5应用支撑系统设计.....................................................50

3.5.1大数据基础平台设计...........................................................................................50

3.5.2ETL设计.................................................................................................................62

3.5.3调度架狗设计.........................................................................................................75

3.5.4数据管控设计........................................................................................................81

3.6应用系统设计........................................................106

3.6.1分析决策支持系统..............................................................................................106

3.7数据处理和存储系统设计..............................................147

L1建设目标、规模、内容、建设期

1.1.1建设目标

以“海信息、网关联、云计算、块数据、条运用、促和谐”为建

设方针，建设以基础设施层、系统平台层、应用平台层为框架结构,

多个系统应用为支撑的社会治理大数据云平台，实现社会治理从条块

分制向整体联动转变，从被动应付向主动服务转变，从传统管理方式

向信息化支撑转变，从分级管理向扁平化管理转变，从单打独斗向协

作共治转变，不断推动社会治理体系和社会治理能力现代化。

项目建成后，将覆盖全市十个区市县，使用对象包括社区服务中

心（乡镇）工作人员、居委会（行政村）工作人员、社区网格员，也

包括市、区县两级相关部门工作人员。

1.1.2建设内容

市大数据云平台工程分为两期建设，从建设内容上来说，两期的

建设内容是逐步完善、优化、扩展的关系。大数据云平台工程的总体

建设任务为：

1、系统运行环境

基于市统一的基础设施层技术体系，搭建大数据云平台工程，主

要是指支撑系统运行的软硬件基础环境。其中硬件基础环境包括：计

算资源、存储资源、安全防护、网络资源等等；软件基础环境包括:

数据库、中间件、数据备份等等。

2、共享数据建设

共享数据建设主要是指大数据云平台工程运行的数据基础。在大

数据云平台T程的建设过程中主要包括了结构化数据和非结构化数

据。结构化数据包括：基础空间数据和网格块数据关系数据库；非结

构化数据主要包括海量行为数据、网页、各类报表、图像和音频/视频

信息等等；

»基础空间数据

利用现有的基础数据成果，进行修补测或数据时相、内容的更新,

形成大数据云平台工程的基础空间数据库。

＞网格块数据关系数据库

以网格化管理数据、政府各专业职能部门数据为基础，以网格化

管理为中心建设〃网格块数据关系数据库〃，其核心是要建立社区网格

内〃人与人〃、〃人与物〃、〃人与组织〃、〃物与物〃、〃组织与物〃、〃组织

与组织〃等的关联关系。

＞海量行为数据

依托开放式社会共享数据平台，建立大数据云平台工程所需的海

量社会数据。

＞各类报表

针对目前尚未进行结构化数据梳理的业务数据，如Word、Excel

等形式存储的业务数据；

＞图像和音频/视频信息

针对视频监控、人口信息的照片等信息的数据处理.

3、支撑能力建设

支撑内容的建设为应用系统建设提供组件式服务，主要建设：地

理信息平台、数据分析平台、流程管理平台、安全平台等。

»地理信息平台

立足市现有城市地理空间信息建设应用基础，从大数据云平台工

程的应用实际需求出发，遵循“资源重用、节约投资”的原则，采用

基于面向服务架构（SOA）的ServiceGIS等技术，实现对市分散的空

间信息资源整合、共享和充分利用，为大数据云平台工程提供地理信

息与业务数据的在线共享与交换支撑。

＞数据分析平台

数据分析平台是集数据的目录管理、数据交换、数据处理的分析

与挖掘、数据的可视化展现为一体的综合支撑平台。

＞流程管理平台

通过对网格化服务管理的梳理，再造社会治理工作流程，将信任

服务、授权服务和工作流等业务流程有机融合紧密结合在一起，构成

安全的工作流业务系统，为不同业务流程羌供实现的技术手段。

》安全平台

基于云计算安全架构，同时根据大数据云平台工程的系统安全需

求特点和风险状况，从物理安全、网络安全、云平台安全、系统安全、

应用安全，数据安全六个层面，进行安全体系架构设计。

4、应用系统建设

应用系统建设着眼大数据未来发展趋势，以网格化服务管理系统

为基础，提供涵盖政府、企业、社会组织、军民等内容的社会治理综

合业务系统，既实现市统筹、创新、推动社会治理的需求，又满足部

门、社区和社会组织对大数据云平台工程的应用需求。应用系统建设

包括〃网格化管理系统〃、〃社会动员管理系统〃、〃社区综合服务系统〃、

“社会分析决策支持系统〃。

5、接入系统建设

接入系统包括PC系统、移动应用系统和微信应用系统。

1.1.3建设周期

大数据云平台工程涵盖业务内容多、涉及范围广、建设周期长，

为了完成工程的总体建设目标，需要一个逐步推进和逐渐完善的过程,

必须依据循序渐进、分阶段、有步骤、重点突破的建设原则。

一期工程计划于2019年底建成。其中，一期建设阶段5个月,

运维应用（试运行）阶段为6个月，系统计划于2019年底完成终验。

第二章需求分析

2.1政务业务目标需求分析结论

大数据云平台工程是一个基于大数据的概念，利用大数据技术，

以构建大数据云平台T程数据平台为基础，以提供标准化的数据服务、

网格化服务、流程服务为中心，支撑和协同市各部门和社会公众的社

会治理工作。

大数据云平台工程贯穿于市规划、发展、建设、运行、服务、管

理的全过程，是一个复杂而庞大的系统工程，在描述与其他业务系统

关联的同时，我们对大数据云平台工程有了一个清晰的定位：

1、大数据云平台工程建设是打造社会治理升级版的重要内容。

随着大数据时代的到来，社会治理面临着新机遇和新挑战。市委

九届四次全会提出，要实施社会治埋工程，打造法治升级版，积极探

索以网格为基础的大数据建设。大数据云平台工程以块数据为基础，

运用大数据技术，创新社会治理方式方法，提高社会治理能力，为打

造法治“升级版”提供了有力的工作抓手，具有重大的实践意义和社

会价值。

2、大数据云平台工程建设是推进治理能力现代化的支撑平台。

我市大力发展大数据产业，为社会治理工作带来了前所未有的契

机。2015年全市加强群众工作创新社会治理大会提出，要狠抓平台建

设，在以‘大数据’手段提升社会治理水平上实现新突破。通过实施

大数据云平台工程建设，能够强化“条专块统”，倒逼体制改革，打

破数据“壁垒”，链接数据“孤岛”，激发社会活力，发挥党政部门、

社会组织、企事业单位、居民群众等多元主体的作用，构建众联、众

包、众创、众筹的社会治理新局面。

3、大数据云平台工程建设是完善民生服务体系的惠民工程。

创新社会治理，要以最广大人民根本利益为根本坐标，从人民群

众最关心最直接最现实的利益问题入手。大数据云平台工程建设能够

通过大数据运用，统计分析与民生相关的海量数据，准确把握不同社

会成员和不同地区的社会需求，实施精细化的服务管理，推动建立多

层次的服务体系，营造和谐稳定的社会环境。

大数据云平台工程覆盖至最基层的网珞信息员，由网格信息员采

集的民生需求，拓宽社情民意的采集渠道，打通居民与政府之间的沟

通桥梁。同时，将民生数据汇总至“数据民生”的民生资源池，依托

大数据手段，整合线下群众的社情民意信息，为下一步政策的制定和

实施，提供决策依据。是政府由被动服务向主动服务、由基本服务向

更好服务、由普惠服务向个性化服务转变的重要手段。

4、大数据云平台工程建设是数据民生考核的组成部分。

大数据云平台工程具有完整的考核体系，通过对案件处置的情况

进行统计分析，对各级联动单位进行科学的评价。在大数据云平台工

程的设计过程中，同样考虑了与“数据民生”考核的对接，其数据是

“数据民生”面向社会考核的重要组成部分。

2.2系统功能指标

2.2.1基础设施服务层(laas)

结合大数据云平台工程前端应用，依托市政务数据中心，基于市

统一的基础设施层技术体系，结合市统一的云服务平台相关技术规范

和参数，选择配置完善主机、存储、网络、操作系统等基础设施标准，

考虑采用虚拟化硬件技术、分布式存储技术、并行编程模式、分布式

资源管理、云计算平台管理、认证服务、证书服务、加密服务等技术

功能，实现数据容灾、快速回复、快速部署、客户服务、业务与运营

支撑系统，具备大数据计算能力、存储能力、安全防护能力，打造集

数据存储、管理、统计、分析等功能为一体的〃数据中枢〃，构建大数

据云平台工程建设基础设施层。

2.2.2平台服务层(Paas)

在基础设施服务层基础上构建大数据云平台工程建设和升级所

必需基础服务平台，主要包括地理信息服务、流程服务、建设数据分

析服务、系统和权限管理等。

2.2.2.1升级完善地理信息服务

2.2.2.2升级改造流程服务

2.2.2.3建设数据分析服务

大数据云平台工程要依托自身建立的“块数据关系库”进行社会

治理数据的分析和挖掘。大数据云平台工程进行数据分析和挖掘的目

的可以分为决策支持、精准推送和态势感知三个方面。

大数据云平台工程的决策支持有别于传统专业化系统通过数据

分析生成的支持数据报表。基于“块数据”的大数据云平台工程，其

数据分析重点在于"关系”。它通过分析人与人、人与物、人与事、事

与事之间的关系。例如留守儿童与当地学校类型和数量的关系、低保

人员的低保金额与地区平均消费水平的关系、空巢老人与当地就业岗

位之间的关系等等。通过这些关系的分析让政府管理者能够找到社会

问题的根源，避免了传统管理方式中出现的“头疼医头、脚疼医脚”

现象，使政府的资源能够发挥出最大效果。

政府对老百姓的精准推送也是需要大数据云平台工程中对“块数

据”进行分析和挖掘作为基础的。通过大数据云平台工程对社区百姓

生活状态分析，结合医疗，教育、房屋、车辆等相关信息进行挖掘，

可以找到社区百姓近期所需要的政府服务顼目。例如大数据云平台工

程通过数据的分析，得知某一居民处于适婚年龄，并在医院建立孕妇

档案。大数据云平台工程通过这些数据的分析可以判断出此居民在未

来几个月中办理准生证、新生儿户口的可能性较大。此时大数据云平

台工程可以通过社区、APP等应用向社区工作人员推送提醒信息。

对“块数据”的分析和挖掘将为大数据云平台工程赋予态势感知

的能力。所谓态势感知在大规模系统环境和数据中，对能够引起系统

态势发生变化的安全要素进行获取、理解、显示以及预测未来的发展

趋势。立足于政府的社会治理，大数据云平台工程对“块数据”进行

分析和挖掘所产生的态势感知的能力将有助于政府部门感知和预测

社会风险，做到提前部署、防患于未然。例如对于社会敏感人员，通

过大数据云平台工程的数据分析发现其在某一特殊时期的交通行动

轨迹、通信联络范围存在异常，则相关部门管理人员可以提前部署,

将社会风险扼杀在摇篮中。

2.2.2.4系统和权限管理

系统和权限管理模块是对应用系统用户按照权限进行访问控制

的管理，负责整个大数据云平台工程的配置、维护和管理工作，该系

统采用工具化思想，实现不同功能的参数配置，实现不同的业务使用

单位和不同级别的用户分别赋予其业务系统的使用权限。

2.2.3应用服务层(Saas)

应用层系统功能指标包括：

1、实现社区“一次录入、多部门共用”的功能，网格员采集数

据、共享数据通过大数据云平台工程平台分发至其他部门业务系统;

2、实现问题的受理、立案、派遣、处置、复核、结案的闭环工作

处理路程；

3、搭建社会组织、社工机构、志愿者与居民群众的沟通桥梁，

实现公益活动供需管理；

4、PC端采用浏览器方式访问,支持IE7.0、IE8.0、Chromel6.0>

Firefox6.0等以上版本的主流浏览器；

5、网格员上报和处置应用、各级管理者应用、公众访问应用等

支持手机APP方式访问；支持iOS和android系统;

6、公众访问支持微信和APP访问。

2.3信息量指标

针对调研的结果，大数据云平台工程设计为主要存储关系信息、

事件信息、以及相关的照片等信息资源。

其中关系型数据估算前期数据如下表：

注1信息量指标表

数据量信息量评估存储

描述信息

（单位：条）（单位：MB）（单位：GB）

人II信息50000000.1S00.0

企业信息800000.18.0

社会组织信息50000.10.5

设施信息15000000.1150.0

房屋信息1000000.110.0

城区地理信息3001500450.0

农村地理信息7734100773.4

呼叫中心信息20000000.1200.0

公益信息100000.11.0

社区服务信息1000000.110.0

合计2102.9

再加上其他信息（包括主键、外键、索引、冗余的存储，按信息

总量的40%计算），建议需要数据库存储空间3T（前期可以先租用较

小的空间，根据实际需要再扩大容量）。

针对所有的证照资料（包括照片、身份证扫描信息、证明材料图

片、事件上报图片等），初步预计存放5000万张照片，平均每张大小

0.2M,需要10T磁盘存储空间。

针对12345热线本身的事件数据（按照目前每月5万条，每条

0.2M计算），每年的数据增量为120G,按照系统10年的设计寿命计

算，即需要1.2T磁盘存储空间。

针对门户网站、APP、微信的访问来看，每年的业务数据增量为

1OOG足有，10年需要1T磁盘存储空间.

综上所述，大数据云平台工程所需的信息量指标为15T左右。

2.4系统性能指标

2.4.1总体性能指标

＞互联网应用支持并发终端数2500；

＞政务网应用支持并发终端数，500；

＞系统控制操作响应时间W2s；

»数据浏览响应时间W2s；

＞一般数据查询响应时间W4s；

＞大数据分析处理时间Wlmin；

》统计输出时间W5s；

»双机负载均衡/热备用切换时间或25s；

＞平均年故障时间＜24小时；

＞平均故障修复时间＜30分钟

＞当系统处理能力不足时，可通过增加相应的节点和处理能力来

实现系统处理能力的动态增长。

2.4.2网络平台性能

要求数据传输网络畅通、快捷、可扩展。核心网络要求设备、线

路均具有冗余，设备处理能力满足业务高峰期需要。整网带宽满足业

务高峰期需要。

2.4.3系统平台性能

要求采用通用性好、安全可靠的操作系统以及大型数据库系统,

以保证系统良好的性能。

2.4.4应用系统性能

应用系统性能应满足用户的要求，稳定、可靠、实用。

人机界面友好，输出、输入方便，图表生成美观，检索、查询简

单快捷。

系统采用便于升级的模块化设计，包括采用软件升级来简化系统

扩展和修改，模块组合可以根据需要来选择。

提供标准的网络通信应用层协议和应用基本函数及调用接口。

第三章总体建设方案

3.1总体设计原则

A总体规划、分步实施

大数据云平台工程建设涉及到各地区和多个部门，要进行统筹规

划、总体设计和分级实施。为了避免各业务系统独立建设而导致的无

法共享和数据交互的问题，在建设之处需要按照国家制定的相关标准

规范进行建设，实现社会治理业务系统和技术支撑系统的有机结合。

》先易后难、循序渐进

大数据云平台工程的建设从建设规模、建设思路、建设内容和建

设所用的技术都是一种全新尝试和摸索，是对建设单位能力的考验。

在大数据云平台工程建设过程中要将遇到的问题和困难进行排序，优

先解决简单问题，稳扎稳打，分阶段出成果，逐步见效、逐步优化。

A利用现有、整合资源

本着节约的原则，突出建设重点，注重高效实用，充分利用已有

基础，防止推倒重来、重复建设。整合各级、各部门社会治理所需资

源，尤其在数据层面，针对已经建成的平台要采用多种技术手段进行

整合和共享。在应用层面，大数据云平台工程处理利用好政府资源以

外，还要整合社会服务资源，为群众提供更好、更全面的服务。

»数据集中、标准统一

大数据云平台工程的建设，需要将各级政府部门开始将数据相对

集中起来，保证资源的高度利用以及通过相关的技术保证数据和应用

的绝对安全和稳定。同时，统一各业务系统的数据字典，减少数据定

义的二义性。对数据实行单点维护，明确数据责任部门和使用部门,

确保基础信息的可靠性和一致性。建立统一的存储资源标准、性能标

准、安全标准，提高数据访问控制能力，降低关键业务数据的安全隐

患。

A模式创新、不走老路

大数据云平台工程建设以“大数据”为创新模式，以“网格化管

理”数据为基础，融合政府各专业职能数据和社会数据，以数据驱动

业务应用，从而避免传统信息化建设中出现的“信息孤岛”、“信息壁

垒”的问题。

»定位准确、边界清晰

大数据云平台工程的建设是要搭建一个政府与社区群众畅通的

沟通桥梁，要通过大数据的分析挖掘社会群众的服务需求、识别社会

风险，并将社会需求和风险传递和提示给政府相关部门进行处理。大

数据云平台工程的建设要避免与其他政府专业部门的应用交叉，避免

重复建设和职责不清。

»功能齐全、先进适用

在系统的总体设计上，借鉴各类系统的成功经验，同时注重吸取

同类系统的建设教训。在技术上，充分考虑大数据云平台工程的现状

和特点，在注重系统的实用性的前提下，应着重考虑云计算、大数据

等先进的技术理念。在软件的开发思想上，加强核心技术的自主研发

和应用，严格按照软件工程的标准和面向对象的理论来设计，保证系

统的先进性。

»安全稳定、保护资源

由于整个系统所涉及的很多数据不宜对外开放，这些数据的安全

性至关重要。因此，系统应遵循安全性的原则。大数据云平台工程设

计时将安全性问题分为以下三种情况：一是防止外部非法用户访问网

络；二是防止内部合法用户的越权访问；三是意外的数据损害。为了

提高系统的安全性，在设计时就需要考虑整个系统安全性。

A立足当前、着眼长远

大数据云平台工程建设工作要以需求为向导，以应用促发展，把

当前和长远结合起来，既要满足当前工作需要，又要适应未来技术的

应用和发展，不断提升应急平台技术应用水平

3.1.1分期目标

本着〃总体规划、分步实施〃和〃先易后难、循序渐进〃的建设原则,

大数据云平台工程建设将分两期完成。

A一期建设目标

1、搭建政府与社会群众之间的沟通渠道，政府能够第一时间通

过各个渠道了解社会群众的需求。

2、建立全市各级社工委事件处置平台，跟踪社会群众问题事件

的处置过程，对各级部门问题事件的处置数量和质量进行考核。

3、打造数据平台数据管控体系，定义数据管控组织和职能；定

义数据管控工作办法和管理流程；搭建数据管控平台，包括数据标准、

元数据和数据质量管理平台，重点是元数据管理平台；制定数据标准;

4、建立社区网格化〃块数据关系库〃，以社区网格为中心管理网格

内人、地、物、事、组织、情的关联关系。

5、强化社会公益和社区服务支撑能力，为社会团体、志愿者、

社区服务人员精准推送需求信息。

6、整合数据资源，通过大数据分析，挖掘社会群众需求，识别

社会风险，为领导决策提供支持。

3.2总体建设任务与分期建设内容

3.2.1总体建设任务

市大数据云平台工程分为两期建设，从建设内容上来说，两期的

建设内容是逐步完善、优化、扩展的关系。大数据云平台工程的总体

任务包括：

»建立政府和社会、和民众畅通的沟通渠道，从多个渠道收集、

分析、挖掘居民群众的迫切需求;

》强化党委统筹，加快向社会组织、居委会等方面的延伸，引导

社会组织入驻，强化社区党委的统筹功能，形成了社会共治的良好局

面。

»依托市数据交换平台，建设网格化社会治理的块数据，并优化

升级网格化管理系统，夯实基层社会治理工作；

＞采用租用的统一云平台的方式搭建系统运行环境，促进市云平

台产业的应用落地；

3.3系统总体结构和逻辑结构

3.3.1总体架构

大数据云平台工程的总体架构分为应用层、支撑层、数据层和基

础设施层，系统载体包括PC端系统、移动应用系统和微信应用系统

三部分，总体架构图如下所示：

系统载体Hoe

PC系烷移动应用信应用

社会公益动员依理吐区综合霰务社会分析决策支持其他手高应用

标^

应用层

准si

规

范

体IIIHIII

系支撑层0-9三二二­.

数据层

人口厉合XHB■・行力E

网整觉霹

云・，平台

网得设，K^88存储一

图1总体架构

3.3.1.1应用层

大数据云平台工程是一个数据驱动应用的〃大数据〃系统，其应用

的深度、数量、功能会根据系统所融合的数据量和数据范围有所变化

和调整。目前已确定的应用包括〃网格化管理系统〃、〃社会动员管理系

统〃、〃社区综合服务系统〃和〃社会分析决策支持系统〃四大系统，以及

相应的移动化应用。应用系统的详细介绍将在第五章进行阐述。

3.3.1.2支撑层

支撑层保证应用系统正常运行的核心。大数据云平台工程的支撑

层包括“地理信息平台〃、〃流程引擎〃、〃ETL"、〃数据调度〃、〃数据管控〃

等。各个支撑平台的应用是将成熟的技术进行封装，便于系统开发人

员调用，使开发人员可以将主要精力放在业务应用系统的开发中，从

复杂的底层技术中脱离出来，从而提高系统的建设效率。

＞源系统数据抽取

为保证业务数据的安全性，一般数据采用源系统主动落地的方案。

源系统将导出的数据以文本文件的形式存储在统一数据交换共享平

台中，供数据平台获取使用。

＞技术缓冲层

技术缓冲层直接对统一数据交换共享平台的文本文件进行加载，

采用hdfs并行加载的方案，将数据存储到hadoop平台中。为保证数

据的上传效率，可采用压缩算法对数据文件进行压缩，提供数据传输

的效率。并且由于hadoop平台在数据处理时，可以对压缩文件进行

自动解压，因此可以提供数据处理的效率，减少10传输时间。

A整合层

整合层对于业务数据的存储•，采用第三范式关系表的形式，这样

可以方便后续数据分析时直接采用SQL方式进行表的关联处理。因此

在整合层，历史数据存储一般采用HIVE存储方式，并结合分区方案

进行处理。在数据从技术缓冲层到整合层过程中，可以采用PIG对抽

取的增量数据进行过滤、转换、格式控制等。在进行元数据管理方面，

各层数据统一采用Hcatalog进行管理，保证pig、hive能同时进行相

同数据的访问，保存处理的数据格式统一。

由于采用统一的hcatalog管理，因此在pig进行数据清洗后，可

以直接将数据存储到整合层的hive表中。

＞汇总层

汇总层又叫共性加工层，主要特点是针对特定应用逻辑，对数据

平台中存储的业务历史数据进行加工汇总和分析，供后续的业务应用

和集市使用。例如客户数统计、客户交易笔记统计等。

汇总层的作用即时提取常用的共性分析结果进行存储，为后续应

用提供系统的数据支撑。

3.3.L3数据层

数据层作为大数据云平台工程的核心建设内容，采用目前最先进

的Hadoop大数据技术，存储来自于网格化管理、社区、各专业部门、

社会组织、互联网等若干渠道的数据。在大数据云平台工程工程的数

据层，将为这些数据建立各自的主题域，更重的是建立各类实体数据

的关联关系。数据层的建设情况主要涉及以下几个方面：

A源系统

指数据层上游的业务数据产生系统。是数据平台的主要数据来源。

主要包括：公安系统的人口基本信息数据、房管系统的房屋信息数据、

交通系统的交管信息等。这些数据可能包含结构化数据、非结构化数

据、多媒体数据等。数据层需要统一处理和存储，为后续的数据消费

系统的使用提供数据支撑基础。

»统一数据交换共享平台

基于市政府数据交换共享平台进行，是源系统与大数据云平台工

程数据层之间数据传输与交换的主要通道。

»统一数据管控平台

主要是对元数据、数据质量、数据标准进行统一的管理。元数据

管理主要包括元数据抽取、元数据分析、元数据导出等功能；数据质

量管理主要包括制定数据质量规则、分析数据质量问题、跟踪数据问

题和生产报告；数据标准管理主要包含制定数据标准、数据标准导入、

数据标准分析等功能。

A统一调度平台

用于管理数据层批处理任务的依赖关系配置、系统资源配置、任

务并发与互斥、系统跑批进度监控、作业跑批状态监控、数据抽取与

下发监控等。

＞数据整合平台

数据整合平台是数据层的建设核心。会对上游数据生成系统的结

构化与非结构化数据进行统一的抽取、清洗、处理、加工、汇总、下

发等。为下游的业务系统运行、业务系统分析、决策支持等提供强大

的数据服务支持。

3.3.1.4基础设施层

本次建设的大数据云平台工程将利用成熟的云架构Issa服务平

台作为基础设施层。在Issa平台中要为大数据云平台工程提供基础的

网络设备、服务器设备、存储设备等基础设施，并且通过防火墙等网

络安全设备和机制保证大数据云平台工程的网络和设备级的安全保

障。

3.3.1.5安全防护体系

大数据云平台工程建设将从应用级、数据级、网络级、设备级多

层次考虑和建设系统的安全防护体系，同时应用先进的安全技术配合

相应的安全管理机制来保证大数据云平台工程工程的整体安全。

3.3.1.6标准规范体系

大数据云平台T程的建设将遵循国家、省、市及行业相关的各项

标准和规范进行设计和建设。

3.3.2技术架构

本系统技术架构采用现阶段比较流行的Web应用程序开源框架,

即struts+spring+hibernate的一个集成框架。具体架构图如下：

ii'ii'iimi1.........

SprinRMVCJSP.JSTL组件：

dhtmlxTree

Jauery

业务逻辑层：SpringMy97DatePicker

Prototype

vaJidationEngine

huosjoncharts

Ckeditor

JBPM4

JASPERREPORT

POI3.6

CXF

QUARTZ

图2技术架构图

本系统框架从职责上分为四层：表示层、业务逻辑层、数据访问

层和数据持久层，以帮助开发人员在短期内搭建结构清晰、可复用性

好、维护方便的Web应用程序。

其中使用Struts作为系统的整体基础架构，负责MVC的分离,

在Struts框架的模型部分，控制业务跳转，利用Hibernate框架对持

久层提供支持，

Spring做管理,管理struts和hibernate。具体做法是：用面向对

象的分析方法根据需求提出一些模型，将这些模型实现为基本的Java

对象,然后编写基本的DAO(DataAccessObjects)接口，并给出

Hibernate的DAO实现，

采用Hibernate架构实现的DAO类来实现Java类与数据库之间

的转换和访问,最后由Spring做管理，管理struts和hibernate。

3.4信息资源规划和数据库设计

3.4.1数据模型规划

大数据平台主要实现对明细数据的存储、整合和加工处理，以及

涉及历史数据的深度复杂处埋，大数据平台是管埋分析型系统的主要

数据来源。

从数据架构的角度大数据平台划分为四大数据层次，分别是数据

缓冲层、整合模型层、共性加工层和应用层。这四层的划分并不是简

单的递进关系，而是相互补充相互完善的关系。具体数据架构见卜图:

应用层

♦面向应用

•按需定制

共性胤r层

•初级的数据加工

•依假时应用的提煤

整介校M乂

•面向整合

•主也设计

♦提供规范和共享

技术续冲层

•ETL专用的鲤技术层

•完全与源系统结构一致

图3数据架构

＞数据缓冲层

数据缓冲层与源系统的数据结构一一对应，它是数据存储的临时

存储区域。方便数据处理重跑及应用系统数据过渡至大数据平台。

＞整合模型层

面向分析型业务主题建立三范式模型，构建全系统级的单一数据

视图，模型扩展性强且具有业务中立性，用于支持各类整合型的分析

型应用。

＞共性加工层

依赖于对应用共性需求的的分析，提炼出对数据集成平台具有共

性的数据访问、统计需求，从而构建出的一个面向应用的、提供共享

的数据访问服务的公共数据。共性加工层主要基于整合模型层实现。

A数据应用层

各应用系统存放的用于前端应用访问数据，方便用户灵活、动态、

快速、多角度、多层次的业务数据口

3.4.2数据整合原则

3.4.2.1数据来源

数据包含的是社会和云系统内部和社会和云系统外的业务系统

数据。外部系统包括公安、民政、计生、税务、国土等系统的数据,

数据来自于数据交换共享平台。

表2大数据平台数据来源标准表

系统归属数据来源数据内容

公安系统人口户籍信息，人口的亲属关系

人社部门城市人口社保信息，人口与公司关系

卫计部门农村人口社保信息

外工商部门公司基础信息

部

系民政部门社会组织信息

统

编办组织机构单位信息

住建部门房屋基础信息

禁毒办吸毒信息

教育局教育信息

网格化管理系统投诉、建议、咨询事件信息、事件处置信息、社情民意信

内

部息、重点特殊人群信息

系

统社会动员管理系统公益活动信息、社会求助信息、公众服务信息和志愿者信息

社区综合服务系统社会综合服务信息

3.4.2.2数据整合概述

数据整合的将多个数据来源系统的数据按照大数据云平台工程

的要求，将数据抽取、清洗、转换、加载并将数据重新组织，形成有

利于业务人员理解和分析使用的正确数据存储形式。从一个人口信息

查看整个大数据平台信息。

3.4.3技术缓冲层设计

3.4.3.1设计原则

技术缓冲层需要保持源系统的原貌，不对数据进行大量的改造和

调整，只进行一些常用的标准化处理。

3.4.3.2数据特点

1、数据结构和源系统保持一致。

2、数据按照抽取的频率和增全量进行存储，每个频率单独保存

一个表文件，而且存储周期不需太长，能满足后续其他层次的需求即

可。

3、技术缓冲层是为ETL服务的纯技术层，不对外提供数据服务。

3.4.3.3数据来源

技术缓冲层的数据包含的是社会和云系统外的业务系统数据，例

如：公安、民政、计生、税务、国土等系统的数据。数据来自于数据

交换共享平台，包含增量和全量的数据。

3.4.4整合模型层设计

3.4.4.1模型设计思路

借鉴数据模型的建设思路、利用在政府数据模型领域的实践经验、

结合市网格中心的需求进行整合层模型层的设计C

整合层模型采用面向主题的设计方法，有效组织来源多样的业务

数据，使用统一的逻辑语言描述相关业务，保证了数据的一致性C在

此基础上可以进行多种不同应用的开发设计，满足不同部门的业务需

求和不同的数据访问方式，真正实现数据一次导入，多次使用。它所

遵循的设计原则主要包括：

>中性

整合模型层具有应用中性的特征。整合层模型从业务逻辑角度以

关系模型方法进行建模，涵盖了所有的业务范围，并nJ以满足不断产

生的业务发展需求。整合模型层采用的这种语义关系建模的设计方式,

保存了各种分析性应用需要的所有业务数据以及这些数据之间重要

的业务规则，体现了其作为大数据云平台工程基础数据层满足不同应

用对数据的使用需求的功能。整合层模型不为任何特定的应用进行针

对性的设计，模型不会由于现有应用的变动或者对新应用的支持而在

结构上重构，这体现了模型对应用支持的中立性。

>一致性

作为基础数据平台设计基础的逻辑数据模型必须在设计过程中

保持一个统一的业务定义，比如人口的分类等应该在整个系统内部保

持一致，将来各种分析应用都使用同样的数据，这些数据应按照预先

约定的规则进行刷新，保证同步和一致。如外部系统和社会和云内部

系统数据必须依照一套相同的存放规则进行处理，它们和其他数据的

关联以及刷新的频率等都应该保持同步。

＞灵活性

整合层模型是一个基本上满足第三范式要求的语义关系模型，这

种设计方法能够最大程度上减少冗余。

第三范式的设计同时保证了整合层模型的灵活性和扩展性。面对

新的需求，整合层模型的这种结构能够进行简单、自然的扩展。这种

特性使得整合层模型在设计过程可以“想大做小”一一在有一个全局

规划的同时，选定某些部分入手，然后再逐步进行完善。比如可以从

通过一个居民的基本信息资料、房产信息入手进行简单的分析，然后

补充居民的公安、民政、税务等信息，延伸至全面的人口统一视图。

＞满足详细粒度要求

为了满足将来不同的应用分析需要，整合层模型能够提供最小粒

度的详细数据以支持各种可能的分析查询。

以这些最小粒度的详细数据为基础，可以根据不同的统计分析口

径汇总生成所需的各种结果v在整合层模型中，不对详细数据按特定

需求进行筛选或者加工。

＞满足历史数据存储要求

为了满足存储历史数据，又尽量考虑减少数据存储空间。对于非

事件的数据，采用历史拉链表的存储方式：对于事件数据，采用只保

留最新数据的存储方式。

3.4.4.2主题划分

此数据区按主题存放数据，主题划分如下：

法3整合模型的十大主题

主题中文名称主题英文名称模型英文简称

人口PopulationPOP

组织OrganizationORG

事件EventEVT

服务ServiceSRV

民情ConditionCON

房屋房产EstateEST

公共设施CommunalFaciitiesCMF

空间地理GeographyGGP

参考项ReferenceREF

代码表CodeCD

每个主题不是孤立存在的，相互之间是有关系的。例如：人口主

题与组织、空间地理、房屋、事件、民情和服务六个主题有关系C这

些关系数据会存放在相应的关系表中。

图3主题关系图

以一个居民的视角，查看到与其相关的所有信息。包括：其基本

的属性信息、其居住的房屋的信息、其投诉的事件、其工作的单位、

其居住地区的周围设施等信息。

数据使用主题划分的方式存放后，数据与数据之间的关系更为清

晰，对进一步的分析决策提供了数据基础C由上面的例子数据，我们

可以进一步进行数据分析。通过对居住房屋的数据和户籍数据的分析,

得出张老伯是独自居住，若该社区开展老人服务活动时，应该是重点

关注对象。其反映了希望建设社区医院的民情需求，对该网格数据的

分析我们得出该网格周边没有医院，同时该网格人口分布情况为65

岁的老人占其比例的45%,因此，我们可以得出张三老人反映的民情

是应该采信，并相应提出解决方案。

主题说明如下：

>POPULATION(人口)

人口(Population)：是指全市的全部人口，包括常住人口和流动人

□o数据项包括人口基本信息、公安数据、社保数据、计生数据、民

政数据、税务数据、教育数据等，使用证件类型、证件号码、姓名作

为人口的唯一识别信息，将网格员补录的人口数据与外围系统(公安、

社保、计生、民政、税务)数据进行整合，形成完整、全面的人口数

据。借助人口主题的建立可以实现基于人口信息的分析，是实现以人

口为中心的各种分析应用的重要基础。

POPULATION主题的数据是社会和云系统的关键数据要素，也是

构建基于大数据平台的各类应用的不可或缺的数据基础，在以人口为

中心的数据分析决策过程中，这些信息显得尤其重要。

人口产IBU总人口”砒后累

人口关豕加史缭她伏况

人口—(FO人口0-

人口0弓(FK)人口碗号(TK)

开的日刖开始日明公氏却仍证与得**%H*Xtl

开始OMR

稣东日购姓名关联人口第9<FK>

1QH日用

户主名称WW

AM<FK)S开始日丽国姻状况(用《?认定)

户主殳份证与到户C1H型<林衣箜、)------M«