康巴什智慧城市大数据共享交换平台建设方案_第1页
康巴什智慧城市大数据共享交换平台建设方案_第2页
康巴什智慧城市大数据共享交换平台建设方案_第3页
康巴什智慧城市大数据共享交换平台建设方案_第4页
康巴什智慧城市大数据共享交换平台建设方案_第5页
已阅读5页,还剩141页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

智慧城市大数据

交换共享平台

建设方案

智慧城市大数据共享交换平台建设方案

目录

第一章需求分析和项目建设的必要性........................4

1.1项目建设目标、内容.........................................4

1.1.1项目建设目标........................................4

1.1.2项目建设内容........................................4

1.2编制依据..................................................5

1.3与政务职能相关的社会问题和政务目标分析....................6

1.3.1社会问题分析........................................6

1.3.2政务目标分析........................................8

1.4业务功能、业务流程和业务量分析...........................11

1.4.1用户角色分析........................................11

1.4.2业务功能分析.......................................12

1.4.3业务流程...........................................14

1.4.4业务量分析.........................................14

1.5信息量分析和预测.........................................15

1.5.1存储量分析.........................................15

1.5.2处理量分析.........................................19

1.5.3网络流量分析.......................................20

1.6系统功能和性能需求分析...................................20

1.6.1系统功能指标.......................................20

1.6.2系统性能指标.......................................22

1.7信息系统装备和应用现状与差距.............................22

1.7.1现状...............................................22

1.7.2差距...............................................23

1.8项目建设的必要性.........................................23

第二章总体建设方案.....................................26

2.1建设原则.................................................26

2.1.1统一性原则.........................................26

2.1.2可靠性原则.........................................26

2.1.3可伸缩和可扩展性原则...............................26

2.1.4开放性原则.........................................27

2.1.5安全性原则.........................................27

2.1.6高效性原则.........................................27

2.1.7友好性原则.........................................27

2.1.8可管理易维护性.....................................28

智慧城市大数据共享交换平台建设方案

2.2总体目标与分期目标.......................................28

2.3总体建设任务与分期建设内容...............................29

2.4总体设计方案.............................................30

2.4.1基础设施层.........................................32

2.4.2信息资源层.........................................33

2.4.3应用支撑层.........................................34

2.4.4应用层.............................................34

2.4.5服务层.............................................34

2.4.6安全保障体系.......................................34

2.4.7标准规范体系.......................................35

第三章项目建设方案.....................................36

3.1标准规范建设.............................................36

3.1.1管理制度建设.......................................36

3.1.2标准规范建设.......................................40

3.1.3数据标准建设.......................................43

3.1.4标准规范索引.......................................46

3.2信息资源规划和数据库设计.................................47

3.2.1信息资源规划.......................................47

3.2.2数据中心建设.......................................53

3.3门户系统建设.............................................69

3.3.1信息资源政务门户...................................69

3.3.2信息资源开放门户...................................73

3.4应用系统建设.............................................74

3.4.1数据汇聚平台.......................................74

3.4.2数据治理平台.......................................89

3.4.3数据运营平台......................................102

3.4.4数据应用平台......................................104

3.5四大基础数据库管理平台..................................108

3.5.1人口库............................................108

3.5.2法人库............................................111

3.5.3经济库............................................114

3.5.4地理库............................................115

3.6应用支撑系统设计........................................116

3.6.1统一用户管理......................................116

3.6.2统一应用管理......................................120

3.6.3统一服务管理......................................121

3.6.4统一消息服务......................................123

3.6.5统一日志服务......................................124

-II-

智慧城市大数据共享交换平台建设方案

3.7安全保障体系建设........................................124

3.7.1建设目标..........................................124

3.7.2安全体系架构......................................125

3.7.3安全防护体系建设..................................125

3.7.4安全管理体系建设..................................133

3.8主要软硬件选型原则和详细软硬件配置清单..................136

3.8.1主要软硬件选型原则................................136

3.8.2详细软硬件配置清单................................137

第四章效益分析........................................138

4.1经济效益................................................138

4.2社会效益................................................140

第五章项目风险与风险管理............................142

5.1风险识别和分析...........................................142

5.1.1组织风险..........................................142

5.1.2管理风险..........................................142

5.1.3业务风险..........................................142

5.1.4技术风险..........................................142

5.2风险对策和管理..........................................143

5.2.1组织风险防范对策..................................143

5.2.2管理风险防范对策..................................143

5.2.3业务风险防范对策..................................144

5.2.4技术风险防范对策..................................144

-ill-

智慧城市大数据共享交换平台建设方案

第一章需求分析和项目建设的必要性

1.1项目建设目标、内容

1.1.1项目建设目标

智慧城市公共数据开放共享平台项目建设目标是,依托统一的

“云”数据中心建设统一的公共数据开放共享平台。集中机关各部

门业务应用进行,制定相关的数据规范和信息交换标准,使机关各

部门业务系统依托统一的开放平台进行开发建设。确保部门之间系

统之间的互联互通、数据共享,为大数据分析提供数据依据。

1・1.2项目建设内容

智慧城市公共数据开放共享平台项目建设内容包含:一套标准

规范、两个数据门户、四大应用平台、四大基础数据库和一个应用

支撑平台。

具体建设内容包括:

1、一个应用支撑平台

为了对需要调用智慧城市公共数据开放共享平台信息资源的政

府部门应用系统进行有效管理,面向各类智慧城市应用,规划建设

统一的应用支撑平台,统一标准规范,通过用户管理、应用管理、

服务管理等核心组件,可以对接入系统有效管理、实现统一认证及

单点登录、统一消息服务。

-4-

智慧城市大数据共享交换平台建设方案

2、两个数据门户

针对政府部门用户建设信息资源政务门户,针对企业、公众用

户建设信息资源开放门户。

3、四大应用系统

建设承载智慧城市公共数据汇聚平台、数据治理平台、数据运

营平台和数据应用平台。

4、四大基础数据库

通过智慧城市信息资源梳理,制定四大基础数据库的建库、入

库和管理规则,建立四大基础数据库管理平台,提供基础库内容管

理、数据处理、共享和应用功能。

四大基础数据库包括人口库、法人库、经济库和地理库。

5、一套标准规范

形成标准规范体系,包括管理制度、标准规范、数据标准等。

1.2编制依据

1、中办、国办《2006-2020年国家信息化发展战略》;

2、国办《关于促进智慧城市协调发展的指导意见》;

3、国务院《促进大数据发展行动纲要》;

4、《国家智慧城市总体框架》;

5、《国家智慧城市“十二五”规划》(工信部规(2011)567号);

6、《关于印发“十二五”国家政务信息化工程建设规划的通知》

(发改高技(2012)1202号);

智慧城市大数据共享交换平台建设方案

7、《GB/T21063-2007政务信息资源目录体系》

8、《GB/T21062-2007政务信息资源交换体系》

9、《国家智慧城市工程建设项目管理暂行办法》

10、《政府信息公开条例》

1.3社会问题和政务目标分析

1.3.1社会问题分析

作为世界人口大国,理论上我国数据资源储量极为丰富,但大

部分政府数据(例如:交通、社保、税收等),属于结构化数据,距

离海量(volume)、速度(velocity)和多样性(variety)的3V属性还

有一定距离,但从战略角度而言差距并不大。

从数据规模来说,政府拥有国内最为庞大的数据储量。政府数

据广泛存储于各地、各级政府机关院所等不同单位、不同部门、不

同系统甚至不同网络环境中,海量超脱于地理空间的政府数据亟待

存储与处理。

从数据来源来说,由于各行业、各地采用的法律法规和标准并

不统一。传统的智慧城市信息系统,仅为满足特定功能而生,数据

结构差异性大,大量数据存放于历史遗留应用中,委办局间碎片化、

零散化、低效率的数据交互和分析普遍存在,导致政府数据来源极

为复杂。

从数据质量和价值来说,企业的数据种类单一化程度较高,而

政府数据涉及工商、税务、交通、医疗、教育等领域,数据种类繁

-6-

智慧城市大数据共享交换平台建设方案

多,事关百姓生活的方方面面,数据质量较高,数据的潜在价值十

分可观。

如上所述,政府数据的特点可以概括为:数据规模大、数据来

源和结构复杂、数据价值高但利用率低。

政府收集了大量有价值的数据,通过这些数据,可以更好地了

解国家资源使用情况,政府开支情况,土地交易和管理情况,这些

将不仅强化政府责任,提升治理能力,还能提高资金支出效率,为

人民提供更多更好的服务选择。

1、政府数据体量越来越大

截至2014年,中国共有664个城市,2852个行政县,40446

个行政乡。当前,中国中央和省级政务部门主要业务智慧城市覆盖

率已经达到70%o据粗略估算,全国政府大数据加起来相当于数百

个阿里巴巴的体量。而随着硬件技术的进步,对于数据采集精度、

采集频率、数据存储等能力在增强,使得数据规模仍有提升空间,

近几年数据中心的新建和扩容呈现井喷式的发展,这是以硬件基础

设施带动的变革,促使软件技术也得到了快速发展。

随着数据体量的增长,大数据处理、大数据应用分析的门槛将

会逐渐提高。

2、多部门协作成为常态化

复杂的城市治理问题,对跨部门的协作提出了更高的要求,过

去个别部门间存在的职责交叉分散、协调运行不畅等问题。随着“大

部制”完善,建立健全了部门间协同运行机制,逐步实现“多个部

智慧城市大数据共享交换平台建设方案

门、一个政府”目标。随着部门与部门的边界越来越模糊,政府数

据跨部门共享共用已不再是亮点和创新,建立常态化共享机制成为

政府大数据建设的入门。

3、国家治理不能仅仅依靠政府

由于时间和技术的局限性,以往国家治理基本是政府下达指令、

向下逐层执行的“开环过程”。如今随着互联网发展,人民对于政

府的期望越来越高,国家不仅要在政策出台前广泛征求、准确把握

民意;出台后还需要获得执行反馈,并适时调整,政府治理变为下

达指令一执行一反馈的“闭环过程”,需要借助社会各方面力量参

与到国家治理过程之中。无论是社会自治还是合作共建,政府数据

共享开放都是大前提。

4、社会普遍开始重视数据安全和隐私

数据如同一把双刃剑,在带来便利的同时也带来了很多安全隐

患,随着全球各地用户信息安全事件频出,让人们开始感受到“数

据”与生活接触如此紧密,数据泄露可以对个人的生活质量造成极

大的威胁数据安全和隐私保护不仅是公民个人的责任,对采集数

据和共享数据的政府单位,也有义务保障数据的安全和隐私,此过

程中,政策、技术、意识缺一不可。需严格依照相关规范文件,将

安全运营意识渗透到政府数据开放中。

1.3.2政务目标分析

1、实现政务公开,打造透明政府

-8-

智慧城市大数据共享交换平台建设方案

智慧城市公共数据开放共享促进政府和公众互动,让政务透明,

帮助政府进行社会管理和解决社会难题,大数据时代下,政府是整

合开放的平台,是一个大数据共享平台,它建立了公众与政府间的

沟通渠道,越来越多的国家和组织利用其开展民意调查,通过在线

交互让民众成为政务流程的节点,透明政务,让公众参与到政策制

定与执行、效果评估和监督之中,使民众参政议政成为可能。大数

据推进政府信息资源进一步开放,政府信息开发利用效率倍增,促

进经济社会快速发展。

2、实现数据融合,打造智慧政府

智慧城市公共数据开放共享真正跨越了政府内部协同的鸿沟,

大大提高工作效率,降低政府运行成本。其一,政府内部协同除思

想理念上的障碍外,技术上也存在一定障碍,随着大数据技术发展,

跨越系统、跨越平台、跨越数据结构的政府将在技术上使政府内部

纵向、横向部门得以流畅协同。其二,由于利用大数据技术,数据

获取、处理及分析响应时间大幅减少,工作效率明显提高,同时降

低了政府开支。例如,政府利用大数据对社会人群进行细分,对不

同人群进行针对性服务和政策施行。

3、实现科学决策,打造责任政府

智慧城市公共数据开放共享提高政府决策的科学性和精准性,

提高政府预测预警能力以及应急响应能力,越来越多的政府排弃经

验和直觉,依赖智慧城市的数据和分析进行决策。现在大数据又超

越了传统的数据分析方法,不但是对大数据分析挖掘,对言论、图

-9-

智慧城市大数据共享交换平台建设方案

表等都可以进行深度挖掘、人工智能。大数据的深入及广泛应用会

给政府带来科学和精准的决策支持。

4、为康巴什智慧城市提供一个安全可靠的信息资源存储中心

对各部门的共享交换的数据资源进行统一的规划管理和应用,

建设集约化的数据资源存储中心,从而避免了各部门重复建设工作;

同时提高数据安全方面的建设,从硬件设备、网络、信息资源、应

用系统、管理平台、数据库等方面的全面保证数据的安全性,并根

据用户的不同访问需求、防止恶意入侵、病毒防护、分区域的安全

设计,并在应用服务上提供安全检测服务。

5、为康巴什智慧城市提供一个高效的应用服务平台

康巴什智慧城市公共数据开放共享平台的建设,为政府应用系

统和信息资源的高效管理和服务提供手段,通过对相关的基础信息、

业务信息、服务信息进行管理,实现康巴什智慧城市公共数据开放

共享平台的信息管理和服务功能。城市级交换共享平台则对各部门

的信息资源提供交换共享支撑,以提高信息资源的综合利用水平。

通过整合各部门数据信息,建设基础信息库,并提供对外服务,实

现康巴什智慧城市公共数据开放共享平台的服务功能。

6、为康巴什智慧城市提供一个长效和可维护的信息服务体系

康巴什智慧城市公共数据开放共享平台的建设要对康巴什智慧

城市体系提供长久的服务,因此在管理和运维上必需配备相应的支

撑。这一方面取决于管理制度的完善、管理手段的完备和对管理本

身的技术支撑,另一方面,也取决于人员的配备和运维体系的建立。

-10-

智慧城市大数据共享交换平台建设方案

1.4业务功能、业务流程和业务量分析

1.4.1用户角色分析

康巴什智慧城市公共数据开放共享平台的用户分为:领导、各

部门、企业单位及社会公众。

政府领导

康巴什智慧城市公共数据开放共享平台有价值的数据、行政地

图、决策方法和应急进行融合,采用大数据分析技术,有利于各级

领导、管理决策人员方便、直观、形象地进行各种分析,从而使统

计决策的科学化、人性化、智能化管理走上一个新台阶。

政府部门

可以向康巴什智慧城市公共数据开放共享平台提供数据或使用

平台提供的数据;业务部门之间可以通过系统平台交换共享数据;

遵循标准规范进行业务系统的建造和改进,可实现业务系统和数据

开放共享平台的对接。

社会公众

可以依托康巴什智慧城市公共数据开放共享平台提供的应用服

务对公众需求做出快速反应,公众可以更直接广泛的获得政府提供

的服务,如证照协同、社保电子传递等。

企业单位

通过康巴什智慧城市公共数据开放共享平台提供的应用服务可

11-

智慧城市大数据共享交换平台建设方案

以方便企业进行业务级信息查询,并可通过业务协同对企业提供事

项审批、信息推送服务。

1.4.2业务功能分析

数据共享

在政府部门内部强调的是共享共用。先把政府部门内部及部门

之间数据共享的工作做起来。各级政府都以数据应用为导向,需要

什么数据就共享什么数据。

部门间的信息共享,综合考虑管理难度和技术难度建议分为三

个阶段:“条线内部门共享”、“平级跨部门共享”、“跨层级和跨区域

的共享”,通过统一规划,逐步推进的策略,打造部门间信息资源共

享共用的新格局。

数据开放

对社会的数据开放,先从方便百姓生活又不是很敏感的数据开

始。特别是涉及公共安全、公共利益的数据,提供公共服务的机构

或企业有义务在一定前提条件下开放,这样一些可以预警、预防的

群体性事件就能够避免。

按照社会关注程度、数据量大小和具体实施难度,数据开放建

议分为三个阶段:“业务统计数据”、“少量高频数据”、“重点业务数

据”。通过以安全为前提,重点关注优先试点,逐步扩大范围为原则,

稳步推行数据服务开放。

-12-

智慧城市大数据共享交换平台建设方案

数据融合

政务大数据归根结底,还是要面向行业应用的,需要基于不同

的业务部门开展,并和现有平台建立联系。

融合应用可以分为“数据融合”、“业务融合”、“产业融合”三个层

次:其中,数据融合是把本单位数据、从其他单位共享的数据,以

及互联网等社会相关的数据,相互融合,相互比对,建立融合数据

资源中心,统一数据标准和口径。

业务融合主要围绕各行业的特定业务场景,比如交通出行、医

疗保障、民生服务等领域,建设智慧应用,形成行业业务的决策分

析体系,支撑城市运行和城市治理的方方面面。

产业融合,随着一大批大数据处理、大数据分析、大数据运营

企业的兴起,政府数据将不单单是自建自用,通过建设数据运营平

台,数据交易平台等形式,引入社会资本共同参与城市建设和社会

治理,实现向集约型、服务型、智慧型政府的转变。

-13-

智慧城市大数据共享交换平台建设方案

1.4.3业务流程

<>

,"t以人,i“一心入j”t人liN

«u<r;Xd.Ati,上c。WMQ>

4H臼人i-joru9Kmm人4”

C尸1">K<WiK>

"VUIClrrj411八,,・〃.MK人ii好,

1z>KJM0A1fK//•:Uii't

mC,4-W/1'I•i--r1

HKJMeiAU

•人II的:*W*gMP

K人1•Wh«/宝M・;4】•»•.

人,I八I即八融

1.4.4业务量分析

业务量分析可以从平台交互量、每天总用户数(个)、每天每个

用户平均执行操作数、高峰时段交互量占全天交互量的百分比、高

峰时段持续时间(小时)、高峰时段在线用户数(个)等方面指标进

行综合估算。康巴什互联网大数据分析平台的业务量估算如下表所

示:

表3-1业务量估算

序号数据名称数据量

1平台交互量200(日均)

2每天总用户数(个)100

3每天每个用户平均执行操作数1000

-14-

智慧城市大数据共享交换平台建设方案

序号数据名称数据量

高峰时段交互量占全天交互量的

460%

百分比

5高峰时段持续时间(小时)4(9:00-11:00.15:00-17:00)

6高峰时段在线用户数(个)60(日均)

1.5信息量分析和预测

1.5.1存储量分析

本项目中存储的数据主要包括两大部分:系统网站群的在线行

为数据和国内外互联网重点渠道、信息源以及政府网站群的在线内

容数据。在线用户行为数据以符合W3c格式标准的日志形式进行存

储。网站内容更新数据直接存到关系型数据库或其他非关系型数据

库中。

1、在线行为数据存储量

网站群的在线行为数据存储主要分为三部分:

(1)接收数据,是系统储存的原始数据。

(2)结构化数据,将原始数据进行数据清洗和去重后进行结构

化后存储。

(3)分析数据库,将结构化的数据进行分析预计算后存储。

按照本项目需要涵盖康巴什系统网站群的500个网站,每个网

站的日平均访问按照10000个PV计算,预计每日需要处理的总的

PV数为500万。

■接收数据的测算依据及结论

其中接收数据库的主要条目占用空间,如下表所示:

-15-

智慧城市大数据共享交换平台建设方案

单个PV所要储存的信息空间大小(字节)

访问路径信息1600

来源路径信息1120

其他信息(会话标识、Cookie标识、时间信息等)256

汇总2976

单个Session所要储存的信息(1个Session大约产生4PV)

访问路径信息512

来源路径信息1120

客户端信息(IP、浏览器等)128

其他信息(会话标识、Cookie标识、时间信息等)256

汇总2016

单个Cookie所要储存的信息(1个Cookie大约产生

1.25Session)

访问路径信息512

其他信息(Cookie标识、时间信息等)256

汇总768

例如:

按照其他同类项目的数据估算,PV和Session数量比为4:L

Session和Cookie的数量比为L25:1。则500万的PV会产生125

万的Session以及产生100万的Cookie,息占据空间为

5000000*2976+1250000*2016+1000000*768=18G,包括索引以及其他

表占用的空间之后,约为20G。原始日志存储到SQLServer中会采

用压缩技术,大小将降为5G。

结论:对于接收数据库,采用了压缩和优化技术后,每500万

PV至少需要25G的储存空间。

■结构化数据的测算依据及结论

康巴什系统政府网站群监测分析调度系统的结构化数据库和原

始数据库存储的数据一致,但是经过对原始数据库的数据去冗余以

及结构化,用外键压缩了原来直接存储在各表里的信息,大小会变

为原始数据的一半,也就是2.5G。

-16-

智慧城市大数据共享交换平台建设方案

结论:对于结构化数据库,采用了压缩和优化技术后,每500

万PV至少需要2.5GB的储存空间。

■分析数据的测算依据及结论

康巴什系统政府网站群监测分析调度系统的分析数据库内容基

本是结构化数据库的拷贝,大小与结构化数据库基本一致,也为

2.5Go

结论:对于“决策支持系统”的分析数据库,采用了压缩和优

化技术后,每500万PV至少需要2.5GB的储存空间。

综上所述,在不做任何备份的情况下,每500万的PV,需要文

件存储空间为:25GB+2.5GB+2.5GB=30Go

到2015年底的存储量为10.5T,到2019年底的存储量为52.5T,

具体测算如下表所示:

接收日志明细汇总数据合计

单月数据量(G)25*30=7502.5*30=62.52.5*30=62.5875G

保留周期(月)60606060

一年内需要存储900075075010.5T

五年内需要存储450003750375052.5T

2、在线内容数据存储量

■国内外互联网重点渠道和信息源

按照本项目需要面向国内外互联网重点渠道和信息源进行在线

内容采集爬取,按照覆盖包括主流媒体在内的200个信息源,每个

信息源爬取3级计算,平均每天可以爬取更新的总的页面数约为30

万个,每个页面按照100KB计算,共需要占用的空间为

30W*1000KB=30Go

-17-

智慧城市大数据共享交换平台建设方案

到2015年底的存储量为10.8T,到2019年底的存储量为54T,

具体测算如下表所示:

国内外互联网重点渠道和信息源

单月数据量(G)30万*30=900G

一年内需要存储10.8T

五年内需要存储54T

■康巴什级以上政府网站群

康巴什级以上政府网站群网站内容更新数据主要包括以下三部

分:网站更新页面、网站更新的入口,网站更新的白名单。

按照本项目需要涵盖康巴什系统网站群及康巴什各级政府网站

群的6500个网站,平均每个网站每天更新10个页面,就是6.5万

个。

如果每天爬取10次,就是10X6500=6.5万个入口,每个网站

算10个白名单,那就是10X6500X10=65万个白名单。

总共是6.5万+6.5万+65万=78万,共需要占用的空间为78万

页*100KB/页=78G。

到2015年底的存储量为28.08T,到2019年底的存储量为

140.4T,具体测算如下表所示:

更新页面数据网站入口数据白名单数据合计

单月数据量(G)6.5*30=1956.5*30=19565*30=19502340G

一年内需要存储2.34T2.34T23.4T28.08T

五年内需要存储11.7T11.7T117T140.4T

综上所述,系统的数据存储总量如下表所示:

表3-2数据量估算表

序号数据名称初始量5年内的增量

1在线行为数据10.5T52.5T

2互联网重点渠道和信息源10.8T54T

-18-

智慧城市大数据共享交换平台建设方案

3康巴什团以上政府网站群28.08T140.4T

合计49.38T246.9T

1.5.2处理量分析

(1)网站群用户访问行为数据处理量分析

以每天725万个客户端访问(包括500万PV、100万Session、

125万Cookie)并发计算,结合在线行为数据的接收主要集中在工

作时间,7250000/8小时/60分钟/60秒二251个/秒,日志接收服务

器接受每秒钟接收日志请求251个,远远低于系统的每秒接收到的

正常数(该值通常为7000-9000)。

根据日志接收每秒钟的并发量为251,因此系统的数据接收只

需要再用两台服务器做负载均衡即可。但是为了防止数据接收网站

的域名出现单点故障,因此系统的数据接收采用双域名备份,即每

个域名对应两台数据接收服务器,一共四台。

根据系统需要满足康巴什政府网站智能分析系统诊断的需要,

目前系统的单台服务器的数据处理能力为400家左右,因此需要4

台数据库服务器,另外需要两台相同配置的数据库服务器作为备份。

(2)其他在线内容数据处理量分析

一是系统需要支持对不少于108万个数据采集点每天至少一次

轮询抓取,同时对抓取回的数据进行数据预处理和清洗入库工作,

二是需要实现对存量数据和增量数据的指标自动抽取和更新工作,

三是需要支持前台交互系统的交互分析挖掘需求。

结合以上几部分需求,预计所需的内容数据处理服务器约50

-19-

智慧城市大数据共享交换平台建设方案

台。其中较高性能处理服务器(单机20核服务器CPU:2660*2

MEM:144GDISK:SSD480G*2+SAS4T*6,万兆网卡,远程管理,双电

源)10台,中等性能处理服务器(单机12核服务器,CPU:2620*2

MEM:32GDISK:4T*10,万兆网卡,远程管理,双电源)10台。较低

性能服务器(单机12核服务器,CPU:2620*2MEM:72GDISK:SSD

480G*2+SAS600G*4,万兆网卡,远程管理,双电源)30台。

1.5.3网络流量分析

按每天处理725万在线行为数据,每条数据为10KB大小,108

万条在线内容数据,每条100KB计算,需要的平均带宽为17Mbps,

高峰时期按3倍带宽需求计算为:51Mbps,GE链路接入可以满足需

求,出于冗余考虑,建议使用双GE链路(主备)进行接入。

1.6系统功能和性能需求分析

1.6.1系统功能指标

数据存储功能

政府数据量很大,海量数据的处理与传统架构完全不同,原有

小型机加商业数据库的方式已不能完全胜任,部分领域数据需要引

入新架构。大数据存储于处理架构包括分布式存储­、分布式资源管

理及分布式文件架构。

数据汇聚功能

数据汇聚功能要求实现将各部门相关的信息资源统一采集交换

-20-

智慧城市大数据共享交换平台建设方案

到数据中心前置库中,满足多种采集方式,能够满足不同的网络环

境、不同的数据类型等情况下进行数据的采集,并对采集的数据进

行处理,进入中心库保存。康巴什智慧城市公共数据开放共享平台

的数据汇聚功能包含数据采集、数据交换、数据处理等功能。

数据治理功能

政府数据在共享共用、开放运营及行业应用过程中,数据来源

于各个业务系统,只有建立对数据质量的信任,才能放心地进行使

用。所以数据治理和质量保障在政府数据开放共享平台建设中显得

由为重要,数据开放共享平台数据治理功能主要包括信息资源目录

管理、元数据管理和数据质量管里等内容。

数据运营功能

数据运营功能聚焦对数据共享、开放、融合的提供,对提供服

务授权、认证、过程进行统一管理,并提供数据开放共享平台运行

过程的全程监控。数据开放共享平台数据运营功能主要包含服务管

理、基于服务管理的数据开放、以及运行监控等内容。

数据应用功能

数据共享、开放的最终目标都是为了要创造价值,数据的价值

主要通过应用进行体现。数据开放共享平台数据应用主要是政务数

据分析功能,主要包括数据采集、数据分析、结果发布三个组成部

分,能够实现实时、批处理、交互分析,最终通过报表、仪表盘、

API等形式展示结果。

-21-

智慧城市大数据共享交换平台建设方案

1.6.2系统性能指标

基本性能:(1)在100M局域网环境下进行增、删、改业务(不

含大对象数据类型)响应时间在3秒以内。(2)在100M局域网环

境下查询操作的响应时间要求在3秒以内。(3)系统支持同时在

线数大于200,并发用户数大于50。

数据交换:(1)批量数据交换中,平均单条记录数据交换的时

间不大于20毫秒。(2)非并发大批量数据交换(百万条)的时

间不大于5,000秒。(3)批量数据交换中,平均单条记录入库的响

应时间不大于20mso

数据查询:(1)查询基础数据(精确匹配)的响应时间不大于

3秒。(2)查询单个数据主题(百万级)的响应时间不大于3秒。

(3)目录检索的响应时间不大于2秒。(4)查询统计报表(非实

时统计)的响应时间不大于3秒。

1.7信息系统装备和应用现状与差距

1.7.1现状

政府数据碎片化严重。我国智慧城市取得了较快发展,政府各部

门以及公共服务机构在履职过程中形成了大量的数据资源,这些数

据分散在各个部门,由于管理体制、法律法规、历史惯性以及部门

间利益等方面的原因,康巴什智慧城市建设和发展一直处于“条块

-22-

智慧城市大数据共享交换平台建设方案

分割,各自为战”的状态,不同区域、不同领域、不同部门之间智

慧城市业务系统之间不相融通,造成了众多“信息孤岛”,难以实现

业务协同和规模效用,甚至连基本的部门间信息数据交换都难以实

现,大量的政府数据处于“休眠”状态,数据碎片亿问题严

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论