




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
智慧城市大数据中心建设内容
一、建设背景
为深入贯彻落实党的十八大精神,抓住和用好新一轮科技革
命和产业变革机遇,在互联网经济、大数据时代大潮中赢得主动、
取得突破,促进智慧城市健康发展,推动全区经济社会转型升级,
《智慧建设工作方案》提出通过“一大数据中心+四大智慧平台
+N大智慧应用”的建设,努力把区打造成为具有国际影响力的
智慧城市建设先行示范区、具有一流竞争力的智慧经济发展产业
集聚区、具有较强辐射力的智慧民生服务创新先导区。
二、建设原则
推进共享,确保安全。确保处理加快共享与安全保障的关系,
确保数据共享工作安全运行。先易后难,突出重点。强调需求导
向,稳步推进各类政府数据资源共享,逐步提高向社会共享的广
度和深度。标准先行,加强推广。强化资源梳理,深化统一标准
规范的建设及推广应用。深化改革,创新产业。推进政府大数据
治理改革,打造大数据产业发展新引擎,助推产业转型升级。
三、总体架构要求
智慧城市大数据中心在统一的基础设施支撑下,围绕“一中
心四平台”总体框架,建立统一的城市大数据资源汇集、交换中
心;在自主可控的统一标准及管理制度体系、安全管理保障体系、
运维监控体系下,通过基础层、数据层、支持层、应用层、用户
层建设;覆盖全区的公共数据综合服务体系。
智慧城市大数据中心总体架构如下图所示:
用户层区政府及各政府部门।]一企业和社会机构―1[社会公众
匚该市管理综合信息服务平台;渔手耍蕤至息服务另包;■港福行综合服务平台民生公共信息融合服务平台
应用层
智慧应用服务交换总线各类曾慧应用
安
全
通用构建数据报送平台:统一认证用户管理权限消息语义搜索图形展示报表展示……
管
理
数据二数据交换共享平台」数据资源管理系统统一直酶
保
标
支撑层,活质量做系统元数据管理系统调度前行;……]障
准
体
及
系
大数据(分析方法工具)![二^:[J管
、
理
分析|m砌构化分析][….]发工具[开缸M][统
-1制
一
度
运
_______公共造州库公共专廨公共业务库系侑体
维
广人口阵]]法/斯】系
L蓝济还行夫敢搪『智慧陶句Q・环保=[支由库及
监
「去观经济库通踵库]厂二二.王垣薮福犀…:昌阳飕门广雌……
I—控
数据层螃〔则勖速(存入目标庠):实时加载、离线加筮异常处体
系
清洗!数据映射管理1_清洗与转换规则设置清洗及转换组件执行引擎!理
基础层
基础层:
利用云计算中心的基础设施,兼容分布式服务、集群框架、
资源管控、备份容灾等功能,集成区物联网设备、视频资源、手
机终端等输入端,整合形成云化资源,为政府、企业和个人提供
计算、存储、安全等服务。
数据层:
利用大数据管理工具采集、清洗数据,将大数据资源进行整
合,组成区城市大数据资源中心池。数据采集部件实现政务资源、
社会资源的数据采集,并提供多种采集方式,以满足数据接入单
位不同IT系统特定现状的数据采集需求。数据清洗转换部件,
实现采集数据的清洗、数据加载功能,以满足不同格式、不同内
容数据转换的要求,实现清洗转换数据的及时、高效、正确加载。
区城市大数据资源中心池包括三级,分别是人口库、法人库、宏
观经济库、空间地理库等组成的城市公共基础数据库;根据物联
网数据、互联网数据及业务应用需要扩展各类指标项形成的公共
业务数据库;结合公共基础数据库及公共业务数据库,根据特定
应用场景和服务型为各应用提供融合服务的专题应用库。三级数
据库融合贯通,初步组成大数据资源中心池;系统支撑库全面支
持上层数据处理及相关应用,面向公众、企业、政府提供全方位
的信息服务。
支撑层:
支撑层将基础数据进行优化和提升,利用大数据基础平台体
系和大数据挖掘支撑体系实现“一中心四平台”的基础支撑,
为平台各级应用提供运行环境、开发接口与服务支撑。该层提供
针对“一中心四平台”的各类智能支撑工具。结合SOA服务框
架,为电子政务综合信息服务平台、城市管理综合信息服务平台、
经济运行综合信息服务平台、为民服务综合信息服务平台提供支
撑工具集、分析工具集、开发测试工具集等二次开发接口。为保
障数据采集的执行效率、异常处理,达到资源合理的利用,通过
统一调度实现资源的负载均衡和采集任务的有序展开。
应用层
本层为将优化的数据进行共享分发,利用支持层提供的数据
和接口,加上各行业业务专业模型只是,构建诸多外部智慧应用,
服务于用户层。
用户层
该层为政府、企业社会机构、社会公众及开发者提供各类可
视化服务。
为了保障城市大数据中心的有效、安全运行,以“一中心四
平台”的管理和应用为出发点,制定全区运行和标准规范体系,
大数据管理评价体系,安全保障体系,出台信息资源更新、交换、
共享和开放的政策和措施,完善信息化应用的管理制度。
四、一期建设内容
智慧城市大数据中心(一期)建设项目是软件、数据、专业
知识和平台服务的组合,依据智慧“一中心四平台”总体架构,
以政务外网为主,政务内网为辅,通过信息资源梳理、信息资源
标准制定、城市基础数据库建设、城市大数据管理平台建设、安
全体系建设等多方面的内容,基本建成智慧城市大数据中心。
城市大数据中心一期建设需满足以下要求:
城市大数据中心技术架构能支持存储结构化数据的传统数
据库和存储非结构化、半结构化的分布式数据库;大数据中心支
持PB级以上数据海量存储,包含结构化、非结构化、半结构化
等数据类型;大数据中心能够快速处理和分析海量数据;支持采
用分布式集群技术提供高度横向扩展能力。
1、基础信息资源梳理服务。
包括信息需求的获取、现状信息环境调研、信息需求分析、
数据建模设计等内容。需要充分对区政府各委办局信息数据资源
情况进行调研分析,以确定法人、宏观经济、自然资源与空间地
理基础信息库、人口库的来源与需求,确定各业务数据交互关系。
2、信息资源标准制定
标准规范体系是“智慧”标准化工作的核心,也是智慧顶层
设计的重要内容。在国家标准化工作体制和国家、省、市电子政
务标准化框架内,根据智慧建设需求,研究制定统一的、完整的、
具有本地特色的、创新的信息资源标准规范体系。标准规范体系
将支撑城市大数据中心、四大智慧平台及N大智慧应用的标准化
建设,为各系统间数据交换共享建立基础。
3、基础数据库建设
根据区基础信息资源现状,综合采集、梳理、交换、整合等
方式建立、接入或重构宏观经济、地理信息、法人基础信息及人
口基础信息四大城市公共基础库。在公共基础库的基础上整合其
他业务主题,汇集区各类智慧应用数据,动态扩充构建城市公共
业务数据库。根据智慧应用需求,通过对公共基础库及公共业务
数据库深入挖掘分析形成具有特定应用场景的专题资源服务框
架。
4、大数据共享交换平台建设
大数据共享交换平台建设须实现大数据采集、清洗加载,大
数据共享交换,大数据质量、资源管理、调度、基础服务模块等
功能。大数据采集清洗加载须满足区各委办局系统对数据采集及
应用现状的要求,实现数据的自动采集、清洗、转换、加载及整
个过程中的数据异常处理。大数据共享交换须为智慧上层应用或
各委办局提供基于目录索引查询的即时访问、数据加工、数据调
用的服务。大数据质量、资源、调度管理须对各委办局的数据质
量执行情况、大数据中心运行情况、数据处理执行调度情况进行
监控管理并出具监控稽查报告。基础服务模块主要为一中心四平
台的运行提供基础支撑服务,基础服务模块实现的服务包括:流
程服务、消息服务、检索服务、报表服务、大数据分析组件服务
等。大数据共享交换平台建设须在保障安全、实时、高效的基础
上实现信息资源在全区范围内的交换与共享管理。
5、智慧城市大数据中心门户建设
将智慧城市大数据中相关门户作为城市大数据中心展现的
总平台,为区政府各级单位提供信息资源梳理、信息标准制定、
基础库、大数据共享交换等功能的总导航、展现及服务。
6、安全体系建设
针对城市大数据中心,按照国家等级保护相关规定要求,进
行安全体系建设,制定安全策略。其中数据中心、人口库达到等
保三级要求,法人库、宏观经济库及地理信息库到达等保二级要
求。
五、一期技术要求
1、基础信息资源梳理需求
基础信息资源的梳理,是对政府部门的基础信息在采集、处
理、传输、利用的全面梳理,并做出前瞻规划和初步的规范设计。
基础信息资源梳理工作要充分对区政府各委办局信息数据资源
情况进行调研分析,包括信息需求的获取、现状信息环境调研、
信息需求分析、数据建模设计等;资源梳理内容包括信息化系统、
部门组织结构、业务角色、信息资源类别等。能够对业务流程图
和数据流程图进行管理,能够识别协同关系和信息共享需求,能
够明确职责、整理和挖掘数据资源、规范数据表示;能够对数据
库的主题库、逻辑实体、实体关系图、数据映射图、数据元标准、
信息分类编码进行管理。本期要求实现对全区政府所有组成部门
的全部门、全业务、全覆盖梳理,统一标准,明确跨部门数据需
求与交互关系。重点针对四大基础库(法人库、宏观经济库、地
理信息库、人口库)及智慧应用政府部门的全科室、全业务、全
覆盖梳理,统一标准,明确跨部门数据需求与交互关系,逐步建
立跨部门基础信息交换平台,实现基础信息资源共享,在城市大
数据中心中体现基础信息资源梳理成果,后期会逐步完善全区其
它部门的资源梳理。由于梳理工作涉及部门多、人员广、业务深,
基础信息资源应使用科学的方法与工具,保障信息资源梳理工作
的顺畅推行。
要求采用标准化工具完成基础信息资源的梳理,资源梳理工
具的管理内容包括系统目标、组织结构、业务角色、用户视图等;
能够对业务流程图和数据流程图进行管理,能够识别协同关系和
信息共享需求,能够明确职责、整理和挖掘数据资源、规范数据
表示;能够对数据库的主题库、逻辑实体、实体关系图、数据映
射图、数据元标准、信息分类编码进行管理;通过梳理明确信息
资源的出口、入口、数据间关系;通过平台可以摸清业务需求、
数据需求和集成需求;并能够支持信息资源的文档的自动化生成
(数据库设计文档、信息资源目录、实体关系图等);能够支持
思维导图等方式的可视化展示。信息资源梳理的成果要为数据交
换提供数据来源、业务流程、资源目录、标准规范等服务支撑。
资源梳理工具的功能需包括业务架构、数据架构、应用架构、
需求管理、文档附件、系统编码、权限管理、项目管理、系统设
置等。
政务信息资源梳理平台通过两类视角进行说明:管理视角、
维护视角。
在管理视角下可以进行系统编码字典、用户及权限管理、项
目模块管理、系统设置等系统管理级别操作。
在维护视角下可以对高阶导图、业务架构、数据架构、应用
架构、需求管理等功能模块内容进行编辑和查询操作。
资源目录管理系统保护针对全区统一资源目录的生产、管
理、查询及维护功能。目录生产功能包括目录收集、目录生成、
元数据关联;目录管理功能包含目录审核、目录发布、目录权限
管理;目录查询包括多维度目录查询、列表查询、信息资源访问;
目录维护包含物理集中数据资源目录维护、逻辑集中数据资源目
录维护。
2、信息资源标准和管理规范需求
信息资源标准和管理规范包括:总体标准、数据管理规范安
全管理标准和项目管理标准四个大类。
数据管理标准
总
体
标安全管理标准
准
项目管理标准
标准规范体系图
(1)总体标准
总体标准包括项目建设所需的总体性的标准与规范,包括基
本术语、标准化指南、标准编写规则等方面的标准,以保证信息
系统的建设工程高效、健康和稳定发展,减少重复投资和互不兼
容为目标。总体标准中重点建设的标准有以下两项:
标准化指南,是根据工程标准体系框架及其所涉及的标准化
对象和内容按照一定的主题和逻辑结构系统阐述所涉及的各标
准的主要内容和编写规则。主要解决如何结合区实际情况编写、
完善和发展指南性文件。应包括且不限于以下内容
《区基础信息资源名词术语》
《区基础信息资源数据代码规范目录》
《区基础信息资源部门数据标准》
总体技术标准,依据“一中心4平台N应用”特点,对平台
总体技术架构进行规划,包括术语、网络、安全、应用等体系的
整体框架和模型,以及业务承载模式等。应包括且不限于以下内
容:
《区基础法人库信息标准》
《区基础地理信息库信息标准》
《区基础宏观经济库信息标准》
《区基础人口库信息标准》
(2)数据管理规范
数据管理规范是针对“一中心四平台”的基于SOA架构、以
安全支撑平台为基础、承载业务系统协同工作的基础标准,其目
的一是规范系统的开发与建设工作,对应基础数据类标准;二是
规范跨部门数据交换共享,对应数据采集、交换、处理、共享类
标准;三是明确数据采集、管理、使用、运维等技术规范,保障
数据中心的完整性实时性,对应数据采集、管理、使用、运维等
制度规范,其主要内容如下:
基础数据类标准:
《区基础信息库信息分类与代码规范》
《区基础信息库元数据规范》
《区基础信息库业务建模与数据字典规范》
《区基础信息库数据质量规范》
数据采集、交换、处理、共享类技术标准:
《区基础信息库数据采集规范》
《区基础信息库数据处理规范》
《区基础信息库数据交换规范》
《区基础平台通用技术要求规范》
《区基础平台消息服务规范》
《区基础平台服务接口规范》
数据采集、管理、使用、运维等制度规范:
《区基础信息库数据采集制度》
《区基础信息库数据交换制度》
《区基础信息库平台使用制度》
《区基础数据库运维管理制度》
(3)安全管理标准
安全标准将以直接采用为主。主要包括:根据国家颁布的信
息系统等级保护相关法令、法规,制定安全防护标准,如安全防
护策略、边界防护标准、访问控制机制、互联网出口管理规范等;
制定安全管理标准,实现与上下级安全管理中心安全事件的交
互,如软硬件安全接口标准、安全审计和通报接口标准、安全事
件响应标准等;身份认证标准,将直接采用国家电子政务内网、
外网正式颁布身份认证体系相关规范标准。
《区平台安全防护规范》
《区平台安全管理规范》
《区平台身份认证规范》
(4)项目管理标准
按照科学的管理方法,利用标准化手段,对工程建设进行全
方位、全过程的管理和监督。工程管理标准指工程从立项、开发、
监理、验收、运行、管理等环节应遵循的管理规范标准的集合。
《区项目开发过程管理规范》
《区系统软件开发技术规范》
《区项目建设运维管理规范》
《区系统软件工程文档编制规范》
《区项目验收测试规范》
3、基础信息资源池建设需求
大型数据库软件需为能满足50个用户使用的企业版大型数
据库软件(如Oracle11g),用于各类基础信息资源库的建设。
(1)四大城市公共基础库
人口基础信息库建设可按照基本信息、扩充信息和共享应用
信息三类,支持个人证照信息,并且根据需要可以及时追加基础
信息。数据采集、交换、共享部门数不少于40个。支持人口库
的统计和查询功能,包括数据的采集、交换、使用等情况的统计
和查询。满足为政务数据开放平台提供人口库的基础信息查询数
据要求。支持按区域、按规则、按部门对人口基础信息的交换、
共享和数据发布,依据数据时效性要求实现数据的双向同步。人
口基础信息采集后应满足数据质量要求,实现自动完成数据的清
洗、自动比对校验、入库。支持数据处理的自动调度、自动处理、
异常数据预警。支持与苏州市级人口库双向交换,支持本地人口
数据库信息登记、审核对比、信息交换、后台管理以及访问门户
等功能。
法人单位基础信息库建设,按照核心基础信息、法人扩展信
息和法人共享信息三类划分,并且根据需要可以及时追加基础信
息。核心基础信息数据采集、交换、共享部门数不少于7个(区
市场监督管理局(工商、质监)、区地税局、区国税局、区民政
局、区人力资源和社会保障局、区编办),二期完善扩展。支持
法入库的统计和查询功能,包括数据的采集、交换、使用等情况
的统计和查询。满足为政务数据开放平台提供法人库的基础信息
查询数据要求。支持按区域、按规则、按部门对法人基础信息的
交换、共享和数据发布,依据数据时效性要求实现数据的双向同
步。法人基础信息采集后应满足数据质量要求,实现自动完成数
据的清洗、自动比对校验、入库。支持数据处理的自动调度、自
动处理、异常数据预警。
地理空间基础信息库建设,通过调研掌握区空间地理信息需
求现状,依托于苏州市原有地理信息数据,在其基础上进行整合
区规划局、国土局等相关图层数据,以满足区现阶段需求,并符
合数据交换共享未来发展和建设方向。同时,将城市公共信息与
地理信息库对接,实现城市公共资源的二维平面在地理信息库中
的三维立体化展示,即在“一张图”中查询阅览城市信息资源,
帮助各部门开展日常工作。支持地理基础信息的统计和查询功
能,包括数据的采集、交换、使用等情况的统计和查询。满足为
政务数据开放平台提供地理信息的基础信息查询数据要求。支持
按区域、按规则、按部门对地理信息基础信息的交换、共享和数
据发布,依据数据时效性要求实现数据的双向同步。地理信息基
础信息采集后应满足数据质量要求,实现自动完成数据的清洗、
自动比对校验、入库。
宏观经济基础信息库建设,需包含社会宏观经济常用的各项
数据,并且根据需要可以及时追加基础信息。对接统计局的数据
形成宏观经济基础信息库数据采集、交换、共享部门数不少于
40个。支持宏观经济库的统计和查询功能,包括数据的采集、
交换、使用等情况的统计和查询。满足为政务数据开放平台提供
宏观经济的基础信息查询数据要求。支持按区域、按规则、按部
门对宏观经济基础信息的交换、共享和数据发布,依据数据时效
性要求实现数据的双向同步。宏观经济基础信息采集后应满足数
据质量要求,实现自动完成数据的清洗、自动比对校验、入库。
支持数据处理的自动调度、自动处理、异常数据预警。
(2)公共业务库
公共业务库是对四大公共基础数据库的补充和扩展,需全面
实现对政府所有组成部门的全科室、全业务非涉密数据全覆,数
据采集、交换、共享部门数不少于21个。支持相关公共业务类
数据集的统计和查询功能,包括数据的采集、交换、使用等情况
的统计和查询。满足为政务数据开放平台提供公共业务基础信息
查询数据要求。支持按区域、按规则、按部门对公共业务基础信
息的交换、共享和数据发布,依据数据时效性要求实现数据的双
向同步。公共业务基础库采集后应满足数据质量要求,实现自动
完成数据的清洗、自动比对校验、入库。支持数据处理的自动调
度、自动处理、异常数据预警。
(3)公共专题库
按照特定应用场景和服务型为各应用提供融合服务,并实施
分库管理,保障经济运行、城市管理、民生融合、电子政务四大
平台及各位智慧应用数据的专题应用,以支撑其他智慧应用的接
入。公共专题库应至少包含10个以上专题应用主题,并能根据
实际需要不断动态扩展专题库建设。支持按区域、按规则、按部
门对专题业务基础信息的交换、共享和数据发布,依据数据时效
性要求实现数据的双向同步。公共专题基础库满足数据质量要
求,实现自动完成数据的清洗、自动比对校验、入库。支持数据
处理的自动调度、自动处理、异常数据预警。
4、大数据共享交换平台建设需求
各类智慧应用数据、物联网数据、互联网数据、视频数据等
数据经交换平台交换到中心,通过资源整合、清洗比对转换处理,
在交换中心形成中心基础信息数据库及三级数据库,形成统一的
数据标准及管理规范,实现对城市大数据中心数据库的日常管理
与维护。
数据库建设须实现城市大数据中心的数据从采集到入库,全
流程严把数据质量关,制定详细的加工规则及流程,从而保障基
础信息库能够存储较高质量与细颗粒度的数据资源,同时包括数
据过滤清洗、数据比对等功能。通过数据清洗比对,对采集库获
取的各部门汇总信息进行清洗、比对,形成标准、规范、准确、
可信度高的基础数据库。数据整合服务的作用体现在通过规则进
行数据加工、数据整合、数据关联等功能,能够动态配置实现各
类信息处理,在基础数据库的基础上,通过进行清洗、转换、集
成;通过数据整合及服务能够提供对采集的数据进行转换、稽核、
关联聚合等一系列加工处理功能,对涉及到多个来源的共享数据
进行加工处理,对外提供一个完整的数据视图,并能够对数据质
量进行管控。
大数据共享交换平台将实现各部门之间的跨部门数据交换
和传输功能,支撑全区各部门相关应用间的数据交换,并通过该
系统汇总到信息资源中心,并能实现数据资源的采集、清洗、比
对、转行、加载等功能。要求包括:大数据采集模块、大数据清
洗加载模块,大数据共享交换模块、大数据质量管理模块、元数
据管理模块、数据资源管理模块、资源统一调度模块和基础服务
模块等建设。需能监控整个系统运行情况,如:使用部门、频率、
操作内容、数据流量、运行状态、非法使用等;对建立基础信息
库及相关指标体系的有效管理;实现中心的用户认证、信息授权、
系统管理等。
(1)大数据采集模块
大数据采集模块提供多种类型的采集手段,以满足区政府各
级行政单位IT系统对数据采集现状的要求。
采集模块应满足以下业务要求:
>采集模块支撑大数据平台数据源的采集工具,支持各类
结构化和非结构化数据的采集;
>平台实现可视化的数据采集,采用元数据管理的办法,
由用户或专业技术人员在界面上操作实现数据采集;
>于专网或其他原因的用户,通过客户端应用实现数据采
集功能实现;并提供线上或线下的导入功能;
>对政府各机构业务,以及数据进行标准化定义,建立数
据字典,并建立目录资源库;实现数据和业务的唯一解
释;
>支持离线采集及实时数据采集模式;手段包括但不限于
“推”模式、“拉”模式、web上传模式、直连模式;数
据更新方式包括但不限于快照模式、触发器模式、日志
模式、API模式、影子表法模式、时间戳模式;
>提供采集节点监控和异常处理机制,包括:采集任务中
断、采集数据失败等相关异常现象时,实现相关的补采
机制,并通过告警的方式通知系统用户以保障源数据采
集的可靠性;支持采集周期配置,可按实分、小时、天、
月等不同的时间周期进行配置。支持采集数据的存储路
径配置。
采集模块应具备以下功能:
>定义采集字段:对数据源数据结构进行选择性采集;定
制采集ETL策略
>可视化的采集策略定制,采集策略应该包括:全量采集、
增量采集、一次性采集;
>采集任务设置:设置采集任务的运行周期,如一次性采
集、周期性采集、定时采集;采集任务前必须具备的条
件;采集任务之后需要执行的任务
>调度与监控:调度与监控,分为中心调度监控和节点调
度监控;中心控制整个网络系统;节点仅仅控制自身的
采集任务与调度;
>所有调度任务需要经过中心授权才能实现;
>任务失败处理:采集任务如果失败,可视化的可以设置
尝试重新采集的次数以及诸如报警灯其他可操作方式
>网络结构与解决方案:对于不同的网络结构,采取与业
务系统松耦合的数据采集策略;可以在节点与数据中心
之间以通信服务器(前置机)的方式进行解决;
>FTP方式定义多格式数据信息:数据中心接受FTP方式的
数据上传,但是所有以FTP方式上传的数据结构必须在
数据字典中已经定义确认;
(2)大数据清洗加载模块
大数据清洗加载模块通过大规模,可扩展算法的ETL实现数
据的清洗、转换、加载功能;保障采集的数据正确、完整、规范
地加载到目的地;实现数据整合过程中的传输异常、数据加载异
常、数据结构与质量异常等问题。
数据清洗功能包括但不限于:数据转换、数据去脏和转换规
则的计算,批量分布式清洗和实时不落地清洗,数据转换规则配
置,数据处理过程日志,数据清洗转换处理多组件设置,硬编码
数据转换、库外数据转换。数据加载功能包括但不限于:全量数
据加载、增量数据加载、流式(实时)数据加载、数据加载过程
控制、数据校验、异常处理等。
清洗、加载模块通过可视化的数据处理工具实现,该工具应
该提供新的数据源加入大数据平台体系;并可根据不同的清洗规
则进行可视化配置;
(3)大数据共享交换模块
大数据交换与共享模块负责各委办局相关业务信息资源数
据的传输、交换、格式转换的工作,实现信息资源在全区范围内
的交换与共享。大数据交换与共享系统需包含应用集成ESB中间
件、应用集成ESB中间件适配器、数据集成中间件、消息中间件、
通用文件传输中间件、应用中间件、数据交换管理监控系统。
①应用集成ESB中间件必须采用SOA架构,能够在多个异
构系统(如不同的数据库、消息中间件、数据文件等)
之间进行数据和应用集成,实现互连互通、数据共享交
换、应用集成等功能,同时支持分布式多节点部署。在
网络不可达的情况下,可采用前置机部署。
②应用集成ESB中间件适配器应实现应用集成,包括:
协议集成:数据通信、节点通信、数据流监控、节点服务与
消息等;
数据采集:支持异构数据库、同构数据库、非结构化数据的
采集交换和服务;
服务封装、服务集成:采用C/S(节点应用);B/S(系统
服务)应用程序无需重启服务实现可插拔部署;
数据处理组件:应提供数据加载、加工转换、并行计算、高
性能入库、清洗比对能力,提供基于转换引擎和任务引擎的应用
框架。提供丰富的格式转换、异库链接,数据汇总、计算、数据
汇集、装载入库服务。
④消息中间件应基于队列技术,提供可靠数据传输服务,保
证大数据在网络异常、机器宕机、停电异常等情况确保数据不重、
不漏、不丢。
⑤应用中间件应提供JavaEE架构支撑服务,符合GB/T
26232-2010国家标准。
⑥通用文件共享、交换、传输服务中间件:应提供非结构化
文件交换,满足点对点、路由、业务域、单向、双向、广播的交
换部署要求,提供基于交换任务、交换域的文件到文件、文件到
文件夹、文件夹到文件夹的多排列式交换,支持双向同步交换。
⑦数据交换管理监控系统应提供交换中心、交换接入、中间
件软件、数据交换量的统一监控,并支持用户管理、组织管理、
多维数据交换量统计分析。
通过数据交换与共享平台将各个参建部门的业务信息资源
数据汇总到城市大数据中心,城市级数据交换与共享平台可支撑
多个交换域,从而形成区政务信息资源交换体系框架。利用交换
平台实现异构系统的数据采集、可靠信息传输等功能。
(4)大数据质量管理模块
大数据质量管理模块包含数据质量控制、数据质量评估及数
据稽核管理三部分。
数据质量控制部件支持数据质量规则需求的手动配置和自
动化优化建议,依据历史运行信息自动调整算法、阀值、优先级
建议;支持数据质量执行周期配置;
支持数据质量的数值、波动、平衡性、关联性、一致性监控。
数据评估部件支持数据质量自动化评估,动态出具数据质量报
告、数据质量优化建议报告。数据稽核管理部件支持数据质量稽
核管理规则配置、稽核任务调度配置、稽核结果分析等。
(5)元数据管理模块
元数据与数据目录密切相关,良好的元数据管理是目录管理
的有效基础和前台。
元数据的范围包括数据源数据结构、数据词典、字段维度、
程序映射逻辑、数据生命周期等。
元数据管理包括元数据定义、存储、查询、维护、检查和分
析应用等功能。
(6)数据资源管理模块
数据资源管理模块功能需包括但不限于:模型管理,构建专
业的模型设计器,创建、修改和设计所有数据对象;数据查阅,
构建视觉化数据查阅工具使运管团队高效创建和编辑数据查阅
方案;同步和迁移,保证分布式应用环境下多服务器间数据结构
的一致性、安全性,实现字段对应、代码转换、量纲转换、数据
合并、数据拆分等功能;导入导出,完成从不同格式的文件导入
数据到数据中心,以及数据到各种格式导出控制;计划任务,设
置计划并在指定的时间运行,实现不同数据库在同一批处理作业
中的统一调用;
日志管理,实现日志信息查询统计与分析管理,包括但不限
于:登录登出日志、访问日志、操作日志、日志统计、用户状态
管理;运行监控,平台系统注册服务实时监控、运行平台性能(包
括CPU、内存等使用情况)实时监控和预警。
(7)资源统一调度模块
资源统一调度模块完成数据中心所有数据处理工作的统一
执行调度,统一调度提供以下功能:所有任务统一调度配置、智
能调度运行、资源控制、优先级管理评估、调度策略管控、调度
全面监控、集中的作业告警与错误反馈等;调度管理根据业务需
要可以进行变更;
(8)基础服务模块
城市大数据中心通过基础服务模块对“四平台”提供支撑服
务。基础服务模块实现的服务包括:流程服务、消息服务、检索
服务、报表服务大数据分析组件服务等。
①流务
提供工作流引擎、工作流定义工具、管理控制台及工作单四
部分,并提供标准的API接口。
②消息服务
支持邮件、短信、即时消息、传真等多种方式实现信息通知
服务,并提供标准的API接口。
③检索服务
搜索服务提供搜索的管理能力,以及开发的API规范。提供
基于数据中心开发与运行的所有平台,进行站内搜索的统一支撑
平台。包括索引的建立、权限的控制以及搜索分析等。
表服务
报表服务提供高效的报表设计方案、强大的报表展现能力、
灵活的部署机制,并且具备强有力的填报功能,为应用报表展现
与数据分析提供高性能、高效率的报表解决方案。
报表服务涵盖自定义报表、自定义图表、(一期中先做简单
的报表应用。)自定义指标、自定义维度、数据过滤、多数据源
连接、可视化拖拽、数据导出(Excel、pdf、xml、txt)、信息
加密、自定义SQL、SSL、定时任务。
(9)舆情服务模块
重点针对城市管理、经济运行等方面,提供网络舆情服务,
网络舆情来源于互联网数据采集(包括网页、微博等)并实现不
同的专题分析,实现政府对网络舆情的监测,为政府管理服务提
供数据支撑和依据。投标人需对功能模块进行详细说明。
(10)大数据分析组件服务
大数据分析组件提供高效的多维数据分析模型和数据算法,
为其他数据分析应用提供数据分析服务。该平台实现了分析模型
语义引擎、分析模型构建、结构化和非结构化的大数据分析等组
件服务功能。(一期对大数据分析组件进行简单实现,在二期中
进行扩展)
数据交换通过前置机实现的,前置交换须满足:
支持国家政务信息资源交换体系标准的要求,能满足未来各
种综合协同应用扩展的需要;
支持不同交换信息库之间的双向信息交换。前置交换子系统
能够从交换信息库中提取数据交给交换传输子系统传递,也能够
从交换传输子系统中获取数据存储到指定的信息库或其他数据
库中;
采用应用适配器访问交换信息库,实现对交换信息库中数据
的获取与存储;
提供图形化的服务定制工具,配置、测试、部署服务;
提供详细的错误日志,具备异常的快速定位功能;
5、智慧城市大数据中心门户
智慧城市大数据中心门户整体设计满足SOA架构的要求,实
现数据的松耦合,支持第三方数据应用的二次开发。整个门户系
统由客户端层、应用服务层、应用支撑层和资源层组成,通过多
层体系架构保证系统的可靠性、可扩展性和可伸缩性。用户的各
种应用请求,通过门户网站发送到应用服务层,通过实现应用服
务接口,完成一般性服务的处理功能。如果客户端请求需要后台
支撑服务的支持或访问基础信息资源,应用服务层将调用服务支
撑层和资源层的接口。
智慧城市大数据中心门户的建设要求整合城市大数据中心
(一期)各类服务,体现服务型数据中心的形象、逐步扩展门户
应用功能,建设成为综合性的门户。其主要需要建设的功能模块
如下:
1)首页:包括通知公告、图片新闻、大数据中心应用系
统入口、大数据中心简介、服务相关信息(涉及最新服务、热点
服务、服务动态、政策法规)、委办局数据提交情况、数据成果
展示、地图服务、常见问题解答等栏目信息。
2)走进智慧:包括信息资源中心简介、机构职能、规划
发展、使用流程、管理办法、数据库建库规范、大记事、常见问
题解答等页面信息。
3)信息动态:包括通知公告、服务动态、政策法规等页
面信息。
4)在线信息服务:提供宏观经济、法人等公共基础信息
的在线查询。
5)信息资源目录:在线发布全区的信息资源目录,各委
办局通过资源目录可以查询各部门的信息资源情况。
6)数据成果:包括数据应用、信息资源中心建设成果信
息展示页面。
6、安全体系建设
按照等级保护三级要求对城市大数据中心的安全体系进行
设计与建设,核心数据库(人口基础数据库)满足等级保护三级
要求,其余部分不低于二级等保要求。
制定城市大数据中心信息安全规范,并据此建立符合国际标
准的信息安全保障体系,从物理安全、主机及应用环境的安全、
网络传输安全、区域边界安全、接入安全、CA系统和安全管理
平台等多个方面进行考虑,确保网上信息传输的保密性,建立信
任机制与安全的访问控制,建立监控和安全审计,建立数据资源
的分级访问与管理功能,建立系统安全管理功能。
六、一期非功能性要求
1、总体架构设计要求
(1)规范性
系统设计开发遵循国家标准、工信部有关软件行业的通用规
范、通用的国际规范及各系统间接口标准,保障基础信息数据库
及应用系统之间能够根据业需要实现有效的互连。
(2)开放性
系统设计的各种接口在遵循规范性原则的基础上,保证其可
以集成不同设备厂商、系统或平台供应商、软件供应商的产品;
保证系统的设备管理、系统扩容和业务维护不依赖于单一设备厂
商、系统或软件供应商的产品。
(3)先进性与成熟性相结合
系统设计采用先进成熟的技术和手段,以保障系统具有高
效、全面和稳定等良好品质。系统采用先进成熟的总体构架,数
据采集、整合、应用服务等采用目前主流J2EE、中间件等技术。
(4)实用性
系统设计要切实保证实用性,能够解决项目的实际需求。
(5)可扩展性
系统设计应充分保证系统容量、处理能力和业务范围具有良
好的扩展能力;具有适应业务变化的能力,对于系统用户数量及
业务量的增长、规则或代码的变化、业务单据的变更、业务流程
重组等,应保证业务变化对系统运行不造成影响。
(6)可靠性
保证系统具有较高的可靠性和完善的错误处理机制和自动
失效转移,保证系统能够提供7x24小时不间断访问服务。
(7)易用性
系统设计需要保证系统软件容易使用,一方面是方便各类服
务对象,另一方面是方便系统管理员和业务管理员。功能界面风
格和操作流程一致,突出用户的中心地位,保证用户使用习惯。
(8)可维护性
采用面向服务的架构设计,以及结合动态流程建模,增强系
统的可配置能力。
(9)可移植性
采用J2EE体系统设计,保障系统能跨不同平台进行移植。
(10)可管理性
保证系统应该具有完善的管理机制,保证所选产品应具有良
好的可管理性和可维护性。
(11)安全保密性
保证系统在运营过程中管理的各种信息的安全,保证系统与
其它相关系统信息交换过程的安全;保证系统应用服务的安全。
对系统的操作需严格按照操作权限进行,并对每项操作留下完整
的日志记录备查。
2、整体性能要求
(1)交换体系性能需求上具体要求如下:
对简单的数据量100M以内的数据传输,数据交换能在3秒
内完成从接受请求到处理完成;
数据交换具有较高的稳定性,对10万次以上的连续请求处
理无故障;
数据交换支持数据库、文件、服务的接入,消息队列传输,
以及交换中心数据处理;
对实时或批量的数据交换业务请求给予响应,支持至少10
个并发请求的响应,具备大并发量处理机制,支持实时与批量处
理的均衡调度;
对大数据包的处理,记录量在10万左右,能在10分钟以内
完成交易从接受请求到处理完成。
(2)基础信息库性能栗求如下:
法人库的建设应以十万级法人单位的容量来设计,人口库的
建设应以百万级人口单位的容量来设计,且能足将来数据扩展的
要求;所有公共基础数据库、业务数据库、专题数据库需满足以
下响应要求:
吞吐量(每月数据、量高峰期每日数据量)在保证性能的前
担下,系统设计能满足未来五年的高峰量;
系统不能宕机,响应时间应是即时(W5秒)的,高峰期
最大响应时间不得超过8秒;
事务处理查询时间平均不超过3秒;
普通应用查询时间平均不超过2秒;
统计分析类查询时间平均不超过4秒;
平均时间响应不超过W5秒;
系统运行时峰值服务CPU所占比不超过60%(持续数秒为准,
瞬时不算),内存所占比不超过80%(持续2秒为准,瞬时不算);
移植性要强,能够跨平台运行,能兼容Linux、Windows等
主流操作系统;
应用服务兼容性要强,能够多种应用服务中间件下部署运
行;
样式和脚本要能够兼容多种不同内核浏览器进行访问;
输入输出数据整数精确至个位数,小数至少精确到至百分
位,日期精确到天,时间精确到秒;
可兼容多种数据库;
法人单位基础信息数据库系统的设计必须充分满足以上性
能要求,并在此基础上,结合建设过程中的实际要求做相应提升。
(3)系统稳定性
系统有效工作时间三99%,系统故障平均间隔时间三90天o
(4)故障处理
系统在设计时应充分考虑稳定性及对用户误操作的容错功
能,保证在正常情况下系统能保持长时间无故障运行。对于不可
预见的原因导致的系统故障,提供各种故障处理恢复机制使系统
在尽可能短的时间内恢复运行,保证数据的安全性和完整性。
七、一期项目实施要求
1、系统集成要求
城市大数据中心项目属于智慧“一中心四平台”的核心部
分,项目承建单位需要承担“一中心四平台”项目建设的总集成
角色。
2、项目实施方案设计要求
项目承建方需就项目技术要求的全部内容进行响应,并根据
采购内容编写项目详细实施方案。在项目实施方案中需提出实施
此项目的组织方式、工作机制建议,并设计工作流程和工作计划。
3、施工组织人员要求
在本项目的执行过程中,项目经理要专职于本项目,核心技
术人员要百分之百地投入到本项目中,并且整个项目团队的人员
要相对稳定。
按照项目实施的要求,必须配置相应的项目管理、系统设计、
开发、测试、集成、培训、质量保证等人员,在项目组织中应明
确各岗位的职责,确保工程顺利实施。
参与此项目的核心技术人员必须具有承担过相关软件开发
和相关项目建设经验,能够与政府用户进行良好的沟通,掌握电
子政务业务的相关基础知识,具备相关产品集成、应用和开发的
能力。参与此项目的技术人员必须具有强烈的服务意识和高度的
责任感。
对上述安排供应商应列出详细实施计划,包括人员姓名、学
历和在本项目中的职责分工。
为保证工程顺利实施,组织实施管理和核心人员方面需遵循
下述要求:
组织实施管理。项目承建方必须明确陈述工程组织与管理结
构,包括下述内容:项目管理体制、项目管理组织结构图、项目
管理方法、项目管理所采用的工具、工程人员名单、项目经理和
技术负责人的详细情况说明。
核心人员要求。在建设期内,项目经理、技术负责人必须长
驻工程现场,对工程建设和实施工作中出现的管理、协调和技术
问题及时作出响应并提出具体的意见和解决方案,并负责督促落
实。
调整原则。项目承建方应允许采购方单位的工作人员及运维
机构人员、监理人员自实施工作开始即参与本项目的需求分析、
详细设计、测试、安装部署等工作,并在实施方案中提出协同工
作计划。
4、施工进度要求
项目的总体工期为15个月。项目签订合同后9个月完成项
目初验,试运行6个月完成项目终验。
第1个月,项目启动,制定项目工作说明书、项目总体计划,
召开项目启动会和数据库软件的采购;
第2-8个月,完成深化总体设计、细化实施方案、制定实施
管理的相关制度与管理规范,完成法人、人口、宏观经济、地理
信息四大基础库信息资源梳理工作;完成公共业务基础库建设,
完成大数据共享交换平台的需求、设计、开发、测试和产品部署;
第9个月,完成系统初步验收;
第9-11个月,完成用户培训、试运行推广工作。
第12-L4个月,进一步扩充提升完善法人基础库,优化大数
据共享交换平台;
第15个月,项目最终验收,系统正式运行。
5、施工质量要求
项目全过程要求受监理方的监督管理,项目交付物要求通过
第三方软件测评,实施过程按IS09001质量管理体系,重点抓质
量审计、交付成果的质量检查和软硬件系统测试工作,对工程建
设各阶段进行严格的质量监督与控制。
(1)监理的全过程管理
本项目引入监理制,监理对本项目进行全过程的监督。在项
目组织和实施计划中要考虑到监理要求,实施过程中要积极配合
监理工作,以保证项目实施的进度和质量。
(2)质量审计
文档审计。文档审计是以计划的内容为基础,以目标和方法
为依据、对所作的各种技术工作进行描述,同时提交执行文档,
所有提交审查的记录都将保存作为审计线索。
项目审计。项目质量审计内容包括项目计划、项目管理内容、
实施方法、项目风险与健康性审计。
文档管理。在项目实施过程中,由于项目实施的复杂性,双
方人员参加以及时间跨度长等因素,所以有关需求、建议、解决
方案和结论都必须文档化、标准化,以便查阅和引用。实施文档
应作为项目成果的一个组成部分。
收集的项目文档至少应包括:项目管理文档、客户提交的需
求文档、实施组提交并由客户确认的解决方案文档、客户需求改
变报告和批准书、开发文档、测试方案和测试结果报告、客户签
署的阶段成果确认书、项目总结报告等。
文档管理内容主要包括文档命名标准、文档的版本控制、文
档的批准和存档。
6、实施部署环境要求
区城市大数据中心(一期)工程项目硬件平台统一部署在区
云计算中心,项目承建方应承担系统总集成职责,依据项目的实
际需求情况,提供具体可行的硬件平台设计方案和清单,统筹协
调软硬件的建设。
7、交付成果、测试与验收要求
⑴交付成果要求
①集成实施文档要求
项目承建方在工程实施开始和结束时应向用户提供下述技
术文档:
技术文件:设备和软件安装、运行、使用、测试、诊断和维
修的技术文件。
安装部署计划:成交供应商应提供一个配制计划,包括配置
清单,以及所提供软件、设备的安装指南。
测试文档:成交供应商应提供针对该项目的特点的测试方
案,并提供相应的测试文档。
验收文档:验收时收集各项验收数据,汇总成册,并对所集
成系统进行综合评估。
②软件开发文档要求
成交供应商必须承诺提供本项目建设过程中的完整的技术
文档和使用文档。
所有的技术文件采用简体中文,需要在投标文件中详细列出
拟提交详细文档清单,包括文档提交的计划安排。
a.标准规范文档要求
完成招标文件中要求的全部标
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 二年级上册班务工作计划
- 建筑垃圾清用合同协议
- 石子承包加工合同协议
- 矿沙清洗劳务合同协议
- 造假工程合同协议
- 团队协同合作合同协议
- 坡改梯土承包合同协议
- 砖厂整厂转让合同协议
- 短视频运营转让合同协议
- 监理附加协议合同协议
- GB4053.3-2009固定式钢梯及平台安全要求第3部分:工业防护栏杆及钢平台
- 销售部长助理岗位职责
- ISOTS 22163专题培训考试
- 六年级下册数学课件-第4单元 比例 整理和复习 人教版(共21张PPT)
- JJF(鲁) 142-2022 称重式雨量计校准规范
- Adobe-Illustrator-(Ai)基础教程
- 程序的运行结果PPT学习教案
- 圆柱钢模计算书
- 合成宝石特征x
- 查摆问题及整改措施
- 年度研发费用专项审计报告模板(共22页)
评论
0/150
提交评论