概要设计-数据管理平台

沧州智慧城市建设办公室城市大数据中心建设项目 沧州智慧城市建设办公室城市大数据中心建设项目-数据管理平台概要设计文档V1.0版本修订历史日期作者/修订人章节修改内容版本2018.05.20李斌V1.0目录1 引言11.1 文档概述11.2 引用文档11.3 标识12 项目概述12.1 项目背景12.2 建设目标23 概要设计23.1 系统功能架构23.1.1 统一安全子系统33.1.2 元数据管理子系统43.1.3 数据集成子系统43.1.4 运维监控子系统53.2 系统技术架构63.2.1 总体技术架构63.2.2 前端开发框架73.2.3 服务端开发框架73.2.4 微服务架构73.2.1 大数据技术83.2.2 数据集成技术83.3 项目部署设计93.3.1 系统硬件环境93.3.2 系统软件环境103.3.3 系统部署说明103.4 性能设计114 安全设计124.1 数据安全124.2 应用安全124.3 物理安全144.4 网络安全154.5 平台安全164.6 终端安全164.7 管理安全1731 引言1.1 文档概述本概要设计说明书编写的目的是为设计系统提供技术理论以及框架设计支持。本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目评审人员。2 项目概述2.1 项目背景2013年，沧州市政府就已明确“智慧城市”发展方向和信息化需求，通过完善城市规划，为“智慧城市”的基础建设预留空间；协调各信息化主体关系，化解信息化推进过程的管理障碍；通过进一步加强“智慧城市”信息化基础建设，为智慧城市建设奠定了坚实的基础。2015年10月，沧州市政府委托国内知名专家规划制定了沧州市智慧城市建设顶层设计，以国家智慧城市试点建设为契机，综合运用物联网、云计算、大数据等现代科学技术手段，发挥沧州市资源、港口、交通、特色文化及产业经济优势，通过 3-5年努力，完善城乡基础设施，促进资源共享，实现基础设施智能化；建立完善的现代城市管理、产业融合发展体系，创新城市管理与发展，提升城市管理水平；以人为本，提升公共服务水平，促进社会事业进步与发展，城乡人民物质文化生活水平显著提高；遵循“优一强二增三”的产业发展思路，做强支柱产业，培育发展战略性新兴产业和现代服务业，促进产业结构调整，提升提高经济发展水平；形成智慧城市运营和服务体系，保障城市人口、经济、资源、环境和社会全面协调可持续发展。2017年9月，沧州市委、市政府成立了沧州市统筹推进信息化建设领导小组，统筹推进全市信息化建设工作，促进数据资源整合、共享、开放，提高社会治理能力和公共服务水平，同时推进我市实体经济数字化、网格化、智能化，推动网络信息技术产业健康快速发展。2017年，沧州市委市政府先后出台一系列政策文件，推动全市信息化建设和信息产业发展，加快沧州市城市大数据中心建设正是进一步推进新型智慧城市建设，落实市委市政府决策的有力抓手。2.2 建设目标数据管理平台提供数据梳理、数据管理、服务监控、政务数据协同、数据服务集成、运行支撑、IT运维功能。3 概要设计3.1 系统功能架构数据管理平台从总体架构设计上保证了平台在系统规模与业务场景上的先进性和可扩展性。全平台采用基于X86硬件的全分布式架构，可按需方便地进行水平扩展（ScaleOut）和弹性伸缩。平台由多个可插拔的独立系统组成，系统间松耦合，采用标准服务化接口进行互通。除必选系统外，其它系统可根据需要灵活选择和独立安装部署。功能架构图 3.1.1 统一安全子系统统一安全子系统主要由数据管理、身份认证和访问控制、数据保护、网络安全、平台基础安全五大功能模块组成。统一安全功能架构图数据管理，通过与元数据管理系统结合，实现数据的读写、元数据编辑等权限的访问控制。身份认证和访问控制，通过SSO和用户权限模型，实现多个子系统间的单点登录，和系统界面菜单访问控制。数据保护，通过加密计数和kerberos安全套件，实现操作系统和物理存储安全。网络安全，通过加密技术实现数据传输安全。基础安全，提供安全审计方面的功能功能支持。3.1.2 元数据管理子系统元数据管理子系统，主要包括元数据管理、元数据展现和数据资源三大子模块。元数据管理包括数据系统注册、元数据管理、数据关系管理、版本管理。元数据展现包括数据地图和元数据查询。数据资源包括元数据资源目录和资源权限管理。元数据功能架构图3.1.3 数据集成子系统整个数据集成系统主要包括云化数据集成系统（CloudETL）和前置机系统。云化数据集成系统承担数据集成的任务调度、流程配置、任务分发和执行、过程监控、异常处理等工作；前置机系统主要承担用户侧和数据源侧的数据缓存、接口对接、采集控制等工作，前置机系统主要用在推模式的数据集成时。3.1.4 运维监控子系统运维监控子系统主要包括运维管理平台和服务器Agent，实现集群管理、软件安装、配置管理、服务监控等功能模块。3.2 系统技术架构3.2.1 总体技术架构大数据处理系统设计遵照高可用、高可扩展性、高安全性的设计思想，共分为数据源层、采集层、处理层、接口层、应用层五层。技术架构图1、数据源层数据源主要包括来自网格化数据、部门数据、市政务服务热线数据、市政府舆情数据、新区一号通数据、人民网地方领导留言板数据、政府信箱数据、人民来信等数据。2、采集层采集层主要通过网络获取、接口采集、日志采集等方式进行数据的采集。3、处理层处理层主要负责数据仓库的构建和数据的整合。由于不同数据源，存在不同的结构和模式，表现为数据的异构性。对多个异构的数据集，需要ETL做进一步集成和整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，加载入Hadoop和MPP平台。4、接口层接口层主要基于接口进行远程服务调用。5、应用层应用层主要对结果分析进行应用和展示。3.2.2 前端开发框架前端框架采用 ReactJS，界面元素采用组件化方式开发，兼容chrome和Firefox。3.2.3 服务端开发框架服务端采用SpringMVC+iBatis框架，通过SpringMVC的Controller发布rest api，与前端react js框架交互。3.2.4 微服务架构平台各子系统独立开发部署，采用dubbo微服务架构实现消息和数据的传递。3.2.1 大数据技术大数据技术采用Hadoop产品集，版本上选择拥有Apache License的社区版和ambari版本。3.2.2 数据集成技术数据集成采用Kettle和Spark技术，依据Kettle插件开发要求，开发数据管理平台所需数据采集和数据转换组件。3.3 项目部署设计3.3.1 系统硬件环境名称推荐硬件指标数量Web服务器32G内存，8核CPU，1T存储空间2应用服务器32G内存，8核CPU，1T存储空间3数据库服务器64G内存，8核CPU，2T存储空间2Hadoop服务器64G内存，16核CPU，4T存储空间5数据集成服务器32G内存，16核CPU，4T存储空间33.3.2 系统软件环境名称版本Mysql5.6.x以上DM数据库7.0以上操作系统器CentOS6.5，64位JDKOracle JDK8，64位数据管理平台1.0.03.3.3 系统部署说明1、部署人员要求安装人员应具备以下技能：l 熟练使用Linux常用命令，了解shell脚本；l 懂得使用SSH工具连接到Linux环境进行应用程序的部署；l 对网络知识有一定了解。2、部署网络拓扑为保证在不连接互联网的情况下，所有软件能正常安装，服务器集群需要一台服务器做软件中心仓库（Yum私服）。需要一台服务器做安装运维监控系统UniOM Server。在集群其他服务器上安装代理服务UniOM Agent。组网示意图3、部署流程采用可视化方式，通过系统向导功能实现一键式安装部署。3.4 性能设计系统平均响应时间能够满足系统并发压力负载性能需要。在中等负载及网络环境许可下，各种操作的响应时间要求如下：（1）平台要求提供标准的 API 接口规范和消息接口规范，支撑外部业务应用系统的统一接入；（2）查询基础数据库（精确匹配）的响应时间不大于 5秒；（3）查询单个数据主题（百万级）的响应时间不大于 5秒；（4）目录数据的本地查询响应时间不大于 3秒；（5）查询统计报表（非实时统计）的响应时间不大于 5秒；（6）数据服务系统的本地响应时间不应超过 4s，应用服务系统的响应时间不应超过10s。4 安全设计4.1 数据安全1、数据完整性能够检测到系统管理数据、鉴别信息和重要业务数据在传输过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。能够检测到系统管理数据、鉴别信息和重要业务数据在存储过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。2、数据保密性采用加密或其他有效措施实现系统管理数据、鉴别信息和重要业务数据传输保密性。采用加密或其他保护措施实现系统管理数据、鉴别信息和重要业务数据存储保密性。3、数据备份与恢复1) 提供本地数据备份与恢复功能， 完全数据备份至少每天一次，备份介 质场外存放。2) 提供异地数据备份功能，利用通 信网络将关键数据定时批量传送至备 用场地。3) 采用冗余技术设计网络拓扑结 构，避免关键节点存在单点故障。4) 提供主要网络设备、通信线路和 数据处理系统的硬件冗余，保证系统 的高可用性。4.2 应用安全1、身份鉴别1) 提供专用的登录控制模块对登录用户进行身份标识和鉴别。2) 对同一用户采用两种或两种以上组合的鉴别技术实现用户身份鉴别。3) 提供用户身份标识唯一和鉴别信 息复杂度检查功能，保证应用系统中 不存在重复用户身份标识，身份鉴别信息不易被冒用。4) 提供登录失败处理功能，可采取结束会话、限制非法登录次数和自动退出等措施。5) 启用身份鉴别、用户身份标识唯 一性检查、用户身份鉴别信息复杂度 检查以及登录失败处理功能，并根据 安全策略配置相关参数。2、访问控制1) 提供访问控制功能，依据安全策略控制用户对文件、数据库表等客体的访问。2) 访问控制的覆盖范围应包括与资源 访问相关的主体、客体及它们之间的 操作。3) 由授权主体配置访问控制策略， 并严格限制默认帐户的访问权限。4) 授予不同帐户为完成各自承担任务所需的最小权限，并在它们之间形成相互制约的关系。5) 具有对重要信息资源设置敏感标 记的功能。6) 依据安全策略严格控制用户对有敏感标记重要信息资源的操作。3、安全审计1) 提供覆盖到每个用户的安全审计 功能，对应用系统重要安全事件进行审计。2) 保证无法单独中断审计进程，无 法删除、修改或覆盖审计记录。3) 审计记录的内容至少应包括事件的日期、时间、发起者信息、类型、描述和结果等。4) 提供对审计记录数据进行统计、查询、分析及生成审计报表的功能。4、剩余信息保护1) 保证用户鉴别信息所在的存储空间被释放或再分配给其他用户前得到完全清除，无论这些信息是存放在硬盘上还是在内存中。2) 保证系统内的文件、目录和数据库记录等资源所在的存储空间被释放或重新分配给其他用户前得到完全清除。5、通信完整性采用密码技术保证通信过程中数 据的完整性。6、通信保密性1) 在通信双方建立连接之前，应用系统应利用密码技术进行会话初始化验证。2) 对通信过程中的整个报文或会话过程进行加密。7、抗抵赖1) 具有在请求的情况下为数据原发者或接收者提供数据原发证据的功能。2) 具有在请求的情况下为数据原发者或接收者提供数据接收证据的功能。8、软件容错提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的数据格式或长度符合系统设定要求。提供自动保护功能，当故障发生时自动保护当前所有状态，保证系统能够进行恢复。当应用系统的通信双方中的一方在一段时间内未作任何响应，另一方应能够自动结束会话。能够对系统的最大并发会话连接数进行限制。能够对单个帐户的多重并发会话进行限制。能够对一个时间段内可能的并发会话连接数进行限制。能够对一个访问帐户或一个请求 进程占用的资源分配最大限额和最小限额。能够对系统服务水平降低到预先 规定的最小值进行检测和报警。提供服务优先级设定功能，并在 安装后根据安全策略设定访问帐户或请求进程的优先级，根据优先级分配系统资源。4.3 物理安全1、环境安全：场地、机房的温度、湿度、照明应满足一定条件，供电系统24小时运转，并有防盗系统、防静电、防辐射的相关保护。2、设备安全：设备防火、防水、物理损害措施；设备防火灭火正常检查；设备定期检查火灾隐患；供暖系统、空调等保障；设备电源保障；数据传输线路维护与保障；主机等设备保障；可移动数据保障；存储介质维护；磁盘磁带库访问的介质的维护等。3、媒体安全：信息消除技术、介质的消毁技术需达到国家相关标准。4、容灾备份：计算机系统分布在不同的地理位置，当灾难发生时，不会使整个系统失效。4.4 网络安全1、内网和外网间的边界防护在条件允许的情况下，实现保密内网与外网的物理隔离，从而将攻击者、攻击途径彻底隔断。即使在部分单位，内网、外网有交换数据的需求，也必须部署安全隔离和信息交换系统，从而实现单向信息交换，即只允许外网数据传输到内网，禁止内网信息流出到外网。2、对核心内部服务器的边界防护内网中常包括核心服务器群、内网终端两大部分，核心服务器保存着大部分保密信息。为避免内网终端非法外联、窃密者非法获取核心服务器上的保密数据，就要实现核心服务器与内网终端间的边界防护。感染木马时，核心服务器的边界安全网关能够阻止终端的越权访问，并检查是否含有木马，然后进行清除。3、防止不安全的在线非法外联内网与外网的连接点必须做到可管、可控，必须有效监控内网是否存在违规拨号行为、无线上网行为、搭线上网行为，避免内用户采取私自拨号等方式的访问互联网而造成的安全风险。4、防止离线非法外联或不安全的接入行为要限制终端设备，如PC机、笔记本，直接接入并访问内网区域，对于不符合安全条件的设备(比如没有安装防病毒软件，操作系统没有及时升级补丁，没有获得合法分配的IP地址或离线外联过)，则必须禁止进入。5、木马病毒的查杀和检测能力由于内部网络中的计算机数量很多，要确保网络中所有计算机都安装防木马软件，并实施实施统一的防木马策略。防木马软件至少应能扫描内存、驱动器、目录、文件和Lotus otes数据库和邮件系统；具备良好的检测和清除能力；支持网络远程自动安装功能和自动升级功能。6、系统自身安全防护木马在主机中的隐藏、执行和攻击最后都是体现在操作系统层面。要确保操作系统及时升级，防止漏洞被木马和病毒利用。在及时升级操作系统的基础上，要实时对计算机进程、访问端口的进行监控，以及时发现异常与木马；同时要有注册表防护手段，保障木马不能修改系统信息，从而使木马不能隐藏与自动运行。4.5 平台安全系统将应用于多种平台系统，需对不同的操作系统具备可运行性和可兼容性。系统需建立安全机制，采用安全技术建立防火墙、防止网页篡改、防止病毒入侵。4.6 终端安全为了防止不安全的在线非法外联、离线非法外联或不安全的接入行为，必须把终端防护系统与其它网关防护技术结合起