概要设计-数据应用平台

沧州智慧城市建设办公室城市大数据中心建设项目 沧州智慧城市建设办公室城市大数据中心建设项目-数据应用平台概要设计文档V1.0版本修订历史日期作者/修订人章节修改内容版本2018.05.20张广良V1.0目录一、 引言41.1 文档概述41.2 标识4二、 项目概述42.1 项目背景42.2 建设目标5三、 概要设计53.1 系统功能架构53.2 系统技术架构73.3 项目部署设计93.3.1 系统硬件环境93.3.2 系统软件环境93.3.3 系统部署说明93.4 性能设计103.4.1 实时性103.4.2 平均响应速度10四、 安全设计114.1 数据安全114.2 应用安全114.3 物理安全134.4 网络安全144.5 平台安全154.6 终端安全154.7 管理安全162一、 引言1.1 文档概述本概要设计说明书编写的目的是为设计系统提供技术理论以及框架设计支持。本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目评审人员。1.2 标识参考计算机软件产品开发文件编制指南GB/T GB/T 8567-2006二、 项目概述2.1 项目背景2013年，沧州市政府就已明确“智慧城市”发展方向和信息化需求，通过完善城市规划，为“智慧城市”的基础建设预留空间；协调各信息化主体关系，化解信息化推进过程的管理障碍；通过进一步加强“智慧城市”信息化基础建设，为智慧城市建设奠定了坚实的基础。2015年10月，沧州市政府委托国内知名专家规划制定了沧州市智慧城市建设顶层设计，以国家智慧城市试点建设为契机，综合运用物联网、云计算、大数据等现代科学技术手段，发挥沧州市资源、港口、交通、特色文化及产业经济优势，通过3-5年努力，完善城乡基础设施，促进资源共享，实现基础设施智能化；建立完善的现代城市管理、产业融合发展体系，创新城市管理与发展，提升城市管理水平；以人为本，提升公共服务水平，促进社会事业进步与发展，城乡人民物质文化生活水平显著提高；遵循“优一强二增三”的产业发展思路，做强支柱产业，培育发展战略性新兴产业和现代服务业，促进产业结构调整，提升提高经济发展水平；形成智慧城市运营和服务体系，保障城市人口、经济、资源、环境和社会全面协调可持续发展。2017年9月，沧州市委、市政府成立了沧州市统筹推进信息化建设领导小组，统筹推进全市信息化建设工作，促进数据资源整合、共享、开放，提高社会治理能力和公共服务水平，同时推进我市实体经济数字化、网格化、智能化，推动网络信息技术产业健康快速发展。2017年，沧州市委市政府先后出台一系列政策文件，推动全市信息化建设和信息产业发展，加快沧州市城市大数据中心建设正是进一步推进新型智慧城市建设，落实市委市政府决策的有力抓手。2.2 建设目标本项目要实现以下两个目标：一是通过沧州市城市大数据中心统筹沧州市信息资源管理，实现城市信息资源的有效整合与集成，推进沧州市信息资源交换、共享、整合及服务，为各行业智慧应用系统提供全面、及时、准确的信息服务，满足政府管理、企业生产经营和居民生活对信息资源的要求。同时，将满足各业务垂直部门与上级主管部门系统间的互联互通要求。二是智慧城市与共享交换平台将全面整合与之相关的各行业的智慧化应用系统，将其业务、数据、流程进行全面的融合，为企业和市民提供融合、专业化的政务与智慧城市应用服务。沧州云计算产业定位为沧州市人民政府重点投入和发展的战略新产业，致力于构建和打造云计算产业可研投入、运营服务、基础设施配套三位一体的产业集群。本项目建设内容依托于沧州市云计算产业基地，充分利用已有的云环境部署沧州城市大数据中心的各平台、各系统，实现统一规划，统一指导；统一协同，资源共享；安全可靠，高效易用；并存过度，逐步整合的建设原则和策略。三、 概要设计3.1 系统功能架构从平台内部视角看，沧州市智慧城市建设办公室城市大数据中心包含云基础设施层、数据资源支撑、应用支撑、业务应用、服务渠道、服务对象以及支撑体系部分，其总体架构如下图所示：基础设施层包括虚拟化的网络环境、主机、存储、安全设备以及系统软件、监控调度等基础服务环境，通过对基础设施的云化技术为服务提供透明的运行环境。本项目由沧州市智慧城市建设办公室城市大数据中心提供基础环境支撑。数据资源支撑层基于数据管理及交换，实现信息资源的采集、存储、管理，构建四大基础信息库和专题信息库，通过信息资源目录系统进行数据资源管理，通过数据开放平台进行数据流通。应用支撑层基于SOA架构，提供对整个平台的基础服务功能，同时提供构建业务应用的组件和架构支撑。PaaS服务平台:提供业务开发环境及开发工具，能够快速构建新应用，主要包括：开发平台、版本仓库、沙箱测试环境、缓存服务、流程服务、管理组件、自动化部署、应用运行引擎、镜像仓库。业务支撑平台：资源管理、资源图谱、资源活化系统、数据可视化系统、运营运维、运维管理等功能；基础服务：基于开放平台不断的构建通用组件，供沧州市智慧城市建设办公室城市大数据中心创建各类应用系统时直接调用，较低开发难度，提高通用性。包括用户认证、消息网关等服务功能。业务应用层主要包括大数据管税、经济运行、精准招商、精准扶贫、多规合一、低保核查、小升初、对接电子车标库。服务渠道层提供从外部访问平台的通道，包括Web网站。服务对象层实现平台最大化地服务于政府、企业、个人及运营/运维人员。支撑体系包括支撑平台运行的安全体系、标准体系、运维体系，保障了平台按照国家和地方结合的业务标准、技术标准、安全标准等进行平台技术服务、平台应用拓展、平台运行等相关规范化管理以及安全可靠的运行，实现平台最大化地服务于公众。3.2 系统技术架构沧州市智慧城市建设办公室城市大数据中心技术架构由以下几部分组成：云基础设施考虑到系统的外围环境包括各种服务商和政府部门，网络层的设计支持互联网、移动互联网和专网的接入模式。硬件层采用云计算IAAS的架构，将主机和存储作为资源池管理，应用虚拟化技术动态地创建虚拟主机环境支撑软件系统运行，使系统具有高度的可扩展性。数据存储信息资源是沧州市智慧城市建设办公室城市大数据中心建设的主线，它涵盖所有的结构化和非结构化数据。平台采用关系型数据库（MySQL）、NOSQL（HBase）技术和分布式存储（HDFS）技术实现各类数据的存储和访问。平台通过对用户在平台上的数据以及活动信息的记录、梳理和抽象，利用建模技术形成整个城市的数字化映像。基础服务平台为运行于其上的应用和服务提供底层的平台服务，通过这些服务，应用和服务可以完成复杂的逻辑。基础服务包括缓存、消息和任务调度等。平台基于Spark和Flume实现对用户访问的大数据处理计算。服务运行引擎在服务运行引擎的设计中，平台采用稳定高效的Linux作为操作系统，通过docker技术实现系统资源（CPU、内存、硬盘）的应用隔离，提高资源利用率，降低TCO（整体IT投入成本）；在之上支持Java、PHP和Ruby等主流开发语言的应用运行环境，实现对各种类型应用的统一运行管理和动态弹性伸缩特性。在应用框架方面，平台支持Spring、iBatis/Hibernate、ThinkPHP和Rails等框架的应用开发和运行。应用的运行容器，平台支持Tomcat、Equinox（OSGi容器）和Apache/Nginx。渠道平台渠道管理平台采用了以下技术：负载均衡：采用DNS、LVS和Nginx实现应用系统访问的负载均衡，提高系统的负载能力和可靠性。缓存系统和CDN系统：通过对静态内容的缓存，提高系统的性能和处理能力，并可大幅节约系统网络带宽。单点登录：采用CAS单点登录系统，实现平台内部系统间以及平台与外部系统的单点登录，提高用户体验。终端平台采用两种终端实现技术：基于浏览器的终端和基于本地客户端的终端。基于浏览器的终端采用HTML5/CSS3技术，运用响应式布局设计，实现多种终端的自适应。基于本地客户端的终端支持iOS/Android等智能设备。安全为保障沧州市智慧城市建设办公室城市大数据中心的安全，平台在各层都采用了相应的安全技术：云基础设施安全：采用防火墙、入侵检测和防病毒等技术保障基础设施安全。数据安全：采用数字签名和加密技术保障数据存储和访问的安全与隐私保护。应用安全：采用RBAC授权模型实现对用户权限的控制，保障应用访问安全。客户端安全：采用U盾、证书和令牌等技术，提高用户认证的安全性。3.3 项目部署设计3.3.1 系统硬件环境名称推荐硬件指标数量Web服务器32G内存，8核CPU，1T存储空间2应用服务器32G内存，8核CPU，1T存储空间2数据库服务器64G内存，8核CPU，2T存储空间23.3.2 系统软件环境客户端操作系统：Windows XP或者Windows 7等。客户端浏览器：IE7以上以及Chrome等主流浏览器。服务器端操作系统：Ubuntu14.04或者Redhat7.1，内核版本为3.10.0及以上。Java虚拟机：JDK1.7.0_79数据库：MySql Server 5.1或以上版本，字符集为UTF-8。IAAS：采用vSphere管理软件或者独立的虚拟化管理软件。具体软件信息需求已经报送到本项目服务器提供商华为云，由华为云最终确认整体软件环境。3.3.3 系统部署说明部署人员要求安装人员应具备以下技能：l 熟练使用Linux常用命令，了解shell脚本；l 懂得使用SSH工具连接到Linux环境进行应用程序的部署；l 对网络知识有一定了解。3.4 性能设计3.4.1 实时性（1）要能保证对目录中所涉及的数据获取具有实时性和灵活性，数据的更新方式和频率可以定制，如人工触发获取或程序自动获取，获取的频率如10分钟一次（在网络保证的条件下，结合原系统的承受能力）；（2）系统的性能设计满足对该系统在用户数，响应速度，系统在线并发等性能的需要；3.4.2 平均响应速度（1）平均响应速度在上述部署要求下，支持1000用户同时在线操作，并能支持100用户并发；（2）复杂查询类平均响应时间小于2秒钟；（3）统计分析类平均响应时间小于3秒钟；（4）查询基础数据库（精确匹配）的响应时间不大于5秒；（5）查询单个数据主题（百万级）的响应时间不大于5秒；（6）目录数据的本地查询响应时间不大于3秒；（7）查询统计报表（非实时统计）的响应时间不大于5秒；（8）数据服务系统的本地响应时间不应超过4s，应用服务系统的响应时间不应超过10s。（9）系统需稳定、可靠、安全、实用。信息传递灵活快捷，人机界面友好，图表生成灵活美观，输出、输入方便，检索、查询简单快捷。四、 安全设计4.1 数据安全1、数据完整性能够检测到系统管理数据、鉴别信息和重要业务数据在传输过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。能够检测到系统管理数据、鉴别信息和重要业务数据在存储过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。2、数据保密性采用加密或其他有效措施实现系统管理数据、鉴别信息和重要业务数据传输保密性。采用加密或其他保护措施实现系统管理数据、鉴别信息和重要业务数据存储保密性。3、数据备份与恢复1) 提供本地数据备份与恢复功能， 完全数据备份至少每天一次，备份介 质场外存放。2) 提供异地数据备份功能，利用通 信网络将关键数据定时批量传送至备 用场地。3) 采用冗余技术设计网络拓扑结 构，避免关键节点存在单点故障。4) 提供主要网络设备、通信线路和 数据处理系统的硬件冗余，保证系统 的高可用性。4.2 应用安全1、身份鉴别1) 提供专用的登录控制模块对登录用户进行身份标识和鉴别。2) 对同一用户采用两种或两种以上组合的鉴别技术实现用户身份鉴别。3) 提供用户身份标识唯一和鉴别信 息复杂度检查功能，保证应用系统中 不存在重复用户身份标识，身份鉴别信息不易被冒用。4) 提供登录失败处理功能，可采取结束会话、限制非法登录次数和自动退出等措施。5) 启用身份鉴别、用户身份标识唯 一性检查、用户身份鉴别信息复杂度 检查以及登录失败处理功能，并根据 安全策略配置相关参数。2、访问控制1) 提供访问控制功能，依据安全策略控制用户对文件、数据库表等客体的访问。2) 访问控制的覆盖范围应包括与资源 访问相关的主体、客体及它们之间的 操作。3) 由授权主体配置访问控制策略， 并严格限制默认帐户的访问权限。4) 授予不同帐户为完成各自承担任务所需的最小权限，并在它们之间形成相互制约的关系。5) 具有对重要信息资源设置敏感标 记的功能。6) 依据安全策略严格控制用户对有敏感标记重要信息资源的操作。3、安全审计1) 提供覆盖到每个用户的安全审计 功能，对应用系统重要安全事件进行审计。2) 保证无法单独中断审计进程，无 法删除、修改或覆盖审计记录。3) 审计记录的内容至少应包括事件的日期、时间、发起者信息、类型、描述和结果等。4) 提供对审计记录数据进行统计、查询、分析及生成审计报表的功能。4、剩余信息保护1) 保证用户鉴别信息所在的存储空间被释放或再分配给其他用户前得到完全清除，无论这些信息是存放在硬盘上还是在内存中。2) 保证系统内的文件、目录和数据库记录等资源所在的存储空间被释放或重新分配给其他用户前得到完全清除。5、通信完整性采用密码技术保证通信过程中数 据的完整性。6、通信保密性1) 在通信双方建立连接之前，应用系统应利用密码技术进行会话初始化验证。2) 对通信过程中的整个报文或会话过程进行加密。7、抗抵赖1) 具有在请求的情况下为数据原发者或接收者提供数据原发证据的功能。2) 具有在请求的情况下为数据原发者或接收者提供数据接收证据的功能。8、软件容错提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的数据格式或长度符合系统设定要求。提供自动保护功能，当故障发生时自动保护当前所有状态，保证系统能够进行恢复。当应用系统的通信双方中的一方在一段时间内未作任何响应，另一方应能够自动结束会话。能够对系统的最大并发会话连接数进行限制。能够对单个帐户的多重并发会话进行限制。能够对一个时间段内可能的并发会话连接数进行限制。能够对一个访问帐户或一个请求 进程占用的资源分配最大限额和最小限额。能够对系统服务水平降低到预先 规定的最小值进行检测和报警。提供服务优先级设定功能，并在 安装后根据安全策略设定访问帐户或请求进程的优先级，根据优先级分配系统资源。4.3 物理安全1、环境安全：场地、机房的温度、湿度、照明应满足一定条件，供电系统24小时运转，并有防盗系统、防静电、防辐射的相关保护。2、设备安全：设备防火、防水、物理损害措施；设备防火灭火正常检查；设备定期检查火灾隐患；供暖系统、空调等保障；设备电源保障；数据传输线路维护与保障；主机等设备保障；可移动数据保障；存储介质维护；磁盘磁带库访问的介质的维护等。3、媒体安全：信息消除技术、介质的消毁技术需达到国家相关标准。4、容灾备份：计算机系统分布在不同的地理位置，当灾难发生时，不会使整个系统失效。4.4 网络安全1、内网和外网间的边界防护在条件允许的情况下，实现保密内网与外网的物理隔离，从而将攻击者、攻击途径彻底隔断。即使在部分单位，内网、外网有交换数据的需求，也必须部署安全隔离和信息交换系统，从而实现单向信息交换，即只允许外网数据传输到内网，禁止内网信息流出到外网。2、对核心内部服务器的边界防护内网中常包括核心服务器群、内网终端两大部分，核心服务器保存着大部分保密信息。为避免内网终端非法外联、窃密者非法获取核心服务器上的保密数据，就要实现核心服务器与内网终端间的边界防护。感染木马时，核心服务器的边界安全网关能够阻止终端的越权访问，并检查是否含有木马，然后进行清除。3、防止不安全的在线非法外联内网与外网的连接点必须做到可管、可控，必须有效监控内网是否存在违规拨号行为、无线上网行为、搭线上网行为，避免内用户采取私自拨号等方式的访问互联网而造成的安全风险。4、防止离线非法外联或不安全的接入行为要限制终端设备，如PC机、笔记本，直接接入并访问内网区域，对于不符合安全条件的设备(比如没有安装防病毒软件，操作系统没有及时升级补丁，没有获得合法分配的IP地址或离线外联过)，则必须禁止进入。5、木马病毒的查杀和检测能力由于内部网络中的计算机数量很多，要确保网络中所有计算机都安装防木马软件，并实施实施统一的防木马策略。防木马软件至少应能扫描内存、驱动器、目录、文件和Lotus otes数据库和邮件系统；具备良好的检测和清除能力；支持网络远程自动安装功能和自动升级功能。6、系统自身安全防护木马在主机中的隐藏、执行和攻击最后都是体现在操作系统层面。要确保操作系统及时升级，防止漏洞被木马和病毒利用。在及时升级操作系统的基础上，要实时对计算机进程、访问端口的进行监控，以及时发现异常与木马；同时要有注册表防护手段，保障木马不能修改系统信息，从而使木马不能隐藏与自动运行。4.5 平台安全系统将应用于多种平台系统，需对不同的操作系统具备可运行性和可兼容性。系统需建立安全