城市大脑：新型智慧城市运营指挥中心建设方案

图X中应用支撑层的内容。3、城市信息服务门户将城市针对企业和居民的服务进行汇聚，以WEB门户、移动APP、政务大厅、热线服务、自助终端方式对外提供。4、城市运营管理门户一般以大屏展现和终端展现方式提供给城市管理者，来监视城市运营状况，支持静态挖掘分析和动态运行监视。建设内容建设大数据交换平台、大数据挖掘分析平台、中间件能力平台、城市信息服务门户、城市运营管理门户。1、大数据交换平台（1）数据共享交换平台对于视频类数据和非视频类数据，共享交换平台的处理方式有所差异。对于非视频类的数据共享交换平台包括中心服务器系统和前置机系统。对于视频的共享和交换有视频共享交换平台提供。1）前置机前置机是部署在各委办局数据库侧，用于连接各委办局数据库。前置系统主要负责数据的采集、清洗、转换、装载、规则管理和传输等功能，它决定了整个系统的数据质量优劣和价值大小。图X2前置机的组成——前置交换模块由交换前置服务器、交换信息库和交换适配器等组成。前置交换模块与应用单位业务应用系统之间隔离，保证应用单位业务信息库和业务应用系统的独立性。交换信息库是为实现信息交换而建立的中间存储信息库，交换信息库中包括提供和接收的交换信息。交换服务：支持多个交换服务并发运行，通过提供图形化的交换服务配置工具，进行配置、测试、部署交换服务，提供远程部署功能。前置交换系统是交换域的边界，实现交换域与应用单位业务系统的隔离。前置交换环境由传输适配器、管理监控接口、安全加密模块等部分组成，是交换服务的运行容器。安全加密服务提供基本的数据加密功能，保证信息传输过程中的安全。交换前置环境提供管理监控接口，交换管理监控系统通过管理监控接口对交换前置环境进行监控。前置交换功能包含：支持交换信息库与交换传输系统间的双向信息交换。交换传输系统能够从交换信息库中提取数据交给交换传输系统传递，也能够从交换传输系统中获取数据存储到交换信息库；支持各种主流操作系统；支持国内外主流数据库；采用传输适配器接入到交换传输系统；传输适配器应支持HTTP和HTTPS信息传送协议；采用适配器访问交换信息库，实现对交换信息库中数据的获取与存储；提供图形化的交换服务配置工具，配置、测试、部署交换服务，应提供远程部署功能；支持多个交换服务并发运行；提供管理与监控接口，支持远程管理与监控的功能。——交换桥接模块应用单位业务信息库与前置交换信息库之间的信息交换接口，以实现两个信息库之间的实时同步。该模块牵涉业务系统，需要原业务系统开发商配合提供交换系统所需要通用格式数据，供交换系统处理。桥接服务：是利用桥接服务配置工具，组装适配器组件，以完成一个应用单位数据采集并存储至交换共享库的服务程序。提供增量数据自动识别的功能。在不修改业务信息库结构的情况下，系统应能够自动识别出需要交换的信息，包括新增、被修改或被删除的信息。桥接系统由桥接服务运行环境、桥接配置工具、桥接管理、应用适配器等部分组成。桥接服务运行环境是桥接服务的容器，桥接服务是利用桥接服务配置工具组装应用适配器组件以完成一个数据桥接流程的服务程序。桥接服务运行环境提供日志管理、安全管理、适配器管理等基本功能。桥接服务配置工具提供图形化的配置系统，通过配置业务信息库或共享信息库与交换信息库之间桥接内容映射规则生成桥接服务描述信息。主要功能包括：支持两个桥接对象之间的双向信息同步，即支持应用单位业务信息库或共享信息库与交换信息库之间的双向信息同步；支持各种主流操作系统；支持国内外主流数据库；支持结构化文件、非结构化文件；采用适配器组件访问桥接对象，实现数据的获取与存储；提供增量数据自动识别的功能。在不修改业务信息库结构的情况下，系统应能够自动识别出需要交换的信息，包括新增、被修改或被删除的信息；提供图形化的信息交换桥接配置及管理工具，支持桥接指标定义、处理、桥接管理等功能；支持多个桥接任务或服务的同时运行，应支持桥接服务的动态和远程部署；应提供系统管理与监控、日志管理功能。2）中心服务器中心服务器是数据共享交换平台的主要部分，其部署在数据中心里。其提供包括交换管理、目录管理、组件开发环境、统一部署、监控管理、安全管理等平台公共应用支撑服务。——交换传输模块根据部署的交换流程，实现应用单位前置交换信息库之间的信息处理和稳定可靠、不间断的信息传递。该模块可支持现有多种交换中间件产品的集成，也可选择内置传输模式完成数据传输。交换传输系统是用来构建前置交换系统之间安全、可靠、稳定、高效的信息交换通道，实现信息的打包、转换、传递、路由、解包等功能。——ETL管理当资源提供者是中心，中心发布目录后，资源数据在中心需要落地。系统提供一套数据采集系统将各委办局的数据进行过滤、转换并存入中心的共享信息库中。是一套标准的ETL流程。ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）。数据采集的对象分为两大类：结构化的数据和非结构化的数据。结构化数据根据来源又分为两类：来源于委办局数据库结构获取的数据，委办局提供的结构化文件，这类数据需要经过标准的ETL过程入中心库。非结构化数据的ETL过程相对比较简单，目前只需要从委办局下载到中心指定位置。按照处理数据的格式，分为两类任务：非结构化数据采集任务、结构化数据采集任务。结构化数据采集任务流程：中心发布目录，目录对应的资源数据存储在中心的资源共享库、主题库。中心定时或者用户触发ETL流程，将数据经过采集、下载、解压、清洗、转换、比对、入库的步骤，完成从委办局数据源->前置采集机->中心数据库表的数据采集流程。任务采集粒度为一张中心表对应一个结构化采集任务。非结构化数据采集任务流程：中心发布目录，目录对应的资源数据存储在中心指定位置。中心定时或者用户触发ETL流程，将数据经过采集、下载的步骤，完成从委办局数据源->前置采集机->中心的数据采集流程。任务采集粒度为一个指定位置对应一个非结构化采集任务。图X3ETL任务——元数据管理基于信息资源目录管理的元数据维护在清晰描述信息自身含义的基础上，还清楚的描述了信息的存取方法，为后期的数据抽取做好准备。3）视频共享交换平台视频资源是城市动态监管的重要手段，运营指挥中心必须获取视频数据。视频监控是现代城市管理的重要手段，公安、城管、旅游、农业、林业等部门都希望能够拥有和使用视频资源；现在公安、交通、以致社会上的学校、银行等单位也有视频资源，公安在社会治理等方面也需要这些视频资源。视频共享是解决这个问题的最佳也是成本最低的方案。——接入方案接入方式有三种，和已有视频平台对接、模拟视频对接、DVR视频对接。已有视频平台对接方案如下图所示：图X4网关接入已有视频平台模式原有社会第三方数字监控平台，通过信令网关与媒体网关的形式接入到视频监控共享平台，达到对已建数字监控平台的控制和图像资源联网整合。在接入数字视频监控平台时，需要第三方平台厂家进行配合，进行信令网关和媒体网关的简单开发工作。这种方式的优势主要在于灵活，由于信令和视频都集中到服务器（群）上处理，可以进行灵活控制，可以方便的实现私网穿越，平台集中转码，以及网络优化等。——接入标准联网方式与规范——统一编码标准应遵循国家标准GB/T28181或国际标准ONVIF统一的编码标准要求。——统一联网协议局联网系统内部进行视频、音频、数据等信息传输、交换、控制时，应遵循国家标准GB/T28181统一的通信协议要求。——设备接入统一规范视频监控系统建设严格按照GB/T28181或ONVIF标准来进行设计、建设。为了便于对不同厂家的监控产品的兼容，系统需满足GB/T28181或ONVIF的控制基本要求。——交互功能设计区域视频监控网络系统是指其中的监控资源、用户终端、监控中心等通过联网单元进行SIP协议转换，实现视频监控网络系统之间的互联互通、资源共享，主要实现以下几个基本功能：——实时图像获取浏览：源联网单元能获取目的联网单元经授权的实时图像并进行播放，实时流应采用联网单元的逐级转发；——历史图像获取查询：目的联网单元能按指定摄像机和时间段向源联网单元查询所管辖的历史图像索引。点播：目的联网单元应能通过查询得到的历史图像索引点播源联网单元的历史图像，对历史图像的回放过程进行控制，包括开始、停止、暂停、快速和慢速播放、拖动等，采用联网单元的逐级转发。下载：目的联网单元能通过查询得到的历史图像索引下载所需要的源联网单元的历史图像。——事件管理支持报警等事件预订功能。支持报警等预订事件的通告功能。支持报警等事件的处理功能。——时钟同步联网单元支持NTP网络时钟协议，实现时钟同步功能。——媒体传输基本要求媒体流在联网系统IP网络上传输时可以支持RTP传输，RTP的负载应采用如下两种格式之一：基于PS封装的视音频数据或视音频基本流数据。媒体流的传输应采用RFC3550规定的RTP协议，提供实时数据传输中的时间戳信息及各数据流的同步；应采用RFC3550规定的RTCP协议，为按序传输数据包提供可靠保证，提供流量控制和拥塞控制。——安全性要求在低安全级别应用情况下，应采用基于口令的数字摘要认证方式对设备进行身份认证；在高安全级别应用情况下，应采用基于数字证书的认证方式对设备进行身份认证。——流程和接口规范范围涉及平台各网元在实现主要业务功能时的流程和接口，主要业务功能包括实时媒体访问、前端/平台录像的存储/查询/回放/下载。——媒体流封装格式媒体流在IP网络上传输时须支持RTP协议，媒体流须采用PS格式或直接RTP负载方式封装。——视频编解码格式联网系统中视频编码格式应采用H.264、SVAC或MPEG-4视频编码标准，不准添加编码标准规范格式之外的私有数据。视频解码必须同时支持H.264、SVAC或MPEG-4标准。——音频编解码格式在联网系统中，音频编码须采用ITU-TRec.G.711编码格式，也可同时支持G.722.1或G.723.1或G.729等音频编码标准；音频解码必须同时支持ITU-TRec.G.711、G.723.1和G.729音频解码标准，可扩展支持ITU-TRec.G.722.1音频解码标准，见国标GB/T28181-2011附录E。——信令流程和协议接口联网系统中各级联网平台必须具备注册/注销、实时视音频点播、设备控制、网络设备信息查询、状态信息报送、设备视音频文件检索、历史视音频回放、历史视音频文件下载、校时等信令。——视频共享交换功能共享平台提供的主要视频共享及管理功能如下图所示：图X5视频共享交换平台功能功能分为：管理功能、业务功能、其它功能。管理功能主要是：用户&权限管理、认证、设备管理功能。业务功能主要是：实时图像监控、多画面监视、多画面轮巡等功能。其它功能主要是：结合电子地图、对视频进行智能分析等。2、数据挖掘分析平台数据挖掘分析平台包含大数据存储子系统和数据挖掘分析子系统两部分，其中两部分是松耦合，没有统一的架构。具体功能点由两部分分别介绍。（1）大数据存储子系统大数据存储子系统的软件架构如下，图中蓝色标的为大数据存储子系统。图X6大数据存储子系统框架平台主要包括以下几部分：计算存储层：作为数据的载体，提供稳定高效的海量数据存储以及供上层访问的数据接口，数据包括实时数据和非实时数据。公共管理：对平台中的各组件进行统一管理，包括安全管理、日志管理、告警管理、平台监控、服务管理、主机（节点）管理等。外部系统有两个，分别为：数据采集层：负责从多个数据源采集数据，可对数据进行清洗和转换，把外部系统的数据转换成适合本系统存储和分析的格式，并装载到存储层。分析挖掘层工具：根据业务需求，对数据进行分析和处理，挖掘数据背后的价值。

1）计算&存储层大数据平台计算存储层主要包括HDFS、MR、Yarn、HBase、Hive、Zookeeper、Impala、CEP、Spark、Hue等组件，各组件功能详细介绍如下。HDFS是构建在廉价的PC机器上的分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件等等。MapReduce是构建在廉价机器上的分布式处理模型和运行环境。用于大规模数据集（大于1TB）的并行运算。MapReduce是一个新的抽象模型，使我们只要执行简单计算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个计算框架里，在做并行编程时不必关心它们。Yarn是下一代MapReduce框架MRv2，是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。Hive是一个建立在Hadoop上的数据仓库框架，提供了一个方便的数据集成、特殊查询以及建立在Hadoop文件上的大规模数据分析。可以将结构化的数据映射成数据库中的表，同时提供类似SQL的操作语句用来对数据进行操作，Hive的类SQL语句会映射为Hadoop的MapReduce任务进行运行，性能相对数据库性能要低。Hive处理的数据一般都是TB、PB级别。HBase是分布式面向列的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，HBase使用HDFS作为底层存储，同时使用MapReduce支持批处理模式的计算和随机查询。利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。Zookeeper提供分布式高效的协作服务以及分布式锁这样的原子操作，可以用来构建分布式应用。是Hadoop系统中的一个主要组件，它能为HDFS、HBase、MapReduce、Yarn、Hive等组件提供重要的功能支撑。在分布式应用中，通常需要Zookeeper来提供可靠的、可扩展的、分布式的、可配置的协调机制来统一各系统的状态。Impala是一个实时交互SQL大数据查询工具，通过使用与关系数据库中类似的分布式查询引擎，可以直接从HDFS或者HBase中用Select，Join和统计函数查询数据，降低延迟。Hue是方便用户和Hadoop集群进行交互的Web应用ComplexEventProcessing(复杂事件处理)是一种基于事件流的技术，主要是企业面对大量业务时间需要快速响应的要求而推动的新兴领域，它将系统数据看作不同类型的事件，通过分析事件间的关系，建立不同的事件关系序列库，利用过滤、关联、聚合等技术，最终由简单事件产生高级事件或商业流程，主要特点是大吞吐量的流式数据实时处理。Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。2）系统监控管理系统监控管理提供丰富的图形化工具对HDFS、hbase、hive、mapreduce、oozie、impala、zookeeper各组件运行状态进行监控，通过对CPU、空间、任务状态等的监控了解系统运行状况，支持通过设置门限，进行状态告警。（2）数据挖掘分析子系统数据挖掘分析具备特点如下。——组件化、工具化数据挖掘设计的目标之一就是要适应不同的、复杂的应用和部署场景。作为一个基础、通用的支撑功能，要与使用方尽量减少耦合性。数据挖掘内部的各类功能作为一个组件存在，外部系统以服务接口的方式使用其功能。而不要求上层应用与数据挖掘功能使用同一个基础平台。——场景应用为导向数据挖掘给上层的应用提供算法，同时更高层次的面向主题的分析套件。这些面向主题的分析套件是本数据挖掘套件的一个核心竞争力。——组件和工具兼容除面向主题的分析套件种类外。当客户面对一个新的领域问题时，通过可视化的工具快速帮助客户从大量数据中分析问题、发现价值。通过一个能使用灵活、快速反馈的工具进行支撑。这时需要需要使用细粒度的算法支撑。——开放性本分析套件，通过接口可与其他商业的数据分析工具通过消息中间件配合使用，譬如：使用SAS的高级文本聚类分析功能，分析结果通过适配器发送到中间件上，进行下一步的分析工作。数据挖掘分析子系统的软件架构如下，图中蓝色标的为数据挖掘分析子系统。图X7数据挖掘分析子系统框架1）挖掘建模数据挖掘建模八步法指：业务理解、指标设计、数据提叏、数据探索、算法选择、模型评估、模型収布、模型优化。图X8数据挖掘建模流程图2）OLAP多维分析组件OLAP多维分析针对特定的分析主题，设计多种可能的观察形式，设计相应的分析主题结构，使管理决策人员在多维数据模型的基础上进行快速、稳定和交互性的访问，并进行各种复杂的分析和预测工作。通过OLAP组件，能够实现数据的直观、易于导航的多维视图，提供多维视图的数据组织、管理与多维分析。能够钻取详细数据，也能进行多维数据和详细数据的混合分析。能够将分析结果输出为Excel、HTML、文本文件等多种类型的文件，也能为脱机的独立分析人员建立分析数据子集；支持图形化界面，可提供面向服务的工作流编排；提供丰富的函数，可自由扩展，便于二次开发。模型管理包含立方体管理和模型管理两个功能，立方体管理提供立方体模型数据的定义，模型管理提供模型文件的导入、删除功能。在Olap分析中支持切片、钻取、Topn图形显示等功能。3）自定义报表组件生成和操作报表的分析服务组件，它通过报表生成器生成模板，并根据模板对抽取的数据进行加工渲染，主要用于生成固定格式的报表和数据结果集，通常通过Web方式在线展现给分析人员，是数据分析展现常用的工具。该组件能够提供数据排序、数据过滤、报表间数据钻取、潜入/引用其他资源、支持链接等报表操作功能，同时也提供直观的管理界面、快速开发环境、报表定制、拖放、函数计算等报表设计功能。4）挖掘算法分类：分类是一种重要的数据分析形式，将一组数据输入分类器，分类器能够判断该数据所属的类别。聚类：聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。聚类训练的核心思路是“物以类聚”，聚类算法的核心是要定义一个相似性计算方法，通过相似性计算方法计算任意两个样本间的相似性，然后根据相似性值大小将相似性高的调整到一个类别中，而将相似性低的调整到不同的类别中。主题模型：主题模型常应用在自然语言处理领域的统计模型，用来从一系列文档中发现文档的主题。主题模型的核心是计算不同的关键词在同一篇文章中“同现”的概率，在不同文章中“同现”概率高且稳定的关键词组合背后往往隐藏着一定的抽象主题。预测：预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。关联规则：关联分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。5）文本分析文本分析分析框架，选择遵循OASISUIMA标准的开源框架ApacheUIMA作为IE框架，整个信息抽取的过程就是不断对原始文本进行分析增加标注的过程，标注的增加代表了从原始非结构化的自然语言文本中不断抽取出结构化/半结构化信息的过程。ApacheUIMA（UnstructuredInformationManagementArchitecture下面统一简称为UIMA）是一个组件式的自然语言处理框架，支持多种形式的自然语言处理流程（包括常用的Pipeline），这个框架的目的是为非结构化分析提供一个通用的平台，可以根据不同的应用需求，开发不同的分析组件（UIMA称为AnalysisEngine，简称AE），通过UIMA框架可以将不同的分析组件串联起来，对给定的文本进行标注，构成一个完整的分析流程。3、中间件能力平台（1）业务协同组件业务协同组件是整合ESB企业服务总线和BPM流程管理软件平台，主要应用于系统流程管理、数据共享等场景。通过ESB实现不同系统互联互通，通过BPM流程实现跨系统的流程定制管理，以适应快速变化的管理需求，节约资源。业务协同组件架构如下图所示，主要由协同支撑中心（ICT）、流程协同中心、服务协同中心、协同管理中心、协同监控中心、界面协同中心、可视化协同开发部署等7个大的协同中心构成。协同支撑中心：为业务协同提供基础支撑，提供服务器框架、WEB容器、界面组件、安装升级、分发框架、界面框架方面的功能。流程协同中心：由过程仓库、规则引擎、过程实例、流程历史、模型仓库、任务实例等组成，主要负责业务流程的存储、调度、执行，为协同管理中心和协同监控中心提供管理和监控的服务，还可为基于业务协同组件开发的应用模块提供流程相关的服务。服务协同中心：由服务路由、事物管理、消息转换、适配框架、消息代理、消息传输、MQ消息队列、订阅框架等模块组成。是现有业务系统对外提供服务的关键，业务系统可将需要提供的服务在服务协同中心进行注册后供服务使用者使用。协同管理中心：协同管理中心是对流程协同中心和服务协同中心中运行的流程、任务、服务的管理，包括表单管理、模型管理、业务规则、任务管理、流程追溯、授权管理、审批管理、特殊流程、部署管理、服务管理等模块组成。协同监控中心：协同监控中心是对基于业务协同组件开发的应用系统、流程协同中心、服务协同中心中运行的流程、任务、服务的状态、效率、异常事件、日常日志的监控与管理。由性能监控、告警监控、系统监控、日志管理、流程监控、服务监控、流程探针、状态监控等模块组成。可视化协同开发部署：即workbench工作台，是一个针对工程、开发人员的IDE开发环境，工程、开发人员可基于workbench进行业务流程的定制、流程中使用的业务规则定制、业务协同的服务定制、服务的路由与转换定制，同时还可以将定制结果进行调试、打包和部署。界面协同中心：即portal，是将各业务系统的界面进行整合，避免业务流程审批过程中在不同业务系统间来回切换导致用户体验下降的功能。界面协同中心应具备单点登录的功能。（2）基础业务组件基础业务组件提供方便应用开发的能力组件，包括但不限于：GIS能力组件、统计分析组件、报表组件、通讯能力组件等。利用这些组件可以方便上层应用的开发，这些业务组件也为业务编排和调度管理、应急通信等提供了基本能力。这些基础业务组件都能被业务协同组件和能力开放组件所使用。（3）能力开放组件能力开放组件依托运营指挥中心中的大数据计算存储平台、数据共享交换平台、大数据分析挖掘平台的基础