数据中台建设汇报方案

数据中台建设汇报方案1 1 1 1 2 3 3 4 4 4 6 6 7 8 9 10 12 15 16 17 17 18 18 19 19 1《公安信息资源服务平台建设任务书》（公科信[2014]73号，公安部科信管的细：通过大数据支撑跨部门跨系统的应用建设，实现“大数据综合治架构总体上是一种服务化的架构，各服务模块间弱耦合。每个模块对外当、符合逻辑的问题拆解，将每个子问题域控制在合适的粒度大小，这利于展开落地方案的架构设计，并为系统的运行演化奠定了模块化、组件化的指层间通信契约稳定的前提下，各层均可独立的进行种松耦合的逻辑设计与实现，在部署架构上，可以种不同的模块部件，可以按需地分布在相同或者不A．兼容各个电子系统，收集整理数据。近几年，随着信息化建设的推动和B．手工整理资源。各个部门信息化建设时总会有些数据资源被落下，特别信息资源与业务密切相关的特点要求信息资源整合方法应适应业务和信息保证工程的先进性和可靠性，符合国家、省、市电子3.促进信息资源共享。促进单一数据视图的形成，支持管理信息能力4.消除各部门间的数据壁垒，方便数据的共享，另外数据标准同样对（1）分局现有存量数据的数据接入：该部分数据主要是依托大数据基础平（2）现有业务系统不断新增的生产数据的数据治理：该部分数据的处理根务系统开放webservice接口，设置相关的访问规则，然后通过该数据接口进行（3）市公安局同步的数据，根据市局接口的要求，针对性的对每种数据开随着客户/服务器（Client/Server）技术的成熟和大型关系型数据库为了保证数据库的一致性和完整性，设计人员往往会设计过多的表间关联对父表（ParentTable）和子表(ChildTable)的插入、更新、删除操作均要占（Check）来防止系统操作人员误输入造成数据的错误是设计人员的另一种常用事务是在一次性完成的一组操作。虽然这些操作是单个的操作，Oracle数物理设计阶段的主要任务是对数据库中数据在物理设备上的存放结构和存元数据存储模块集中存储了各个数据源的技术元数据（由数据源注册而元数据完整性检查的主要目的是保证所有必选的元数据实体和元数据元素已经数据服务是数据清洗系统中最核心的部分，由于采用了面向服务的架构（SOA），对数据的操作全部被包装成服务的形式，数据服务种类的多少决定了据字段之间一对多，多对一，以及多对多的映射关系。底层使用XSLT数据比对服务系统主要解决不同数据集合间的数据比对问题。系统基于J2EE架构，提供了数据转换与加载、数据预处理、比对规则设置、比对引擎、（2）用户数据建模，规划定义比对数据的原始数据结构、比对数据库表结（1）定义规则：用户利用工具集定义数据过滤、数据比（1）定义原始数据文件：确定原始数据文件类型、数据结构。（2）数据比对规则配置：定义数据比较的规则，如比较的字段项、比支持所有的ODBC或JDBC兼容数据库，包括Oracle、Sybase、Informix、题性质和关联关系的表。主要包含三个功能模块：a、行筛选。b、列筛选。c、专题目标库按照数据的业务分析研判使用习惯，包括“涉恐重点人员专题用于描述存储其他数据中心开放共享和局方开放给其他数据中心共享的各类数产品能够分析多种类型的数据源，包括国内外主流的数据库Oracle/MySQL/SQLServer/DB2/Sybase/Netezza/HIVE/HBase/神通/达梦/金仓/产品提供完全基于web方式的管理和配置，可以提供多种校验维度，包括同时，系统提供“数据质量评估统计结果”，“数据质量分数走势图”和数据服务是敏捷的数据虚拟化平台产品，可以将共享数据通过通过实时统一的数据访问入口提供数据服务，一方面可以屏蔽共享异构数据的复杂性，同时也大幅降低了传统硬编码共享接口的工作量，此外，数据服务系统应具备完善的权限控制整合智能数据中台的数据服务能力，快捷的将已应用访问使用，服务于各业务系统。提供数据服管理，并面向应用开发者提供数据服务申请、授务资源管理既可以注册由本地数据仓库服务接口系统应采用业界先进的设计理念和成熟的技术路线。架构设计遵循自主可控、安全、高效、开放、稳定的原则，确保整个产品平台的安全性、高效性、易用性、可扩充性和可维护性。其系统功能架构执行引擎：在执行引擎中，系统具备完善的适配模块，可以适配国内外主流的关系型数据库、扩展支持文件数据源以及NoSQL数据源等。用户可以依托产品提供的各功能模块完成数据接口封装，权控制台：控制台负责为用户提供多种管理和监控功能，包括API接口调用情况的监控、API接口维护管理、用户管理和元数据管第三方接口：系统提供了种类丰富的第三方服务接口，包括APIGateway接口以及服务集成类的接口等。通过上述服务接口，用户可以在第三方系统中进行产品的集成和二次开发，以满足用户不同产品具备国内外各类主流数据库的访问能力，包括Oracle、支持基于国际通用的ODataV4.0标准发布RESTAPI标准接产品既可以针对单表的应用场景发布共享服务接口，也可以针对多表关联的复杂场景，提供数据服务接口的封装，并提供查询、插入、修改和删除等功能。此外，针对多级嵌套的关联查询场景，允许设定数据资源项是否隐藏：针对数据资源中的某一项，管理员用户级别权限控制：针对同一个接口，管理员可根据不同的申产品能够以白名单的形式控制IP地址访问权限，不在IP地址白名单内产品将用户对数据服务的调用时间、调用行为、调用结果、客户端IP和统一数据服务系统具备如下特点:集中的服务开放门户:提供集中的能力服务门户，提高能力使用效率，降低统一的服务分享平台:统一汇聚已有的数据和能力，形成汇总视图，供内外统一的能力出入口:快捷的将已有能力授权给外部应用访问使用，是整个数标准化的能力支撑平台:构建数据服务能力、应用服务能力、消息服务能力（1）参与信息交换的政务部门负责建立交换桥接系统（业务系统接口系），（2）跨部门信息交换协同应用牵头部门负责对经过信上传/下载的方式实现集中式交换。发送数据时，利用信息交换交换中心的数据上传网站，部门将需要交换的信息以XML、文本文件、EXCEL文（2）交换前置机：由操作系统、前置交换信息库、信息交换通讯（3）前置交换信息库：各参与交换部门及交换中心之间共享信息双向（5）数据交换桥接：由部门业务应用信息库到前置交全面的可视化图形库，同时支撑2D呈现能力，支撑静态服务调用可视化展示:可呈现近一天、近一周、近一月的各类服务类型的调建立全局大数据基础支撑平台，包括Hadoop大数据分布式架（4）全文检索：提供实时检索服务，基于ElasticSearch的全文检索引必须是采用当前先进且成熟技术的，具备分布式集群扩展能力的数据管理数据中心应有强大的处理能力，应遵循主流大数据处理架构（Hadoop架），），能够支持多计算节点并行处理，支持的大数据组件包括DFS、Hive、Spark、HBase、Sqoop、ZooKeeper、ELK、Kafka、Flume、Pig、Mahout、HAWQ、PXF、支持灵活的数据备份/恢复功能，支持多数据副本，单一磁盘损坏时，数据应提供软件容错机制，包括数据库、日志镜像、自动恢复和集群机制，具平台软硬件系统平均无故障运行时间（MTBF）≥2000小时，平均故障修复应支持集群服务节点扩容功能，支持集群中节点的存储扩容功能，支持自提供统一的图形化数据中心管理工具，可对数据中心网络上的硬件平台和要求保证投标产品为当前主流产品，并保证系统用户访问性能：用户并发数≥500；要求系统能迅速的对用户响应，在峰值网络连接情况下，响应时间≤3秒。峰值网络连接情况下，发送、接收5M文件数据检索性能：要求对文件或数据的全文检索；3秒内返回检索结果；数据可视化展现性能：数据可视化前端展示页面，要求