信息共享交换平台项目建设方案报告.doc_第1页
信息共享交换平台项目建设方案报告.doc_第2页
信息共享交换平台项目建设方案报告.doc_第3页
信息共享交换平台项目建设方案报告.doc_第4页
信息共享交换平台项目建设方案报告.doc_第5页
已阅读5页,还剩29页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

范文范例参考信息共享交换平台建设方案TONGTECH2014目录1.建设目标32.建设原则33.平台架构43.1平台总体逻辑架构图43.2平台功能架构图63.3部署拓扑图74总体技术要求94.1基础支撑软件选型94.2技术路线要求94.3总体性能需求115.建设内容115.1数据共享交换子系统115.2共享数据目录管理子系统255.3共享数据管理子系统265.4平台服务门户275.5安全保障建设295.6标准规范建设306投资概算311 .建设目标项目的建设目标是在政务信息规划整体框架下,依托现有政务网络资源,建设覆盖全市所有政府部门的信息共享交换平台(以下简称“平台”),建立相关部门信息资源的互联互通和共享的管理制度,规范相关系统、数据、技术接口形式,形成可持续发展的运行长效机制。通过平台建设,可以打通分散在政务外网、政务专网的各应用系统之间实现信息交互,为“政务主题应用”服务,满足合肥信息资源中心建设需要。并可以为基于城市级人口、法人、空间地理形成城市基础信息库、专题信息库,为经济建设和社会发展提供辅助决策提供服务。 2 .建设原则平台作为合肥信息资源中心跨部门业务协同的重要基础设施,在建设实施过程中应遵循标准性、安全性、稳定性、可扩展性等原则。建设标准上应遵循国家和行业信息化建设有关标准及要求,体现以下原则:(1). 标准性设计应该遵循相应的国际、国内、地方或行业标准。按照国标GB/T 21062政务信息资源交换体系、GB/T 21063政务信息资源目录体系、GB/T 28168消息传输等相关规范,以及当前国际主流的Webservice、SOA参考架构等进行设计,并建立数据交换标准规范体系,保障平台可靠稳定长效运行。(2). 安全性项目建设应对数据、应用的安全性进行充分考虑,充分利用接入系统认证、用户角色管理、数据加解密、服务安全认证、签名验签、操作事后审计、内外网不同网段之间等安全技术手段确保平台安全可靠运行。(3). 稳定性为保障平台的稳定可靠运行,平台建设的底层核心技术是关键。核心技术必须是经过多年验证应用的成熟技术,必须采用成熟、稳定、可靠的商用中间件技术支撑软件。(4). 可扩展性随着合肥信息资源中心建设的逐步推进,接入系统类型和部门逐步增多,平台必须支持大规模运行需要,并随着业务应用发展进行接入量、并发量的动态扩展,不影响已完成平台的运行。(5). 易用性平台建设充分考虑面向用户的易用性,将底层技术核心进行二次封装,采用B/S架构实现数据交换的Web配置、共享数据目录和共享服务的B/S注册管理及调用。3 .平台架构3.1 平台总体逻辑架构图平台采用多层体系架构设计,通过基础支撑和功能应用子系统实现遵循SOA体系的、分层的、松耦合、服务化的先进性设计。不但有利于保证平台的业务无关系和相对独立性,使平台和业务分离开来,独立于各部门业务应用系统之外,而且有利于保证平台的先进性、灵活性、稳定性、可用性和可扩展性,有利于平台的快速建设实施、迅速应用见效。平台总体框架如下图所示: 合肥信息资源中心信息共享交换平台为应用系统、数据资源、其他平台、委办局专网应用系统数据集成服务。总体架构分为基础设施层、信息资源层、平台支撑层、应用服务层、标准规范体系、安全保障体系和平台服务门户七大部分。1) 基础设施层基础设施层主要包括平台建设所需的网络环境、服务器、存储及其他设备,基础设施支持基于云计算的虚拟化技术,确保为平台提供稳定可靠的硬件环境,是支撑平台正常运行所必须的重要物理设施。2) 信息资源层信息资源层实现数据存储管理,平台提供前置库服务、元数据库、数据目录库、共享信息库等信息资源。3) 平台支撑层平台支撑层是平台的核心技术模块,平台建设所需的JavaEE应用服务器中间件为平台和平台应用管理提供基础运行环境支撑;数据集成中间件、集成适配器、消息中间件、数据集成中间件ETL等所需的关键技术及中间件软件。4) 应用服务层共享交换应用服务层主要由数据共享交换子系统、共享数据目录子系统、共共享数据管理子系统组成。为平台提供所需的交换、数据目录及共享库等功能。5) 标准规范体系平台需要建设统一的标准规范体系,涵盖数据、技术、管理三个维度,是平台各系统得以顺利建设和长效运行的保障。6) 安全保障机制确保平台安全运行的保障机制,信息安全贯穿于平台的各个层面,平台各子系统的建设都必须具有相应安全保障措施,以保确保信息资源安全、应用系统安全、用户权限安全。7) 平台服务门户提供一个共享服务统一出口,实现平台用户管理、各子系统的应用集成,并实现数据目录的条件查询和共享服务的发布和申请,对于平台的专题库将可以提供多种展现方式包括统计报表、指数指标、柱状图、饼状图、折线图等多种方式。3.2 平台功能架构图平台将面向基础支撑、数据交换服务、数据资源共享服务、信息共享库管理提供包括基础支撑中间件、平台服务门户、数据共享交换子系统、共享数据目录子系统,以及共享信息库功能模块。功能架构如下: (1). 平台服务门户:平台服务门户依托数据共享交换平台和信息资源面向平台用户实现信息资源访问、共享利用和使用。可以使得数据资源得到有效整合和标准化,规范信息系统和数据交换与共享过程,使信息交换、信息共享、信息展现、信息服务走上一个新的台阶。(2). 数据共享交换平台:平台按照GB/T 21062政务信息资源交换体系(国标)总体框架标准规范设计,包括交换中心、交换前置、交换传输、交换管理模块。在设计上平台基于发布、订阅理念,将每一个交换资源先共享服务化管理,再进行订阅交换管理,实现了共享与交换的相辅相成、相互继承的问题。同时基于基础支撑中间件实现B/S的浏览器交换流程配置、管理监控,快速提升平台的易用性。(3). 共享数据目录系统:平台通过元数据管理实现了数据资源目录管理,解决了基础资源库的规范描述,方便业务数据描述清晰。(4). 共享信息管理系统:共享信息库主要交换平台为了提供公共数据服务,通过数据交换实现公共数据集成,并可以实现数据加工比较,结合数据目录实现结构管理,集合共享目录服务实现共享资源服务发布。(5). 安全机制:作为合肥信息资源中心安全体系的有机组成部分,重点强调数据安全和应用安全。数据安全包括传输加密解密、数据共享服务安全控制、数据分级、数据存储备份机制。应用安全包括用户访问权限、服务共享授权、平台操作审计等安全机制。(6). 基础支撑中间件:整个平台基于中间件技术进行平台建设,涉及到集成中间件集成中间件适配器、消息传输中间件、数据集成Etl、JEE应用服务器等,为平台提供稳定可靠的底层支撑。3.3 部署拓扑图平台采用中心前置机模式部署,既可以支持传统数据中心模式,也可以支持部署云中心模式。平台统一部署在云计算中心,与政府部门之间通过政务外网联接,并建立备份区域和DMZ区域。云计算IaaS环境提供平台运行的软件硬件设施环境,包括提供服务器、存储等基础设施的虚拟化服务,以及对外提供信息共享的云服务。信息共享的云服务属于PAAs平台层:平台对外提供的信息以Web服务的方式构建成信息云服务模式,以适应外部访问压力的需求,满足按需即时的信息共享服务需求。数据目录、服务目录、指标等属于数据中心应用。部署结构按照传统模式,部署示意图如下:服务器建议配置如下: 序号部署部署配置要求数量1共享交换中心平台管理系统DXP、平台服务门户、平台数据目录、共享信息管理、应用服务器TWEB建议选择高端PC Server,8核2CPU 64G以上内存;主流操作系统2台负载均衡2数据库服务器建议选择高端PC Server,8核4CPU 64G以上内存;主流操作系统、ORACLE数据库2台RAC3交换中心服务器建议选择高端PC Server,8核4CPU 64G以上内存;主流操作系统1台4数据加工处理服务器建议选择高端PC Server,8核4CPU 64G以上内存;主流操作系统1台5部门公用前置机建议选择高端PC Server,8核4CPU 64G以上内存;主流操作系统1台6接入部门前置机建议选择高端PC Server,4核1CPU、8G以上内存;主流操作系统1套、数据库1套。8台7互联网接入前置机建议选择普通PC服务器,4核1CPU、8G以上内存;主流操作系统及数据库各1套1台4 总体技术要求4.1 基础支撑软件选型第 一 章第 二 章第 三 章第 四 章l 操作系统:核心业务运行采用Linux平台,管理监控采用Windows平台。l 数据库:使用Oracle、SQLserver用户比较熟悉的大型、先进、成熟的数据库系统。l 中间件软件:使用国内主流、成熟稳定的集成中间件及适配器、数据集成Etl、消息中间件和JavaEE应用服务器中间件产品,且为了方便运维,采用统一品牌。4.2 技术路线要求4.2.1 Java EE规范为了保证高可用性、高可靠性和可扩展性,系统必须要选择支持强大的企业级计算的成熟的技术路线。能够满足这些条件的技术首推JAVA EE企业标准。JAVA EE5.0是目前最主流的企业级平台支撑技术,已成IT领域的国际工业标准。合理运用JAVA EE技术、标准和产品,可以构建具有企业级高可用性、高稳定性、高可靠性和高可扩展性的信息共享交换平台系统。JAVA EE技术的基础是JAVA语言,JAVA语言的与操作系统平台无关性,保证了基于JAVA EE平台开发的应用系统和支撑环境可以跨平台运行。4.2.2 SOA的体系架构SOA(Service Oriented Architecture,简称SOA),即面向服务的体系架构,提供了一种构建IT组织的标准和方法,并通过建立可组合、可重用的服务体系来减少IT业务冗余并确保信息系统的可持续发展以及快速构建。 SOA的实现对技术没有限制。SOA是关于共享和管理服务的结构,对所采用的技术只需要满足规范和项目需要就可以。虽然Web服务协议是创建和部署SOA架构的主要方式和标准,但是可以使用其他技术。SOA可以节省组织成本,包括重复利用已存在的软件作为服务,以及增强改变IT方案适应需求变革或灵活性的能力。SOA对兼容性的需求完全处在松耦,可以通过在项目实施过程中为创建和部署大多数SOA提供的端到端解决方案解决兼容性问题。4.2.3 ESB企业服务总线 ESB(Enterprise Service Bus,简称ESB),即企业服务总线,是SOA的骨干,在完成服务的接入,服务间的通信和交互基础上,还提供安全性、可靠性、高性能的服务能力保障。采用SOA架构,基于ESB总线进行信息系统集成,信息系统之间的交互通过ESB服务总线进行,这样可以降低应用系统之间的耦合度,消除应用系统之间技术的差异,化解点对点集成瓶颈,降低集成开发难度,提高模块复用,增进系统开发和运行效率,便于业务系统灵活重构,快速适应业务及流程变化需要。4.2.4 WEB数据集成技术通过WEB数据集成技术可以支持跨地域、跨部门、跨层级的数据交换技术支撑体系的快速建设。基于JMX标准,便于简化统一管理接口,并扩展管理功能,同时方便开放API供用户访问。支持多种部门交换模式,包括内部交换模式、同级部门交换模式、上下级部门交换模式。提供了一个B/S的可视化的统一管理,配置,部署,监控界面。用户可通过此平台,进行节点管理,数据共享发布,发布资源查询,发布资源订阅,对配置的部署,运行和和监控。支持组织机构、操作人员、交换设施、交换资源、交换模式、交换流程、交换安全等管理配置。支持数据点对点交换、发布/订阅(一对多、多对一等)交换、定时交换、实时交换等。支持中心、前置机的集中统一配置管理监控,使得上级可以帮助下级单位创建部署新的交换流程。提供了基于浏览器的管理控制台,能够对平台节点、发布/订阅资源、进行状态查询和监控管理。4.2.5 消息传输控制技术数据交换平台的SOA架构要支持主流消息中间件。消息中间件支持智能路由、采用灵活的消息路由方式、支持基于消息内容的处理和路由、提供发布/订阅功能、支持队列和主题两种订阅模式、提供可靠的数据或消息传输、支持开放的通讯协议。支持实时消息通讯,可以支撑万级传感器消息并发处理。4.2.6 ETL数据集成技术ETL 是Extract(抽取)、Transform(转换)、Load(加载)首字母的缩写。ETL 早期作为数据仓库的关键环节其逐渐演化成数据集成的独立解决方案。ETL数据集成技术提供包括数据清洗过滤、数据验证、高可靠性等重要特性,主要提供数据抽取、数据转换、数据加载功能。数据抽取即从源数据源系统抽取目的数据源系统需要的数据;数据转换即将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载即将转换后的数据装载到目的数据源。4.3 总体性能需求l 提供基于ESB 和消息可靠传输的集群和灾备恢复能力l 提供数据加工处理ETL毫秒级响应l 提供批量数据的异步通信机制,确保大数据并发处理l 支持4GB及以上的大文件传输,对于大文件可以实现文件分割传送,并且在异常情况下有相应的补救措施。确保数据交换不重传、不漏传、不错传,平台能够满足较大规模数据传输要求。l 单条数据(2K字节以内)传输周期小于500ms,10000条数据(共2M字节以内)5分钟完成。l 数据采集速率30000条/秒,1M大小的数据包交换,基于可靠队列传输速度95M/S(千兆网);数据库实时交换1000条/秒;串行处理数据TPS每秒事务处理量900次以上。l 采用多线程并发技术,同时提供数据压缩、断点续传、大数据切割等机制,以解决网络环境下的海量数据并发传输的性能瓶颈。l 年故障时间累计小于12小时5 .建设内容围绕建设目标,智慧新余信息共享交换平台具体建设内容包括七个方面:数据共享交换平台、数据目录、服务目录、共享信息库管理、平台服务门户、标准规范体系和安全保障机制。 5.1 数据共享交换子系统共享交换子系统是合肥信息资源中心信息化建设的首要任务,以共享带动交换,以交换促进共享。统一数据交换平台采用中心-前置模式,提供各种异构系统的数据采集发布,通过统一传输和交换服务中心,支撑跨部门、数据中心各应用的按需订阅,实现信息交换与共享的联动,为信息系统整合、跨部门组织机构协同提供基础支撑。主要建设内容包括以下几个方面:5.1.1 统一Web配置 登录/注销在web浏览器的地址栏输入访问URL,提供用户名和密码权限管理,基于用户管理系统,实现用户的登陆和注销。 平台基础定义平台基础定义包含用户管理、物理节点、逻辑节点、数据源四部分,分别用于定义平台内的前置服务器、共享交换逻辑节点、共享交换数据源,以及节点间的关系。一个物理服务器可以运行多个逻辑节点,一个共享数据源属于一个逻辑节点。.1 机构及用户角色维护可以维护一个树状组织结构,建立平台用户,每个用户属于一个机构。.2 前置机器管理定义参与数据交换的一个物理的机器。.2.1 前置机全网浏览可以根据节点名称来进行查询,支持模糊查询。前置机信息描述如下:l 前置机名称:物理节点的名称。l IP地址:物理节点对应的服务器的IP地址,IP必须填写实际IP地址。l 业务描述备注:物理节点的备注描述信息。(譬如能源局前置机).2.2 新增、修改、删除前置机支持新增前置机、修改节点信息、以及单个删除和批量删除节点。在物理节点管理界面的物理节点数据格内,既可以单个删除节点,也可以批量或者全量选择进行批量删除。 .3 交换节点管理定义,修改,删除运行时参与数据交换的交换节点的配置信息。包括节点名称、管理信息(管理用户名,密码,端口)、数据交换的数据接收端口等;一个物理节点可能配置多个逻辑节点。.3.1 交换节点全网拓扑提供数据交换节点拓扑结构图,所有节点以树状拓扑结构来进行管理。在交换节点拓扑图上,建立根节点,提供所配即所得的配置效果。可以对拓扑图中的任意逻辑节点(前置交换节点)及子节点选择,实现逻辑节点配置详情查看。支持多级节点扩展,每一级节点都可以增加子节点。形成根节点、二级节点、三级节点的树形物理交换结构,与政府行政机构设置形成匹配关系。需要配置的参数说明:l 节点名称:逻辑节点的名称。l 节点类型:逻辑节点类型(分为管理节点和交换节点),根节点必须为管理节点。l 物理节点:此逻辑节点所在的物理节点。l 管理代理用户名:此逻辑节点的管理代理用户名,必须和该前置机节点一致。l 管理代理密码:此逻辑节点的管理代理用户的密码,必须和该前置机节点一致。l 管理代理端口:此逻辑节点的管理代理端口,必须和该前置机节点一致。l 消息监听端口:数据交换时消息传输接收数据的端口,前置机节点一致。业务备注:对此逻辑节点的备注说明..3.2 新增、修改、删除交换节点在拓扑图上可以增加新的、修改、删除逻辑节点,并建立数据交换节点的上下级关系,并建立相邻节点间的主干交换链路。.3.3 新增、修改、删除子节点可以对拓扑图中的任意逻辑节点(前置交换节点)添加子节点,实现多级交换路由。添加子节点,可以直接建立上下级节点的数据交换链路,并可以直接对新增节点进行初始化。并可以对子节点进行修改和删除。.4 交换链路创建/删除通过拖拽(从一个节点的拖拽到另一个节点)可在两个节点间建立用户链路,选中链路,可通过右键弹出菜单删除交换链路。.5 共享交换数据源管理定义,修改,删除参与数据交换的一个数据库的信息(包括数据源名称,数据库类型,数据库驱动类名,连接URL,用户名,密码等信息),以供共享交换流程使用。.5.1 数据源浏览可以根据数据源名称,数据源类型,节点来进行查询,数据源名称支持模糊查询。支持通过数据源的名称的超链接打开数据源详情页面,通过详情页可以查看数据源的基本信息。数据源支持市场上主流的数据库系统,包括oracle、SQLServer、Mysql、Db2等数据库类型。数据源的配置参数说明:l 数据源名称:数据源的名称。l 节点名称:使用这个数据源的逻辑节点名称l 数据库类型:数据源的数据库类型,下拉框选择l 驱动类名:JDBC的驱动类名l 连接URL:JDBC的连接URLl 用户名:数据库用户名l 密码:数据库用户的密码l Schema名称:数据库的Schema名称,l 有效性验证SQL:验证数据源有效性的SQL语句,建议此填写运行效率比较高的语句。l 数据源业务备注:数据源的描述信息。.5.2 新增、修改、删除数据源支持新增、修改、删除数据源头。,并建立数据交换节点的上下级关系,并建立相邻节点间的主干交换链路。既可以单个删除数据源,也可以批量或者全量选择进行批量删除。.5.3 数据源初始化/反初始化在的在创建结构化资源时,发布模式为触发器模式时,需要对相应的数据库进行初始化操作(建立触发器数据交换用到的系统表),相应的反向操作(清理系统表及数据)叫做反初始化。5.1.2 共享交换信息资源发布通过统一Web配置,可以实现共享信息资源发布配置,修改,部署/反部署,运行状态查看,启/停发布资源。 发布资源浏览查询实现对共享交换信息资源进行浏览,并可以根据发布名称,逻辑节点,数据源,部署状态进行查询。且发布名称支持模糊查询。查询条件定义:l 发布名称:发布资源名称,支持模糊查询。l 逻辑节点:发布资源的部署逻辑节点。l 数据源:发布资源使用的数据源。l 部署状态:发布资源是否已部署,可选值为:所有/已部署/未部署。 新增、修改共享交换信息资源共享交换信息资源发布配置参数l 发布名称:发布资源的名称。l 是否需要回执:发布资源共享出的数据,订阅方收到后,是否要给回执信息。l 部署节点:发布资源要部署到的逻辑节点。l 生命周期:发布资源共享出的数据,在数据交换过程中的生命周期,单位:秒,0表示无限制,超过生命周期,则认为该数据无效,则该次数据交换认为失败。l 管理节点:此发布资源的管理节点。l 资源描述:对发布资源的描述信息,以便订阅可以通过描述信息了解该发布资源。l 业务备注:备注说明l 资源类型:发布资源类型,目前仅有“结构化数据“,即数据库类型数据,将来可能扩展。l 数据源:发布资源使用到的数据源,只可选择和部署节点关联的数据源。l 资源模式:触发器,时间戳,标志位字段,oracleCDC日志分析。l 每次批处理条数:每次最大处理的数据条数,触发器模式有效;l 数据包大小:单位:KB,每次发送数据的数据包最大值。l 时间间隔:轮训处理时间间隔,单位:秒;此值越大,交换实时性越差,此值越小,交换实时性越高,但系统资源占用相对加大。定时设置有 年、月、日、周、星期几、时、分、秒几种方式。l 发布数据库表名:发布资源对应的数据库的表名,即发布哪个表的数据。l 发布数据表字段:可打开发布字段设置窗口,设置要发布的字段。l 发布条件:可打开发布条件设置窗口,设置发布条件。条件关系符:=、=、=、like、not like、is null和is not null。l 时间戳的设置:时间戳同步,根据不同数据库需要设置的不同发布条件。 发布流程部署/反部署发布资源配置完后,只是配置了一个静态资源(静态配置),需要将该发布资源部署到对应的逻辑节点启动后才真正完成了数据的发布。l 单个部署/反部署支持发布资源的单个部署/反部署发布资源。l 批量部署/反部署提供对应发布资源的复选框(可多选),支持发布资源的可批量部署/反部署。 发布流程启动/停止发布资源部署后,需要将其启动,发布资源才会真正发布数据,实现数据交换的资源动态共享,为交换做好准备。l 单个启动/停止支持发布资源的单个可启动/停止发布资源。l 批量启动/停止提供对应发布资源的复选框(可多选),可批量启动/停止发布资源。 静态发布流程删除发布资源在未部署、未启动的情况下可以进行发布流程删除。如果要删除发布资源已经被订阅则提示被哪个(些)被哪个订阅资源订阅,不允许删除。l 单个删除支持发布资源的单个可删除该发布资源。l 批量删除支持对应发布资源的复选框(可多选),可批量删除发布资源。 共享交换信息资源批量发布针对数据交换项目中,有的系统有很多表需要发布,发布规则一致的情况,为了减少大量的人工操作,平台提供了批量发布资源的功能。批量发布资源可以针对一个数据源的多个数据表一次性发布多个发布资源(一个表一个发布资源,发布数据表的所有字段)。批量发布参数配置:l 逻辑节点:发布资源要部署到的逻辑节点。l 是否需要回执:发布资源共享出的数据,订阅方收到后,是否要给回执信息。l 生命周期:发布资源共享出的数据,在数据交换过程中的生命周期,单位:秒,0表示无限制,超过生命周期,则认为该数据无效,则该次数据交换认为失败。l 数据源:发布资源使用到的数据源,只可选择和部署节点关联的数据源。l 资源模:资源发布模式:触发器,时间戳,标志位字段,oracle日志分析。l 每次批处理条数:每次最大处理的数据条数,触发器模式有效。l 数据包大小:单位:KB,每次发送数据的数据包最大值。l 管理节点:发布资源的管理节点。l 时间间隔:轮训处理时间间隔,单位:秒;此值越大,交换实时性越差,此值越小,交换实时性越高,但系统资源占用相对加大。定时配置有 年、月、日、周、星期几、时、分、秒几种方式。l 备注:备注说明l 发布表名:可以直接选择要发布的数据表。l 设置完发布表后,可以逐个设置每个表的发布条件。批量发布会根据发布的数据表的名称自动生成发布资源的名称。5.1.3 共享交换信息资源订阅通过统一Web配置,可以配置,修改,部署/反部署,运行状态查看,启/停订阅资源。 订阅资源浏览查询根据订阅者权限,可以在Web控制台进行查询。可以根据资源名称,逻辑节点,数据源,部署状态,发布资源进行查询。查询条件说明:l 资源名称:订阅资源名称,支持模糊查询。l 逻辑节点:订阅资源的部署逻辑节点。l 数据源:订阅资源使用的数据源。l 部署状态:订阅资源是否已部署,可选值为:所有/已部署/未部署。l 发布资源:订阅资源订阅的发布资源。 新增、修改共享交换订阅流程通过对获取访问权限的发布资源进行订阅。l 订阅名称:订阅资源的名称。l 部署名称:发布资源要部署到的逻辑节点。l 管理节点:此发布资源的管理节点。l 发布资源:订阅对应的发布资源。l 交换路径:发布订阅运行时数据交换的节点路径。l 数据源:订阅资源使用到的数据源,只可选择和部署节点关联的数据源。l 表名:订阅资源收到数据后要入库的数据表名称。l 更新失败是否插:收到数据入库,当执行Update操作没有对应的数据的时候,是否将此数据插入数据库。l 字段映射:可打开字段映射设置窗口,设置发布和订阅的字段映射关系。l 订阅条件:可打开订阅条件设置窗口,设置发订阅条件。 订阅流程部署/反部署订阅资源配置完后,只是配置了一个静态资源(静态配置),需要将该订阅资源部署到对应的逻辑节点启动后,才能真正处理订阅接收。l 单个部署/反部署支持订阅资源的单个部署/反部署发布资源。l 批量部署/反部署提供对订阅资源的复选框(可多选),支持发布资源的可批量部署/反部署。 订阅流程启动/停止订阅流程部署后,需要将其启动,订阅资源才会开始交换数据。支持单个启停和批量启停。l 单个启动/停止支持订阅资源的单个可启动/停止。l 批量启动/停止提供对订阅流程的复选框(可多选),可批量启动/停止发布资源。 静态订阅流程删除订阅流程在未部署、未启动的情况下可以进行流程删除。l 单个删除支持订阅流程的单个可删除。l 批量删除支持订阅流程的复选框(可多选),可批量删除订阅流程。 共享交换资源批量订阅对于发布资源对应的数据表和订阅资源对应的数据表,表结构一致的情况,为了减少用户的工作量,平台提供批量订阅资源功能。批量订阅资源功能,允许用户选择一个发布节点,同时可以选择发布节点的数据源(也可选择所有数据源),并设定发布端表和订阅数据源的表之间的表映射,来批量订阅指定发布节点上的发布资源。订阅参数配置如下:l 发布节点:要批量订阅的发布资源所在的节点。l 订阅节点:订阅节点l 管理节点:订阅资源的管理节点。l 发布资源:订阅对应的发布资源。l 交换路径:发布订阅运行时数据交换的节点路径。l 数据源:阅资源使用到的数据源,只可选择和部署节点关联的数据源。l 更新失败是否插入:收到数据入库,当执行Update操作没有对应的数据的时候,是否将此数据插入数据库。l 表映射:打开字段映射设置窗口,设置发布和订阅的表映射关系,名称相同的表会自动建立映射关系。l 订阅条件:可以针对每个映射关系,设定订阅条件。批量订阅资源会自动根据订阅端的表明和发布资源的名称生成对应的订阅资源的名称。5.1.4 前置交换前置交换是指数据交换平台中真正完成数据交换的一个技术实现,数据交换从整个流程上来说有数据抽取,数据处理及数据传输,通过这三个环节就完成了一个基本的数据交换的过程。而前置交换主要是完成数据抽取和更新触发。 数据抽取数据交换平台有多种数据抽取模式,每一种数据抽取模式都可以配置不同的数据抽取频率。可以根据项目的实际需求选择不同的数据抽取模式,具体包括:.1 适配器服务适配器服务是外系统接入平台的桥梁,是多种异构系统之间互连互通及互操作的重要组件。适配器遵循JCA1.5标准,真正实现了适配器的重用。常见的适配器,如结构化及非结构化文件适配器,Oracle、DB2、SqlServer、KingBase、MySql、Access、Excel等数据库适配器,FTP、SMTP/POP3、JMS、Webservice、httphttps等通讯类适配器等。除了系统本身集成的适配器之外,它还提供了适配器开发工具,便于用户开发适合自己需要的定制适配器,并无缝集成到开发系统中。.2 CDC日志分析日志分析模式,是指通过分析数据库的日志来抽取数据变化增量数据;由于目前各个数据库日志的记录模式,开放程度都不一样,通过对目前常用的数据库分析,oracle数据库对日志的开放程度比较高,记录的比较详细,其优点对数据库侵入性低,只需要打开数据库的归档日志即可,无需在数据库上做更多的配置。.3 触发器模式触发器模式是针对目前常用数据库都支持的一种通用模式,即通过配置工具在要进行交换的数据表上自动创建一些必要的触发器,当数据发生变化是可以定时或者实时的把发生变化的数据交换出去。.4 时间戳模式时间戳抽取模式是针对目前常用数据库都支持的一种通用模式,即要进行数据交换的数据表上要求有一个时间类型的字段,业务数据发送变化的时候此字段更新成变化时间,系统会定时扫描发生变化的数据进行交换。.5 标志位模式标志位抽取模式是针对目前常用数据库都支持的一种通用模式,即可以指定要进行交换的数据表中的某一个字段的值是什么时候进行交换,这里称其为标志位,当完成交换后把此字段设置成另外一种状态,即已经完成交换。 交换触发交换流程的执行触发方式可分为定时触发,实时触发,手工触发,条件触发。l 定时触发:数据交换可指定某个时间,或某个周期定时执行。l 实时触发:数据交换实时进行,当系统检测到数据增量变化时实时交换数据,检测频率可设定。l 手工触发:可通过手工操作来执行数据交换。l 条件触发:可根据某个条件,当条件满足时来触发交换流程的执行。5.1.5 交换中心数据处理是当数据抽取出来后需要进行的各种处理后再进行传输,包括交换模式,交换方向,数据加工,数据过滤,数据路由等功能的支持。 交换模式多个节点之间进行数据交换时可以对应的几种业务模式,平台支持数据库表的一对一的交换;多个表交换到一张表中;一张表的数据交换到多张表中。 交换方向是指在业务数据交换中支持的交换方向,平台支持数据的单向下发、上传;两个数据库数据的双向交换,即任何一方发生变化都要交换到对方;数据广播,通常用于上级数据向所有下级广播的数据交换。 数据过滤对业务数据可以从两个方向去进行过滤,一种是可以在数据发布的时候进行有条件的发布过滤,另外就是针对不同的订阅进行各自特有的订阅条件的过滤。 数据路由这里的路由首先是根据数据内容的路由,按业务要求不同的内容交换到不同的目的地;另外就是指数据转发的场景支持,即当两个交换节点之间网络无法直通的情况下,可以通过一个中介的网络进行路由转发。 数据关联数据交换可对单表交换,主子表关联交换,以及数据表和文件结合的数据交换。5.1.6 数据传输在数据交换中,数据的传输是比较关键的一个技术,如何能及时、可靠、完整及安全的保证数据的传输是最重要的,平台传输通过专业的消息中间件来完成,消息中间件需要经过多年金融电信等关键行业的应用,并跟数据交换平台无缝,对用户来说是透明的。平台在数据传输过程中需要支持:l 可靠队列:基于可靠队列支持网络常连接和按需连接两种连接模式,以更好地适应不同的网络通讯环境,节省系统资源和提高传输效率;l 断点续传:消息不重传,从中断的位置开始续传,直到消息传输完成。l 压缩传输:提供数据压缩机制,提高网络传输性能。l 加密传输:提供数据加密机制,加强数据传输安全控制。l 支持多种网络底层环境,如:局域网、Internet网、租用线 (Leased line)、拨号线、分组交换网(X.25)、DDN , 帧中继 (Frame Relay) 、卫星网络等。5.1.7 交换运行监控交换监控主要是指各个交换节点以及整个交换网络的监控,通过之前在配置管理中配置好的一个交换网络拓扑图可以很清晰的监控到整个交换网络及网络中各交换节点的状态是否正常;当发现交换节点有异常的显示后,可以查看此交换节点详细的监控,包括交换服务器资源占用情况、交换服务器上各交换流程的运行情况等信息。l 交换节点资源监控:可监控节点的基础设备资源,如:CPU,内存,硬盘使用百分比,网络使用情况等。l 交换节点状态监控:可监控平台系统中的交换节点的状态,如某节点是否连通等。l 交换流程监控:可监控交换流程的状态,是否启动等。l 系统告警监控:当上述监控中发现异常,记录告警,并可通过配置的告警方式告警,l 平台默认实现了邮件告警方式,只需要配置相应的邮件信息,当有警告产生时,会自动发送告警邮件给邮件接收者。同时平台还提供了可扩展的告警方式接口,可根据项目需要扩展不同的告警方式,如短信告警等。 共享交换全网监控提供以网络拓扑图形式查看平台内的各个节点状态,某个节点有告警时,该节点显示告警状态,并可查看具体告警信息。节点以网络拓扑图形式展示,根据节点运行状态显示不同图标:正常、告警、故障、节点停用、未初始化。当节点为告警时,鼠标移动到该节点,显示详细告警信息。 单节点监控提供对某个节点的系统资源,中间件状态,以及告警的监控,以便于用户方便及时的了解运行节点的运行状态。在节点拓扑监控图上,鼠标双击想要监控的某个逻辑节点,打开单节点监控页面。节点监控分为四部分:.....第 一 章第 二 章第 三 章第 四 章第 五 章第 六 章第 七 章. 前置机服务器资源监控监控节点的系统资源:CPU,内存,网络,磁盘。CPU利用率:节点所在服务器当前CPU利用率;内存使用情况:节点所在服务器当前内存使用情况;网络利用率:节点所在服务器网络利用率;硬盘使用情况:节点安装在的磁盘(逻辑盘)的使用情况 基础中间件监控监控节点的中间件运行状态:中间件的连接,队列,以及平台基础流程。可以查看中间件产品运行情况,并可以启/停中间件产品。比如启/停中间件。可以查看本节点有什么发送连接,发送连接的状态(连接/未连接);可以查看本节点的上的队列信息(发送对队列和本地队列),可查看队列的队列深度(最大消息数),当前消息数,队列空间,以及已用队列空间。基础流程:可查看节点的基础流程的运行状态(运行/停止)。 告警信息节点的告警信息管理,以及告警设置。平台运行期间,会根据告警设置,定期监测各个监控对象的状态,当达到告警或故障阀值时会产生告警。告警信息支持过滤和邮件发送。 日志信息当平台产生错误时,可以通过错误日志查看,该日志是记录节点增量错误信息、如查看该节点所有的日志信息、需要通过菜单错误日志信息菜单查看。 历史事件信息在运行过程中,会监控节点监控的告警设置中设定的监控对象的状态,有状态变化时会作为系统事件记录下来,通过此系统事件信息,可以查看哪台机器什么时间有什么系统时间产生,为系统的维护提供数据依据。5.1.8 交换数据量统计在数据交换中,用户最关心的是数据是否正确、完整的交换到指定的目的地,现有数据平台从多个角度去完成了数据交换的监控及告警:l 节点交换统计:可以统计某一个或者某几个节点在某一个时间段内的数据交换情况,包括那个流程(即那张表),发送(中转或接收)成功数、失败数等信息。l 数据源交换统计:可以统计某一个或某几个数据库某一个时间段内的数据交换情况,包括那个流程(即那张表),发送(中转或接收)成功数、失败数等信息。l 发布订阅统计:可以根据节点、数据源及其上的发布或者订阅的资源进行更细的定位来统计某一个时间段内的数据交换情况,包括那个流程(即那张表),发送(中转或接收)成功数、失败数等信息。 节点交换数据量统计可统计某个时间段内某个或所有节点的数据交换情况:发出,转发,接收数据量。 数据源交换统计可统计某个时间段内某个或所有数据源的数据交换情况:发送,接收数据量。 发布订阅交换统计可根据灵活的查询条件,统计某个时间段内发布和订阅的交换情况:如发布资源A针对订阅B发送了多少数据,订阅B接收了多少数据。通过点击“详细”超链接,可以打开交换详细页面,通过详细页可以查看发布订阅在某时间段内,发布多少条数据成功与否,订阅多少条数据成功与否。5.2 共享数据目录管理子系统5.2.1 元数据管理元数据管理是对系统对数据的结构管理,主要包括:公用数据元的内容范围、分类编码和数据元及其值域代码标准等。5.2.2 基础数据规范按照元数据规范,定义基本管理对象和服务对象数据库,包括可定义的组织、人、物、事等可复用、约束要求高的数据项。5.2.3 主题数据目录对数据建立一套数据分类检索机制,以便于进行数据信息的查询、使用和管理。数据目录模块通过对“落地”数据的“目录化”分类处理,可以提高平台数据的查询、管理效率,增强平台的可用性。5.3 共享数据管理子系统共享数据管理是合肥信息资源中心平台建设的汇集库,为城市基础信息库和专题应用信息库(跨部门中心汇集库)建设服务。并可以对部门可“落地”到交换中心的数据提供共享服务。5.3.1 数据组织按照时间维、空间维、部门维、专题维对共享信息库进行组织管理,方便可共享资源“落地”,以及数据共享管理。5.3.2 数据查询以数据“落地”汇集为核心,根据数据分类实现数据查询服务。查询维度包括:...16l 查看批次数据的时间分布情况l 查询空间的专题数据情况l 查询部门数据共享情况l 查询专题数据。5.3.3 数据加工支持数据的加工比对处理。支持以下功能:l 替换:某个字段的值根据映射关系映射成新的字段值或替换原有字段的值。l 列拆分为多列:使用分隔符拆分字段。l 列拆分为多行:根据指定标识符将一个字段的值拆分为多个值,并将每个被拆分的值作为一个新的字段与原记录合并产生多条新的记录。l 字段值替换:使用另一个字段的值来设置字段的值。l 字段选择:用来选择、重命名、更改数据类型和配置精度。l 字符串剪切:获取字段,根据该字段的值剪切字符串。l 字符串替换:简单的搜索和替换。支持正则表达式。l 数值范围:指定一个数值字段的范围。l 数据Join合并:不同的输入组件的数据的数据集的合并连接。l 行转列:将多条记录合并成一条记录。l 计算器:提供了可以在输入字段的值上执行的预定义函数的功能。l 记录合并:比较两个记录流,并根据某个关键字排序。l 记录排序:根据指定关键字排序记录。l 设置值为Null:设置指定字段值为null。l 设置常量:设置字段的值为常量。l 重复记录去除:去除重复的记录,保证记录的唯一性。5.4 平台服务门户5.4.1 信息发布WEB内容管理特指门户系统作为一个信息展现内容管理,数据中心的数据是汇集了各部门的多种业务的数据,展现页面的内容有限,根据领导的关注点将整个数据中心中的关键数据展现在首页中,通过链路连接到详细的展现页面进行详细的数据展现查看。5.4.2 用户管理 单点登录用户登录到门户系统后通过门户访问受保护的业务应用系统时,一次登录就能在门户系统和通过门户集成的各业务应用系统之间带身份漫游,无需再次登录和重复认证身份。 用户权限管理...2.2.1 角色维护以通过角色控制用户权限,用户必须属于一个角色才有对应角色的权限。角色的权限确定了属于角色的用户的权限。一个用户可以拥有多个角色。.2 用户维护包括新建和修订、删除用户,提供用户密码修订功能。5.4.3 共享信息查询服务提供共享信息资源库查询服务,并基于共享数据库实现信息统计分析。5.4.4 统计报表服务实现对共享信息库的数据分析指标及图表集成。l 人口信息多维分析展现统计分析:人口总量、人口结构分类统计:按性别、年龄、教育、区域分布等指标统计:人群、人群所在行业人口预测分析,人口与社会、经济、人口与空间信息相关的分析,为智慧城市的科学规划与建设管理提供支持。通过表格、饼图、柱状图等方式进行展现。l 法人信息多维分析展现统计分析:企业规模、企业数量分类统计:按行业、注册资金、所在区域等指标统计:销售额、纳税额等预测分析,企业与社会、经济相关的分析,为智慧城

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论