海关信息资源体系规划项目-实施方案-v1.1(数据中心)_第1页
海关信息资源体系规划项目-实施方案-v1.1(数据中心)_第2页
海关信息资源体系规划项目-实施方案-v1.1(数据中心)_第3页
海关信息资源体系规划项目-实施方案-v1.1(数据中心)_第4页
海关信息资源体系规划项目-实施方案-v1.1(数据中心)_第5页
已阅读5页,还剩184页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

PAGEPAGE1PAGE24海关科技应用项目项目实施方案项目名称:《海关信息资源规划项目》项目级别:署级项目技术承办单位:全国海关信息中心上报日期:二○一三年九月

TOC\o"1-2"\h\z\u第一章项目简介 41.1项目名称、技术承办单位 41.2实施方案编制依据 41.3建设内容概况 41.4总投资及来源 81.5效益分析 9第二章项目建设的背景和必要性 102.1项目建设的背景 102.2现状与差距 112.3项目建设的必要性 13第三章技术承办单位情况 153.1单位简况 153.2机构职责 16第四章需求分析 164.1总体需求 164.2规划设计任务需求 174.3信息系统建设需求 294.4信息量预测 155第五章总体方案目标和原则 1555.1总体目标 1555.2总体建设内容 1575.3建设原则 158第六章技术概要设计方案 1596.1系统目标及本期目标 1596.2体系结构设计 1606.4网络结构设计 1656.5安全体系设计 1676.6备份系统设计 1696.7系统运行监控手段及方式 1696.8系统平台和工具软件 1706.9开发与应用设备配置 170第七章项目组织机构与人员 1717.1项目建设组织机构设置 1717.2技术承办单位、参加单位及主要参加人员(见附表1) 171第八章项目进度计划及进度目标 1718.1项目总体建设周期 171第九章项目经费 172第十章经济与社会效益分析 172第十一章风险分析与对策 17511.1风险分析 17511.2风险对策 176第十二章结论与建议 176第十三章附件 177项目简介项目名称、技术承办单位本项目的项目名称为《海关信息资源规划项目》。技术承办单位为全国海关信息中心。实施方案编制依据本实施方案编写依据是:《金关二期可研信息资源规划和数据库建设分册》《金关二期初设信息资源规划和数据库建设分册》。建设内容概况海关信息资源规划项目分为两个阶段,第一阶段是设计阶段,第二阶段是实施阶段。在设计阶段,建设内容包括:(一)建立海关信息资源目录体系参考借鉴海关信息资源相关国际、国家及行业标准,统筹考虑数据分类、数据实体关系、数据生产消费关系、数据元素等数据模型要素,按照科学性、系统化、兼容性、扩展性原则和数据现状、模型使用与治理相结合思路,基于海关信息资源积累成果,对其现状架构进行全面梳理、分析和优化,采纳“业务域-实体-数据元”三级目录模式,建立形成海关信息资源管理“统一底账”。按照“急用先上”的策略,先梳理“H2010通关系统”、“新舱单系统”、“运输工具管理系统”、“监管场所管理系统”、“企业管理系统”共5个系统(本文以下所述的“核心业务系统”既是指上述5个系统)的1241个实体,14486个数据元、1340个值域字典。具体交付物如下:(1)《海关信息资源管理现状及需求分析报告》(2)《海关信息资源业务域模型》(3)《海关信息资源实体模型集》(4)《海关信息资源数据元集》(5)《海关信息资源值域代码集》(二)设计海关信息资源共享服务平台(以下简称“共享服务平台”)海关信息资源共享服务平台是海关信息资源层的技术实现,统一承载海关“元数据管理”、“主数据管理”、“数据生命周期管理”、“信息资源目录管理”、“数据抽取分发”、“动态数据仓库”、“信息资源云服务”、“平台管理和安全”等8大功能,为业务应用获取共享信息资源提供技术支撑。具体交付物如下:(1)《海关信息资源共享服务平台需求分析报告》(2)《海关信息资源共享服务平台设计报告》(3)《海关信息资源目录门户设计报告》(三)规划海关信息资源治理体系治理体系主要包括信息资源标准化体系、治理机构和人员设置、部门协作机制、相关工作流程、管理制度等内容,为海关信息资源规划的落地实施、良性运转提供管理上的指导。具体交付物如下:(1)《海关数据治理体系报告》(2)《海关信息资源标准化体系报告》(3)《海关信息资源基础标准集》在实施阶段,建设内容主要是开发“海关信息资源共享服务平台”,具体内容包括:(一)建设“元数据管理”子系统元数据管理系统包括海关基础数据元标准、电子口岸基础数据元标准和海关业务代码集三大基础数据标准化管理,以及业务职能管理、应用系统管理和数据资源管理三大信息资源管理。元数据管理主要采用外购软件实现,必要时进行二次开发,最终实现的效果是将第一阶段建立的“海关信息资源目录体系”落地到元数据管理工具中,实现海关信息资源目录体系的管理和展示。(二)建设“主数据管理”子系统主数据管理系统为海关核心业务数据提供有效的数据模型及数据服务,确保核心信息在海关跨业务流程中的一致性、准确性和可靠性。主数据管理系统由外购软件完成组建,将第一阶段“海关信息资源目录体系”中识别的主数据导入主数据管理系统中进行战略管理,确保海关内部主数据的唯一、一致以及数出一门。(三)建设“数据生命周期管理”子系统金关二期建设中要对“信息资源共享服务平台”自身的数据和其他生产系统的数据实施生命周期管理,将数据划分为在线数据、近线数据、历史数据、归档数据,依据数据的价值,制定不同的管理策略,更加有效的利用存储空间,避免由于数据量过大引起通关管理系统的性能问题,提高通关管理系统的可用性,降低异地容灾备份的难度,减小高端设备的不断增长,解决运行管理问题。并以此为基础,建立起海关数据生命周期管理框架,推动海关各信息系统对数据进行科学、有效的管理,提高信息管理能力。(四)建设“信息资源目录管理子系统”信息资源目录是对信息主体结构的描述,应用于信息资源的采集、加工、存储、保护和使用等过程。需要通过信息资源目录实现对信息资源的发现、获取、导航、定位、分发等功能,以支持各业务部门之间信息资源的交换与共享。信息资源目录以元数据为核心,以政务分类表和主题词表为控制词表,对信息资源进行网状组织,满足从分类、主题、应用等多个角度对信息资源进行管理、识别、定位、发现、评估与选择的工具。建立信息资源目录体系将便于掌握信息资源的分布状况,实现对信息资源建设的统一规划。(五)建设“数据抽取分发”子系统数据抽取分发子系统以实现企业级数据服务总线为最终目标,实现海关数据抽取分发的科学管理、高效运作、有效监控,彻底扭转目前蛛网式数据分发模式带来的安全性、一致性、数据交换及时性问题,实现海关数据及时、准确的向各直属海关、各应用系统的分发。(六)建设“动态数据仓库”子系统动态数据仓库子系统是要建立整个海关统一的、集成的、高性能的企业级数据仓库,实现海关业务数据的集中采集、清洗、质量保证、存储、计算,逐步解决目前存在的数出多门、指标冲突等问题;(七)建设“信息资源云服务”子系统信息资源云服务包括“信息资源共享服务平台”以云服务方式对外提供的各种数据服务,比如共享查询、数据挖掘、信息检索等。另外,还包括对平台所有共享服务的管理功能,包括服务的发布、注册、订阅和编排;(八)建设“平台管理和安全”子系统平台管理子系统实现共享服务平台自身的配置、监控、管理和统计分析功能;安全管理基于统一身份认证与授权系统,实现对数据访问的授权、控制、传输、加密等功能;总投资及来源 本期项目建设总投资测算为人民币XX万元,拟申请总署专项解决。效益分析海关信息资源规划项目的成功实施,将会解决海关信息资源管理、使用上的主要问题,真正实现信息资源的“说得清、管得住、用得好、决策准”的业务目标,有利支撑海关信息系统建设目标向有效解决社会问题转变;建设方式向跨部门、跨区域的协同互动和资源共享转变;建设模式向集约化、整体化的可持续发展模式转变。1、解决信息系统整合问题信息资源规划的一项很重要的目标就是要解决目前信息系统建设中的重复建设问题,达到信息系统的整合和集约,信息资源规划是信息系统顶层设计的一部分,能够从整体上对信息资源进行设计,并能够提供信息系统建设的标准和规范,这样信息系统就能够以此为标准,进行适时、适度、逐步整合,最终达到消除冗余,集约良性发展的效果。2、解决技术响应速度问题业务需求的变化和技术的响应速度之间一直是一对矛盾,信息资源规划通过对信息系统,尤其是信息资源架构进行科学设计,可以增强信息资源架构的稳定性,当业务需求变化时,可以通过很少的数据结构和程序变动就能够满足业务需求,这样不但提高了技术响应速度,而且能够增强系统的稳定性,降低故障率。3、解决信息共享问题信息资源规划通过建设信息共享服务平台,实现了数据的集中存储和计算,并实现了对外统一的服务接口,不论是对于海关内部的信息共享需求,还是外部的数据共享需求;不论是直接面向用户的共享查询,还是面向应用系统的数据服务,都可以通过数据服务共享平台解决。4、解决大数据分析问题海关要实现智能海关,必须实现海关信息系统的物联化、互联化、智能化,而最重要的就是智能化,即通过大数据分析,为海关准确决策提供信息支持。信息资源规划通过设计和实现数据共享服务平台,引入并行数据库、分布式数据库等大数据存储和计算技术,能够解决海关的大数据分析问题,达到数据用得好、决策准的业务目标。5、解决数据质量问题信息资源规划通过设定标准规范、业务管理流程,能够规范数据的定义、存储、使用、传输、交换,使得数据采集更加规范、数据传输更加准确高效,数据使用更加安全方便,通过各种管理流程和规范,能够大幅提升数据质量。项目建设的背景和必要性项目建设的背景在信息时代,信息资源(InformationResources)与人力、物力、财力和自然资源一样,都是重要资源。而信息资源规划(InformationResourcePlanning,IRP)是信息系统顶层设计的重要内容之一,是指对组织的各种业务活动所需要的信息,从采集、处理、传输到使用的全面规划。以保障信息流畅通、消除信息孤岛,充分发挥信息资源的作用。海关适逢金关二期工程建设,在工程建设中,一方面需要对于海关已有信息系统进行整合,不断优化;另一方面,也需要对新建应用系统进行整体规划,统一、科学、标准的建设新的应用系统,所以海关需要进行信息资源规划工作。现状与差距中国海关在30多年的信息化建设中,已具备较高的信息化水平。网络上,已形成连接全国各直属海关的网络体系;客户端上,目前海关使用的基本是PC机,安装WindowsXP、Windows2000、Windows2003、Window7等操作系统;在数据的存储和计算上,目前使用的技术包括Oracle、SQLServer数据库以及SAS、Markway等数据挖掘工具;在数据管理方面,已经通过CSD系统对报关单的数据质量进行了管理,同时也通过出台一些管理规范并配合相应的工具,实现了初步的数据生命周期管理。但是,目前海关的信息资源在管理和使用上仍然存在一些有待改进的方面:1、尚未建成海关的信息资源目录体系:经过30多年的建设,海关已经建设了上百个信息系统,但因为各应用系统在建设时,并未充分考虑整合和信息共享,所以造成了部分的数据冗余和不一致的情况,但最重要的是,我们并未对所有信息系统的数据进行仔细梳理和分析,未形成海关的信息资源目录体系,这就造成对于信息资源的现状了解不够清楚,无法实现信息的标准化以及共享访问,造成了“信息孤岛”的产生,达不到对于信息系统“说得清”的业务目标。2、未对元数据、主数据进行战略管理:元数据是关于数据的数据,海关最为重要的元数据就是信息系统的数据库模型(逻辑模型、物理模型),但是到目前为止,除了少数核心系统对元数据进行了版本管理之外,很多系统都没有进行元数据管理,这就造成了元数据管理的失控,导致了信息系统运行维护的巨大困难,也对数据的有效使用设置了障碍。主数据和海关的核心业务对象类数据,比如企业信息、商品信息等,目前的主数据基本上是分散在各应用系统内部,多由应用系统以参数维护的形式进行管理,大部分数据既未对变更历史进行保留,也未对变更过程进行记录,没有进行战略层面的管理和控制,这不但会造成海关内部主数据的不一致,造成数据使用的困难,也不利于信息系统整合,无法完成信息系统向集约化发展的目标。3、未形成全面的数据生命周期管理格局:海关目前只针对H2010通关系统进行了数据生命周期管理,将过期数据进行了归档处理,但是并未建成统一的数据生命周期管理平台,无法实现对于所有信息系统数据的生命周期管理,也没有考虑归档数据的元数据、主数据的管理问题,为归档数据的使用埋下隐患。4、数据治理缺乏行之有效的规范和流程:目前信息系统在新建、上线、变更等过程中,并未对信息体系的数据架构进行有效的评估,造成了各信息系统在数据架构设计上各自为政,未形成统一的数据架构设计标准和规范,使得海关整体的信息资源出现了越来越多的冗余、混乱的情况,既不利于海关信息资源的管理,也不利于信息资源的有效利用。5、尚未建成高性能、统一的数据计算、共享体系:海关目前的决策支持系统均是以部门为单位建立的数据集市,各分析系统之间存在指标不一、数据冗余等各种问题,不但造成了资源浪费,而且也造成了数据使用上的冲突。我们需要建立一个统一的、企业级数据仓库系统,整合所有的分散式统计分析系统,真正解决业务指标口径不一、各系统数据源不同、各系统间数据冗余等问题,实现了海关的企业级数据仓库,完成决策支持系统业务和技术的整合,真正实现“指标一致、数出一门、高效应用、智能决策”的目标,提高决策准确程度,推进业务流程优化。项目建设的必要性1、信息资源规划是海关信息化向集约整合、共享协同转变的必由之路海关信息化历经30余年,建设了总署、直属海关两级一千余个项目,在有效支撑海关改革和发展的同时,也面临着系统林立、难以维系、不可持续发展的困境。近期,国家对电子政务建设提出了明确要求,系统建设要从粗放离散的模式,向集约整合的模式转变,确保电子政务项目的可持续发展。海关要实现这一转变就必须注重信息化的总体设计,信息资源体系规划就是要站在总体高度,对海关信息资源进行全面规划和统筹设计,为系统间互联互通、优化整合提供可能,为部门间信息共享、业务协同提供可能,是信息化向集约整合方式转变的必由之路。2、实现金关工程二期业务目标的必然要求金关工程二期提出了全程可视化、差别化管理、加工贸易转型升级、执法管理和执法行为的信息化监控等四大业务目标,从建设内容看系统建设也从偏重事务处理转向偏重决策分析,要运用物联网、大数据、云计算等新技术进一步提升海关决策分析能力。数据是开展决策分析的基础和支撑,数据的质量、以及完整性、一致性、可靠性决定了决策分析类应用的成败。目前大多数系统分散建设,信息孤岛、数出多门、数据质量不理想等现象相当普遍,如不开展信息资源体系规划,难以支撑金关工程二期各类决策分析应用的建设,难以实现党组提出的建设目标。3、海关技术部门随需应变能力提升的坚强支撑随着海关改革和发展的不断推进,业务部门对信息化的需求越来越强烈,要求越来越高,时间越来越紧,技术部门响应业务需求的能力逐渐暴露出不足。如何构建起灵活高效的信息化架构,快速响应业务需求,灵活随需交付,实现动态智能海关,成为技术部门必须解决的问题。传统的流程驱动的应用开发模式,必须向数据驱动的模式转变;海关总体技术架构中,必须构建统一信息资源层,以作为海关信息化能力升级的必要技术基础。开展信息资源体系规划工作可以实现“数据”与处理数据的“业务逻辑”的分离,并为各应用系统提供一个高层次的数据环境,是提升技术部门随需应变能力的坚强支撑。海关信息资源规划的可行性。技术承办单位情况单位简况全国海关信息中心(以下简称“信息中心”)是海关总署在京直属事业单位,其前身是成立于1986年的全国海关计算中心。多年来,信息中心秉承“为海关信息化建设服务”的宗旨、以“建立科学、高效、安全、可靠的海关信息系统和保障安全稳定运行”为目标,现已发展成为全国海关的信息处理、数据传输及通讯服务中枢,集项目开发、运行维护、信息基础设施建设、信息安全监控和数据加工五项主要职能于一身,是建设“电子海关”、“电子总署”和“电子口岸”的重要力量。中国海关的信息化建设一直走在国家各部委乃至世界海关的前列,信息中心作为海关系统和海关总署信息化建设的主要实施者,承担了繁重的任务,取得了许多重大成果。成立至今,信息中心组织开发完成了70多个信息应用系统,特别是正在推广应用中的集中式H2000通关管理系统,进一步加强了信息中心在全国海关信息化建设中的地位和作用;对外贸易统计为国家提供了及时、准确的决策依据;承担海关大、中、小型计算机系统平台的建设和运行维护工作,以及全国41个直属海关、700多个业务现场的网络运行监控工作;为海关内外提供了大量技术支持、培训、信息咨询等服务。海关信息中心下设11个部门,共有员工260余人,平均年龄30岁,是一支年轻而充满活力的团队,拥有一批高素质的计算机、网络、通信技术专门人才和运行管理人才,并形成了一整套行之有效的管理机制和规章制度。2005年6月,信息中心迁入位于北京市金宝街63号的鑫海大厦,办公环境焕然一新,机房建设居国内领先水平。同时,中心进行了机构重组和全员岗位聘任,迈出了深化改革的重要一步。今后一段时期,信息中心将继续加强和完善管理,逐步推进中心第二步发展战略的实施,为建设“科学、文明、高效、廉洁”的现代化海关提供更强有力的信息化保障。机构职责全国海关信息中心的主要职责包括:全国海关的信息处理、数据传输及通讯服务中枢,集项目开发、运行维护、信息基础设施建设、信息安全监控和数据加工五项主要职能于一身。需求分析总体需求“信息资源体系建设”涉及很多信息系统顶层设计的内容,而且也包括了一些具体的设计和开发工作,是一个项复杂度非常高、工作量非常大、建设周期非常长,但见效却比较慢的基础类项目,在整理汇总整个工程的需求时,将需求分为2大类型,一是规划设计任务类;一是信息系统项目建设类。规划设计任务主要包括三方面的工作,需要在2013年底之前完成,也是项目第一阶段的主要目标,具体包括建立海关信息资源目录体系、设计信息资源共享服务平台、规划海关信息资源治理体系。信息系统项目建设类任务主要是建设“信息资源共享服务平台”,包括“元数据管理子系统”、“主数据管理子系统”、“动态数据仓库子系统”、“大数据分析子系统”、“数据总线子系统”、“数据抽取分发子系统”、“门户子系统”、“数据云服务子系统”、“数据生命周期管理子系统”、“安全管理子系统”、“平台管理子系统”共11个子系统。规划设计任务需求(一)建立海关信息资源目录体系“海关信息资源目录体系”是海关所有核心业务数据的全方位、体系化描述,包括核心业务系统的概念模型、实体模型、数据元集、信息资源值域代码集、元数据、主数据,并且实现上述各类模型和数据的标准化。具体工作过程是通过参考借鉴海关信息资源相关国际、国家及行业标准,比如《中国海关信息资源标准规范》、《中国海关业务政策法规规范》、世界海关组织数据模型(WCODataModel)、《国家电子政务总体框架》、微软ITAP架构体系/EA理论、TOGAF、《国家政务信息资源目录体系与交换体系标准规范》、《北京市政务信息资源共享交换平台标准规范》等,统筹考虑数据分类、数据实体关系、数据生产消费关系、数据元素等数据模型要素,按照科学性、系统化、兼容性、扩展性原则和数据现状、模型使用与治理相结合思路,基于海关信息资源积累成果,对其现状架构进行全面梳理、分析和优化,采纳“业务域-实体-数据元”三级目录模式,建立形成海关信息资源管理“统一底账”。详细的工作需求包含下述几个方面:1、划分信息资源业务域从中文名称、英文名称、级别、缩略别名、标识符、定义、备注、状态、版本、版本说明等维度将海关的信息资源按照业务域进行划分,形成信息资源目录的顶层节点,有助于后续信息资源的清晰分类,也便于后续的管理。比如可以将业务域划分为:公共域、办公管理、业务管理、综合保障、首长决策、内部监督等,还可以继续细分,比如将业务管理域再细分为“政法、关税、监管、物流、加贸、稽查、缉私、统计”等。2、识别并梳理应用系统列表应用系统是所有信息资源产生、使用的载体,所以只有梳理清楚海关的所有核心应用系统,才能够建立所有数据元和应用之间的关系矩阵(CRUD矩阵,表示各应用系统对实体、数据元具有的新增、修改、删除、读取关系)。对于应用系统的梳理需要从标识符、应用类别、中文名称、英文名称、业务主管司室、保障级别、运行网段、服务状态、是否跨网、项目上线时间、等级保护级别等维度进行梳理。3、识别实体信息实体是信息系统对于客观事物的抽象描述,比如企业、商品等都属于实体的范畴,在信息系统中,实体的表现形式一般是数据库中的“表(Table)”,在信息资源体系建设中,需要以目前信息系统中存在的实体为基础,重新按照实体定义、业务逻辑,从所属业务域、中文名称、缩略别名、标识符、英文名称、定义、原名、数据库类型、主应用、可写应用、可读应用、可删应用、是否为主数据、等多个角度进行重新、细致的梳理,同时也包括各实体之间的关联关系分析,最终形成完整的海关核心业务数据实体信息表。后续再开发、整合信息系统时,就可以此为基础,参照进行。因为海关的信息化建设起步比较早,到目前为止,已经建立了三百多个信息系统,所以不可能一次性把所有信息系统的实体全部梳理完成,按照“科学规划、急用先上”的原则,先对海关的5个核心业务系统共1241个实体进行梳理,建立海关最为核心的业务实体集,后续逐步进行扩展完善。4、识别数据元信息数据元(Dataelement)又称数据类型,通过定义、标识、表示以及允许值等一系列属性描述的数据单元,在特定的语义环境中被认为是不可再分的最小数据单元,一般用来描述实体的属性信息。在信息系统中的表现方式一般是数据库中的实体的“字段(Field)”。海关信息资源体系建设中,需要对5个核心业务系统中的所有数据元共14486个进行全面分析整理,形成海关的核心数据元集。在对数据元进行整理分析时,需要从所属实体、标识符、原名、中文名称、物理数据类型、物理数据格式、物理数据可否为空、值域、计量单位、数据类型、数据格式、英文名称、中文全拼、缩略别名、同义名称、定义、对象类词、特性词、表示词、继承关系类型、继承数据元、继承说明、组合关系、组合关系说明、连用关系、连用关系说明、备注等多个角度进行分析整理。5、识别主数据主数据(MDMasterData)指系统间共享数据(例如,企业、商品、国家信息、组织部门相关数据等)。与记录业务活动,波动较大的事务类数据相比,主数据(也称基准数据)变化缓慢。在正规的关系数据模型中,事务记录(例如,报关单表体)可通过关键字(例如,商品代码、企业代码)调出主数据。从数据应用的角度或维度建模角度看,主数据指基于其组织或配置指标的维度或层次,而不是实际情况或其自身测量结果。例如,进出口货运量、进出口美元智和开单税额是实际情况,而时间、企业、商品、国家是维度。主数据必须进行战略管理,确保组织的主数据唯一、准确、一致,这样才能保证事务系统(生产系统)数据一致性,才能保证数据统计分析系统的数据准确,做出正确的决策。根据主数据管理实施的复杂程度大体可以把主数据管理可以分为五个层次,从低到高反映了主数据管理(MDM)的不同成熟度:Level0:没有实施任何主数据管理(MDM)在Level0的情况下,意味着组织的各个应用之间没有任何的数据共享,整个企业没有数据定义元素存在。比如,海关很多的信息系统都会用到“企业”数据,但如果对于“企业”信息的管理由多个独立的系统进行,各个系统独立处理企业数据并拥有自己独立的企业列表,各个系统之间不共享企业数据,那么这种情况就是Level0,没有进行任何的主数据管理。在Level0,每个独立的应用负责管理和维护自己的关键数据(比如企业列表、商品信息等),各个系统间不共享这些信息,这些数据是不连通的。Level1:提供列表不管组织大还是小,列表管理是常用的一种方式。在组织内部,会通过手工的方式维护一个逻辑或物理的列表。当各个异构的系统或用户需要某些数据的时候,就可以索取该列表。对于这个列表的维护,包括数据的添加、删除、更新以及冲突处理,都是由各个部门的工作人员通过一系列的讨论和会议进行处理的。业务规则(BusinessRules)是用来反映价值的一致性,当业务规则发生改变或者出现类似的情况时,这样高度手工管理的流程容易发生错误。由于列表管理是通过手工管理的,其列表维护的质量取决于谁参加了变更管理流程,所以一旦某人缺席,将会影响列表的维护。Level2:同等访问(通过接口的方式,各个系统与主数据主机之间直接互联)MDMLevel2与MDMLevel1相比,引入了对主数据的(自动)管理。通过建立数据标准,定义对存储在中央知识库(CentralRepository)中详细数据的访问和共享,为各个系统间共享使用数据提供了严密的支持。中央知识库(CentralRepository)通常会被称为“主数据主机(MasterDataHost)”。这个知识库可以是一个数据库或者一个应用系统,通过在线的方式支持数据的访问和共享。创建、读取、更新和删除(CRUD)是处理基本功能的典型编程术语。即便在MDM中,CRUD处理也是基本功能。你的数据库如果仅仅支持CRUD处理并不意味着你实现了MDM。MDMLevel2引入了“同等访问”(peer-basedaccess),也就是说一个应用可以调用另一个应用来更新或刷新需要的数据。当CRUD处理规则定义完成后,MDMLevel2需要客户或“同等”应用格式化请求(和数据),以便和MDM知识库保持一致。MDM知识库提供集中的数据存储和供应(provisioning)。在这个阶段,规则管理、数据质量和变更管理必须在组织范围内作为附加功能定制构建。Level3:集中总线处理与MDMLevel2相比,MDMLevel3打破了各个独立应用的组织边界,使用各个系统都能接受的数据标准统一建立和维护主数据(MDMLevel2的主数据主机上存储的数据还是按照各个系统分开存储的,没有真正的整合在一起)。集中处理意味着为MDM构建了一个通用的、基于目标构建的平台。大多数公司发现MDM正在挑战他们现有的IT架构:他们拥有太多的独立平台处理主数据。MDMLevel3集中数据访问、控制跨不同应用和系统使用数据。这极大的降低了应用数据访问的复杂性,大大简化了面向数据规则的管理,使MDM比一个分散环境具有更多的功能和特点。组织主数据面临一致性的挑战。数据在不同的地方存在,数据所代表的含义也是不同的,数据的规则各个系统之间也是不一样的。集中MDM处理-通过一个公共的平台作为一个总线(HUB)-说明一个共识,从多个系统整合主题域数据,意味着使用集中、标准化的方法转换异构操作数据,不管其在源系统中是什么样子,都会被整合起来。在MDMLevel3,组织对主题域内容采用集中管理方式。这意味着应用系统,作为消费者或使用主数据,拥有一个共识就是数据是主题数据内容的映像,打破了各个独立应用的组织边界。MDMLevel3支持分布主参考数据的存在。Level4:业务规则和政策支持一旦数据从多个数据源整合在一起,主题域视图超越单独的应用并表现为一个企业视图,我们将得到事实的单一版本。当事实的单一版本已经能够提供出来时,来自业务主管和执行人员的必然反应经常是:“证明它”。MDMLevel4可以保证主数据反映一个公司业务规则和流程,并证实其正确性。MDMLevel4通过引入主数据来支持规则,并对MDM总线以及其它外部系统进行完整性检查。由于多数组织相对比较复杂,影响业务数据访问和操作的规则以及策略(rulesandpolicies)相对也比较复杂。假定任何一个单一系统可以包含并管理与主参考数据相关的各种类型的规则是不切实际的。因此,如果一个MDM总线真正打算提供企业范围内数据的精确性,工作流和流程整合的支持是必不可少的。Level5:企业数据集中在MDMLevel5,总线和相关的主数据被集成到独立的应用中。主数据和应用数据之间没有明显的分隔。他们是一体的。当主数据记录详细资料被修改后,所有应用的相关数据元素都将被更新。这意味着所有的消费应用和源系统访问的是相同的数据实例。这本质上是一个闭环的MDM:所有的应用系统通过统一管理的主数据集成在一起。在这个级别,所有在系统看起来都是事实的同一个版本。操作应用系统和MDM内容是同步的,所以当变更发生时,操作应用系统都将更新。在那些熟悉的MDM架构风格中,持久总线架构,当一个总线更新所有的操作应用系统将体现这种变更,形成改变的直接操作视图。在注册环境中,当数据更新时,总线将通过Web服务连接相关系统应用事务更新。因此,MDMLevel5提供一个集成的,同步的架构,当一个有权限的系统更新一个数据值时,组织内所有的系统将反映这个变更。系统更新完数据值后不要单选其他系统中相应值的更新:MDM将使这种更新变的透明。从MDMLevel4到MDMLevel5意味着MDM功能性不是在一个应用内被特殊设计或编码的。这还意味着主数据传播和供应不需要源系统专门的开发或支持。所有的应用清楚的知道他们并不拥有或控制主数据。他们仅仅使用数据来支持他们自己的功能和流程。由于MDM总线和支持的IT基础架构,所有的应用可以访问主数据。一个企业在完成MDMLevel5后将使他们所有的应用连在一起—既包括操作的也包括分析的—所有访问主数据是透明的。举例说明,当一个企业更新她的状态—不要管注册该变更的系统—数据变更将被广播到所有的应用平台(因此一致起来)。MDMLevel5是把数据概念作为一种service来实现。MDMLevel5保证了一个一致的主数据主题域企业映像。定义“客户”和其他应用接受客户主数据业务规则变化实际上是一回事。MDMLevel5移走了主数据的最后一个障碍:统一采用数据定义、授权使用和变更传播。海关信息资源体系建设中有一项重要内容就是要对海关的“主数据”进行战略管理,最终实现MDMLevel5的主数据管理成熟度。6、建立值域字典在分析海关核心系统数据元信息时,有一个很重要的工作是要确认每个数据元的值域,也就是数据元可以取值得范围集合,而且要明确每个取值代表的不同含义,比如“进出口标志”数据元的取值范围是1和0,而1代表的是进口;0代表的是出口。这些取值有些是以参数表的形式存储在参数库中,而有些是通过程序硬编码的方式按照枚举类型写在源代码中的,这些代码所代表的不同含义,如果不进行整理,就没有办法进行数据的分析。所以在信息资源体系建设中,不但要整理出数据元的取值集合,而且要明确出集合中每个代码所表示的不同含义,建立完整的值域字典。7、数据定义标准化通过词素拆分、标准单词梳理、标准域梳理、标准单词定义等方法,对H2010通关系统、新舱单管理系统、运输工具管理系统、监管场所管理系统、稽查作业管理系统等已有的数据元进行分析,形成海关基准版的标准单词、标准域、标准用语。并提供标准化指南,指导后续系统数据定义的标准化。8、数据模型设计标准化通过对H2010通关系统、新舱单管理系统进行模型诊断,梳理出目前海关模型定义中存在的问题,并提出明确的改进建议;同时根据已有问题及标准化要求,提出海关数据模型设计标准化规范和标准化指南。根据上面提到的八项主要工作,最终需要形成下述交付物:(1)《海关信息资源管理现状及需求分析报告》(2)《海关信息资源业务域模型》(3)《海关信息资源实体模型集》(4)《海关信息资源数据元集》(5)《海关信息资源值域代码集》(6)《海关标准单词词典》(7)《海关标准域词典》(8)《海关标准用语词典》(9)《海关数据模型设计规范》(10)《海关数据模型设计指南》(二)设计海关信息资源共享服务平台海关在数据的收集和质量控制上已经卓有成效,建立了集中的核心业务数据库,有利支撑了海关的业务改革和优化,但是在数据的管理和使用上,现在却是各自为政每个部门有自己的数据统计分析系统,有自己的一份数据,管理标准也不统一,在需要进行数据共享时,没有统一的数据出口。这样造成的直接结果就是系统重复建设、数据统计口径不一致、数据共享困难。为此,在金关二期工程建设中,需要通过建立“海关信息资源共享服务平台”实现数据的统一采集、集中存储、集中运算、统一共享,达到对于数据的“说得清”、“管得住”、“用得好”、“决策准”的业务目标。“海关信息资源共享服务平台”是海关信息资源采集、存储、运算处理、共享服务的“大平台”,除了生产系统之间为支撑实时业务操作发生的数据交换之外,其他的数据共享需求均需要通过“共享服务平台”完成,所有需要共享的数据(包括结构化、非结构化)都需要经过清洗和质量控制先进入共享平台,然后才能统一对外进行共享。“海关信息资源共享服务平台”囊括了海关信息资源管理、使用的全部功能,所以在规划设计阶段需要整理出“元数据管理子系统”、“主数据管理子系统”、“动态数据仓库子系统”、“大数据分析子系统”、“数据总线子系统”、“数据抽取分发子系统”、“门户子系统”、“数据云服务子系统”、“数据生命周期管理子系统”、“安全管理子系统”、“平台管理子系统”的总体需求,并设计其实现架构。各自系统的详细需求和设计需要在实施阶段进行细化。规划设计阶段的交付物如下:(1)《海关信息资源共享服务平台需求分析报告》(2)《海关信息资源共享服务平台设计报告》(3)《海关信息资源目录门户设计报告》(三)规划海关信息资源治理体系在完成海关信息资源目录体系的梳理,并建成海关信息资源共享服务平台之后,如果没有相应的信息资源治理体系,缺少相应的管理机构、管理制度、标准规范,那么信息资源目录体系将会迅速“过期”失效,而数据共享服务平台也会因为没有相应的管理和使用规范,而最终很可能会造成无法正常使用的局面,所以为了避免此种情况的出现,必须建立相应的管理配套设施,建设海关的信息资源治理体系。信息资源治理体系主要包括信息资源标准化体系、治理机构和人员设置、部门协作机制、相关工作流程、管理制度等内容,为海关信息资源规划的落地实施、良性运转提供管理上的指导。规划设计阶段的具体交付物如下:(1)《海关数据治理体系报告》(2)《海关信息资源标准化体系报告》(3)《海关信息资源基础标准集》信息系统建设需求元数据管理子系统目前,总署和各直属海关已建设署级、关级各类应用信息系统1000个,其中部署运行的署级项目200多个。部分应用系统对信息命名、描述、分类编码存在不一致、业务术语同名不同义、同义不同名等问题,数据多头定义、多处存放,对数据共享、信息系统互联互通困难。应加强数据标准化管理,避免此类问题积累和扩大,使应用系统形成“信息孤岛”,不利于数据共享和资源整合。为此,在金关工程二期中,需要建设元数据管理子系统,用于管理维护海关基础数据元目录,提供海关业务活动中的通用数据定义标准和规范;管理维护海关科技项目的数据库结构信息,梳理数据间关联关系,提供数据变更影响分析能力,为海关信息资源的规划和治理、实现“以数据为中心”的信息建设战略目标奠定基础。元数据管理子系统包括元数据采集、元数据维护、元数据变更管理、元数据质量管理、元数据版本管理、标准术语管理、元数据查询、元数据统计、血缘分析、影响分析、差异分析、元数据架构模型管理和接口服务等。1、元数据采集系统通过文件批量导入和元数据源系统读取两种方式对元数据进行采集,其中元数据源系统包括其它应用系统数据库和应用系统数据模型。文件批量导入元数据管理子系统支持通过XML文件、EXCEL文件和文本文件等多种文件格式导入,并针对各类元数据提供相应的导入文件模板。导入文件模板中规定了元数据类型、属性和关系等信息的填写格式,以及新增、修改和删除操作的标记方法。模块输入:XML文件、EXCEL文件、文本文件等格式的元数据文件。处理逻辑:系统对文件中各项数据内容及格式进行,存在非法数据的,系统汇总错误信息,并提示用户,不允许完成数据导入。系统对数据的重复性检查,如系统已存在对应基础数据元定义,系统在完成检查后列出重复的数据列表,询问用户是否覆盖对应数据定义,还是抛弃重复数据,仅追加不存在数据的导入。其中覆盖模式仅修改对应数据定义,不影响关联的数据,例如重复的表定义数据,使用数据文件的定义更新系统数据,但不影响表的字段定义。数据的重复性检查包括以下内容:表:使用表的英文名称;字段:使用字段序号,同时字段英文名称也不可重复索引、触发器、约束、视图、存储过程、序列:使用各数据对象的名称检查完成后,将文件中的元数据存储至元数据管理子系统中,并向用户反馈结果。模块输出:返回导入是否成功的标志。元数据源系统读取元数据管理子系统提供通过数据库访问接口和建模工具API接口进行元数据的采集的功能。模块输入:数据库访问接口及数据库信息;或者建模工具API接口及数据模型文件。处理逻辑:调用数据库或建模工具API接口提取源系统元数据信息,并将采集到的信息存储到元系统管理子系统中。模块输出:返回采集是否成功的标志。元数据维护元数据维护是指对元数据、元数据之间的关系进行新增、修改、废止、恢复、复制等各类维护操作。元数据新增:提供对业务域、应用系统、实体、数据元的新增,同时提供基于实体的实体间关系、实体和应用系统关系的新增,以及提供基于数据元的数据元继承关系、数据元连用关系、数据元组合关系的新增。元数据修改:提供对业务域、应用系统、实体、数据元的修改,同时提供基于实体的实体间关系、实体和应用系统关系的修改,以及提供基于数据元的数据元继承关系、数据元连用关系、数据元组合关系的修改。元数据废止与恢复:提供对业务域、应用系统、实体、数据元的废止功能,同时支持元数据废止后的恢复。元数据复制:新的元数据自动建立与被复制元数据的派生关系,支持手工修改派生关系。支持对元数据的元数据生命周期状态维护。包括业务域、应用系统、实体、数据元的生命周期状态维护。支持对元数据版本号的手工维护。包括业务域、应用系统、实体、数据元的版本号维护。支持元数据维护过程中通过元数据质量管理功能检查元数据并给予提示。如:基本属性检查、标准术语检查。支持图形化的模型维护。模块输入:元数据或元数据之间的关系、操作类型(新增、修改、废止、恢复、复制)。处理逻辑:按照用户指令,对元数据或元数据关系进行新增、修改、废止、恢复、复制等操作。模块输出:维护成功与否的状态、维护后的元数据模型。元数据变更管理元数据变更管理包括变更流程审批和变更订阅通知功能。变更流程审批当用户提交元数据变更申请,系统启动预定流程,由相关人员进行审批的过程。模块输入:元数据的变更类型、元数据变更原因、待变更元数据信息链接、变更联系人信息。处理逻辑:用户通过输入元数据的变更类型、元数据变更原因、待变更元数据信息链接、变更联系人信息,在系统中创建变更申请。变更申请提交后,系统启动预先定义的流程,通知不同的人员角色对该变更进行分阶段分角色审核。数据复核人员对变更后的数据进行复核,确认变更无误后发布数据,用户这时可以查询到变更后的数据。变更发布后,系统通过邮件或短信的方式将变更信息发送给相关用户。模块输出:元数据变更结果。(2)变更订阅通知变更订阅通知,是指用户可以主动订阅自己关心的元数据,当元数据发生改变时,系统自动发送信息给订阅用户,从而帮助用户了解与自身工作相关的业务系统变更情况,提高工作的主动性。模块输入:发生变更的元数据处理逻辑:当元数据发生变更时,系统自动找到订阅过该元数据的用户,并通过邮件、短信等方式向订阅用户发送信息。模块输出:元数据变更通知。元数据质量管理元数据质量管理包括规则库管理,元数据库内部信息检查和元数据库外部信息检查。(1)规则库管理管理数据质量检查中可以结构化的常用的规则,用户可以通过该功能对规则进行定制和维护。输入:规则定义。输出:规则配置结果。处理过程:将用户输入的规则定义保存到检查规则表中。(2)内部信息检查元数据库内部信息检查包括:元数据基本属性检查:元数据基本属性检查是对元数据属性详细信息方面的检查,包括:关键属性值的唯一性、名称重复性、必填属性的填写以及元数据属性填写的一致性。关系的健全性检查:即各类元数据之间关系的检查。具体又划分为:实体关系检查、派生关系检查、连用关系检查、组合关系检查。 元数据标准术语检查:为了达到标准规范管理元数据,在元数据维护时,需要检测元数据的术语是否使用标准业务术语、属性录入是否规范,对于不存在的术语或规范可在标准管理中进行维护。输入:元数据信息。输出:检查结果(结果能够导出详细的检查报告,格式支持Excel文档)。处理过程:系统根据检查规则,对元数据基本属性、健全性、标准术语进行检查。(3)外部信息检查元数据库外部信息检查功能包括:应用系统数据库结构一致性检查:是指基于元数据管理子系统的元数据与对应的应用系统的数据库结构,进行比对检查。输入:元数据管理子系统的元数据与对应的应用系统的数据库结构。输出:检查结果(结果能够导出详细的检查报告,格式支持Excel文档)。处理过程:系统元数据管理子系统的元数据与对应的应用系统的数据库结构,进行比对检查,检查内容包括:元数据实体匹配、元数据属性匹配、元数据关系匹配。元数据版本管理元数据版本管理是对变更过程中和变更后的元数据快照的管理。具体包括:元数据版本发布:包括业务域、应用系统、实体、数据元的发布。元数据版本恢复:包括业务域、应用系统、实体、数据元的恢复。 元数据版本锁定:对当前版本发布的元数据锁定和解锁;当前的元数据版本锁定后将不能再进行变更申请。 元数据历史版本查询:包括业务域、应用系统、实体、数据元的历史版本数据查看。 元数据版本差异分析:提供元数据两个版本之间的差异分析,比较两个版本的元数据的实体差异以及实体的属性差异,能够生成变更差异报告。 版本号维护:版本号自动产生,支持手工调整。 版本数据库脚本导出:提供SQL脚本导出功能,SQL脚本导出是指通过选择应用系统、系统版本号以及数据库类型(SQLSERVER、ORACLE等)后,将表、视图、存储过程的生成脚本导出。SQL脚本导出功能支持基于上版本的变化脚本导出和新版本的完全导出功能。模块输入:版本号或用户对于元数据的版本操作。处理逻辑:根据版本号或用户对于元数据的操作要求,实现对于元数据的版本管理,比如版本发布,版本恢复,版本锁定,历史版本查询,版本差异分析,版本号维护,版本数据库脚本导出。模块输出:元数据版本信息。标准术语管理标准术语管理是对海关元数据管理中涉及的常用术语的管理,业务术语是一个名词或名词短语,是对一种共识的定义。术语内容包括:术语名、术语类别、术语描述、术语同义词、建立人、建立时间。在元数据管理子系统中术语管理的范围包括对象类词、特性词、表示词。该功能提供对业务术语的新增、删除、修改、查询。模块输入:业务术语、对于业务术语的增、删、改、查操作。处理逻辑:按照用户指令,对业务术语进行模型化存储及展现。模块输出:业务术语的增删改是否成功。元数据查询查询界面提供信息资源目录树展示,按业务域、实体、数据元层级显示。用户通过输入多种组合条件进行模糊查询,检索相关元数据信息。模块输入:分类、关键字、属性条件处理逻辑:根据用户输入的分类、关键字、属性等信息查询数据库,返回相关结果。模块输出:查询结果可导出为Excel文档,对于查询结果的实体和数据元信息,提供数据库脚本的查看和导出。元数据统计元数据统计包括元数据分布情况统计和元数据使用情况统计。元数据分布情况统计提供按业务域、应用系统、数据类型、创建者和版本号对元数据个数进行统计。元数据使用情况统计提供按业务域、应用系统、数据类型、创建者和版本号对元数据使用次数进行统计。模块输入:用户的统计需求。处理逻辑:根据用户统计需求,对元数据个数或元数据使用次数进行统计。模块输出:通过图表等直观的方式展示统计结果。元数据分析元数据分析包括血缘分析、影响分析、差异分析,具体介绍如下:血缘分析(也称血统分析):提供对某一数据元素追溯其数据的所有来源。血缘分析可以让用户根据需要了解不同的元数据的加工过程,每个过程具体做什么,需要什么样的输入,又产生什么样的输出。血缘分析以图形、列表的方式展现其关系及加工过程。影响分析:指通过对某一数据元素寻找依赖的所有数据元素,从而分析出受影响的本系统登记的应用系统。影响分析可以在元数据发生变化或修改时,能够评估出其影响系统范围。影响分析以图形、列表的方式展现系统影响关系。同时提供通过代码扫描方式,展示相应的影响分析;元数据差异分析:指对不同的元数据进行对比,用图形和表格的形式展现它们之间的差异,包括名字、属性及数据血缘和对系统其它部分影响的差异。模块输入:用户的分析需求处理逻辑:根据用户的分析需求,对元数据进行相应的分析。模块输出:通过图形、列表的方式展现分析结果。元数据架构模型管理元数据架构模型管理是元数据管理子系统建设的基础,用于规范元数据库内部的对象、关系、规则、属性。元数据架构模型管理提供如下功能:提供业务域、应用系统、实体、数据元架构模型的维护,包括针对实体的实体间关系、实体和应用关系的数据维护,以及对数据元的数据元派生关系、连用关系、组合关系的数据维护。提供对信息资源规划项目中的信息资源体系架构优化工作成果的模型支持。模块输入:模型信息(元数据库内部的对象、关系、规则、属性)处理逻辑:用户通过可视化的元数据模型建模及维护管理界面对元数据架构模型进行维护操作,在系统中创建元数据架构模型。模块输出:具有层次结构的元数据架构模型。接口服务接口服务包括:元数据读取接口、元数据写入接口、元数据管理接口。元数据读取接口:外部系统通过提供的元数据读取接口服务实现对元数据基本查询、读取。元数据写入接口:外部系统通过提供的元数据写入接口服务实现对元数据写入。包括对元数据的新增、删除、修改接口和变更管理写入接口。元数据管理接口:包括元数据同步接口,通知接口等。模块输入:调用接口,参数处理逻辑:根据用户所调用的元数据服务接口,完成对元数据的读取、写入、管理操作。模块输出:根据所调用的接口返回相应值。对于元数据读取接口,返回查询结果;对于元数据写入接口,返回写入是否成功的标志;对于元数据管理接口,返回操作是否成功的标志。主数据管理子系统海关主数据包括两类,一类是海关业务基础数据,具有更新周期相对缓慢而使用周期相对较长、被跨业务部门共享使用、从源应用系统集成而来、现势性要求高、非交易记录数据等特点,如海关注册企业、海关商品信息、海关关员、海关报关员、运输工具等。一类是海关参数数据,是海关所有应用系统的值域字典数据,如海关机构代码。由于海关主数据来自于各相关应用系统,为确保核心信息在海关跨业务流程中的一致性、准确性和可靠性,在金关工程二期中,需要建设元数据管理子系统。主数据管理子系统功能包括:主数据采集、主数据订阅管理、主数据维护、主数据变更管理、主数据版本管理、主数据查询、主数据统计分析、规则管理、运行监控、配置管理。1、主数据采集主数据的采集是主数据管理子系统从主数据源中得到数据的过程具体功能包括:主数据的抽取,主数据的转换,主数据的加载。(1)主数据的抽取主数据的抽取支持定时抽取、订阅抽取和订阅推送三方式。定时抽取:针对不具备订阅通知的源数据系统,主数据管理子系统定时从源数据系统中抽取。订阅抽取:主数据管理子系统到源数据系统订阅消息,源数据系统数据发生变化发送消息通知主数据管理子系统,主数据管理子系统从源数据子系统抽取数据。订阅推送:主数据管理子系统到源数据系统订阅消息,源数据系统数据发生变化时将数据推送至主数据管理子系统。输入:采集规则(数据表,时间等)输出:从源数据库中采集到的数据。处理过程:使用指定的采集方式,将源数据库中的主数据采集到主数据管理系统中。(2)主数据的转换对进入主数据管理子系统的主数据按照规则进行检查和转换的过程。输入:待转换的主数据输出:通过检查和转换的主数据处理过程:主数据经过数据总线传输时进行了初步的格式校验和转换。主数据到达平台后,主数据管理子系统还需要依据业务规则进一步对数据进行业务规则校验和转换,包括空值处理、数据拆分、数据合并、数据替换、数据正确性验证等操作。(3)主数据的加载主数据抽取和转换后将进行主数据的加载入库工作。主数据的加载支持数据行加载和数据块加载两种方式。数据块加载主要是针对大数据量的数据加载,是指经过数据转换生成的预加载文件的结构与共享平台数据表的结构完全一致,直接通过数据加载工具,以大批量加载的方式加载。数据行加载则是基于不同的筛选条件,利用关系数据库的Insert和Update语句来插入或修改数据记录,主要是针对实时性比较强的小批量数据采用。输入:待加载入库的主数据输出:入库结果处理过程:系统根据指定的加载方式,将主数据加载到主数据管理子系统数据库中。2、主数据订阅管理主数据订阅是主数据应用系统在平台上订阅信息,平台通过数据总线向主数据应用系统推送数据的过程。 主数据应用注册管理根据应用系统的注册请求,在子系统中新建、修改、删除主数据应用系统的注册信息(应用系统名称、地址、协议)。输入:应用系统注册信息(应用系统名称、地址、协议)输出:操作是否成功标志处理过程:用户通过输入应用系统名称、地址、协议在主数据管理子系统中注册应用;主数据应用注册的时候,主数据管理子系统将对目标应用系统进行数据初始化同步操作,把应用关心的主数据信息一次性全量同步至目标应用系统。主数据订阅属性管理根据应用系统关注的主数据,在主数据管理子系统中对可供订阅的主数据属性信息(主数据类别、来源系统、特定字段)进行管理(新建、修改、删除)。输入:可供订阅的主数据属性信息(主数据类别、来源系统、特定字段)。输出:操作是否成功标志。处理过程:根据用户输入,对主数据属性信息进行新增、修改、删除等维护操作。(3)主数据订阅关系管理根据应用系统关注的特定主数据属性信息,在主数据管理子系统中新建、修改、删除相应的订阅关系,订阅关系为应用系统与其关心的主数据属性的一一对应关系。输入:应用系统,主数据属性输出:操作是否成功标志处理过程:根据用户指令,对订阅关系进行新增、修改、删除等维护操作。主数据发布当主数据发生变更时,变更信息和数据将被发布至相关订阅者。输入:发生变更的主数据输出:变更信息处理过程:当主数据发生变更时,变更信息和数据将被发布至主数据管理子系统工作引擎进行处理。工作引擎接收到主数据变更信息后,通过查找订阅关系列表,将符合订阅条件的主数据通过数据总线投递至订阅者。3、主数据的维护主数据维护是指主数据的管理维护功能,管理员可从多维度、多层次来维护主数据,包括:架构(Model)管理、实体(Entity)管理、属性(Attribute)管理、成员(Member)管理。主数据管理子系统还提供主数据维护提醒功能。架构(Model)管理主数据架构是主数据管理层中的最高层数据结构对象,是主数据管理的宿主,包含实体、属性和属性组、显式层次结构和派生层次结构、集合等对象结构。架构管理操作主要包括创建、修改和删除。实体(Entity)管理实体是包含在主数据架构中的对象,如“商品”“企业”。实体是由属性定义的相关成员的容器。可以将实体视作包含主数据的表。行表示成员,列表示属性。实体的管理操作主要包括:创建,名称修改和删除。属性(Attribute)管理属性是包含在实体中的对象,进一步描述实体和成员的属性信息,如商品的价格、类型等。可以将属性视作实体表中的列。属性的管理操作主要包括:创建,修改和删除。成员(Member)管理成员:叶结点元素,实际的主数据信息,具体到某一个商品或企业都可看作是成员。成员的管理操作主要包括创建,更新属性、删除和重新激活四种:创建成员:在主数据管理系统中,要向系统中添加主数据并且不使用批量导入功能时,可以直接在实体管理中选择创建成员。更新属性:当要更改描述某个成员的属性时,可以更新成员的属性值。删除成员:当不再需要某个成员或集合时,可以将其删除。重新激活:当删除某个成员或集合后,可以重新激活它。维护提醒平台对于需要定期维护的主数据信息提供维护提醒功能。用户可在平台中预先配置好需要维护提醒的主数据信息、对应的过期时间以及对应的维护人员角色。平台将定期扫描相应的主数据,如果发现过期未维护的数据,则平台以短信、邮件的方式对指定人员发出提醒,提醒相关人员对主数据进行维护和更新工作。输入:主数据维护需求输出:维护操作是否成功标志处理过程:根据业务系统和分析系统的主数据增删改需求,在主数据存储库增删改主数据,并将结果下发至业务系统和分析系统。对主数据的增删改查需符合主数据的管理规定,并满足完整性,一致性和准确性的要求。4、主数据变更管理主数据变更管理提供主数据的变更控制和流程审批功能。主数据变更流程包括以下步骤:变更申请:新建变更,填写变更申请并提交。变更审核:变更申请提交后,系统启动预先定义的流程,通知不同的人员角色对该变更进行分阶段分角色审核。数据变更:变更审核通过后,数据变更人员对数据进行变更操作,数据变更过程中添加变更记录,变更记录包括原数据信息、变更后信息、变更时间、变更原因、变更人,备注等。此时数据更新为未发布状态,对外部用户不可见。变更发布:对变更后的数据进行检查,确认变更无误后发布数据,用户这时可以查询到变更后的数据。 变更通知:变更发布后,变更信息可以通过邮件或短信的方式发送给相关用户。模块输入:变更申请模块输出:变更结果信息处理逻辑:当用户提交主数据变更申请,系统启动预定流程,变更通过审批被发布后,变更信息会通过邮件或短信的方式发送给相关用户。5、主数据版本管理主数据管理子系统中可以在一个架构中创建多个主数据的版本。可以锁定一个版本来验证数据,版本提交之后可以解锁版本。提交的版本形成了可审计的记录集。每个版本都包含了所有的成员、属性值、层次关系和集合。版本管理功能包括:版本维护:提供版本的添加、修改、删除。版本锁定/解锁:针对特定版本加锁定标志和解除锁定。版本历史记录查询:按版本记录方式、时间等查询历史版本。版本差异比较:提供可视化界面对两个版本有差异的信息进行对比。单个版本恢复:根据历史版本信息对选定的单个版本信息做添加、修改、删除操作。 模块输入:版本号、用户对于主数据的版本操作。模块输出:主数据版本信息处理逻辑:根据版本号、用户对于主数据的版本操作,实现对于主数据的版本的添加、修改、删除、锁定、解锁、查看、差异比较,恢复、等功能。6、主数据查询主数据查询是通过Web页面向用户提供查询功能。查询的信息包含主数据信息、订阅信息、版本信息、变更信息,同时支持将查询出的数据导出,具体功能包括:主数据信息查询:提供按主数据库的类别、关键字等条件查询数据的功能。订阅信息查询:提供按系统名称、关键字等条件查询订阅记录的功能。版本信息查询:提供按版本名称、版本号、关键字等查询版本信息的功能。变更记录查询:提供按变更时间、变更人、关键字等查询变更信息的功能。数据导出功能:提供查询结果数据导出的功能。模块输入:查询条件,查询类别(主数据、订阅记录、版本信息、变更记录)。处理逻辑:根据用户输入的查询条件、查询类别,对主数据及相关信息进行查询。模块输出:主数据、订阅记录、版本信息、变更记录。7、主数据统计分析主数据统计分析是根据主数据相关信息提供图形化的统计分析图表,主要功能包括:主数据分类信息统计:提供按主数据成员增长趋势、记录待审核率等统计功能。主数据整体信息统计:提供分类占比图形展示的功能。主数据操作记录信息统计:根据操作记录提供数据更新频度的功能。主数据周期性新增信息统计:提供周期(包括月、季度、年等)内主数据信息增长量的功能。模块输入:用户的统计需求处理逻辑:根据用户的统计需求,对主数据进行分类信息统计,整体信息统计,操作记录信息统计,周期性新增信息统计。模块输出:通过图表等直观的方式展示统计结果。8、规则管理规则用于主数据入库前的校验、清洗和转换,包括非空验证、字符长度限制、值类型验证、冲突检测、有效性验证等。规则管理功能包括规则的新增、修改和删除功能。输入:规则定义。输出:规则配置结果。处理过程:将用户输入的规则定义保存到检查规则表中。9、运行监控运行监控功能负责监控主数据管理子系统的运行状况,监控内容包括:主数据采集服务的运行状况。数据维护提醒服务的运行状况。变更管理流程的运行状况。订阅推送的执行情况。输入:用户的监控需求。输出:对应监控点的运行状况。处理过程:根据用户所选择的监控点,显示对应的运行状况。10、配置管理配置管理功能负责管理主数据管理子系统运行的参数配置信息。(1)主数据库配置信息输入:IP地址、数据库名、口令。输出:主数据库登记和管理结果。处理过程:用户通过输入IP地址、数据库名、口令在系统中创建主数据库。(2)主数据抽取配置输入:主数据定时抽取的频率、线程数、数据批量大小。输出:主数据抽取规则定义。处理过程:根据用户的输入参数,创建主数据抽取规则。(3)数据维护提醒配置输入:维护提醒定时扫描周期,维护人员角色、需要维护提醒的主数据信息等。输出:维护提醒规则定义。处理过程:根据用户的输入参数,创建主数据维护提醒的规则。数据生命周期管理子系统随着海关科技信息化建设的深入开展,各种电子信息系统不断上线运行,越来越多的通关管理、政务管理通过电子化手段实现,电子数据成了最宝贵的财富。伴随海关信息化的深入和发展,信息资源在为提升海关的服务能力、管理能力提供强有力支持的同时,其自身也变得越来越庞大,不仅难于管理,而且给系统的稳定运行带来了阻碍。根据金关二期的建设目标,为了更好的管理、利用、存放电子数据,需要对数据实施生命周期管理,依据数据的价值与应用的性质将数据进行划分,分别制定相应的管理策略,并建立配套的管理制度,解决目前海关信息系统数据管理策略单一所带来的各种问题,进一步提升系统性能、降低运维成本,为保障海关信息系统的高效、稳定运行提供数据基础。信息资源规模庞大、难以管理的现象在金关一期的通关管理系统中体现得最为突出,同时在电子口岸也积累大量的海关预录入数据以及与各部委的交换数据。因此金关二期建设中将首先对通关管理系统的数据实施生命周期管理,将数据划分为在线数据、近线数据、历史数据、归档数据,依据数据的价值,制定不同的管理策略,更加有效的利用存储空间,避免由于数据量过大引起通关管理系统的性能问题,提高通关管理系统的可用性,降低异地容灾备份的难度,减小高端设备的不断增长,解决运行管理问题。然后,以此为基础,建立起海关数据生命周期管理框架,推动海关各信息系统对数据进行科学、有效的管理,提高信息管理能力。其中,金关工程二期的数据生命周期管理主要包括如下内容:对数据实施生命周期管理,将数据划分为在线数据、近线数据、历史数据、归档数据,并制定配套的管理制度。在此基础上建立海关数据生命周期管理框架,逐步向其他项目推广、演进,最终实现金关二期数据生命周期管理的目标。(1)前台数据库分区管理对应用系统运行数据库实施分区管理,对数据量大的数据表按照特定字段进行分区。为不同的分区提供不同的存储设备,以提高应用系统的处理性能。输入:未分区的数据表。输出:分区数据表。处理逻辑:对数据量大的数据表按照特定字段进行分区,比如对报关单表头表根据月份进行分区,并把2年前的数据作为历史数据存储在速度较低的设备上。(2)历史数据库管理新建历史数据库,保存应用系统的历史数据。对于运行库中符合历史数据条件的数据通过数据转入转移到历史数据库中进行保存。进入历史数据库的数据,不接受在应用系统中直接进行修改、删除操作,只对用户提供按表主键的数据查询功能。如果需要对历史数据库中的数据进行修改、删除操作,必须先通过数据倒回程序转移到前台运行库中,再由用户通过应用系统完成业务操作。历史数据库的数据结构与前台运行库数据结构保持一致,如果前台运行库进行数据结构调整,历史数据库需同步进行数据结构调整。但历史数据库数据结构调整后,对调整的字段不进行数据初始化操作。输入:符合进入历史数据库条件的数据。输出:数据存储在历史数据库。处理逻辑:对于运行库中符合历史数据条件的数据通过数据转入转移到历史数据库中进行保存。比如对报关单表头表根据月份进行分区,把2年前的数据作为历史数据存储在速度较低的设备上。进入历史数据库的数据,不接受在应用系统中直接进行修改、删除操作,只对用户提供按表主键的数据查询功能。历史数据库的数据结构与前台运行库数据结构保持一致。(3)数据归档管理对于历史数据库中符合归档条件的数据,通过归档程序,将数据记录转化为XML文件进行归档保存。归档数据不接受任何查询、修改、删除操作,也不再导回到历史数据库中。归档文件的数据结构不随前台数据库进行调整。归档数据仅作为证据供日后的审计、查证使用。输入:历史数据库中符合归档条件的数据。输出:转换成XML文件的归档数据。处理逻辑:对于历史数据库中符合归档条件的数据,通过归档程序,将数据记录转化为XML文件进行归档保存。归档数据不接受任何查询、修改、删除操作,也不再倒回到历史数据库中。归档文件的数据结构不随前台数据库进行调整。归档数据仅作为证据供日后的审计、查证使用。(4)数据质量管理当数据存储在不同的分区,不同的介质中时,要保证数据更新的一致性。输入:数据更新需求。输出:不同的分区,不同的介质数据一致更新。处理逻辑:利用数据检索和分析工具,对不同类型的数据进行数据处理,以满足数据一致性要求,提高数据的利用效率。(5)数据安全管理数据安全管理有两方面的含义:一是对数据进行主动保护,如数据保密、数据完整性、双向强身份认证,二是对数据进行主动防护,如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全,数据安全是一种主动的包含措施,数据本身的安全必须基于可靠的加密算法与安全体系,主要是有对称算法与公开密钥密码体系两种。输入:数据使用需求。输出:提取符合安全规则的数据。处理逻辑:根据数据安全规则,保证数据提取完整性;当灾害发生时,迅速,有效恢复数据。(6)数据结构版本管理对于应用系统每次版本升级,均保留版本升级后的数据结构,并对其进行版本管理,便于日后进行某一版本系统环境、数据环境的还原再现。输入:版本升级后的数据结构。输出:版本升级后的数据结构存档。处理逻辑:对于应用系统每次版本升级,均保留版本升级后的数据结构。信息资源目录管理信息资源目录是对信息主体结构的描述,应用于信息资源的采集、加工、存储、保护和使用等过程。需要通过信息资源目录实现对信息资源的发现、获取、导航、定位、分发等功能,以支持各业务部门之间信息资源的交换与共享。信息资源目录以元数据为核心,以政务分类表和主题词表为控制词表,对信息资源进行网状组织,满足从分类、主题、应用等多个角度对信息资源进行管理、识别、定位、发现、评估与选择的工具。建立信息资源目录体系将便于掌握信息资源的分布状况,实现对信息资源建设的统一规划。1、信息资源目录分析功能(1)用户分析对信息资源目录体系中的3类用户进行分析:提供者:指拥有信息资源的各部门;管理者:在信息资源目录体系的运行与管理中心;使用者:信息资源目录的终端用户。(2)用例分析资源目录体系中有6个主要用例:规划、编目、注册、发布、查询、维护。其中编目十分重要,需结合不同的信息资源分类方式进行分析,如按业务体系分类、按组织结构分类、按数据来源分类、按使用角色和用途分类、按数据格式分类等。2、信息资源目录管理功能信息资源目录管理包括以下主要功能:(1)创建目录树:创建不同分类目录树的基本结构。输入:按业务体系分类、按组织结构分类、按数据来源分类、按使用角色和用途分类、按数据格式分类等分类的公共资源核心元数据和交换服务核心元数据。输出:信息资源目录树。处理过程:对输入的各类公共资源核心元数据和交换服务核心元数据目录进行编目、注册,形成可供查询的信息资源目录树。(2)目录结构维护,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论