云平台数据治理项目技术方案_第1页
云平台数据治理项目技术方案_第2页
云平台数据治理项目技术方案_第3页
云平台数据治理项目技术方案_第4页
云平台数据治理项目技术方案_第5页
已阅读5页,还剩17页未读 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、云平台数据治理项目技术方案第1章整体方案41.1 项目需求理解方案 41.1.1 项目背景41.1.2 项目概述41.1.2.1 项目现状41.1.2.2 项目目标61.1.2.3 项目内容71.2 总体设计方案 81.2.1 总体定位及目标 81.2.2 设计原则及约束91.2.2.1 总体设计原则 91.2.2.2 总体设计约束 101.2.3 总体应用架构设计 111.2.4 总体数据架构设计 121.2.4.1 数据框架设计 131.2.4.2 数据框架细化设计 141.3 数据治理方案 161.3.1 概述161.3.2 数据管理制度与机制 161.3.3 数据标准与规范建设 171

2、.3.3.1 一致性维度标准 191.3.3.2 基础数据项体系标准 191.3.4 元数据管理221.3.4.1 元数据管理总体分析 221.3.4.2 元数据管理设计271.3.5 数据质量管理301.3.5.1 数据质量管理总体分析 311.3.5.2 数据质量管理设计 321.3.6 数据生命周期管理 351.3.6.1 数据生命周期总体分析 361.3.6.2 数据生命周期管理设计 411.3.7 数据归集 441.3.7.1 数据归集流程设计441.3.7.2 数据归集方法设计 451.3.8 数据资产管理 461.3.8.1 数据资产分类471.3.8.2 数据资产盘点471.3

3、.8.3 数据质量评估471.3.8.4 数据资产使用情况监控 471.3.9 数据安全管理 481.3.9.1 安全管控机制建设 481.3.9.2 数据访问权限管理491.3.9.3 数据分级分类管理 491.3.9.4 数据脱敏管理491.3.9.5 数据安全审计49第1章整体方案1.1 项目需求理解方案1.1.1 项目背景云平台数据管理项目基于大数据技术和理念,以云平台为基础,集中、拓宽和整合内外部数据资源,统一规范数据应用范畴,为各需求主体提供更为全面丰 富的决策和参考支持,构建开放协作的税务数据生态环境。项目自开工建设以来, 始终以“用数据服务征管方式转变”为建设主线,在大数据算法

4、应用、海量用户 支持、关系云图、风险动态积分、用户画像等方面进行了积极探索、实践,出色 完成了设定任务,达到了预期效果。目前,云平台数据管理项目已从验证阶段转 为生产应用阶段,实现了以数据为中心,以技术基础平台为依托,以分析类应用 实现为目标,涵盖数据“采、存、通、用”全生命周期的一体化生态系统,是大 数据、互联网+、云计算等理念、方法论、技术手段和解决方案的集成展现。在云平台数据管理项目建设完成的基础上, 总局云平台数据管理升级完善及 运维和机构改革软件服务工作的主要任务是: 以云平台数据管理项目建设内容为 基础,做好现有硬、软件运行维护与优化升级;进一步拓宽数据集成范围、拓展 数据应用、深

5、度挖掘数据价值;根据机构改革后云平台数据管理工作的新内容、 新要求,对数据层、应用层进行调整、优化,保障云平台平稳运行;有力加强数 据治理、提高数据质量,满足当前数据管理工作需要,支撑各类型数据应用工作 需求,助力推动征管模式变革和各项税收政策改革,最终形成推动数据管理思维变化,营造良好税收数据生态。1.1.2 项目概述1.1.2.1项目现状云平台数据管理项目以云平台为基础, 以云服务器软件、负载均衡软件SLB 对象存储软件OSS大数据计算服务软件 ODPS数据可视化引擎DataV等18款 大数据产品为依托,构建了以数据治理为核心、以一体化云平台为载体、满足各 类用户需求的税收大数据平台。主要

6、完成平台层、数据层、应用层的建设:1 .平台层建设。主要包括计算存储和网络设备、系统软件工具集、安全及运 维监控管理的建设,从硬件和技术层面有效解决传统技术结构不足以支撑海量数 据及非结构化数据分析应用需求的矛盾,搭建灵活、可随时调用计算资源的数据 云环境,并构建完整的三层服务模式。通过建设IaaS层,为全国数据大集中环境提供包括CPU内存、存储、网络、操作系统等基础设施资源,提高资源的利 用率,降低采购成本;通过建设PaaS平台,基于IaaS提供的能力,以服务的方 式提供计算平台和软件组合,为最终用户提供云环境下的应用开发、 部署和运行 平台,解决应用软件开发的规范化问题,降低系统运行维护成

7、本;通过建设SaaS 层,全国数据大集中环境为总局、省局、纳税人、相关部门提供个性化的数据服 务。2 .数据层建设。通过构建数据治理体系和开展数据分析处理,将云平台和工 程规划范围内的其他数据平台集于一体, 使金三生产系统数据、总局保留软件数 据和多来源的外部交换数据相互贯通, 实现各类数据的集中定义和管理,为建立 统一数据视图、数据集市、各类分析业务的定义、指标和规则定义以及数据集成 定义提供语义基础,同时提供对各类数据的审核管理和维护机制,维护数据的完整性、准确性以及一致性,实现数据生命周期管理、数据标准、数据审计等各项 功能。通过数据治理过程,使得数据标准、数据内容以及数据质量都能够得到

8、持 续的提升,保证数据资产的长久价值。(1)基础层完成了对税务数据、外部数据和互联网数据三类数据的集成, 共集成了六千余张表,同时完成了数据清洗、数据标准化以及非结构化数据转结 构化数据等操作。(2)中间层完成了四大主题库和标签体系的建设。四大主题库分别是:组 织库(法人和法人分支机构),涉及模型近200个;自然人库,涉及模型近百个; 税务机关库,涉及模型近200个;关系库(单位纳税人之间、单位纳税人与自然 人之间),涉及模型几十个。同时构建了企业、自然人、税务机关标签体系,包 含:企业标签(一般纳税人标签、小规模纳税人标签、千户集团标签)、自然人 标签、税务机关标签。(3)模型层完成了面向应

9、用的数据模型构建。在建设模型层的过程中,以 构建面向应用类数据模型和构建分析挖掘类分析模型为原则,基于税收动态监控、票流分析、关系云图、增值税发票查询分析系统等应用共设计数百个数据模型, 上千个指标口径。3 .应用层建设。基于全务数据,建立多层次、多类型、多渠道的数据服务体 系,为总局各司局和省局不同类型用户提供多维数据服务,满足各级税务机关在决策、管理、执行、研究等方面的工作需求。应用层前期建设立足于税收业务特 点、现状和需求状况,重点选取部分应用进行验证性和示范性开发。已开发用户画像、票流分析、纳税人关系云图、纳税人关系分析、增值税发票查询分析系统、 风险情报系统、单管户查询、企业信息自助

10、查询、数据资源需求管理、数据质效 考核、税收动态监控大屏版、税收动态监控桌面版、云平台访问监控以及涉税专 业服务动态监控等应用。4 .数据治理工作主要从五个方面开展:元数据管理、数据资产管理、数据 标准管理、数据质量管理和数据安全管理。在数据标准方面继承了国家标准化内 容,把控数据建设标准。同时结合业务需要积累并整理了核心征管系统业务表单 和物理表的对照关系,形成了包含:核心征管系统、个税系统、防伪税控系统、 外部交换系统、出口退税系统等业务系统的数据字典。在数据质量方面制定数据 质量规则指标二百多项,推动全国数据质量持续优化。5 .数据服务云平台数据管理项目运行一年以来,为总局多个业务司局提

11、供数据加工服务; 承接总局稽查局的选案工作;承接纳税服务司纳税信用等级评定指标调整测算工 作,为信用评价指标调整提供数据依据等; 开展新办企业预警模型、非正常户预 警模型、进销不匹配模型等指标设计测算工作。1.1.2.2项目目标本项目旨在根据业务需求,对平台层、数据层、应用层实施有效的运行维护, 完成云平台整体升级优化完善,并根据机构改革要求及进程完成云平台调整优化 各项工作,保障云平台平稳运行。1 .做好云平台数据管理项目升级完善工作, 包括:基于云平台开发、开放更 多数据应用,丰富优化云平台的现有功能应用场景, 创新应用功能,提升云平台 数据管理项目的应用价值和潜能等内容。 根据国家与各省

12、局需要,做好云平台应 用的增加及数据开放范围的扩大工作。 对各司局的迁移软件,做好技术及软件方 面的对接工作,满足其数据库创建、扩容、变更等需求。2 .做好云平台数据管理项目的运行维护与数据治理工作,包括应用系统日常巡检和监控、故障综合分析及应急处理、性能持续优化等服务,以保障云平台数 据管理项目平稳运行。对云平台的硬件扩容提供相应的技术支持, 做好对机器的 版本升级和应用的性能测试等工作,保障数据处理和各类应用能够正常适应新的 硬件平台。按照关于数据治理组织机构、流程制度以及配套支撑工具等要求, 做 好元数据管理、数据标准、数据模型,数据质量、数据安全等工作,强化数据治 理能力,提高数据管理

13、水平,确保整体数据环境可靠、高效、安全,有力支撑征 管改革和税制改革。3 .做好机构改革涉及云平台调整优化工作,根据国家制定的国合并改革方案, 在完成金三系统合并、调整与地方税费全国集成基础上,完成云平台数据层、应 用层的相应调整优化与功能开发工作,以保障数据及时、准确集成至云平台,并 按照最新的需求展示和供应数据。1.1.2.3项目内容云平台数据管理升级完善及运维和机构改革软件服务工作,重点需要完成对 云平台数据管理项目的运行维护、对已有功能的优化完善及新增数据需求、应用 功能的处理与设计开发以及机构改革涉及云平台调整优化有关工作。 重点包括但 不限于以下内容:云平台数据管理升级完善及运维和

14、机构改革软件服务项目是在云平台数据 管理项目建设成果基础上,做好云平台数据管理升级完善及运维工作与机构改革 涉及云平台调整优化工作两项内容:1.2总体设计方案1.2.1 总体定位及目标云平台数据管理项目是工程第二阶段的重要组成部分,项目基于目前最新 的大数据处理技术手段和理念,借助金三全面上线的有利契机,以大数据云平台 为基础,集中、拓宽和整合内外部数据资源,统一规范数据应用范畴,为各需求 主体提供更为全面丰富的决策和参考支持,构建开放协作的税务数据生态环境。 项目定位集中体现了基础性、创新性和示范性。基础性。一是构建硬件基础,通过搭建灵活的、可随时调用计算资源的数据 云环境,从硬件和技术层面

15、有效解决传统技术结构不足以支撑海量数据及非结构 化数据分析应用需求的矛盾。二是夯实管理基础,以打造成熟完善的数据治理体 系为重点,为保障数据资产质量提供支撑。三是提供应用基础,为各司局、省局 自行开发应用项目提供基础数据和工具,鼓励多样性应用开发。创新性。一是数据利用创新,遵循总体架构要求,继承前期建设成果,在保 持四大应用系统总体格局不变的情况下, 实现数据全国大集中。二是管理思维创 新,整合数据资源和管理资源,以统一平台来解决之前总局各司局数据利用各自 为政、重复建设、标准不一致、成果不能共享等问题。三是服务模式创新,体现 “众包协助”要求,以提供基础数据服务为主,形成数据统一加工和应用多

16、样开 发结合的格局。示范性。为全国各省局数据开发利用提供从硬件建设、数据治理和应用开 发的示范性模板,推进全收数据利用水平提升。云平台数据管理项目实现了税收征管数据的全国集中和规范管理,为各级税务机关提供了强大计算处理能力,有机整合大数据技术,全面集成内部数据、积 极拓展外部数据、强化数据治理能力,实现了数据的过程监控;建立了税务数据 的资产化管理模式,并以用户为核心提供差异化的数据服务, 形成了开发协作的 税务数据生态环境。同时,加强外部数据交换,实现了税务数据与外部门数据的 有效共享整合,为国家信息共享化建设提供了税务方案。云平台数据管理项目升级完善及运维和机构改革软件服务项目以云平台数

17、据管理项目的建设内容为基础,根据的业务需求和国合并工作要求, 对平台功能 进行持续性升级完善,集中、拓宽和整合内外部数据资源,统一规范数据应用范 畴,提升数据治理能力,为各需求主体提供更为全面丰富的决策和参考支持,并提供必要的基础运维,保障云平台正常运行。1.2.2 设计原则及约束1.2,2.1总体设计原则大数据云平台建设与开发,需要协调“整体与局部、集中与分散、先进与实 用、近期与长远、统一与个性”之间的矛盾,涉及到数据库、数据仓库、联机分 析处理(OLAP、数据挖掘等多技术、多学科的交叉,是一项复杂的工程。项目建设应遵循“整体规划、大胆创新、分步实施、统一规范”的总体原则, 在总体规划上要

18、体现体系化、规范化,在具体设计上体现前瞻性、创新性,在项 目实施中分步骤、保重点,按照工程计划逐步实现建设目标。大数据云平台建设与开发应满足但不限于以下原则要求:1.2.2.1.1 实现结构上稳定、灵活、可扩展底层的数据治理和上层应用开发在架构上保持松耦合。上层应用可根据用户需求不断开发、优化或调整,数据资源层提供标准化接口,以服务的形式封装数 据,屏蔽底层物理数据库信息和数据结构, 增强系统灵活性,在充分满足现有需 求的基础上兼顾后期发展,在相对稳定的架构下,选择成熟的产品与技术,满足 税务未来(5年)业务需求及技术的发展变化。1.2.2.1.2 设计上开放、一致、安全在设计时从纵向、横向、

19、前向、后向多维互联角度充分考虑,建立完整的数 据管理体系,遵守统一的数据源、统一的数据模型、统一的数据接口、统一的接口标准等原则,保障数据的一致性。同时兼顾系统的开放性,充分考虑各类应用 需求,包括大数据应用、传统数据应用,涵盖统计监控、宏观决策、微观分析、 公众服务等。且不设置应用总集成概念和实体,以利于各司局、部分省局及其他 相关主体自主开发各类应用。此外设计上也不局限于分析类应用, 可尝试海量并 发查询类应用等应用模式。最终实现对敏感数据与应用访问的权限控制和轨迹跟 踪,加强核心数据的管控,确保系统数据安全。管理数据权限并实施数据访问控 制,针对各应用系统组织实施安全审计。1.2.2.1

20、.3 标准上规范、易懂、通用完善业务、技术、管理标准规范体系,包括制定和推广总体标准、信息系统 标准、管理标准和业务规范等,确保各类命名规范,业务规则定义,度量方式等 的规范性和通用性,并使用统一的业务语言进行描述,易于业务人员和技术人员 的理解使用。同时建立配套的运行维护和数据治理机制,保障系统的有机生命力, 支撑业务发展的需要。1.2.2.1.4 用户体验上友好、便利、易用基于SO咪构开发数据应用,在技术选择上,充分利用云计算、大数据等前 沿应用技术的最新成果,借助云的灵活性,更好的满足税务行业可变业务的需求, 借助云的敏捷性,更快的响应业务要求,通过大数据提供的海量数据处理能力, 更充分

21、的挖掘税收数据的价值。在业务展示上充分利用数据可视化新技术,借助 于图形化手段,从不同的维度观察数据,从而对数据进行更深入的观察和分析。 在数据应用集成层提供丰富的数据分析工具,支持模块的拖拽和自由组合。1.2.2.2总体设计约束总体设计包括总体架构设计和数据治理机制设计两个部分。1.2.2.2.1数据治理机制1.2.2.2.1.1 设计目标根据数据本项目数据治理要求与约束,完成国家数据治理机制建设。1.2.2.2.1.2 设计要求数据治理涵盖了人员,流程和技术,是一系列改变数据使用行为的过程, 它 从根本上改变业务和信息技术的使用方法。在内容上,要求实现元数据管理、数 据标准管理和数据质量管

22、理三个方面的机制和流程建设。1.2.2.2.1.3 设计约束遵循本项目数据治理机制要求和约束。1.2.3 总体应用架构设计根据招标文件中要求,云平台数据管理项目是以大数据云平台为基础, 集中、 拓宽和整合内外部数据资源,统一规范数据应用范畴,为各需求主体提供更为全 面丰富的决策和参考支持,构建开放协作的税务数据生态环境。主要包括平台层 建设、数据层建设和应用层建设。蜒一工作单音总后省后内网i内网第三J5S5UB匿务用兰:&芦卷息国挣干白立"NF不育*廿亚事隼苜应用施ts中台敷尼密下台应用集成平力喈一云计算支撑平台:系统搭建灵活、可随时调用计算资源的数据云环境,并构建完整的三层

23、服 务模式,包括计算存储和网络设备、系统软件工具集、安全及运维监控管理的建 设,从硬件和技术层面有效解决传统技术结构不足以支撑海量数据及非结构化数 据分析应用需求的矛盾。大数据支撑平台:大数据支撑平台是用于各项数据相关工作的云计算产品和大数据工具软件 集合,利用现有或者采购的相关软件产品,构建数据治理体系和开展数据分析处 理,将大数据云平台和工程规划范围内的其他数据平台集于一体,使的金三生产系统数据、总局保留软件数据和多来源的外部交换数据相互贯通,持续提升数据标准、数据内容以及数据质量,实现数据“好用、足用”的目标。应用平台层:在全收数据大集中和外部数据扩展基础上,为总局和各司局及部分省局提

24、供方式灵活、内容丰富的自主应用开发的平台。 本项目实现主体画像、全国视角 的纳税人遵从分析和税收动态展示 3类验证和示范应用。1.2.4 总体数据架构设计根据总局数据层平台的要求,我们将需求细分为数据集成、数据治理、主体 汇总、数据应用等4个技术支撑平台,以承担所有数据活动涉及的数据获取、 模 型组织、信息加工、质量管理、结果展现等处理功能。1.2.4.1数据框架设计数据应用1 数据治理 Al_分析模型数据挖掘数据供应h一1/广元数据管理数据汇总,数据主体定义主体汇总关系定义in一 二数据集成I数据定义11数据抽取11数据清洗11数据转换I I数据加载1数据集成负责数据集成,通过调度控制和规则

25、管理实现对数据集成的任务管理,数据 集成平台将源数据(核心征管、电子税务、出口退税、外部数据等)通过ETL激据复制的数据加工、清洗、转换,完成从源数据数据准备区 统一数据视图。加工中出现的错误预警提交给数据治理平台的数据质量管理应用。2数据汇聚汇聚数据是将基础数据区的数据按照纳税人、业务日期、业务状态等维度进 行的轻度汇总的事实表和事实表关联的维度表。3数据应用由查询统计、征管状况分析、报表管理、风险管理、政策评估、绩效管理、知识管理、 税收收入核算分析系统、电子档案管理等部分和日常应用管理组成。本包负责:查询统计、 征管状况分析、报表管理、税收收入核算分析系统、电子档案管理的建设和大数据平台

26、的日 常应用管理建设。4数据治理负责环境的数据治理,它是结合数据治理相关的组织、制度和流程和数据标 准完成对数据的治理,治理内容包括:数据质量的管理、元数据的管理、数据生 命周期的管理、以及数据审计管理等。1.2.4.2数据框架细化设计运行监控 数据审计元数据管理数据规范管理数据中间层数据质量控制数据准备层也挖掘应用层数据扩展利用数据管理数据报表数据分析数据准备区统一数据视图区数据仓库区元数据据范 数 数据集成抽取规错误预范警ETL/ 数 据复制任务调 度数据源1、基础数据层基于目前总局数据状况,数据采集的源头主要包含:各类税收业务系统数据、 外部交换数据、互联网开放数据。税收业务系统:税收业

27、务系统是本次数据体系中最主要的数据源头,税务业务相关的数据主要从这些系统中获取。核心征管系统数据覆盖 13个业务域的 业务数据,同时发票数据和出口退税数据虽然系统还没有统一, 但是会统一采集 到核心征管数据体系内。交换数据:交换数据分为两个部分,总局统一交换数据和各省局交换数据。 在基础数据层会单独规划交换数据域, 统一规划数据交换模型,将总局交换数据 中数据价值度高、数据质量高、数据稳定性好的数据和选取几个省局的交换数据, 合并数据结构,采集到统一的数据交换域。互联网数据:互联网是一个开放式的数据源,在本次数据体系和应用的建 设中,需要依赖互联网的开放数据作为应用的基础数据,参与税务数据价值

28、挖掘过程中。互联网的数据获取会利用平台的爬虫工具, 定向的获取互联网数据。本 次需要建设互联网爬数的平台,能够满足甲方不断增加数据源,调整数据爬取深 度的要求,满足爬取数据从非结构化到结构化存储的要求;2、数据中间层数据中间层的建设主要的目的是将采集和整理后的基础数据, 以某个主体或 者关系,将数据联系起来。设计扩展性强的数据模型,随着原始业务数据的逐步 丰富,不停丰富主体的描述、行为及管理类的数据。数据中间层在整个数据体系建设中起到通的作用,以主体维度联通各种来源数据。联通后的中间层数据,将提供给下游模型和挖掘应用更丰富、更标准、更 易用的生产原料。总局大数据云平台将具有强大得数据计算和存储

29、能力。基于平台的能力和 互联网数据建设的设计思路,在数据中间层的建设中不会做复杂的业务逻辑加工, 保留业务的事实明细数据。增强数据中间层的扩展性和复用性,业务逻辑的加工 放在应用和挖掘层完成。这样会压缩整个数据处理的过程,同时有利于数据口径 的统一和数据质量的控制。基于目前总局对于大数据应用的要求, 本次数据中间 层的建设将着重三个主体库的建设:企业库、自然人库、关系库。3数据挖掘层数据挖掘是指利用打通后的数据,针对需要数据支撑的业务,进行数据模 型的建设和数据价值的挖掘。基于本次云平台数据管理项目的业务需求,数据模型和挖掘将包含征管分 析模型、企业风险控制模型、个人风险控制模型、企业标签体系

30、模型、自然人标签体系模型征管分析模型:基于目前总局对于征管工作所规划的指标体系, 提炼出当前 业务状态下最关键和重要的指标,对这些指标进行数据建模,每日生产出数据指 标数据,并持续跟踪指标的变化情况,为征管工作分析应用提供数据支撑。企业标签体系模型:针对目前总局对于企业征税管理的需要, 设计对企业进 行分类、刻画的描述标签,制定标签业务含义及数据算法,通过对企业库的数据 进行数据挖掘,获得刻画企业的标签数据。自然人标签体系模型:针对目前总局对于自然人征税管理的需要, 设计对自 然人进行分类、刻画的描述标签,制定标签业务含义及数据算法,通过对自然人 库的数据进行数据挖掘,获得刻画自然人的标签数据

31、。1.3数据治理方案1.3.1 概述数据治理体系将云平台和工程规划范围内的其他数据平台集于一体,使金三生产系统数据、总局保留软件数据和多来源的外部交换数据相互贯通,实现各类 数据的集中定义和管理,为建立统一数据视图、数据集市、各类分析业务的定义、 指标和规则定义以及数据集成定义提供语义基础, 同时提供对各类数据的审核管 理和维护机制,维护数据的完整性、准确性以及一致性,实现数据生命周期管理、 数据标准、数据审计等各项功能。通过数据治理过程,使得数据标准、数据内容 以及数据质量都能够得到持续的提升,保证数据资产的长久价值。1.3.2 数据管理制度与机制数据管理规章制度是将数据管理体系实施中的重要

32、步骤、行动和任务的处理方式、途径和评估等进行规范和固化,概括和规定如何实施数据管理体系、 如何 考核实施结果以及如何进一步完善整套机制,为数据管理体系建设的参与者提供 可以遵照执行的原则和具体方法。政策规章制度以固化的、标准化的形式来描述管理决策分析平台数据管理模 型中设计的组织架构、岗位职责、工作流程等各项内容。这些规范与以往经营活 动中发布和执行的很多数据管理相关的政策规章制度是类似的,但数据管理的政策规章制度是针对数据管理各管理主题本身要解决的问题以及管理主题之间的 协调性问题做出相应的规定。在此定义的数据管理框架还应包括:明确数据管理框架的目的和重大意义、 基本原则和定位、所遵循的外部

33、或内部要求、各相关方的义务和权利、绩效考核 手段、可供使用的业务手段和技术手段、数据标准、数据传输、数据质量控制和 监控、需要补充完善的规章制度等。数据管理制度与机制要求如下:1,按照数据治理体系要求,根据数据治理工作具体实践持续协助完善数据管 理制度和机制,修订数据治理体系规范。2,按季度编写数据治理报告,报告应基于该季度数据治理工作情况编写, 并 针对数据治理中的问题提出分析改善方案。1.3.3 数据标准与规范建设数据标准规范是总局信息化标准的一部分,是对总局管理所涉及的各项数 据的定义与解释,以及数据质量及安全性要求的统一定义。 数据标准规范着重于 对税务局各业务部门使用的通用及共享数据

34、制定一套大家共同接受的业务概念 及技术实施时的统一定义。数据标准主要内容包括:业务数据、数据模型、数据 交互等;数据元素定义的业务规则;数据实施的相关技术要求,例如:数据的存 储格式、质量问题等。由于税务业务在不断的发展和变化,反映税务业务的数据标准也是一个动 态的管理目标。在数据标准的制定工作初步完成后, 数据标准的日常维护和更新 工作就成为保证数据标准得以遵照和执行的基础。数据标准管理流程作为数据管 理的重要组成部分,它的主要目标是明确定义数据标准的维护流程,明确数据标准管理的组织架构,为数据标准的管理提供一套端到端的管理机制和维护环境。以下管理流程的建立方法着重说明在数据管理流程的框架设

35、计下,数据标准的管 理流程是如何建立起来的。数据标准管理工作负责制定和维护全部业务经营涉及的数据标准,通过系统的实施逐步推广数据标准的落实。数据标准管理体现在数据标准的制定、审核、 执行、反馈和争议协调等各个工作环节中。数据标准的制定需要参考标准机构制 定的数据标准,同时也应参考各个部门内部使用的特定数据的定义。数据标准管理的对象是税务局所有生产、管理决策的数据,不包括为维护 系统运行而设置的参数型数据,如系统日志的数据定义等。数据标准采用数据分 类管理的方式对数据进行定义和管理。 参考领先实践的经验,数据标准可以结合 以下两种分类方式进行管理:按照共享程度分类根据数据的共享程度,税务的数据可

36、归为三大类:通用数据、共享数据、部门特定数据。其中,通用数据是指那些由各业务部门共享的数据, 如查询统计 数据、报表数据等;共享数据是指那些由多个业务部门共同使用的数据;而特定数据是指那些专属于某些应用系统或业务部门的数据。 数据标准管理的对象范围 包括这三类数据,但数据标准的推广实施可先从通用数据开始, 最后将部门特定 数据进行标准化管理;按照数据产生方式分类根据不同产生方式,数据可归为三大类:基础数据、衍生数据、公共代码 类数据。其中,基础数据由系统生成或直接录入, 衍生类数据由基础数据通过转 换和计算产生,公共代码类数据是通用的共享代码,是特殊的基础数据。根据的具体情况并参照以往标准化工

37、作的实践,数据标准管理工作应参照 以下指导原则:数据标准的推广执行必须遵循循序渐进的原则。数据标准管理小组不仅是 标准的制定和管理组织,而且还是提供数据标准咨询的内部服务组织, 为各项目 的顺利开展提供数据标准定义的解释和数据标准使用的培训。数据标准的制定应参照国际、国内、行业等标准,并结合税务行业的实际 需求。数据标准的定义要与行业、国内及国际的数据标准相适应,在充分考虑和 尊重现有数据情况等的基础上,结合系统现实和未来的切实需要,编制或补充相 应的数据标准。数据标准定义应具有前瞻性。数据标准定义的前瞻性,要求已经定义的数 据标准能够在一段时间内相对稳定地满足总局对数据标准化的要求,而不是频

38、繁地更改与修订。完善的数据标准审阅流程。鉴于数据标准的重要性及跨业务领域共用的特 点,为保证数据标准定义的质量满足准确性、通用性、前瞻性等要求,需要建立 完善的数据标准审阅流程。审阅过程要充分征求业务部门、数据标准主管部门、 业务部门业务专家等各方面的意见, 并据此制定相对完善的、可用性强的数据标 准。1.3.3.1 一致性维度标准一致性维度是指具有一致的维度关键字、 一致的属性列名字、一致的属性定 义以及一致的属性值(将转化成一致的报表标签与分组标识),不管是在同一数据库中还是基于配有多种数据库平台的数据仓库范围内,对于某个特定的维度, 这些内容都是一样的。简单来说,只要在数据层范围内,不管

39、物理上部署了多少 个数据库,不管什么应用系统,对于某个指定的维度,都具有相同的表结构和相 同的数据。一致性维度作为一根总线,不仅使这些内部系统能够以一个统一的标准结合 在一起,还使所有基于数据平台的外部系统能按照这根总线的标准插入其中,构成一个总线矩阵,以实现数据层大平台的概念。在设计一致性维度时,不依赖、不照搬生产系统数据层中特定的表, 而是充 分考虑各个系统之间的差异,集成多个系统。1.3.3.2 基础数据项体系标准通过抽象与归纳税务领域中的各类凭证数据和大量常见的、公共的分析指标, 以数据层中经过加工的各类事实数据为基础, 把这些凭证数据和分析指标在数据 层面上定义为各种基础数据项,从而

40、形成税务领域的基础数据项体系, 为各类查 询统计、分析评估、预警监控等分析型应用提供统一和标准的数据支撑。在业务层面,基础数据项体系规范了不同分析型应用之间的口径描述,使得不同系统间对某个特定的分析指标具有一致的定义,解决了同名不同义和同义不同名的情况。在数据层面,基础数据项体系保证了不同子系统间分析结果的唯一性,解决了同一个分析指标在不同系统间出现不同的分析结果、分析结果相互矛盾的情况。所有分析应用系统对某些凭证数据的查询和公共的分析指标的利用都来源于统一的基础数据项部分(当然还会有其它非公共的数据,这些非公共的数据从 数据层的其它部分获取),保证了多子系统间分析口径的一致性和数据的唯一性。

41、1.3.3.2.1基础数据项的定义基础数据项是对税务系统内各类常见的凭证数据和分析指标在数据层面的 解释和实现。例如,登记户数、应中报户数、已申报户数、税收收入等。它包含 三个要素:1、口径在业务上,用于规范基础数据项的业务口径, 使基础数据项不是笼统的、模 糊的。在设计实现时,用于明确每个基础数据项进行取数的事实表和表的字段, 以及取数时的限制条件等。2、维度维度用来确定基础数据项的属性,明确可以从哪些视角出发来分析某个特定 的基础数据项。因为一致性维度标准的建设,所以基础数据项体系中维度这个要 素保证了基础数据项在不同应用子系统之间的一致性, 使不同子系统间对同一个 基础数据项、同一个维度的分析都能得到唯一的值。在基础数据项体系中,与它关系密切的一致性维度包括:(1)税务机构税务机构维用于确定某个基础数据

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论