广西地税系统数据集中后数据分析利用相关问题研究.doc

广西地税系统数据集中后数据分析利用相关问题研究2011-01-01 20:03:16 | 来源：中国税务网 | 作者：邰阳 税务系统数据省级大集中是信息系统由集成阶段向数据管理阶段发展的必然趋势，是改造传统管理模式、提高税务管理水平、加强税务管理监控的必然之举，是强化依法治税、提高纳税服务水平的必然要求。数据大集中的海量数据蕴涵着丰富的信息，对这些信息进行分析利用，使税务管理更加严密高效，工作决策更加及时科学是数据大集中追求的最终目标。本文从数据大集中数据分析利用的基础、需要采取的技术、工作的关键点、体制建设以及如何向广度和深度推进等六个方面对数据大集中的数据分析利用进行初步探讨。 一、数据大集中后数据分析利用的基础建设 （一）不断的进行数据积累。没有数据积累，就谈不上什么数据的深度利用。而数据大集中最终体现为数据库的建设。为此，既要积累税务系统内部数据，也要建立与其他政府部门、企业和居民的良好的外部信息交换系统；既要完善历史数据，也要对集中后的数据进行必要的分析和规整，要确保集中后的数据是准确的、一致的、完整的和连续的。 （二）建立知识储备极其重要。税收数据的深度利用要用到多学科的理论、方法和模型，也要用到数据仓库、数据挖掘、联机分析系统等计算机方面的知识，还要熟悉税收法律法规、征管规程和财务会计，是多方面知识的综合应用。例如，在税收经济综合应用分析的方法和模型中要熟悉税收宏观经济计量模型、税收投入产出模型、税收可计算一般均衡模型、税收微观模拟模型、税收经济系统动力模型和基于数据仓库的税收经济分析方法和模型。对中国税收能力的估测上也要熟悉RTS法、分税种法等。 知识储备的背后就是人的落实。既然信息资源可以整合，那么人的资源又何尝不能整合，要充分借助外脑，与科研机构、大专院校合作，这是现阶段的最优选择。但是在更长远的时间内，还是要以内脑为主、外脑为辅。所以，引进人才，设置相应岗位和机构是税务系统必须要考虑的问题。技术部门、业务部门、各级领导在税收数据深度利用上要配合一致，和谐共进。而税收数据的深度利用也要循序渐进，只能根据广西地税的具体情况，确立有影响的研究课题，做出成果，做出实效，做出特色，不能随波逐流。 （三）加强数据质量管理。信息化最基础的部分就是所采集的数据，如果数据不准确，则后续的信息化建设就成了一句空话。随着现代化手段的普遍应用，数据的采集方式也越来越多，但还有许多数据必须靠操作人员录入，尤其是税务基础信息，如登记信息等等。因此，对一线操作人员必须加强培训，提高他们的操作水平，确保采集的数据准确有效。各级领导必须充分认识数据准确的重要性，合理设置岗位，充分调动一线操作人员的积极性和工作责任心，确保数据录入准确无误。要建立以广西地税数据大集中分析系统数据流为主线的环环相扣的质量责任制，数据所经过的主要环节或岗位都要对数据质量承担一定的责任。此外，信息中心要加强数据比对工作，建立数据质量分析系统，有效监控不合逻辑关系的错误数据，确保数据真实，提高数据质量，同时，要统一数据口径，确保数据在各环节的一致性，避免数据指标体系相互冲突，为数据分析应用奠定坚实的基础。 （四）加强元数据管理。元数据是指描述数据及其环境的数据。一般来说，它有两方面的用途。首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：（1）描述哪些数据在数据仓库中；（2）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（3）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（4）记录并检测系统数据一致性的要求和执行情况；（5）衡量数据质量。元数据管理是针对“数据的数据”的管理，是满足数据共享、数据交换、数据抽取清洗等数据利用要求。元数据管理主要采用建设“元数据字典库”的方式进行。 （一）多方获取税源信息，扩大税收数据源。扩大数据源是解决税务机关与纳税人之间、上级税务机关与下级税务机关之间信息不对称的重要举措，也是提高数据分析针对性和有效性的必要条件。因此，要做好以下几点：一是按照要求将税务登记数据、纳税申报表及其附表、资产负债表、损益表等数据全部采集录入到相关的信息系统，整合分散在各个应用系统中的纳税人数据，形成纳税人一户式档案，全面掌控纳税人的基础信息、涉税信息及生产经营各方面的情况；二是尽快实现税、企、银行、国库、工商等部门的联网，实现与外部数据的共享和比对。达到数据一次录入多次使用、数据资源共享的目标。 二、数据大集中数据分析利用需采取的技术 数据大集中数据分析利用需要用到数据仓库技术和数据可视化挖掘技术。 “DW之父W.H.Inmon”在建立数据仓库一书中给数据仓库的定义是：数据仓库是面向主题的、综合的、不同时间的、稳定的数据集合，主要用于支持管理决策的制定过程。数据仓库主要设计思想：将分析决策所需的大量数据从传统的操作环境中分离出来，把分散的难以访问的操作数据转换成集中统一的、随时可用的信息而建立的一种数据存储环境。 要建立一个数据仓库，一般分为四个步骤：第一步：数据库设计，即设计出一个包含税收数据的数据库；第二步：开发数据抽取和转换程序，从各生产系统中将数据取出后放入数据仓库中；第三步：开发数据加载和更新技术，使得在数据发生变化时，数据仓库得到动态实时的更新；第四步：开发查询和报表生成工具，令使用者通过软件系统很方便地获取信息。 所谓数据可视化挖掘（Data Visualization）是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。数据可视化挖掘技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据可视化挖掘技术作为一门处理数据的新兴技术，有许多的新特征：首先，数据挖掘面对的是海量的数据，这也是数据挖掘产生的原因。其次，数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，维数大。最后，数据挖掘是许多学科的交叉，运用了统计学，计算机，数学等学科的技术。它包含以下几个基本概念：数据空间：是由n维属性和m个元素组成的数据集所构成的多维信息空间；数据开发：是指利用一定的算法和工具对数据进行定量的推演和计算；数据分析：指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据；数据可视化：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。以下是数据可视化挖掘技术常见和应用最广泛的算法和模型：（1）传统统计方法：抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。多元统计分析：因子分析，聚类分析等。统计预测方法，如回归分析，时间序列分析等。（2）可视化技术：用图表等方式把数据特征用直观地表述出来，如直方图等，这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。（3）决策树：利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。（4）神经网络：模拟人的神经元功能，经过输入层，隐藏层，输出层等，对数据进行调整，计算，最后得到结果，用于分类和回归。（5）遗传算法：基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。（6）关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为“A1A2AnB1B2Bn”。一般分为两个步骤：求出大数据项集。用大数据项集产生关联规则。除了上述的常用方法外，还有粗集方法，模糊集合方法，Bayesian Belief Netords ，最邻近算法（k-nearest neighbors method（kNN）等。 三、数据大集中数据分析利用的关键点 （一）构建科学有效的数据分析模型，对海量数据进行深度利用。所谓模型就是现实的各种关系用数学等式或逻辑描述来表示，在管理科学中用于制定决策的一个重要方法就是模型的建立。在税收管理实践方面，模型主要起到的作用是将复杂的税收征纳活动通过数字化的形式总结归纳，进行定量化，并且建立起输入和输出之间的对应关系，然后通过软件求解，输出结果，并利用输出结果为税收决策提供依据。例如：在深度利用数据进行纳税评估时，在选择评估对象通常会考虑以下问题：哪些纳税人更有可能产生偷漏税的情况，其偷漏税的主要行为特征；不同级别的纳税个体产生偷漏税情况的概率；纳税人缴纳的税种金额是否具备很强的关联性。可以通过对以上问题的分析建立纳税评估对象模型，通过输入相应的数据就可得出一定的结果。如果模型建不好，将导致数据抽取和数据分析的效率低下且容易出现误差。因此，构建科学有效的数据分析模型，是税收数据深度利用过程中一个非常关键的环节，要遵循税收业务和经济发展的本身规律建立数据分析模型，不搞“大而全”或“一刀切”。 （二）培养和造就一批高素质税收分析人员队伍，提高分析水平。税收数据的深度利用要用到多学科的理论、方法和模型，也要用到数据仓库、数据挖掘、联机分析系统等计算机方面的知识，还要熟悉税收法律法规、征管规程和财务会计，是多方面知识的综合应用。例如，在税收经济综合应用分析的方法和模型中要熟悉税收宏观经济计量模型、税收投入产出模型、税收可计算一般均衡模型、税收微观模拟模型、税收经济系统动力模型和基于数据仓库的税收经济分析方法和模型。知识的储备在信息化时代显得尤为重要，知识储备的背后就是人的落实，要提高税收分析人员的素质，培养一批专业骨干。高素质税收数据分析人员应符合三个要求：一是政治素质过硬，要有强烈的责任感和敬业精神，能够积极、主动、创新的开展工作；二是综合业务水平高，不仅要熟知税收会计统计业务流程，掌握各种专业技能，认真学习重大税收政策，关注地域经济发展状况，还要提高信息化水平，熟练应用各种现代化手段和工具；三是知识结构合理，在掌握专业技能的前提下还要提高文字表达能力和分析归纳能力，能将经济发展与税收增长的关系分析到位，适应税收工作多元化的发展要求。 （三）采取合适的数据仓库和数据挖掘展示工具。 目前我区地税征管系统所使用的数据库是SYBASE大型数据库，Sybase拥有一个独特而强有力的点对点方案，用来设计、建立和管理数据仓库，它包括：（1）PowerDesigner Warehouse Architect.PowerDesigner不但是业界知名的数据库设计工具，也是数据仓库模型设计工具。其中的Warehouse Architect模块支持多种数据仓库模型，包括星型模式、雪花模式、以及雪暴模式。（2） PowerStage。强大的数据抽取和数据转换产品，使数据仓库模型用PowerDesigner实现起来更加容易，更加直观。（3）适用于数据仓库的Adaptive Server for the Warehouse。Adaptive Server for the Warehouse （ASW），是一个包含Adaptive Server Enterprise （ASE）和Adaptive Server IQ （ASIQ）的新关系数据库管理系统。该产品使得高性能的OLAP和高性能的DSS在同一服务器上得到集成。Adaptive Server IQ，是服务于数据仓库的最优秀关系数据库管理系统，可以对数据库进行压缩，也可以以传统关系数据库管理系统的10至100倍的速度执行快速查询，使得数据规模可以达到并超过十亿行数据。（4）PowerDimensions。快速、可扩展的联机分析工具。可以提供快速灵活的多维模型建立和分析，能支持几百千兆以至万亿字节的原始数据和多个角度。（5）Intellidex Control Center。是对元数据和分布式数据集市提供点对点集中管理的产品，它同时解决了业界中在元数据管理方面的问题。（6）SAFE/DW。是建立数据仓库的一套完整的测试方法，在世界上得到广泛应用。 因此，采用SYBASE数据仓库解决方案是我区地税可以作重考虑的选择。 由于数据挖掘一开始就是面向应用的，是为决策服务，而决策者又不一定具备太多的技术的知识，现许多公司和研究机构开发了一系列的工具用于数据挖掘，见表1。 说明：NN=Neural Net（神经网络）； DT=Decision Tree（决策树）；B=Bayes（贝叶斯方法）； kM=k-Means（动态聚类）； kNN=k-Nearest Neighbor（最邻近算法）； S=Traditional Statistical Techniques（传统统计技术）； P=Prediction（预测）； TS=Time Series（时间序列）； C=Clustering（聚类方法）； A=Association（关联方法）； W32=Windows 95/98/NT； U=UNIX； P=Parallel Scalability （in at least one OS）（并行方式）； A-S=API or SDK available（API或SDK方法可用）； SQL=Uses Special SQL Extensions。 如何选择合适的数据可视化挖掘、展现工具，要求地税系统相关人员和开发人员对期望解决问题的领域有深刻的了解，理解数据，了解税收业务的全部过程，根据广西地税自身的特点，结合开发人员对工具的掌握程度来决定。 四、数据大集中数据利用的深度建设 数据的深度利用可以定义为：在数据集中和系统整合的基础上，利用相关学科的原理、方法和数学模型，针对海量涉税数据，进行深入研究，发现事务的内在规律性，用于帮助税务部门做出明智决策，改进工作，提高效率的分析活动。这样的活动就是税收数据的深度利用。换句话说，数据的丰富度、模型的应用水准、信息技术与系统的利用、以及应用研究的深度都要比大集中之前有一种上台阶的变化。税收数据的深度利用大多涉及税收工作的方向性、全局性、战略性和前沿性的重大问题，能够在宏观、微观两个方面有助于辅助决策，可以把数据利用的深度划分为简单查询、统计汇总、决策分析等不同层次的递进式数据利用模式。根据数据利用所提供的管理信息的种类，可以将数据利用分为四种深度层次： （1）简单查询：主要是实时的裸数据查询，一般不超过三张基础表的关联，对数据库中数据表作简单展现和汇总，提供描述性的信息，满足数据的正确性、有效性分析，是数据利用的最低层次。在实现上，主要利用的技术是OLTP服务器的即时查询。 （2）统计汇总：主要是实时和准实时的数据汇总，可能涉及多张表的关联和复杂的综合报表展现，提供某项工作的阶段性成果或发展态势信息。在实现上，主要使用ODS系统提供的OLTP镜像和轻度抽取的准实时OLAP来满足需要。 （3）分析决策：大部分基于非实时长时段的数据和一些准实时数据，可能涉及大量同类业务相关表的关联甚至多个业务数据库的数据，提供未来管理决策分析的支持信息。在实现上，主要利用的技术是ODS系统提供的轻度抽取的准实时OLAP和更高层的数据集市和数据仓库来满足需要。 （4）税务智能：基于海量数据挖掘、高级分析模型和税务专家知识库等高级数据利用技术，提供智能化的决策分析信息和税务规律的发现，可以认为是税务数据利用的最高层次，应不断的探索研究。 我们要根据上述不同层次的需要开发不同深度查询、统计、分析系统，以满足不同分析深度的需要。 五、数据大集中数据利用的广度建设 数据利用的广度主要指用户范围的拓展，早期的数据利用的范围往往局限在高层决策人员等狭窄的范围，形成了数据利用的象牙之塔，缺乏与数据采集的源头各级基层人员的沟通，一方面降低了数据利用价值，另一方面数据的准确性不易得到验证。数据利用的广度可分为五大数据用户群： （1）基层操作人员：主要包括前台录入人员，基层人员是原始数据的采集者，他们主要对原始数据的准确性负责，他们对数据的要求是实时性的，要为他们提供的数据服务主要是简单查询。 （2）一线管理人员：主要包括分局的科所长和片管员等在内的一线的管理人员。他们主要是需要本所、本科室的统计数据和部分原始数据，满足科所级的一线管理的要求。要为他们提供的数据服务主要是统计汇总，面向税管员、所长等一线岗位提供税户、税款等多角度的基本和汇总信息。 （3）中层领导人员：主要包括市局机关的处室领导和分局局长。他们主要需要本处室和本分局的统计数据和专项分析结果，要为他们提供的数据服务主要是统计汇总和较低层次的决策分析数据。 （4）决策人员：主要是局长等高层决策人员。他们需要对全局的税收业务、税收成本，乃至人、财、物等等进行全面的管理。要为他们提供的数据服务主要是高层的决策分析甚至税务智能。提供全局、全市等多方面的税收、经济等综合决策信息。 （5）外部人员：主要包括纳税人和其它政府和相关机构。随着政务透明化、公开化和信息共享的要求，纳税人拥有了更多的知情权，相关部门也有了信息共享的需求。因此，面向外部人员的数据利用成为不可回避的问题。要为他们提供的数据服务主要是基于网页的简单查询功能。 六、数据大集中下的体制建设 （一）探索实行税收数据集约式专业化管理，成立专门的数据分析机构。税收数据集约式专业化管理就是将税务部门内部各部门负责的单项数据管理工作进行集约整合，设立数据管理中心，集中运用专业手段对税收数据信息进行监测、考核、分析和处理。目前系统的信息化总体应用程度不是很高，数据大集中后，虽然数据实现了集中共享，但系统中的数据量急剧增加，使所有集中起来的税收数据更加纷繁复杂，无法发挥其巨大的数据共享优势，“广西地税数据大集中”系统虽然可以按要求设计许多查询窗口，但由于软件开发不可能考虑到所有的方方面面，涵盖所有的特殊情况，同时由于征管口径和相关政策的不断变化，再强大的查询功能无法全部提取出实际需要的信息。因此需要成立一个专门的数据处理中心。通过数据管理中心将分散在征管各个应用模块中大量真实、可靠的数据，按一定的条件抽取出来，对数据进行分析、研究和处理最后再整合连接，从中找出有用的、